跳至主要内容

實機驗證

先在實際任務中驗證模型,再決定要部署哪個檢查點。訓練完成本身,還不能代表模型已能在實際設備上成功執行任務。

準備實際設備​

  1. 依手臂設定完成實體 Follower 設定,並執行該機型需要的校準。
  2. 連接並啟用實體相機,檢查 Wrist 與 Top 視角是否與模擬資料對應。
  3. 確認任務配置、預期物件變化範圍,以及本次要驗證的模型檢查點。
  4. 清空手臂工作範圍,初次測試時保持可隨時停止的狀態。

推論時由模型提供動作,因此不需要實體 Leader。

執行推論​

依推論與模型轉換選擇檢查點、任務指令、執行裝置、FPS 與動作分段設定。若具備 CUDA 主機,共用教學建議先驗證原始模型,再評估轉換後模型於目標裝置的表現。

在可比較的條件下重複測試任務,至少記錄以下資訊,以便比較後續模型:

記錄項目用途
資料集、策略與檢查點確認本次測試的模型來源
主機與模型格式區分原始模型與轉換後模型的結果
相機配置與物件位置描述模型接收到的環境條件
成功次數/總測試次數取得本次觀察到的任務成功率
失敗情況協助判斷應回到哪個階段處理

測試前先依任務訂定驗收條件。推論教學提供任務完成度、動作路徑、對位精度與新物件位置的表現等評估面向。

處理 Sim-to-Real 落差​

閱讀 Sim-to-Real 落差說明,並依推論失敗診斷表檢查觀察到的問題。

  • 先確認手臂設定與相機視角,再評估是否需要調整訓練參數。
  • 回看模擬示範與生成資料,確認場景變化有涵蓋實際任務條件。
  • 若需要真實環境的範例,可依補充實機資料錄製,檢查後使用資料集管理合併相容的資料。
  • 資料集變更後,依模型訓練建立新的訓練工作,再重新驗證。

下一步: 模型檢查點符合任務驗收條件後,繼續模型部署。