實機驗證
先在實際任務中驗證模型,再決定要部署哪個檢查點。訓練完成本身,還不能代表模型已能在實際設備上成功執行任務。
準備實際設備
- 依手臂設定完成實體 Follower 設定,並執行該機型需要的校準。
- 連接並啟用實體相機,檢查 Wrist 與 Top 視角是否與模擬資料對應。
- 確認任務配置、預期物件變化範圍,以及本次要驗證的模型檢查點。
- 清空手臂工作範圍,初次測試時保持可隨時停止的狀態。
推論時由模型提供動作,因此不需要實體 Leader。
執行推論
依推論與模型轉換選擇檢查點、任務指令、執行裝置、FPS 與動作分段設定。若具備 CUDA 主機,共用教學建議先驗證原始模型,再評估轉換後模型於目標裝置的表現。
在可比較的條件下重複測試任務,至少記錄以下資訊,以便比較後續模型:
| 記錄項目 | 用途 |
|---|---|
| 資料集、策略與檢查點 | 確認本次測試的模型來源 |
| 主機與模型格式 | 區分原始模型與轉換後模型的結果 |
| 相機配置與物件位置 | 描述模型接收到的環境條件 |
| 成功次數/總測試次數 | 取得本次觀察到的任務成功率 |
| 失敗情況 | 協助判斷應回到哪個階段處理 |
測試前先依任務訂定驗收條件。推論教學提供任務完成度、動作路徑、對位精度與新物件位置的表現等評估面向。
處理 Sim-to-Real 落差
閱讀 Sim-to-Real 落差說明,並依推論失敗診斷表檢查觀察到的問題。
- 先確認手臂設定與相機視角,再評估是否需要調整訓練參數。
- 回看模擬示範與生成資料,確認場景變化有涵蓋實際任務條件。
- 若需要真實環境的範例,可依補充實機資料錄製,檢查後使用資料集管理合併相容的資料。
- 資料集變更後,依模型訓練建立新的訓練工作,再重新驗證。
下一步: 模型檢查點符合任務驗收條件後,繼續模型部署。