跳至主要内容

推論與模型轉換

推論頁為整體流程的驗收環節:模型取代操作者的角色,由機械手臂自主執行任務。前述各章的所有決定——硬體校準、相機視角、示範品質、策略選擇、訓練參數——均於此階段呈現其累積結果。

部署前的模型轉換亦於本頁完成。轉換區塊於推論設定抽屜中就地展開,無須切換頁面,此一設計反映了轉換與驗證在實務上為連續作業的性質。

推論頁面

一、版面配置與角色轉換​

推論頁的版面與錄製頁相同:中央為相機畫面,右側為設定抽屜,底部為控制列。此一設計的目的在於使推論結果與示範內容得以在相同的視角與版面下直接比對。

兩者的差異在於動作來源:

錄製時: 人手 ──▶ Leader Arm ──▶ 關節角度 ──▶ Follower Arm
推論時: 模型 ─────────────────▶ 關節角度 ──▶ Follower Arm

此亦說明了硬體就緒檢查於推論頁不檢查 Leader Arm 的原因:操作端的角色已由模型取代,僅需相機與 Follower Arm。

警告

相機擺位須與錄製時一致 模型依錄製時的視角學習動作。若俯瞰相機位置變動或手腕相機角度改變,模型所接收的輸入即與訓練條件不符。

驗證結果不符預期時,此為應優先檢查的項目。

二、推論設定​

推論設定抽屜

右側抽屜包含五個欄位:

任務指令(必填)。 與錄製時填寫的欄位性質相同,應與訓練時使用的指令保持一致或相近。採用 GR00T N1.5 時,該句為模型的實際輸入,指令措辭的變動可能導致行為差異。

選擇裝置。 決定模型的執行環境,並同時決定是否需要執行模型轉換,詳見第三節。

策略路徑。 指向訓練產出的模型,以資料夾按鈕瀏覽選取。若模型由其他主機傳入,須先透過模型管理接收後再行選取。

選定後,畫面將以「模型名 / 步數」兩個標籤標示所載入的模型。當訓練保留多個進度存檔時,此為區分各存檔的依據。

FPS。 推論的控制頻率,建議與錄製時使用的數值一致。模型依該頻率學習動作,執行頻率變動將影響動作的時間特性。

單次推論動作段長。 介面說明為「每次推論會先計算一段 action,再分多個控制週期逐步輸出。數值越大,單次推論產生的動作段越長」。

其運作方式為:模型並非逐格決定動作,而是一次規劃一段動作序列,執行完畢後再規劃下一段。

  • 數值較小:模型重新觀察與規劃的頻率較高,對變化的反應較快,但運算負擔較高,動作亦可能顯得瑣碎。
  • 數值較大:動作較為連貫,運算負擔較低,但在該段執行完畢前不會重新判斷,中途的環境變化無法即時反映。

建議先以預設值執行首次驗證,僅在觀察到具體症狀時調整:動作僵硬或對變化無反應時調小,動作瑣碎或抖動時調大。

啟動推論後,抽屜內的所有欄位將鎖定為唯讀。此為防呆設計,因推論進行中的參數變更將直接影響正在控制實體手臂的系統。如需調整,應先停止推論。

三、裝置選擇與轉換需求​

推論頁的裝置清單較訓練頁完整。主機具備 NVIDIA 顯示卡時,將列出四個選項:

裝置適用策略是否需要轉換典型使用情境
GPU (CUDA)ACT 與 GR00T 皆可否於訓練工作站上直接驗證
CPU僅 ACT否於無顯示卡的主機上執行基本驗證
GPU (OpenVINO)僅 ACT是,轉換為 OpenVINO 模型部署至 Intel 平台的邊緣裝置
GPU (TensorRT)僅 GR00T是,轉換為 GR00T 模型部署至 NVIDIA Jetson 等邊緣平台

若主機未配置 NVIDIA 顯示卡,清單僅包含 GPU (OpenVINO) 與 CPU。

此一對照表對應策略選擇中的綁定關係:訓練時選用 ACT 者,最終部署至 OpenVINO 或 CPU;選用 GR00T 者則部署至 TensorRT。兩條路徑之間不存在交叉點。

建議的驗證順序為先以 GPU (CUDA) 驗證,再執行轉換。此一順序可分離變因:於 CUDA 上直接執行所驗證者為模型本身的訓練成效;轉換後執行所驗證者則為轉換作業是否影響表現。若一開始即執行轉換,表現不佳時將無法區分成因。

備註

切換裝置將清空已選定的策略路徑。此為預期行為,因不同裝置所需的模型格式不同,沿用前一裝置的路徑將導致載入失敗。重新選取即可。

四、模型轉換​

選擇 GPU (OpenVINO) 或 GPU (TensorRT) 後,抽屜中將出現可展開的轉換區塊,標題分別為「轉換成 OpenVINO 模型」與「轉換成 GR00T 模型」。

下圖為選擇 GPU (TensorRT) 後的狀態,轉換區塊出現於裝置下拉選單的正下方(紅框處):

模型轉換區塊

轉換的性質​

轉換的作用為變更模型的表達與執行方式,使其能於目標硬體上高效執行;模型所習得的內容不因轉換而改變。

因此,轉換無法改善訓練成效不足的模型。若模型於 CUDA 上驗證時即存在精度問題,轉換後所得者為執行速度較快但精度相同的模型。應先確認模型可用,再執行轉換。

操作步驟​

  1. 展開轉換區塊。
  2. 以資料夾按鈕指定輸出路徑。
  3. 點選「轉換模型」。
  4. 等待轉換完成。狀態將顯示「轉換中...」,完成後顯示「轉換完成」提示。

轉換期間不應離開頁面或重複點選。完成後即可使用轉換產物執行推論驗證。

五、驗證的評估項目​

啟動推論後,機械手臂將自主重現所學習的動作。評估標準應為動作與示範內容的相似程度,而非動作是否發生。

具體的評估項目有四:

其一,任務是否完成。 物件是否被夾取,並置於正確位置。

其二,動作路徑是否正確。 路徑是否與示範相似。路徑偏差通常反映示範資料的一致性問題。

其三,對位精度。 夾爪與物件的對位誤差程度。

其四,對未示範位置的處理能力。 將物件移至示範時未涵蓋的位置後重新執行。此項評估可判別模型是否確實學習了依視覺資訊調整動作的能力,或僅記憶了固定軌跡。

單次結果不足以作為判斷依據,建議執行五至十次後以成功率評估。

六、失敗診斷對照表​

推論結果不符預期時,可依症狀回溯至對應的環節:

症狀最可能的成因對應章節
完全無動作,或動作無明確結構訓練未收斂,Loss 全程未下降訓練監控的 Loss 判讀;必要時參閱訓練參數
動作相似但對位持續存在偏差視角問題,模型缺乏判斷精確位置所需的資訊相機視角設計,特別是手腕相機的擺位
動作抖動或反覆修正示範資料中存在猶豫與修正,已被模型學習示範品質判準;逐集檢查後移除問題集數並重新訓練
示範過的位置正常,更換位置即失敗資料缺乏變化,示範時物件位置固定實體錄製或模擬 SDG
動作於中途停止示範資料中的停頓已被學習實體錄製,重錄該類示範
模擬環境表現正常,實機表現不佳Sim-to-Real 落差模擬環境的最後一節,混合實體資料
CUDA 上正常,轉換後異常轉換環節的問題,非模型本身本章第四節,重新執行轉換
完全無反應,載入即失敗策略與裝置不相容,例如 ACT 模型選用 TensorRT策略選擇的綁定關係

使用本表的方式為先確認症狀,再回溯對應環節。上表八種症狀中,僅一種的成因位於訓練參數,而有四種位於資料準備階段。

七、安全注意事項​

危險

推論期間手臂將自主動作 執行推論時,機械手臂的動作由模型決定。啟動前須確認手臂的工作範圍內淨空,且現場人員已知悉手臂即將自主動作。

首次驗證時應有人員在旁監看,並隨時可執行停止操作。


下一步: 模型部署.