實體示範錄製
選擇實體錄製後,平台將執行硬體就緒檢查,相機、Leader Arm 與 Follower Arm 三者均為必要。若檢查未通過,請先完成硬體整合與校準所述的設定。

上圖為相機尚未設定時的錄製頁:影像區以「尚未設定攝影機」取代畫面,並提供前往硬體設定的捷徑。此時控制列雖可見,實際錄製仍無法執行。
一、相機視角設計
視角與相機規格的相對重要性
決定資料品質的因素為視角是否涵蓋了任務的關鍵資訊,而非影像的解析度或感光元件規格。若視角未拍攝到夾爪與物件的接觸過程,則無論影像品質如何,該項資訊均不存在於資料集中。
標準配置
| 視角 | 位置 | 提供的資訊 | 缺少時的影響 |
|---|---|---|---|
| 手腕(Wrist) | 安裝於夾爪附近,隨手臂移動 | 夾爪與物件接觸的近距離細節、抓取對位、夾爪開合時機 | 模型可接近物件,但無法判斷夾爪的閉合時機 |
| 俯瞰(Top) | 固定於作業區上方,由上往下 | 物件於工作區中的位置、手臂與目標的相對關係 | 模型無法判斷物件位置,僅能重複固定軌跡 |
此兩路配置涵蓋多數取放類任務所需的資訊,為建議的起始配置。
增設第三路視角的判斷
增設視角將增加資料量、延長訓練時間,並增加錄製環節的變因,故應僅在標準配置確實無法涵蓋關鍵資訊時採行。常見的適用情況有二:
- 工件常受手臂本體遮擋:俯瞰視角在手臂伸入時被遮蔽,恰好錯過接觸時刻。
- 任務需判斷深度或高度:例如插件與堆疊作業,俯瞰視角不易分辨物件的高低差。
判斷方式為由該相機位置實地觀察,若人眼無法辨識關鍵資訊,模型亦無法取得該資訊。
擺位原則
其一,錄製期間相機位置不得變動。 若俯瞰相機於錄製過程中受外力偏移,前後兩批資料所描述的空間關係將不一致。相機應確實固定並避免位於人員動線上。
其二,視野須涵蓋任務的完整範圍。 物件的起點、終點與手臂經過的路徑均須位於畫面內。常見疏漏為僅對準起點,導致放置動作發生於畫面之外。
其三,光源條件須保持穩定。 模型會將光線變化納入判斷依據。若作業區受自然光影響,應加設穩定的人工光源,或將錄製作業固定於相同時段。
其四,錄製時應納入上線後的變化條件。 若實際運作時工件由人工放置而位置不固定,示範時即應於各集之間變動工件位置,使資料涵蓋該項變化。
顯示名稱的確認
系統偵測所得的相機名稱為通用編號。完成接入後,應於資料工具 → 硬體設定 → 攝影機管理中將顯示名稱修改為與實際擺位一致,並確認相機的啟用狀態——未啟用的相機不會被錄製至資料集。詳見相機接入與管理。
二、任務資訊設定

點選錄製頁右上角的任務資訊按鈕可展開設定抽屜,共八個欄位(上圖右側,須捲動方能看見全部):
| 欄位 | 預設值 | 說明 |
|---|---|---|
| 任務名稱(必填) | — | 本批示範的名稱,將作為資料集資料夾名稱 |
| 任務指令(必填) | — | 以一句自然語言描述任務內容 |
| 目錄 | — | 本批資料的儲存目錄,可透過加號新增 |
| FPS | 30 | 每秒記錄的畫面與關節角度筆數 |
| 預熱時間(秒) | 5 | 各回合正式錄製前的緩衝,不列入記錄 |
| 回合時間(秒) | 20 | 單次示範的錄製長度 |
| 重置時間(秒) | 5 | 兩回合之間的空檔,不列入記錄 |
| 回合數 | 5 | 本次連續錄製的集數,達到設定值後自動停止 |
其中數項需補充說明。
任務指令對兩種策略具有不同意義。 對 GR00T N1.5 而言,該欄位為模型的實際輸入,模型將解讀該句內容以理解任務目標,因此應具體描述,且推論時須使用相同或相近的指令。對 ACT 而言,該欄位主要作為資料集的標註資訊。
FPS 的預設值適用於多數任務。 數值過低將遺漏快速動作的細節,過高則使資料量與訓練時間倍增。無明確理由時建議維持預設值。
回合時間為最需依任務調整的欄位。 設定依據為從容完成一次任務所需的時間,並保留數秒餘裕。設定過短將導致示範於動作完成前被截斷;設定過長則於各集末端產生手臂靜止的片段,該片段亦將被納入學習。
回合數的預設值為起始值而非建議值。 實際所需的集數取決於所選的策略:ACT 通常需累積數十次,GR00T N1.5 則以少量示範即可完成微調。錄製亦可分次進行並存入同一目錄。
三、單一回合的執行週期
完成設定後,畫面下方的控制列提供五顆按鈕。錄製作業為一循環流程:
圖中各階段對應控制列上的狀態文字:READY(準備開始)、WARM-UP(預熱中)、RECORDING(錄製中)、SAVING(儲存中)、RESET(重置中)、DONE(完成)。標示為 Recorded 者方會寫入資料集。
其中兩項行為需留意:預熱階段僅於流程起始時執行一次(圖中 RUNS ONCE 標記),並非每集重複;每完成一集即執行一次寫入,並非整批錄製結束後才儲存。因此畫面上「錄製中 → 儲存中 → 重置中」的循環為正常現象。
| 按鈕 | 用途 | 適用時機 |
|---|---|---|
| 開始 | 啟動錄製流程 | 設定確認完成,操作者已就位 |
| 停止 | 中止目前流程 | 現場狀況需立即停止 |
| 重試 | 捨棄目前這一集並重新錄製 | 本次示範的品質不符要求 |
| 下一回合 | 提前結束目前這一集並進入下一集 | 任務已完成,無須等待回合時間結束 |
| 完成 | 結束整批錄製並寫入資料集 | 已達所需集數 |
錄製過程中應持續留意控制列上的狀態文字(準備開始、預熱中、錄製中、重置中、儲存中),該狀態為判斷目前動作是否被記錄的依據。狀態文字右側另有兩項即時資訊:進度條與本回合的經過秒數(上圖為 6 / 20,即回合時間 20 秒中的第 6 秒),以及回合計數(上圖為 Episode 1 / 5)。兩者的分母即為任務資訊中設定的回合時間與回合數。
按鈕的可用狀態隨流程階段變動,例如錄製進行中「開始」呈停用狀態。呈灰色的按鈕代表該操作於目前階段不適用,而非發生異常。
由於回合時間通常設定為略長於實際所需,於任務完成後主動點選「下一回合」可減少各集末端的靜止片段,並縮短整批錄製的時間。
四、示範品質的判準
本節不涉及介面操作,但其內容直接決定資料集的價值。
符合要求的示範
- 動作連貫:由起點至終點一次完成,過程中無停頓。
- 速度穩定:各集之間的節奏相近。
- 路徑一致:整體路徑相似,允許因物件位置差異所產生的自然變異。
- 確實完成:任務實際完成,而非接近完成即中止。
應重新錄製的情況
| 情況 | 原因 |
|---|---|
| 動作中途猶豫或停頓 | 停頓將被學習為動作的一部分,推論時模型將於相同位置停滯 |
| 經來回修正後方完成對位 | 模型所學習者為「先偏移再修正」的模式,而非一次到位 |
| 手滑或碰倒工件 | 該集所記錄者為失敗過程 |
| 中途遮擋相機 | 關鍵畫面遭遮蔽,該集的影像資料存在缺口 |
| 動作超出畫面範圍 | 模型無法取得該段動作的視覺資訊 |
品質不佳的示範,其影響大於資料不足 資料量減少僅使可學習的樣本變少;而保留品質不佳的示範則將錯誤模式納入學習內容,且此一問題不會於訓練階段顯現——Loss 曲線仍會正常下降,症狀須至推論階段方能觀察到,屆時已不易回溯特定集數。
錄製當下重錄的成本為單次示範的時間,事後追查的成本則為整批資料重製。
五、錄製完成後的處理
點選「完成」後,平台將寫入資料集並提供前往資料工具頁面的連結。建議於該頁執行兩項作業:
- 預覽:逐集播放影片,確認各集均為完整可用的示範。此為錄製流程的最後一道品質關卡。
- 刪除單集:移除錄製當下未察覺的問題集數。
若錄製作業分為多次進行,亦可於該頁將多個資料集合併為單一資料集後再行訓練。詳見資料集管理。
下一步: 資料集管理.