隨機覆蓋率驗證
工具取得方式 覆蓋率驗證工具為獨立的離線程式,目前未隨平台一同發行,執行時不會改動既有的資料集。如需使用,請與我們聯絡:aide.support@advantech.com。
驗證的用途
隨機範圍為 SDG 的核心設定,然而設定完成並不等同於資料確實散開。平台所提供的兩項回饋——成功率與單集播放——均無法回答此一問題:成功率僅反映動作是否完成,播放抽查僅反映該集是否正常,兩者皆不描述整批資料的物件初始位置究竟散佈成何種形狀。
此項判斷不宜依靠目視。逐集播放一百集所能留下的印象僅止於「大致有散開」,而最常見的失當情形恰恰是:物件八成落於畫面中央的一小塊區域,四個角落一集未有。此種資料於播放時每一集均屬正常,合併觀察方顯異常。
本工具的作用為單一項目:將整批資料的物件初始位置繪製為圖表。散點圖呈現分佈,熱圖呈現密度,據以判斷該批資料實際涵蓋的空間範圍。
執行的時機
工具本身的技術含量有限,其價值在於所擋下的成本。生成一百集需時可觀,訓練更久。若隨機範圍設定過窄,此一路徑上不會有任何環節報錯:
| 環節 | 觀察到的 | 實際狀況 |
|---|---|---|
| 生成 | 成功率接近滿分 | 因物件均位於手臂最易到達的位置 |
| 抽查 | 每一集均正常 | 因單集確實正常 |
| 訓練 | Loss 曲線正常收斂 | 因僅有一種情況待學習 |
| 實機推論 | 物件稍有偏移即無法抓取 | 模型未曾見過該位置 |
問題至最末一格方才顯現,而其時生成與訓練的時間成本已然付出。此與模擬環境所述「於放大之前確認」為同一原則:確認的成本為數分鐘,不確認的成本為整批重來。
因此本項作業的位置為:生成完成後、匯出並送入訓練之前。
影像準備
工具讀取的為影像,而非資料集檔案。所需準備者為每一集的第一張俯視相機畫面,即手臂尚未動作、物件停留於隨機初始位置的該幀。
資料夾結構如下:
first_frames/
├── 20260506_0947/ ← session(建議以時間戳命名)
│ ├── demo_0_cam_top.png
│ ├── demo_1_cam_top.png
│ └── ...
├── 20260506_1040/
└── 20260506_1132/
| 項目 | 要求 |
|---|---|
| 檔名格式 | demo_<編號>_cam_top.png,編號用於圖上標註 |
| 資料夾分層 | 一個 session 一個資料夾;亦可將 PNG 直接置於根目錄 |
| 相機 | 俯視視角。側視角度無法呈現平面分佈,不適用 |
| 目標物 | 紅色方塊(其他顏色的處理見可調參數) |
分 session 存放的目的在於批次比較。實務上多數情形並非一次生成完成,而是先跑一批、調整範圍後再跑一批。分成資料夾之後,散點圖將以不同顏色標示各批次,得以直接判斷調整後的分佈是否較前次分散,而非僅見到混合後的單一結果。
執行
pip install opencv-python numpy matplotlib pillow
python app.py
執行後於工作目錄產生 cube_distribution.png,終端機並逐張列出偵測到的座標:
── 20260506_0947 ──
20260506_0947 [ 0] (412.3, 288.7)
20260506_0947 [ 1] (395.1, 301.2)
20260506_0947 [ 2] NOT DETECTED
20260506_0947 [ 3] WARNING: homography failed, using raw
其中兩種訊息須留意:
| 訊息 | 意義 | 處理方式 |
|---|---|---|
NOT DETECTED | 該張影像未偵測到紅色區塊 | 偶發一至二張可忽略;大量出現代表顏色門檻不符,見可調參數 |
homography failed, using raw | 相機角度校正失敗,退回原始像素座標 | 少量可接受;大量出現代表背景特徵不足,見相機角度校正 |
輸出的判讀
輸出為左右並排的兩張圖,共用同一張參考影像作為底圖。

散點圖
每一點為單張影像中方塊的中心位置,顏色區分 session,旁側小字為 demo 編號。
判讀的對象為形狀而非單點。合理的分佈應大致填滿預期的工作區域,而非聚集為一小塊或排列成一條線。
標註編號的用途在於回溯:某一點若孤立地落於角落,記下其編號回頭播放該集,多數情形將發現該集為失敗或異常資料。
熱圖
將影像切分為 12×12 格,統計各格的落點數,以顏色深淺(黑→紅→白)表示密度,格內並直接標示實際數量。
散點圖於資料量較大時會相互重疊——一百個點疊合之後,無法分辨中央區域為十點或四十點。熱圖即為此而設。
須處理的三種形狀:
| 圖上呈現 | 代表 | 對應動作 |
|---|---|---|
| 中央單格數量特別大,周圍大片為零 | 隨機範圍過窄,等同於將同一集複製一百份 | 放寬方塊/盒子的隨機範圍 |
| 分佈大致平均,邊緣略淡 | 正常 | 無須調整 |
| 明顯偏向某一側,另一側整片空白 | 隨機範圍的中心值偏移,而非寬度問題 | 檢查虛實對齊 |
末項尤須留意。範圍過窄與中心值偏移,於成功率上均無從分辨,而處理方式恰好相反:一者須放寬寬度,一者須移動中心。兩者僅能藉由分佈圖區分。
範例判讀
上圖為一份實際輸出:四個 session、共 120 集,畫面為 640×480。依前述方法判讀如下。
其一,整批的分佈範圍。 所有點集中於 x 約 240~380、y 約 175~345 的區域內,換算後 144 格中僅 16 格有資料,佔畫面不足九分之一。熱圖最熱的一格為 20,即全部資料的六分之一落於畫面的 1/144 之內。依上表判讀,此為典型的範圍過窄。
其二,散點圖的顏色分佈。 四個 session 各自形成一條垂直色帶,由左至右排開,彼此幾無重疊。此代表各批次自身的 x 變化均甚小,整批之所以呈現一定寬度,係因四批的中心值各異、拼合後方湊出該寬度。
此一分辨將改變處置方式:
| 若判斷為 | 實際上 | 應採取 |
|---|---|---|
| 四批合計已涵蓋該區域 | 任一單批所訓練的模型僅見過一條窄帶 | 放寬單批的隨機範圍,而非再跑數批並挪動中心值 |
以挪動中心值的多批次拼湊覆蓋率,與將單批範圍設寬,其訓練效果並不相同。前者為數個窄分佈的疊加,其間將留有密度不均的間隙;後者方為模型所需的連續變化。
其三,離群點與空白區域。 熱圖右側單獨一格的 1,於散點圖對應至最右側的落單點,記下其 demo 編號回頭播放,多為異常資料。至於左側盒子所在位置的整片空白則屬正確——方塊本不會生成於盒內。
空白格子不必然代表缺失。若該片區域本即為手臂無法到達之處,則其無資料為正確結果。應提出的問題並非「是否填滿畫面」,而是「是否涵蓋上線後工件實際出現的範圍」。
相機角度校正
若俯視攝影機的隨機範圍亦已開啟(該處建議設定較物件保守,惟仍非為零),則每一集的相機位置均略有差異,同一物理位置於不同集的畫面中將落於不同的像素座標。
直接將各集的像素座標疊合繪製,所量得者為物件變化與相機晃動之和,分佈將顯得較實際情形分散。而待判斷者恰為分散與否,此項誤差正落於最關鍵之處。
工具的處理方式為:
- 以第一個 session 的
demo_0作為全域參考幀 - 各張影像以 ORB 特徵點與參考幀比對,比對前先將紅色方塊區域遮除(向外擴張 20 px),避免移動物件本身干擾對齊
- 以 RANSAC 估算 Homography 矩陣
- 將偵測到的中心點映射回參考幀座標系
經此處理,所量得者僅餘物件本身的位置變化。
失敗的情形: 特徵點不足八組、或 RANSAC inlier 少於六組時,該張影像將退回使用原始像素座標並印出警告。少數幾張退回不影響整體判讀;若大量出現,通常肇因於背景過於乾淨——純色桌面不具備足夠紋理供比對。於視野邊緣張貼具圖樣之物(膠帶、標籤、刻度貼紙)即可解決,該等標記對日後復位相機亦有助益。
與相機標定的區別 本節的「以特徵點反推相機位姿」與相機標定為不同的兩件事。標定所量測者為相機的絕對位置與姿態並存為檔案;此處僅將各張影像相對對齊至同一座標系,用畢即棄。兩者不互相取代。
可調參數
程式頂部與 main() 內共四處可調整:
| 位置 | 變數 | 預設 | 調整時機 |
|---|---|---|---|
| 檔案頂部 | FRAMES_DIR | first_frames | 影像置於其他路徑 |
| 檔案頂部 | OUTPUT_PATH | cube_distribution.png | 另存輸出 |
main() | bins | 12 | 資料量大而需較細的格度(數值越大格子越細) |
make_red_mask() | HSV 範圍 | 見下 | 目標物非紅色,或現場光線偏暗 |
關於 bins:預設的 12×12 係為使格子數量於畫面上仍可辨讀。惟分佈一旦擠於小範圍內,12 格將粗至無法呈現內部結構——如前述範例僅佔三至四格寬時,須調至 20~24 方能分辨該區域內部為均勻抑或另有更小的熱點。
更換顏色或調整光線為最常見的修改。紅色於 HSV 色相環上橫跨兩端,故程式採用兩段遮罩:
m1 = cv2.inRange(hsv, (0, 100, 80), (10, 255, 255)) # 0–10°
m2 = cv2.inRange(hsv, (160, 100, 80), (180, 255, 255)) # 160–180°
三個數值依序為色相、飽和度、明度。更換為其他顏色時僅需一段遮罩,調整色相範圍即可;現場光線偏暗而導致大量 NOT DETECTED 時,將明度下限(80)調低。
此外 detect_red_cube() 內設有面積門檻 area < 50,用於濾除零星雜訊。若方塊於畫面中特別小而遭誤濾,將此值調低。
適用範圍的限制
明確其邊界,方不致以其結論回答其無法回答的問題:
| 限制 | 說明 |
|---|---|
| 所量為像素,非公分 | 輸出座標位於影像空間,可比較疏密,不可直接對應至公分。換算須經相機標定 |
| 僅取最大的紅色區塊 | 畫面中存在第二個紅色物體時可能誤判。執行前須確認視野內無其他同色干擾物 |
| 僅檢視初始位置 | 所驗證者為起點是否分散,不涵蓋軌跡品質。動作品質仍須以播放確認 |
| 僅接受俯視影像 | 分佈為平面概念,側視角度無法量測 |
| Z 軸與旋轉不可見 | 俯視畫面僅反映 x/y。方塊的高度與 z 旋轉若亦開啟隨機,本圖無從顯示該二項是否生效 |
末項須加以說明:本工具所驗證者為隨機範圍中最重要、亦最易設定失當的兩個維度,而非全部。其性質為一道成本低廉的檢查,而非完整的品質保證。
檢查清單
執行前
- 已取出每一集的第一張俯視影像,檔名為
demo_<N>_cam_top.png - 不同批次已分為不同 session 資料夾
- 視野內無其他與目標同色的物體
- 目標物非紅色時,已調整
make_red_mask()的 HSV 範圍
判讀時
-
NOT DETECTED與homography failed的數量於可接受範圍內 - 熱圖的分佈涵蓋上線後工件實際出現的區域,而非僅求填滿畫面
- 分佈的寬度來自單一批次的隨機範圍,而非多批不同中心值拼合而成
- 分佈若偏向一側,已回頭檢查虛實對齊,而非逕行放寬範圍
- 散點圖上的離群點已記下編號並回頭播放確認
確認後
- 分佈符合預期方匯出並送入訓練;不符則回模擬環境調整設定重新生成
分佈符合預期後,即可依模型訓練的流程繼續。本項檢查不會使模型更為準確,其作用僅在於:於付出訓練成本之前,先行確認該批資料實際涵蓋的範圍。模型所能學得者以其所見過的變化為限,本圖所呈現者即為其見過的範圍。
下一步: 資料集管理.