跳至主要内容

隨機覆蓋率驗證

資訊

工具取得方式 覆蓋率驗證工具為獨立的離線程式,目前未隨平台一同發行,執行時不會改動既有的資料集。如需使用,請與我們聯絡:aide.support@advantech.com。

驗證的用途​

隨機範圍為 SDG 的核心設定,然而設定完成並不等同於資料確實散開。平台所提供的兩項回饋——成功率與單集播放——均無法回答此一問題:成功率僅反映動作是否完成,播放抽查僅反映該集是否正常,兩者皆不描述整批資料的物件初始位置究竟散佈成何種形狀。

此項判斷不宜依靠目視。逐集播放一百集所能留下的印象僅止於「大致有散開」,而最常見的失當情形恰恰是:物件八成落於畫面中央的一小塊區域,四個角落一集未有。此種資料於播放時每一集均屬正常,合併觀察方顯異常。

本工具的作用為單一項目:將整批資料的物件初始位置繪製為圖表。散點圖呈現分佈,熱圖呈現密度,據以判斷該批資料實際涵蓋的空間範圍。

執行的時機​

工具本身的技術含量有限,其價值在於所擋下的成本。生成一百集需時可觀,訓練更久。若隨機範圍設定過窄,此一路徑上不會有任何環節報錯:

環節觀察到的實際狀況
生成成功率接近滿分因物件均位於手臂最易到達的位置
抽查每一集均正常因單集確實正常
訓練Loss 曲線正常收斂因僅有一種情況待學習
實機推論物件稍有偏移即無法抓取模型未曾見過該位置

問題至最末一格方才顯現,而其時生成與訓練的時間成本已然付出。此與模擬環境所述「於放大之前確認」為同一原則:確認的成本為數分鐘,不確認的成本為整批重來。

因此本項作業的位置為:生成完成後、匯出並送入訓練之前。

影像準備​

工具讀取的為影像,而非資料集檔案。所需準備者為每一集的第一張俯視相機畫面,即手臂尚未動作、物件停留於隨機初始位置的該幀。

資料夾結構如下:

first_frames/
├── 20260506_0947/ ← session(建議以時間戳命名)
│ ├── demo_0_cam_top.png
│ ├── demo_1_cam_top.png
│ └── ...
├── 20260506_1040/
└── 20260506_1132/
項目要求
檔名格式demo_<編號>_cam_top.png,編號用於圖上標註
資料夾分層一個 session 一個資料夾;亦可將 PNG 直接置於根目錄
相機俯視視角。側視角度無法呈現平面分佈,不適用
目標物紅色方塊(其他顏色的處理見可調參數)

分 session 存放的目的在於批次比較。實務上多數情形並非一次生成完成,而是先跑一批、調整範圍後再跑一批。分成資料夾之後,散點圖將以不同顏色標示各批次,得以直接判斷調整後的分佈是否較前次分散,而非僅見到混合後的單一結果。

執行​

pip install opencv-python numpy matplotlib pillow
python app.py

執行後於工作目錄產生 cube_distribution.png,終端機並逐張列出偵測到的座標:

── 20260506_0947 ──
20260506_0947 [ 0] (412.3, 288.7)
20260506_0947 [ 1] (395.1, 301.2)
20260506_0947 [ 2] NOT DETECTED
20260506_0947 [ 3] WARNING: homography failed, using raw

其中兩種訊息須留意:

訊息意義處理方式
NOT DETECTED該張影像未偵測到紅色區塊偶發一至二張可忽略;大量出現代表顏色門檻不符,見可調參數
homography failed, using raw相機角度校正失敗,退回原始像素座標少量可接受;大量出現代表背景特徵不足,見相機角度校正

輸出的判讀​

輸出為左右並排的兩張圖,共用同一張參考影像作為底圖。

覆蓋率驗證的輸出:散點圖與熱圖

散點圖​

每一點為單張影像中方塊的中心位置,顏色區分 session,旁側小字為 demo 編號。

判讀的對象為形狀而非單點。合理的分佈應大致填滿預期的工作區域,而非聚集為一小塊或排列成一條線。

標註編號的用途在於回溯:某一點若孤立地落於角落,記下其編號回頭播放該集,多數情形將發現該集為失敗或異常資料。

熱圖​

將影像切分為 12×12 格,統計各格的落點數,以顏色深淺(黑→紅→白)表示密度,格內並直接標示實際數量。

散點圖於資料量較大時會相互重疊——一百個點疊合之後,無法分辨中央區域為十點或四十點。熱圖即為此而設。

須處理的三種形狀:

圖上呈現代表對應動作
中央單格數量特別大,周圍大片為零隨機範圍過窄,等同於將同一集複製一百份放寬方塊/盒子的隨機範圍
分佈大致平均,邊緣略淡正常無須調整
明顯偏向某一側,另一側整片空白隨機範圍的中心值偏移,而非寬度問題檢查虛實對齊

末項尤須留意。範圍過窄與中心值偏移,於成功率上均無從分辨,而處理方式恰好相反:一者須放寬寬度,一者須移動中心。兩者僅能藉由分佈圖區分。

範例判讀​

上圖為一份實際輸出:四個 session、共 120 集,畫面為 640×480。依前述方法判讀如下。

其一,整批的分佈範圍。 所有點集中於 x 約 240~380、y 約 175~345 的區域內,換算後 144 格中僅 16 格有資料,佔畫面不足九分之一。熱圖最熱的一格為 20,即全部資料的六分之一落於畫面的 1/144 之內。依上表判讀,此為典型的範圍過窄。

其二,散點圖的顏色分佈。 四個 session 各自形成一條垂直色帶,由左至右排開,彼此幾無重疊。此代表各批次自身的 x 變化均甚小,整批之所以呈現一定寬度,係因四批的中心值各異、拼合後方湊出該寬度。

此一分辨將改變處置方式:

若判斷為實際上應採取
四批合計已涵蓋該區域任一單批所訓練的模型僅見過一條窄帶放寬單批的隨機範圍,而非再跑數批並挪動中心值

以挪動中心值的多批次拼湊覆蓋率,與將單批範圍設寬,其訓練效果並不相同。前者為數個窄分佈的疊加,其間將留有密度不均的間隙;後者方為模型所需的連續變化。

其三,離群點與空白區域。 熱圖右側單獨一格的 1,於散點圖對應至最右側的落單點,記下其 demo 編號回頭播放,多為異常資料。至於左側盒子所在位置的整片空白則屬正確——方塊本不會生成於盒內。

空白格子不必然代表缺失。若該片區域本即為手臂無法到達之處,則其無資料為正確結果。應提出的問題並非「是否填滿畫面」,而是「是否涵蓋上線後工件實際出現的範圍」。

相機角度校正​

若俯視攝影機的隨機範圍亦已開啟(該處建議設定較物件保守,惟仍非為零),則每一集的相機位置均略有差異,同一物理位置於不同集的畫面中將落於不同的像素座標。

直接將各集的像素座標疊合繪製,所量得者為物件變化與相機晃動之和,分佈將顯得較實際情形分散。而待判斷者恰為分散與否,此項誤差正落於最關鍵之處。

工具的處理方式為:

  1. 以第一個 session 的 demo_0 作為全域參考幀
  2. 各張影像以 ORB 特徵點與參考幀比對,比對前先將紅色方塊區域遮除(向外擴張 20 px),避免移動物件本身干擾對齊
  3. 以 RANSAC 估算 Homography 矩陣
  4. 將偵測到的中心點映射回參考幀座標系

經此處理,所量得者僅餘物件本身的位置變化。

失敗的情形: 特徵點不足八組、或 RANSAC inlier 少於六組時,該張影像將退回使用原始像素座標並印出警告。少數幾張退回不影響整體判讀;若大量出現,通常肇因於背景過於乾淨——純色桌面不具備足夠紋理供比對。於視野邊緣張貼具圖樣之物(膠帶、標籤、刻度貼紙)即可解決,該等標記對日後復位相機亦有助益。

備註

與相機標定的區別 本節的「以特徵點反推相機位姿」與相機標定為不同的兩件事。標定所量測者為相機的絕對位置與姿態並存為檔案;此處僅將各張影像相對對齊至同一座標系,用畢即棄。兩者不互相取代。

可調參數​

程式頂部與 main() 內共四處可調整:

位置變數預設調整時機
檔案頂部FRAMES_DIRfirst_frames影像置於其他路徑
檔案頂部OUTPUT_PATHcube_distribution.png另存輸出
main()bins12資料量大而需較細的格度(數值越大格子越細)
make_red_mask()HSV 範圍見下目標物非紅色,或現場光線偏暗

關於 bins:預設的 12×12 係為使格子數量於畫面上仍可辨讀。惟分佈一旦擠於小範圍內,12 格將粗至無法呈現內部結構——如前述範例僅佔三至四格寬時,須調至 20~24 方能分辨該區域內部為均勻抑或另有更小的熱點。

更換顏色或調整光線為最常見的修改。紅色於 HSV 色相環上橫跨兩端,故程式採用兩段遮罩:

m1 = cv2.inRange(hsv, (0, 100, 80), (10, 255, 255)) # 0–10°
m2 = cv2.inRange(hsv, (160, 100, 80), (180, 255, 255)) # 160–180°

三個數值依序為色相、飽和度、明度。更換為其他顏色時僅需一段遮罩,調整色相範圍即可;現場光線偏暗而導致大量 NOT DETECTED 時,將明度下限(80)調低。

此外 detect_red_cube() 內設有面積門檻 area < 50,用於濾除零星雜訊。若方塊於畫面中特別小而遭誤濾,將此值調低。

適用範圍的限制​

明確其邊界,方不致以其結論回答其無法回答的問題:

限制說明
所量為像素,非公分輸出座標位於影像空間,可比較疏密,不可直接對應至公分。換算須經相機標定
僅取最大的紅色區塊畫面中存在第二個紅色物體時可能誤判。執行前須確認視野內無其他同色干擾物
僅檢視初始位置所驗證者為起點是否分散,不涵蓋軌跡品質。動作品質仍須以播放確認
僅接受俯視影像分佈為平面概念,側視角度無法量測
Z 軸與旋轉不可見俯視畫面僅反映 x/y。方塊的高度與 z 旋轉若亦開啟隨機,本圖無從顯示該二項是否生效

末項須加以說明:本工具所驗證者為隨機範圍中最重要、亦最易設定失當的兩個維度,而非全部。其性質為一道成本低廉的檢查,而非完整的品質保證。

檢查清單​

執行前

  • 已取出每一集的第一張俯視影像,檔名為 demo_<N>_cam_top.png
  • 不同批次已分為不同 session 資料夾
  • 視野內無其他與目標同色的物體
  • 目標物非紅色時,已調整 make_red_mask() 的 HSV 範圍

判讀時

  • NOT DETECTED 與 homography failed 的數量於可接受範圍內
  • 熱圖的分佈涵蓋上線後工件實際出現的區域,而非僅求填滿畫面
  • 分佈的寬度來自單一批次的隨機範圍,而非多批不同中心值拼合而成
  • 分佈若偏向一側,已回頭檢查虛實對齊,而非逕行放寬範圍
  • 散點圖上的離群點已記下編號並回頭播放確認

確認後

  • 分佈符合預期方匯出並送入訓練;不符則回模擬環境調整設定重新生成

分佈符合預期後,即可依模型訓練的流程繼續。本項檢查不會使模型更為準確,其作用僅在於:於付出訓練成本之前,先行確認該批資料實際涵蓋的範圍。模型所能學得者以其所見過的變化為限,本圖所呈現者即為其見過的範圍。


下一步: 資料集管理.