跳至主要内容

相機標定

資訊

工具取得方式 相機標定工具目前未隨平台一同發行。如需使用,請與我們聯絡:aide.support@advantech.com。

標定的用途​

模擬環境的影像由模擬器算繪,其中俯視攝影機的位置與旋轉為可設定項目。該組數值決定了虛擬相機的視野,亦即模擬資料中所有影像的取景範圍。

若該視野與實體相機不一致,模擬資料與實體資料所呈現的將是同一場景的兩種取景。模型在此類資料上訓練仍會正常收斂,但於實體環境推論時,物件在畫面中的位置與訓練時所見不同,表現將明顯折損。此為 Sim-to-Real 落差的成因之一。

相機標定即為消除此一落差的方法:量測實體相機的鏡頭特性與擺放位姿,將所得數值填入模擬環境的虛擬相機,使兩者的取景一致。

此項作業與手臂校準為同一性質的不同對象:

作業目的
手臂校準使實體手臂的關節讀值對應物理現實
相機標定(本章)使虛擬相機的影像對應實體相機

量測的兩種參數​

參數內容何時需重新量測
內參(Intrinsics)鏡頭本身的焦距、光心與畸變係數更換相機或變更解析度時
外參(Extrinsics)相機相對於世界原點的位置與姿態移動相機或變更安裝位置時

內參取決於相機硬體,與擺放位置無關,同一台相機量測一次即可長期沿用。外參則描述相機擺在哪、朝哪看,相機一經移動即須重新量測。

事前準備​

棋盤格​

標定以棋盤格作為量測基準。其原理為:棋盤格的格數與方格邊長為已知,程式於影像中偵測到角點後,即可反推鏡頭參數與相機位姿。

項目規格
圖樣OpenCV 官方 pattern.png,下載連結見工具說明文件
內角點數9 × 6(即 10 × 7 格)
方格邊長25 mm
警告

列印與黏貼 列印時須選擇「100% 實際大小」,不可縮放,否則方格邊長與程式設定不符,所有量測結果將等比例失真。列印後須貼在硬紙板或壓克力板上保持平整;紙張的翹曲會直接反映為角點位置的偏差。

若使用其他規格的棋盤格,執行時須一併指定內角點數與方格邊長。

相機​

標定使用一般的 USB 2D 相機即可,無須深度相機。此處量測的是鏡頭的成像特性與擺放位姿,深度資訊於此並無作用。

相機須已完成接入與管理並確認連線正常。外參量測的是相機當下的擺放位置,因此相機必須先固定於最終安裝位置,標定完成後不得再行移動。

標定流程​

步驟一:拍攝內參照片​

以標定工具拍攝 15~20 張棋盤格照片。此步驟的目的為讓程式從多個視角觀察同一個已知圖樣,藉此解出鏡頭參數,因此照片之間的差異即為資料品質的來源:

  • 涵蓋各種角度:正面、左右傾斜、上下俯仰
  • 涵蓋各種距離:由近至遠
  • 棋盤格須完整入鏡,不可被畫面邊緣裁切或被物件遮擋
  • 避免過曝、逆光與手震模糊

全部從同一角度拍攝 20 張,其效果等同於僅拍攝一張。

步驟二:拍攝外參照片​

將棋盤格平放於欲定義為世界座標原點的位置,拍攝一張照片。

此處的擺放決定了整個座標系的基準:後續算出的相機位置,是相對於這張照片中棋盤格所在位置而言。實務上建議將棋盤格平放於工作台上手臂基座的固定位置,並記錄該位置,以便日後重現。

步驟三:執行標定​

執行標定程式,內參與外參可一次完成。程式將依序輸出:

  • 有效照片張數與重投影誤差
  • 內參矩陣與畸變係數
  • 相機於世界座標中的位置與姿態
  • 換算後可直接填入模擬環境的數值

同時產生 intrinsics.json 與 extrinsics.json 兩個檔案,供後續姿態複製使用。

標定品質的判讀​

程式輸出的重投影誤差為唯一的驗收依據。其意義為:將算出的參數反推回影像上的角點位置,與實際偵測位置相差幾個像素。

誤差範圍判定處理方式
< 0.5 px優良可直接使用
0.5 ~ 1.0 px可接受可使用,如需更高精度可補拍照片
> 1.0 px不合格須重新拍攝

誤差偏高時,成因通常為以下三者之一:棋盤格未保持平整、照片角度過於單一、部分照片模糊或過曝。應排除不良照片後重新執行,而非沿用不合格的結果——不合格的內參會被後續的外參計算完整繼承。

若程式回報多張照片「無法偵測角點」,須先確認內角點數的設定正確。此處指的是角點數而非格子數,10 × 7 格的棋盤格對應的是 9 × 6 個內角點。

填入模擬環境​

標定完成後,將輸出數值填入模擬環境設定 → 俯視攝影機分頁的位置與旋轉欄位,詳見模擬環境與 SDG 生成。

輸出項目填入欄位
Position X / Y / Z俯視攝影機的位置
Rotation X / Y / Z俯視攝影機的旋轉
備註

填入後須目視確認 填入後應比對模擬環境的畫面與實體相機的實際畫面,確認兩者的取景範圍一致。座標系轉換涉及多項慣例差異,數值填入後仍可能存在殘餘偏差;若觀察到明顯落差,可就旋轉數值進行小幅微調至取景吻合為止。此一目視確認與虛實對齊中對虛擬手臂的確認為同一性質的作業。

隨機範圍的設定不因標定而改變,仍依俯視攝影機的隨機範圍所述的原則設定。標定所決定者為隨機範圍的中心值。

跨主機部署:姿態複製​

模型完成訓練後部署至其他工站時,各站的相機安裝位置不可能完全一致,此一差異將使部署後的表現偏離驗證結果。

標定工具組另提供一項姿態引導功能,用途為將既有的相機擺放複製到另一個場地:載入原場地的 intrinsics.json 與 extrinsics.json,工具將即時比對目前相機與目標位姿的差距,於畫面上顯示各軸的偏差量並以顏色標示是否達標,據此引導調整至一致。

使用此功能的前提為:新場地的棋盤格相對於手臂的位置與朝向,須與原場地一致。外參記錄的是「相機↔棋盤格」的相對位姿,欲使「相機↔手臂」一致,即須先確保「棋盤格↔手臂」一致。

本階段的完成標準​

  • 重投影誤差落於可接受範圍(< 1.0 px)
  • intrinsics.json 與 extrinsics.json 已產生並妥善保存
  • 模擬環境的俯視攝影機取景與實體相機一致
  • 相機自標定後未再移動

其中最後一項最易被忽略。相機若於標定後因整線、清潔或碰撞而移動,外參即失效,須重新執行步驟二與步驟三;內參不受影響,無須重新量測。


下一步: 策略選擇.