使用 MIPI 相機於 ASR-D501 進行物件偵測
本範例將示範如何在 ASR-D501 上使用 MIPI 相機 (IMX577) 拍攝並執行物件偵測處理流程。
概述
- 模型優化與 NPU 加速:使用 Qualcomm AI Hub 匯出專門針對 QCS6490 晶片組量身打造的 YOLO 物件偵測模型。此無縫部署讓裝置能夠直接在其 NPU 上執行高速的硬體加速推論。
- MIPI 相機整合: 利用 GStreamer 在邊緣裝置上直接且高效地存取與測試 MIPI 相機串流。
- 即時推論: 直接對來自 MIPI 相機的即時影像串流進行物件偵測。
系統需求與元件
| 元件 | 規格 |
|---|---|
| 平台 | ASR-D501 (Qualcomm QCS6490) |
| 作業系統映像檔 | ASRD501A1-Ubuntu24.04-x07_v1.0.0 |
| MIPI 相機 | Thundercomm IMX577 |
| 模型 | YOLOv8-Detection (從 Qualcomm AI Hub Models 取得) |
操作流程
- 步驟一:參閱 下載 Qualcomm AI Hub 模型 文件取得模型
- 步驟二:連接並透過 GStreamer 測試 MIPI 相機
- 步驟三:下載 Python 檔案並執行即時推論
步驟一:參閱下載 Qualcomm AI Hub 模型文件取得模型
請參閱 下載 Qualcomm AI Hub 模型 以取得物件偵測模型,並依照該處說明匯出適用於 QCS6490 晶片的 YOLO 模型。
步驟二:連接並透過 GStreamer 測試 MIPI 相機
請確保 IMX577 MIPI 相機已正確連接至 ASR-D501 平台。
備註
根據 BSP 設定,ASR-D501 支援特定的相機接口對應關係。IMX577 感測器必須連接至 CAM1 或 CAM2接口, 不支援連接至 CAM3、CAM4 或 CAM5接口。
更多詳細資訊,請參閱 ASR-D501 使用者手冊 ↗。
在執行推論程式碼之前,您可以透過簡單的 GStreamer 指令,測試系統是否能偵測到 MIPI 相機硬體並正確輸出影像串流。
請在終端機中執行下列指令:
gst-launch-1.0 -v qtiqmmfsrc name=camsrc camera=0 ! autovideosink
若相機設定無誤,將會彈出視窗並顯示來自 MIPI 相機的即時影像串流。 確認硬體連線成功後,即可關閉串流視窗並進入下一步驟。
步驟三:下載 Python 檔案並執行即時推論
在本範例中,我們將使用 Python 程式碼來執行物件偵測。
請透過下方連結下載程式碼,並將其放置於與匯出模型所在的相同目錄中:
📥 下載 IMX577_demo.py
下載完成後,在裝置上開啟終端機並執行以下指令進行推論:
python3 IMX577_demo.py
您現在應該會看到彈出視窗顯示即時影像串流,並直接對畫面中的物件標註偵測邊界框!
