跳至主要内容

使用 MIPI 相機於 ASR-D501 進行物件偵測

本範例將示範如何在 ASR-D501 上使用 MIPI 相機 (IMX577) 拍攝並執行物件偵測處理流程。


概述​

  • 模型優化與 NPU 加速:使用 Qualcomm AI Hub 匯出專門針對 QCS6490 晶片組量身打造的 YOLO 物件偵測模型。此無縫部署讓裝置能夠直接在其 NPU 上執行高速的硬體加速推論。
  • MIPI 相機整合: 利用 GStreamer 在邊緣裝置上直接且高效地存取與測試 MIPI 相機串流。
  • 即時推論: 直接對來自 MIPI 相機的即時影像串流進行物件偵測。

系統需求與元件​

元件規格
平台ASR-D501 (Qualcomm QCS6490)
作業系統映像檔ASRD501A1-Ubuntu24.04-x07_v1.0.0
MIPI 相機Thundercomm IMX577
模型YOLOv8-Detection (從 Qualcomm AI Hub Models 取得)

操作流程​

  • 步驟一:參閱 下載 Qualcomm AI Hub 模型 文件取得模型
  • 步驟二:連接並透過 GStreamer 測試 MIPI 相機
  • 步驟三:下載 Python 檔案並執行即時推論

步驟一:參閱下載 Qualcomm AI Hub 模型文件取得模型​

請參閱 下載 Qualcomm AI Hub 模型 以取得物件偵測模型,並依照該處說明匯出適用於 QCS6490 晶片的 YOLO 模型。

步驟二:連接並透過 GStreamer 測試 MIPI 相機​

請確保 IMX577 MIPI 相機已正確連接至 ASR-D501 平台。

備註

根據 BSP 設定,ASR-D501 支援特定的相機接口對應關係。IMX577 感測器必須連接至 CAM1 或 CAM2接口, 不支援連接至 CAM3、CAM4 或 CAM5接口。 更多詳細資訊,請參閱 ASR-D501 使用者手冊 ↗。

在執行推論程式碼之前,您可以透過簡單的 GStreamer 指令,測試系統是否能偵測到 MIPI 相機硬體並正確輸出影像串流。

請在終端機中執行下列指令:

gst-launch-1.0 -v qtiqmmfsrc name=camsrc camera=0 ! autovideosink

若相機設定無誤,將會彈出視窗並顯示來自 MIPI 相機的即時影像串流。 確認硬體連線成功後,即可關閉串流視窗並進入下一步驟。

步驟三:下載 Python 檔案並執行即時推論​

在本範例中,我們將使用 Python 程式碼來執行物件偵測。

請透過下方連結下載程式碼,並將其放置於與匯出模型所在的相同目錄中:

📥 下載 IMX577_demo.py

下載完成後,在裝置上開啟終端機並執行以下指令進行推論:

python3 IMX577_demo.py

您現在應該會看到彈出視窗顯示即時影像串流,並直接對畫面中的物件標註偵測邊界框!

Obstacle_detected_demo