跳至主要内容

搭配 USB 相機於 ASR-D501 實現避障功能

本範例將示範如何在 ASR-D501 上搭配使用 USB 相機與飛行控制器,建構完整的避障處理流程。


概述​

  • 模型優化與 NPU 加速:使用 Qualcomm AI Hub 匯出專門針對 QCS6490 晶片組量身打造的 YOLO 物件偵測模型。此無縫部署讓裝置能夠直接在其 NPU 上執行高速的硬體加速推論。
  • 可擴展的 ROS 2 架構:使用 OrbbecSDK ROS 2 從 3D 相機發布即時 RGB Topic 與深度影像 Topic。此發布-訂閱機制確保了模組化且低延遲的感測器通訊,能輕鬆與無人機控制系統整合。
  • 分析與決策: 本範例結合偵測邊界框與深度資料來估算障礙物距離,最終提供給飛行控制器障礙物方向(左、中或右)。

系統需求與元件​

元件規格
平台ASR-D501 (Qualcomm QCS6490)
作業系統映像檔ASRD501A1-Ubuntu24.04-x07_v1.0.0
3D 相機Orbbec Gemini 335Lg (USB)
飛行控制器Pixhawk® 6C
模型YOLOv8-Detection (從 Qualcomm AI Hub Models 取得)

操作流程​

  • 步驟一:參閱 下載 Qualcomm AI Hub 模型 文件取得模型
  • 步驟二:連接並偵測 USB 相機
  • 步驟三:環境設定(安裝 OrbbecSDK 與 OrbbecSDK ROS 2)
  • 步驟四:下載 Python 檔案並執行即時推論
  • 步驟五:連接至飛行控制器

步驟一:參閱下載 Qualcomm AI Hub 模型文件取得模型​

請參閱 下載 Qualcomm AI Hub 模型 以取得物件偵測模型,並依照該處說明匯出適用於 QCS6490 晶片的 YOLO 模型。

步驟二:連接並偵測 USB 相機​

將 Orbbec Gemini 335Lg 連接到 ASR-D501 的 USB Type-C 連接埠。
您可以執行以下指令來確認系統已偵測到相機硬體:

lsusb

在輸出列表中尋找 Orbbec 裝置以確認實體連接成功。

lsusb_command

步驟三:環境設定(安裝 OrbbecSDK 與 OrbbecSDK ROS 2)​

由於本專案使用 Orbbec 相機與 ROS 2, 我們需要安裝官方的 OrbbecSDK 與 OrbbecSDK ROS 2 以取得相機的資料。

  1. OrbbecSDK v2 - v2.9.3 [官方 GitHub 倉庫 ↗]

請參考 GitHub 倉庫,並依指示先設定您的工作區。

成功安裝 Orbbec SDK v2 後, 你可以啟動 OrbbecViewer。 這圖形介面提供一系列功能,包括資料串流預覽、相機設定及後製處理。
OrbbecViewer 介面如下所示。

OrbbecViewer_Gemini335Lg
  1. OrbbecSDK ROS 2 - v2.9.3 [官方 GitHub 倉庫 ↗]

請參考 GitHub 倉庫的說明,將程式碼複製到 ROS 2 工作空間的目錄(~/ros2_ws/src)中。

在建置套件之前,您必須先修改 gemini_330_series.launch.py 檔案 (位於 ~/ros2_ws/src/OrbbecSDK_ROS2/orbbec_camera/launch 資料夾中) 來設定 RGB 與深度的解析度及畫面更新率:

  • Width: 640, Height: 480
  • FPS: 30

請參考下圖以了解需修改的確切參數:

gemini_330_series_launch_filechange_1gemini_330_series_launch_filechange_2

在儲存 launch 檔案中的變更後, 建置工作區使設定生效:

cd ~/ros2_ws
colcon build --event-handlers console_direct+ --cmake-args -DCMAKE_BUILD_TYPE=Release

成功建置套件後, 您已準備好可以啟動相機發布 topics 並監控即時串流。

  • 在終端機 1 - 啟動相機節點
source ~/ros2_ws/install/setup.bash
ros2 run orbbec_camera list_devices_node # Check if the camera is connected
ros2 launch orbbec_camera gemini_330_series.launch.py
  • 在終端機 2 - 透過 RViz2 來視覺化相機輸出
source ~/ros2_ws/install/setup.bash
rviz2

當 RViz2 開啟,你可以新增 Image display 來查看即時的 RGB 和深度 topics。
你可以跟著下面的圖片來加入 topics:

rviz_interface
  • 在終端機 3 - 列出啟動中的 ROS 2 topics
source ~/ros2_ws/install/setup.bash
ros2 topic list

請確保您的相機成功發布 RGB 與深度 topics,如下所示。

ros2_topic_list

步驟四:下載 Python 檔案並執行即時推論​

請透過下方連結下載程式碼,並將其放置於與匯出模型所在的相同目錄中:

📥 下載 obstacle_det.py

此指令碼會處理即時的 ROS 2 影像串流, 用來偵測鳥類(障礙物)與人類,並使用深度資料計算畫面中障礙物的位置(左、中或右)。

執行推論程式碼:

source ~/ros2_ws/install/setup.bash
python3 obstacle_det.py

您現在會看到一個視窗,顯示即時的物件偵測與距離估算!

Obstacle_detected_demo

步驟五:連接至飛行控制器​

在我們完整的無人機系統中, 一旦 obstacle_det.py 程式碼識別出障礙物的位置(左、中或右), 它就會傳送訊息給飛行控制器。 接著,飛行控制器會觸發相對應的馬達來移動無人機以避開障礙物。

以下是簡單的工作流程說明:

obstacle_detection_pipeline

展示影片​

觀看下方我們的實際測試影片,親眼見證避障功能的運作!