搭配 USB 相機於 ASR-D501 實現避障功能
本範例將示範如何在 ASR-D501 上搭配使用 USB 相機與飛行控制器,建構完整的避障處理流程。
概述
- 模型優化與 NPU 加速:使用 Qualcomm AI Hub 匯出專門針對 QCS6490 晶片組量身打造的 YOLO 物件偵測模型。此無縫部署讓裝置能夠直接在其 NPU 上執行高速的硬體加速推論。
- 可擴展的 ROS 2 架構:使用 OrbbecSDK ROS 2 從 3D 相機發布即時 RGB Topic 與深度影像 Topic。此發布-訂閱機制確保了模組化且低延遲的感測器通訊,能輕鬆與無人機控制系統整合。
- 分析與決策: 本範例結合偵測邊界框與深度資料來估算障礙物距離,最終提供給飛行控制器障礙物方向(左、中或右)。
系統需求與元件
| 元件 | 規格 |
|---|---|
| 平台 | ASR-D501 (Qualcomm QCS6490) |
| 作業系統映像檔 | ASRD501A1-Ubuntu24.04-x07_v1.0.0 |
| 3D 相機 | Orbbec Gemini 335Lg (USB) |
| 飛行控制器 | Pixhawk® 6C |
| 模型 | YOLOv8-Detection (從 Qualcomm AI Hub Models 取得) |
操作流程
- 步驟一:參閱 下載 Qualcomm AI Hub 模型 文件取得模型
- 步驟二:連接並偵測 USB 相機
- 步驟三:環境設定(安裝 OrbbecSDK 與 OrbbecSDK ROS 2)
- 步驟四:下載 Python 檔案並執行即時推論
- 步驟五:連接至飛行控制器
步驟一:參閱下載 Qualcomm AI Hub 模型文件取得模型
請參閱 下載 Qualcomm AI Hub 模型 以取得物件偵測模型,並依照該處說明匯出適用於 QCS6490 晶片的 YOLO 模型。
步驟二:連接並偵測 USB 相機
將 Orbbec Gemini 335Lg 連接到 ASR-D501 的 USB Type-C 連接埠。
您可以執行以下指令來確認系統已偵測到相機硬體:
lsusb
在輸出列表中尋找 Orbbec 裝置以確認實體連接成功。
步驟三:環境設定(安裝 OrbbecSDK 與 OrbbecSDK ROS 2)
由於本專案使用 Orbbec 相機與 ROS 2, 我們需要安裝官方的 OrbbecSDK 與 OrbbecSDK ROS 2 以取得相機的資料。
- OrbbecSDK v2 - v2.9.3 [官方 GitHub 倉庫 ↗]
請參考 GitHub 倉庫,並依指示先設定您的工作區。
成功安裝 Orbbec SDK v2 後,
你可以啟動 OrbbecViewer。
這圖形介面提供一系列功能,包括資料串流預覽、相機設定及後製處理。
OrbbecViewer 介面如下所示。

- OrbbecSDK ROS 2 - v2.9.3 [官方 GitHub 倉庫 ↗]
請參考 GitHub 倉庫的說明,將程式碼複製到 ROS 2 工作空間的目錄(~/ros2_ws/src)中。
在建置套件之前,您必須先修改 gemini_330_series.launch.py 檔案
(位於 ~/ros2_ws/src/OrbbecSDK_ROS2/orbbec_camera/launch 資料夾中)
來設定 RGB 與深度的解析度及畫面更新率:
- Width: 640, Height: 480
- FPS: 30
請參考下圖以了解需修改的確切參數:


在儲存 launch 檔案中的變更後, 建置工作區使設定生效:
cd ~/ros2_ws
colcon build --event-handlers console_direct+ --cmake-args -DCMAKE_BUILD_TYPE=Release
成功建置套件後, 您已準備好可以啟動相機發布 topics 並監控即時串流。
- 在終端機 1 - 啟動相機節點
source ~/ros2_ws/install/setup.bash
ros2 run orbbec_camera list_devices_node # Check if the camera is connected
ros2 launch orbbec_camera gemini_330_series.launch.py
- 在終端機 2 - 透過 RViz2 來視覺化相機輸出
source ~/ros2_ws/install/setup.bash
rviz2
當 RViz2 開啟,你可以新增 Image display 來查看即時的 RGB 和深度 topics。
你可以跟著下面的圖片來加入 topics:

- 在終端機 3 - 列出啟動中的 ROS 2 topics
source ~/ros2_ws/install/setup.bash
ros2 topic list
請確保您的相機成功發布 RGB 與深度 topics,如下所示。

步驟四:下載 Python 檔案並執行即時推論
請透過下方連結下載程式碼,並將其放置於與匯出模型所在的相同目錄中:
📥 下載 obstacle_det.py
此指令碼會處理即時的 ROS 2 影像串流, 用來偵測鳥類(障礙物)與人類,並使用深度資料計算畫面中障礙物的位置(左、中或右)。
執行推論程式碼:
source ~/ros2_ws/install/setup.bash
python3 obstacle_det.py
您現在會看到一個視窗,顯示即時的物件偵測與距離估算!
步驟五:連接至飛行控制器
在我們完整的無人機系統中,
一旦 obstacle_det.py 程式碼識別出障礙物的位置(左、中或右),
它就會傳送訊息給飛行控制器。
接著,飛行控制器會觸發相對應的馬達來移動無人機以避開障礙物。
以下是簡單的工作流程說明:
展示影片
觀看下方我們的實際測試影片,親眼見證避障功能的運作!