所有移動的事物都將變得自主化。所有自主化的事物都需要先進的實時感知。
NVIDIA這一最新宣布，向ROS開發者社區提供整套感知技術。對於尋求將先進計算機視覺和AI/ML功能納入基於ROS的機器人應用程序的開發人員來說，這將縮短開發時間並提高性能。
Open Robotics將擴展用於NVIDIA AI的ROS
Open Robotics首席執行官Brian Gerkey表示：“隨着越來越多的ROS開發人員利用硬件平台，這些平台包含額外的計算功能，旨在減輕主機CPU的負擔，ROS正在發展，以更容易有效地利用這些先進的硬件資源。我們與NVIDIA這樣的加速計算領導者合作，以及其在人工智能和機器人技術創新方面的豐富經驗，將為整個ROS社區帶來很大益處。”
NVIDIA和Open Robotics已達成協議，將在NVIDIA Jetson邊緣AI平台和基於GPU的系統上加速ROS 2性能，並在 Omniverse 上實現 Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之間的無縫模擬互操作性。
NVIDIA Jetson平台在很多應用領域中被機器人專家廣泛採用。它旨在為機器人提供高性能、低延遲的處理，使其具有響應性、安全性和協作性。Open Robotics將通過升級ROS 2來高效管理位於NVIDIA Jetson平台上的GPU和其他處理器之間的數據流並共享內存，使負責實時處理攝像頭和激光雷達等傳感器高帶寬數據的應用性能得到大幅提升。
除了增強機器人應用在Jetson上的部署，Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的計劃。NVIDIA Isaac Sim已支持開箱即用的ROS 1和2，並通過連接Blender和Unreal Engine 4等流行應用來創建一個至關重要的3D內容生態系統。
Ignition Gazebo數十年來在整個機器人界，包括在正在進行的DARPA Subterranean Challenge等高知名度比賽中創造了許多紀錄。
通過連接這兩個模擬器，ROS開發者可以輕鬆地在Ignition Gazebo和Isaac Sim之間移動他們的機器人和環境以運行大型模擬，還可以使用高保真動力學、精確傳感器模型和逼真渲染等兩個模擬器的先進功能來生成用於訓練和測試AI模型的合成數據。
此次合作所產生的軟件預計將於2022年春季發布。
為ROS發布的Isaac GEM速度顯著加快
用於ROS的Isaac GEM是一款使ROS開發者更容易在Jetson平台上構建高性能解決方案的硬件加速包。這些GEM專註於提高圖像處理和基於DNN的感知模型的吞吐量，而後者對機器人專家而言正變得日益重要。這些軟件包減少了主機CPU的負載，同時顯著提升了性能。
用於ROS的全新Isaac GEM包含：
- SGM Stereo Disparity和 Point Cloud
- Color Space Conversion和Lens Distortion Correction
- AprilTags Detection
圖1 ROS對立體相機的支持，在ROS的Rviz工具中可以看到左側和右側相機視圖。Rviz能顯示RGB和深度圖像。
Isaac Sim的新功能為ROS開發者提供便利
最新版本的Isaac Sim包含對ROS開發者社區的重要支持，其中比較引人注目的是ROS2導航棧和MoveIt運動規劃框架。這些示例今天即開放使用，並可在Isaac Sim文檔中找到：
Isaac Sim中的ROS示例列表
- ROS April Tag
- ROS Stereo Camera
- ROS Navigation
- ROS TurtleBot3 Sample
- ROS Manipulation和Camera Sample
- ROS Services
- MoveIt Motion Planning Framework
- Native Python ROS Usage
- ROS2 Navigation
圖2 Isaac Sim on Omniverse功能模塊圖，包含機器人模型、環境模型和3D資料輸入。
Isaac Sim生成用於訓練感知的合成數據集
除了作為一個機器人模擬器之外，Isaac Sim還具備一套強大的功能，可以生成合成數據來訓練和測試感知模型。隨着機器人專家將更多的感知功能集成到他們的平台，這些功能將變得更加重要。顯然，機器人對環境的感知能力越強，它的自主性就越強，所需的人為干預就越少。
一旦Isaac Sim生成了合成數據集，就可以將它們直接輸入NVIDIA TAO（一個AI模型自適應平台），從而根據機器人的具體工作環境調整感知模型。在從目標環境中採集任何實際數據之前，就可以確保機器人的感知棧在特定工作環境中的表現。
長期以來，機器人專家在連接和集成經典機器人任務（如導航）和AI感知棧方面一直面臨著各種挑戰。Isaac Sim通過同時作為機器人和合成數據生成工具並與TAO訓練平台進行集成解決了這一工作流程挑戰。
更多精彩內容，敬請期待 ROS World和2021年GTC大會
NVIDIA正在為2021年10月21日至22日的ROS World做準備。我們計劃為Jetson開發者發布更多新的GEM，包括多個常用的DNN。我們還將發布多項支持ROS開發者社區的Isaac Sim功能。歡迎蒞臨我們的虛擬展台，參加NVIDIA ROS圓桌會議，觀看關於Isaac Sim的技術演示等精彩內容。
在即將於11月8日至11日舉行的GTC大會上，NVIDIA將為大家帶來精彩紛呈的演講、講座和內容。我們專為機器人開發者準備了一個通道，其中包含Open Robotics首席執行官兼聯合創始人Brian Gerkey的演講。此外，我們還將舉辦涵蓋NVIDIA Jetson、Isaac ROS、Isaac Sim、Isaac GYM等主題的講座。
即刻啟程
即刻體驗NVIDIA AI Perception，請使用以下鏈接：
下載用於ROS 的Isaac GEM
https://nvidia-ai-iot.github.io/ros2_jetson/ros2-packages/
進一步了解Isaac Sim
https://developer.nvidia.com/isaac-sim
獲取關於使用Isaac Sim生成合成數據的教程
https://www.youtube.com/playlist?list=PL3jK4xNnlCVf1SzxjCm7ZxDBNl9QYyV8X
進一步了解使用Tao工具包加速機器學習訓練
https://developer.nvidia.com/tao
Webinar 乾貨來襲
本次webinar將深入介紹機器人仿真平台Isaac sim，包含模型的導入，和ROS的通信，導航以及感知AI部分基於仿真環境的開發，以及基於GPU加速的Isaac ROS算法部分的介紹。
NVIDIA GTC 免費註冊現已開放！ 11 月 8 日至 11 日，線上盛會，彙集數以千計的行業開發者、AI 創新者、和商業領袖。歡迎掃描以下海報二維碼，加入GTC，共襄科技盛宴！
黃仁勛主題演講直播將於 11 月 9 日（星期二）下午4點播出，更多精彩內容預告，敬請期待！
*本文轉自 NVIDIA英偉達企業解決方案