欧美成人一区午夜福利在线,国产成人精品午夜日本亚洲18,少妇性饥渴videofree

NVIDIA Omniverse Replicator 為機器人生成合成訓練數據

來源：中關村在線 2021-11-11 19:50:51

分享到：

AI先驅Andrew Ng正在呼吁全球向更加以數據為中心的機器學習（ML）方法轉變。他最近舉辦了首屆以數據為中心的AI數據質量競賽。許多人認為數據質量占AI工作的80%。

Andrew Ng在他的新聞通訊文章The Batch中寫道：“我相信AI社區很快就會像對待構建模型一樣，對系統性地改善數據產生興趣。”

通過合成數據采取以數據為中心的方法

通過合成數據采取以數據為中心的方法來開發模型是一個迭代的流程。工程師對完成訓練的模型進行評估并確定數據集的改進，然后他們將生成新的數據集并啟動新的訓練周期。這個產生數據、訓練模型、評估模型并產生更多數據的流程會一直持續到模型性能符合要求為止。

由于每次迭代中的數據都是在模擬中生成，而不是在現實世界中收集然后標記，因此大大加快了模型訓練的速度。這些可以大規模生成的數據集以訓練工具可以直接使用的格式輸出。此功能無需再對數據進行額外的預處理。

合成數據生成流程的參數化增進了ML工程師對每次迭代的控制并提高了對數據集中現有內容的可追溯性。由于能夠通過合成數據改進數據集、大規模生成合成數據、了解數據集的現有內容及其生成方式，開發者實現成果的時間被大大縮短。

用于Isaac Sim的NVIDIA Omniverse Replicator

隨著對數據質量的日益關注，NVIDIA正在發布新的用于Isaac Sim的NVIDIA Omniverse Replicator，該應用程序基于最近發布的Omniverse Replicator 合成數據生成引擎。Isaac Sim中的這些新功能使ML工程師能夠構建生產級的合成數據集，以訓練強大的深度學習感知模型。“復制”模型目標域的固有分布是最大化模型性能的關鍵。

用于Isaac Sim的NVIDIAOmniverse Replicator的優點：

●生成數據集，將它們用于實現開發者設定的隨機、受控和有界分布目標

●確保數據集包含有針對性的象限檢驗和測試案例

●包含物體、照明和場景的相機相對視野放置

●在基于邊緣和云的系統上開展大規模工作

●追蹤每個數據集所使用的工具和參數，以推動迭代流程并支持生產級數據集的質量審核

圖1.在IsaacSim中合成數據生成工作流的示例
補充說明：圖中所示的是軟件模塊圖

Replicator演示：使用自主移動機器人（AMR）避開叉車叉齒

目前許多部署在工廠的AMR都是基于平面激光雷達。該激光雷達足以探測到許多物體的存在并進行導航。而許多工廠和倉庫中常見的叉車對激光雷達來說是一項獨特的挑戰：激光雷達可以探測到叉車底盤，但無法探測到叉齒，這導致機器人雖然能夠避免與叉車車身發生碰撞，但卻因為平面激光雷達無法探測到叉齒而碾壓到它們。

解決這個問題的方法之一是讓機器人“感知”到在它的路徑上有一輛叉車，并利用這一識別功能來改善導航以避開叉齒。

本部分中的演示說明了使用IsaacSim Data Replicator來訓練DNN以解決AMR/叉車問題的整個工作流程。

叉車演示中的關鍵步驟：

●在Omniverse的Isaac Sim中建立倉庫場景

●在倉庫中放置一個AMR并重新創建故障場景

●獲取叉車模型并使用Isaac Sim 生成合成數據

●使用合成數據，使用TAO工具套件訓練現有的預訓練模型

●使用DNN Inference Isaac ROS GEM部署該模型

●在模擬中測試Isaac ROS GEM

●最后一步：在NVIDIA Jetson平臺上的機器人軟件棧中部署Isaac GEM

圖2.Replicator叉車演示的全部工作流程
補充說明：圖中所示的是軟件模塊圖使用IsaacSim Data Replicator生成數據集

用于Isaac Sim的NVIDIA Omniverse Replicator生成數據集

在這個演示中，我們獲得了八個不同的三維叉車通用場景描述（USD）模型來訓練DNN，然后使用Isaac Sim Data Replicator來描述影響物體（叉車）的眾多參數，包括燈光、攝像機和場景本身。應特別注意域隨機化，以便深度學習模型能夠泛化其對叉車的理解。該模型通過改變顏色、紋理、照明、叉車相對于攝像機的位置、叉車的橫擺、俯仰、側傾以及在場景中添加額外的非叉車物體學會泛化叉車。

圖3.用于訓練的叉車模型示例
補充說明：圖中所示的是兩臺叉車

最終，我們為這個演示生成了超過90000張圖像。我們使用新的Omniverse Farm(多GPU、多代理、模擬的系統層）來管理創建數據集的GPU計算資源。

圖4.使用Replicator生成的圖像訓練示例
補充說明：圖中所示的是不同場景中的叉車

這些圖像表示實現強大性能所需的數據多樣性類型。

圖5.叉車圖像與用于深度和語義分割的地面實況數據
補充說明：三個圖像表示不同場景中的叉車

訓練和部署叉車檢測器DNN

我們從NVIDIA TAO工具套件中選擇了一個預訓練模型來執行識別叉車所需的分割任務。該模型經過預訓練，可以對人、車和背景類進行語義分割。當該模型被調整為使用Isaac Sim Data Replicator中生成的合成數據對叉車進行語義分割時，我們使用了遷移學習。

下一步是將叉車模型添加到DNN Inference Isaac ROS GEM中。你可以通過該流程將推理快速添加到基于ROS的機器人應用中，例如本博客中描述的AMR用例。

圖6.Forklift Isaac ROS GEM上的圖像分割
補充說明：圖中所示的是倉庫場景中的叉車

總結

如要提高具有挑戰性的AI計算機視覺應用的性能，就需要使用大型、多樣化的數據集來復制目標域的內在分布。全新的用于Isaac Sim的NVIDIA Omniverse Replicator是一個可以生成生產級數據集的強大應用。

我們演示了如何使用合成數據來訓練在AMR上運行的DNN，以避免發生常見的叉車叉齒碾壓事故。