Nvidia公司正在擴大其機器人和人工智能的工具，通過改進開發(fā)者和工程師用來訓(xùn)練和部署工廠、辦公室和城市中的自主機器的平臺，為其提供動力。

在今年的GTC 2023（該公司的虛擬開發(fā)者大會）上，Nvidia說Omniverse Cloud將托管在微軟Azure上，這將增加對Isaac Sim的訪問，該公司的虛擬訓(xùn)練環(huán)境用于開發(fā)和管理基于AI的機器人。該公司還宣布了基于Jetson Orin的模塊的完整生產(chǎn)線，這些模塊是強大的人工智能機器人平臺--基本上是作為邊緣人工智能計算平臺的機器人 "大腦"。

"世界上最大的行業(yè)都在制造實物，但他們希望以數(shù)字方式建造它們。"Nvidia創(chuàng)始人兼首席執(zhí)行官黃仁勛說："Omniverse是一個工業(yè)數(shù)字化的平臺，它連接了數(shù)字和物理。"

Isaac Sim在Nvidia Omniverse上運行，這是一種強大的元空間模擬技術(shù)，可以創(chuàng)建現(xiàn)實世界的數(shù)字雙胞胎，因此機器人開發(fā)人員可以重新創(chuàng)建機器人將要操作的空間和情況。在現(xiàn)實世界中建造和管理機器人意味著從頭開始攝取和創(chuàng)建巨大的數(shù)據(jù)集，這可能是極其沉重的負擔(dān)。

Azure上的Omniverse云提供了對強大的Nvidia OVX服務(wù)器的訪問，該服務(wù)器專門為機器人模擬設(shè)計，以使機器人工作流程的開發(fā)更快、更容易。它還配備了大量的工具，允許團隊在訓(xùn)練環(huán)境方面進行合作，緩解機器人訓(xùn)練數(shù)據(jù)、模擬、驗證和部署人工智能。

銜接物理與數(shù)字，Nvidia在Jetson Orin模塊陣容中推出了最新的邊緣計算AI平臺，推出了新的Jetson Orin Nano開發(fā)者套件。新套件比上一代Jetson Nano強大得多，主要針對希望創(chuàng)建人工智能驅(qū)動的機器人、智能無人機、智能視覺系統(tǒng)等的開發(fā)者。

Nvidia Jetson Orin系列模塊旨在支持網(wǎng)絡(luò)邊緣廣泛的AI機器人、機器和自動化功能。它們建立在Nvidia Ampere芯片上，支持任何應(yīng)用的各種AI模型?；贠rin的芯片能夠從入門級的Jetson Orin Nano的每秒40萬億次人工智能操作運行到Jetson AGX Orin的每秒275萬億次操作，用于自動駕駛車輛等高級解決方案。

Nvidia表示，Jetson已被6000多家客戶和100多萬名開發(fā)者使用，其中包括亞馬遜網(wǎng)絡(luò)服務(wù)公司、佳能公司、思科系統(tǒng)公司、現(xiàn)代機器人有限公司、約翰迪爾公司、特雷弗公司和美國國家航空航天局。Ltd.、John Deere、Teradyne Inc.和TK Elevator。采用基于Orin的新模塊的公司包括現(xiàn)代 Doosan Infracore Co.Ltd.、Verdant Robotics、以及無人機公司Skydio Inc.和Zipline Inc.

將所有這些放在一起，Nvidia宣布擴大Metropolis生態(tài)系統(tǒng)和支持計算機視覺人工智能的技術(shù)，包括為開發(fā)者提供TAO工具包5.0；更新用于構(gòu)建計算機視覺應(yīng)用程序的Deepstream軟件開發(fā)工具包；以及早期訪問Metropolis微服務(wù)。

TAO工具包是一個低代碼的人工智能框架開發(fā)工具包，協(xié)助任何開發(fā)者在任何服務(wù)和任何設(shè)備上快速創(chuàng)建人工智能模型。隨著TAO 5.0的推出，Nvidia正在增加一系列功能，包括視覺轉(zhuǎn)換器的預(yù)訓(xùn)練模型，通過ONNX導(dǎo)出在任何平臺上部署的能力，通過AutoML和AI輔助數(shù)據(jù)分類或注釋的自動調(diào)整。

使用TAO，開發(fā)者可以快速潛入數(shù)據(jù)，幾乎不需要編碼，讓它快速對看到的東西進行分類。它可以使用預(yù)訓(xùn)練的模型來訓(xùn)練和分類視覺任務(wù)，如人員檢測、車輛分類、姿態(tài)估計和物體估計。通過數(shù)據(jù)增強，模型可以通過迭代進行修剪和微調(diào)，直到它們以工程師需要的方式工作，然后再準備進行行業(yè)整合和部署。

Nvidia DeepStream軟件開發(fā)工具包正在通過更新幫助開發(fā)者制作下一代視覺AI而將其提升到新的水平。DeepStream允許開發(fā)者從基于管道的開源GStreamer框架產(chǎn)生的視頻流中迅速產(chǎn)生計算機視覺AI。然而，最近的更新允許開發(fā)者創(chuàng)建自己的基于圖形的低代碼人工智能視覺管道，而不需要流媒體框架。

DeepStream現(xiàn)在還可以帶來更多的視覺效果。它還可以處理來自其他傳感器的信息，如激光雷達和雷達，以及環(huán)境和過程與傳感器融合。這將允許在各行業(yè)中出現(xiàn)一系列潛在的基于計算機視覺的新人工智能應(yīng)用，例如將其用于質(zhì)量控制和需要識別緊張的調(diào)度需求或環(huán)境中的其他變化的自主機器。

最后，當大范圍內(nèi)有多個攝像頭時，這可能會給視覺AI帶來問題，但Nvidia對此有一個解決方案。它被稱為Metropolis Microservices，是一個用于視覺AI應(yīng)用的云原生微服務(wù)參考框架。它允許開發(fā)者使用多個攝像頭在大范圍內(nèi)迅速傳播感知，并將它們焊接成一個單一的理解，供人工智能使用，以創(chuàng)建多攝像頭跟蹤應(yīng)用程序。

這有大量的應(yīng)用，例如在整個工廠車間，有大量的攝像頭觀察產(chǎn)品在眾多的傳送帶上移動，在體育場，人們在走廊上行走，以控制擁堵，在零售商店，貨架上有攝像頭，以控制庫存，以及智能城市，試圖更好地了解交通。