引言：今年，除了生成式AI，NVIDIA的另一個重心就是人形機器人，無論是3月份的GTC還是最近的SIGGRAPH大會，機器人都是NVIDIA的重頭戲。而且，NVIDIA正將目光投向人形機器人這一AI價值和技術雙高地。從圖形遊戲到礦機芯片、到AI，再到生成式AI，NVIDIA每一步都踩在了風口之上，這次的人形機器人，會是下一個風口嗎？自2021年8月特斯拉在其AI Day上首次提出人形機器人佈局以來，人形機器人迅速吸引了亞馬遜、谷歌和微軟等科技巨頭的關注。根據 CB Insights 的數據，人形機器人公司僅在2024年上半年就籌集了近7.93億美元。生成式人工智能的進步正在加速人形機器人的學習速度。特斯拉的人形機器人“擎天柱Optimus”經過幾年的不斷進化，已經具備了直立行走和用手捏雞蛋的能力，並逐步進入量產階段，預計將在2025年底前上市。同時，近日，由OpenAI、微軟和亞馬遜創始人貝佐斯等投資的公司Figure AI也宣佈推出了全新一代Figure 02人形機器人。此外，亞馬遜旗下的Agility Robotics已經下廠了，其職責是負責拾取托盤並將其放置到傳送帶上。隨着芯片巨頭NVIDIA的加入，無疑為火熱的人形機器人的發展進一步提速。
圖源：Tesla**為什麼是人形機器人？**在AI迅猛發展的今天，機器人形態多樣，如圓形掃地機器人、工廠機械臂和機器狗，不一而足。然而，人形機器人為何備受業界關注？有必要設計的跟人類一樣嗎？黃仁勳曾精闢地指出：“最容易適應世界的機器人是人形機器人，因為我們這個世界是為我們人類建造的。而人形機器人與人類擁有相同的體型，與其他類型的機器人相比，我們擁有最多的數據來訓練這些機器人。”
NVIDIA通過Apple Vision Pro控制機器人（圖源：NVIDIA）這一觀點不難理解。我們日常所處的環境，從門把手到樓梯，皆依照人體工程學設計。人形機器人顯然更適合融入這一環境。特斯拉首席執行官Elon·Musk對具身人工智能的看法一致，新一波人工智能將是實體的，將融入人類環境並理解物理定律。因此，人形機器人會是AI的最佳載體，它們能更便捷地與環境交互，執行各項任務。得益於人工智能、加速計算、基於物理的模擬以及龐大的傳感器和執行器生態系統的重大進步，人工智能機器人可以輕鬆地適應、學習並精確地執行復雜任務。當今時代，人口老齡化和勞動力短缺問題的日益嚴峻，人形機器人有望在一些領域替代部分人力，提高生產效率，市場潛力巨大。高盛預計到2035年人形機器人市場規模將達到380億美元。這種人形機器人最先落地應用的可能是工廠，智能工廠機器人將從傳統的四軸和六軸工業機器人發展為更為複雜的人形機器人。最終，工廠將看到一個機器人指揮一羣製造機器人，這些機器人將來製造新的機器人。那麼，NVIDIA為何要進入這一市場？如果我們“庖丁解牛”從人形機器人的本質上看，人形機器人需要依賴強大的感知能力、更智慧的決策能力以及靈活的運動能力，這些能力的實現離不開強大的算力，這些正是NVIDIA的GPU硬件所擅長的。黃仁勳將人形機器人稱為是計算機圖形學、物理學和AI的交匯點。儘管人形機器人前景廣闊，但事實證明，在實踐中交付人形機器人具有挑戰性。人形機器人的開發面臨着複雜的工程問題，比如在不同地形上實現靈活的雙足運動，拿放各種形狀、大小、重量和易碎程度的物體，這些都需要進行大量的訓練。此外，高昂的成本也使其發展初期只能受限於個別領域，美國銀行證券在 3 月 21 日的一份報告中估計，目前生產人形機器人的成本超過 10 萬美元。還有潛在的倫理問題也會成為其阻礙之一。不過即便如此，黃仁勳樂觀的預測，未來2-3年機器人技術將取得重大突破，在更久的未來人形機器人將變得像汽車一樣普遍。NVIDIA做了什麼？**人形機器人開發是一個複雜的系統工程，涉及到從機器人大腦到四肢控制、感知能力及協同能力等多個方面的技術。這個過程需要機械設計、電子工程、計算機科學和人工智能等眾多學科的交叉融合。那麼，NVIDIA做了什麼呢？**首先，NVIDIA提供了三大計算平台，為人形機器人構築底層基礎。（一）“大腦”NVIDIA DGX系列是用於高性能計算和 AI 模型訓練的超級計算機。NVIDIA DGX B200是NVIDIA DGX系統的最新迭代版本。它在訓練階段用於處理大規模數據，優化機器學習模型。這個過程可以比作是機器人的“大腦”，因為它為機器人提供了智能決策和學習的能力。NVIDIA DGX平台是專為企業AI開發的，從頭開始整合了NVIDIA的軟件、基礎設施和專業知識，提供現代化、統一的AI開發和訓練解決方案。自2016年推出NVIDIA DGX系統以來，DGX代表了AI性能的巔峯，創造了無數超級計算機性能和能源效率的記錄。
NVIDIA DGX B200（圖源：NVIDIA）**（二）“感官系統”**人形機器人要在現實世界中靈活應對各種複雜任務，傳統編程已無法滿足需求。為了讓機器人能夠自主學習和適應環境，我們必須將其置於一個高度逼真的虛擬環境中進行訓練。NVIDIA Omniverse 提供了一個這樣的虛擬仿真平台，它允許開發者在模擬的物理世界中對機器人進行設計、仿真和測試。這相當於是為人形機器人打造“感官系統”，因為它幫助機器人在虛擬環境中感知和適應不同的情況，為現實應用中的決策和行動做準備。基於NVIDIA Omniverse，NVIDIA強大的Isaac工具家族為人形機器人的行動提供支持。NVIDIA Isaac Sim****是基於NVIDIA Omniverse構建的一款參考應用，可幫助開發者在基於物理的虛擬環境中設計、仿真、測試並訓練AI機器人和自主機器。開發者可以通過業界領先的傳感器和機器人類型測試生成合成數據和各種虛擬複雜測試環境，從而進行高度逼真的仿真，同時對數千個機器人進行實時測試。Figure AI公司所推出新一代對話式人形機器人 Figure 02 就是使用的NVIDIA H100 GPU訓練生成式AI模型。藉助NVIDIA Isaac Sim來獲取合成數據，Figure 02的推出速度大大加快，距離Figure推出其通用人形機器人第一版僅10個月。NVIDIA Isaac Lab 是一款基於Isaac Sim平台構建的輕量級參考應用，它在機器人基礎模型訓練中發揮着舉足輕重的作用。Isaac Lab 是一個適用於機器人學習的開源模塊化框架，它的模塊化高保真仿真適用於各種訓練環境，可提供各種物理AI功能和由GPU驅動的物理仿真。Isaac Lab能夠同時支持模仿學習（模仿人類）和強化學習（在嘗試和錯誤中進行學習），為所有機器人具身提供了靈活的訓練方法。Isaac Lab是目前業界唯一一款為機器人學習提供高保真渲染的工具，它能夠顯著縮小仿真與現實之間的差距。藉助Isaac Lab高效的訓練方法，傅利葉智能的GR1人形機器人具有類似人類的自由度。NVIDIA Isaac Perceptor是一款適用於自主移動機器人（AMR）和自動導引車（AGV）的參考工作流。Isaac Perceptor可以為基於AI的自主移動機器人提供多攝像頭3D環視功能，其核心是nvblox，它是一個由CUDA加速的3D重構庫，可以識別五米以外的障礙物，從而提供2D成本圖並在300毫秒內完成更新。NVIDIA Isaac Manipulator為工業機械臂提供全新的基礎模型和參考工作流。開發者能夠使用它為機械臂或機械手帶來AI加速功能，包括使用cuMotion來加速路徑規劃、利用FoundationPose統一基礎模型進行姿態估計和追蹤、利用SyntheticaDETR物體檢測模型來一次性預測所有物體，使其能夠無縫感知、理解環境並與環境互動。（三）“神經系統”NVIDIA Jetson Thor是一個嵌入式計算平台，主要用於在機器人內部運行訓練好的模型，處理實時感知和控制任務。它可以被視為機器人的“神經系統和運動系統”，因為它負責在機器人實際運行中執行任務和處理實時數據。在今年3月份的GTC大會上，NVIDIA發佈了人形機器人通用基礎模型Project GR00T。GR00T由Jetson Thor SoC驅動。作為機器人的大腦，讓機器人學習技能。GR00T驅動的機器人將能夠理解自然語言，並通過觀察人類行為來模仿動作——快速學習協調、靈活性和其它技能，以便導航、適應現實世界並與之互動。**其次，為了加速人形機器人的開發，在今年SIGGRAPH上，NVIDIA又為開發者提供了兩大服務：用於機器人仿真和學習的全新NVIDIA NIM微服務和框架、用於運行多階段機器人工作負載的NVIDIA OSMO編排服務。****這兩款工具的推出，標誌着NVIDIA在機器人領域佈局的進一步深化，將極大的加速人形機器人的開發進程。**NVIDIA NIM是一個為開發者量身打造的AI推理服務平台，它能夠幫助開發者快速、輕鬆地將預訓練模型部署到生產環境中。NIM提供了標準化的API接口，使得開發者可以將NIM 無縫集成到自己的應用程序中。無論是構建智能助手、聊天機器人還是其他AI應用，NIM都能提供強大的支持。此外，NIM還支持多種推理引擎，包括TensorRT和TensorRT-LLM，能夠自動優化模型的性能，確保應用的低延遲和高吞吐量。
圖源：NVIDIA像人形機器人這樣的自主機器人的開發是一個複雜而漫長的過程，涉及數據生成、模型訓練、部署等多個環節，需要跨越異構計算資源。傳統的開發方式往往需要多個團隊協作，且缺乏統一的管理平台。NVIDIA OSMO應運而生，它提供了一個統一的雲原生工作流程編排平台，能夠有效地調度和管理這些複雜的工作負載，包括合成數據生成、深度學習訓練、強化學習以及仿真等。OSMO打破了團隊和計算資源的壁壘，讓開發者可以專注於創新，而無需過多地關注底層基礎設施。
使用 NVIDIA Isaac Sim、Isaac Lab、OSMO 和 GR00T 簡化機器人的物結語綜上所述，在人形機器人領域，NVIDIA構建了一個全面的生態系統。這個生態系統包括三個計算平台、兩大服務以及一個通用基礎模型Project GR00T，為人形機器人的研發提供了強大的算力支持和開發工具，全面覆蓋了從模型訓練到實際部署的整個流程。相信在NVIDIA的助力下，接下來的幾年，會有更多人形機器人取得更大的成果和進步，甚至將撼動一些勞動力市場。