蘋果佈局人形機器人：，比英偉達cuRobo計算效率提升26倍_風聞

西風 發自 凹非寺

量子位 | 公眾號 QbitAI

蘋果要搞人形機器人這事兒現在傳得沸沸揚揚。

最近他們確實有新動作——開發了一套機器人感知系統！

系統名為ARMOR，軟硬件協同增強機器人的“空間意識”，能動態防碰撞的那種。

硬件方面，ARMOR通過在機器人手臂上安裝小型智能深度傳感器，為機器人提供幾乎完整的環境視圖，解決了傳統機器人感知中的盲點和遮擋問題。

軟件方面，蘋果開發了一個基於Transformer的AI驅動ARMOR-Policy，能夠從人類動作中學習，幫助機器人動態規劃行動。

團隊還將ARMOR部署在了傅利葉GR-1機器人上進行實驗。

實驗結果顯示，與使用四個頭戴式和外部安裝的深度相機（外心感知）相比，ARMOR系統使碰撞降低了63.7%！

與基於採樣的運動規劃專家系統cuRobo相比，ARMOR-Policy計算效率提升26倍，確保機器人能夠迅速行動。

看到蘋果在人形機器人方面的佈局，網友直呼這是大勢所趨：

他們不可能永遠依賴智能手機賺錢。從長遠來看，機器人市場將遠大於智能手機市場。

ARMOR系統長啥樣？

當前，傳統人形機器人通常依賴頭部或軀幹安裝的集中式相機和激光雷達進行環境感知，這種方式雖然易於集成且能提供較好的視野範圍，但在手臂和手部區域常常存在嚴重的遮擋問題。

雖然一些研究嘗試在機器人終端執行器上集成觸覺傳感，但這種方案成本高昂，且難以大規模應用於機器人手臂，同時在策略學習中如何有效利用觸覺輸入仍待解決。

ARMOR系統，提供了一種硬件和軟件整合設計，它由來自卡內基梅隆大學的學者Daehwa Kim在蘋果實習期間與蘋果團隊共同開發。

在硬件方面，與集中式RGBD相機一次性捕捉密集幀中的全部細節不同，團隊選擇了SparkFun VL53L5CX飛行時間（ToF）激光雷達作為基礎傳感單元，將稀疏感知分佈在多個傳感器上，形成“以自我為中心的感知”。

這種傳感器體積為6.4×3.0×1.5mm，可以以15Hz的頻率提供8×8分辨率的深度圖像，對角視場為63°，測距範圍達4000mm。

研究團隊在機器人的每個手臂上佈置了20個這樣的傳感器，共計40個傳感器形成分佈式感知網絡。

每四個傳感器連接到一個XIAO ESP微控制器，通過I2C總線進行數據讀取，再通過USB傳輸到機器人的板載計算機（Jetson Xavier NX），最後無線傳輸到配備NVIDIA GeForce RTX 4090 GPU的Linux主機進行處理，確保整個系統能夠維持15Hz的刷新率。

在軟件方面，研究團隊開發了基於Transformer編碼器-解碼器架構的ARMOR-Policy，類似於動作分塊Transformer（ACT）。

該策略通過模仿學習從無碰撞的人類運動演示中學習。

為了訓練這個策略，研究團隊使用了AMASS數據集中的311922個人類真實運動序列（約86.6小時），這些數據包含了各種相關的人類姿態，如操作、舞蹈和社交行為等。

團隊將這些人類動作軌跡重定向到機器人的關節配置上，並在軌跡周圍生成緊湊的障礙物，確保軌跡本身不發生碰撞。

訓練數據的生成採用了三種策略：避障運動、緊急停止和無碰撞運動。

ARMOR-Policy的網絡架構設計考慮到了運動規劃可能存在多個有效解的特點。通過引入額外的編碼器層來推斷潛在變量z，使策略能夠通過調整z生成不同的運動軌跡候選。

在推理階段，系統會並行計算N個候選軌跡，並通過最小化機器人與點雲之間的距離來選擇最優路徑。網絡輸入包括潛在變量z、當前和目標關節位置（28維向量），以及40個ToF激光雷達傳感器的深度圖像數據。

深度圖像通過修改後的單通道ResNet18骨幹網絡處理，提取512維特徵。整個網絡架構包含約84M參數。

實驗驗證顯示，ARMOR系統在多個方面都優於現有方案。

與使用四個頭戴式和外部安裝的深度相機（外部感知）的傳統策略相比，ARMOR系統在避障性能上取得了顯著提升，碰撞降低63.7%，成功率提升78.7%。

同時，與基於採樣的運動規劃專家系統cuRobo相比，ARMOR-Policy表現出更好的性能，碰撞減少31.6%，成功率提高16.9%，計算效率更是提升了26倍。

研究團隊還通過在傅利葉GR-1人形機器人上部署28個ToF激光雷達，實際驗證了ARMOR系統在真實環境中的應用可行性，系統能夠實現15Hz的即時避障軌跡更新。

“蘋果做機器人幾乎是必然的”

最近，關於蘋果發力人形機器人的爆料頻出。

比如彭博社爆料，蘋果正在尋找其“下一個重大項目”，機器人正是其關注的領域之一。蘋果工程團隊正在開發多種家庭機器人設備以及可能增強家庭機器人實用性的AI軟件和功能。

而蘋果機器人研發活動由硬件工程部門和John Giannandrea領導的AI與機器學習團隊共同進行。

更有爆料指出，蘋果將優先打造桌面機器人，它將作為“家庭指揮中心”，可用於 FaceTime視頻通話以及家庭安全監控。

這一系列舉動也引發了網友大量討論。

有網友分析，蘋果在人形機器人賽道的佈局，幾乎是必然的：

蘋果人形機器人？這不僅是可能的，幾乎是必然的。憑藉他們的設計理念和生態系統整合，他們將為個人機器人設定一個高標準。

隨着智能手機的逐漸淘汰，機器人確實有可能成為下一個普遍存在的技術。想象一下，Siri體現在一個時尚的人形助手中，這將是一個遊戲規則的改變者！

這種分析立馬遭到其他網友反駁，揭老底：

蘋果之前也吵吵着要做自動駕駛汽車，但最後還是放棄了。雖然蘋果有能力開發人形機器人，但會不會真做還是不太清楚。

蘋果偏好主導市場，不喜歡面對激烈的競爭，而人形機器人和AI市場將極具競爭性。

那麼，你看好蘋果做人形機器人嗎？

論文鏈接：https://arxiv.org/pdf/2412.00396v1

參考鏈接：https://x.com/Dr_Singularity/status/1873374876867723435