亞馬遜計劃推出自己的人工智能芯片以與英偉達競爭 - 彭博社

詹姆斯·漢密爾頓手持Trainium2芯片。

攝影師：喬娜·卡辛格/彭博社在一個平淡的北奧斯汀社區，匿名的企業辦公大樓佔據主導地位，亞馬遜公司的工程師們正在努力進行科技行業最雄心勃勃的項目之一：削弱英偉達公司在超過1000億美元的人工智能芯片市場上的控制。

亞馬遜的實用工程實驗室裏有一排排長工作台，俯瞰着德克薩斯州首府不斷擴張的郊區。這裏有點亂。印刷電路板、冷卻風扇、電纜和網絡設備散落在各個工作站上，處於不同的組裝狀態，有些沾上了用於將芯片連接到防止過熱的組件上的導熱膏。這裏有一種你在初創公司中會看到的自我創業氛圍，而不是一家市值超過2萬億美元的公司。

在這裏工作的工程師們毫不在意地跑到家得寶去買鑽牀，並樂於學習自己專業領域之外的知識，以加快進度。在努力從零開始創建機器學習芯片的多年過程中，他們發現自己有責任儘快推出一款與英偉達競爭的產品。這不僅僅是關於原始計算能力。這是關於構建一個簡單、可靠的系統，能夠迅速將亞馬遜的數據中心轉變為巨大的人工智能機器。

亞馬遜在奧斯汀的實用工程實驗室的工程師。攝影師：塞爾吉奧·弗洛雷斯/彭博社你會在一家初創公司看到的自我啓動氛圍，而不是一家市值超過2萬億美元的公司。攝影師：塞爾吉奧·弗洛雷斯/彭博社拉米·辛諾是一位外向的黎巴嫩出生的工程師，在芯片行業工作了幾十年，負責芯片設計和測試。他幫助創建了亞馬遜AI半導體的前兩代產品，現在正急於在年底之前讓最新版本Trainium2在數據中心可靠運行。“讓我夜不能寐的是，我如何儘快到達那裏，”辛諾説。

在過去兩年中，英偉達已從一家小眾芯片製造商轉變為生成性AI所需硬件的主要供應商，這一區別使得該公司成為全球市值最大的公司。英偉達的處理器每個售價數萬美元，由於需求旺盛，難以獲得。上週，在報告收益後，這家芯片製造商告訴投資者，其最新硬件的需求將在幾個季度內超過供應——加劇了緊張局勢。

英偉達最大的客户——雲服務提供商如亞馬遜網絡服務、微軟公司的Azure和谷歌母公司Alphabet公司的Google Cloud Platform——急於減少對英偉達芯片的依賴，甚至希望替代它們。三家公司都在研發自己的硅芯片，但作為最大的租賃計算能力銷售商，亞馬遜迄今為止部署了最多的芯片。

在許多方面，亞馬遜理想地位於成為人工智能芯片的強者。十五年前，該公司發明了雲計算業務，並隨着時間的推移，開始構建支撐它的基礎設施。減少對一個又一個現有廠商的依賴，包括英特爾公司，亞馬遜拆除了其數據中心中的許多服務器和網絡交換機，並用定製硬件替換它們。然後，十年前，詹姆斯·漢密爾頓，一位高級副總裁和傑出的工程師，憑藉着非凡的時機感，説服傑夫·貝索斯製造芯片。

“我們堅信我們可以生產出與他們平起平坐的產品。”

當OpenAI的ChatGPT在兩年前開啓生成性人工智能時代時，亞馬遜被廣泛認為是一個跟隨者，措手不及，掙扎着趕上。它尚未生產出被視為與ChatGPT或由Anthropic構建的Claude競爭的大型語言模型，而亞馬遜已向後者投資了80億美元。但亞馬遜所構建的雲機器——定製服務器、交換機、芯片——使首席執行官安迪·賈西能夠開設一個人工智能超市，出售希望使用其他公司構建的模型的企業所需的工具，以及為訓練自己人工智能服務的公司提供的芯片。

在這個行業工作了近四十年，漢密爾頓知道將亞馬遜的芯片雄心提升到下一個水平並不容易。設計可靠的人工智能硬件很難。也許更難的是編寫能夠使芯片對廣泛客户有用的軟件。英偉達的設備可以順利處理幾乎任何人工智能任務。該公司正在向包括亞馬遜在內的客户發貨其下一代芯片，並已開始宣傳一年後將取代它們的產品。行業觀察人士表示，亞馬遜不太可能在短期內撼動英偉達。

詹姆斯·漢密爾頓表示，亞馬遜可以與英偉達“平起平坐”競爭。攝影師：喬娜·卡辛格/彭博社儘管如此，漢密爾頓和亞馬遜的工程團隊一次又一次地證明了他們在緊張預算下解決重大技術問題的能力。漢密爾頓説：“英偉達是一家非常非常有能力的公司，做着出色的工作，因此他們將為許多客户提供良好的解決方案，持續很長一段時間。” “我們堅信，我們可以生產出與他們平起平坐的產品。”

漢密爾頓於2009年加入亞馬遜，此前曾在國際商業機器公司和微軟工作。作為一位行業偶像，他在加拿大本土開始修理豪華汽車，並從一艘54英尺的船上通勤上班，漢密爾頓在一個有利的時刻簽約。亞馬遜網絡服務在三年前首次亮相，單槍匹馬地創造了一個被稱為雲計算服務的行業。AWS很快開始產生大量現金，使亞馬遜能夠資助許多重大投資。

當時，亞馬遜建立了自己的數據中心，但使用其他公司製造的服務器和網絡交換機。漢密爾頓領導了一項努力，旨在用定製硬件替換它們，從服務器開始。由於亞馬遜將購買數百萬台服務器，漢密爾頓認為通過為他不斷增長的數據中心艦隊量身定製設備，並省去AWS不需要的功能，可以降低成本並提高效率。

這項努力取得了足夠的成功，以至於當時負責AWS的賈西詢問公司還可以內部設計什麼。漢密爾頓建議設計芯片，因為這些芯片正在吞噬越來越多以前由其他組件處理的任務。他還建議亞馬遜使用能效高的Arm架構，這種架構為智能手機提供動力，他認為這種技術的普及以及開發者對其日益熟悉，可以幫助亞馬遜取代長期以來為全球服務器機房提供動力的英特爾芯片。

“所有的道路都通向我們擁有一個半導體設計團隊，”他在2013年8月提交給貝索斯的提案中寫道。一個月後，漢密爾頓喜歡在下午晚些時候與初創公司和客户聚會，他在西雅圖的維吉尼亞酒吧喝酒，遇見了納菲亞·布沙拉。

布沙拉是一位以色列芯片行業老兵，2000年代初搬到舊金山灣區，他共同創立了安納普爾納實驗室，實驗室的名字來源於尼泊爾的山峯。（布沙拉和一位聯合創始人本打算在創辦初創公司之前登頂這座山，但投資者急於讓他們開始工作，他們從未成行。）

這家隱秘的初創公司在大多數行業專注於手機的時期，開始為數據中心製造芯片。亞馬遜委託安納普爾納生產處理器，兩年後以3.5億美元收購了這家初創公司。這是一個具有前瞻性的舉動。

電路板。攝影師：塞爾吉奧·弗洛雷斯/彭博社Bshara和Hamilton起步較小，反映了他們對實用工程的共同欣賞。那時，每個數據中心服務器都保留了一部分計算能力來運行控制、安全和網絡功能。Annapurna和亞馬遜的工程師開發了一種名為Nitro的卡片，完全將這些功能從服務器中抽離，使客户能夠訪問其全部性能。

後來，Annapurna使Hamilton的Arm通用處理器得以實現。名為Graviton的產品的運行成本低於競爭對手英特爾的設備，使亞馬遜成為台灣半導體制造公司的十大客户之一，該公司為行業中的大部分生產芯片。

到那時，亞馬遜高層已經對Annapurna在不熟悉領域的表現充滿信心。“你會發現很多公司在CPU方面非常出色，或者在網絡方面非常出色，”Bshara説。“很少能找到在兩個、三個或四個不同領域都很優秀的團隊。”

在Graviton開發期間，Jassy問Hamilton亞馬遜還可能自己製造什麼其他產品。2016年底，Annapurna委派了四名工程師探索製造機器學習芯片。這是另一個及時的賭注：幾個月後，一組谷歌研究人員發表了一篇開創性的論文，提出了一種使生成性人工智能成為可能的過程。

這篇論文，標題為“注意力是你所需要的一切”，介紹了變壓器，這是一種軟件設計原則，幫助人工智能系統識別訓練數據中最重要的部分。它成為了能夠對單詞之間的關係進行有根據的猜測並從頭創建文本的系統的基礎方法。

大約在這個時候，拉米·辛諾在奧斯汀為Arm Holdings Plc工作，並指導他上學的兒子參加機器人比賽。團隊開發了一個應用程序，使用機器學習算法分析照片，檢測每年夏天定期污染奧斯汀湖泊的藻類繁殖。辛諾對孩子們僅憑一台筆記本電腦所能做的事情感到印象深刻，他意識到一場革命即將來臨。他於2019年加入亞馬遜，幫助領導其人工智能芯片製造工作。

該部門的第一款芯片旨在為一種叫做推理的功能提供動力——當計算機經過訓練以識別數據中的模式時，進行預測，例如一封電子郵件是否是垃圾郵件。這個組件，稱為Inferentia，於2019年12月在亞馬遜的數據中心推出，後來被用於幫助Alexa語音助手響應命令。亞馬遜的第二款人工智能芯片Trainium1，旨在幫助希望訓練機器學習模型的公司。工程師們還將該芯片重新包裝，配備了使其更適合推理的組件，稱為Inferentia2。

亞馬遜的人工智能芯片最初需求緩慢，這意味着客户可以立即獲得它們，而不是等待幾周才能獲得大量的Nvidia硬件。希望迅速加入生成性人工智能革命的日本公司利用了這一情況。例如，電子製造商理光公司獲得了幫助，將基於英語數據訓練的大型語言模型轉換為日語。

根據早期安納普爾納員工Gadi Hutt的説法，需求自那時以來有所回升。“我沒有任何閒置的Trainium等待客户，”他説。“它們都在被使用。”

Trainium2是該公司的第三代人工智能芯片。根據行業的看法，這是一個生死攸關的時刻。要麼第三次嘗試以足夠的銷量銷售以使投資值得，要麼它失敗，公司找到新的道路。“我從未見過產品偏離三代規則，”負責Databricks Inc.人工智能工作的芯片行業老兵Naveen Rao説，該公司是一家數據和分析軟件的供應商。

Databricks在十月同意將Trainium作為與AWS達成的廣泛協議的一部分。目前，該公司的人工智能工具主要運行在Nvidia上。計劃是用Trainium替代其中的一部分工作，亞馬遜表示，Trainium在價格上可以提供30%的更好性能，Rao説。“這歸結為純粹的經濟學和可用性，”Rao説。“這就是戰場所在。”

Trainium1由八個芯片組成，緊密排列在一個深鋼箱中，允許它們的熱量充分散發。AWS租給客户的完整包由這兩個陣列組成。每個箱子裏充滿了電線，整齊地包裹在網狀包裝中。

一排人工智能芯片。攝影師：Sergio Flores/Bloomberg對於Trainium2，亞馬遜表示其性能是前一代的四倍，內存是三倍，工程師們取消了大部分電纜，而是通過印刷電路板來傳輸電信號。亞馬遜還將每個盒子中的芯片數量減少到兩個，以便在對一個單元進行維護時，工程師需要拆除的其他組件更少。Sinno開始將數據中心視為一台巨型計算機，這種方法得到了Nvidia首席執行官黃仁勳的鼓勵，呼籲整個行業採用。“簡化在這裏至關重要，這也確實讓我們能夠更快地推進，”Sinno説。

亞馬遜並沒有等到台積電生產出Trainium2的工作版本才開始測試新設計的可行性。相反，工程師們將兩個前一代芯片固定在電路板上，給他們時間來開發控制軟件並測試電氣干擾。這相當於半導體行業在飛行中建造飛機。

亞馬遜已經開始向俄亥俄州及其他地方的數據中心發運Trainium2，計劃將其串聯成多達100,000個芯片的集羣。亞馬遜的主要數據中心樞紐將進行更廣泛的推廣。

負責芯片設計和測試的Rami Sinno開始將數據中心視為一台巨型計算機。攝影師：Sergio Flores/Bloomberg該公司旨在每18個月推出一款新芯片，部分原因是減少硬件需要外部供應商的次數。在鑽牀對面的實驗室裏，放置着一組示波器，亞馬遜用來測試卡和芯片是否有壞連接器或設計缺陷。Sinno暗示未來版本的工作已經在進行中：在另一個實驗室裏，刺耳的風扇為測試單元降温，四對管道懸掛在天花板上。它們現在被封閉，但已準備好迎接未來AWS芯片產生過多熱量而無法僅靠風扇冷卻的那一天。

其他公司也在推動極限。Nvidia 將其芯片的需求形容為“瘋狂”，正在努力每年推出一款新芯片，這一節奏導致其即將推出的 Blackwell 產品出現生產問題，但將給行業其他公司帶來更大的壓力以跟上。與此同時，亞馬遜的兩大雲競爭對手正在加速他們自己的芯片計劃。

谷歌大約在 10 年前開始構建 AI 芯片，以加速其搜索產品背後的機器學習工作。後來，該公司將該產品提供給雲客户，包括像 Anthropic、Cohere 和 Midjourney 這樣的 AI 初創公司。該芯片的最新版本預計將在明年廣泛上市。今年 4 月，谷歌推出了其首款中央處理單元，一款類似於亞馬遜 Graviton 的產品。“通用計算是一個非常大的機會，”谷歌副總裁 Amin Vahdat 説，他領導着從事芯片和其他基礎設施工作的工程團隊。他表示，最終目標是讓 AI 和通用計算芯片無縫協作。

拼圖塊標示着漢密爾頓為亞馬遜申請的眾多專利。攝影師：Chona Kasinger/Bloomberg微軟比 AWS 和谷歌晚進入數據中心芯片遊戲，去年底才宣佈了一款名為 Maia 的 AI 加速器和一款名為 Cobalt 的 CPU。與亞馬遜一樣，該公司意識到可以通過為其數據中心量身定製硬件來為客户提供更好的性能。

拉尼·博卡爾，一位在英特爾工作了近三十年的副總裁，領導着這一努力。本月早些時候，她的團隊向微軟的產品組合中添加了兩款產品：一款安全芯片和一款數據處理單元，後者加快了CPU與圖形處理單元（GPU）之間的數據流動。英偉達也銷售類似的產品。微軟一直在內部測試這款AI芯片，並剛剛開始將其與其英偉達芯片組合使用，以運行讓客户能夠使用OpenAI模型創建應用程序的服務。

儘管微軟的努力被認為落後於亞馬遜幾代，但博卡爾表示，公司對目前的結果感到滿意，並正在研發更新版本的芯片。“人們的起點並不重要，”她説。“我的關注點完全是：客户需要什麼？因為你可能走在前面，但如果你構建的是客户不想要的錯誤產品，那麼在硅上的投資是如此龐大，我不想成為那本書中的一章。”

儘管三大雲巨頭都在競爭，但他們都讚揚英偉達，並在新芯片（如Blackwell）上市時爭奪市場地位。

如果亞馬遜的Trainium2能夠承擔更多公司的內部AI工作，以及偶爾來自大型AWS客户的項目，它可能會被視為成功。這將有助於釋放亞馬遜珍貴的高端英偉達芯片供應，以供專業的AI公司使用。為了使Trainium2成為無可爭議的熱門產品，工程師們必須將軟件做好——這並非易事。英偉達的強大很大程度上源於其工具套件的全面性，使客户能夠以很少的定製化將機器學習項目上線。相比之下，亞馬遜的軟件Neuron SDK仍處於起步階段。

即使公司可以毫不費力地將其項目遷移到亞馬遜，但根據一位要求匿名以便自由發言的亞馬遜和芯片行業老兵，檢查切換是否破壞了任何東西可能會消耗數百小時的工程師時間。 一位幫助客户進行人工智能項目的AWS合作伙伴的高管也要求匿名，他表示，儘管亞馬遜成功地使其通用Graviton芯片易於使用，但潛在的AI硬件用户仍面臨額外的複雜性。

“Nvidia佔據主導地位是有原因的，”跟蹤人工智能技術的Gartner Inc.副總裁Chirag Dekate説。“你不必擔心那些細節。”

因此，亞馬遜尋求幫助——鼓勵大客户和合作夥伴在與AWS達成新協議或續約時使用這些芯片。這個想法是讓前沿團隊充分利用這些硅芯片，找出改進的領域。

其中一家公司是Databricks，他們預計需要數週或數月才能使事情運轉起來，但願意付出努力，希望承諾的成本節省能夠實現。人工智能初創公司Anthropic，OpenAI的競爭對手，在去年接受了亞馬遜40億美元的資金後，同意在未來的開發中使用Trainium芯片，儘管它也使用Nvidia和谷歌的產品。上週五，Anthropic宣佈獲得亞馬遜的另一筆40億美元注資，並加深了合作關係。

“我們對亞馬遜Trainium芯片的性價比特別印象深刻，”Anthropic的首席計算官Tom Brown説。“我們一直在不斷擴大它們在越來越廣泛的工作負載中的使用。”

漢密爾頓表示，Anthropic正在幫助亞馬遜快速改進。但他清楚地認識到挑戰，他説，創建優秀的軟件，使客户能夠輕鬆使用AWS芯片是“必需的”。“如果你不彌補複雜性差距，”他説，“你將會失敗。”