亞馬遜雲科技宣佈Amazon Trainium2實例正式可用
北京2024年12月5日 /美通社/ -- 亞馬遜雲科技在2024 re:Invent全球大會上，宣佈基於Amazon Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2實例正式可用，並推出全新的Amazon EC2 Trn2 UltraServers，讓用户以優越的性價比訓練和部署最新的人工智能模型，以及未來的大語言模型（LLM）和基礎模型（FM）。此外，亞馬遜雲科技還發布了新一代Amazon Trainium3芯片。
亞馬遜雲科技計算和網絡副總裁David Brown表示：“Amazon Trainium2是專為支持大型、前沿的生成式AI工作負載而設計的，能夠滿足訓練和推理的需求，並在亞馬遜雲科技上提供卓越的性價比。隨着模型參數接近萬億，我們意識到客户需要一種創新的方法來高效訓練和運行規模龐大的工作負載。在亞馬遜雲科技上，全新的Amazon EC2 Trn2 UltraServers提供超快速的訓練和推理性能，幫助各類企業以更快的速度和更低的成本訓練和部署世界上最大的模型。”
隨着模型規模的不斷擴大，客户希望縮短訓練時間和推理延遲，這對計算和網絡基礎設施提出了更高的要求。亞馬遜雲科技已提供廣泛的Amazon EC2加速實例選擇，包括基於GPU和機器學習芯片的實例。然而，即使是目前最快的加速實例，客户仍希望實現更高的性能和更大的可擴展性，以更低的成本更快地訓練這些日益複雜的模型。隨着模型複雜性和數據量的增加，因為並行化的限制，單純擴大集羣規模已無法有效縮短訓練時間。同時，即時推理的需求也超出了單實例架構的承載能力。
Amazon EC2 Trn2實例為深度學習和生成式AI**提供卓越性能
與當前基於GPU的EC2實例相比，Amazon EC2 Trn2的性價比提升30%至40%。單個Trn2實例集成了16個Trainium2 芯片，通過NeuronLink超速高帶寬、低延遲的芯片之間的互聯，可提供高達20.8 Petaflops浮點算力，非常適合訓練和部署數十億參數的模型。
Amazon EC2 Trn2 UltraServers滿足全球超大模型日益增長的AI**計算需求
對於需要更強算力的超大模型，Amazon EC2 Trn2 UltraServers使客户能夠突破單個Trn2實例的限制進行擴展，從而減少訓練時間，加快投放市場的速度，實現快速迭代以提高模型準確性。作為全新的EC2產品，Trn2 UltraServers利用NeuronLink超速互聯將四個Trn2服務器連接為一個巨型服務器。客户通過全新Trn2 UltraServers，可以在64個Trainium2芯片上擴展他們的生成式AI工作負載。在推理工作負載方面，客户可以使用Trn2 UltraServers提升生產環境中萬億參數模型的即時推理性能。亞馬遜雲科技正在與Anthropic共同構建一個名為Project Rainier的 EC2 UltraCluster計算集羣，該集羣由Trn2 UltraServers組成，能夠在數十萬個Trainium2芯片之間通過第三代低延遲的PB級EFA網絡進行分佈式模型訓練——其運算能力比Anthropic當前一代領先AI模型訓練所需算力高出5倍以上。該項目完成後，預計將成為全球最大可用的AI計算集羣，供Anthropic構建和部署未來模型使用。
Anthropic專注於AI安全和研究，致力於打造可靠、可解釋和可控的AI系統。Anthropic的旗艦產品Claude是全球數百萬用户信賴的大型語言模型。作為Anthropic與亞馬遜雲科技深化合作的一部分，Anthropic已開始優化Claude模型，以便在亞馬遜最先進的AI硬件Trainium2上運行。Anthropic將使用數十萬個Trainium2芯片，該規模是其之前集羣的五倍以上，為使用Amazon Bedrock上的Claude 客户提供卓越的性能表現。
Databricks Mosaic AI使企業能夠構建和部署高質量的智能體系統。該系統基於數據湖倉原生架構，用户可以輕鬆、安全地使用企業數據定製模型，從而提供更準確和特定領域的輸出。得益於Trainium的高性能和成本效益，客户能夠以較低的成本在Mosaic AI上擴展模型訓練。隨着全球客户對Mosaic AI需求的不斷增長，Trainium2的推出將為Databricks及其客户帶來重大優勢。作為全球最大的數據和AI公司之一，Databricks計劃使用Trainium2為客户提供更優的性能，並將總體擁有成本降低多達30%。
Hugging Face是全球領先的AI開發者開源平台，擁有超過200萬個模型、數據集和AI應用，其用户社區涵蓋了超過500萬名研究人員、數據科學家、機器學習工程師和軟件開發者。在過去幾年中，Hugging Face與亞馬遜雲科技合作，幫助開發者通過Optimum Neuron開源庫體驗Amazon Inferentia和Amazon Trainium的性能與成本優勢。該庫已集成到Hugging Face Inference Endpoints中，並在新的HUGS自部署服務中進行了優化，用户可以在亞馬遜雲科技Marketplace獲取。隨着Trainium2的發佈，Hugging Face用户將享受更高的性能，從而更快地開發和部署模型。
poolside致力於構建一個由AI驅動的世界，以推動有經濟價值的工作和科學進步。他們相信，軟件開發將成為神經網絡中第一個達到人類智慧水平的重要能力。為此，poolside正在打造基礎模型（FMs）、API和助手應用，以將生成式AI的優勢帶給開發者。而為了實現這一目標的關鍵就在於他們構建和運行產品所用的基礎設施。藉助Amazon Trainium2，poolside的客户將獲得優於其他AI加速器的性價比擴展其服務。此外，Poolside計劃利用Amazon EC2 Trainium2 UltraServers訓練未來的模型，這將比使用Amazon EC2 P5實例預計可節省40%的成本。
Amazon Trainium3芯片，專為新一代前沿生成式AI**工作負載的高性能需求而設計
亞馬遜雲科技發佈了新一代AI訓練芯片Amazon Trainium3。Trainium3是亞馬遜雲科技首款採用3納米工藝製造的芯片，在性能、能效和密度上樹立了新標杆。搭載Trainium3的UltraServers性能預計將是Trn2 UltraServers的4倍，使客户在構建模型時能夠更快迭代，並在部署時提供卓越的即時性能。首批基於Trainium3的實例預計將在2025年末上線。
Amazon Neuron Software助力客户充分發揮Trainium2**性能
Amazon Neuron SDK包括編譯器、運行時庫和工具，幫助開發者優化模型以在Trainium上運行。它讓開發者具有在Trainium芯片上優化模型以獲得最佳性能的能力。它與JAX和PyTorch等熱門框架原生集成，使客户在Trainium上使用現有代碼和工作流時只需進行少量代碼修改。同時，Neuron支持Hugging Face模型庫中的超過10萬個模型。通過Neuron Kernel Interface（NKI），開發者可以直接訪問裸機的Trainium芯片，編寫計算內核以最大限度地提升計算密集型工作負載的性能。
Amazon Neuron旨在簡化使用JAX等流行框架在Trainium2上訓練和部署模型，同時儘量減少代碼更改和對特定供應商解決方案的依賴。谷歌支持亞馬遜雲科技通過其原生的OpenXLA集成，使客户能夠使用JAX進行大規模訓練和推理，提供簡單靈活的編碼路徑，幫助用户快速上手Trn2實例。隨着行業內廣泛的開源協作，以及Trainium2的推出，谷歌預計JAX在機器學習社區的應用將顯著增加，這將成為整個機器學習生態系統的重要里程碑。
目前，Amazon EC2 Trn2實例在美國東部（俄亥俄）區域已正式可用，其他區域也即將推出。Amazon EC2 Trn2 UltraServers目前預覽可用。
免責聲明：
本新聞稿中提及的生成式AI新發布服務暫時僅在亞馬遜雲科技境外區域可用，亞馬遜雲科技中國僅為幫助您瞭解行業前沿技術和發展海外業務選擇推介該服務。
消息來源：亞馬遜雲科技