一代更比一代強，AI 時代的至強如何為雲服務保駕護航？_風聞

作者：鄭思宇

來源：AI科技評論

2023 年，生成式 AI 研究和應用的爆發給雲計算產業帶來了全新的機遇和挑戰：大模型需要龐大的算力支持，用户普遍需要向雲計算廠商購買算力服務；且由於大量用户湧入雲服務市場，雲廠商需要儘快升級數據中心算力以應對 AI 需求，同時持續降低 TCO，為用户提供價格合理的算力資源；此外，AI 應用開發還涉及大量隱私敏感數據的雲端存儲和使用，雲廠商也要全力保障這些數據的安全可靠，打消用户後顧之憂。

基於上述需求，雲廠商迫切需要對已有硬件基礎設施進行更新換代，要求新一代 CPU 能在保障基礎設施平穩升級迭代的同時，具備更強的性能、更低的 TCO，同時能夠滿足雲端多樣化工作負載需求的較強 AI 能力：

1.對於大型雲服務基礎設施而言，穩定性、可靠性依然是王道，因此雲服務廠商升級硬件時決策更加謹慎，偏向於在有着長期延續性的主流平台上逐漸迭代，保護上層軟件應用投資，減小對基礎設施開發運維部門的衝擊。

2.大模型在雲端訓練、推理的過程需要用户將大量數據傳輸至雲端，雲廠商需要採取更強的安全措施，如硬件級的安全引擎來更好地保障敏感數據的安全，確保雲實例間的數據隔離，預防惡意入侵和泄漏。

3.AI 應用涉及密集的低精度矩陣運算，需要較大的內存空間。對於大模型推理應用和中小尺度（參數規模低於 20B）模型的訓練應用而言，其在搭載 AI 加速器的 CPU 上運行可以獲得非常好的能耗比與性價比，還能夠以極具優勢的 TCO 滿足雲廠商大多數 AI 服務的需求。同時 CPU 的通用計算能力也可以為雲廠商提供充足的靈活性，有效保護基礎設施投資。

面對上述需求，英特爾作為服務器 CPU 領域的技術領導者，繼年初發布第四代至強® 可擴展處理器之後，加快了產品更新節奏，於上週發佈了第五代至強® 可擴展處理器，其可與上一代處理器兼容，提供硬件級安全和可信服務，並通過豐富的 AI 產品組合駕馭整個 AI 管線，從而進一步壯大了應對人工智能時代的產品組合。

1

技術創新解決三大維度需求

CPU 繼續扮演 AI 時代

基礎設施關鍵角色

相比上一代產品，第五代至強® 可擴展處理器的核心數量增加至 64 個，擁有更高的單核性能和內存帶寬，三級緩存容量提升近 3 倍。其每個內核都具備 AI 加速功能，內置的英特爾® AVX-512 及英特爾® AMX，能使機器學習、深度學習和大模型應用的性能大幅提升。第五代至強® 可擴展處理器還能通過英特爾® SGX/TDX 為使用中的雲端數據提供端到端硬件級防護能力。與上一代至強® 可擴展處理器相比，五代至強® 在相同功耗下的平均性能提升了 21%，而 AI 推理和訓練性能的提升更是高達 42% 和 29%。

一系列技術創新，使第五代至強® 可擴展處理器成為 AI 時代雲廠商的基礎設施關鍵角色。目前，已經有多家客户在實際業務中部署了第五代至強® 可擴展處理器，在實踐中證明了它為用户帶來的巨大收益提升。其優異的表現得到了客户的很高評價，也讓更多準備升級雲計算基礎設施的企業對新一代至強® 有了更高的期待。

2

英特爾® AMX 提升大模型推理性能

助力京東昇級營銷購物體驗

2023 年京東雲突破性地在數百個 AI 場景中應用了大模型，在數百個營銷場景中升級了原有工作流，顯著提升了商家與消費者的購物體驗。

基於自研的言犀 AI 與大模型，京東雲通過 AIGC 管道生成了 30% 的大促物料，京小智數字人、領航者營銷平台也在大模型支持下獲得了高達 87% 的商品推薦採納率，消費者應答準確率提升 30%。

京東大模型第一次亮相就收穫完美成績，很大程度上要歸功於其部署的基於第五代英特爾® 至強® 可擴展處理器的新一代自研服務器，與上一代自研服務器相比整機性能提升 23%，關鍵的 AI CV 推理性能與 Llama v2 大模型推理性能更是分別提升 38% 與 51%。

取得如此顯著的 AI 推理能力進步，秘訣在於第五代至強® 可擴展處理器搭載的英特爾® AMX 加速引擎。其可以將 INT8 低精度矩陣運算速度提升一個數量級，再結合第五代至強® 可擴展處理器更高的內存帶寬與更強的多核心互聯能力，使 AI 推理性能相較上一代顯著提升。在 11.11 大促中，第五代至強® 可擴展處理器和英特爾® AMX 的組合在京東雲承載的 AI 推理應用服務中大展身手，助力用户訪問峯值同比提升 170%，智能客服諮詢服務量超 14 億次，且並未增加能耗，也將京東雲基礎設施的運維成本維護在之前的水平內。

3

英特爾® TDX 賦能可信計算環境

為阿里雲客户構築端到端數據安全城牆

對於雲計算廠商而言，要讓更多行業和組織信任雲服務，就必須提供有足夠説服力的安全隱私保障，所以雲廠商迫切需要更高水準的硬件級安全城牆。

對於雲環境中使用狀態中的數據，機密計算是實現其有效保護的良策，其為客户敏感數據提供了基於硬件設備的可信執行環境（Trusted Execution Environment, TEE），通過隔離保護的方式來防止未經授權的入侵者訪問或修改處理中的數據。作為機密計算技術的重要引領者，英特爾® 軟件防護擴展（英特爾® SGX）技術提供了應用層面的隔離能力；而在和阿里雲的合作中，則由英特爾® TDX 技術與阿里雲新實例搭載的可信平台模塊（TPM）相配合，結合阿里雲自研的加密計算隔離環境 enclave，為阿里雲第八代企業級 ECS 實例 g8i 構建了一個基於虛擬化的硬件可信環境，即為整個虛擬化實例（包括虛擬機、容器）都構建出可信的邊界，由此為客户提供了可信邊界更大、更易部署的安全雲環境。

英特爾® TDX 使 TEE 環境的可信邊界獲得了有效擴展，從而讓 IaaS、PaaS 等環境中的雲工作負載都能整體納入機密計算的數據保護之下，能夠有效抵禦惡意威脅，加強雲端數據隔離。

阿里雲自研的千問大模型就得到了英特爾® TDX 的充分保護，實現模型數據端到端加密保護。英特爾® TDX 技術為 AI 大模型這樣需要向雲端傳輸大量數據的應用場景鑄就了足夠牢固的安全保障，也為生成式 AI 應用廣泛普及鋪平了信任道路。此外，在引入第五代至強® 可擴展處理器之後，第八代企業級 ECS 實例在計算、網絡、存儲、安全等工作負載中的都得到了顯著提升，在數據庫、硬件加解密、AI 應用、音視頻等場景性能提升 15%~25% 不等。更重要的是，八代實例保持價格不變，使阿里雲 g8i 實例可以用更小的性能開銷保障用户的數據高度安全性。

4

第五代至強® 可擴展

至強算力大升級

支持火山引擎實現降本增效目標

火山引擎的大規模雲原生基礎設施包含超過一百萬台服務器、上千萬容器實例，管理數十 EB 級別存儲資源，需要應對 10 億 + 級 QPS 緩存峯值、10+TB/s 的讀寫峯值帶寬，支持數億日活的應用訪問。

為了應對如此複雜的需求，火山引擎一直都選擇和信賴英特爾® 至強® 解決方案，並率先引入第五代至強® 可擴展處理器，助其第三代彈性計算實例加碼全新升級。

與基於第四代至強® 的彈性計算實例相比，第五代至強® 可擴展處理器助力火山引擎釋放了巨大算力和性能紅利，其彈性計算實例整機算力提升 39%，內存帶寬提升 17%，並在 AI、視頻處理性能、Java 應用性能等方面均有 40% 左右的性能提升。火山引擎計劃推出使用英特爾原生硬件加速技術的能力升級，以 Nginx 為例，使用英特爾® QAT 進行數據壓縮和證書驗證操作的吞吐量最高可提升 5 倍；在 RocksDB 中，使用英特爾® IAA 進行數據壓縮讀寫的吞吐量最高可提升 1.9 倍。提升如此巨大的算力進化幅度，使火山引擎能夠使用相同的實例數量應對更多業務需求。

如今，火山引擎正在構建百萬核心級別彈性資源池，為業務的流量增長、體驗創新與安全性增強提供海量算力保障。

第五代至強® 可擴展處理器提供澎湃的算力的同時，還與上一代處理器兼容，共享架構與平台，大大減少測試和驗證工作，其更高的性能、更好的安全性、更高的成本效益，已經在頭部雲服務提供商中得到全面驗證。

5

軟硬結合

打通 AI 創新底層瓶頸

除硬件方面的諸多創新，第五代至強® 可擴展處理器在軟件層面也搭建了良好的生態環境。例如，英特爾已經在 Pytorch、Tensorflow 和 OpenVINO™ 工具套件等行業標準框架中提供了針對第五代至強® 可擴展處理器的優化，使得雲廠商和用户能夠以較低的門檻，快速利用如英特爾® AMX 等處理器功能，打通 AI 應用的算力瓶頸。英特爾® Trust Authority 鑑證服務則能充分驗證 TEE 的有效性，發揮英特爾® SGX/TDX 技術的優勢。

如果説數據中心是一台巨型計算機，那麼 CPU 就是它的超級大腦，第五代英特爾® 至強® 可擴展處理器將一如既往地扮演核心角色。它與網絡、GPU、軟件技術棧等其他英特爾創新技術一起共同構築了上層 AI 應用的根基。而這樣的根基雖然能力強大，但並不需要用户為此投入大量精力學習或增加運維投入。由此，企業就能將主要精力投入在業務創新中，並在 AI 浪潮中緊緊把握住市場機遇，開啓新的增長路徑。