AI推理時代：邊緣計算成競爭新焦點

2025-03-28

【環球網科技綜合報道】近日，隨着科技領域一系列動態的湧現，AI大模型的競爭焦點正加速向AI推理轉移，AI推理時代已然來臨，而邊緣計算憑藉其獨特優勢，成為這一新興領域的競爭新戰場。

AI推理時代開啓

自去年以來，科技巨頭們在AI推理領域動作頻頻。Open AI推出O1推理模型，Anthropic跟進推出依賴推理能力的“Computer Use”的Agent功能，DeepSeek R1推理模型在全球引發廣泛關注，英偉達在GTC大會上亮相首款推理模型、首個推理軟件等。這些事件清晰地揭示出AI大模型競爭焦點的轉變。

資料圖

巴克萊報告指出，AI推理計算需求將迅速提升，預計佔通用人工智能總計算需求的70%以上，甚至可能超過訓練計算需求，達到後者的4.5倍。英偉達創始人黃仁勳也預測，推理所需算力需求規模增長能“輕鬆超過去年估計的100倍”。

在DeepSeek出現之前，AI大模型的部署與訓練面臨諸多難題。一方面，需要大量的資金投入和大規模算力的部署、維護，中小企業難以自建生態進行大模型開發；另一方面，AI大模型閉源帶來部署與使用門檻，限制了其廣泛應用。

而DeepSeek採用大規模跨節點專家並行的模式，利用強化學習減少人工依賴和數據缺失問題，並通過全面開源的方式，將AI推理資源池成本降到百卡/千卡範圍，降低了AI大模型在行業用户環境中的部署與使用成本。其部署方式更加輕量、靈活，為行業提供了全新解決方案。短短兩個月內，國內外科技、金融、政務、能源、通信、汽車、高校等各行各業紛紛接入DeepSeek，用於業務提效和AI應用創新，加速了端側AI的爆發與普及，推動了AI格局向大規模推理轉變。

邊緣計算的必要性與優勢凸顯

AI推理需要為終端用户運行工作負載，響應速度和位置至關重要，這使得在邊緣或邊緣雲環境中進行推理更具優勢。對於企業而言，靠近節點的邊緣雲能有效提高數據交互和AI推理的即時性與效率，並保障信息安全。

邊緣計算地理分佈廣泛，更靠近用户，是實現低延遲體驗的必要條件。同時，通過縮短交互鏈路，能大幅降低數據傳輸開銷和成本。以語音數字人場景為例，相較於中心雲，在靠近用户的邊緣側接入，語音數據傳輸鏈路更短，用户體驗明顯優於中心推理；相較於設備端，又能降低對終端設備的依賴，模型能力的優化升級更加簡便。

邊緣節點容量大、健壯性強、可用性高，疊加邊緣推理後，更具智能、更加高效，能夠更好地支撐企業數字化、智能化轉型。此外，邊緣計算還能保障業務連續性，通過業務調度能力實現節點故障時的快速切換。

在邊緣側還可以提供更多能力，如邊緣緩存可實現交互內容的就近存儲，減少網絡流量、提升模型的即時性；集成安全的邊緣防護能增強大模型部署和應用的安全性。

市場加速競爭，廠商積極佈局

AI推理市場的主要競爭者包括AI硬件廠商、模型廠商以及AI服務提供商，目前參與者們已紛紛瞄準邊緣計算進行佈局。

在硬件層面，蘋果、高通等廠商積極研發邊緣AI芯片，應用於AI手機和機器人上，支撐邊緣端的大模型運行；Arm發佈邊緣AI計算平台，可運行超10億參數的端側AI模型；國科微推出AI邊緣計算芯片，可適配包括輕量級LLM語言大模型、AIGC生成式模型、CV大模型以及多模態大模型等。

在平台服務層面，英特爾推出基於英特爾鋭炫TM顯卡的邊緣端AI推理解決方案，提升AI推理速度；阿里雲推出邊緣容器雲，助力開發者實現更快速的AI推理應用的迭代和部署；網宿科技打造邊緣AI平台，提供ServerlessGPU、邊緣AI網關、邊緣模型微調與推理服務等，幫助企業低成本、高效率地實現AIGC創新。

目前，AI推理市場正處於快速發展期，競爭格局尚未完全固化。專家認為，未來市場競爭的核心要素在於成本/性能的計算，包括推理成本、延遲和吞吐量。聚焦到邊緣計算這一切入點，資源與技術能力將是參與者競爭取勝的關鍵。

以網宿科技為例，作為邊緣計算領域的頭部玩家，其早在2011年就開始探索邊緣計算，已形成從資源、產品、能力、安全到應用的一體化佈局。資源方面，網宿在全球擁有近3000個節點資源和豐富的GPU算力資源，更貼近業務邊緣，具有低時延優勢，在與大模型交互的鏈路中，能夠將模型交互效率提升2 - 3倍。

技術能力上，網宿沉澱了完備的技術棧，依託異構計算資源的虛擬化和容器化、全球海量節點的編排管理等關鍵技術，能夠支撐大規模模型能力的調度和運營，為企業提供高可用服務。此外，網宿還通過邊緣函數自定義更多個性化的功能，結合企業業務場景提供個性化的智能解決方案。

據悉，網宿邊緣AI平台已深入醫療、家居、媒體、互聯網等行業，應用於AI輔助開發、AI問答、AIOT、AI評論等場景。例如，網宿利用RAG技術構建知識庫，並結合邊緣AI推理模型，為某醫療企業構建了智能AI問答系統，明顯提升了醫療諮詢的效率。

可以預見，隨着模型技術的不斷演進和邊緣計算能力的持續提升，AI推理將迎來一場革新，為產業帶來更多創新機遇。（文智）