MWC 2025｜Arm：集成KleidiAI 與通義千問模型，加速端側多模態 AI 體驗

【環球網科技綜合報道】3月4日消息，Arm 控股有限公司發佈與阿里巴巴淘天集團輕量級深度學習框架 MNN 的又一新合作。雙方經由 Arm KleidiAI 的集成，讓多模態人工智能 (AI) 工作負載通過阿里巴巴經指令調整的通義千問 Qwen2-VL-2B-Instruct 模型運行在搭載 Arm CPU 的移動設備上。該版本的通義千問模型專為端側設備的圖像理解、文本到圖像的推理，以及跨多種語言的多模態生成而設計。此次的合作顯著提升了端側多模態 AI 工作負載的性能，帶來全新的用户體驗。

在MWC 2025上，Arm 展示了此次合作的成果，該演示突出了模型如何理解視覺和文本輸入的多種組合，並對圖像中的內容進行提煉説明。這項演示在搭載 MediaTek 天璣 9400 移動系統芯片 (SoC) 的智能手機上完成。

Arm 終端事業部產品管理高級總監 Stefan Rosinger 表示：“我們正身處 AI 革命的浪潮之中，親眼見證了多模態 AI 模型的興起。這些模型能夠處理並理解多種數據類型，涵蓋文本、圖像、音頻、視頻及傳感器數據。然而，由於硬件本身的電力限制和內存約束，加之同時處理多種數據類型帶來的複雜性，在端側設備上部署這些先進的多模態模型正面臨着不小的挑戰。”

Arm Kleidi 成為解決這些挑戰的理想方案，它能夠為運行在 Arm CPU 上的所有 AI 推理工作負載提供無縫的性能優化。KleidiAI 是一套輕量級且高性能開源的 Arm 例程，專為 AI 加速而設計，目前已被集成到最新版本的主流端側 AI 框架中，包括 ExecuTorch、Llama.cpp、LiteRT （通過XNNPACK）和 MediaPipe，能讓數百萬名開發者無需進行額外操作，即可自動獲取 AI 性能的顯著提升。

通過 KleidiAI 與 MNN 的集成，Arm 和 MNN 團隊測量了 Qwen2-VL-2B-Instruct 模型的加速性能，結果顯示在端側的關鍵 AI 多模態應用場景中，其運行和響應速度均有所提升。這一提升可為阿里巴巴旗下眾多以客户為中心的應用程序帶來更加出色的用户體驗。

這些用例響應速度的提升，得益於模型預填充（指 AI 模型在生成響應之前先對提示詞輸入進行處理）性能提升了 57% ，以及解碼（指處理提示詞後從 AI 模型生成文本的過程）性能提升了 28%。此外，KleidiAI 集成還可以通過降低多模態工作負載的總體計算成本，進一步促進端側設備上 AI 工作負載的高效處理。數百萬使用包括 MNN 框架在內的熱門 AI 框架運行應用程序與工作負載的開發者，可以在針對邊緣側設備的應用和工作負載中享受到這些性能和效率的提升。