紫東.太初再進化，揭秘全模態大模型的想象力_風聞

半個月前的一場內部分享中，奇績創壇創始人陸奇直言：他已經跟不上大模型時代的“狂飆”速度了。

在ChatGPT引發的現象級討論下，千億級大模型的軍備競賽愈演愈烈，不少企業趕趟兒式的交出了自家的大模型答卷。儘管大模型的質量參差不齊，卻再一次詮釋了“量變引起質變”的哲學規律。

日前結束的昇騰AI開發者峯會2023上，中國科學院自動化研究所“紫東.太初”大模型研究中心常務副主任、武漢人工智能研究院院長王金橋在演講中介紹了基於昇騰AI與昇思MindSpore AI框架打造的全模態大模型紫東.太初2.0，並首次提出全模態多任務統一生成式學習框架。

借用Hugging Face聯合創始人Thomas Wolf的説法：“在過去的幾年裏，好的多模態模型一直是許多大型技術實驗室的聖盃。”當大模型進入到全模態時代，將對整個產業鏈帶來哪些影響？

01 什麼是全模態大模型？

以往提到大模型的時候，最惹眼的名詞無疑是“參數”，從1.1億參數的GPT到1750億參數的GPT-3，千億級參數幾乎成了大模型的“准入門檻”，畢竟模型的參數量越大，泛化性可能就越強。

其實還有另外一種分類標準，即模態，分別對應單模態、多模態、全模態等不同類型，比如一鳴驚人的GPT-3就屬單模態大模型，紫東.太初1.0和GPT-4屬於多模態大模型，紫東.太初2.0是全球首個全模態大模型。

至於其中的差別，可以從三個維度進行拆解：

首先是原理。

所謂的模態，即大模型可以處理的數據類型。單模態大模型只能處理一種類型的數據，也是出現語言、語音、視覺等不同模態大模型的原因所在，就像GPT-3系列就只有處理自然語言的能力。

顧名思義，多模態大模型意味着可以處理多個模態的數據，比如首個三模態大模型紫東.太初1.0，可以利用文本、圖片、音頻三種模態數據進行跨模態的統一表徵和學習。對應到全模態大模型，泛指可以利用文本、圖片、音頻、視頻、3D等不同模態的數據進行跨模態的統一表徵和學習，更接近人類的學習方式。

其次是成本。

ChatGPT剛剛走紅的時候，不少人在討論OpenAI的訓練成本，據悉GPT-3訓練一次的硬件和電力成本高達1200萬美元，由此出現了這樣一種流行説法：每一個大模型都是一台昂貴的“碎鈔機”。

有別於單模態大模型的是，紫東.太初1.0代表的多模態大模型，通過建立弱關聯多模態數據語義統一表示，支持三種或任兩種模態數據混合訓練，進而減少了數據收集清洗的代價；到了全模態大模型階段，紫東.太初2.0的一個鮮明特點在於全模態低成本協同優化學習，能夠融合多任務全模態能力，進而降低訓練成本。

最後是能力。

大模型領域有“大力出奇跡”的信仰，根源在於大模型的“湧現”現象，當大模型的參數量超過某個閾值（一般説法是參數量達到600-1000億），模型會出現一些意想不到的複雜能力，譬如類似人類的思維和推理能力。

正如前面所提到的，紫東.太初2.0首次提出了全模態多任務統一生成式學習框架，即全模態分組對齊、分組解碼和聯合解碼的學習方式，形成了全模態邏輯推理鏈。而跨模態遷移更有利於知識獲取，產生更多新的能力，紫東.太初2.0有望加速能力湧現，進一步突破感知、認知和決策的交互屏障。

相較於比拼參數、算力和數據的“大模型煉丹術”，由單模態到多模態再到全模態的進化，可以自動學習到複雜的特徵和模式，實現更準確和更高效的預測和決策，同樣是走向通用人工智能的必由之路。

02 大模型為何需要開源？

如果説“全模態”是紫東.太初2.0的第一個閃光點，另一個值得關注的消息是：紫東.太初2.0-3.8B模型已經在昇思MindSpore社區開源，相比於紫東.太初1.0，支持更細粒度的圖像識別、更具知識的視覺問答、更豐富的圖像描述。

似乎有必要重温下開源和閉源的故事。

1997年，著名黑客埃裏克·斯蒂芬·雷蒙在《大教堂與市集》一書中預測了兩種不同的自由軟件開發模式：一種是大教堂模式，原始代碼是公開的，但每個版本的開發過程由一個專屬的團隊管控；一種是市集模式，原始代碼同樣是公開的，不過是放在互聯網上供人檢視及開發，最直接的例子就是Linux。

最終“市集模式”證明了開源比閉源更加高效，全球99%的組織在IT系統中使用了大量的開源代碼，開源的價值也被越來越多的企業重視。

2020年以前的時候，OpenAI信奉的也是開源策略，但在商業利益的誘惑下，GPT-3選擇了閉源，只針對開發者提供API，OpenAI由此被戲稱為ClosedAI，以至於國內的幾家大模型廠商也選擇了API模式。

再來理解紫東.太初系列大模型在昇思MindSpore社區開源的現實意義，或許可以找到一些不同的答案。

一是價格層面。開源沒有所謂的許可或使用費，只要有足夠的算力和數據，就可以在昇思社區上下載紫東.太初2.0-3.8B訓練自己的大模型。而閉源的成本取決於軟件的規模，目前OpenAI的ChatGPT API的最新接口調用費是每千次token約0.002美元，摺合人民幣0.014元，還是多次降價的結果。

二是安全層面。開源軟件有一個完整的社區來審查代碼，而閉源是由單一平台負責修改漏洞，出現了錯誤可能無法被及時改正。況且大模型的安全問題遠不止於此，據傳三星電子引入ChatGPT不到20天時間，就曝出有機密數據外泄，明令宣佈禁止員工使用ChatGPT、Google Bard、Bing等生成式AI工具。

三是產業層面。開源世界裏流傳着一句格言：社區重於代碼，因為開源社區的聚合和放大效應比開源代碼更有價值。特別是方興未艾的大模型領域，開源的本質是協同和創新，協同是全世界所有開源方力量的協同，創新是一個技術的創新，相比於各自為戰的閉源模式，開源更利於產業生態的培養和繁榮。

紫東.太初2.0宣佈開源的同時，同步升級了紫東.太初開放服務平台，不僅支持公有云、私有云、混合雲在內的多種部署方式，兼容昇騰、英偉達、AMD、英特爾等不同AI硬件，作為AI框架的昇思MindSpore還提供了數據中心、訓練中心、模型中心、推理中心在內大模型微調套件，進一步降低了大模型的開發門檻，並通過一鍵式微調、低參數調優等提高了開發效率。

全模態大模型的“神奇能力”，於開發者而言不再遙不可及。

03 大模型的價值在“落地”

也許就現階段而言，還無法為開源和閉源的勝敗下定論。可對於呼喚大模型的千萬家企業來説，比部署方式更重要的其實是落地，如果大模型的能力不能轉變為產業價值，再美好的故事也將是泡沫。

所以在對話式機器人輿情洶湧時，不少大模型並未急於跟進，因為大模型領域的參與者們都很清楚：華而不實地湊熱鬧終歸會被狂飆的車輪碾壓，產業落地才是大模型賽道避免泡沫化的鐵律。

再確切一些的話，大模型通常在大規模無標記數據上進行訓練，以學習某種特徵和規則，而基於大模型開發應用時，只需對大模型進行微調，就可以完成多個應用場景的任務。如果説過去的AI應用是“手工作坊”式的，在大模型的驅動下，人工智能的產業落地正在向“工廠流水線”模式演變。

至少基於昇思MindSpore AI框架的紫東.太初大模型已經印證了這一點。

比如面向開發者和個人用户，武漢人工智能研究院推出了“江城洛神”AI內容創作平台，通過紫東.太初的圖像描述能力、跨模態檢索能力，“江城洛神”能夠自動構建AIGC的訓練數據，通過文本對於生成圖片的細粒度信息進行控制，例如頭髮的顏色、人物的表情、背景的效果、風格的定義等等。

同類平台需要輸入多個提示詞才能準確生圖時，“江城洛神”已經通過自然語言實現了“一語成畫”。鑑於紫東.太初2.0的視覺知識推理和生成，不排除會衍生出圖生文、圖像分類識別等個性化的新玩法。

再比如面向行業的多模態人工智能產業聯合體，目的是整合產學研用各方資源，打造多模態人工智能行業應用，探索通用人工智能產業化路徑，目前已經有華為、中國移動、長安汽車等66位成員參與其中。

直接的例子就是大模型在智能座艙中的應用。基於“紫東.太初”多模態大模型，長安汽車引入了元宇宙的概念，創造出了YYDS虛擬數字人。和其他車內語音助手最大的不同，“YYDS”允許用户復刻自己或親人的形象、聲音，可以捏出自己專屬的語音助手，實現了千人千面的個性化需求滿足。

可以找到的案例還有很多，比如紫東.太初2.0大模型在智慧法律、智慧交通、智慧政務、智慧醫療等場景中的深入落地。

或許這才是全模態大模型的正確打開方式，正在從過去的“一專一能”向“多專多能”過渡。在昇思MindSpore等開源社區的推動下，大模型不僅賦予了普通開發者使用AI的能力，也拉近了千行百業智能化轉型的距離。

不出意外的話，紫東.太初2.0開創的將不只是“全模態大模型”的先河，一場以落地考驗價值的產業大考悄悄拉開了帷幕。

04 寫在最後

即使從2018年OpenAI的GPT算起，“大數據+大模型”的行業佈道也不過才進入第五個年頭，期間或許有挫折，但井噴式爆發已經是註定的事實。

而在文本、圖片、音頻等數據的基礎上，進一步融入3D、視頻、傳感信號等多模態數據的紫東.太初2.0，註定了大模型進階之路的新轉折點，通過優化語音、視頻和文本的融合認知以及常識計算等功能，正在讓人工智能從感知世界進化為認知世界，延伸出更加強大的通用能力，不斷刷新人們的想象空間。