透過全球首個知識增強千億大模型，看到中國AI差異化發展之路_風聞

幾年來，預訓練大模型逐漸從一個AI領域內的技術語言，變成了強勢出圈的產業熱點與社會關注話題。但如果大家關注這一話題，會很容易注意到越來越多的聲音開始反思大模型的發展之路。比如，大模型是不是應該一味追求龐大的訓練參數？在發展路徑上我們是不是隻能嚴格對標GPT-3等國際著名大模型產品？

當中國科技企業與研究機構紛紛投入大模型競爭時，是不是有可能探索出一條屬於自己的道路？

在科技自立的需求愈發嚴峻與明確時，透過大模型競賽，我們可以看到更多關於AI的產業啓示與戰略思考。

12月8日，鵬城實驗室與百度聯合召開發佈會，正式發佈雙方共同研發的全球首個知識增強千億大模型——鵬城-百度·文心。這一大模型參數規模達到2600億，並且在全球60多項NLP任務中取得了最佳效果。同時，百度產業級知識增強大模型“文心”家族也首次亮相。

早在2019年，百度就開始佈局文心預訓練模型，如今它也率先走向了差異化拐點。當大眾對知識增強這一概念的熟稔遠不如大模型本身時，百度文心選擇了這條聽上去陌生，但卻至關重要的產業新徑。

大模型為什麼重要？為什麼我們應該在大模型上探索出新的方向？透過百度文心大模型，我們看到的是科技自立的遠方，看到的是中國AI的飛翔之地。

大模型不是軍備競賽，而是教育競賽

首先來看大模型本身的行業意義與發展背景。

如今，似乎每家AI企業和研究機構都在做大模型。這種火熱局面經常被稱為“大模型的軍備競賽”。但如果我們要理解的是，大模型本身是一種產業基礎設施和輔助工具，並不是企業與機構的“不傳之秘”。

AI產業發展大模型，就像是國家發展教育事業，本身是為了培養更多人才和創新能力，增強整個社會的能動性。

通過海量數據的預訓練集成，大模型可以有效降低個體企業與具體行業的AI應用門檻，解決數據標註與行業差異化適配的問題。大模型就像一間間學校，培養了具有通識能力與高素質的人才，從而避免了企業需要從小學知識開始重新培養人才。

這也就將引出一個關鍵問題：既然大模型是一種“教育系統”，那麼教育就應該貼合社會的實際需求。學校肯定不是以用掉了多少書本來評價質量，就像大模型不能僅以訓練參數定優劣，更重要的是教育方法是不是與社會適配，能否培育出具有強大能力的人才。

從這個維度上思考，中國AI產業要一直跟隨GPT-3等大模型的腳步，一味在訓練參數上標榜自身嗎？

中國的產業底座、應用需求、技術領導力，是否有可能培育出自己的差異化大模型之路？

此次百度發佈的鵬城-百度·文心，以及亮相的百度文心大模型，或許就是答案的方向。

跳出藩籬：知識增強大模型的差異化之路

2019年3月，在全球大模型的剛剛開始起步的時候，百度就發佈了ERNIE 1.0版本，提出了知識增強的語義表示模型。2019年7月，ERNIE 2.0 則構建了持續學習語義理解框架，在中英文 16 個任務上取得了業界最佳效果。

面向NLP領域AI的探索，文心大模型跳出了以往大模型的窠臼，採用了知識增強這一全新技術路徑。知識增強將百度在知識圖譜、跨模態學習等領域的技術能力，與模型訓練學習方面的產業積累結合，實現了更高效率的學習，令模型的理解與生成能力顯著增強。

這也很像人類學習的過程，具體信息的學習固然重要，同時知識與邏輯的學習也必不可少。知識既構成了人的通識能力基礎，也可以顯著提升具體能力的學習與應用。在大模型領域，知識與深度學習的結合起到了事半功倍的效果。

與此同時，文心大模型還強化了跨語言、跨模態的學習能力。在技術的不斷迭代之下，文心大模型的泛化能力更強，可以適應更具體真實的任務應用，尤其是處理小樣本學習任務的能力。

（鵬城-百度·文心模型結構圖）

這條差異化之路，讓鵬城－百度·文心千億大模型可以實現更高效率的學習，並在同等參數空間下實現效果更優，並且符合真實場景的應用需求。而能夠實現知識增強這條新路的開拓，得益於百度在知識、深度學習、以及模型開發訓練並行且長期的佈局積累，也得益於鵬城雲腦Ⅱ提供的強大算力。

中國AI的積累、實力與需求，共同構成了差異化之路的起點。從這個意義上來看，知識增強大模型的價值並不僅僅在大模型本身。

走向通用：百度文心的應用拓展空間

BERT、GPT-3等大模型確實取得了驚人的效果，但大模型也經常因為應用上的滯後性引發質疑。其原因主要來自兩方面：一是大模型的算力需求過大，成本高昂；二是大模型的泛化能力欠佳，經常難以解決應用場景中複雜多變的實際問題。

面對這些問題，鵬城-百度·文心實現了更強的應用能力。在場景化應用方案中，鵬城-百度·文心可以實現多尺寸的模型蒸餾，甚至以極小尺寸適配具體需求，降低大模型使用門檻與成本。

在通用能力上，通過與知識的結合加上跨語言、跨模態能力的融入，文心大模型可以適配更加多樣化、通用化的任務，在通信、金融、醫療等領域具備廣泛的應用前景與想象空間。

鵬城－百度·文心在60多項國際著名任務上取得了領先優勢，其中有30多項是小樣本、零樣本學習的任務，表明了鵬城－百度·文心的泛化應用能力更強，可以低門檻適配行業需求與行業能力。

（鵬城-百度·文心小樣本學習效果）

（鵬城-百度·文心零樣本學習效果）

在金融領域，文心大模型賦能可以結合百度全流程AI開發平台BML提供的模型再訓練能力，基於定製的保險合同條款“智能解析模型”，完成一份合同內近40個類目條款的智能分類，讓業務員處理單份合同文本的時長縮短到1分鐘，速度提升幾十倍。在智能客服領域，文心大模型可以有效提升服務的精準性。這一能力目前已經在浦發銀行、中國聯通等國內眾多企業中得到應用。

整體而言，文心大模型在相對複雜、有考驗性的應用場景具備更加強大的表現。比如媒體創作、醫療文本分析、金融信息研判、合同分析等等，這些應用空間非常廣闊，並且能夠適配的AI技術淨值很高，具有明確的商業化動力。

AI正在走向工業大生產，其中核心就是讓實驗室中的強大AI能力，走入產業，擁抱真實需求。而這就需要大模型具備更強的通用化能力，鵬城－百度·文心正是踏出了這樣的關鍵一步。

文心之路，自立之路：中國AI的飛翔之地

從技術差異和應用場景出發，我們其實可以從鵬城－百度·文心和百度文心大模型裏看到更遠。如今，科技自立成為了時代潮流與企業責任，而到底什麼是真正的科技自立呢？從鵬城－百度·文心中，我們或許能找到一些新的經驗與標準。

在全球矚目的大模型領域中，知識增強大模型成功打破了固有邊界，跳出了“質變沒有就拼量變”的傳統邏輯。科技自立不是你有什麼我也要照貓畫虎，你有千億參數我有萬億參數，而是結合自己的特點與需求，走出能夠引領潮流，有獨特發展空間的差異化之路。

此次百度的大模型最新發布亮相，可以看到中國AI厚積薄發，學中能變的時代腳步。

在前沿探索上，百度文心大模型在知識增強這個關鍵點上打破了大模型的產業壁壘，探索全新的技術可能與應用特性，並且將跨語言、跨模態等前沿技術融入其中，構築更具領導力的技術創新，讓中國AI不再僅僅成為模仿者。

在產業協作，百度與鵬城雲腦Ⅱ的合作，可以説是集合了中國AI的“最強實力組合”。“鵬城雲腦Ⅱ”是自主研發的E級AI算力平台，曾在多個國際性能測試比賽中奪冠。鵬城－百度·文心將基礎設施與前沿產業探索進行了有效適配。這種產學一體，軟硬件協作，有效利用鵬城雲腦Ⅱ作為創新底座的方式可以説是中國AI所獨有，在未來很長一段時間將是中國AI產業的特殊優勢。

在戰略協同中，鵬城－百度·文心可以有效融入百度雲智一體的戰略架構，大模型通過飛槳的技術創新特性帶來高效的訓練結果，同時大模型也天然與百度智能雲結合，構成了開發者和企業選擇百度的動力。雲智一體，指向泛化應用與產業需求的AI發展策略，也是中國AI的獨特一面。

從源頭技術創新，到大模型的知識增強之路；從飛槳核心技術的有效利用，到與鵬城雲腦的軟硬件合作，鵬城-百度·文心千億大模型的每一步都根基於自主，每一個選擇都趨向於自立。這種既能破壁求變，也能務實協同的發展方法，就是中國AI的飛翔之地。

最近有個話題頻頻登上熱搜，叫做“中國有偉大的知識寶庫”。在知識增強的創新之路中，鵬城－百度·文心指向的，就是中國AI這樣一個偉大的知識寶庫.