百度CTO王海峯首度公開產業級知識增強大模型“文心”全景

【環球網科技綜合報道】12月8日消息，中國工程院院士、鵬城實驗室主任高文與百度首席技術官王海峯共同發佈知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan）。該模型參數規模達到2600億，是目前全球最大中文單體模型，在60多項任務上取得最好效果。同時，百度產業級知識增強大模型“文心”全景圖首次亮相，從技術自主創新和加速產業應用兩方面，推動中國AI發展更進一步。

高文院士表示，“預訓練模型對整個科學、創新的發展都是非常重要的工具。運用這個工具，可以幫助做很多人工智能的賦能，不侷限於某個領域。”

王海峯介紹，百度知識增強大模型從大規模知識和海量數據中融合學習，效率更高，效果更好，具有良好的可解釋性。從2019年3月發佈文心ERNIE 1.0，到最新的產業級知識增強大模型文心全景圖，既包含基礎通用的大模型，也包含面向重點領域、重點任務的大模型，以及豐富的工具與平台，有助於促進技術創新和產業發展。

據介紹，鵬城-百度·文心在機器閲讀理解、文本分類、語義相似度計算等60多項任務取得最好效果，並在30餘項小樣本和零樣本任務上刷新基準。

鵬城-百度·文心成功發佈的背後，得益於鵬城實驗室的算力系統“鵬城雲腦Ⅱ”和飛槳深度學習 平台的聯合研發，解決了超大模型訓練的多個公認技術難題，使鵬城-百度·文心訓練效率大幅提升，模型效果更優。

為解決大模型應用落地難題，百度團隊首創大模型在線蒸餾技術，模型參數壓縮率可達99.98%。壓縮版模型僅保留0.02%參數規模就能與原有模型效果相當，為產業大規模應用打開新窗口。

目前，百度文心通過百度飛槳平台陸續對外開源開放，並已大規模應用於百度搜索、信息流、智能音箱等互聯網產品，同時通過百度智能雲賦能工業、能源、金融、通信、媒體、教育等各行各業。