寫在「文心一言」發佈前夕_風聞

本文首發於航通社，原創文章未經授權禁止轉載

航通社微信：lifeissohappy 微博：@航通社

　　比當然可以比，有什麼不能比的。

　　文 / 書航 2023.3.15

　　這篇寫得非常急，因為過了 12 點還不推送，這些預測就發不出去了。但此前我一直打聽多方消息，到了這個時候，感覺把它們整理出來還是對大家有點用處。

　　百度從官宣有「文心一言」這麼個東西到發佈成品用了一個月多一點，這件事本身並不稀奇。因為文心一言和文心大模型的關係就是 ChatGPT 和 GPT-3 的關係。

　　百度的大模型已經訓練很久了，做個前端應用出來沒那麼難。相信這一個月的時間裏，絕大部分都是用在談商務合作，找人宣傳，內部測試各種刁鑽古怪的用例，以及找 bug 上面。

　　百度的工具箱裏不只有文心大模型，還有支撐它的底層技術，包括它使用自研芯片來訓練。BAT 均宣佈了自研芯片用於內部訓練，百度對外宣佈的「崑崙」已經到第二代，採用 7nm 製程，同時也強調通用性。而第三代會在明年部署。

　　儘管百度也會將自己的各個模塊比如芯片層、框架層和模型層等分別拓展其對外兼容性和開發者生態，但它依然認為，都是自己家的東西協同起來，效果肯定好於一堆通用的方案拼起來的（我們倒是可以將華為的5G技術和OpenRAN陣營，或者x86、ARM陣營和RISC-V陣營之間的比較，作為這個觀點的證據）。

　　今天 GPT-4 就發佈了，但非常值得注意的是 OpenAI 這一次公佈的技術細節少之又少，跟以前作為慷慨的服務於全人類的非盈利研究機構的感覺大不一樣。這也説明如果某個東西真的是好東西，製作它的人不可能太慷慨。

　　所有人都在注視「中國的 ChatGPT」，放眼全球似乎也只有中國有機會在現在的時間點做出美國公司之外開發的競品。能做出來有這個東西，跟這東西是不是一樣的品質，是兩個不同的問題。

　　復旦做的 MOSS 發佈倒是最早，但被罵的很慘。當然作為學術實驗項目，口碑不與未來的應用前景關聯，所以可能不是最重要的東西。真正要出產品的公司，其實都在猛打預防針，不斷降低國內外關注者的心理預期。具體地説，就是先肯定自己現在一定是做不出 ChatGPT 這麼好的效果，會出更多問題，會更笨拙。

　　比如，小冰前陣子説的「小冰鏈」的説辭是，在全功能但高成本、低效率的大模型中，拆出一部分可以快速商用的做成產品，可能加上一些人工調優，會比當前的小冰模型更勝任聊天機器人等角色。即使不考慮類 GPT 的技術，小冰此前也自主實現了其中一些用例，比如文章、圖片、視頻的生成，以及儘可能的多輪對話。這些已經做出來的東西，其實也沒必要扔掉，反正外面看來都是在同一個黑箱裏面。

　　那麼，百度可能會怎樣説呢？如果我們瀏覽百度的工具箱，可以發現除了芯片和全技術棧之外，還有一個東西很可能被忽略：知識圖譜。

　　目前我們知道的百度知識圖譜最新數據來自 2020 年，具體表述是「百度打造了世界上最大的多源異構知識圖譜，擁有超過 50 億實體和 5500 億事實，並在不斷演進和更新，每天的調用次數超過 400 億次」。

　　在深度學習突飛猛進的同時，知識圖譜似乎已經被人遺忘，也長久沒有進展。然而此前一直有很多 AI 研究人員相信直接建立實體與事件的對應關係，是讓「黑箱」變白，讓 AI 決策過程透明化的關鍵。當然我們知道，截至目前這並沒有發生。

　　主要問題是建立知識圖譜的過程太讓人抓狂了。如果部分採用機器生成，那就可能產生錯誤的對應關係——就像百度有時候會在搜索框下面提取出的讓人啼笑皆非的「答案」。（谷歌也這樣。一個著名的例子是它把研究殺滅 WannaCry 勒索病毒的科學家標註為了該病毒的作者。）

　　如果用人工來梳理——開什麼玩笑，是吧？

　　但是現在，假設 GPT 及同類技術可以產出符合倫理規範，符合邏輯，而且正確率高於商業應用所需要的閾值的答案，那麼這部分人類打標籤的工作，包括標記知識圖譜，以及清洗深度學習語料等工作，如果可以讓成熟的 GPT 自己內循環的話，就不再是看起來不可能的任務了。

　　所以，即使中文的優質語料沒有英文那麼多，也有可能通過成熟的 GPT 們代替人工清理過往的素材，核對和搭建知識圖譜，再喂進去實現自我增強。當然，這只是一種理論上的假設。

　　實際上，不論是否將知識圖譜，或其它現有資源融入文心大模型，現在我們已知它的問題就不算少了。在「文心一格」也就是畫圖應用中，經常出現 prompt 不能正確認知的情況，我或許可以在明天摸到「文心一言」的時候一起舉例説明。

　　但是，一個可能證明了他們將知識圖譜引入大模型的例子，是文心一格可以正確瞭解「米線」「佛跳牆」這些中國菜餚，它們翻譯過後可能產生歧義。相信百度會特別用力宣傳這方面的例子，因為它們剛成立時侯的宣傳語就是「更懂中文」。

　　為了揚長避短，避免在算力上正面交鋒，以上各種説法都是為了挽救一部分需要訓練才能湧現的能力。湧現能力是 all or nothing，跟 ChatGPT 比了不行是意料之中的，如果有地方勝出，那就是意外收穫嘛。

　　國產目前就是從 me too 到 me better 的階段，比當然可以比，MOSS 都可以比，有什麼不能比的。這就是明天我們面對「文心一言」時候應有的正確預期。