百度的文心一言是鸚鵡學舌還是烏鴉能力，是決定它是否能比肩GPT3的關鍵_風聞

【本文來自《剛剛，ChatGPT-4發佈，全方位碾壓老版本，甚至能看懂網梗表情包為什麼好笑》評論區，標題為小編添加】

• Starchaser
• 就看明天百度的文心一言了。

都不好説文心一言能不能超過GPT3……

因為OpenAI 大語言模型發展中的關鍵技術突破— GPT3之後“湧現”出的“烏鴉”能力，

過往機器學習的範式——鸚鵡學舌

機器學習，包括深度學習，所遵循的範式是“data fitting”，即找到數據中的“對應關係”並應用。“尋找對應關係”這個能力，可以人臉識別，高效推薦廣告；下圍棋。

但是鸚鵡學舌式的AI，只能根據指令來達成一些目標，並不真的“懂”指令。

鸚鵡的設計師，是很難窮盡世界上所有的語言應用組合的。

因此“懂”這件事，是過往AI夢寐以求都想突破的瓶頸。

ChatGPT可能的新範式——烏鴉能力

如圖a的一隻烏鴉是野生的，沒人管，沒人教。它必須靠自己的觀察、感知、認知、學習、推理、執行，完全自主生活。

首先，烏鴉無法砸碎堅果，但是它發現車軋果子可以做到(圖b)，但是發現它到一個車水馬龍的路中間去吃是一件很危險的事。然後，它觀察到紅綠路燈會讓車子和人停下(圖c_)

它領悟出紅綠燈、斑馬線、行人指示燈、車子停、人流停這之間複雜的因果鏈。

搞清楚之後，烏鴉在斑馬線上方的一根電線，蹲下來了(圖d)。

它把堅果拋到斑馬線上，等車子軋過去，然後等到燈亮了(圖e)。它從容不迫地走過去，吃到了地上的果肉。

總結一下，烏鴉通過觀察，自主串通了：汽車能壓碎堅果——紅綠燈能控制汽車——車能撞死我這三件事情，從而利用紅綠燈和汽車，來幫自己達到“安全打開堅果”這一任務結果。

描繪最接近的詞彙可能是“inference”，是“基於證據和邏輯推演，得到結論”的過程

**ChatGPT看似擁有烏鴉能力的證據（**之所以説“看似”，是因為我們並不知道烏鴉為什麼會有inference的能力，我們也不完全知道LLM為什麼會有“達成inference效果”的能力。）

1、ChatGPT能“聽懂”錯在哪兒了，並向正確的方向修正。

2、描述越詳細清楚，ChatGPT回答得越好(要知道，越詳細的描述，在預訓練的文本里越難匹配到)

3、在詢問ChatGPT互聯網上並不存在內容的時候，能給出較好答案

4、ChatGPT能通過信息猜你心中的想法

5、你可以制定一個全新的遊戲規則讓ChatGPT和你玩，ChatGPT可以理解。

過往模型一定需要針對具體的問題進行具體設計，而且只要説的話稍稍不夠“結構化”，模型的表現就很難保證，更別提在模型資料庫裏，沒有出現過的問題了(想起了制杖音箱)。

而ChatGPT是一個“開竅”之後擁有“理解”能力的人。理解能力帶來了舉一反三的能力，邏輯推演的能力，“知錯”就改的能力。

提煉對比一下的話：

過往ML：需要“喂”，之後“模仿”，基於的是“對應關係”

ChatGPT：需要“教”，之後“懂”，基於的是“內在邏輯”

——而這次發佈的GPT-4會大幅提升ChatGPT的能力，效率提升很多，不確定“湧現哪些新能力”。

提問題的能力和判斷力也許是人類最重要的兩個能力。在AI自然語言處理紀元中**，**GPT4快做到了，

百度的文心一言是鸚鵡學舌還是烏鴉能力，是決定它是否能比肩GPT3的關鍵，然而OpenAI發佈了的GPT4幾乎可以肯定是領先它的。