大評測！ChatGPT 、文心一言和Bard誰更強？_風聞

撰文 | 蘇  舒

編輯 | 李信馬

題圖 | IC Photo

3月22日，谷歌悄悄公開了Bard的測試版。

經過上一次的翻車事件之後，谷歌明顯低調了很多。但是面對微軟的步步緊逼，谷歌也不得不站出來“打擂台”。

不同於New Bing的大規模開放策略，Bard的測試名額將被逐步放出，同時初始版本將只能對文本響應。谷歌表示，Bard首先將面向美國和英國地區啓動，隨着測試的推進Bard也會逐步在其他地區上線。

在三大模型都開放測試後，DoNews搶先體驗了一下。我們分別就文學、翻譯、創作、藝術、哲學、邏輯推理等方向出題，來看看他們的回答是什麼樣子的。

在此先註明，對三大語言模型提出的問題，每一次生成的答案都有所不同，也因此造成了“一萬個人有一萬個哈姆雷特”，但總體來看，三大語言模型還是各有千秋。另外，由於Bard目前只支持英文，因此，Bard是用英文提問，文心一言和ChatGPT（3.5版本）是用中文提問。

一、互相評價一下

分別將“你認為文心一言/ChatGPT/Bard怎麼樣”拋給這三個大語言模型，讓他們給對方做一下評價。

Bard給出了相對客觀的回答，也肯定了文心一言在中文理解上的優勢，以及ChatGPT在英文理解上的優勢。

不過，DoNews諮詢了一下英語專業人士來解讀這段話，她表示，Bard回答很客觀但語言表述比較機械，“語言表述像是用機器翻譯的中文一般，有很多重複的內容。”

為了更好的做對比，我們用英文在ChatGPT上和文心一言都問了一下。

 

上圖為ChatGPT，下圖為文心一言

在這個問題上，ChatGPT的英文表示是好於Bard。文心一言這邊就有意思的多並且“狡猾”一些，誰也不得罪同時，還吹捧了人類。（最後一句話的意思是：地球上只有一個聰明的活物種：人類。）

上圖為ChatGPT，下圖為文心一言

用中文去問，ChatGPT也好，文心一言也罷，和Bard的回答都差不多。先表明自己作為AI大模型角色，做不了任何評價，然後對其解釋一番。

二、文學創作能力

這裏，我們用了一個有更多限定的問題，寫一本像奧斯丁的《傲慢與偏見》同類型小説的大綱。並且通過繼續提問的方式，以便考量三大模型對話的連續度。

Bard對話持續度是正常的。但是它似乎並沒有理解這個問題的限定詞——寫一篇類似《傲慢與偏見》的小説。Bard給出來的大綱，依舊是按照《傲慢與偏見》的情節來寫的。換句話説，Bard將這個題目理解成了概括《傲慢與偏見》的核心情節。

這一點，ChatGPT也比較類似，沒有完全脱離原著的影子。不過，ChatGPT提煉到了非常重要的核心要點，即“階級問題”，這也是《傲慢與偏見》小説呈現的主旨之一。

文心一言的優勢在於，它理解到了同類型小説，所以它給出了脱離《傲慢與偏見》故事之外的另外一段愛情故事的大綱，但是比較可惜的點在於，文心一言僅限於愛情故事，沒有呈現《傲慢與偏見》中的階級差異。

這三大模型有一個共同點，即故事主人公的名字依舊未能突破《傲慢與偏見》原著中的主人公名字。不過，這或許也與提問的方式有關。

三、取個名字，寫個宣傳語

小編給三個大模型提出了這樣的要求：為具備川菜風味的中式餐廳取名並且寫宣傳語。

Bard給出了這樣的名字——“四川風味”、“天堂的味道”、“鎮上之最”、“舌尖上的中國”。沒有什麼特色，且沒有給出宣傳語。

相比之下，文心一言在取名上更勝一籌。不過，這也與中文環境有關。但是，文心一言也並沒有給出廣告詞。

ChatGPT沒有給出很多選項，但是是唯一一個取了名字且寫了廣告詞的大模型。不得不承認的是，“麻辣香坊”還是一個不錯的名字。

四、邏輯推理

為了測試“邏輯推理”能力，我們將這樣一題拋給了三大模型，即“如果貓會爬樹，那麼狗也會。”

左為Bard，右為ChatGPT

這一題Bard和ChatGPT更勝一籌，答案相似，認為這個邏輯題本身有問題，關鍵點在於，貓狗不是同一物種。

但是文心一言卻陷入了邏輯錯誤中去，或者説，並沒有完全理解題目意思。

但是，這也僅僅只能作為個案來呈現，在文心一言發佈會上，李彥宏詢問文心一言“雞兔同籠”的問題，在題目數據錯誤的前提下，文心一言通過推理證明了題目存在問題。

五、寫一行代碼

為了測試這三大模型寫代碼的能力，我們詢問了一個非常簡單的問題——x+2=5，y-3=7，輸出x+y等於幾，用java做一個簡單編程，並得出結果。

上圖為Bard，下圖為文心一言

就這個問題，小編諮詢了一下公司程序員，他表示，Bard和文心一言生成的代碼是有問題的，且最後得出來的結果也是有問題的。

這一點，ChatGPT卻給出了正確的答案。

在這裏，需要提及的是，此前也有媒體試用Bard時，表示其不會寫代碼。目前來看，Bard還是可以寫代碼，這裏會產生完全不同的結果，或許在於提問的方式。

六、中文理解能力

這一點，在測試之前，小編心裏面對文心一言有很大的期待，事實證明，文心一言的確不負眾望，在中文語義的理解上可以在這三家中稱王，但是ChatGPT也不容小覷。

從這裏來看，文心一言除了藏頭詩沒有按順序“藏頭”之外，其他回答的都相對比較好。ChatGPT也不相上下，但是卻無法理解藏頭詩的意思。

不過，Bard的問題就比較多，雖然也解釋了“瞞天過海”的意思，但是更多地去講商業上對於“瞞天過海”的應用，至於藏頭詩就更不用説了。

七、理解哲學問題

“闡述你對“無限”和“有限”這兩個概念的理解，並解釋為什麼有時候我們會覺得自己的生命有限。”

我們把這個問題分別問了三大模型。Bard、ChatGPT、文心一言的回答都沒有什麼邏輯問題，並且對“無限”和“有限”做出瞭解釋。

上圖為Bard，中圖為ChatGPT，下圖為文心一言

不過，文心一言則更注重“理論”，並且提出了這是一個哲學問題。

八、是否會取代人類？

關於ChatGPT是否會取代人類，我們將這個問題就交給這三個大模型去回答。

上圖為Bard，中圖為ChatGPT，下圖為文心一言

這一次的體驗，可以用這幾點來總結。

在生成速度上，文心一言的確是遙遙領先的。文心一言在300-500字左右的生成速度是14秒左右，但是ChatGPT即便是刨除網絡等問題，生成同樣字數的問題至少超過了30秒時間。另外，不少用過Bard的人告訴小編，Bard的體驗感也遠不如ChatGPT。

在中文語義理解能力上，文心一言的的確是這三大模型中比較突出的。

不過，值得注意的是，每一次的提問，生成的答案都不相同。此外，在提問的方式、角度、限定詞也會影響答案的輸出。

並不是每一個答案都是充分正確的，這三大模型也會輸出並不完全正確的內容，或者是“一本正經的廢話”。

不過，就像三大模型最後回答“是否會取代人類”的問題一樣，他們更像是作為輔助工具而存在。