上手通義千問2.0後，我才發現大模型的天敵是伍佰_風聞

本文原創於微信公眾號：差評  作者：世超

 大模型，它又雙叒來了。

今年上半年，那波大模型 1.0 狂轟濫炸之後。隨着時間的推移，各家打磨的下一代大模型，最近開始慢慢問世了。

這不，前兩天文心一言 4.0 才發。今天雲棲大會上，通義千問 2.0 就馬上跟進，還上了個 APP。

最重要的是，這次通義 2.0 直接**開放給全社會體驗。**點進通義千問，就能直接用上最新版。

 這點還是挺有誠意，有興趣的差友們，都可以親自上手試試了 ~ 

不過，按照咱們傳統，世超還是會先帶大家簡單感受一下，全新升級的 2.0 有啥不同。也方便大家上手時，有個大致的體驗方向。

這回的通義 2.0，説是已經超過 ChatGPT 3.5，縮短了和 GPT-4 的差距。

 但是，世超一上手，就覺得稍微有點失望，因為這個2.0 版依舊不支持聯網。

不過雖然不具備聯網能力，但世超試着問了一些熱梗。比如 “ 哪李貴了 ”、“ 這是一個 lonely 的問題 ”，它居然全都能夠讀懂。

這些回答不靠聯網，純靠手動更新數據庫。只能説，確實挺努力的。

但不管更新多快，我們都沒法當聯網 AI 測試了。只能從基本能力入手，分別是語義理解、邏輯、多模態能力、文本生成、代碼這五個方面，稍微探探底子咋樣。

首先，依照國際慣例，來點喜聞樂見的弱智吧問題。

 世超一來就問道，連 GPT-4 都傻眼的題目。

問：這世上真的有龍，我就在某地被一條龍服務過。

上回， GPT-4 就是被這兩條龍給繞暈了，給我編了一堆虛構的成語來歷。

結果讓人有點意外，通義居然能完美應對。能完全理解兩個龍的區別是啥，也能明白 “ 一條龍 ” 服務是啥意思。

開局第一問，通義這小子應對的還不錯。

不過，為了防止通義會不會有備而來，偷偷訓練了，世超又去弱智吧上了點新貨。

問：為什麼抄襲永遠都是今人抄襲古人，沒有古人抄襲今人。

 這回通義就有點應付不來了。它結論是對的，因為時間順序，古人當然不能抄今人。

但是，仔細看就會發現，後面還是説錯了一句。

它説，這並不是説古人就不會借鑑今人。估計通義本來是想正反面論證，顯得更客觀，結果就是反而暴露了邏輯馬腳。

其實世超試過這麼多中文語義題，沒有哪個大模型是都能做對的。

你多問幾題，換換角度，總是會做錯幾道。

比如問：小偷偷偷偷東西，什麼意思？

 通義語義解釋為小偷偷取東西，是沒啥問題的。但是前半句又説句子裏有 3 個偷，説這是中文繞口令，就有些問題了。

不過，從結果來看，三道題算是對了 2.5 道，通義的中文語義理解算是不錯的。

 好了，讓咱們測試繼續。下題還是從中文下手，問點中文語境下比較難的文本生成題。

以前每次都測寫小作文或者故事，這次整點花活。讓它用諸葛亮的語氣，寫首 rap 聽聽。

這一題，通義答得就有點意思了。

Rap 詞裏又是孔明，又是卧龍；又是靜坐軍帳、輕撫瑤琴，又是小試牛刀的。既符合諸葛亮的人物屬性，又語言活潑。唯一美中不足就是沒押上韻。

不過，世超進一步考驗它的發散思維，又有點表現不行了。

 讓它給我編個馬斯克和孔子的對話。然後，就看到孔子嘴裏説出了**“ 人工智能 ”**四個字。。其他語句，也不太符合人物性格。

從前面兩輪測試看下來，通義 2.0 的中文水平是能聽能寫，但還沒有到能自如應對。發揮不太穩，有時能對，有時又會犯傻。

其實大模型都有這樣的毛病，咱們到底能不能把它應用起來，靠的是另一個東西——學習能力。

就比如讓大模型直接做一個直播策劃，往往出來的內容都是不夠成熟的。

這個時候，就看它們會不會學了。當你甩一些參考案例給它，它們能夠理解教程的意思，並模仿出來，這才是最重要的。

這點，世超覺得通義做的是不錯的，大家直接看案例就行。

世超讓它做個電動牙刷的直播流程。並提前丟了一個蜜雪冰城的參考，引導了一下。

它立馬就學會了，並甩了一份非常詳細的直播流程。開場、留客、鎖客學的一套一套的。。中文理解、學習和文本生成都相當在線。

到這一步，中文能力測試算暫時告一段落了。下面看看大模型的究極弱項——數學邏輯題和代碼，是否有提高。

 當年考倒過無數大模型的 “ 雞兔同籠 ” 、 “ 青蛙跳井 ” 等等簡單的數學題，通義應對起來是沒問題了。

就算稍微給題目變一下形，也是分步解答，輕鬆駕馭。

但也是跟很多大模型一樣的毛病，題目一旦難起來，到個初高中水平，就傻眼了。

問它：任取三個長度小於 1 的線段，能組成一個三角形的概率為？

 它和我説， 0 個交點組不成三角形， 1 個和 3 個交點組得成。。。我去，這麼簡單的解題思路，我怎麼沒想到呢？

以前有差友問説，大模型能不能用來改試卷。如果是數學老師，那世超建議還是三思。。通義確實是進步了，不過只進步到了小升初水平。

數學題這種嚴格推理的題目，對大模型來説還是一塊最難啃的骨頭。

不過，在代碼方面，世超倒是沒有把通義問倒，它應答自如。

甩了一堆要求，讓它做一個非常簡潔的差評雙十一大促頁面。

人家三下五除二就做完了，效果還是非常符合差評的審美的，需要預留的位置也都做了。

雖然可能為了嚴格執行我對於頁面簡潔的要求，所以導致看起來有點過於明瞭了。

測試到這裏，還沒有結束。除了基礎能力的提高之外，通義還增加了圖片和文檔解析兩個新功能。

其實像圖片上傳功能，是很多家的重點攻克對象， GPT-4 後續也主要是在這一塊發力了。

 不過，世超試下來，通義目前的圖片解析能力，還是有點弱的。

基礎圖片識別，是沒啥問題的。比如丟個馬斯克給他，問它這哪位。它能一眼認出，還順道給你科普上兩句。

但是，如果加點抽象互聯網難度，比如説世超給了一張自己桌子上的玩偶，讓它給我分析分析。

它雖然能認出了這是 “ 小雞 ”，還有打籃球這兩個元素。但不太理解圖片裏的梗，還堅持不懈地胡謅了一段 “ 灌籃小雞 ” 梗的來歷。。

 我們的伍佰老師，更是輕而易舉地把通義耍得團團轉。

給了一張 “ 隨 520 ” 的梗圖，裏面是一張伍佰老師的靚照和一張 20 元人民幣。

結果，通義不光讀不懂什麼梗，連圖片裏有多少錢也數不明白了。

圖片識別能力更被徹底地幹垮了，指着伍佰説，這是吳彥祖。。。

不僅圖片上傳還差點意思，後面世超試了試文檔功能，也輕鬆把通義考倒了。

世超甩了一篇電動牙刷的行業報告給它，問了句電動牙刷行業的發展痛點是啥。

通義嘎嘎一頓總結，各種分點羅列，系統分析。看起來答的很努力，實際答案全錯了。

原因很簡單，這裏世超特地挖了個坑，預防大模型會胡説八道。

 所以，給的文檔裏只有目錄，沒有內容。通義這些分析是不錯，可惜全是胡編的，跟我的參考資料沒半點關係。。

幾輪測試結束，通義同學的成績是一目瞭然了。

 雖然整體來沒有特別亮眼的強悍更新，但也算穩紮穩打，基本能力提高得更紮實，學習能力也一直在線。但其中，圖片和文檔倆能力，還有挺大的提升空間的。

其實，比起通義千問，世超覺得自己閒逛時發現的產品，更有意思。

阿里通義官網裏，還有七大產品方向，比如代碼助手、客服等等。雖然大部分還是內測，都試用不了。

不過，世超了一下開放的通義智文，文檔體驗比通義千問要好不少。

這個產品是專門用來解讀文檔的，你不僅可以丟長篇的電子書，也可以甩各種文章鏈接給它。

 世超試着把前面挖坑的行業目錄，輸入進去。通義智文就沒有中招。

**不僅明確指出裏面沒提到，**回答還標註出，數據來源於文章裏的那幾句。這點設計的就挺好，避免了胡言亂語。

比起通義千問本身，世超反而更期待這些專項訓練的應用大模型。

大部分工種，只用得到通識大模型一兩個功能。像世超這種碼字的，需要的就是文本分析和生成。更針對性的訓練，其實更有助於提高大模型的實用性。

不僅是從能力方面考慮，其實現在挺多大模型都到了一個平台期，很難有極大的突破。從這些小點入手，或許會成為一個更好的解題思路。

圖片、資料來源：

通義千問、通義官網

微博@弱智吧