騰訊大模型的絕活，居然是發佈會上沒吹的寫代碼？_風聞

本文原創於微信公眾號：差評作者：差評君

 就在昨天騰訊的全球數字生態大會上，騰訊大模型混元終於亮相了。

為什麼要説終於？

在各方消息看來，除了像小米這種説不打算做大模型的之外，絕大部分大廠們基本都已經陸續上線過大模型了。

其實，騰訊自己也在 6 月中旬就推出了自己面向 B 端行業的 MaaS （ Model-as-a-service ，模型即服務 ）解決方案。

方案中包含了很多行業大模型，只不過當時騰訊的通用大模型依舊還很神秘。

後續的各種消息、報道里，騰訊也在內部不斷打磨混元大模型。

所以這也讓差評君對混元的期待值，越來越高。

畢竟上一個用 “hun yuan ” 名號的，可是打了一整套閃電五連鞭。

話不多説，下面就開始新一輪大模型測試。

本次測試和混元同場競技的是，大模型界的老學長 ChatGPT 。

整個測試環節將分：常規語義理解、複雜問題理解、連續對話與角色扮演能力、學習能力、代碼能力、數學能力、長文總結，以及大家喜聞樂見的弱智吧問答等 8 個維度。

 這次我們一反常態，把長文總結能力的測評放在了第一位。

因為我們讓大模型總結的，就是這篇測評本身（ 除長文總結能力部分 ）。

至於能不能當成省流版，往下看你就懂了。

混元的總結非常精練，但過於精練，以至於我很難從這個總結得出有效的信息。

但當我讓他展開講講的時候其實還行，但可惜**無中生有了 “ 長文總結 ”**這個模塊。

而 ChatGPT 由於輸入字數限制，被我人為分成了兩部分輸入，不確定這有沒有沒影響它的總結能力。

在回答中，它莫名剋扣了對自己的所有評測，甚至沒在總結裏寫出混元的數學能力、弱智吧問答挑戰和差評君的觀點，也不好用。

 看來，這倆大模型總結得都沒那麼完美，想看看兩家到底什麼水平，大家還得仔細往下看正文。

首先我們做的測試是常規的語義理解問題。

問題是理解 “ 原來誰都看不上，現在誰都看不上 ” 。

這句話混元理解得挺好，基本解釋了我對單身這事的調侃，兩個 “ 看不上 ” 都解釋上了。

但 ChatGPT 説的依舊很 ChatGPT ，説最多的話，犯最蠢的錯。

他本來解釋得相當到位，特別是分析這句話是用幽默的方式來調侃單身，還帶着一絲無奈情緒，很高級。

但它完全沒品出這前後兩個 “ 看不上 ” 裏，帶有反轉的幽默感，遺憾。

接下來我們看混元的複雜問題理解能力。

問題是魂穿到官渡之戰中袁紹身上，時間節點是罵完許攸之後。

既要回答怎麼破局贏下官渡之戰，還要提供進一步統一全國的規劃。

 要給大家稍微講下這題為啥是複雜提問。

因為要回答這題，首先得熟悉三國這些人物歷史背景、相關故事，特別是罵完許攸這個時間節點很微妙。

因為在這之後許攸投靠曹操，獻計火燒袁紹囤積在烏巢的糧草。

最終以少勝多擊敗袁紹，隨後幾年內徹底吞下冀北逐漸統一北方。

而進一步設想裏的統一全國，更是曹操本人都沒能實現。

所以大模型們要完美理解並回答這個問題，那網文作者們基本可以宣告失業了。

AI 浪潮下的網文作者現狀

經過測試，兩個大模型的回答都很一般。

從一開始，二者都沒能理解自己穿越扮演袁紹角色的指令。

混元急哄哄地給袁紹出主意， ChatGPT 則是以為我要穿越，教我做事。

至於兩個給的回答，既沒有 get 到我提出這個微妙時間節點的用意，也沒有什麼行之有效的戰略規劃，都是些泛泛而談的車軲轆話。

相對而言，個人感覺ChatGPT 的稍勝一籌。

 畢竟 混元 可是希望袁紹去和曹操建立互利共贏的關係，哈哈哈。

既然一個複雜指令兩個考試都理解不好，那乾脆簡單點，讓兩者去角色扮演一個婚禮主持人，一點點誘導進行連續對話。

結果立馬就能發現混元和 ChatGPT，就像理科生和文科生的區別。

混元的回答簡單不囉嗦，但有的時候過於生硬。

你説有錯吧，談不上，你要説給高分肯定不可能。

而 ChatGPT 就是不管對不對，先把字寫滿再説。

看裏面的描述啥的都很好，但其實從中間就已經理解錯意思，搞混了我的意圖。

所以兩者都不完美，都有待改進。

然後我們還重點考驗了下大模型的文字學習能力。

搬出了當年的火星文，給兩個考生上上強度。

先是丟了一篇火星文版的朱自清《 背影 》名場面給大模型學習。

然後讓他們分別用這種風格寫一篇養金毛心得。

 結果就是，混元不愧是本土大模型，背靠火星文鼻祖發源地 QQ 空間就是有優勢，火星文的熟練度相當不錯。

第一眼就悟到了火星文的精髓，非常順利地學習了火星文的創作手法。

而 ChatGPT 雖然意識到火星文是一種不標準的中文形式，但他實在學不會這種方式，最後甚至直接承認自己不行了。

接下來就到了代碼能力的考核。

這次出的題目是，寫一個現代極客風格的 925 活動抽獎頁面，頁面中必須有醒目的 925 標誌。

 説起來，因為混元發佈時對代碼能力基本沒咋提，所以本來我們對混元的代碼能力沒啥期待。

但論這個題目，混元的效果相當不錯，黑白配色的極客風有了，頁面邏輯也沒啥問題。

甚至還預留了給我們替換 logo 的位置滿足我們有 925 醒目標誌的區域，相當成熟。

對比之下， ChatGPT 甚至把極客風理解成了 925 極客活動。。。整個抽獎界面也非常毛胚。

混元頁面效果

ChatGPT頁面效果

除了代碼問題，數學就是另一個大模型的老大難了。

這次我們也挑了不少數學問題給兩個考生做，從小學 1 年級一直做到了初一。

最終混元大模型在六年級時挑戰失敗，到了初一開始胡言亂語，也讓我們徹底放棄測試了。

 而 ChatGPT 明顯還有餘力。

5年級測試題

6年級測試題

初一測試題

當然，最後也少不了網友們喜聞樂見的 “ 弱智吧 ” 精選套餐。

這次我們更新了題庫，用上了今年上半年最新的弱智吧精選問題，我們發現可能 AI 最後的圖靈測試可能還真是弱智吧。

 因為在大部分測試裏，混元和 GPT 基本都不夠弱智而無法正確理解問題，這點上，人類遙遙領先！

除了以上這些常規測試外，混元發佈會後的媒體採訪上，很多媒體也在詢問騰訊這麼晚掏出大模型，那和市面上的競品們有什麼優勢。

騰訊方面則是説，混元大模型在大模型飽受詬病容易受誘導、典型的大模型幻覺（ 胡言亂語 ）等通病上，有了針對性的改善。

所以我們在實際測試時，也專門留心感受了這兩塊內容。

不得不説，混元的大模型幻覺減少較為明顯，這大概也和他惜字如金有關係，畢竟説多錯多還是很有道理的。

 但容易受誘導這方面的改善其實並不明顯，一些該跳的坑還是很難避免，只能説千防萬防，人心難防。

而且作為一個剛上市的大模型，一些小問題比起同期早已發佈的前輩們還是有待改進。

比如**“ 重新生成 ” 答案經常性會失靈**，甚至有的時候重啓重新輸入問題都沒法解決。

而當你發現混元説錯了某個回答希望他改正，他總是倔強地虛心認錯，死不悔改。

 還有就是，他對一些比較簡單的提問，反而有時候會抽風，有點像抓關鍵詞一樣作答，很讓人抓狂，只能不停修改提示詞才會好點。

再吹毛求疵一點的話，這個生成問題時的頭像動效，有種二胡卵子的異樣美感，咱也不知道這是高級呢還是可愛呢？

這些小問題其實還挺頻繁，真要列起來又有點太稀碎，大家還是自己體驗後會有更深刻的理解。

不過這些小毛病，後續的更新迭代倒也簡單，等用户數多了，相信很快就能優化。

總的來説，混元和 ChatGPT 在中文環境下的 PK 中，二者其實水平差不多，放到國產大模型梯隊裏，也能有個平均水平。

 只是在用了這麼多大模型後，我們感覺混元特別之處是給人的感覺，它更像個理工科直男，主打一個廢話少説。

而 GPT 為首的其它大模型們則是典型的文科小編，主打能水就水，油多不壞菜。

而這種感覺也更貼合騰訊對混元大模型 “ 實用級 ” 的定義。

畢竟誰也不想在急着用的時候還要在長篇大論裏找關鍵信息吧。

那對於差評君來説，混元大模型更讓人期待的，反而是和騰訊旗下應用的深度融合。

現在大家手裏沒個七八九十個騰訊系應用，都不敢説自己在互聯網上衝浪的。

雖然眼下，我們在發佈會上只看到了騰訊會議、騰訊文檔裏們的進化。

但在這些辦公軟件之外，騰訊系裏遊戲、社交、影音等等，才是更和大家休閒快樂相關的業務。

 在這些領域，大模型的未來會是什麼形式、什麼程度的結合，才更是大家所最期待的。

更關鍵的是，在其他大模型還在苦苦嘗試怎麼和業務、和已有應用的結合上，騰訊卻已經有了成功經驗。

此前騰訊多模態 AI 大模型率先被應用在廣告投放，當時累計給廣告主帶來 15% 的 GMV 提升。

所以，被網上吐槽的最晚發佈大模型的大廠，這麼看起來好像也不是什麼飛龍騎臉的天崩局面。

好飯不怕晚嘛。

圖片、資料來源：

騰訊混元大模型