全面對標GPT-4，智譜AI距離中國Open AI越來越近了_風聞

自ChatGPT發佈以來，中國大模型產品距離ChatGPT有多遠，始終是AI行業內最為關心的一個話題。如今，這個問題可能有了答案。

1月16日，在2024智譜AI技術開放日Zhipu DevDay上，CEO張鵬發佈了新一代基座大模型GLM-4，性能接近GPT-4的90%。

過去一年裏，智譜AI幾乎每3-4個月就完成一次基座大模型的升級。GLM-4的發佈，是智譜AI在去年10月發佈ChatGLM3三個月後，又一次完成基座大模型的升級。

作為國內最早入局大模型技術的公司，也是大模型迭代最快的公司之一，智譜AI曾在2023年初設立了一個雄心勃勃的目標：用一年的時間追平OpenAI最先進的模型。

從目前看，智譜AI距離這個目標越來越近了。

/ 01 / GLM4等於90%的“GPT-4”

去年10月，智譜AI發佈了ChatGLM3，並讓人印象深刻。最直觀的表現就是ChatGLM3 “瘋狂屠榜”，所有50個大模型公開性能測評數據集中，拿下44個全國第一。

相比上一代ChatGLM3，GLM-4性能也有了明顯提升。先説基礎能力，在MMLU、GSM8K、BBH、MATH、HellaSwag、HumanEval數據集指標上都接近了GPT-4 90%以上。

那麼，這些數據集分別代表什麼能力呢？

MMLU全稱是測量大模型多任務下的語言理解能力，裏面包含了基礎數學，歷史，法律等共57個方面的題目，難度從高中到大學不等。目前，GLM4是81.5分，GPT4是86.4分，目前能達到GPT4的94%。

GSM8k 和 MATH 則是評估大型語言模型數學能力的標準基準，兩者在難度上有所差異。前者GLM4能到GPT4的95%，後者GLM4只能達到GPT4的91%。

BBH是一個典型的推理型數據集，涵蓋翻譯、語言理解、邏輯推理等任務，這方面GLM4幾乎能夠與GPT4打平。

HellaSwag則是一個測試常識推理的測試，對人類來説很容易（~95%），但對最先進的模型來説卻具有挑戰性。在這點上，GLM4只能到GPT4的90%。

HumanEval 則是由 OpenAI 編寫發佈的代碼生成評測數據集，主要是評測大模型在算法、代碼、編程層面的效果。這是GLM4的強項，和GPT4在一個水平。可以説，以上的指標涵蓋了大模型在語言理解、數學能力等多種能力。從基礎能力角度上説，GLM4的能力差不多與90%的“GPT-4”相當。

第二項能力是指令跟隨能力（中英），顧名思義這是考驗模型對用户Prompt和Instruction的理解能力。在這一點上，GLM4的能力在GPT4的85%-90%之間。考慮到GPT4現有的語義理解和吃Prompt的能力，這樣的表現也算不上差。

而在中文的能力上，GLM4的表現基本全面超過GPT4。當然，這背後很重要的一個原因是，GPT4訓練的中文語料有限，而GLM4在這方面具備天然的優勢。

第三個能力是LongBench，這是考驗大模型的長文理解能力。此前，ChatGLM曾被人詬病處理長對話時上下文理解得不好、記憶力差。但後來，GLM 技術團隊開發了專門針對模型長文本理解能力的評測數據集 LongBench。從目前看，GLM4在這個能力上已經超過了GPT4。

至於”大海撈針”測試，更像是對大模型在長文理解上的一次壓力測試，128K相當於300頁左右的PDF材料。測試的目的是評估大模型從大量文本中檢索信息的能力，特別是當信息被放置在文檔的不同位置時的準確率。橫軸表示上下文長度，縱軸表示文檔深度的百分比，也就是要表達的信息（事實）被放置在整個文檔中的位置，如果信息在文檔的正中間，那麼它的文檔深度接近50%。

GLM4的”大海撈針”全綠，説明即使你扔給它一部300頁的小説，它也能夠精準找到想要信息。此前，有人給Claude2.1做過類似測試，在130K的文章長度上測試在35 個不同的文檔深度，結果Claude2.1能取回結果的不到一半。這也一定程度上説明了GLM4在長文理解上的模型能力。

通過以上種種不難説明，GLM4在文本理解、指令跟隨、長文理解等多項能力上都表現出了接近GPT4的能力。

/ 02 / 緊跟OpenAI腳步，ALL Tools和GLMs相繼上線

除了基礎能力的測評，智譜AI還上線了All Tools模式和GLMs。

什麼是All Tools？這是OpenAI最早推出的模式，是在GPT4的基礎上，把其他各種功能模塊統一接入了，只需選擇一個模型就能支持GPT4對話、高級數據分析（代碼解釋器）、多模態（圖片分析）、DALLE3繪畫、聯網等功能，支持直接上傳Excel、PDF、圖片等文件來關聯對話，會根據需要自動調用不同模式的功能。

在這個模式前，GPT4各個主要功能分散在不同的渠道、涇渭分明。比如，你想把一張照片，用 DALL-E 重新繪圖，你需要首先把你的照片傳給“多模態模式“，讓它描述照片的內容，然後你到 DALL-E 輸入提示詞。

但隨着All Tools的推出，整合工具後的 GPT-4 不再需要切換即可使用所有的功能。也就是説，GPT4 將根據你給的指令理解你的意圖，自動選擇並串聯多個工具完成任務。

更重要的是，All Tools也被認為形成一個小型Agent的前提。而如今，智譜是國內第一個真正推出ALL Tools模式的公司。

不僅如此，智譜也正式上線了他們的GLMs。不久前，OpenAI上線了GPTs，用户甚至不需要會編程，僅通過對話聊天方式，就打造一個專屬個性化的GPT，用户可以將它設計為私人使用，也可以專門給公司內部使用，或者通過「GPT商店」賺錢。

在很多人看來，GPTs可以理解為大模型領域的蘋果“App Store”，其價值在於給了大家更多創造基於GPT技術應用和服務的機會，讓其後續構建基於AI新的經濟生態變成了可能，並有望打破AI商業化的難題。

這可能也是智譜上線了GLMs的考慮。與GPTs類似，用户同樣可以在GPTs創建智能體，甚至分享給其他用户。智譜表示，公司即將公佈GLMs創作者分成計劃。

不過與GPTs不同，GLMs的頁面上沒有搜索，只有官方推薦。當然，這個可能功能與處於早期，智能體數量較少有很大關係。

從底層技術測評到ALL Tools和GLMs等功能的相繼上線，種種跡象顯示，智譜AI正在離中國Open AI越來越近了。

/ 03 / 摸着OpenAI過河

在中國AI產業裏，智譜AI是一個不可不提的名字。因為這可能國內“百模大戰”中估值最高的明星大模型公司，沒有之一。

2023年10月，智譜AI宣佈完成超25億人民幣融資，投資方匯聚了國內一線明星機構，包括社保基金中關村自主創新基金（君聯資本為基金管理人）、美團、螞蟻、阿里、騰訊、小米、金山、順為、Boss直聘、好未來、紅杉、高瓴等。這樣的股東陣容不可謂不豪華。

投資人紛紛押注智譜AI的邏輯很簡單，智譜AI是最早研發大模型的企業之一。

智譜AI的前身，是在2006年誕生於清華大學計算機系知識工程實驗室（KEG）的明星產品AMiner——學術搜索與情報挖掘平台。清華大學教授、KEG主任唐傑，是AMiner的核心創立者之一。

2019年，清華大學教授李涓子、唐傑等人依託AMine為基礎，共同成立智譜AI，公司CEO由張鵬擔任，他是國內首箇中英文平衡的跨語言知識圖譜系統XLORE的設計和研發者。2020年，OpenAI發佈GPT-3，讓張鵬認識到大模型將成為未來的方向。於是，剛成立一年的智譜AI開始全力投入大模型的研發。

回過頭來看，提前3年的“搶跑”，讓智譜AI有更多的技術底氣。時至今日，智譜AI在Hugging Face上的下載量超過1100萬次，位居全球最受歡迎開源機構第五名，也是國內唯一上榜的公司；其對話模型ChatGLM在GitHub上獲得了5萬+顆星，超過Llama。

正如很多投資人所説，歷史上沒有哪個賽道能夠像這波 AI 一樣，迅速建立極大的共識。相比於應用端的不確定性，投資人更願意抱團底層大模型玩家。而擁有技術儲備的智譜AI就成為所有人的最優選擇。

從目前看，智譜AI的發展策略也很清晰——摸着OpenAI過河。在國內，智譜AI可以説是唯一一家全系對標OpenAI的公司。這也在此次發佈會中體現得淋漓盡致。

對於智譜AI來説，這不失為一種好的策略。在大模型商業化前景尚不清晰的當下，坐擁着國內一線明星機構的資源和背書，在中國AI產業的追趕進程中，扮演好最接近OpenAI的角色，能夠讓智譜AI在相當長的時間裏成為站在舞台中央的那個“明星”。