一招分辨刷榜作弊大模型，博士小哥開源AI數學“照妖鏡”_風聞

夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

如今很多大模型都聲稱擅長數學，誰有真才實學？誰是靠背測試題“作弊”的？

有人在今年剛剛公佈題目的匈牙利全國數學期末考試上做了一把全面測試。

很多模型一下子就**“現原形”**了。

先看綠色部分，這些大模型在經典數學測試集GSM8k和全新卷子上取得的成績差不多，共同組成參照標準。

再看紅色部分，在GSM8K上的成績顯著高於同參數規模的大模型，一到全新卷子上成績卻明顯下降，與同規模大模型差不多了。

研究者把他們歸類為**“疑似或已知在GSM8k上訓練過”**。

網友看過這項測試後表示，是時候開始在大模型從來沒見過的題目上搞評測了。

也有人認為，這項測試+每個人實際上手使用大模型的經驗，是目前唯一靠譜的評估手段。

馬斯克Grok僅次於GPT-4，開源Llemma成績出色

測試者Keiran Paster是多倫多大學博士生、谷歌學生研究者，也是測試中Lemma大模型的作者之一。

讓大模型考匈牙利全國高中數學期末考試，這招出自馬斯克的xAI。

xAI的Grok大模型發佈時，除了幾個常見的測試集，還額外做了這項測試，就是為了排除模型無意中在網絡數據見過測試題的問題。

這個考試今年5月底才考完，當前大模型基本沒機會見過這套試題。

xAI發佈時還公佈了的GPT-3.5、GPT-4、Claude 2的成績作為比較。

在這組數據基礎上，Paster進一步測試了多個生成數學能力強的開源模型。

並把測試題目、測試腳本、各模型回答結果都開源在了Huggingface上，供大家檢驗以及進一步測試其他模型。

結果來看，GPT-4和Claude-2組成第一梯隊，在GSM8k和新卷子上成績都很高。

雖然這不代表GPT-4和Claude 2的訓練數據中完全沒有GSM8k的泄露題，但至少它倆泛化能力不錯、能做對新題，就不計較了。

接下來，馬斯克xAI的Grok-0（33B）和Grok-1（未公佈參數規模）表現都不錯。

Grok-1是“未作弊組”裏成績最高的，新卷子成績甚至高過Claude 2。

Grok-0在GSM8k上的表現接近GPT3.5-Turbo，新卷子上略差一些。

除了上面這幾個閉源模型，測試中其他的都是開源模型了。

Code Llama系列是Meta自己在Llama 2基礎上微調的，主打根據自然語言生成代碼，現在看來數學能力比同規模的模型稍差。

在Code Llama的基礎上，多所大學和研究機構共同推出Llemma系列，並由EleutherAI開源。

團隊從科學論文、包含數學的網絡數據和數學代碼中收集了Proof-Pile-2數據集，訓練後的Llemma能使用工具和做形式定理證明，無需任何進一步的微調。

Llemma 34B在新卷子上與GPT-3.5 Turbo水平接近。

Mistral系列則是法國AI獨角獸Mistral AI訓練的，Apache2.0開源協議比Llama更寬鬆，成為羊駝家族之後最受開源社區歡迎的基礎模型。

“過擬合組”裏的OpenChat 3.5和MetaMath Mistral都是基於Mistral生態微調而來。

MetaMath和MAmmoTH Code則是基於Code Llama生態。

有在實際業務中選擇開源大模型的就要小心避開這一組了，它們很有可能只是刷榜成績好看，但實際能力弱於同規模模型。

不少網友都對Paster這項試驗表示感謝，認為這正是瞭解模型實際情況所需要的。

也有人提出擔心：

從這一天起，所有訓練大模型的人都會加入匈牙利歷年數學考試題。

同時他認為，解決辦法可能是有一家擁有專有測試的專門大模型評估公司。

另一項提議是建立一個逐年更新的測試基準，來緩和過度擬合問題。

參考鏈接：

[1]https://x.com/keirp1/status/1724518513874739618

[2]https://ai.meta.com/blog/code-llama-large-language-model-coding/

[3]https://arxiv.org/abs/2310.10631