Llama-2首個全方位評測，國內外開源模型大比拼_風聞

　　允中 發自 凹非寺

　　量子位 | QbitAI

　　進入2023年7月，大語言模型（LLM）的發展進入了新階段，開源成為一個火熱的主題。

　　7月6日，上海人工智能實驗室與商湯科技等聯合發佈了書生·浦語開源體系（https://github.com/InternLM），不僅開源了書生·浦語的輕量版本（InternLM-7B），還率先開源了從數據、訓練到評測的全鏈條工具體系，並提供完全免費的商用許可；

　　7月14日，智譜科技開放ChatGLM2-6B免費商用；

　　7月19日，Meta開源了性能更強的Llama-2，也提供了更加寬鬆的商用許可。

　　面對語言模型的新一波開源浪潮，圖靈獎得主Yann Lecun在推特上評價：

　　This is going to change the landscape of the LLM market.

　　可是，開源模型的表現是否可以當得起業界的熱切期待？

　　我們在拿到Llama-2的系列開源模型後，通過OpenCompass對它進行了全方位的評測（https://opencompass.org.cn）。

　　Llama-2有多強

　　Llama-2相比Llama-1有不少技術層面的改進，從而帶來了模型性能、推理效率以及安全性等方面的有效提升。具體而言，重要的改進有以下幾點：

　　模型架構上使用Group-Query-Attention(GQA)來提高模型推理效率，語境長度從2K增加一倍到4K。

　　預訓練語料從1.4T tokens增加到2T tokens。

　　在監督微調（SFT）階段更加註重數據集質量，使用更少但質量更高的SFT數據相比使用百萬量級的公開SFT數據，效果顯著提升。

　　引入了三項安全訓練技術Supervised Safety Fine-Tuning、Safety RLHF、Safety Context Distillation 提升模型的安全性。

　　相比前代性能大增，仍難媲美ChatGPT

　　那麼，Llama-2的整體能力究竟如何呢？

　　雖然在官方技術報告中已經展示了在20個左右數據集上的測試結果，但評價能力維度仍然有限，對比的模型也還不夠全面。

　　這裏我們藉助開源評測工具OpenCompass，對Llama-2發佈的各個模型在40多個評測集上進行了全方位的評測，從學科、語言、知識、理解、推理五大維度綜合衡量大模型的能力。

　　結果可以總結為以下的雷達圖：

　　下表列出Llama、Llama-2、以及ChatGPT在幾個有代表性評測集上的表現：

　　更全面和詳細的評測結果數字請參看https://opencompass.org.cn。

　　相比上代模型全面提升：

　　從綜合能力角度，Llama-2-70B（綠色）相比於Llama-1-65B（紫色）更勝一籌，在語言、知識、推理、理解、學科等各個能力維度相比Llama-1都有明顯提升。比如綜合考試集MMLU上從63.71提升到69.75，GSM8K 上從54.51提升到63.46。

　　對話和基座模型基本持平：

　　經過微調和對齊的模型Llama-2-70B-Chat（黃色）相比基座模型Llama-2-70B（綠色），綜合能力基本持平，在語言、推理和理解上相比基座有性能提升，在學科綜合能力和知識能力上略有下降。比如翻譯評測集Flores和代碼評測集HumanEval上，Chat模型分別有超過40%和20%的相對提升，而在MMLU和TrivialQA上則有大約10%的相對降低。

　　離ChatGPT仍有較大差距：

　　相比ChatGPT-0613（藍色），Llama-2-70B-Chat（黃色）仍需繼續追趕，尤其在推理能力、理解能力、和學科綜合能力上差距還比較明顯。其中數學評測集MATH和代碼評測集HumanEval的差距都超過了一倍。

　　中文能力短板明顯

　　在Llama的訓練語料中，中文佔比較小，微調階段也沒有針對中文進行調優，所以當前Llama-2-Chat在中文問題上仍顯不足。

　　一個典型的表現就是給定中文問題時，模型還是會以英文回答。

　　為了對Llama-2的中英文能力有更深入的理解，我們選取了OpenCompass中的中英文數據集進行分別分析。

　　結果顯示：

　　Llama-2在英語語言能力、知識水平和理解能力上已經較為接近ChatGPT。

　　Llama-2在中文能力上全方位遜色於ChatGPT。這一結果表明，Llama-2本身作為基座模型直接支持中文應用並不是一個特別優秀的選擇。

　　推理能力上，不管中英文，Llama-2距離ChatGPT仍然存在較大差距。由此可見，對於大模型來説，推理能力提升的難度比基礎語言能力提升的難度要高得多。

　　安全對齊讓模型過度謹慎

　　Llama-2的一大特色是它在訓練過程中採用了比較完善的安全對齊方案，在價值對齊和安全性上有較大提升。

　　但在測試中我們也發現，Llama-2的安全性和模型能力的平衡沒有做得特別好，模型非常謹小慎微，對於很多常見問題都拒絕回覆。

　　國內模型不落下風

　　近幾個月，國內大模型發展迅速，多個企業和科研機構都發布了各自的大模型，其中不乏千億參數的大模型。

　　那麼國內大模型和Llama-2相比，究竟表現如何呢？很多朋友都關心這個問題。

　　重量級模型的對比

　　國內機構發佈的70B或者更高量級的模型普遍尚未開源，很多模型只通過內測API提供有限服務，因此我們還很難獲得對很多國產模型的全量評測數據。

　　在OpenCompass上，由上海人工智能實驗室和商湯科技聯合多所高校發佈的千億參數書生·浦語模型（InternLM-104B）已經有了全面的評測結果。

　　基於這個結果，我們比較了書生·浦語和ChatGPT與Llama-2的性能：

　　在重量級模型的對比中，書生·浦語表現優秀，在大部分主流評測集上領先於Llama-2以及ChatGPT。具體而言，在43個評測集中，InternLM-104B在34個評測集中超越ChatGPT，在41個評測集上超越Llama-2-70B。

　　中文考試大幅領先：

　　在中文考試評測集CEval和高考評測集GAOKAO-Bench上，InternLM-104B都大幅超過Llama2-70B。

　　語言能力略有優勢：

　　在中英文的基礎語言任務上，包括字詞理解，成語習語，翻譯等評測集上，InternLM-104B都有優勢，其中中文評測集上差距更大。

　　閲讀理解“書生”名副其實：

　　在中英文的各類閲讀理解評測集上，InternLM-104B均表現出明顯的優勢，從文本段中總結和理解關鍵信息的能力更勝一籌。

　　推理能力技高一籌：

　　在常識推理、數學推理、綜合推理的各種數據集上，InternLM-104B都有比較穩定的發揮，相比Llama2-70B有一定優勢。

　　知識問答平分秋色：

　　在BoolQ，CommonSenseQA，TrivialQA，NaturalQuestion等知識問答評測集上，兩個模型表現相當，可見知識水平沒有明顯差異。

　　代碼能力互有勝負：

　　InternLM-104B和Llama2-70B的代碼能力不相上下，HumanEval和 MBPP兩個數據集上互有勝負。

　　輕量級模型的對比

　　重量級賽道上你追我趕，在7B量級的輕量級賽道上，開源模型的競爭也十分活躍。

　　在眾多國內開源模型之中，百川智能發佈的Baichuan-7B、清華大學和智譜AI發佈的ChatGLM2-6B、上海人工智能實驗室發佈的InternLM-7B等優秀模型廣受業界關注。

　　我們把這些國內模型和Llama-2-7B進行了全方位評測對比：

　　下表列出了這幾個7B量級模型在幾個有代表性評測集上的表現：

　　結果顯示：Llama-2在知識能力上有明顯優勢。

　　但在學科、語言、推理和理解能力上，InternLM和ChatGLM2都已經超越了Llama-2，而且InternLM的領先優勢十分明顯。

　　免費商用形成星火之勢

　　幾個月前Llama的開源引爆了社區，讓眾多開發者和研究者受益匪淺，衍生出整個羊駝家族，但遺憾的是其協議限制商用，將企業拒之門外。

　　7月6日，世界人工智能大會上，書生浦語開源體系正式發佈，開源了InternLM-7B並提供免費商用許可。

　　之後，ChatGLM2-6B和Llama2等開源模型相繼推進免費商用，順應了發展潮流和社區呼聲。

　　相信開源社區的星星之火將對產業形成燎原之勢，進一步降低大模型落地應用的門檻。