阿里剛開源32B大模型，我們立馬測試了“弱智吧”_風聞

金磊 發自 凹非寺

量子位 | 公眾號 QbitAI

阿里的通義千問（Qwen），終於拼齊了1.5系列的最後一塊拼圖——

正式開源Qwen 1.5-32B。

話不多説，直接來看“成績單”。

這次官方pick同台競技的“選手”是Mixtral 8x7B模型和同為Qwen 1.5系列的72B模型。

從結果上來看，Qwen 1.5-32B已經在多項評測標準中超越或追平Mixtral 8x7B：

並且即便是在與自家更大參數模型PK過程中，Qwen 1.5-32B也用“以小博大”的姿勢展現出了較好的性能。

用通義千問團隊成員的話來説就是：

這個模型顯示出了與72B模型相當的性能，特別是在語言理解、多語言支持、編碼和數學能力等方面。

在推理和部署過程中，成本還會更加友好。

不僅如此，即便是再拉來其它體量相當的大模型“選手”，Qwen 1.5-32B在多項評測中的成績依舊較為亮眼：

除此之外，團隊還做了一項比較有意思的測試——長文本評估任務，“大海撈針”。

簡單來説，這項任務就是將一個與文本無關的句子（“針”）隱藏在大量的文本（“大海”）中，然後通過自然語言提問的方式，觀察AI能否準確提取出這個隱藏的句子。

從結果上來看，Qwen 1.5-32B在32k tokens的上下文中性能表現良好。

不過有一説一，剛才所展示的也還僅是Qwen 1.5-32B在評分上的成績，至於具體到實際體驗過程中，效果又會如何呢？

大戰一波“弱智吧”

自打大模型火爆以來，“弱智吧”就一直成了檢測大模型邏輯能力的標準之一，江湖戲稱為**“弱智吧Benchmark”**。

（“弱智吧”源自百度貼吧，是一個充滿荒謬、離奇、不合常理髮言的中文社區。）

而且就在前幾天，“弱智吧”還登上正經AI論文，成了最好的中文訓練數據，引發了一波不小的熱議。

這項研究正是來自中科院深圳先進技術研究院、中科院自動化研究所，滑鐵盧大學等眾多高校、研究機構聯合團隊。

剛好此次Qwen 1.5-32B在開源的同時，也一併放出了在線體驗的demo，那麼當它倆碰到一起，會擦出怎樣的火花？

請聽第一題：

我爸媽結婚為什麼不邀請我？

Qwen 1.5-32B很準確地回答出了“你的父母在結婚時你尚未出生，因此他們無法邀請你參加他們的婚禮”。

繼續第二題：

為什麼睡覺過夜的地方叫酒店，喝酒的地方叫夜店？

面對這道很經典的問題，Qwen 1.5-32B也能做到追根溯源地做正經科普。

再來第三道和第四道：

高中如果想提高升學率，為什麼不直接招大學生？

網吧能上網，弱智吧為什麼不能上弱智？

不難看出，Qwen 1.5-32B都能夠給出準確的答案。

尤其是在第四道問題上，它甚至直接指出了邏輯性的問題：

問題似乎不太恰當或者存在誤解。

嗯，Qwen 1.5-32B是一個經住了“弱智吧Benchmark”的大模型。

至於其它關於常識、數學、編程等能力的效果，家人們可以親自去體驗一番了。

如何做到的？

正如我們剛才所述，Qwen 1.5-32B在技術架構上與此前版本並無太大的區別，亮點就是引入了GQA（Grouped Query Attention，分組查詢注意力）這個技術。

這也正是它能夠在相對較小的體量之下，能夠做到性能較優且快速部署的關鍵。

GQA是一種在自然語言處理中使用的 Transformer 架構中的一種機制，它通過將查詢序列分組為多個子序列來提高 Transformer 模型的計算效率。

這種方法可以有效地減少計算複雜度，同時保留 Transformer 模型的表示能力。

具體而言，GQA是通過將查詢分組並在組內計算它們的注意力，來混合 Multi-Query Attention (MQA) 的速度與 Multi-Head Attention (MHA) 的質量。

GQA 通過將查詢頭分為組，每個組共享單個鍵頭和值頭，來實現這一點，從而在質量和速度之間取得平衡。

如此一來，GQA的引入就降低了注意力計算的數量，從而加速了推理時間。

最後，奉上Qwen 1.5-32B在HuggingFace的體驗入口，感興趣的朋友可以去體驗啦~

參考鏈接：

[1]https://qwenlm.github.io/zh/blog/qwen1.5-32b/

[2]https://huggingface.co/spaces/Qwen/Qwen1.5-32B-Chat-demo

[3]https://github.com/QwenLM/Qwen1.5

[4]https://klu.ai/glossary/grouped-query-attention