阿里、Kimi推理大模型集中發佈，實際效果卻……

28日，阿里通義千問推出了自己的數學推理大模型——QwQ-32B-Preview。這是繼Kimi之後，近期第二款對標OpenAI o1系列的推理大模型。

據介紹，QwQ-32B-Preview包含325億個參數，能夠處理最長32000個tokens的提示詞，在GPQA測試中的評分為 65.2%，展示了研究生水平的科學推理能力。在AIME和MATH基準測試中，它的表現優於OpenAI的兩個推理模型o1-preview和o1-mini。

並且，QwQ-32B-Preview在更加寬鬆的Apache 2.0許可證下“公開”可用，這意味着它可以用於商業用途。

此前的11月16日，在Kimi正式上線一週年之際，月之暗面發佈了最新數學模型k0-math。宣稱在中考、高考、考研以及入門競賽題MATH等4個數學基準測試中，可以超越OpenAI o1-mini和o1-preview。

那麼這兩個國產推理大模型的實際能力究竟如何？

值得一提的是，通義官方在QwQ的介紹文章中，首先提到的並不是其性能，而是自己的侷限性。文章指出，作為預覽版本，QwQ-32B-Preview 展現了令人期待的分析能力，同時也存在以下侷限：

1.語言切換問題：模型可能在回答中混合使用不同語言，影響表達的連貫性。

2.推理循環：在處理複雜邏輯問題時，模型偶爾會陷入遞歸推理模式，在相似思路中循環。這種行為雖然反映了模型試圖全面分析的努力，但可能導致冗長而不夠聚焦的回答。

3.安全性考慮：儘管模型已具備基礎安全管控，但仍需要進一步增強。它可能產生不恰當或存在偏見的回答，且與其他大型語言模型一樣，可能受到對抗攻擊的影響。我們強烈建議用户在生產環境中謹慎使用，並採取適當的安全防護措施。

4.能力差異：QwQ-32B-Preview 在數學和編程領域表現出色，但在其他領域仍有提升空間。模型性能會隨任務的複雜度和專業程度而波動。我們正通過持續優化，努力提升模型的綜合能力。

上述文章指出，“QwQ 既展現出能力，又保持着謙遜；既積累知識，又永遠對未知充滿好奇。”在看慣了自吹自擂的商業通稿之後，通義的這種謙遜態度已經足以眼前一亮。

於是我們拿幾個問題實際測試了上述兩個模型的能力。

首先是出自今年高考全國卷的一個數學題：當x∈[0,2π]時,曲線y=sinx與y=2sin(3x-π/(6))的交點個數有幾個？

面對這種非常標準化的問題，QwQ和k0-math都表現不錯，給出了正確的答案：6個。

而且，兩者都體現出了推理大模型的一個重要能力——自我反思。

在解題過程中，它們首先嚐試了代數方法，把問題轉化為求解方程sinx=2sin(3x-π/(6))。但發現這個方程非常難解之後，又推翻了最初的方法，轉而尋求幾何方法來解題。

上圖是k0-math，下圖是QwQ的思考過程

在用幾何方法走通之後，兩個大模型也都絞盡腦汁，用代數方法重新求解，並得到了正確答案。k0-math甚至在解題之後還檢查了一遍。

可以看到，在純粹的數學能力上，兩個模型至少都達到了普通人的水平。

不過正如通義文章中所説，隨着問題的複雜度和專業性提高，它們的表現還不盡如人意。

不久之前，我們曾經拿一個用車成本的問題測試過幾個大模型的邏輯能力，這次我們不妨再試一次。問題如下：分析樂道L60車輛採用BaaS方案下的每年用車成本，BaaS方案和電池買斷方案哪個更划算。

這個問題既涉及到BaaS方案本身的複雜性，而且由於問題表述相對模糊，更考驗大模型像人一樣理解問題的能力。

這次，兩個模型也都不同程度上翻車了。

首先，k0-math基本正確給出了計算方式，但是在具體每項成本的計算上使用了英里和美元作為單位，具體價格也僅為假設，而不是像Kimi探索版那樣通過搜索獲得準確價格。

這體現出k0-math和Kimi探索版的鮮明區別——雖然強化邏輯，但或許是出於降低成本而弱化了搜索能力。

QwQ卻在邏輯上也存在瑕疵。

從上圖可以看到，QwQ很“貼心”地考慮了貸款購車的情況，給出了5年分期方案。不過這個簡單的單利貸款的月供問題，QwQ卻算錯了。

而在最後的彙總環節，QwQ又把全款購車費用和貸款月供進行了重複計算，極大高估了總體用車成本。

目前看來，所謂推理大模型，主要還是依賴於兩種算法的加強——對複雜問題的拆分，以及通過反思來檢查。但想要真正具有人類一樣的推理能力，僅有這兩個原則性方法還是遠遠不夠的，仍然需要產品層面的進一步完善。

本文系觀察者網獨家稿件，未經授權，不得轉載。