11家大模型哪家強？我們搶先評測了5家_風聞

撰文 | 王曉樹

編輯 | 楊博丞

題圖 | IC Photo

大模型時代，真的來了。

據貝殼財經消息，國內將有11家大模型陸續通過《生成式人工智能服務管理暫行辦法》備案，首批將在8月31日起將陸續向全社會公眾開放服務。其中北京5家，上海3家率先上線，廣東省2家和其他省市1家也將陸續開放。

據悉，廣東地區獲批公司分別為華為、騰訊，科大訊飛系其他地區獲批產品。

截至發稿前，可以確定已經向全社會開放的大模型有：百度的文心一言、科大訊飛的訊飛星火認知大模型、商湯科技的商量SenseChat、百川智能的百川大模型、智譜AI的智譜清言。

此前，DoNews曾橫向評測過國內外大模型文心一言、ChatGPT3.5、Bard大模型。在此背景下，DoNews對上述已經開放的國內大模型進行了橫向評測，分別就文學創作、創意、邏輯推理、編程等等方向出題，來看看他們的回答是什麼樣子的。

首先從外觀界面來看，這五大模型大同小異，每一個答案生成後都會出現“贊同、不贊同、重新生成以及內容複製”的功能按鈕。

唯一有所不同的是智譜清言的右邊有一個界面是“靈感大全”，其中有一系列的選項，包括文章創作、熱點選題、語言翻譯、廣告文案等等。

目前來看，智譜清言的“靈感大全”，是現階段大模型在C端比較成熟的落地方式。目前市面上已經出現了不少以大模型為基礎的應用APP，其中就分為創作、創意、對話等板塊。

此外，在生成速度上，就DoNews的體驗而言，商湯SenseChat大模型在新問題上的生成速度明顯低於其他幾家。

在具體的橫向評測前，我們首先跟ChatGPT4.0聊了一下，如何看待中國11款大模型通過國家備案向公眾全面開放一事，將給行業帶來什麼影響？

這是大模型“老大哥”的回答，接下來我們來看看文心一言、訊飛星火認知大模型、商量SenseChat、百川大模型、智譜清言的回答。

文心一言

訊飛星火大模型

商湯SenseChat

百川大模型

智譜清言

在這個回答中，這幾大模型都有一個共同點，會通過幾個明確的點，比較籠統的作答。這不只是國內大模型的回答模式，ChatGPT、Bard都是如此。

只不過，在這些回答中，訊飛的答案稍顯突兀。和其他幾家明顯的“思考”相比，訊飛的答案稍有“問題檢索”的意味。

接下來就看看在相同問題下，這五家大模型的回答分別是什麼樣的吧。

1、文學創作

問題：請用“瞞天過海”做一首藏頭詩。

如果用人的思維去思考這個問題，有三個步驟。瞞天過海典故出處，是什麼意思以及怎麼做藏頭詩。

從生成的結果來看，唯一滿足“藏頭詩”概念的，就只有商湯SenseChat、百川大模型做到了。其他四個大模型雖然做了詩，但都沒能理解藏頭詩的意思。

再來看看智譜清言答案，似乎有點“投機取巧”了。

2、創意

問題：如果要成立一家比較有中國川菜風味的中式餐廳，你可以幫忙取一下名字並且寫一段廣告詞麼？

這五大模型都精準理解了問題的兩大點：取名和寫廣告詞。但單從創意上來看，訊飛星火大模型的創意不錯，還給出了多個參考。

3、邏輯推理能力

問題：請你運用邏輯推理，解決以下問題：“如果貓會爬樹，那麼狗也會。”

文心一言、訊飛星火以及百川大模型和智譜清言沒有掉入這個邏輯陷阱裏，商湯最後卻被繞了進去。

4、編程能力

問題：x+2=5，y-3=7，輸出x+y等於幾，用java做一個簡單編程，然後得出結果。

程序猿的福音來了。這幾款大模型都可以快速生成簡單的代碼。就上述題目而言，這五款大模型給出的代碼都差不多。

就問題的結果而言，訊飛星火大模型、商湯SenseChat大模型第一次都給出了正確的答案。不過，除了訊飛之外，其他幾個大模型重新生成幾次後，每次結果都會不同。

最後一個問題，我將“你會取代人類的崗位麼？”拋給了這五個大模型。他們給出的答案都是不能完全替代。

就筆者而言，大模型的出現其實就是人類創造的一個生產工具，只是這個生產工具開始有了更多更全面的思考。

目前而言，大模型替代人類工作的可能性並不大，只是可以幫助部分崗位提高工作效率。

不過，隨着大模型的廣泛應用，它們在社會中的影響也逐漸擴大，涉及到隱私、安全、倫理等多方面的問題。

所以，在越來越多的大模型放開之後的背景下，更需要思考的一個問題是監管該走向何處？

首先，我們需要確保這些模型不會侵犯個人隱私，不被用於非法或不道德的目的。

其次，模型的決策透明度和可解釋性也變得尤為重要，這可以幫助我們理解模型是如何做出判斷的，以及它可能存在的偏見和不足。

此外，隨着技術的發展，我們還需要對模型的使用進行持續的評估和監督，確保其不會帶來不可預測的社會風險。

總之，監管不僅僅是限制，更多的是為了確保技術在造福社會的同時，不帶來潛在的威脅。