夸克大模型排名C-Eval榜單第一 多項性能優於GPT-4

11月16日，根據最新成績，千億級參數的夸克大模型登頂C-Eval和CMMLU兩大權威評測榜單，多項性能優於GPT-4。在國內大模型賽道火熱的當下，夸克自研大模型憑藉過硬的研發能力及數據、行業、平台等優勢成為新晉“學霸”。

作為國內最權威的兩個大語言模型測試榜單，C-Eval是由清華大學、上海交通大學和愛丁堡大學合作構建的綜合性考試評測集，覆蓋52個學科，是目前權威的中文AI大模型評測榜單之一。CMMLU 是由MBZUAI、上海交通大學、微軟亞洲研究院共同推出，包含67個主題，專門用於評估語言模型在中文語境下的知識和推理能力。

評測過程中，夸克大模型經過了上萬道專業考題的檢驗，覆蓋幾十個學科和不同學段。無論是常識問題還是社會科學知識，夸克大模型都展現出了處理複雜、多層次問題的能力。基於精調後的訓練數據，夸克大模型能夠更好地理解問題的上下文、邏輯結構和語義關係，從而更全面、深入地分析和解決問題。

在CMMLU榜單評測中，夸克大模型以平均77.08分的成績位列總成績第一，並佔據社會科學和其他兩個類目的首位。在C-Eval榜單中，夸克大模型平均分達到89分，穩居行業第一，同時在社會科學、人文科學和其他三個類目中位列榜首。夸克大模型同時登頂兩大權威榜單，也進一步證明夸克在數據增強、模型選擇、訓練策略、模型融合以及模型評估上，處在行業領先地位。

同時，在國內專業考試測試中，夸克大模型的表現堪稱“學霸”。不僅在中考、高考、研究生考試中超過GPT-4，包括臨牀執業醫師資格考試、計算機等級考試、公務員考試、教師資格證考試等評測中均優於GPT-4。具備超強解題能力的夸克大模型，應用在日常學習、工作場景，有望給用户帶來效率上的全面提升。

此外，夸克大模型還擁有強大的文學創作能力，能夠根據用户提供的主題或關鍵詞，生成連貫、有邏輯、有深度的文本內容，可以幫助用户撰寫文章、新聞、詩歌等各類文本，支持續寫、潤色、仿寫、批改等多種不同寫作需求，進一步提高用户的創作效率。

據介紹，憑藉數據、行業、知識正確性、平台等四大優勢，夸克大模型應用會優先落地在通識問答、專業搜索等信息服務領域，滿足年輕人學習知識和提升自我的需求。夸克將藉助自研大模型全面升級，為年輕人工作、學習、生活提供更全面的服務。