科大訊飛發佈業界首個長文本、長圖文、長語音大模型

4月26日，訊飛星火大模型V3.5（下稱“訊飛星火”）春季上新。面向用户高效準確知識獲取的痛點，科大訊飛發佈業界首個長文本、長圖文、長語音大模型，不僅能夠把各種信息來源的海量文本、圖文資料、會議錄音等進行快速學習，還能夠在各種行業場景給出專業、準確回答。

科大訊飛進一步升級星火語音大模型，首發多情感超擬人合成，具備情緒表達能力，並推出一句話聲音復刻功能，讓科技更有温度。同時，面向企業應用場景，科大訊飛推出星火智能體平台，幫助企業解決大模型落地的最後一公里難題。

持續用技術進步解決真實剛需，訊飛星火也在獲得越來越多用户的認可。據七麥數據顯示，訊飛星火APP在安卓端的下載量已經超過9600萬次，在國內工具類通用大模型APP中排名第一。

首發長文本、長圖文、長語音大模型

為什麼科大訊飛要做長文本、長圖文、長語音的大模型？

通過訊飛星火APP可以看到，用户使用的最高峯不是週末，而是工作日的上午9:30和下午3:30。這意味着，大部分用户用訊飛星火來解決和工作相關的剛需問題。而高效的知識獲取是用户和開發者都高度關注的問題。

科大訊飛分析發現，在知識獲取和學習的過程中，廣大用户能拿到的資料往往不僅是現成的長文本，還有隨手可見的報刊書籍內容、各種研討會的PPT內容，老師黑板上的板書、同學的筆記，以及各種會議錄音、訪談，各種網上的發佈會、培訓教育視頻等，能不能把這些文本、圖片、語音等都上傳到訊飛星火中，快速地獲取知識？

為此，科大訊飛推出首個支持長文本、長圖文、長語音的大模型，來解決用户真實場景中多源信息的獲取需求。

本次訊飛星火長文本功能全新升級後，具備長文檔信息抽取、長文檔知識問答、長文檔歸納總結、長文檔文本生成等能力，總體已經達到GPT-4 Turbo 4月最新長文本版本的97%水平，而在銀行、保險、汽車、電力等多個垂直領域的知識問答任務上，訊飛星火長文本總體水平已經超過GPT-4 Turbo。

長文本功能的落地需要解決信息高效處理的問題：面對上百萬甚至上千萬文字，長文本大模型消耗的運算資源非常大。

為了解決大模型應用效率和準確率問題，科大訊飛董事長劉慶峯談道，基於訊飛星火V3.5對長文本的理解、學習、回答能力，科大訊飛進行了重要的模型剪枝和蒸餾，從而推出業界性能最優的130億參數的大模型，在效果損失僅3%以內的情況下，使得星火在文檔上傳解析處理、知識問答的首響時間以及文字生成方面都獲得了極大的效率提升。

測試顯示，在保障長文本效果的情況下，無論是10K、64K、128K token，還是更長的文本上，星火大模型的性能都做到業界最優。

面向複雜的圖文場景，科大訊飛在圖文識別、公式識別大賽多年國際第一的技術積累基礎上，首次推出星火圖文識別大模型。

相比傳統小模型逐行文字識別的限制，星火圖文識別大模型具有三大優勢：1）能夠直接處理非常複雜的版面分析，目前已經覆蓋31個典型場景，比如書刊、學術論文、專利、報紙、海報、PPT等，同時能自動識別標註出18類不同的版面要素，比如頁眉、頁腳、標題、段落、表格、公式、印章、手寫等；2）融合篇章上下文語義進行文字識別，識別更精準；3）面向教育、金融、醫療、科研等專業領域深度優化，能自動實現更多領域的專業符號識別。

根據國際公開的權威英文測試集來看，訊飛星火的圖文識別效果超過微軟和谷歌。從典型應用場景來看，在科研、金融以及企業產品技術文檔等識別效果都處於業界領先地位。

此外，面對廣泛的音視頻信息高效獲取需求，科大訊飛也推出長語音功能，將國際領先的語音識別和翻譯技術結合起來，可以實現會議錄音、學習視頻等的一鍵研讀，實現音視頻場景的高效知識獲取。

以技術進步解決真實剛需

訊飛星火長文本、長圖文、長語音能力的升級，進一步推動大模型在各個場景的落地。劉慶峯重點介紹了訊飛星火在招投標、合同、教育等場景下的應用。

在招投標場景，此前憑藉訊飛星火領先的文本理解、邏輯推理和數學能力，科大訊飛和國家能源物資公司在企業採購場景合作了智能無人評審系統，已經在國資委網站上被作為典型案例推薦。據介紹，在國家能源集團已評審5.7萬餘單，評審準確率達97％。這一次，疊加本次升級的長文本和長圖文能力，可以讓評標更便捷、更高效、更準確。

日常生活中，我們在買賣商品、裝修房屋或者是購買汽車保險時經常會遇到各種各樣的合同，看不懂存在風險怎麼辦？科大訊飛推出星火合同助手，它可以對我們的合同進行風險審核、合同比對，摘要總結以及合同生成，迅速識別潛在風險漏洞，成為你口袋裏的“法務助手”。

在教育場景，科大訊飛進一步升級了訊飛AI學習機產品，不僅對作文的批改、對理科的批改更加精準，也讓智能化輔學更有針對性更高效；也結合本次多模態能力升級了百科問答功能，星火大模型理解並融合了大量圖書知識，對於孩子的奇思妙問等複雜問題，“愛因斯坦”和他的大咖虛擬人朋友都能回答，讓孩子們在趣味互動中學知識、長見識，同時提升了孩子主動提問的意願和能力。

智慧黑板也再次升級，搭載長文本和長語音能力，讓實錄轉寫效率得以提升的同時，提升篇章梳理能力。其次是星火教師助手，融入長文本能力後，可以把優質教輔內容融入，教師在備課的過程中就可以直接融入教輔教參中的內容，進一步豐富備課資源，提升備課效率。

此外，星火科研助手目前已在中國科學院、三亞崖州灣科技城、北京郵電大學、哈爾濱工業大學等機構高校鋪開應用。多模態能力升級下，訊飛星火科研助手也進一步提升了論文問答、綜述生成、實驗解讀等的效果，使得解析的學術資料更加豐富，進一步賦能高校和科研院所的科研工作。

能“情感共鳴”，還能“一句話聲音復刻”

萬物互聯時代下需要更真實的AI語音交互。年初訊飛星火V3.5發佈會上，科大訊飛推出了超擬人對話功能，AI的聲音更自然更真實，擬人度達到了83%，受到用户的廣泛歡迎。無論是語音可懂度、流暢度還是表現力，效果均超過OpenAI、微軟。

此次科大訊飛發佈多情感超擬人合成，進一步提升了情緒表達的可感知度，對高興、抱歉、安慰、撒嬌、困惑等情緒表達的可感知度達到85%以上，AI語音更加生動、真實。

昊鉑HT 2024款車型行業率先搭載科大訊飛超擬人合成技術，已在4月25日正式全球上市。

除了超擬人對話，科大訊飛還推出“一句話聲音復刻”功能，一句話就可以定製你的AI助手聲音。比如模仿小朋友的聲音，每天給爺爺奶奶讀書讀報；在我們出差的時候，模仿我們的聲音給孩子講故事。這個功能可以讓世界變得更有温度。

劉慶峯談道，科大訊飛在個性化語音合成一直處於業界領先，目前已進階至一句話聲音復刻。當年訊飛AI模仿林志玲的聲音需要去台灣錄一個星期的聲音，到後來模仿郭德綱需要一天的聲音，再往後需要5分鐘的錄音，現在一句話就可以模仿。大家可以在訊飛星火APP上體驗。

星火智能體平台發佈

自今年1月30日發佈以來，訊飛星火V3.5作為首個全國產算力訓練的大模型，受到了各行業夥伴和開發者的廣泛歡迎。據劉慶峯介紹，大模型雲邊端的整體解決方案正在賦能汽車、家電、運營商等越來越多的行業；在過去不到3個月的時間裏，訊飛新增了55萬實名認證的開發者，其中一半以上來自企業。

對企業來説，如何高效地獲取和學習知識同樣是痛點，科大訊飛給出的答案是智能體，並面向企業場景推出全新的智能體平台。

企業構建智能體的環節主要涉及任務理解、外部信源打通、內部各個IT系統打通以及私域知識深入融合等環節，最終根據每個任務的執行結果輸出答案，這樣一個完整的過程才能夠最終完成智能體的構建。

劉慶峯談道，在訊飛星火智能體平台上，針對用户的輸入，首先，基於訊飛星火大模型非常聰明的底座能力，會自動實現用户輸入的精準理解和任務規劃。其次，解析完了相關的任務和對應的工具之後，訊飛星火也構建形成了包括天氣、航班、企查查等成體系的外部信息來源的對接；同時，星火智能體平台還通過互認證的機制，實現了往往是獨立的、隔離的OA系統、CRM系統以及ERP系統的打通，完成相應操作；最後，通過私域知識融入機制，智能體平台很容易實現企業所屬行業以及企業私域知識的融入，實現更精準的專業理解和知識問答。

此外，星火智能體平台還可以通過拖拽方式實現新智能體的創建和多智能體的協作。星火智能體平台，敏捷觸達大模型應用企業落地的最後一公里。

據劉慶峯透露，科大訊飛將在6月27日發佈訊飛星火大模型V4.0，進一步解放生產力、釋放想象力。

今年全國兩會上，開展“人工智能+”行動，加快發展新質生產力首次寫入《政府工作報告》。大模型帶來的知識管理革命正在上演，無論企業還是個人，都可以站在人工智能的肩膀上，實現新的比較優勢。