大模型競爭升維,文心千帆開路_風聞
银杏科技-银杏科技官方账号-带你走在科技商业的最前沿。06-09 17:29
大模型混戰之下,百度智能雲頗有越戰越勇之勢。
6月6日,百度智能雲文心大模型技術交流會在成都舉行。會上聚焦三點:宣佈文心大模型的迭代進度,開放代碼助手Comate邀測,以及解析企業級大模型平台文心千帆的業務佈局思路。
不斷向外界更新其模型研發的最新動態,也側面反映出百度對其技術實力與戰略思路都充滿信心。
正如百度智能雲AI平台副總經理施恩在會後的媒體採訪中所提到,模型時代的競爭,重點在於模型本身的能力,與長期投入研發所積累的經驗。
已經在這兩方面保有優勢的百度,更重視如何再進一步,為雲智一體勾勒出更清晰的發展圖景。
進化,作為主題
風口賽道總是入局者眾,破局者少,且難免陷入同質化競爭。在此語境下,保持技術先進性可視為競爭的底氣。
國內的大模型混戰一開場就直接進入焦灼階段,頭部如阿里、華為相繼發佈自研大模型,腰部也有知乎、360、美團各自探索更適配自家產品業態的模型開發。
同場競爭,模型能力成為決勝關鍵,先行一步的百度不斷強調模型迭代的重要性,意在推動領先優勢進一步擴大。
百度Q1財報顯示,智能雲在本季度首次實現盈利,收入同比增長8%至42億元。財報提到,計劃逐步將文心一言融入旗下業務,以實現長期、可持續的增長。
自3月16日開啓內測以來,文心一言就一直在“進化”的路程中。公開資料顯示,截止4月24日,一個月內文心一言完成4次迭代,推理性能提升10倍,推理成本降為原來十分之一。截止5月23日,內測兩個月之後,文心一言在高頻場景中的推理性能已經提升50倍。
值得注意的是,企業應用場景的性能優化需要考慮更多,除了模型本身的效果、性能之外,還要兼顧工具鏈相關的能力,故而是芯片、框架、模型、應用四個層面全棧的問題。
基於此,面向企業服務的文心千帆大模型平台,在一些高頻、核心場景中通過技術優化和模型迭代實現了端到端效能提升。也就是説在相同客户需求場景下,推理服務的整體性能總共提升了50倍,效率提升肉眼可見。
迭代至今,6月6日技術交流會上分享的「文心一言- Turbo」是文心一言的高性能模式。相應的,文心千帆平台也在數據導入/任務標註、Prompt管理器、強化學習機制、大模型插件產線/評估/壓縮等能力上持續升級,同時支持更多第三方大模型。
只有足量的數據反饋與實際應用經驗才能訓練出最符合市場需求的大模型,這是彼時百度搶先發布文心一言的初衷。
本次交流會上,百度宣佈客户可以在文心千帆大模型平台上申請測試「文心一言-Turbo/ErnieBot- Turbo」 高性能模式,收集反饋/及時更新這一流程基本定型,保持模型迭代的速率,持續提升模型性能將會是百度智能雲未來的發展主題。
Comate,看見生產力工具的具體形態
模型層面的發展將帶來具體生產範式的改變,Comate就是一款幫助實現生產範式變革的落地產品。
技術交流會上,百度宣佈代碼助手Comate正式開放邀測。產品是用户體驗技術的窗口,模型的迭代或許對用户而言相對抽象,產品的功能表現能讓用户更直觀的體會到技術力。Comate意在改變程序開發模式,提升企業開發效率、開發質量、降低成本,To B思路清晰。
據百度介紹,Comate的產品功能分為三階段表現。第一階段為輔助代碼撰寫,當前Comate已經可以部分實現通過自然語言的方式寫代碼。第二階段將實現在特定領域、場景的自然語言代碼生成。第三階段將實現全領域的自然語言開發,成為開發者的金牌搭檔。
與提前佈局文心大模型一樣,百度早在2021年就開始研發代碼助手相關工具,並在內部進行了測試。基於文心大模型不斷升級的語言理解能力和推理能力,當前版本的Comate在需求理解、代碼生成與推理速度上都已實現全面升級。
目前Comate支持主流開發語言30餘種,尤其在C/C++、Java、Python等常用語言上效果更加。場景覆蓋上,Comate主打被集成,支持前後端、軟硬件不同場景嵌入、包括程序員最喜愛的IDE。
現場展示中,百度智能雲AI平台副總經理施恩演示了利用Comate快速生成“貪吃蛇”小遊戲。開發者輸入“canvas”(背景),“彈性佈局,水平居中,垂直居中”等中文備註,Comate自動識別語義,聯繫上下文補全代碼,並提供多條推薦代碼供開發者擇優。
從輸入到生成的整個環節非常清晰、迅速,現場反響熱烈。在簡化了手敲代碼、改格式等繁瑣流程後,工作流更加高效,只需專心思考代碼結構和核心邏輯。施恩也談到,Comate在內測階段的表現就十分出色,目前已廣泛應用到百度內部各類產品開發中。
整體而言,Comate的革命意義體現在兩點。一是自身性能層面,推理速度可完全匹配編碼速度,單請求可實現300ms左右。基於多行代碼推薦能力,可確保推薦代碼內容邏輯完整,使用體驗流暢。
**二是對於中文市場有獨特的適應性。**Comate的產品定位與微軟Copilot類似,都是基於大模型能力,輔助代碼撰寫,提高開發效率。而Comate的優勢在於其中文註釋語義觸發的能力。
媒體訪談會上施恩提到,國內開發者會偏愛寫一些中文註釋,通過中文註釋推薦代碼這方面,Comate可以做到能力補足,使其更適應國內開發者的編碼習慣。
這與百度文心大模型與中文理解能力的重視是一致的,技術開發邏輯兼顧目標市場特性,方可實現技術力到競爭力的轉化。
To B 多面手
雖然各家都在積極推進模型訓練與技術研發,但大模型商業落地仍然缺乏一個框架思路。
百度智能雲將文心千帆定義為全球首個一站式企業級大模型平台,意在成為一個大模型生產和分發集散地。
百度沈抖曾公開表示,企業選擇大模型主要是三個考量指標:一是模型的通用性能,這決定大模型能否滿足當前需要,是否有較強的泛化能力;二是迭代速度,這將決定大模型在未來的長久價值;三是大模型開發需要用到的工具鏈,這將決定企業能不能很容易地把大模型的產品應用到業務和產品中。
文心千帆強調“一站式”服務,意指旗下工具鏈完善,且具備全局統籌系統,這與百度一直主打的全棧式AI佈局相對應。
除了文心一言所代表的大模型服務,文心千帆還提供開發AI應用的整套環境。其工具鏈從數據處理, 模型訓練, 到部署服務, 應用集成,操作簡潔且覆蓋人工智能研發的全生命週期。此外,文心千帆還支持各類第三方大模型,以便內外協調。
拋開復雜的技術邏輯,企業客户在模型性能上關注兩個重點,“安全性”和“需求適配度”。
技術安全是一個永恆議題,尤其是新技術狂飆的當下,普遍認為越是高維的技術,安全性就越難評估。在數據安全和應用可控等方面,企業比以往更加謹慎,安全性得不到保證,應用很難推廣落地。
交流會上,百度以搜索引擎為例分析了對於安全問題的考量。為保證搜索與信息流內容符合安全要求,百度在安全機制的設計上已有超過20年的技術積累。同樣的思路被移植到大模型的安全設計上,平台自帶安全策略可以有效過濾異常輸入並給出安全響應。
此外,百度還強調了安全設置的可定製性。企業對於安全的要求並不完全一致,通用場景的安全設置需要根據具體情況進行調整。施恩告訴銀杏科技,文心千帆支持企業基於安全語料庫,定義外加的安全增強,來滿足差異化要求。
**延續行業結合這個議題,模型泛用性和靈活性的衝突讓不少企業在需求適配度上多有顧慮。**一方面擔心標準化應用限制自定義空間,另一方面擔心重新基於行業數據訓練之後,損傷其通用性。
對此,文心一言-Turbo也有相應的解決方案。比如通過SFT的方式,用少量的精標數據,使它在特定的場景效果有進一步提升,同時避免本身模型的通用性受到過多影響。
或者有針對性的調整訓練方式,比如用改變少量參數的prompt-turning或者lora,甚至更進一步,基於海量的行業數據去做行業大模型的post-pretraining。
施恩表示,生成式AI大模型本身就是一個概率模型,輸出不穩定無法避免,但可以結合具體需求,去平衡使用方法。Bloomberg GPT可以作為一個範例,在灌入了大量金融領域數據的同時,加入了很多通用數據,實際表現非常出色。
如今,雲智一體的概念已經成為業界共識。百度從早期唯一的“佈道者”,到現在已成為無可爭議的“智能化先鋒”,前瞻思路最終得到了時代驗證。
當下,百度再一次領先於眾人的思考體現在抓住了“進化”與“速率”這兩個關鍵詞。新技術迭代的速度正在重塑我們的商業社會,技術不會等待企業緩慢的更新認知、調整經營,只有保持相同的步調,才能真正站在通向未來的道路。