AI原生時代,操作系統為何是創新之源?_風聞
大数据在线-31分钟前
一直以來,操作系統都是軟件行業皇冠上的明珠。
從上世紀40、50年代,彙編語言和彙編器實現軟件管理硬件,操作系統的雛形出現;到60年代,高級編程語言和編譯器誕生,開發者通過操作系統用更接近人的表達方式去開發應用;再到十多年前,軟件複雜度和規模提升,操作系統管理對象變成集羣和上面運行的各種“微服務”,雲計算成為一種操作系統,讓開發者降低集羣管理的複雜性。
可以説,一部操作系統的歷史就是開發者/開發方式不斷演進的歷史。如今,步入到AI原生時代,大模型與AI原生應用爆發,一場操作系統的新技術革命已經爆發,操作系統正成為AI原生時代的開發創新之源。
正如本週Create 2024 百度AI開發者大會上,百度智能雲率先發布新一代智能計算操作系統--萬源,通過對AI原生時代的智能計算平台進行抽象與封裝設計,為用户屏蔽掉雲原生系統與異構算力的複雜性,重新定義人機交互,為開發者帶來簡單、流暢的開發體驗。
隨着萬源操作系統的發佈,一個人人都是開發者的偉大時代正式拉開序幕。
AI原生時代,操作系統再進化
多年前,Linux操作系統創始人Linus Torvalds有句名言:“Talk is cheap, Show me the code.”
的確,在過去的開發領域,代碼勝於雄辯,開發者們希望通過Linus這句話表達對代碼技術的推崇。如今,一切都已改變,通過自然語言來編程不是夢。在大模型的加持下,一個人人都是開發者的時代正加速到來。
百度集團執行副總裁、百度智能雲事業羣總裁沈抖認為,大模型的出現,徹底改變了人與機器之間的關係,從而驅動軟件開發範式的變革,“傳統雲計算系統依然重要,但不再是主角。大模型與AI原生應用爆發後,我們需要一個全新的操作系統。”
仔細分析,未來趨勢的確如此。大模型的出現,本質上是一次影響深遠的科技平權。以開發為例,過去是少數經過專業訓練的程序員的特權,現在則通過自然語言即可實現。在大模型逐漸滲透到各個領域的時代,操作系統亦不除外,加速走向進化。
從技術演進規律和市場需求來看,以AI為核心的新一代智能計算操作系統也是必然的進化方向。
首先,在基礎設施硬件變了,隨着人工智能應用爆炸性增長,異構計算環境會成為標配,在一個集羣中通常會存在數量龐大的不同芯片,尤其大模型訓練通常需要萬卡集羣,需要操作系統有能力進行管理、調度和優化,實現算力資源的高效釋放。
其次,操作系統的內核不可避免地走向更加複雜,大模型正在成為操作系統的新內核。大模型作為核心引擎,在操作系統內核中不能缺位。除了各種大模型之外,操作系統還需要具備構建強大的大模型服務能力,提供模型調用、評估、部署、調用等工具鏈。
第三,操作系統還需要提供好的應用開發工具去做工作流編排、插件管理,重新定義人機交互,為開發者提供更簡單、更流暢的開發體驗。
“新一代智能計算操作系統除了管理底層硬件轉變為異構計算外,還首次增加了大模型壓縮的世界知識,管理對象從管理進程、管理微服務變成管理智能,並且徹底改變軟件開發範式,編程從面向過程、面向對象到面向需求,編程開發語言到自然語言進化。”沈抖總結道。
某種程度而言,以百度智能雲的萬源為代表的新一代智能計算操作系統出現,有望真正降低AI應用開發的門檻,讓人人都能成為開發者,加速實現AI普惠化。
萬源為何能成為AI創新之源
一直以來,操作系統都具有極高的技術難度,市場準入門檻也極高。
進入到AI原生時代,新一代智能計算操作系統更像是硬件能力、AI能力、雲能力等綜合能力的一次沉澱,建設難度更高。毫無疑問,百度智能雲憑藉在AI領域、雲計算領域、開發者領域多年深厚的積累,使得其萬源操作系統在開局就樹立起新一代智能計算操作系統的標杆。
作為AI原生時代的智能計算操作系統,萬源的架構由由Kernel(內核)、Shell(外殼層)、ToolKit(工具層)組成。
在內核層,萬源屏蔽了異構計算的複雜性,其百舸AI異構計算平台在萬卡集羣上的有效訓練時長佔比超過98.8%,帶寬有效利用率都達到了95%,算力效能業界最高,並且高效適配崑崙芯、昇騰、海光 DCU、英偉達、英特爾等國內外異構芯片,支持以最小代價完成算力適配。
百度集團副總裁侯震宇介紹:“萬源基於百度在AI、雲計算等領域多年的積累,然後在AI原生時代應運而生。像百舸AI異構計算平台已在大模型訓練推理和應用的複雜場景中得到充分驗證。”
以異構計算目前面臨最大的一雲多芯挑戰為例,其對於技術能力、工程化能力、生態能力要求極高,需要對不同芯片、芯片架構和應用軟件進行全方位的拉通,還需要在真實複雜場景中得到考驗。而且,鑑於國內芯片供應現狀,“一雲多芯”是企業不可避免的選擇,要多芯混用來構成集羣跑大模型訓練任務。
尤其如何在大模型訓練、特別是單一訓練任務上,管理好不同的芯片就是業界極難攻克的技術難點之一,需要解決不同廠商芯片的算力均勻切分、芯片間通信效率優化等問題。目前,百舸已經實現了單一訓練任務下不同廠商芯片的混合訓練,且百卡規模性能損失不超過3%,千卡規模性能損失不超過5%,業界領先,最大程度上屏蔽硬件之間差異,幫助用户擺脱單一芯片的依賴。
萬源在“一雲多芯”方面取得業內超前水平的技術突破數據背後,得益於採用的很多創新技術,一方面百舸底層的加速庫AIAK,通過做好網絡通信加速,讓不同的芯片都能跑起來,實現線性加速比達到95%;此外百舸在底層加速庫做並行框架實現,採用Tensor Parallel(張量並行)、流水線並行,模型並行等多種並行策略,且採用自研自適應算法自動實現並行策略的參數設定,實現讓異構芯片都跑在同一張算力網裏,跑在同一個訓練任務上。
除了一雲多芯外,萬源的內核層還融入了文心大模型系列+三方大模型,大模型可以壓縮世界知識,將自然語言的理解、生成、邏輯、記憶能力封裝起來、向上提供簡單的接口,保障讓AI原生應用高效運行,充分滿足用户在不同業務場景下的多樣化需求。
在內核層之上則是Shell層,通過千帆ModelBuilder來屏蔽掉模型開發的複雜性,解決模型的管理、調度、二次開發問題。千帆Modelbuilder將模型開發工具鏈產品化,可以滿足企業和開發者在細分場景下對基礎大模型做快速微調、精調等的需求。此外,千帆ModelBuidler還提供模型路由服務,支持根據不同任務選擇適合的模型,組合編排模型來將模型能力最大化。
在Shell層之上,則是有千帆AppBuilder和AgentBuilder應用開發平台組成的工具層,核心就是屏蔽掉應用開發的複雜性,為開發者提供 AI 原生應用開發能力,提升開發效率和使用體驗。千帆AppBuilder主要面向AI應用快速開發,AgentBuilder則是聚焦智能體開發工具。
以千帆AppBuilder為例,開發者不需輸入代碼,使用自然語言就能開發出一個AI原生應用,並且還能通過API或者SDK集成到系統之中,還能快速對外發布。
做好生態,讓創新成為活水
操作系統成敗在於生態,新一代智能計算操作系統更不可能例外。
AI原生時代,有了新一代智能計算操作系統這個創新之源頭,還需要通過生態體系來讓創新的活水滋潤千行百業。那麼,如何讓新一代智能計算操作系統的生態體系良好成長?
百度智能雲的思路是以應用為牽引,攜手頭部行業夥伴,共同探索大模型應用的落地與實踐,讓新一代智能計算操作系統、大模型在生態夥伴的實際業務場景中用起來。截止目前,百度智能雲千帆大模型平台近6個月的合作伙伴數量增長已經超過500%,生態體系建設效果顯著。
另一方面,萬源的發佈僅僅是一個起點,百度智能雲的思路是未來在生態層進一步開放,通過各種措施來推動萬源生態體系的茁壯成長。
具體來看,百度智能雲未來向上會開放更多能力和接口,讓開發者在開發應用時更加簡單;向左則會以萬源為基礎,面向行業打造垂直行業操作系統,讓新一代智能計算操作系統加速進入更多行業;向右則會將萬源部署到企業的智算中心,提供穩定、安全、高效的智算環境;向下則會適配更多芯片,進一步隱去異構集羣的複雜性,讓不同芯片發揮最大的算力效能。
綜合來看,百度智能雲萬源操作系統的發佈的確給了業界一個明確的信號,即AI原生時代操作系統會加速走向進化。毫無疑問,百度智能雲打造萬源,就像是做一件極難但正確的事情,對於AI應用創新、AI普惠等長遠發展將大有裨益。