百度的雲圖丹青_風聞
脑极体-脑极体官方账号-从技术协同到产业革命,从智能密钥到已知尽头2021-06-15 20:57
雲計算與AI的關係,在幾年間經歷了數次變化。
最開始,基於雲計算提供AI服務僅僅是方向和趨勢,輸送能力以基礎算法為主。隨後,開始出現基於雲計算提供體系化的AI訓練、開發、部署與應用服務。雲與AI緊密的關係更加緊密,可以滿足企業的複雜智能化需求。
那麼,雲與AI的下一步是什麼?
按照產業期待和技術發展趨勢,“雲+AI”的下一步應該走向基礎設施緊密耦合,無論是開發還是應用需求都能被充分滿足,各種智能化需求都能在雲計算體系中得到充分釋放的新形態。這個階段,AI不再是雲計算的“嵌入物,而是呈現給用户和開發者AI原生雲,雲與智能高度一體化的產業特徵。
在國畫丹青裏,我們能見到的不是一山一石、一草一木,而是浩蕩山河,琳琅草木。真正適配行業智能化需求,滿足工業級AI需求的雲計算體系,也應該是一幅諸多領先技術、核心能力與服務體系構成的悠悠長卷。在百度智能雲看來,這副長卷應該叫做“AI原生雲”。
去年10月,百度智能雲首次提出了“AI原生雲”的行業判斷與產業設想。經歷了快節奏發展,在6月3日的百度雲智峯會智能計算峯會中,我們可以看到AI原生雲的構成要件已經十分豐富,核心產品已經充盈完善。不僅有百度滄海存儲技術與百度百舸AI異構計算平台兩個新品牌首次亮相,百度智能雲還發布和升級了一系列產品,最終組成一幅題為“AI原生雲”的千里江山圖。
(6月3日,2021百度智能計算峯會,百度智能雲布一系列AI原生雲產品)
問道組筆:AI原生雲的時代圖畫
很早之前我們就討論過,雲計算與AI合流具有產業區位上的必然性。因為雲計算的彈性特徵是輸送智能的最佳方式,而通過雲計算或許智能,也是企業門檻最低、效率最高的接入方式。
如今,AI已經成為每一家雲計算廠商的產業重心。在“雲+AI”的方向確立後,下一步問題就是如何讓企業用户和開發者更簡單、高效、低成本接入AI,負載工業級應用。如果雲計算廠商是一位位畫師,AI是他們共同描摹的對象,那麼第一步,就是要確定如何能畫出最精彩的AI。這是“雲畫師”的求道。
整體而言,AI對雲計算體系提出了三大挑戰:
首先是AI的訓練、部署與應用帶來了高強度且複雜的異構計算需求,極大程度上改變了傳統的雲端算力提供規則與服務器特性。
其次是AI在企業落地,需要部署在雲、邊、端等多個場景,產生了令人眼花繚亂的分佈式計算需求,繼而導致雲廠商需要提供的平台與服務種類極度增多。
還有一點,企業對於AI成本降低、難度下降的期待是始終不變的。如何滿足企業多樣化的開發與應用需求,讓算力成本降低、算法難度下降,也是雲廠商始終不變的方向。
綜合這三條AI之道,“雲畫師”需要重新組織筆法,編制產業藍圖,繪製技術差異化。而百度智能云為強異構、多端部署、簡單易用的“雲智一體”的雲計算架構,定義為“AI原生雲”。
百度集團副總裁侯震宇認為:“ AI原生雲是推動企業智能化升級的核心驅動力,AI原生雲在算力層面提供面向AI場景的彈性高性能的異構算力,在應用開發層面,提供面向AI應用場景的系列低門檻開發平台,幫助企業把AI應用架構做得更加簡潔、更加敏捷。”
丹青水墨,講究山為骨、水為魂。百度智能雲認為,AI原生雲的基礎是算力與應用開發平台的多元融合。算力、數據、開發、應用平台的山水相融,才能描畫出智能時代的潑墨長卷。
針對AI原生雲必須具備的三大核心能力,即AI異構計算平台、分佈式雲基礎設施、AI應用開發平台,百度雲智峯會智能計算峯會中一次發佈升級了八大新品,其中包括有百度太行彈性裸金屬服務器3.0、百度滄海並行文件存儲PFS、第五代雲服務器實例、智感超清一體機等等。
這些全面升級的AI基礎設施,就像一道道筆觸,組成了計算與智能的山河圖。
雄奇築太行,雲帆濟滄海
AI原生雲這幅畫卷,首先需要的是作為基礎的算力和存儲。
適配AI需求,且充沛低成本的算力,以及與計算緊密相關的數據存儲能力,是AI發展的根基。就像水墨畫中的山,構成了整幅畫的骨架與輪廓,決定着丹青的走勢。
在百度智能雲提供的AI原生雲中,算力也與“山”緊密相連。百度智能雲發佈了新一代雲基礎架構“太行”,基於百度自主研發的硬件虛擬化技術,重構百度智能雲的算力基礎設施,同時擁有云服務器的資源彈性和物理機的高性能體驗,以滿足AI原生時代對海量算力的需求。
面向更具體的AI算力需求,百度智能雲發佈了百度太行彈性裸金屬服務器3.0。太行全面升級了彈性裸金屬全特性,實現對網絡卸載、PCIe設備熱插拔的支持,讓裸金屬可以和虛機一樣雲磁盤快速啓動。基於新一代自研智能網卡,太行還能實現裸金屬、虛機、容器多種算力在網絡與存儲上的統一,充分匹配AI任務的計算需求。
如果説算力是山,那麼數據的存放、調用、使能就是讓山色流淌,算力發生價值的水。為了滿足用户應用AI時日益提高的高性能計算需求,百度智能雲發佈了存儲品牌滄海。
我們知道,數據是百度的核心優勢,而數據的存、算、用也就必然是百度必須不斷強化的技術能力。在存儲領域,滄海就源於百度20多年的業務和客户服務實踐,擁有存算一體、軟硬一體、雲邊一體的技術優勢;擁有極致速度、極致彈性、極致性價比、極致可靠、極致簡單的技術特性。
面向智能時代,高性能與海量存儲成為了企業上雲、部署AI的關鍵支撐。而滄海可以從幾個方面解決核心的存儲問題。一是數據上雲,提供了離線、在線數據上雲的方式;二是解決數據存儲的問題,提出以對象存儲為核心,面向AI場景做了高速優化的能力;三是面向AI場景,AI的訓練和處理分析的能力。
以分佈式存儲場景為例,全新發布的滄海並行文件存儲PFS可以支持對象存儲數據連接,實現冷熱數據真正的聯通,數據綜合成本降低60%以上。並且滄海還覆蓋HPC場景的性能需求,具備超高性能超低延遲的關鍵特性。
讓數據的滄海與計算的太行相互圍繞,構成算力與數據底座牢不可破,源遠流長。
(圖:林德坤 國畫 - 雲繞太行)
崑崙山下,百舸飛槳
算力和存儲是AI原生雲的引擎,開發就是AI原生雲的操作系統。讓用户和開發者低成本、高效率、低難度完成AI開發與應用,是AI興起以來的永恆命題,也是百度在AI領域能夠築起護城河的關鍵所在。
有了算力、存儲作為AI原生雲的山海基礎,開發平台就化身為這幅圖畫中靈動的“舟”。基於開發體系,可以匹配各行業開發者的個性需求,或面向工業級的挑戰,或完成意想不到的細微創造;既要與實驗室中的專家學者共舞,又要幫助完全沒有代碼經驗的開發者工作。
而在雲計算場景中,異構計算是大量企業應用AI的最大挑戰。為了進一步幫助用户降低AI開發門檻,完成工業級的AI落地,百度智能雲推出了全新的AI異構計算平台百舸,取意“百舸爭流,奮楫者先”。百度百舸由AI計算、AI存儲、AI容器三部分組成,可以針對不同的AI應用場景,完成不同計算自由、存儲資源、容器應用的彈性與高效互聯,幫助用户有效利用AI基礎設施。
在AI計算層面,不得不提百度自主研發的雲端AI芯片百度崑崙和專為AI深度學習場景優化設計的百度超級AI計算平台X-MAN。
作為核心基礎計算單元,芯片佔據了AI時代制高點。百度對AI芯片的需求十分明確。早在2010年,百度就已使用FPGA進行AI架構的研發,隨後又不斷通過合作、投資和自研的方式來推進該業務。2018年,百度發佈了百度自主研發的雲端AI芯片“崑崙”。
2020年,崑崙1成果實現量產,具有高性能、低成本、高靈活性、自主可控等關鍵特徵,並且在百度搜索引擎和百度智能雲生態夥伴等場景廣泛部署。崑崙芯片既能做訓練也能做推理,它可以滿足AI的高處理需求,用於雲實例和邊緣實例,包括數據中心、公共雲和自動駕駛汽車。
通過充分利用崑崙芯片的極限推送計算能力和功耗效率,百舸AI異構計算平台可以有效支持多種功能,包括大規模的人工智能工作負載,如搜索排名、語音識別、圖像處理、自然語言處理、自動駕駛。崑崙的另一個關鍵優勢,在於與眾多AI軟硬件體系完美適配,可以幫助應用者、開發者有效利用AI算力,最大化利用百度AI基礎設施。基於崑崙芯片打造的百度崑崙雲服務器,可以為企業和開發者們提供超強的AI推理和訓練性能,加速AI技術與各行各業深度融合的步伐。
目前百度超級計算平台X-MAN已經升級到第四代,是業界首款支持OAI標準和液冷散熱的超級AI計算平台,可解決CPU+GPU配比計算、通信帶寬瓶頸、高性能存儲三大問題。百度X-MAN超級AI計算平台提供極致的計算性能,支持超大複雜算法模型,能夠快速及時處理海量數據。自誕生以來,百度X-MAN超級AI計算平台歷經3代發展,3次架構升級,創造6項業界第一,同時期關鍵技術&性能保持領先,引領行業發展趨勢。目前,X-MAN系列產品已在百度大規模應用,正在助力百度AI戰略快速落地。
若想在百舸爭流中更勝一籌,自然少不了一雙有力的槳。百度飛槳是中國首個開源開放、技術領先、功能完備的產業級深度學習平台,宋代文人朱熹的“聞説雙飛槳,翩然下廣津”。目前飛槳已經在大量行業中實踐落地,被譽為智能時代的操作系統。不久之前,飛槳剛剛迎來了全平台升級與新發布,全新發布包括飛槳核心框架V2.1、大規模圖檢索引擎、文心ERNIE四大預訓練模型、推理部署導航圖、硬件生態進展、開放雲原生機器學習核心PaddleFlow,並且全面啓動飛槳“大航海”計劃,合計投入15億資金,聚焦生態發展。
從飛槳到百舸,百度AI體系下的開發平台、應用平台正在一步步充沛完善,滿足從基礎開發、簡單開發、產業級應用等不同場景下的AI落地。很多科學家都暢想過,在未來應用AI應該是一件自然而然,無需學習門檻的事。
AI原生雲,正在讓人工智能應用開發的設想逐步落筆於現實。更值得一提的是,百度百舸、百度崑崙、百度飛槳讓中國在AI核心底層技術上擁有自主知識產權,組成了名副其實的中國AI畫卷。
結束語:AI丹青畫萬物
一口氣發佈、升級八大AI原生雲產品,足可見百度智能雲在AI原生雲這條全新賽道上的篤定與決心。這種戰略定力的根源,在於AI與雲的融合關係是一件合乎邏輯,順乎需求的事。
無數個行業、無數個場景,都在以云為通道,以AI為跳板,升級自己的生產力,讓不可能變為可能。他們的故事和成果,點滴落入現實,最終繪成智能時代的畫卷。
為了AI丹青,可畫萬物的目標,今天產業各界依舊需要全力奔跑,用計算撬動生產率,用智能打開行業可能。
時間來到2021年,百度智能雲所描繪的,一幅屬於AI的雲圖已經初現端倪。而接下來“AI原生雲”的畫筆,更多還是要交給來自千行百業的用户,交給擁有無限想象力的開發者。
這幅智能圖卷中,應該每個人都是畫手。
太行、崑崙、滄海、百舸、飛槳這些名字背後,我們能隱隱讀到一種壯志。百度智能雲的壯志,是讓每家企業都能以云為筆,智作墨,畫一幅自己的傳奇。