華為雲中文預訓練模型發佈：全球最大、千億參數，逼近人類神經元_風聞

金磊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

還是熟悉的華為開發者大會（HDC），還是熟悉的餘承東。

也還是一貫地擅長宣佈“世界第一”：

業界首個千億級生成與理解中文NLP大模型。

業界最大的CV大模型。

這就是餘承東剛剛發佈的大模型，名曰華為雲盤古大模型。

要知道，千億級的參數規模，可是已經逼近人類神經元的數量了！

餘承東激動地介紹道，“這是今天最重磅的產品”！

（隨即，現場掌聲如雷）

這屆華為開發者大會在熟悉之餘，也有所不同：

•    不一樣的身份：這一次，餘承東新增了一個身份，華為雲CEO。

•    不再“硬”的產品：這一次，沒有手機、電腦和芯片，而是偏“軟”的開發者產品。

餘承東在現場也表示：

雲是ICT產業的未來，開發者是產業發展的靈魂。華為將繼續開放技術創新能力，攜手開發者、夥伴共同加速行業全面雲化和智能升級。

雲化，是不可阻擋的潮流；雲，是21世紀的未來。

拿下“第一”的最大AI大模型，有多強？

如其名，盤古，煞有開天闢地之勢。

怎麼説？

先觀其貌，橫攬AI領域四大熱門方向：

自然語言處理（NLP）大模型

計算機視覺（CV）大模型

多模態大模型

科學計算大模型

很明顯，相比於現有的大模型，盤古並不是“單項”選手，而是全能型的那種。

再聞其詳，縱達業界能力之最：

華為雲盤古NLP大模型：是業界首個千億參數中文語言預訓練模型，預訓練階段學習了40TB中文文本數據，是最接近人類中文理解能力的AI大模型。

華為雲盤古CV大模型：是目前業界最大的視覺預訓練模型，包含超過30億參數。

具體而言，盤古NLP大模型在權威的中文語言理解評測基準CLUE榜單中，總成績及分類、閲讀理解單項均排名第一，刷新三項榜單世界歷史紀錄，總成績得分83.046。

而盤古CV大模型，則在ImageNet 1%、10%數據集上的小樣本分類精度上，達到了業界最高水平。

但最重要的，華為雲盤古大模型的真·奧義，還真不是拿下各種“第一”秀肌肉。

一言蔽之，實則直擊痛點，畢竟天下苦AI開發久矣。

即便到了現在，AI開發的過程，較為貼切的比喻應該是“作坊模式”，換言之，就是需要手動的工作太多、太頻繁。

具體而言，常常困擾AI開發者的問題包括，從零開始、獨立調優、艱難迭代、推倒重來……

若是再聚焦到“千億參數”的規模，要訓練這樣的模型，還需要開發者手工編寫大量的並行、切分和通訊代碼。

（啊~多麼痛的領悟）

講真，明明從事AI的開發，但這樣真的很不AI。

此局又該如何破解？

工廠模式，瞭解一下。

華為雲盤古大模型的開發模式，是“預訓練+下游微調”，這也是與目前全球主流大模型（如Bert）所匹配的一種模式。

簡單來説，這種模式的一大優點，就是擁有極強的泛化能力。

也就是説這個模型可以做到“舉一反三”：

同樣的一個模型，可以在多個場景中適用，而且還是非常複雜的那種。

不僅如此，數據量少、小樣本，也是困擾AI開發者的一大難題。

而華為雲盤古大模型，卻可以做到在少量樣本的情況達到高精度，在這方面超越了GPT系列。

……

“功夫”已經展露，接下來的一個問題就是：

華為雲盤古大模型，是如何煉成的？

左手CANN算子，右手MindSpore框架，主要依託的便是這兩大“基本功”。

CANN是華為推出的異構計算架構，2018年推出1.0版本至今，已經迭代到了3.0版本。

目前不僅使用於推理、訓練場景，還能夠實現“端邊雲協同”。這就意味着不必在不同的終端，再去開發不同的算子，大大提高了效率。

例如基於CANN，就能讓ResNet-50模型的訓練時間降低到28s。

MindSpore則是華為於2019年推出的全場景AI計算框架，其中的一大特色，就是具有全自動混合並行方案。

而華為雲盤古大模型，基於二者之外，還融合了三種並行技術：模型並行、數據並行和流水線並行。

如此一來，開發者就只需要編寫單機算法代碼、添加少量並行標籤，就可以實現模型訓練的自動切分。

舉個實戰例子，用盤古訓練超大模型靜態圖，性能直接提升了40%之多！

以為餘承東站台的活動，僅僅就“重磅推出”了個盤古？

No，No，No，事情定然沒有這麼簡單。

同級別！同分量！還有五大產品和服務：

華為雲CCE Turbo容器集羣：從計算、網絡和調度三方面，讓容器更加強大。這也是業界唯一支持100%容器虛擬化的集羣。

華為雲GaussDB（for openGauss）數據庫：讓核心數據庫上雲，與傳統分佈式數據庫相比，在性能、彈性、可用性方面更強，是金融領域安全級別的那種。

可信智能計算服務（TICS）：在安全保障的前提下，解決數據難開放、共享流通的問題，而且無須轉換就能適配業界主流的大數據應用場景。

華為雲CloudIDE智能編程助手：可以實現“讓程序自己寫程序”，還能隨時隨地、使用任何終端在線編程。

多樣性計算基礎軟件：雲的創新離不開操作系統、數據庫、中間件等基礎軟件根技術的支撐。如果説處理器是計算產業的“芯”，基礎軟件就是計算產業的“魂”。華為將圍繞鯤鵬、昇騰構建多樣性計算產業，尤其是在計算基礎軟件上持續投入，構建了包括操作系統、數據庫、AI計算框架等全套計算基礎軟件棧，使能多樣性算力，支撐華為雲的產品和服務創新。

而從華為雲此次發佈的新品中不難看出，所圍繞的一個核心人羣，就是開發者。

這也是華為雲明確做智能世界“黑土地”定位以來，為開發者增添的又一筆寶貴的資源。

正如華為雲所述：

為開發者提供技術支持，並提升開發效率和質量。

這是華為給開發者所帶去的，反之，站在開發者角度，一個問題便由此浮現。

開發者們能從這塊“黑土地”得到些什麼？

要回答這個問題，首先要知道的是在華為雲的“黑土地”中，有什麼？

華為雲最早在2015年提出了“沃土計劃”，並在2019年發佈了“沃土計劃2.0”，目標非常明確且簡潔：

堅持“硬件開放、軟件開源、使能夥伴、發展人才”，推動產業繁榮發展，，5年發展500萬開發者。

2020年，華為在沃土計劃2.0計劃上，總投入已經達到了2億美元（約13億人民幣）的規模。

長久以來所堅持，也讓華為雲的這片“黑土地”養分更足。

就在4天前（4月21日），在國際知名研究機構Gartner的報告中，便對當前的雲市場做了最新解讀：

雲計算IaaS市場保持高速增長，全球市場規模達到643.9億美元。

而針對華為雲這一塊，Gartner也給出了肯定的評價：

2020年，華為雲全球IaaS市場排名上升至中國前二、全球前五，主流廠商增速最快，成為全球五朵雲之一。

再具體一些的數據顯示，華為雲所保持的增速高達168%，而且已經連續四個季度位居中國公有云服務市場第二。

在現場，餘承東介紹完如此成績，激動地感謝道：

感謝有你，一路向前！

這些是華為雲在市場的表現，那麼回到開發者，目前又吸引了多少人呢？

超過240萬。

其中，華為雲開發者累計已達180萬；鯤鵬和昇騰開發者累計超過60萬。

而能夠吸引如此龐大開發人羣，原因還是在於華為雲黑土地給他們提供的價值：

堅持雲優先，優先選擇用雲方式為客户提供IT基礎平台服務，具體來説就是雲解決方案優先、雲服務商業模式優先、雲夥伴優先。

持續聚焦系統和架構創新，強化軟件，讓黑土地更肥沃。

全力支持開發者基於“黑土地”構建面向千行百業的應用。

而華為開發者大會也正是“黑土地”的具體展現形式之一：

在這場面向開發者的技術盛宴中，開發者不僅可以體驗和分享最新的ICT技術在行業的深度創新和應用，還能與業界大咖、華為科學家、頂級技術專家、天才少年和眾多開發者直接交流，切磋技術。

深度參與openEuler、openGauss、MindSpore、KubeEdge、Volcano等熱門開源項目；與Linux、Apache、CNCF、Rust等社區大牛探討最新開源技術，瞭解異構計算、光計算、超現實與全息等前沿理論和未來技術。

值得一提的是，今年這屆的華為開發者大會有一個非常鮮明的特色：第一次與全國各大高校聯辦。

不僅一改以往辦會地址，將主會場放到了深圳大學城之中與此同時，還設置了超過20所中國985/211高校分會場。

這也不難從側面反映出華為雲對開發者（尤其高校）的重視。

而且從此次大會的議程設置方面，也能體現這一點：

1場Keynote、10場峯會、70+場掃地僧見面會、100+場專題演講、40+場開發者訓練營……

完完全全就是圍繞“開發者”而展開。

畢竟，華為雲認為“每一個開發者都了不起”：

在數字時代，開發者就是時代的弄潮兒，是改變世界的力量，更是企業創新的動力和產業的靈魂。

如何評價？

軟，着實夠軟。

這或許是此次HDC最直觀的感受之一。

華為雲要做的是一塊“智能世界的黑土地”，而眾所周知，對於一塊土地來説，越肥沃就會越軟。

這也與華為雲所要聚焦的點不謀而合：

聚焦系統創新、架構創新，強化軟件。

然而細數過往經歷，這不是華為第一次體現出“軟”的一面。

早在去年的華為HAI大會上，作為與華為雲能力密不可分的昇騰，便脱去了硬件實力的光環。

軟件平台全面鋪開，站上了C位。

當時，華為表示：

極致性能，讓AI計算觸手可及，極簡易用，讓AI計算無處不在。而這個過程中軟件是必需品，也是發揮硬件性能的核心。

而更早的，在2018年10月的全聯接大會上，華為在發佈AI戰略時便推出了異構計算架構CANN 1.0和一站式AI集成開發套件MindStudio，為現今的軟件生態發展奠定了重要的基礎。

今天華為雲發佈的六大產品，可謂是給這片黑土地注入了更加肥沃的“軟實力”。

除了“軟”的感官之外，這屆華為開發者大會讓人印象深刻的第二點，便是華為對雲的重視。

一方面體現在了“雲優先”的戰略，以及在會中強調的華為雲市場表現。

另一方面，華為雲的組織架構有重大調整。

重視程度，可見一斑。

但如此佈局背後的原因，細分析下來可以大致分為三點。

首先，從趨勢角度來看，雲是ICT產業的未來。

據Gartner預測，到2025年，企業傳統數據中心將關閉90%；而與此相對的另一個預測則表示，屆時全球企業雲技術使用率將達100%。

如此可見，全面雲化已經是一種未來趨勢。

其次，數字化和智能化，需要雲原生的能力。

據預測，到2023年，雲原生應用佔比將達80%。以華為為例，基於雲原生的能力，研發系統部署和資源使用率提升10倍以上。生產系統部署從過去2小時縮短到10分鐘，一次變更成功率提升10%。

最後，AI已經成為生產力，企業AI的開發也需要“工場模式”。

依舊是以華為為例，將AI引入到工程交付的各個環節後，一年節約成本超過60億元！

……

這也就非常好的解釋了，華為在雲、軟件生態和開發者上大力付諸行動的緣由。

最後的最後，基於此的下一步，又該怎麼走？

對此，華為在此次開發者大會中也有所透露：

華為沃土計劃2.0在2021年將圍繞鯤鵬展翅、沃土雲創、昇騰萬里子計劃持續投入，累計將投入2.2億美金。

發佈“沃土雲創計劃”：2021年將投入1億美金資金扶持，聚焦6大技術領域（容器/微服務、SaaS化、大數據、AI、視頻、智能邊緣），與ISV和SaaS開發者夥伴，構建1000+創新應用。

整體來看，從過去，到現在，再未來，華為雲所重視的，也正應了這屆開發者大會主題：

每一個開發者都了不起。

更如餘承東最後的總結：

最強的智，是眾智；最大的力，是合力；每一個開發者，都在創造一往無前的奔騰時代。

世界有你，了不起！