昇思開源社區新星:共同成長,助中國AI框架崛起

【文/觀察者網 呂棟】
2020年3月,華為宣佈將剛誕生不久的全場景AI框架昇思MindSpore開源。就在同一年,曾子瑄考入重慶大學計算機學院,攻讀計算機科學與技術專業。這兩件看似沒有交集的事情,日後卻在昇思開源社區中擦出了亮麗的火花,成就了一段佳話。
在人工智能發展的洪流中,AI框架一直起着不可或缺的作用,它向下消彌了多樣性算力的複雜性,向上為開發者提供了豐富的接口、套件和工具,讓開發者可以聚焦在算法和數學本身,大幅降低了開發門檻,加速了人工智能和科學計算的演進。
4年多來,儘管PyTorch和TensorFlow等國外框架擁有先發優勢,但以昇思MindSpore為代表的中國自主AI框架也持續突破,已經迎頭趕上。根據中國科學院科技戰略諮詢研究院預測,中國AI框架2024年新增市場中,昇思MindSpore份額將達30%,標誌着昇思已躋身全球主流框架第一梯隊,成為行業新選擇。
作為框架新勢力,昇思MindSpore能在國外巨頭深厚的護城河中快速崛起,離不開開源社區中眾多開發者的同心聚力,曾子瑄就是其中的優秀代表。從技術小白到成長為昇思傑出開發者,曾子瑄再度驗證了從學習昇思、實踐昇思再到貢獻昇思的高效成長路徑。

像曾子瑄一樣的年輕開發者還有很多。僅用4年,昇思開源社區就匯聚了超過3.7萬名開發者,他們看重的不僅是高效、易用和全場景的技術能力,更重要的是,在充滿挑戰和機遇的AI時代,昇思社區的目標一直是與開發者共成長,攜手托起中國AI發展的未來。
初識昇思,開啓AI技術新徵程
曾子瑄目前在中國科學院軟件研究所就讀碩士一年級,4年前他才剛剛步入大學校園。
回想起當初與昇思MindSpore的邂逅,曾子瑄似乎還歷歷在目:“我接觸MindSpore最早是在2021年讀大一的時候,重慶大學舉辦了DevRun智能基座鯤鵬昇騰高校行,當時我第一次對以鯤鵬昇騰為代表的中國技術生態有所瞭解,也第一次瞭解到MindSpore框架,但當時人工智能專業知識和技能比較匱乏,所以對MindSpore的印象也僅限於聽説過。”
在那個時候,大模型行業正在為今天的爆發積蓄力量,基於昇思MindSpore開發的盤古大模型和中科院自動化所的“紫東太初”大模型已相繼亮相。但在當時,中國AI產業界最缺乏的並不是以昇騰軟硬件代表的算力基礎設施,而是以開發者為基礎的人才生態。
為了加速中國AI人才培養,華為當時做了相當多的規劃和行動,例如出版相關教材、在高效開設相關課程,並聯合教育部建設“智能基座”產教融合協同育人基地。2020年10月,重慶大學和華為簽訂了《“智能基座”產教融合協同育人基地合作協議》,雙方宣佈在鯤鵬、昇騰、華為雲等技術領域開展聯合課程開發與教學、課外實踐活動、實習就業等合作。
這為曾子瑄和昇思MindSpore的再次相遇創造了契機。

“大二、大三時在學校的一些課程中,如機器學習基礎、深度學習與大數據技術、自然語言處理等智能基座合作課程上,再次與MindSpore相遇,並在課程作業、課程實驗中,參考昇思社區提供的技術文檔使用MindSpore進行了初步實踐,發現MindSpore上手很容易,功能強大,能方便地進行AI應用開發。比如在框架的易用性上,MindSpore與主流框架的編程習慣類似,開發體驗、寫作方式也基本一致。如果開發者想自己做一些事情,還可以自定義API接口,MindSpore也會提供底層技術工具等支持。”他説道。
在學習昇思MindSpore相關課程的同時,曾子瑄還參加了學校智能基座社團的活動,進一步激發了對開源社區的興趣。在加入社團後,他多次組織與MindSpore相關的活動,發現昇思開源社區十分活躍,有許多門檻不同的開源活動可以參與,比如MSG(MindSpore Study Group)、開源實習、眾智、開源之夏、社區比賽等等,這些活動既可以提升個人專業能力、積累項目開發經驗,還能獲得一定報酬,“就跟玩遊戲一樣,開始前有教程、做任務有導師帶、完成後有相應獎勵”。
這些經歷,為曾子瑄後續融入社區、貢獻社區、在社區中成長打下了堅實基礎。
融入昇思,從學習實踐到成長貢獻
在曾子瑄融入昇思開源社區的過程中,學長的帶領起着關鍵作用。當時,正是學長介紹的華為昇騰眾智計劃經驗,讓曾子瑄第一次瞭解到了MindSpore。後來,學長畢業後去了華為2012實驗室,在MindSpore部門負責相關工作,並且成為MindSpore的一名佈道師。
時間來到2023年,學長負責的MindSpore NLP套件正處在項目初期的高速開發演進過程中,需要大量社區開發者投入其中。曾子瑄忙於學校大創項目結題和準備推免材料沒有參加,但他在校內組織的MindSpore開源實習宣傳吸引大量開發者加入。

隨着研究生推免的結束,曾子瑄可支配的靈活時間明顯比以前更多了,這時候恰好學長正在推廣昇思開源社區中“關於在MindSpore NLP套件中遷移模型、單卡微調模型和多卡微調模型”的任務,並且完成任務還能獲得報酬和獎勵,於是曾子瑄很快便接下了這個任務。
在這個過程中,曾子瑄作為MindSpore NLP SIG的核心成員,先後完成四個大模型的遷移工作,包括一個Falcon大模型微調案例開發。在富有挑戰性的算子開發領域,他申請了開源實習,完成了GPU後端的Flash Attention算子在MindSpore NLP的接入與調優,實現了兩倍以上的推理速度提升。在當時,MindSpore NLP套件幾乎不支持任何量化方法,而在比開源實習更高階的開源之夏項目中,曾子瑄完成了基於MindSpore的BitsAndBytes量化庫實現,降低了模型推理對顯存的需求,提升了計算性能,增強了模型部署在端側的可行性。

這其中既有他自身的努力,也離不開昇思開源社區的助力。
“在開發中,MindSpore提供的函數式和對象式融合編程範式,使構建神經網絡和訓練流程變得簡單,提供的API映射文檔也比較全面,大大降低了模型遷移的工作量。在自定義算子方面,MindSpore提供了Custom接口用於接入不同後端的算子,Custom接口會找到動態鏈接庫中相應的函數,只要按照接口規範定義算子,就能夠實現高效的運行時算子加載與運算。”曾子瑄對開發過程中MindSpore的技術優勢印象頗深。


昇思將圍繞開發者真實訴求,持續升級框架架構,使能AI模型未來創新
除了框架本身的技術特性外,加入開源社區還有一個明顯的好處,就是當遇到難題時,有諸多技術大牛可以一起討論解決問題,曾子瑄對此也深有體會。
“在開源之夏的項目開發過程中,因為需要遷移的BitsAndBytes庫本身軟件耦合程度高,關於算子接入的問題剛開始一直沒找到合適的解決方案,後來摸清楚了項目本身的構建和執行邏輯,再跟MindSpore佈道師和負責MindSpore自定義算子接口的工程師一起討論,得出了基本解決方案,隨後順利地完成了程序中由上至下一條核心執行線路的移植,奠定了項目完成的基礎。”他説道。
不難發現,正是在社區提供的諸多昇思MindSpore技術公開課、開源實習和活動比賽中,以曾子瑄為代表的年輕開發者獲得了學習、實踐和以練促學的機會,逐步成為AI領域中的新星。截至目前,昇思開源社區已提供30多個系列的AI主題課程,開展過600多場線上和線下的專題學習活動,並且已發佈1100+開源實習任務,以及300+模型和算子任務,還舉辦過30多場大賽。

與昇思共成長,攜手托起中國AI的未來
回想起在昇思開源社區中成長的點點滴滴,曾子瑄坦言自己收穫頗多。
“我把開源實習的工作融合進了本科畢業設計裏面,綜合成了一個模型遷移,模型應用,再到優化的過程,畢業設計成績優秀,在開源之夏完成的量化庫遷移的工作也與我現在的研究方向有關,總體上説開源社區的經驗與我日常的學習工作是相互促進的關係,我能從實踐中鍛鍊工程能力,捕捉到產業需求風向,從而影響到我對研究方向的把握,我在昇思社區的開源活動中學習到的技能,對於以後工作或者科研來説也是十分有幫助的。”他説道。
從什麼都不懂的技術小白,到成為MindSpore的傑出開發者,曾子瑄不僅提升了個人能力,開拓了視野,獲得了稀缺資源、機會和榮譽,也驗證了昇思開源社區高效的人才培養路徑。
未來無論曾子瑄繼續攻讀博士,還是到企業界和科研院所,昇思開源社區依然會繼續支持他的創新,比如藉助專項學術論文基金、社區項目支持等方式,為開發者提供創新資源和成果激勵,包括CAAI-昇思學術基金、鯤鵬昇騰科研創新使能計劃等等;社區中的技術委員會和各種興趣小組,也會支持開發者解決各種各樣的難題,並且基於昇思原生髮表的論文和原生模型也都會獲得算力等方面的激勵,鼓勵技術創新持續落地;對於成長起來的開發者,社區還通過開發者/佈道師認證、邀請加入SIG組和技術委員會等方式,幫助開發者提升影響力。


昇思賦能開發者,激發學術創新,共建開源框架繁榮生態
反過來我們可以再從另一方面看,正是像曾子瑄這樣的開發者迅速成長、不斷貢獻,昇思開源社區才愈發活躍,昇思開源框架的能力才愈發強大,二者是一個共同成長的過程。最近一年多來,昇思MindSpore在技術上持續突破,隨着2.0、2.3和2.4等版本相繼發佈,MindSpore已躍升成為服務中國AI大模型開發最靈活、訓練最好用、推理最高效的框架。
2020年剛開源時,昇思的下載量還只有10萬次,2021年超過100萬次,到了大模型逐步落地的2024年,下載量快速增長到1100萬次,呈現出一條陡峭的指數級增長曲線。
開源四年,昇思從打通科研創新,到使能使能百模千態、千行萬業,開創了AI產業聚集的新模式。截至目前,昇思已孵化、支持50多個國內外主流大模型,成為使能大模型的最佳框架選擇。在AI for Science領域,昇思也碩果累累,連續獲得了WAIC的最高獎SAIL獎。
在人工智能賦能產業發展的關鍵時刻,昇思MindSpore開源社區打通了與開發者共同成長、相互成就的正向循環。我們不難想象,在以科技創新引領新質生產力發展的指引下,AI框架在人工智能產業中的作用會愈發凸顯,而當越來越多像曾子瑄一樣的優秀開發者匯聚在昇思開源社區中時,他們凝心聚力,必將實現開源與創新的持續反哺,托起中國AI的未來。