讓大學生跑語言大模型，這場世界超算競賽剛結束，北大首次奪冠_風聞

曉查 發自 凹非寺

量子位 | 公眾號 QbitAI

第十屆ASC世界大學生超算競賽總決賽，終於在中國科學技術大學落下帷幕。

北京大學首次獲得ASC決賽冠軍，而東道主中國科學技術大學獲得亞軍，香港中文大學獲得線上競賽冠軍。

ASC世界大學生超級計算機競賽，是由中國在2012年發起的世界最大規模的大學生超算競賽，與美國SC、德國ISC並稱全球三大超算競賽，今年正好是ASC第10屆。

大語言模型成關注熱門

今年的ASC決賽正式比賽在5月8日和9日兩天進行，參賽隊伍是從初賽300支隊伍隊伍中脱穎而出的24支隊伍。

其中有20支來自中國大陸高校的隊伍，在中科大體育館內完成線下比賽；另外4支來自港台和國外的隊伍，則藉助雲計算資源完成線上比賽。

各高校參賽隊伍需要在2天內完成6道賽題，時間緊任務重，任何失誤都可能導致與冠軍失之交臂，這也是ASC過去歷屆黑馬頻出的原因。

由於今年ChatGPT火熱，今年的大語言模型題受到了組委會和媒體的重點關注，這道題的優勝者也將獲得本屆ASC的e Prize計算挑戰獎。

ASC組委會提供了100GB的高質量中文數據集，要求參賽隊基於這一數據集實現15億、179億參數兩個模型的訓練。

參賽隊伍需要自行合理設計模型訓練策略，在追求極致性能的同時，還要滿足精度約束等嚴苛條件。

中國科學技術大學隊伍運用多種業界前沿的大模型並行策略、顯存優化方法，最終獲得了這道賽題的最高分，奪得本屆ASC e Prize計算挑戰獎。

中科大選手吳天銘表示：“這道賽題是在ChatGPT火起來之前就出來了，我們為此做了很多功課。不久後ChatGPT爆火，我們就已提前理解了它是怎麼運作的，所以覺得ChatGPT‘神奇也不神奇’。”

聚焦AI、量子計算前沿課題

除了大語言模型外，本屆ASC也聚焦於其他業界前沿問題。比如此前谷歌實現量子優越性的量子計算芯片“懸鈴木”，參賽選手需要在超算上模擬該芯片的量子採樣問題。

谷歌曾宣稱在傳統超算上，這個問題需要運行1萬年，而參賽選手需通過基於張量網絡的量子模擬算法實現10億倍的性能提升，將模擬時間縮短至10秒。

這道題也成為了本屆大賽的超級團隊賽項目，即5個線下隊伍與1個線上隊伍組隊完成，讓各高校之間不僅是競爭對手，也是合作伙伴，極大地考驗選手們的協作溝通能力。

此外，每屆大賽必不可少的“跑分”競賽項目也如期上演。

在HPL&HPCG基準測試這道題中，各參賽隊伍需要自行設計超算系統，在總功耗3000W約束下正確完成各項計算任務。

浙江大學以109萬億次/秒的HPL持續浮點運算性能，獲得本屆ASC最高計算性能獎。