浪潮信息李龍翔：多層數據訪問優化 應對超大規模系統挑戰

【環球網科技綜合報道】4月9日-13日，第十三屆國際性能工程學大會（ICPE2022）在線召開。此次大會涉及AI建模及算法、算力提升、能效測量、新型計算架構、體系結構研究等多個主題。其中，浪潮信息人工智能與高性能應用軟件部高性能應用架構師李龍翔發表主題為《多層數據訪問優化》的演講指出，隨着近年CPU核心數增加及性能的不斷增強，在超大規模系統並行計算時，越來越多的應用運行性能主要受數據訪問速度限制。針對超大規模集羣的數據存儲特點，他介紹了一種多層數據訪問 (Multi-Layered Data Access，MLDA) 優化方法，可以快速對超大規模並行計算性能瓶頸進行分析，通過對存儲、網絡、訪存、CPU等設備數據訪問過程優化，提升超大規模集羣並行計算效率。

據悉，這只是浪潮信息解決超大規模系統挑戰多種技術之一，在中文巨量模型"源1.0"的訓練過程中，浪潮信息採用了多種面向超大規模並行計算技術的軟硬件協同優化手段，通過流水線並行、張量並行等手段自動地將模型多層數據切分到不同的節點中實現並行。“源1.0"模型包含的參數總量達 2457 億，是 GPT-3 的 1.404 倍。