浪潮AI服務器持續領跑AI計算性能提升
6月30日,全球權威AI基準評測MLPerf最新V2.0訓練評測成績榜單公佈,浪潮AI服務器表現優異,在本次單機訓練性能評測中繼續保持領先。
據悉,本次評測任務涵蓋了當下主流AI場景,包括自然語言處理(BERT)、智能推薦(DLRM)、圖像分類(ResNet)、醫學影像分割(3D U-Net)、輕量級目標物體檢測(RetinaNet)、重量級目標物體檢測(Mask R-CNN)、語音識別(RNN-T)以及強化學習(Minigo)8類AI任務。
在單機訓練評測的固定任務中,浪潮信息以高端AI服務器斬獲自然語言理解(BERT)、智能推薦(DLRM)、語音識別(RNN-T)三項性能成績第一,位列單機冠軍榜首。在本次配置8顆NVIDIA A100 Tensor Core GPU的主流高端AI服務器中,浪潮AI服務器斬獲5項任務最佳成績(BERT、DLRM、RNN-T、ResNet、Mask R-CNN)。
自參加MLPerf AI性能評測以來,浪潮AI服務器通過軟硬件全面優化,持續實現AI性能突破。相較於2018年12月MLPerf 初始版本V0.5的典型配置8卡機型的性能數據,浪潮AI服務器的性能顯示出大幅提升,提升比例最高達789%,2.35倍於摩爾定律增速。
當前,基於Transformer神經網絡的預訓練大模型正引領新一代AI算法發展,並逐步從自然語言處理走向計算機視覺、多模態等領域。MLPerfTM評測任務中的BERT模型即是基於Transformer架構的模型。Transformer簡潔、可堆疊的架構使得開發極大參數量、基於極大數據集的預訓練大模型成為可能,這帶來了模型算法能力的大幅提升,但同時也對AI計算系統的處理性能、通信互聯、I/O性能、並行擴展、拓撲路徑及散熱能力提出了更高的要求。
在本次BERT評測任務中,浪潮AI服務器通過優化數據預處理、GPU之間密集參數通信、超參數自動尋優等,進一步提升了BERT訓練性能,在15.869分鐘內即在Wikipedia數據集的2850176條數據上完成了3.3億參數的BERT模型訓練,相較於V0.7版本的最佳成績49.01分鐘的性能提升達到309%。