字節跳動開源AI訓練引擎 最快提速3倍以上
6月28日,字節跳動火山翻譯團隊宣佈推出LightSeq訓練加速引擎,並向全球開發者開源。這是業界首款完整支持Transformer模型全流程加速的訓練引擎,最快可提速3倍以上,幫助從業者大幅提升模型生產效率。
Transformer是自然語言處理、計算機視覺等AI技術領域最常用的基礎模型,被廣泛應用在機器翻譯、文本生成、文本摘要、圖像處理、時間序列預測等任務中。訓練和推理則是AI技術的兩個主要過程,相當於學習知識和解決問題。

受到硬件資源限制,一些高校實驗室和中小公司無法訓練大型模型,降低批處理大小等措施又會導致訓練時間成倍增加。如何利用有限的資源最快訓練出模型,成為計算機科研工作者和開發者們普遍關注的問題。
據悉,LightSeq訓練加速引擎能夠支持Transformer的完整加速,從詞嵌入層、編碼層、解碼層,到最後的損失函數層,業內首次實現了全流程支持。而且LightSeq的訓練速度極快,相比主流的序列生成庫,LightSeq最快只需要三分之一的時間就能完成訓練。
火山翻譯團隊負責人介紹説,LightSeq訓練加速引擎具有功能全面、簡單易用的特點,並提供了豐富的二次開發工具。通過插入自定義層或修改幾個命令行參數等方式,用户可以在各種流行訓練庫上輕鬆使用LightSeq。
字節跳動持續投入開源社區的建設,已開源了機器學習 平台Klever、聯邦學習 平台Fedlearner、高性能分佈式訓練框架BytePS等重磅項目。2019年底,火山翻譯團隊開源了LightSeq推理加速引擎,此次開源LightSeq訓練加速引擎,完全打通了Transformer模型從訓練到推理部署的整個流程。
“開源是推動科技進步的重要力量,我們受益於開源,更需要為開源社區做出貢獻”,上述負責人表示,字節跳動把LightSeq系列項目開源,與各界共享技術成果,希望能幫助廣大科研人員節約時間成本,為學術界和產業界激發創造力提供有力支持。