“語音到語音”即時翻譯AI模型推出

科技日報北京1月15日電 （記者張夢然）《自然》雜誌15日介紹了一款人工智能（AI）模型，其宛如科幻小説裏的“巴別魚”，能直接“語音到語音”翻譯多達101種語言的語音和文本。由Meta推出的這一模型名為SEAMLESSM4T，其填補了語言覆蓋方面的空白，且性能優於現有其他系統。該成果為快速通用翻譯鋪平道路，其資源公開可用（用於非商業用途），以協助進一步研究包容性語音翻譯技術。

科幻小説讀者可能很熟悉《銀河系漫遊指南》裏的“巴別魚”，這種小魚能進入耳朵，以口譯形式即時將一種語言翻譯成另一種語言。這種工具對於促成全球互聯環境下的交流非常有用，但大多數現有的機器學習翻譯系統都是文本導向的，或需要好幾步轉換——語音識別、翻譯成文本、再將文本轉換成語音。此外，現有語音到語音模型的語言覆蓋範圍也遠低於文本到文本模型，並且傾向於從源語言翻譯成英語，而非從英語到另一種語言。

為了突破這些限制，Meta的“無縫交流團隊”開發了一款單一模型，支持多達101種語言之間的多種翻譯模式。SEAMLESSM4T可支持語音到語音（識別101種語言並翻譯為36種語言）、語音到文本（101種語言譯為96種）、文本到語音（96種語言譯為36種）、文本到文本（96種語言）的翻譯，以及自動語音識別（96種語言）。在語音到語音的翻譯中，SEAMLESSM4T的文本翻譯比現有系統準確度要高23%。這一AI模型可過濾背景噪聲並適應説話者的差異。

研究團隊總結稱，雖然還需要進一步優化，但SEAMLESSM4T標誌着在跨越語言障礙、促進交流方面的重要進步。