推理成本最高可降低83%，豆包概念股午後走強

今日（2月12日）A股市場，豆包概念股午後大幅走強，創業板漢得信息拉昇封板，廣和通、移遠通信、潤欣科技、博通集成等紛紛大幅衝高。

同花順iFinD

消息面上，2月12日，豆包大模型團隊在其公號發佈文章《全新超稀疏架構，推理成本較MoE最高可降83%》。文章稱，近期，字節跳動豆包大模型團隊提出了全新的稀疏模型架構UltraMem，該架構有效解決了MoE推理時高額的訪存問題，推理速度較MoE架構提升2-6倍，推理成本最高可降低83%。

文章稱，該研究還揭示了新架構的Scaling Law，證明其不僅具備優異的Scaling特性，更在性能上超越了MoE。實驗結果表明，訓練規模達2000萬value的UltraMem模型，在同等計算資源下，可同時實現業界領先的推理速度和模型性能，為構建數十億規模value或expert開闢了新路徑。

公眾號"豆包大模型團隊"

本文系觀察者網獨家稿件，未經授權，不得轉載。