運行LIama2得8400萬元！最快AI推理芯片成本推算引熱議_風聞

白交 發自 凹非寺

量子位 | 公眾號 QbitAI

想實現史上最快大模型推理，得要1171萬美元（8410萬元）？？？

同等項目下，使用英偉達GPU成本只需30萬美元……

關於最強AI芯片易主Groq，可能得讓子彈再飛一會兒了。

這兩天，Groq驚豔亮相。它以號稱“性價比高英偉達100倍”的芯片，實現每秒500tokens大模型生成，感受不到任何延遲。外加谷歌TPU團隊這樣一個高精尖人才Buff，讓不少人直呼：英偉達要被碾壓了……

喧囂過後開始出現一些理智討論，其中主要還是針對Groq的效益成本問題。

網友粗略一算，現在演示Demo就需要568塊芯片，花費1171萬美元。

於是乎，業內業外各界人士不約而同地展開了一場算術大法。

甚至出現了位分析師，拿着表格現身説法……

並感嘆了句：OK，everybody is doing public math this week.

不過Groq也第一時間在社交網絡上進行了回應。

“每個人都在做數學”

參與到Groq成本問題討論的，有計算機學生，也有同提供推理服務的雲廠商，甚至還有Groq前員工大戰現員工……好不熱鬧。

摘取幾個有代表性的，我們來看看大家都是如何看待的。

首先一個粗略估計，一張卡的價格約為2萬美元，內存又僅為0.23GB。

那麼為單個LLama 70B模型服務，就需要購買大約320張卡（實際上更多），包括服務器在內大約花費1千萬美元……

而要是跟英偉達的H100對比，情況又是如何？

Lepton的賈揚清也參與進來，算了一筆賬。除了基本價格，他還從能源功耗、性能、運營成本等角度進行了分析。

最終總結出這幾個核心觀點：

對於LLaMA 70b模型，使用572張卡來計算，每年電費將花費25.4萬美元；

使用4張H100卡可以實現Groq一半的性能，如今8卡H100盒子的價格約為30萬美元。

如果運營三年，Groq 的硬件採購成本為1144萬美元，運營成本為76.2萬美元。相比起來H100採購和運營成本更低。

值得一提的是，在Groq給出的基準測試中，也包括了Lepton在內，推理速度大概是Lepton的三倍。

賈揚清還透露，他跟Groq創始人是舊相識了：

在谷歌時就相互知道。

不過在這些討論中，也有其他算法。

比如有網友反應，按照單個Token價格這個維度來計算，情況又是如何呢？

沒關係，還有更專業的分析師會出手。

不過根據他的計算，每100萬Tokens的花費，Groq性價比是要高一些。

除此之外，還有一些其他的討論，像是否支持加速任何Transformer？

Groq在線答疑

由於大家過於關注，Groq忍不住親自下場解答。

是時候再發一個常見問題帖子來澄清了。

主要有以下幾點：

採用開源模型，適應我們的編譯器，然後運行它，僅此而已。

我們token價格很實惠很高效，因為從芯片到系統都自己搞，沒有中間商；

不會出售芯片，但第三方供應商除外；公佈的銷售數據有偏差。

我們的目標客户不是單卡用户。

另外還在持續地在線答疑中……

所以Groq是否能真的撼動住英偉達的地位，估計還得再等一等。

不過昨天英偉達股價倒是異動了一波……

參考鏈接：

[1]https://twitter.com/GroqInc/status/1760113134566576558

[2]https://twitter.com/swyx/status/1760065636410274162

[3]https://news.ycombinator.com/item?id=39428880

[4]https://twitter.com/JayScambler/status/1759372542530261154

[5]https://twitter.com/DZhang50/status/1759839771487297637