失聯大神李沐B站復更：領讀Llama 3.1論文，還多講了一點AI八卦_風聞

量子位-量子位官方账号-17分钟前

2024-07-31

一水發自凹非寺

量子位 | 公眾號 QbitAI

AI大神李沐老師時隔1年多，終於迴歸B站“填坑”經典論文精讀系列了！

沒錯，最新主角兒還是Llama-3.1：

在這個18分鐘左右的視頻中，李沐老師手把手教我們讀Llama-3.1技術論文，甚至還爆料了一些八卦。（指路7分50秒左右）

他提到，Llama團隊在訓練最大模型時，其實一開始同時訓練了MoE模型和稠密模型，但是前者後來失敗了，所以最後只發了一個簡單版本。

更多細節大家可以去看原視頻，悄咪咪透露，李沐老師剛一上線，播放瞬間破萬了。

一大批研究僧們正聞風趕來，瞧瞧熱一就知道大家的精神狀態了：

（視頻地址在文末領取）

與此同時，大模型競技場排名更新，Llama-3.1-405B代表開源模型首次躋身競技場前三，僅次於GPT-4o和Claude-3.5-Sonnet。

當然了，這一結果可能並不意外，Meta官方早就暗戳戳地將這幾個作了一番比較。

同樣是人類評估，Llama-3.1-405B和另外兩個打得不分上下。

另外我們看到，Llama-3.1-405B不僅整體能打，在單項（編碼、數學、指令遵循、硬提示）中依然牢牢佔據前三。

值得一提的是，Llama-3.1-70B也來到了總榜第9，整體置信水平相較之前有了大幅提高。

不過最令人驚喜的是，與此同時，國外網友也對405B的新戰績發來賀電，更有人“貼心”提醒：

405B只接受過“計算最優”訓練，他們（指Meta）本來可以繼續前進，下一次迭代將會是驚人的。

Okk，知道Llama-3.1-405B很膩害了！

這不，僅發佈一週，網友們已經玩出花了……

拿來搞生產

搞生產第一步，先在本地跑起來試試~

Open Interpreter（一個讓LLMs在用户本地運行的項目）技術社區經理為我們展示了他的成果——

讓Llama-3.1-8B在樹莓派上運行，僅用到CPU。

方法嘛，只需在GitHub或Hugging Face下載llamafile文件，配置參數後即可。

據他透露，這項嘗試使用了Raspberry Pi 5（8GB內存）、M.2 Hat和Hailo AI模塊，且採用了4-bit quantization（4位量化）。

不過小哥也調侃，這傢伙運行幾句話就能真·燒乾CPU。

接下來，小哥已經在網友的催促下磨刀霍霍向405B了~

除了上面這個例子，還有網友用Llama-3.1-405B在任何GitHub倉庫上開始創建聊天機器人。

而且是不花錢那種，Hugging Face免費提供了創建新助手的功能。

不過Groq工程師Rick Lamers在嘗試後提出質疑：

當前的RAG管道可能存在問題，容易產生幻覺。

但不管怎樣，網友們想嘗試的心還是攔不住了~

另外，除了實實在在拿出東西，還有網友拿Llama-3.1-405B放起了煙霧彈。

就在剛剛，網友Hassan宣佈：

使用Llama-3.1-405B生成完整的React應用程序。

好傢伙，這下開發APP豈不是更簡單了！

雖然還未正式開源，但底下網友們已經開始排好隊了。

更多玩法歡迎大家自行解鎖~

李沐Llama3.1論文精讀

榜單完整數據：

參考鏈接：

[1]https://x.com/lmsysorg/status/1818321701052276990

[2]https://x.com/rohanpaul_ai/status/1817588798320222518

[3]https://x.com/nutlope/status/1818319880191643801

[4]https://x.com/satvikps/status/1817672316077154320