馬斯克開源Grok-1，3140億參數迄今最大

當地時間3月17日，特斯拉首席執行官（CEO）馬斯克的AI創企xAI正式發佈3140億參數的混合專家模型Grok-1。xAI官方網站稱，其遵照Apache 2.0協議開放模型權重和架構。

xAI官方網站截圖

據第一財經報道，Grok-1參數量遠超OpenAI GPT-3.5的1750億，是迄今參數量最大的開源大語言模型。

17日，馬斯克還在社交平台上發文對OpenAI進行了嘲諷：“告訴我們更多關於OpenAI開放部分的信息。”

2023年11月，xAI官網發佈文章，公佈了Grok的詳細進展。

文章稱，Grok是一款仿照《銀河系漫遊指南》設計的AI，幾乎可以回答任何問題，它甚至可以建議要問什麼問題。“Grok回答問題時略帶機智和叛逆，所以如果你討厭幽默，請不要使用它”。

xAI官方網站截圖

文章介紹説，Grok的一個獨特且基本的優勢是，它可以通過X平台實時瞭解世界。它還將回答被其它大多數AI系統拒絕的尖鋭問題。

文章指出，Grok仍然是一個非常早期的測試版產品，是“我們在2個月的訓練中所能做到的最好產品，期望在您的幫助下每週都能快速改進”。

文章表示，Grok-1的研發經歷了四個月。期間，Grok-1經歷了多次迭代。“宣佈創立xAI後，我們訓練了一個330億參數的LLM原型（Grok-0）。這個早期模型在標準LM測試基準上接近LLaMA 2（70B）的能力，但只使用了一半的訓練資源。在過去兩個月裏，我們在模型的推理和編碼能力方面取得了顯著進步，Grok-1終於誕生。”

文章稱，這是一款功能更為強大的SOTA語言模型，在HumanEval編碼任務中達到了63.2%，在MMLU中達到了73%。

為了瞭解對Grok-1所做的性能改進，xAI使用了一些旨在衡量數學和推理能力的標準機器學習基準，對其進行一系列評估。

在這些基準測試中，Grok-1顯示出了強勁的性能，超過了其計算類別中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量訓練數據和計算資源訓練的模型，例如GPT-4，才能超越它。“這展示了我們在高效訓練LLM方面取得的快速進展”。

同時，文章也指出，由於這些基準可以在網上找到，並且他們不能排除模型無意中進行了相應的訓練。因此，他們在收集完數據集之後，根據去年5月底公佈的2023年匈牙利全國高中數學期末考試題，對他們的模型（以及Claude-2和GPT-4模型）進行了人工評分。結果，Grok以C級（59%）通過考試，Claude-2也取得了類似的成績（55%），而GPT-4則以68%的成績獲得了B級。文章稱，他們沒有為應對這個考試而特別準備或調整模型。

本文系觀察者網獨家稿件，未經授權，不得轉載。