GPT-5為什麼遲遲出不來？_風聞

1. GPT-4目前還是水平最高的大模型，SORA、GPT-4o都不算是太大的改進。GPT-4其實是2022年中就訓練出來，2023年初推出。過去這麼久了，OpenAI一直沒拿出新版本。CTO穆拉蒂剛表示，GPT-5預計將在 2025年底或2026年初，在特定任務中實現博士級別的智能。內部代號為Gobi和Arrakis，是一個多模態模型，預計有52萬億個參數。最初稱將於2023年發佈，後調整為2024年夏天。CEO奧特曼最近説，沒固定時間表，看能力。微軟首席技術官Kevin Scott表示，由於記憶力和推理能力的提升，下一代人工智能系統將能夠通過博士學位考試。

2. 基於token的模型，能力如何，這是AI哲學問題。大語言模型，是將文字轉成token，研究它們互相的關聯。多模態的模型，也還是基於token的，想辦法將圖像、視頻、音頻切片轉化。它們全部基於Transformer，係數多到幾千億、上萬億，係數越多，能夠更廣泛地探索token之間的關聯。

3. 通過有些“暴力”的辦法，確實逼出了AI之前沒有的三大能力：生成內容、與人交流、邏輯推理。暴力在於，內容生成不好，就拿鞭子抽，讓訓練改係數。AI沒辦法只好訓練，有時就運氣來了係數改對了。與人交流也是，人來RLHF，人工反饋，人評價不好，就拿鞭子抽訓練，不改好不算完。邏輯推理也是，回答得沒邏輯就鞭子抽訓練。

4. 因此，這些能力都是抽打訓練出來的。而且，答案是“藴含”在token中的。也就是説，不是物理世界，而是token世界。例如機器永遠不明白，什麼是痛，人不需要語言也能明白。機器只能把“痛”和一些導致“痛”的token組合關聯起來。簡單數學都成為非常困難的事，比如人理解1、2、3、4、5很自然，對於AI就特別困難。可以外接引擎改善數學表現，但是AI還是不理解數字，就特別彆扭。

5. 這種對於世界的彆扭理解，讓GPT的能力進步出現了瓶頸，GPT-5就一時出不來了。因為它的能力是逼出來的，其實是AI在假裝：人類大爺，看我這個題的模擬輸出好不？它其實不理解自己在幹啥，只知道，這麼輸出，人類大爺就滿意了。所以特別心虛，看見人類説”不對”，就連忙修改答案，換個模擬去撞成正確的。如果AI真的懂了，就會象教小朋友一樣呵斥人類，“老子已經比你強了，這個問題你錯了，正確的是這樣的”。現在，還是在模仿人類的回答，希望能讓人類滿意。所以到現在為止，都沒有作出什麼了不起的發現。

6. 人類什麼東西比較寬容？就是圖像輸出，這個沒有正確答案，看AI模擬得還挺花哨的，就能拿來用了。但是對有確定正確性的語言輸出，就特別嚴格，AI怎麼努力都沒法讓人滿意。拿鞭子狠抽的人都有點絕望了：AI就這水平了，堆再多係數都不行，得換模型。