GPT-5為什麼遲遲出不來?_風聞
陈经-亚洲视觉科技研发总监-45分钟前
1. GPT-4目前還是水平最高的大模型,SORA、GPT-4o都不算是太大的改進。GPT-4其實是2022年中就訓練出來,2023年初推出。過去這麼久了,OpenAI一直沒拿出新版本。CTO穆拉蒂剛表示,GPT-5預計將在 2025年底或2026年初,在特定任務中實現博士級別的智能。內部代號為Gobi和Arrakis,是一個多模態模型,預計有52萬億個參數。最初稱將於2023年發佈,後調整為2024年夏天。CEO奧特曼最近説,沒固定時間表,看能力。微軟首席技術官Kevin Scott表示,由於記憶力和推理能力的提升,下一代人工智能系統將能夠通過博士學位考試。
2. 基於token的模型,能力如何,這是AI哲學問題。大語言模型,是將文字轉成token,研究它們互相的關聯。多模態的模型,也還是基於token的,想辦法將圖像、視頻、音頻切片轉化。它們全部基於Transformer,係數多到幾千億、上萬億,係數越多,能夠更廣泛地探索token之間的關聯。
3. 通過有些“暴力”的辦法,確實逼出了AI之前沒有的三大能力:生成內容、與人交流、邏輯推理。暴力在於,內容生成不好,就拿鞭子抽,讓訓練改係數。AI沒辦法只好訓練,有時就運氣來了係數改對了。與人交流也是,人來RLHF,人工反饋,人評價不好,就拿鞭子抽訓練,不改好不算完。邏輯推理也是,回答得沒邏輯就鞭子抽訓練。
4. 因此,這些能力都是抽打訓練出來的。而且,答案是“藴含”在token中的。也就是説,不是物理世界,而是token世界。例如機器永遠不明白,什麼是痛,人不需要語言也能明白。機器只能把“痛”和一些導致“痛”的token組合關聯起來。簡單數學都成為非常困難的事,比如人理解1、2、3、4、5很自然,對於AI就特別困難。可以外接引擎改善數學表現,但是AI還是不理解數字,就特別彆扭。
5. 這種對於世界的彆扭理解,讓GPT的能力進步出現了瓶頸,GPT-5就一時出不來了。因為它的能力是逼出來的,其實是AI在假裝:人類大爺,看我這個題的模擬輸出好不?它其實不理解自己在幹啥,只知道,這麼輸出,人類大爺就滿意了。所以特別心虛,看見人類説”不對”,就連忙修改答案,換個模擬去撞成正確的。如果AI真的懂了,就會象教小朋友一樣呵斥人類,“老子已經比你強了,這個問題你錯了,正確的是這樣的”。現在,還是在模仿人類的回答,希望能讓人類滿意。所以到現在為止,都沒有作出什麼了不起的發現。
6. 人類什麼東西比較寬容?就是圖像輸出,這個沒有正確答案,看AI模擬得還挺花哨的,就能拿來用了。但是對有確定正確性的語言輸出,就特別嚴格,AI怎麼努力都沒法讓人滿意。拿鞭子狠抽的人都有點絕望了:AI就這水平了,堆再多係數都不行,得換模型。
