彈幕炸了！OpenAI直播大秀語音指揮AI自動編程，也就比老羅TNT強億點點_風聞

　　金磊 夢晨 明敏 發自 凹非寺

　　量子位 報道 | 公眾號 QbitAI

　　剛剛，OpenAI又玩出了一個新高度。

　　只輸入自然語句，AI就自動做了個小遊戲！

　　劃重點：不！ 用！ 你！ 編！ 程！

　　來，感受一下這個feel。

　　第一步，“小人兒”搞裏頭，輸入一句話就能讓它按照方向鍵左右移動：

　　Now make it controllable with the left and right arrow keys.

　　AI在理解了需求之後，自動編程，然後小人兒就真的可以左右移動了。

　　第二步，“石頭”搞裏頭，同樣輸入一句話，讓它“從天而降”：

　　Now have it fall from the sky, and wrap around.

　　第三步，用自然語言簡單再製定些規則，若小人兒被石頭砸中則終止遊戲。

　　Constantly check if the person and the boulder overlap at all, and if so, you lose.

　　最後還讓AI生成結束提示，其中要包括一句鼓勵人的話。

　　AI挑中的是“Try Again！”

　　當然，還有規則更復雜的小遊戲（例如增加計分等功能），也可以用同樣的方式，分分鐘生成：

　　這是魔法吧！現在開發小遊戲都靠“打字”了？！

　　圍觀直播的觀眾們，也是發出了同樣的感慨，瞧瞧這滿屏止不住的彈幕：

　　有網友甚至直呼道：

　　編程，已經變成AI自己的遊戲了。

　　這就是OpenAI重磅發佈的新品——Codex，一個能自己編程的AI。

　　AI編程這事並不新鮮了，像GitHub前不久鬧得風風火火的Copilot，就是其中一個。

　　但它背後的技術，其實還是來自於OpenAI。

　　然而這一次，OpenAI給自己的能力升了個級，來了個新版本。

　　不僅如此，搞一個小遊戲，僅僅是Codex能力的冰山一角罷了。

　　一起感受一下它更多驚豔的表現吧。

　　不用打字，直接語音命令它！

　　給AI打字“提需求”，還是略顯麻煩了一些。

　　能不能直接説話下達命令呢？

　　這個還真可以有！

　　OpenAI這次與微軟合作出了一個Word插件，便帶了這種語音控制的功能。

　　直接對着AI下命令“把每行開頭的空格去掉”，AI通過微軟給的接口一頓操作，成功執行：

　　啪的一下，全文就左對齊了有木有。

　　而且AI還精準地理解了命令的含義，那些段與段之間的空行並沒有改動。

　　來再複雜一點的。

　　給AI下達“每數到五行就加粗”命令，也是能輕鬆hold得住：

　　這種把任務吩咐下去，就有“人”給你完成的感覺，是不是很像老員工指揮實習生？

　　總之呢，是比羅永浩前幾年發佈的TNT系統語音辦公要強上那麼“億”點點了。

　　除了官方的演示，這次內測用户aniakubow，還讓AI表演了通過152字描述生成一個網頁。

　　可以看出這裏Codex是用Javascript操作Document對象來生成網頁，可能是訓練集裏沒有直接的HTML代碼的緣故吧。

　　最後，除了現場演示外，OpenAI還在Arxiv上發佈了Codex的論文預印版。

　　論文中，Codex要面對的挑戰甚至有刷IOI和ACM難度的競賽題！

　　Codex用對每道題生成1000種答案這種暴力方法，能做出600多道競賽題測試集中的3.23%，並且通過全部的測試用例。

　　這個編程題目測試集是UC伯克利研究人員在5月份剛剛做好的。

　　當時測試的GPT-2、GPT-3和開源的GPT-Neo可是在競賽難度上全軍覆沒，一道都沒做出來。

　　沒想到短短兩個多月，專為代碼而生的Codex就為前輩們洗刷了恥辱。

　　Codex的“魔法”，是如何實現的？

　　這麼炫酷的能力，莫非還是像GPT-3一樣堆數據，大力出奇跡嗎？

　　不全是，這次Codex最大的一個版本是120億參數，比起GPT-3的1750億還是小了很多。

　　要了解具體情況，還要從它的開發歷程説起。

　　最早，OpenAI研究人員拿GPT-3做各種試驗，發現GPT-3能從Python註釋中生成一些簡單的代碼。

　　這可把他們高興壞了，因為GPT-3根本沒特意拿代碼訓練過，只是看過一些博客和帖子中零星的代碼片段。

　　想想GPT-3在自然語言上的出色表現，要是專門訓練一個代碼版的GPT-3，那肯定也能再次震驚業界。

　　於是，他們找到了GitHub，這個擁有最多開源代碼的“小夥伴”來合作。

　　一開始是拿到了179G的Python代碼，但其中不乏存在一些篇幅太長的，以及明顯是自動生成的那種。

　　在剔除掉這些“不達標”的代碼後，最後留下的代碼大小為159G。

　　接下來當然是做預訓練，把這些代碼都餵給AI （Codex）。

　　不過這裏有一個問題：

　　GitHub上的開源代碼難免會有Bug，AI學了一堆有問題的代碼可咋辦？

　　其實這倒也好説，預訓練之後不是還要微調嘛。

　　微調的時候，全用編程競賽裏的正確答案，以及PyPI裏的靠譜開源代碼就可以了。

　　最後，120億參數版的Codex，能對28.81%的問題給出正確答案。

　　這個準確率超過之前的開源代碼預訓練模型GPT-Neo和GPT-J，還有基於GPT-2的代碼補全工具TabNine。

　　這個成績雖然不錯，不過離能實際應用還是有點遠了。

　　不過，這也難不住OpenAI的研究團隊。

　　他們很快便想到了“突破口”：

　　人類編程的時候，不也經常先出一個版本，然後反覆修改bug嘛~

　　那就讓AI像人一樣反覆修改，改出100個版本來，從中總能挑出幾個正確的來。

　　用上這種拿“量”堆出來的方法，Codex的最終成績是：

　　77.5%！

　　強，但不完全強

　　Codex令人驚豔的表現，一度讓網友們大呼：

　　要失業了要失業了！

　　有人直接在公屏上打出：再見了，計算機專業的學子們。

　　不過大家也不必如此擔心，因為在演示過程中，其實就出現了翻車的情況。

　　在輸入“Say Hello World with empathy”後，Codex給出的結果居然還是“Hello World with empathy”。

　　這也側面説明了Codex現在還不是完美的。

　　OpenAI就表示：

　　即便是參數達到120億的Codex 12B，它的能力可能也還不如一位編程剛剛入門的學生。

　　雖然Codex學習上億行代碼，但它更大程度是“記住了”這些代碼，並不是真正意義上的懂編程語言。

　　而且Codex對長字符串的理解也比較困難。

　　並且隨着字符數量的增加，Codex的性能表現下降得非常明顯。

　　在這種情況下，Codex就不能很好地理解用户的意圖，結果可想而知，給出的代碼可能就是完全錯誤的了。

　　此外，在理解變量和運算較多的註釋時，Codex也會犯錯：

　　在這個例子中，120億參數版的Codex，忘記了對變量w做減法，也沒有返回所有數字的乘積。

　　這些對於還在學習編程的新手程序員而言，非常不友好。

　　而且由於生成的代碼準確性和正確性都還不能保證，因此在安全問題上也存在一定風險。

　　不僅如此，OpenAI還表示，Codex會生成帶有種族歧視的內容。

　　在社會層面上，OpenAI還提出Codex的出現或許會衝擊程序員的就業；如果被濫用，還有網絡犯罪方面的隱患。

　　最後還有一點，就是環境方面的問題。

　　畢竟它作為大模型，參數量的規模不容小覷。

　　要不是合作方微軟Azure雲買了足夠多的碳排放限度，Codex可能還不能和我們見面呢（手動狗頭）。

　　如果想要試玩的話，OpenAI還準備了一個Python編程大賽，在這場比賽中Codex會作為你的搭檔和你一同解題。

　　比賽將於北京時間8月13日凌晨一點開始，就是這時間對國內不太友好。

　　大賽報名地址：

　　https://openai.com/blog/openai-codex/

　　參考鏈接：

　　[1]https://www.twitch.tv/openai

　　[2]https://www.youtube.com/watch?v=hP5nOFi5HOw

　　[3]https://twitter.com/OpenAI/status/1422967522890973185

　　[4]https://arxiv.org/pdf/2107.03374.pdf