魔改GPT自動寫網文，速度一秒十字，還能給太監作品無限續更 | 開源_風聞

　　博雯 發自 凹非寺

　　量子位 報道 | 公眾號 QbitAI

　　如果一個人只看網文，那會寫出來怎樣的文字？

　　看了100G網文後，這個AI模型幫你試了一下。

　　先來一段自由創作：

　　乍眼看去很有內味，而且基本是一秒十字甚至更快的生成速度，非常的amazing。

　　那再放一段經典網文故事高潮前的內容，讓AI作家幫忙續一下？

　　‍‍呃……不是“三十年河東，三十年河西，莫欺少年窮”，沒內味兒啊！

　　這就是開發者親切地稱之為“人工智障寫作”，由GPT魔改而成的模型AI-Writer：

　　一秒十字，無限續寫

　　這一模型擁有100M參數量，基於100G網絡小説訓練，沒有采用任何其他素材。

　　因此，AI-Writer相當於是一位“只看網絡小説”的創作者，不具備任何網文以外的常識，行文風格自然也就比較小白。

　　但好在閲書無數，一句同樣的開頭：

　　就能生成風格迥異，走向不同的多個片段：

　　也可以自定義每次的生成字數，像上面就是每次生成200字。

　　理論上可以無限生成文字，但時間長了也會陷入“不斷重複某字或某片段”的循環之中。

　　生成文字速度受加速方式的影響，目前支持N卡、A卡、I卡、GPU加速，可以選擇最適合自己設備的方式：

　　‍

　　‍

　　像開頭展示的那段動圖，生成速度甚至不止一秒十字，就是通過GPU加速的效果。

　　如果你覺得AI寫的有點太過放飛自我，也可以設置生成文字的隨機程度。

　　要解釋這裏的文字生成隨機性，就要説到AI-Writer所採用的一種特殊的採樣方法：

　　對於段落開頭

　　將Top-P設置為0.995，幾乎完全按照輸出的概率分佈採樣，增強行文變化

　　對於其他位置

　　先找到最高概率的字的概率P，然後移除所有概率小於 0.02×P2的字

　　這樣，模型生成的每一個字都是一個概率分佈，因此，上面的文字生成的隨機程度，也就是文字生成時忽略小概率字的程度。

　　可以對比一下該值分別為0.01，0.1，0.9時的生成效果：

　　當然，由於這是個只有100M參數的小模型，所以邏輯和閲讀理解能力是較低的。

　　用開發者的話來説，就是“它是個純智障，純屬娛樂”。

　　模型可直接試玩

　　不過，就算本着娛樂的目的，我們也來看看怎麼做才讓這個AI作者動筆。

　　在環境配置上，開發者表示，如果採用他通過C+AVX2寫的純CPU版本，就不需要Python和Pytorch，只要是2014年以後的CPU都能成功運行。

　　（作者已將這一版本上傳至交流羣）

　　而上述演示的動圖則是在Python3.8和Pytorch1.10的環境配置下的Demo。

　　在環境配置完畢後，下載模型和Release文件，在模型文件中新建一個model文件夾，並將release文件解壓放在model目錄下。

　　這時你就可以運行python run.py，在終端快速生成文字：

　　（這裏可以先安裝一下DeepLearning環境）

　　文字可以一直自由生成下去，可以通過Ctrl+C來停止。

　　當然，由於這裏是在2.3 GHz 雙核Intel Core i5的Mac本上跑的，所以並沒有達到10字/秒的生成速度。

　　也可以在網頁中進行試玩，運行python server.py，並打開下載模型web-client文件夾中的index.html。

　　然後就可以打開網頁，直接在對話框中輸入開頭，點擊按鈕進行續寫了：

　　現在這個網頁版已經初具模型，開發者希望能有更多的人蔘與進來，一起將現階段的這個“人工智障”改進成對於創作者而言的實用工具，以及對於讀者而言的娛樂方式。

　　下載鏈接：

　　https://github.com/BlinkDL/AI-Writer/releases