ChatGPT不是一天建成的：人類如何用66年實現今天的AI聊天？_風聞

來源：澎湃新聞

·人工智能這一術語始於1956年的美國達特茅斯學院，經歷幾十年“三起兩落”的發展階段，有過“寒冬”，也有過“盛夏”：幾次重大事件讓一度歸於沉寂的人工智能研究再次成為被廣泛討論的熱門話題。ChatGPT的成功，源於以深度學習為代表的人工智能技術的長期積累。

羅馬不是一天建成的。

當人工智能對話工具ChatGPT一夜之間成為頂流，在略顯沉悶的科技界如閃電般發出炫目光芒後，它似乎點亮了指引投資界方向的明燈，一些商界人士的內心開始“騷動”。

的確，這個成績是史無前例的。ChatGPT是有史以來用户增長最快的互聯網服務，推出僅兩個月就獲得了1億用户。它被內置於微軟的必應搜索引擎中，把谷歌頃刻間拉下神壇，正在促成搜索引擎自誕生以來的重大轉折點。

但ChatGPT絕非憑空而來。這款聊天機器人是多年來一系列大型語言模型中最完善的一個。梳理ChatGPT的簡要歷史就會發現，在其誕生前，有無數技術的迭代、理論的發展為它鋪路。

20世紀五六十年代：符號與亞符號人工智能

人工智能這一術語始於1956年的美國達特茅斯學院，經歷幾十年“三起兩落”的發展階段，有過“寒冬”，也有過“盛夏”：幾次重大事件讓一度歸於沉寂的人工智能研究再次成為被廣泛討論的熱門話題。ChatGPT的成功，源於以深度學習為代表的人工智能技術的長期積累。

1956年達特茅斯會議，約翰·麥卡錫、馬文·明斯基、克勞德·香農、艾倫·紐厄爾、赫伯特·西蒙等科學家正聚在一起，討論用機器來模仿人類學習以及其他方面的智能。這一年被譽為人工智能誕生元年。

人工智能領域主要有兩類，一類是符號人工智能（symbolic

AI），另一類是以感知機為雛形的亞符號人工智能（subsymbolic

AI）。前者的基本假設是智能問題可以歸為“符號推理”過程，這一理論可追溯至計算機鼻祖、法國科學家帕斯卡和德國數學家萊布尼茨，真正體現這一思想的所謂智能機器，源於英國的查爾斯·巴貝奇（Charles

Babbage）和艾倫·圖靈（Alan Turing）的開創性工作。

亞符號人工智能的出現歸功於行為主義認知理論的崛起，其思想基礎是“刺激-反應理論”。美國神經生理學家沃倫·麥克卡洛克（Warren McCulloch）、沃爾特·皮茨（Walter Pitts）提出神經元模型後，心理學家弗蘭克·羅森布拉特（Frank

Rosenblatt）提出了感知機模型，奠定了神經網絡的基礎。

早期的神經網絡技術秉承人工智能深度學習“逐層遞進、層層抽象”的基本思想，出現了諸如MCP神經元、感知機和前饋神經網絡等模型，它們通常由多個處理信息且相互連接的“神經元”組成，其靈感來自人腦中所連接神經元之間的信息交換。

20世紀五六十年代，人工智能在符號演算和感知機兩個方向上都陷入了停滯。在麻省理工學院和加州大學伯克利分校任教的休伯特·德雷福斯（Hubert

Dreyfus

）1965年發表《鍊金術與人工智能》報告，將當時所進行的神經網絡研究與歷史上的鍊金術相提並論，辛辣指出爬上樹梢不等於攀登月球。1973年，“萊特希爾報告”對當時的符號主義人工智能提出批評，認為“迄今的發現尚未產生當時承諾的重大影響”，人工智能第一次跌入低谷。

80年代興起的專家系統和神經網絡，也因為受制於計算能力和對智能的理解，並未獲得實質性的突破，使得人工智能跌入了第二次低谷。

但從80年代開始，一棵大樹已經播種。

20世紀八九十年代：遞歸神經網絡

理解和使用自然語言是人工智能面臨的最大挑戰之一。語言常常充滿歧義，極度依賴語境，而且通常用語言溝通的各方需要具備大量共同的背景知識。與人工智能的其他領域一樣，自然語言處理相關的研究在最初的幾十年集中在符號化的、基於規則的方法上，並沒有取得很好的效果。遞歸神經網絡（Recurrent

Neural Networks）改變了一切。

ChatGPT是基於大型語言模型GPT-3的一個對話式版本，而語言模型是一種經過大量文本訓練的神經網絡。由於文本是通過不同長度的字母和單詞序列組成，語言模型需要一種能夠“理解”這類數據的神經網絡，發明於20世紀80年代的遞歸神經網絡可以處理單詞序列。但有一個問題是，它們的訓練速度很慢，而且可能會忘記序列中之前的單詞。

1997年，計算機科學家斯皮·哈切瑞特（Sepp

Hochreiter）和尤爾根·斯成杜博（Jürgen

Schmidhuber）通過發明長短期記憶（LSTM）網絡解決了這個問題，這是一種具有特殊成分的循環神經網絡，可以讓輸入序列中的過去的數據保留更長時間。LSTMs可以處理幾百個單詞長的文本字符串，但他們的語言技能有限。

在人工智能處理自然語言出現重大突破前夕，神經網絡和機器學習在2016年發生了一次“出圈”事件。谷歌公司的AlphaGo在各種圍棋比賽中大獲全勝，給全世界做了一次人工智能科普。DeepMind創始人之一沙恩·萊格（Shane

Legg）認為，超越人類水平的人工智能將在2025年左右出現。谷歌公司戰略委員會成員雷·庫茲韋爾（Ray

Kurzweil）則提出了令人震驚的“奇點理論”，認為2029年完全通過圖靈測試的智能機器將會出現，以強人工智能為基礎的智能爆炸將會在2045年出現。

AlphaGo戰勝李世石和柯潔。

2017年：Transformer

谷歌的一個研究團隊發明了Transformer，這是一種神經網絡，可以跟蹤每個單詞或短語在序列中出現的位置，從而實現了當今這一代大型語言模型背後的突破。單詞的含義通常取決於前面或後面其他單詞的含義。通過跟蹤這些上下文信息，Transformer可以處理更長的文本字符串，並更準確地捕捉單詞的含義。例如，“hot

dog”在“Hot dogs should be given plenty of water（狗熱了要多喝水）”和“Hot dogs

should be eaten with mustard（熱狗應該和芥末醬一起吃）”這兩個句子中的含義截然不同。

谷歌發佈Transformer的那篇著名論文。

Transformer能夠同時並行進行數據計算和模型訓練，訓練時長更短，並且訓練得出的模型可用語法解釋，也就是模型具有可解釋性。

經過訓練後，Transformer在包括翻譯準確度、英語成分句法分析等各項評分上都達到了業內第一，成為當時最先進的深度學習模型。

Transformer自誕生的那一刻起，就深刻地影響了接下來幾年人工智能領域的發展軌跡。短短的幾年裏，該模型的影響已經遍佈人工智能的各個領域——從各種各樣的自然語言模型到預測蛋白質結構的AlphaFold2模型，用的都是它。

2018年：GPT-1

在Transformer誕生還不到一年的時候，人工智能研究機構OpenAI推出了具有1.17億個參數的GPT-1模型，GPT是Generative

Pre-training

Transformer（生成式預訓練Transformer）的縮寫，即用大量數據訓練的基於Transformer的模型。該公司希望開發多技能、通用的人工智能，並相信大型語言模型是實現這一目標的關鍵一步。

GPT將Transformer與無監督學習相結合，這是一種根據事先未註釋的數據訓練機器學習模型的方法。這讓軟件可以自己找出數據中的模式，而無需被告知它在看什麼。機器學習先前的許多成功都依賴於監督學習和註釋數據，但手動標記數據是一項緩慢的工作，因此限制了可用於訓練的數據集的大小。

GPT最終訓練所得的模型在問答、文本相似性評估、語義藴含判定以及文本分類這四種語言場景，都取得了比基礎Transformer模型更優的結果，成為了新的業內第一。

為了創造通用人工智能，“你需要有數十億美元的投資。”OpenAI LP的首席科學家Ilya Sutskever（左）2019年説。他與該公司當時的首席技術官Greg Brockman坐在一起。

2019年：GPT-2

微軟向OpenAI投資了十億美元。同年，OpenAI公佈了具有15億個參數的模型：GPT-2。該模型架構與GPT-1原理相同，主要區別是GPT-2的規模更大（10倍）。同時，他們發表了介紹這個模型的論文“Language

Models are Unsupervised Multitask Learners”

（語言模型是無監督的多任務學習者）。在這項工作中，他們使用了自己收集的以網頁文字信息為主的新的數據集。不出意料，GPT-2模型刷新了大型語言模型在多項語言場景的評分紀錄，引起了更大的轟動。但OpenAI稱，他們非常擔心人們會使用GPT-2“產生欺騙性的、有偏見的或辱罵性的語言”，因此不會發布完整的模型。

2020年：GPT-3

GPT-2令人印象深刻，但OpenAI的後續GPT-3引起了更大的反響，它實現了生成類人文本能力的巨大飛躍。GPT-3可以回答問題、總結文檔、生成不同風格的故事，在英語、法語、西班牙語和日語之間進行翻譯等。它的模仿能力不可思議。

最顯著的收穫之一是，GPT-3的收益來自於現有技術的超大規模化，而不是發明新技術。 GPT-3有1750億個參數，比前兩款GPT模型要大得多：經過基礎過濾的全網頁爬蟲數據集（4290億個詞符）、維基百科文章（30億詞符）、兩個不同的書籍數據集（一共670億詞符）。它的模型架構與GPT-2沒有本質區別。

GPT-3面世時未提供廣泛的用户交互界面，並且要求用户提交申請，申請批准後才能註冊，所以直接體驗過GPT-3模型的人並不多。

早期測試結束後，OpenAI對GPT-3進行了商業化：付費用户可以通過應用程序接口（API）連上GPT-3，使用該模型完成所需語言任務。2020年9月，微軟公司獲得了GPT-3模型的獨佔許可，意味着微軟可以獨家接觸到GPT-3的源代碼。

與此同時，上一代的缺點進一步被放大，谷歌的人工智能倫理團隊聯合主管蒂姆尼特·格布魯（Timnit Gebru）與人合著了一篇論文，強調了與大型語言模型相關的潛在危害，但該論文不受公司內部高級經理的歡迎。2020年12月，格布魯被解僱。

2022年1月：InstructGPT

GPT-3公測期間用户提供了大量的對話和提示語數據，而OpenAI內部的數據標記團隊也生成了不少人工標記數據集。OpenAI用這些數據對GPT-3用監督式訓練進行了微調，並收集了微調過的模型生成的答案樣本，使用獎勵模型和更多的標註過的數據繼續優化微調過的語言模型，並且進行迭代，最終得到了InstructGPT。InstructGPT更善於遵循人的指示，並且產生更少的冒犯性語言、更少的錯誤信息和更少的整體錯誤。

大型語言模型一個普遍的問題是，訓練它們的成本，使得只有最富有的實驗室才能創建一個。這引發了人們的擔憂，即這種強大的人工智能是由小型企業團隊秘密開發的，沒有經過適當的審查，也沒有更廣泛的研究社區的投入。作為回應，一些合作項目開發了大型語言模型，並將它們免費發佈給任何想要研究和改進該技術的研究人員。Meta構建並給出了OPT，這是GPT-3的重構。Hugging

Face領導了一個由大約1000名志願研究人員組成的聯盟來構建和發佈BLOOM。

OpenAI工作人員和Dota 2電子競技團隊OG的成員一起拍照。

2022年12月：ChatGPT

最終，2022年12月，ChatGPT面世。與InstructGPT模型類似，ChatGPT是OpenAI對GPT-3模型微調後開發出來的對話機器人。OpenAI官網信息顯示，ChatGPT與InstructGPT是姐妹模型。與InstructGPT一樣，ChatGPT使用強化學習對人類測試人員的反饋進行了訓練，這些測試人員對其表現進行了評分，使其成為流暢、準確且無害的對話者。從此以後，全球有1億人在和它聊天。

用户們在社交媒體上曬出來的對話例子表明，ChatGPT能完成包括寫代碼、代碼改錯、翻譯文獻、寫小説、寫商業文案、創作菜譜、做作業、評價作業等一系列常見文字輸出型任務。ChatGPT比GPT-3更優秀的一點在於，前者在回答時更像是在與用户對話，而後者更善於產出長文章，欠缺口語化的表達。

ChatGPT一夜走紅之後，在全球引發了高度關注，有業內人士認為它將影響包括搜索引擎、廣告業、教育行業等領域。2022年12月，谷歌內部發布紅色警報，着手進行緊急應對。

在接受《時代》專訪時，ChatGPT回答道：我還有很多侷限，但人類應準備好應對AI。