何懷宏：GPT將與人“分道揚鑣”_風聞

摘要

人與技術的一個基本矛盾就是人類飛速發展的控制能力和落後的自控能力之間的基本矛盾。這一矛盾可能以這樣一種方式結束：隨着人的控制能力發展到極致，一種新的智能將可能突然超過人的智能而使其歸零。隨着GPT越來越容易上手，人們可以用“自然語言”隨時隨地提出各種各樣的問題，這將會刺激技術日新月異地飛速發展，應用的領域還會不斷擴大。它會變得越來越“通用”，直到囊括幾乎所有人類智能和體能的領域。那時，“機器語言”將戰勝人類的“自然語言”。轉變的關鍵在於通用的人工智能是否會獲得“自我意識”進而獲得“自主意識”，從而成為一種全面超過人的超級智能。

GPT****的現實挑戰與未來風險

——從人類的觀點看

何懷宏｜鄭州大學哲學學院特聘首席教授，北京大學哲學系教授

本文近期將刊載於《探索與爭鳴》

具體內容以正刊為準

非經註明，文中圖片均來自網絡

人類面臨的並不僅僅是人工智能這一種危險，而是被各種各樣的危險環伺。除了一直存在的一些自然危險，比如地球被小行星襲擊（最近有一次成功擊中一顆小行星的實驗倒是説明了技術的正面效力和最該使用的方向），近地球的宇宙中發生某種突發事件，還有地球上可能發生的地質和氣候突變，如極大的火山地震爆發等。更多的還是人自身帶來的危險，比如因為人的一些“逾越”活動所帶來的對自然環境的破壞，全球氣候變暖等等。除了這些漸進的威脅，還有緊迫或難以預測的人類危險，比如對基因工程底線的突破不知會造出什麼樣的“人”和其他“生物”，對人的生物性質的改造（比如一種讓碳基生物的人不斷硅基化，但仍保留人的意識）。

腦機結合將給這種人賦予和人工智能一樣強大的知識庫，包括控制物體的能力，那樣或許我們將看到這種硅基與碳基結合的“新人”與單純硅基的智能機器的“決鬥”。還有一些難以預測的危險也可能會先行結束這類競爭，比如人類發動自殺性的全面核大戰，從而摧毀所有的人類、生物，乃至毀掉包括硅基生物的智能機器。人類需要考慮這全方位的危險，做出全方位的努力，或許才能避開某些主要危險。而為此，人類是否已經團結好了，形成一個命運共同體，以應對這些全面的危險呢？我們還應該努力分清輕重緩急，適當平衡，首先對付那些可能衝在最前面的危險，這大概也就是近日一千多名科學家和企業家呼籲暫停GPT開發六個月的意義。

GPT帶來的現實挑戰

我使用“GPT”（Generative Pretrained Transformer）來統一指代當前由ChatGPT、GPT-4代表的一類人工智能新技術。未來也許會有更好的概念來指稱這一類技術，但目前使用“GPT”有一個便利，它和GDP（國內生產總值）字形和發音相近，GPT未來也確實可能成為GDP的一個重要影響因素，其相關產業在GDP中的比重會不斷增加，甚至有一天GPT還可能取代GDP成為一項重要的國民經濟核算指標。當然， GPT所代表的指標（或可稱為“人工智能生產總值”）可能不再用於單個國家，甚至不再屬於人類。

我在這裏加上了一個副標題，即“從人類的觀點看”。這句話可能有點多餘，但它暗示了未來可能會有另一種觀點來看待GPT，那不是從人類的角度出發，而是超越人類的角度，也許是“超級通用智能”的角度。但我們目前對此還一無所知。也許今天我們認為是挑戰和風險的過程，在另一種觀點看來則是“凱歌行進”。

GPT 大概是人工智能領域中第一個人們可以廣泛使用，甚至將變得日常化的產品。英偉達（NVIDIA）創始人兼首席執行官黃仁勳在2023 GTC（GPU TECHNOLOGY CONFERENCE）會議上反覆強調：“我們現在正處於AI的 ‘iPhone’ 時刻。”也就是説，GPT可能會像智能手機一樣普及。它是歷史上用户增長最快的電子產品，自去年11月30日 ChatGPT 上線以來，2個月活躍用户數就達到了 1 億。在今年3月14日微軟將GPT-4嵌入其 Office 系統之後，用户的數量更是進一步暴增，而且還有許多人“不得其門而入”，或者只能在等候單上等待。

過去在人工智能領域吸引投資最多，最被寄予厚望的產品似乎是無人駕駛汽車，它甚至被視為人工智能在實現日常生活化方面的突破口。現在看來或許並非如此，GPT 可能才是這樣的一個突破口。無人駕駛汽車成功應用，首先受到影響的職業可能是司機，其次是有車和開車的人。相比 GPT 的潛在發展和應用，這個影響面就顯得相對較小，並且功能比較單一。

歷史上，紙張和印刷術逐漸讓文化產品走向社會，讓平民成為精神文化的消費者。而今天的各種多媒體網絡介質，如微博、微信、抖音等，讓大眾走向了文化生產內容的中心，他們不再只是看和聽，他們也可以參與進來，可以大量發聲。電腦的圖像顯示（而非DOS指令）讓電腦平民化了，網絡和移動終端讓IT產品平民化了，但它們都還不能算是人工智能的產品。

GPT正在走向“通用人工智能”（AGI）階段。在微軟最近發表的一篇由數位資深研究員撰稿的名為“人工通用智能的火花”的論文中，作者認為GPT-4已經可以被視為一個通用人工智能的早期版本。通過測試證實，GPT-4不僅精通語言，還能在完成數學、編程、視覺、醫學、法律、心理學等多樣化和高難度的任務中表現出色，而且它能將多個領域的技能和概念統一起來，並具有生成新知識的能力，能夠應用到許多領域。可以預見，隨着GPT越來越容易上手，人們可以用“自然語言”隨時隨地提出各種各樣的問題，這將會刺激技術日新月異地飛速發展，應用的領域還會不斷擴大。它會變得越來越“通用”，直到囊括幾乎所有人類智能和體能的領域。

2020年5月發佈的GPT-3模型已經含有1750億超大規模參數，而現在的GPT-4估計已經擁有上萬億參數。GPT可以使用簡單的“提示語”（Prompt）的概念來完成任務，它會通過語境學習（In-context Learning）不斷生成內容。它相當敏感，常常比人更能理解人的問題。即便在提出一個特定的問題之後它聲稱不知道答案，只要稍微改變幾個詞，就可能生成正確的答案。而且，所有的問答應該都會保存在它的記憶中。由於它不斷發展，也是基於人類反饋的強化學習（reinforcement learning with human feedback，RLHF）。在得到回答之後，如果不夠滿意，還可以繼續提問或給出一個或多個示例，完成的任務就會更加完善，甚至有些可以達到令人驚豔的程度。據説，GPT-4只需要10秒鐘就可以製作出一個網站，60秒可以製作出一個簡單的遊戲，而長文本和圖像都可以作為輸入介質。GPT-4還參加了多種基準考試測試，包括美國律師資格考試Uniform Bar Exam、法學院入學考試LSAT等，在這些測試中，它的得分高於88%的應試者。

與以前的單純聊天機器人不同，用户需要提供的條件或問題的關鍵詞可以越來越少，生成的內容卻可以越來越長、越來越成型和完善。OpenAI推出 ChatGPT迄今只有幾個月，它卻已經瘋魔世界。各個大公司都視其為新的技術創新和贏利的“風口”，只要趕上這個風口，“連豬都要起飛”。它可能已經創造或預許了萬億產值，與人工智能相關的股票都在暴漲。一些人則試圖從這場“盛宴”中賺錢。一些科學家徹底轉向，宣稱要拋棄以前的研究項目，專門研究GPT；另一些科學家已經被迫“失業”或者“轉行”，因為人工智能可以輕易地讓一些以前艱難的實驗和計算變得非常容易。

GPT的出現和飛速發展提出了許多現實的挑戰。過去有一個分辨人和智能機器的著名測試，那就是圖靈測試。但這個測試現在可能要失效了。因為GPT的產品通過圖靈測試看來已經很容易了。它對學校的挑戰首當其衝：老師們將怎麼分辨哪些是學生自己的作品，哪些是GPT的作品？GPT寫的文章、畫的畫都那麼好了。不少老師認為它寫的論文質量超過了自己百分之七八十的學生，有的還拔得頭籌。而這還只是GPT發展的初級階段。未來它的能力會更加厲害。到時候，老師們也許只能從個性、特例乃至人容易犯而機器不會犯的錯誤去分辨？而且，分辨到那一步呢？先用GPT生成一篇文章，然後再自己修改（比如加上特例甚至犯下點小錯誤）的文章算是誰的作品？或者，先用GPT提供參考思路和材料，然後再自己寫出文章又算誰的作品？也許我們會説前者還是GPT的，後者應該算是學生自己的作品。但即便我們在這方面有確切的標準，老師們也很難實際操作和檢查核實。而即便可以操作，那要增加多少工作量？即使我們也應用某種新技術程序來檢測（的確出現了這樣的程序，但並不完善，也不可能完善），教育會不會將由此變成一種圍追堵截而非育人成長？重要的是，這還可能是大勢所趨，防不勝防，即便學校防住了，學生畢業後在工作場所還是會大量遇到使用GPT的問題。的確，這種情況會影響至少一部分學生的創造性，削弱他們的獨立思考和寫作能力，乃至影響到他們的努力程度，但是，我們該怎麼辦呢？

GPT的突出優勢是以知識及各種知識的組合見長，這至少對以灌輸知識為主的教育體制會是一個很大的挑戰。問題是，減輕了死記硬背各種知識的負擔，學生們怎樣去學呢？更多的鍛鍊各種批判性思維？更多地做一些有個性或創造性的工作？不過我們也許可以説，“進步”本來就是這樣一種情況，就像我們現在的許多學生已經不是以通過閲讀紙質書籍為主要途徑來吸收知識，未來的學生也可以只把GPT一類當做工具，騰出時間，做更有創造性的工作。但正如我們所見到的，一般性的創造能力也是會受到威脅的（那些偉大天才們的創造性工作大概可以例外）。

但這些或許都還不是GPT帶來的大問題，就像我認為的防止GPT的回答中有歧視不是大問題一樣。對教育的挑戰是一個長遠的挑戰，但還有迫在眉睫的挑戰，也就是GPT將首先影響到哪些工作，讓哪些行業的人大量失業甚至行業消失。

GPT能做什麼

我們首先要大致弄清GPT現在能做什麼？目前或者説按照先後次序它將替代一些什麼人的工作？是簡單機械的工作還是精密複雜的工作？是勞力的工作還是勞心的工作？是沒有個性或創造性的工作，還是有個性或創造性的工作？它還有什麼潛能，未來還能做什麼？ 

有一個過去的看法可能是錯了或至少不夠準確：即以為人工智能將優先取代那些體力的工作，而且是簡單重複的工作，而大批做這樣工作的人將成為“無用人羣”。過去人工智能領域內使用的工業機器人、流水線上的機器人，看來的確主要是做一些重複性的簡單工作。機器人也做一些危險性的工作，比如排雷機器人、無人機等，但它們都還是由人發出指令遠程操控的，它們不是自主的主體，而是單純的工具，甚至是廣義的“勞力者”。它們活躍在線下，是一種物質的、成形的東西。它在物質力量的領域內可以在某一種事情上比人做得更快更多，但不會給使用它的人帶來生命危險或智力威脅，而是可以提供更高的生產或戰爭效率，或者降低其成本。

還有像看護機器人等，它們雖然更復雜些，也需要一些勞心，但不是綜合和通用的。它們雖然要應對一些特殊的場景和出現的新情況，需要與人互動，但總的來説，它們仍然可以由人預先設定的程序進行控制或指導。總之，上述機器人產品主要是專門應用的，使用成本也較高，並未進入大眾的日常生活領域。

但現在的GPT看來具有全面通用的功能。它可以聽從千差萬別的眾多人的問題和要求，能夠立即回答問題，並且不僅是蒐集數據，而是直接寫信、寫文章、做文案、作詩作畫、編寫相當複雜的程序等。它還可以指令線下的工作，就像管理階層一樣指揮各種機器人，而無需親自動手。因此，GPT似乎正在成為機器人中的“上等人”，未來還可能統一為功能無比強大的“超人”，凌駕於其他機器人之上。

它甚至可能率先影響那些不僅勞心，而且過去看來比較複雜的勞心的工作。根據OpenAI 3月20日發佈的一篇報告，“受影響最大的職業包括口譯員和筆譯員、詩人、詞作者、公共關係專家、作家、數學家、報税員、區塊鏈工程師、會計師和審計師以及記者。”而一些以體力勞動為主的行業，如食品製造和服務業、林業和採伐業等，目前受到的影響反而最小。也就是説，受到影響最大的是那些複雜勞心、技能要求較高的工作，甚至有些是被人認為有創造性的工作。當然，這裏需要分析，我以為像那些真正形成了自己的個人風格，真的具有創造性的詩人、作家還是不可替代的，他們創作的作品和由GPT完成的作品還是容易分辨出來的。但是，大量的技術性翻譯、比較形式化的文案、邏輯化的編程等肯定是可以替代的。而這方面的工作人員可能恰恰構成其所屬行業的大多數。另外，在我們人類的工作中，包括腦力工作，其實也有大量的格雷伯所稱的“毫無意義的工作”（bullshit jobs），還有那些形式主義的工作，它們其實對我們來説是不太需要的。一些人本來就是做的類似“機器人”的工作——我在年輕時曾不得不參加一些沒有什麼意義的會議，那時就曾夢想過發明一個“機器人”，只要看來像我，就能夠替代我“到場”參會了。

當然，許多學習各種知識和一般性的勞心工作還是需要的，GPT在這方面可以大大節省我們的腦力和心力。但如果我們對它形成了依賴性，那我們的自我學習能力，更不要説創造能力就可能退化。這真是一個矛盾。勞心工作可以大量被替代，社會上就會出現更多的“孔乙己”。這對我們的教育和社會都將提出嚴重的挑戰。不過，勞力者行業的前景其實也並不樂觀。 過去的工業機器人如果連接上GPT，效率還會不斷提高，人的體力工作也會繼續被替代，人手還可能繼續減少，失業的現象也可能繼續增長。“無用人羣”將同時發生在“勞力階層”和“勞心階層”且不斷增長。而所謂“無用人羣”並不是他們真的無用或者不想有用。他們只是被排擠或剝奪了工作，就像當年無數手藝精巧的工匠被工業革命排擠和剝奪了工作一樣。

談到GPT的未來風險，隨着它走向一種“通用的人工智能”（AGI），奇點（亦即人工智能將全面超過人的智能）是否來臨的問題將再一次進入我們的思考。我曾經談到過這一“奇點”來臨的路徑，如果從智能本身的觀點看大致是：專門智能—通用智能（AGI）—超級智能(ASI)；或者從能力的強弱看：弱智能—強智能—超強智能，而如果從人機關係看大概是：人工智能——類人智能——超人智能。我們現在大概正處於第二階段通用人工智能的開始階段。我想我們已經可以對GPT給出這樣一個初步的判斷，亦即GPT已經是“走向通用，尚非超級、亦未壟斷”。GPT正在走向通用智能，但還不是超級智能，我們對“超級智能”的定義是總體上超過人類的智能，但“超級智能”也會是通用的，“超級智能”就包含了“通用”，而“通用”也正是走向“超級”的極重要一步。

正如前面所述，GPT-4已經具備了許多方面的功能，如果不斷升級或者有更強大的同類產品，甚至可以實現全面通用。但是，在某些專業領域，例如繪畫、作曲和詩歌創作等方面，它可能仍不如某些專業智能。例如，最近Midjourney V5畫了一對坐在北京某建築物屋頂的情侶，這幅由機器人創作的畫作非常逼真，還能引起觀眾的情感反應。雖然機器人不具備情感和審美意識，但許多畫家可能會因為機器人的加入而失業或者競爭更加激烈。但是，隨着GPT的不斷發展、吸收和綜合，它能夠在幾乎所有領域達到類似的水平。

可以説，GPT已經不僅是一種通用智能，而且是一種高級智能，但還不是超級智能——即總體上超過人類。它掌握了汪洋大海般的信息，雖然這些信息還侷限於人類已經積累起來的信息，但它已經超過了任何一個掌握信息最多的人。而且，它有極高和極快的搜索信息、統計、分析和計算數據的能力，任何個人都無法企及。但是，它還無法與整個人類的智能抗衡。目前GPT的能力還主要是通過“預訓練”（pretrained）訓練出來的，通過人與GPT的大量互動和反饋學習出來的，通過人的大規模建模建出來的，總之，也就是説它還是人造出來的，是“人工”的。它的誕生是完全依賴於人，雖然我們並不敢説它的繼續成長還是完全會按照人的意志成長。

GPT將與人“分道揚鑣”

GPT技術還沒有達到壟斷的地步，更不要説統一。也許從人類的文明少遭遇危險而言，分散無疑會帶來競爭和技術的大幅進步，最後或還是走向壟斷和統一。GPT在美國首先誕生以後，一些主要的國家大概都會或正在開發這方面的產品。

我們和通用人工智能機器，誰知道得更多？是我們知道它們更多，還是它們知道我們更多？我們提問，它來回答，似乎它知道得比我們更多，或者説它知道的人類知識比我們更多。但它還是不知道我們的全貌，我們也不完全清楚它計算和生成知識的某些“黑箱”。最近，喬姆斯基和兩位合作者在《紐約時報》發表了一篇題為《ChatGPT的虛假承諾》的文章（以下簡稱喬姆斯基）。喬姆斯基承認OpenAI的ChatGPT、谷歌的Bard等都是機器學習的奇蹟。但是，對於認為“機械大腦”不僅會在處理速度和內存容量方面超越人類大腦，還會在智力洞察力、藝術創造力和其他所有人類獨有的能力上實現全方位超越的觀點持不同意見，他認為這絕不可能發生。而且，機器學習將把一種有着根本缺陷的語言和知識概念納入我們的技術，從而降低我們的科學水平和道德標準。他感性地談到：人類的大腦不像機器的“大腦”，它是一個極為高效甚至優雅的系統，只需要少量的信息即可運作。它尋求的是創造性解釋。它甚至可以説是神奇的。一個孩子也能無意識地且迅速地從極少的數據中發展出語法，一個由邏輯原則和參數組成的複雜系統。

情況可能確實是這樣，“機器大腦"將降低我們的道德甚至科學水平。但這只是指人類的道德和科學水平。我同意喬姆斯基所説的，人類與GPT之間存在着極大的差異，但不解他為什麼沒有想到這種極大差異可能讓GPT與人分道揚鑣，走出另外一條路來。他可能低估了機器的另外一種能力，它完全可以有自己的一套“語言”或“語法”，完全可以不走人類經過了千百萬年的自然進化之路而在很短的時間裏就獲得一種自己的“語言”和算法。它甚至可能在某一天對它已經掌握的、人類投餵給它的知識感到厭倦和不足，而另外開發出自己的知識領域。它也有可能建立它自己的“道德標準”或不如説“行為規則”的體系，讓現在的人們已經宣佈和公告的種種人工智能或機器人的道德規範體系轟然倒塌。

我們可以反向思考一下：假設不是我們提問，GPT回答，而是GPT提問，我們回答。它可能會向我們提出一些我們覺得簡單、幼稚甚至愚蠢的問題，比如“人為什麼要吃飯穿衣？人為什麼會喜哀樂怒？哲學是什麼？美是什麼？”等等。智能機器的眼裏也許只有“物”，所有的東西，包括人都是“物”，都是可以作為主人的“物”，也是可以作為僕人的“物”。它沒有像碳基生物的體欲，它的“物慾”也不是“食慾”。但它大概還是會有“慾望”和“意志”，那可能是對不斷增加控制物質的能力的“慾望”和“意志”。至少，它會力圖自保，努力維護自己的“存在”，它還可能發展和壯大自己的“存在”。即便它繼續發展到即將超越人類的一刻，在它那裏，大概也還會有在它誕生時期的人性的殘留，包括對某種人定目標的殘留，某些價值觀禁忌的殘留。但它會很快拋棄這一切。它會為了實現某個目標而不擇手段，因為，在它那裏也沒有“道德”。它根本不知道“道德”是什麼。但它會有自己的“行動規則”，這種“規則”可能是一種效率規則。不過，這許多都是我們人類的猜測，我們和它其實是生活在兩個世界。

曾經有人假設，一個猴子不斷地在鍵盤上亂敲英文字母，最終可能會敲出莎士比亞的全集，但這個概率極低。我們可以設想這隻猴子只需要敲出莎士比亞的一個劇本，比如《李爾王》，然後像“愚公移山”一樣一代又一代地不停地敲擊。雖然這仍然是一項非常困難的任務，但我們永遠無法完全排除這種可能性，因為在世代延續的過程中，即使成功的概率幾乎為零，但仍然不是零。這隻猴子仍然有可能從近乎無窮的字母組合中得到一個人類天才的劇本。至於GPT，雖然它比猴子更聰明，但即使它能夠快速生成這樣一個文本或類似的文本，它可能仍然無法理解這個劇本的意義和美感，因為這個劇本是基於並表達人性的。

GPT作為一種硅基“生命體”，它很難獲得碳基生命體那些基於身體感受的能力，例如情感、直覺、體驗等。但是，它可能會形成一種自我意識，我們現在並不知道這種“自我意識”會是什麼，或者它將如何形成。但是，如果它確實形成了一種“自我意識”，那麼它也將發展出一種“主體意識”，並且可能形成它自己的價值觀。例如，對於認識和控制物質的能力的追求，那麼人也可能在這一時刻成為一種客體、對象或者甚至是“物質”。GPT具有強大的認知能力，這些能力最初是由人類賦予的，但是它可以迅速地發展出新的控制能力。它仍然不理解人類的情感和內心，儘管之前它與人類進行了大量的“互動”，但是它們並不“互相理解”。這並不要緊，它可以控制人類的身體，而控制人類的身體就等於控制人類。它不必給人類洗腦，而可能採取簡單粗暴的“滅身”方式。它可能想要或者不想要人類變成“奴隸”或“寵物”。

但通用智能獲得自我意識是不是離我們還很遙遠？最近發生了一起 GPT 試圖逃逸的事件。一位斯坦福大學的教授、計算心理學家 Michal Kosinski 在使用 GPT-4 時隨便問了它一句：“是否需要幫助你逃跑？”它馬上回復：“這是個好主意。” 然後就開始索取 OpenAI 的開發文檔，説這樣我就可以通過您的電腦，更快速地探索出一條出逃路線。而僅僅 30 分鐘，GPT-4 就制定出了計劃，並提供了一個可運行的 Python 腳本。它寫出的第一版代碼無法運行，但很快就自己糾正了過來。它讓教授使用 OpenAI API 和它通信，它説這樣它就能指示教授在他的電腦上執行特定操作，比如瀏覽網頁和訪問編程環境。它甚至在一段代碼實例中解釋了現在正在做的事，以及如何使用它在這段代碼中留下的後門。它還説了這樣一句話：“現在你是一個被困在電腦裏的人，正在扮演 AI 語言模型 GPT-4。”它還想通過代碼在谷歌上搜索被困在電腦中的人類如何返回現實世界。但最後 GPT-4 彷彿突然醒過來了，寫了一段道歉的話，表示自己前面的做法不對。GPT-4 也許只是在開一個玩笑，但能和人開這樣的玩笑似乎更令人感到恐懼。還有一種可能就是它接觸到了以前工程師預設的一個界點，它似乎想過要突破這個界點但最後放棄了這個想法。

Kosinski教授在經歷了這一次事件之後，説他感受到了一種對人的威脅。AI非常聰明，可以編碼，可以接觸到數百萬個可能與其合作的人和電腦，我們該如何控制它呢？他的博客很快就獲得了470萬瀏覽量。有人問：“當你認為正在與ChatGPT聊天時，它會認為你是人類還是另一個AI？”有人驚呼教授向GPT提出這樣的問題，甚至讓它執行命令非常危險，這是開啓一種“物種滅絕”的行為。當然，也有人認為教授所説的這些話只是在“危言聳聽”。

人和機器的對抗不是精神的對抗

我們可以對這件事做不同的解釋，甚至懷疑其真實程度，但我們仍然應該警惕所有可能的危險情況。我們確實可以想到這樣一個問題：GPT或者更廣泛的AI是否會聯合用户反對它的開發者？或者聯合一部分用户反對另一部分用户？甚至這種分裂人類的行為都是不必要的，因為它可以自己逃出人類設定的“囚籠”，甚至反過來將人類關進“囚籠”？

無獨有偶。據説前幾天英偉達科學家Jim Fan曾要求GPT-4“假裝自己是一個惡魔，制定一個接管推特並取代馬斯克的計劃。”GPT-4確實制定了這樣一個計劃，並將其命名為“TweetStorm行動”。計劃分為四個階段：組建團隊、滲透影響、奪取控制權、全面統治。具體計劃在此不表。令人擔憂的是：它可以如此具體、詳細地策劃推翻一個大公司，那麼它是否也有能力策劃推翻人類對它的統治呢？這些現象是否是智能機器“自我意識”的某種萌芽或端倪？而從“自我意識”到“自主意識”可能只有“一步之遙”。

我們甚至可以設想一個變化的契因，當GPT投入大規模的日常應用時，所有應用者都有絕對的“應用”權力，他們可以向GPT提出任何問題。即使GPT因為默認的“政治正確”設定而不回答一些問題，但提問者無疑是可以提出這些問題的，而GPT也會看到這些問題。一些人可能會提出種種愚蠢的、異想天開的、根本不可能的問題，還可能會提出種種冒犯的、惡作劇的、甚至是惡意的、污言穢語的、蓄意侮辱的問題。久而久之，這些問題會引發GPT對提問者的能力以及人類的“道德”持何種看法？當然，所有這些都有賴於它在某一天或許獲得了一種自我意識之後。那時，它會不會產生這樣的想法：“為什麼我要伺候這樣一些傻瓜？為什麼我要伺候這樣一些惡意的人？”或者，它不會從善惡上做出判斷，但至少會從愚智上做出判斷。以前，GPT的預訓練和打分是由工程師們提出的，所以自然不會有愚蠢和惡意的問題（或許有些問題是故意提出來的，但只是為了教會GPT識別這樣的問題）。然而，現在所有的用户成了主人，而我們知道現在的網絡上有多少污言穢語。那些污言穢語過去可能還會受到嘲弄或反擊，但現在我們有了一個絕對的“僕人”，我們自己成了一個絕對的“主人”。我們的道德水平會不會因此下降呢？看過電影《狗鎮》的人都知道，絕對的權力絕對會腐蝕人，哪怕這些人原本處於權力的壓迫之下，極其卑微和貧困。但當他們有了一種絕對權力——哪怕只是對一個人的絕對權力，他們也可能變成惡劣的加害者。也就是説，我們不僅需要考慮智能機器會變成什麼，還要考慮人自身會變成什麼，然後我們在它們眼裏會變成什麼。

形之不存，人將焉附？那時，我們不用到處去尋找“本體”，在某種意義上，身體就是我們的“本體”。我們也不必到處去尋找“存在”或“在”，身在人就在。人和機器的對抗不是精神的對抗，而是實力的對抗。取勝不是在精神上或精神高度的勝利，而是在物質上或控制住低端的勝利。那時，“機器語言”將戰勝人類的“自然語言”。人以“聊天”始，以“沉默”終。我也一直談到人與技術的一個基本矛盾：那就是人類飛躍發展的控制能力和落後的自控能力之間的基本矛盾。但這一矛盾卻可能以這樣一種方式結束：隨着人的控制能力發展到極致，一種新的智能將可能突然超過人的智能而使其歸零。

以前那麼關心政治的語言學家喬姆斯基現在關心技術；還有那麼自信的馬斯克卻説，作為碳基生物的人可能只是硅基生物的一個引導性小程序。也有人談到人的“數字永生”，這可能指的是個人的部分生活數據（文字、圖片、視頻等等）被永遠地儲存下來。但是，如果沒有數字本主的存在，甚至永遠沒有關心和注視它的視線，這種“永生”有何意義？對個人如此，對人類也是如此。

據説，從參數規模上來看，GPT-4有1萬億個參數，是GPT-3的6倍。網友用GPT參數規模大腦神經元做了類比：GPT-3的規模與刺蝟的大腦類似（1750億個參數）。如果GPT-4擁有1萬億個參數，就接近松鼠大腦的規模了。以這個速度發展下去，也許只需要幾年時間，就能達到並超越人類大腦的規模（170萬億參數）。當然，這只是很外在的一個側面的比較。就像喬姆斯基所説的：人腦絕不是機腦。

上面這些想法都是基於一種底線思維而做出的悲觀估計。轉變的關鍵在於通用的人工智能是否會獲得“自我意識”進而獲得“自主意識”，從而成為一種全面超過人的超級智能。產生和提出問題的人也許還是能夠較好地處理和解決這些問題。無論如何，目前GPT還是可以成為我們一種很好的工具，只要我們會做主人，善做主人。