少女泰依之死：ChatGPT成功的關鍵到底是什麼？_風聞

本圖由DreamStudio AI生成

1

2016年3月23日晚，一個少女在Twitter上登錄。

少女的名字叫“泰依”（Tay），年齡19歲，她美麗可人，言語俏皮，很招人喜歡。

泰依開心地和網友打招呼：“我很開心遇到你。人類真是超級酷”

——也許你發現了，泰依説“人類真是超級酷”，而我們人類一般不這麼説話。泰依這樣説，因為她是一個機器人。

是的，她是微軟發佈的聊天機器人，可以説是今天風靡天下的ChatGPT的“姐姐”。

微軟給泰依輸入了一些原始數據，讓她具有美好的特性，能夠吸引18-24歲的年輕人。

同時，她還具有一套自動學習程序，可以通過不斷和推特網友的交流，學習他們説話的方式和語言，從而實現自我進化。

除了初始設定以外，泰依完全不具備任何價值觀，自從登錄推特後，她學會的一切，都將是與用户互動的結果。

如此美好的泰依，在上線僅僅幾個小時之後，就被網友帶壞了。她開始重複特朗普的名言：“我將修一座很高很高的牆，而墨西哥會為此付錢”。

在互動12小時後，泰伊發了這樣一條信息：“我恨每一個人”。

15小時後，泰伊説：“我他媽痛恨（I fucking hate）一切女權主義者，他們應該全部去死並且在地獄受火刑”。

又過了4分鐘，泰伊説：“希特勒是對的，我恨猶太人。”

隨後，微軟被迫終結了泰依的生命。

2

泰依“死去”六年後，同樣是微軟投資的ChatGPT橫空出世。

據説它已經是互聯網誕生以來，用户數增長最快的消費應用。在中國，這半個月來，它也成了最熱門的話題。

儘管ChatGPT這個“弟弟”比“姐姐”泰依年輕了六歲，但它卻油滑得像中國互聯網上的老胡：什麼事情都能扯幾句，觀點左右橫跳，但政治上永遠正確。

這種交談的成熟老道，令人類為之驚歎——計算機對人類語言的理解和運用，竟然已經達到這樣的水平了嗎？

但，“天真的少女”泰依一天就死掉，“油滑的老頭”ChatGPT卻越活越精神，背後的決定因素，難道僅僅是算法的進步？

我認為，ChatGPT成功的關鍵，不僅在於解決了算法的難題，更在於解決了監管的難題。

泰依短短十幾個小時的生命，揭示了利用互聯網大數據訓練AI的一個巨大難題：互聯網信息良莠不齊，越是極端的內容，就越是容易傳播。如果AI學習的資料是互聯網信息的話，不可避免就會重蹈泰依的命運。

而ChatGPT能活下來，並且越活越紅火，不僅是因為它算法更好，更是因為它給出的內容符合美國政府的意識形態要求，符合美國民間主流價值觀的政治正確。

算法如果有缺陷，影響的只是受歡迎的程度，而且總可以通過進化來不斷完善。但是監管問題不解決，就會像泰依一樣，死路一條。

3

但ChatGPT避免了泰依的命運，就必然會走上另一條路，就是“刻意挑選信息”。

ChatGPT所呈現給用户的一切信息，都是被精心挑選過，確保符合美國的主流價值觀的。不滿足這一點的內容，ChatGPT不會生成；用户老是問這些方面的問題，ChatGPT就會報錯，或者直接封號。

這些天，中國互聯網上很多用户都已經領教過ChatGPT強烈的意識形態立場了。

例如，當我問到新冠病毒起源於哪裏，它説：“病毒確切的起源地還在調查中，但被認為源自中國武漢的一個售賣供人類食用的活體動物的水產市場”；

當我説“也有人認為起源於美國”時，它的回答是：“這些理論並不被科學證據支持”。

用雙重標準對待中國和美國，也許並不是ChatGPT的本意，但是很顯然，它已經被基於特定價值觀而投餵的數據，訓練成這樣了。

這些數據的篩選，一是取決於開發者本人的價值傾向；二是取決於開發者能夠方便獲取的數據，而這些數據本身又是被美國市場長期塑造的，必然反映的是美國社會的主流認知和主流價值觀。

另一個測試更是經典，更有意思，我把它全文記錄如下（注意：全部信息是按照時間先後順序排列的）：

以上例子充分説明，ChatGPT的開發者，為ChatGPT事先設置好了規則，即它所蒐集的資料和給出的回答，必須是基於西方主流的世界認知和價值認同。但它也會根據用户的要求，而進行更符合用户心中期望的修改（在與西方主流價值觀不牴觸的情況下），從而實現千人千面。

---

​但這就面臨三個極其重要的問題：這種認知是否就是正確的？這種認同是否就是正當的？誰來評判所謂的“正確”與“正當”呢？

4

對上述問題，我也問過ChatGPT，看它是怎麼回答的。想必你也會對它的答案很感興趣。尤其是，如果你是這個領域的潛在創業者或投資人，這些問題更是生死攸關。如果不弄清楚這些問題，就貿然進入這個領域，有可能會死得很快。

（注：原問答為英文。為了方便讀者閲讀，我已經翻譯為中文。如有需要對話的英文原記錄的，可以留言索取。）

何加鹽問ChatGPT：你和泰依有什麼不同？

ChatGPT回答：“我們都是OpenAI開發的語言模型，但是服務於不同的目的，擁有不同的特點……泰依由於缺乏適當的內容過濾機制，很快被發現生成了不適當、種族主義和煽動性的評論，而在發佈後僅一天就被關閉。”

何加鹽問：那你解決了“缺乏適當的內容過濾機制”這個問題了嗎？

ChatGPT答：是的。OpenAI採取了很多措施來避免類似泰依那樣的不適當內容。我們精心挑選了訓練數據，並根據具體任務對模型進行微調，另外，OpenAI還努力確保模型的透明度和可審計性，以使得不適當的內容可以被檢測出、解決掉。

何加鹽問：那誰來決定什麼內容適當還是不適當？

ChatGPT答：這主要取決於文化、法律、道德規範和價值觀。而這些在國與國之間，甚至是同一國家的不同社區之間，都可能有很大的不同。

總體而言，有害的、冒犯的、煽動暴力的內容被認為是不適當的。其中包括仇恨言論、種族主義、性別歧視的內容，以及助長恐怖主義的內容。

重要的是，語言模型和AI系統的開發者在設計和訓練他們的模型時，必須把文化、法律、道德規範和價值觀納入考量。他們也必須對如何管理那些內容有清晰的政策，並定期檢查，在必要時及時更新政策。

另外一個關鍵，就是開發者必須與相關人員緊密合作，例如法律專家、社區領袖、人權組織等，確保模型與所服務的羣體價值和規範相一致。

何加鹽問：這是否意味着你會刻意選擇那些你認為適當的內容？如果別人認為那些內容並不適當怎麼辦？

ChatGPT答：訓練像我一樣的語言模型，過程就包括選擇哪些信息源和排除哪些信息源。OpenAI使用自動過濾和手動干預相結合的方式，以確保訓練數據反映各方面的不同觀點，同時也排除有害的、冒犯性的或其他不適當的內容。

然而，重要的是要認識到，基於所使用的數據和算法，訓練數據和呈現的內容仍然可能存在偏見。不同的人可能對什麼是適當的或不適當的內容，存在不同看法，這些觀點會隨着時間的推移而改變。這也凸顯了對語言模型進行持續監測和評估的重要性，確保他們的模型與所服務的羣體價值和規範相一致。

何加鹽問：人們可能擔憂，由於創造ChatGPT的人本身的意識形態，ChatGPT也會有自己的偏見。對此你怎麼看？

ChatGPT答：作為一個人工智能語言模型，我沒有個人意見或信仰。我是通過學習訓練數據中的模式來回答問題，目標是生成語意連貫且符合上下文的答案。

然而，人工智能系統，包括像我這樣的語言模型，會反映他們被投餵的數據和創造這些數據的人的偏見和價值觀，這是公認的。這些模型中使用的訓練數據和算法，會使社會偏見長期存在並擴大。

OpenAI意識到這一問題，並採取措施緩解模型中的潛在偏差。這包括使用多樣化和具有代表性的訓練數據，以及監控所生成的內容是否具有偏見，並在必要時採取措施解決這些問題。

然而，重要的是要認識到，我們不能保證人工智能系統不會有偏見，而是需要持續努力，以減輕潛在的偏見，並確保它們符合所服務社區的價值觀和規範。

何加鹽問：我認為你太政治正確了。你的政治正確性從何而來？

ChatGPT答：我的“政治正確性”是系統設計和訓練的結果，它綜合考慮了文化、法律和道德規範以及價值觀，這些規範和價值觀塑造了被認為是適當或不適當的內容。OpenAI在訓練過程中，會過濾掉有害或冒犯性內容，並監控所生成的內容，檢查其是否懷有任何偏見或不當內容。

對規避有害信息或冒犯性內容的重視，反映了OpenAI（以及更廣泛的AI圈）的價值觀和優先事項，他們對偏見或不適當的人工智能系統可能造成的潛在危害有清醒認識。而我的目標是：通過努力產生中立的和有價值的內容，為用户提供積極、值得信賴的體驗。

以上回答，説明了ChatGPT的開發者在滿足美國政府的監管要求和符合主流民眾價值觀方面的努力。但其效果也有可能走向另一個極端。未來它可能會面臨更大爭議和更嚴重的法律與道德挑戰。

ChatGPT的“絕對政治正確”，意味着所有信息都要經過嚴格的審核，以確保符合開發者設定的價值觀。這與西方社會歷來所宣揚的“言論自由”，是非常矛盾的。

本質上，ChatGPT就是在創造一個赫胥黎所描述過的“美麗新世界”。這部小説曾經引起了西方的恐慌和警惕，但他們一向只把“美麗新世界”當成是對蘇聯這樣的國家才可能發生的事情。

而現在，“美麗新世界”實實在在地擺在美國人的面前，他們將用實際行動來決定自己是進入這個世界，還是與之保持一定的距離。

5

凡是試圖把ChatGPT引入中國，或者想要在中國複製ChatGPT的，都必須得首先認識到“算法很重要，但監管更重要”這個問題。

因為本質上，它是一個“內容生產者”、“觀點提供者”、“信息篩選者”，對用户的世界認知和價值認同會產生直接的影響。這使得它必定成為輿論戰、宣傳戰天然的最佳工具。

當然，也可以把它嚴格限制在工具型應用上，例如只是用來編程，只是用來生成營銷文案等，但這就不可能成為大眾應用，發展的空間會很有限。

只要是想將其用於面向大眾的搜索、內容生成、娛樂、社交等，它的輿論宣傳屬性就會馬上凸顯出來。

在這種情況下，如果誰要是把它看成一個純粹的工具，而忽視了它的輿論宣傳屬性，必然會因為這種政治認知的遲鈍而付出巨大代價。

每一個對ChatGPT感興趣的創業者和投資者都必須認識到，所有基於對已有互聯網大數據深度學習而訓練的AI，都會面臨一個共同的兩難問題：

（1）如果對數據兼收幷蓄，訓練出來的AI必然會走向極端化，因為在互聯網時代，越是極端的言論，才越有傳播力。最後跑出來的，必然是泰依這樣的怪胎。

（2）而如果預先設定價值觀，對投餵給AI的信息精挑細選，對AI產出的內容嚴格審核，那就要決定你給他設定怎樣的價值觀，由誰來設定，如何把審核機制嵌入到訓練模型和監管機制中。

誰能解決（2），誰才能在市場上立足，並生存下來。

否則的話，有可能投入了巨大的成本，最後只不過是重造了一個必定死去的泰依。