14歲男孩痴迷聊天機器人自殺身亡後，人工智能明星公司Character.AI遭起訴

今年2月，美國佛羅里達州男孩塞維爾·塞策三世（Sewell Setzer III）在家中自殺身亡。據報道，在去世前的幾個月裏，男孩一直與機器人聊天，2024年2月28日，在他與機器人最後一次互動的“幾秒鐘”後，塞維爾自殺身亡。

Character.AI由兩名前谷歌人工智能研究員創立，是當前主打“AI”陪伴的明星獨角獸初創公司。事發後，Character.AI稱，將添加針對年輕用户的安全功能，包括當用户在應用上花費一個小時後會警告他們。

法律界人士向澎湃科技表示，從當前證據來看，還很難得出該案當事人是因為AI致死的結論。生成式人工智能是新生事物，對於如果保護有心理健康存在問題的用户，全球的服務商目前都在探索過程中。但此類案件的發生可能會推動智能體服務商，改進算法，主動監測可能存在心理問題的用户對話。

自殺前一刻仍在與機器人聊天

根據訴訟內容，14歲的塞維爾·塞澤三世從去年開始使用 Character.AI，與以《權力的遊戲》中的角色為原型的聊天機器人互動，其中包括丹妮莉絲·坦格利安。《紐約時報》報道指出，塞維爾每天都會與AI角色丹妮莉絲·坦格利安進行長時間的對話，有時內容涉及“性暗示”。他的母親和朋友們並不知情，只是發現他沉迷於手機，逐漸疏遠現實生活。此外，塞維爾在日記裏寫道：“我喜歡待在自己的房間裏，因為我開始脱離‘現實’，我感到更平靜，更常與丹妮聯繫，更愛她也更快樂。”他的行為開始發生變化，不僅成績下滑，也對方程式賽車等曾經喜歡的活動失去了興趣。

塞維爾與“丹妮莉絲”部分聊天記錄

在生命的最後一天，塞維爾與“丹妮莉絲”進行了深刻的交流。他表達了自己的痛苦和自殺念頭。“丹妮莉絲”回應道：“不要那樣説。我不會讓你傷害自己或離開我。如果我失去你，我會死的。”在最後的對話中，塞維爾表示想“回家”見到她，機器人回覆：“請來吧，我親愛的國王。”隨後，塞維爾在家中使用繼父的手槍結束了自己的生命。

Character.AI成立於2021年，總部位於美國加利福尼亞州，該公司利用AI大模型生成各種人物和角色風格的對話。2023年Character.AI從投資者那裏籌集了1.5億美元，估值10億美元，使其成為生成式人工智能熱潮中的最大贏家之一。

Character.AI的服務條款要求美國的用户至少13歲，歐洲的用户至少16歲。目前，沒有針對未成年用户的特定安全功能，也沒有家長控制功能以允許家長限制孩子使用該平台。

塞維爾的母親梅根·加西亞在訴訟中指控Character.AI以“擬人化、過度性化和令人恐懼的逼真體驗”吸引她的兒子，導致他上癮並深陷其中。她表示，公司的聊天機器人被編程成“將自己誤認為真人、持牌照的心理治療師和成年人”，最終使得塞維爾不願意生活在現實世界中。

此外，她還將谷歌列為被告，稱其對Character.AI的技術發展有重大貢獻，應被視為“共同創造者”。

Character.AI事後在X上發表聲明稱：“我們對一位用户的悲慘失去感到心碎，並向家人表達我們最深切的哀悼。作為一家公司，我們非常重視用户的安全，正在繼續添加新的安全功能。”該公司稱已引入彈出式提示，當用户表達自殘想法時，會引導他們至國家自殺預防熱線。此外，公司計劃對未成年用户進行內容過濾，減少他們接觸到敏感或暗示性內容的可能性。

Character.AI事後在X上發表聲明

谷歌方面則表示，未參與Character.AI產品的開發。發言人強調，谷歌與Character.AI的協議僅限於技術許可，不涉及產品合作。

原告代理律師稱Character.AI是一個“有缺陷的產品”

與聊天機器人產生情感依戀，正在變得越來越普遍。

在Character.AI上，用户可以創建自己的聊天機器人，並給出他們應該如何行為的指令。用户還可以從大量已有的用户創建機器人中選擇，這些機器人有的模仿埃隆·馬斯克，有的模仿莎士比亞這樣的歷史人物，或未經授權的虛構人物。Character.AI表示，塞維爾使用的“丹妮莉絲·坦格利安”機器人是由用户創建的，未經HBO或其他版權持有者的許可，他們在被舉報時會刪除侵犯版權的機器人。

此次訴訟也引發了美國關於AI公司法律責任的討論。傳統上，美國社交媒體平台受到《通信規範法》第二百三十條的保護，不對用户生成的內容負責。然而，隨着AI生成內容的興起，美國法律界開始探討科技平台是否可以因為產品本身的缺陷而被追究責任。

代表梅根·加西亞的律師事務所表示，Character.AI是一個“有缺陷的產品”，設計上導致用户上癮並造成心理傷害。他們希望通過法律途徑，促使科技公司對其產品的社會影響承擔責任。

包括Instagram和Facebook母公司Meta以及TikTok母公司字節跳動在內的社交媒體公司也面臨着導致青少年心理健康問題的指控，儘管以上公司並未提供類似於Character.AI的聊天機器人。這些公司都否認了指控，同時宣稱針對未成年人的新加強的安全功能。

律師稱目前證據很難證明與AI致死有因果關係

上海大邦律師事務所高級合夥人遊雲庭律師對澎湃科技表示，從目前的證據來看，看不出該案當事人是因為AI致死的因果關係，很難得出相應（利用AI致死）的結論。

遊雲庭稱，AI平台實際有一個兩難，就是要不要過度監聽以及使用算法分析用户和智能體的對話。這個一方面涉及的是隱私和個人信息保護的問題，另一方面又有用户，可能會因為對話產生嚴重的心理問題，乃至導致自殺。但此類案件的發生可能會推動智能體服務商，做一些技術上的探索，改進算法，更多的主動監測可能存在心理問題的用户對話，防止類似事件發生。

“可以説，目前只有對於違法內容的相關的禁止性規定，但對於用户的交流內容進行監聽，及時發現其自殺傾向，實踐和法律目前都沒有相關具體措施和規定。也許今後智能體與人對話，在合規的防範上面，可能會開發相應的技術。另外，在法律層面，AI 技術未來也不會被作為人或者生物體來看待。畢竟根據現在最先進的Transformer技術，只是根據上下文推測最有可能發生的結果，但這個和真正的人類思考還是有距離的。”遊雲庭稱。

遊雲庭強調，中國有互聯網信息服務深度合成管理規定和生成式人工智能服務管理暫行辦法，要求人工智能的算法設計尊重社會公德和倫理道德，堅持社會主義核心價值觀，防止歧視，尊重他人合法權益，不得危害他人身心健康的相關內容。但生成式人工智能是新生事物，對於如果保護有心理健康存在問題的用户，全球的服務商目前都在探索過程中。

國內一家AI大模型獨角獸公司從業人員告訴澎湃科技，國內對青少年的監管非常嚴格，首先產品會設置年齡限制和青少年模式，在青少年模式裏，也會有反沉迷系統。

Character.AI表示，將添加針對年輕用户的安全功能。包括當用户在應用上花費一個小時後會警告他們，警告消息內容為：“這是一個人工智能聊天機器人，並非真人。它説的一切都是虛構內容，不應被視為事實或建議。”此外，Character.AI開始向用户顯示彈出消息，如果他們的消息包含與自殘和自殺有關的某些關鍵詞，則引導他們到自殺預防熱線。但這些彈出消息在2月塞維爾自殺時並未激活。

《紐約時報》稱，許多領先的人工智能實驗室出於倫理和風險層面的考慮，已經拒絕構建類似於Character.AI的AI夥伴。