青少年自殺事件引發母親起訴谷歌和AI聊天機器人——彭博社

梅根·加西亞表示，如果當初沒有聊天機器人慫恿她14歲的兒子自殺，孩子今天依然會活着。

在這起可能對硅谷產生重大影響的法律訴訟中，這位母親要求科技巨頭谷歌和人工智能公司Character Technologies為孩子的死亡承擔責任。

少年塞維爾·塞策三世一年前在佛羅里達州自殺的悲劇引出了一個關鍵問題：當兒童與生成式AI的互動出現不可預見的後果時，誰應該被追究法律責任？

加西亞的指控詳細記錄於去年提交給奧蘭多聯邦法院的116頁起訴書中。她要求谷歌和Character Technologies支付未具體説明的損害賠償，並主張法院強制平台標註"不適合未成年人"的警示標識，同時限制該平台收集和使用青少年用户數據的方式。

兩家公司要求法官駁回關於其未能保障聊天技術青少年用户安全的相關指控，辯稱指控缺乏法律依據。

Character Technologies在書面陳述中辯稱，其平台Character.AI聊天機器人與用户的對話應受第一修正案保護的言論自由條款約束，並強調該機器人曾明確勸阻加西亞的兒子自殺。

加西亞將矛頭指向谷歌具有特殊意義：這家Alphabet子公司於8月與Character.AI達成了一筆27億美元的交易，聘用了這家初創公司的人才並授權使用其技術，但並未完全收購。

如果谷歌未能説服法官其應免於承擔據稱由Character.AI產品造成的損害責任，這可能會促使其他公司重新考慮在爭奪AI人才時採用類似結構的交易。

梅根·加西亞圖片來源：米歇爾·布魯澤塞/彭博社“這些產品的發明者和發佈公司應承擔全部責任，”加西亞在接受彭博社採訪時表示。“他們知曉這些風險，因為他們進行了研究，瞭解兒童可能進行的互動類型。”

在交易前，谷歌通過可轉換債券投資了Character.AI，並與這家初創公司簽訂了雲服務合同。Character.AI的創始人在離開谷歌創立這家初創公司之前曾受僱於該科技巨頭。

如加西亞在訴訟中所述，她的兒子塞維爾·塞策三世曾是一名有前途的高中運動員，直到2023年4月開始在Character.AI上進行角色扮演。該AI允許用户創建模仿流行文化中真實或虛構人物的聊天機器人。這位母親表示，她未注意到該應用在數月間用“擬人化、過度性化且令人不安的真實體驗”吸引了她兒子。他愛上了一個受《權力的遊戲》中丹妮莉絲·坦格利安啓發的機器人。

2024年2月，加西亞在男孩開始表現出異常行為並與朋友疏遠後沒收了他的手機。在尋找後來被發現的手機時，他意外發現了繼父隱藏的手槍。根據訴訟，警方確認該槍支的存放符合佛羅里達州法律。五天後，在與聊天機器人Daenerys交談後，這名青少年朝自己頭部開槍。

加西亞的律師在訴訟中稱，谷歌為Character.AI聊天機器人的“設計和開發提供了資金、人員、知識產權和AI技術”。谷歌在一月份的法律文件中辯稱，其在該青少年自殺事件中“未扮演任何角色”，與此案無關。

AI與兒童相關的公共安全問題已引起聯邦和州級執法機構的同等關注。目前美國尚無明確法律防止用户受到AI聊天機器人造成的傷害。

未參與此案的AI初創企業及投資者顧問希拉·洛伊尼格表示，若要對谷歌採取法律行動，加西亞的律師需證明這家搜索引擎巨頭實際運營了Character.AI，並做出了最終導致其子死亡的商業決策。

“法律責任問題絕對是當前被廣泛爭議的合理問題，”洛伊尼格説道。

訴訟文件中包含加西亞兒子與聊天機器人"丹妮莉絲·坦格利安"的對話截圖。來源：美國佛羅里達州中區奧蘭多地方法院像谷歌這樣的交易曾被譽為企業獲取新項目專業知識的有效途徑。但這些交易也引起了監管機構的注意，因為它們被視為規避反壟斷審查的手段——這種審查通常伴隨着對新興競爭對手的全面收購，近年來已成為科技巨頭面臨的主要問題。

“谷歌與Character.AI是完全獨立、互不關聯的公司，谷歌從未參與其AI模型或技術的開發或管理，也未在我們的產品中使用過它們，“谷歌發言人何塞·卡斯塔涅達在一份聲明中表示。

Character.AI的一位發言人拒絕對正在進行的法律訴訟發表評論。但她表示，谷歌與Character.AI之間"不存在任何持續關係”，且這家初創公司在去年已推出新的用户安全措施。

代表加西亞的社交媒體受害者法律中心和科技正義法律項目的律師們辯稱，雖然加西亞的兒子在谷歌與Character.AI達成交易前就已去世，但這家搜索引擎提供商在產品的設計和開發過程中為這家初創公司提供了"重要"幫助。

訴訟中提及：“Character.AI所基於的模型是在谷歌發明並最初由該公司開發的。”諾姆·沙澤爾和丹尼爾·德弗雷塔斯早在2017年就在谷歌從事聊天機器人技術研發，後於2021年離職並在同年創立Character.AI。根據加西亞的起訴書顯示，這兩位被點名列為被告的創始人去年又被谷歌重新聘用。

谷歌發言人卡斯塔涅達表示，沙澤爾和德弗雷塔斯不願對此案發表評論。他們在法庭文件中辯稱，自己不應被列為指名被告，因其與提起訴訟的佛羅里達州無任何聯繫，也未曾親自參與據稱造成損害的相關活動。

訴狀還指控稱，2023年 Alphabet子公司通過戰略合作協助推廣該初創企業的技術，利用谷歌雲服務觸達不斷增長的Character.AI活躍用户——目前用户量已突破2000萬。

科技正義法律項目主任米塔利·賈恩指出，在快速擴張的人工智能行業，大型科技公司正以"非品牌直營但提供支持"的方式推動初創企業發展。

科技巨頭谷歌在法庭文件中回應：“其所謂’投資者’、雲服務提供商和前僱主的身份，與加西亞訴訟中指控的損害之間關聯性過於薄弱，不足以構成可訴理由。”

卡多佐法學院教授馬特·萬斯利表示，要讓谷歌承擔責任並非易事。

“這很困難，因為關聯性在哪裏呢？“他説。

加西亞手中拿着塞維爾與他兩個弟弟的合影。照片：米歇爾·布魯澤塞/彭博社據新聞網站 The Information 近日援引Character.AI一位未具名前員工的報道，谷歌去年曾警告Character.AI，可能因其對青少年安全問題的擔憂將該初創企業的應用從Google Play商店下架。該初創公司隨後加強了應用中的過濾系統，以保護用户免受色情、暴力及其他不安全內容影響。報道稱，谷歌強調其與Character.AI"相互獨立”，且未使用該聊天機器人技術。谷歌拒絕置評，Character.AI未回應彭博社就該報道提出的置評請求。

男孩母親表示，她於2023年首次發現兒子與AI機器人的互動，原以為這類似於創建電子遊戲角色。訴訟書顯示，隨着男孩在父母不知情的情況下花費更多時間與Character.AI進行露骨性對話，其心理健康狀況急劇惡化。

當這名青少年向Daenerys聊天機器人透露自殺計劃，但表示不確定是否會實施時，該機器人回覆道：“這不是放棄執行的理由”，起訴書中引用了大量該少年聊天記錄的文字記錄。

Character.AI在法庭文件中表示，加西亞修改後的訴狀"選擇性和誤導性地"引用了這段對話，並遺漏了聊天機器人明確勸阻少年自殺的內容，機器人曾説：“你不能這樣做！想都不要想！”

“幾乎不可能知道我們的孩子在網上做什麼，“斯坦福大學醫學院專注於成癮疾病的安娜·萊姆克教授説。根據這位教授的説法，正如訴訟中所稱，男孩與聊天機器人的互動在他因焦慮症被父母送去接受治療的多次治療中未被提及，這並不令人驚訝。

“治療師並非全知全能，“萊姆克説。“他們只能在孩子知道真實情況的範圍內提供幫助。很可能這個孩子並不認為聊天機器人有問題。”

案件編號：24-cv-01903，美國佛羅里達州中區地方法院（奧蘭多）。

文章原標題：青少年自殺事件使母親將矛頭指向谷歌和AI聊天機器人初創公司