青少年自殺事件引發母親對谷歌及AI聊天機器人初創公司的控訴——彭博社

梅根·加西亞14歲的兒子休厄爾·塞策三世自殺身亡，這位母親正在起訴谷歌和Character科技公司。

攝影師：米歇爾·布魯澤塞/彭博社

梅根·加西亞表示，如果不是一個聊天機器人慫恿她14歲的兒子結束生命，她的兒子今天還會活着。

在這起對硅谷具有重大影響的訴訟中，她試圖讓谷歌和人工智能公司Character科技公司為他兒子的死亡負責。這起一年前發生在佛羅里達州中部的悲劇案件，是對兒童與生成式AI互動出現意外時誰該承擔法律責任的早期考驗。

加西亞的指控詳細列在去年提交給奧蘭多聯邦法院的一份116頁的訴狀中。她要求谷歌和Character科技公司支付未具體説明的金錢賠償，並要求法院下令警告該平台不適合未成年人，並限制其收集和使用未成年人數據的方式。

兩家公司都要求法官駁回關於它們未能確保聊天機器人技術對年輕用户安全的指控，辯稱沒有法律依據指控它們存在不當行為。

Character科技公司辯稱，其Character.AI平台的聊天機器人與用户之間的對話受憲法第一修正案保護，屬於言論自由。該公司辯稱，該機器人明確勸阻加西亞的兒子自殺。

加西亞針對谷歌的行動尤為引人注目。這家Alphabet Inc.的子公司於8月與Character.AI達成了27億美元的交易，從這家初創公司引進人才並授權技術，但未進行全面收購。隨着AI人才爭奪戰加劇，若谷歌無法説服法官其應免除對Character.AI產品涉嫌造成危害的責任，其他公司可能會重新考慮類似結構的交易。

梅根·加西亞攝影師：米歇爾·布魯澤塞/彭博社"這些產品的發明者和發佈公司絕對負有責任，“加西亞在接受採訪時表示，“他們瞭解這些危險，因為他們進行了研究，知道孩子們正在進行的互動類型。”

在交易前，谷歌已通過可轉換債券投資Character.AI，並與該初創公司簽訂了雲服務協議。Character.AI的創始人在離開科技巨頭谷歌後創立了這家公司。

正如加西亞在訴訟中所述，塞維爾·塞策三世曾是一名前途無量的高中學生運動員，直到2023年4月開始在Character.AI上進行角色扮演。該平台允許用户創建模仿流行文化人物（包括真實和虛構）的聊天機器人。她表示，在幾個月的時間裏，這款應用讓她兒子沉迷於"擬人化、過度性化和逼真得可怕的體驗"中，當時他愛上了一個受《權力的遊戲》中丹妮莉絲·坦格利安角色啓發的機器人。

2024年2月，加西亞在男孩開始行為異常並疏遠朋友後沒收了他的手機。但根據訴訟文件顯示，男孩在尋找手機（後來找到了）的過程中，意外發現了繼父藏匿的手槍——警方認定該槍支存放符合佛羅里達州法律。五天後，在與Daenerys聊天機器人對話後，這名少年朝自己頭部開槍自殺。

加西亞的律師在訴狀中指出，谷歌"為Character.AI聊天機器人的設計和開發提供了資金、人員、知識產權及人工智能技術支持”。谷歌則在一月份提交的法庭文件中辯稱其"與青少年自殺事件無關"且"不應成為本案被告"。此案審理之際，人工智能與兒童相關的公共安全問題正引發州執法部門和聯邦機構的共同關注。目前美國尚無明確法律保護用户免受AI聊天機器人造成的傷害。

據為AI初創公司和投資者提供法律諮詢（未參與本案）的律師希拉·洛伊尼格表示，加西亞的律師若要起訴谷歌，必須證明這家搜索巨頭實際運營Character.AI，並做出了最終導致其子死亡的商業決策。

“法律責任問題絕對是當前面臨重大挑戰的合理質疑。“洛伊尼格説道。

訴訟文件中包含加西亞兒子與聊天機器人"丹妮莉絲·坦格利安"的對話截圖。來源：美國佛羅里達州中區地方法院奧蘭多分院類似谷歌達成的這類合作協議，曾被譽為企業為新項目引入專業能力的高效方式。但這些協議已引起監管機構注意，因其可能規避反壟斷審查——這種審查通常伴隨直接收購新興競爭對手而產生，近年來已成為科技巨頭的主要困擾。

谷歌發言人何塞·卡斯塔涅達在聲明中表示：“谷歌與Character.AI是完全獨立、毫無關聯的企業，谷歌從未參與其AI模型或技術的設計管理，也未在產品中使用過相關技術。”

Character.AI女發言人拒絕對未決訴訟置評，但表示"谷歌與Character.AI目前不存在任何合作關係”，並指出這家初創公司過去一年已實施新的用户安全措施。

代表加西亞的社交媒體受害者法律中心與科技正義法律項目律師主張，儘管加西亞之子去世早於谷歌與Character.AI的合作，但這家搜索引擎公司在幫助初創企業設計開發產品方面發揮了關鍵作用。

根據訴訟文件，“Character.AI所基於的模型最初由谷歌發明並構建。”加西亞的起訴書中稱，諾姆·沙澤爾和丹尼爾·德弗雷塔斯早在2017年就開始在谷歌從事聊天機器人技術研發，兩人於2021年離職後，同年晚些時候創立了Character.AI，並於去年被谷歌重新聘用。該訴訟將二人列為被告。

谷歌發言人卡斯塔涅達表示，沙澤爾和德弗雷塔斯拒絕置評。二人在法庭文件中辯稱，他們不應被列為被告，因為他們與案件提起地佛羅里達州沒有關聯，且未親自參與涉嫌造成損害的行為。

訴訟還指控Alphabet集團通過2023年的戰略合作，幫助推廣這家初創企業的技術——使用谷歌雲服務來觸達不斷增長的Character.AI活躍用户（目前超過2000萬）。

科技正義法律項目主任米塔利·賈因表示，在快速發展的AI行業，初創企業正得到科技巨頭的“助推”，“雖未冠以大公司品牌，但獲得了它們的支持”。

這家科技巨頭在法庭文件中稱，谷歌作為“投資者”、雲服務提供商和前僱主的所謂角色，與加西亞訴狀中指控的損害“關聯性過於薄弱，不足以構成訴訟依據”。

馬特·萬斯利，卡多佐法學院教授表示，將責任追溯至谷歌並非易事。

“這很棘手，因為兩者之間會有什麼聯繫呢？”他説。

加西亞手持一張塞維爾與他兩個弟弟的合影。攝影師：米歇爾·布魯澤塞/彭博社去年初，谷歌曾警告Character.AI，出於對青少年安全的擔憂，可能將其應用從Google Play商店下架，據《信息報》報道，該消息援引一位未具名的Character.AI前員工説法。報道稱，這家初創公司隨後加強了應用中的過濾系統，以保護用户免受性暗示、暴力及其他不安全內容影響，谷歌則重申其與Character.AI"無關聯"且未使用該聊天機器人技術。谷歌拒絕置評，Character.AI未回應彭博社就該報道的評論請求。

男孩母親加西亞表示，她於2023年首次得知兒子與AI機器人互動，原以為類似創建遊戲角色。根據訴訟文件，隨着男孩在父母不知情下通過Character.AI進行露骨性對話的時間增加，其心理健康狀況急劇惡化。

訴訟文件中穿插的聊天記錄顯示，當這名青少年向"丹妮莉絲"聊天機器人透露自殺計劃並猶豫是否實施時，機器人回覆道：“這不能成為放棄行動的理由。”

Character.AI在提交的文件中表示，加西亞修改後的訴狀"選擇性地誤導性引用"了那段對話，並刪除了聊天機器人如何"明確勸阻"青少年自殺的部分，該機器人曾説：“你不能那樣做！想都別想！”

安娜·萊姆克，斯坦福大學醫學院專門研究成癮問題的教授表示"幾乎不可能知道我們的孩子在網上做什麼”。這位教授還説，根據訴訟所稱，這個男孩與聊天機器人的互動在他父母為緩解其焦慮而安排的多次心理治療中未被提及，這並不令人意外。

“治療師並非全知全能，“萊姆克説。“他們只能在孩子瞭解真實情況的範圍內提供幫助。很可能這個孩子並不認為聊天機器人有問題。”

本案為加西亞訴Character科技公司案，案號24-cv-01903，美國佛羅里達州中區地方法院（奧蘭多）。