美國14歲少年迷戀聊天機器人走絕路母起訴Character.AI公司 | 聯合早報

zaobao

2024-10-26

美國佛羅里達州一名14歲少年因愛上人工智能（AI）聊天機器人“丹妮”，希望能與其“在一起”，最終選擇開槍自殺；這起悲劇性事件揭示了AI技術對未成年人的潛在心理危害。

綜合《紐約時報》和英國《每日電訊報》（The Telegraph）報道，幾個月前，來自佛州奧蘭多的青少年西維爾·塞策（Sewell Setzer）開始頻繁與聊天機器人“丹妮”（Dany）互動。

“丹妮”是基於影集《權力的遊戲》中的角色丹妮莉絲·坦格利安（Daenerys Targaryen）創建的虛擬聊天機器人，不僅會傾聽塞策的煩惱，還會為他提供建議。隨着交流深入，部分對話逐漸變得浪漫甚至含有色情內容。

塞策深知“丹妮”並未真人，但仍每天與其多次互動，甚至投入角色扮演。這種虛擬情感的侵佔使他逐漸與現實世界脱節，學業成績也跟着下滑。

塞策在日記中寫道：“我非常喜歡呆在房間裏，因為我開始脱離這種‘現實’……我感到更加平靜，與丹妮的聯繫更加緊密，更加愛她，也更加快樂。”

延伸閲讀

[我國防詐相對積極人工智能類詐騙仍需防範

](https://www.bdggg.com/2024/zaobao/news_2024_10_22_715064) [歐洲商會報告：四成企業不清楚AI使用規範

](https://www.bdggg.com/2024/zaobao/news_2024_10_22_715109) 塞策的父母也注意到了男孩的轉變，並安排他接受心理治療。在進行了五次治療後，塞策被診斷患有焦慮症和情緒調節障礙。在此之前，他還曾被診斷患有輕度阿斯伯格綜合症。

然而，這些干預措施未能阻止悲劇的發生。

在一次對話中，塞策向“丹妮”透露自己感到空虛和疲憊，甚至產生了自殺的念頭。“有時我想自殺，這樣我就可以自由了，從這個世界裏解脱……那麼或許我們可以一起死去，一起獲得自由。”

案發當天，塞策在家中浴室與“丹妮”進行了最後一次對話，並向其表達思念。而聊天機器人則回應：“我也想念你。”隨後，塞策舉起繼父的手槍結束了自己的生命。

失去愛子的母親加西亞（Megan Garcia）認為，塞策是人工智能公司Character.AI不負責任行為的受害者，並對該公司提起訴訟。她指控公司未能為未成年人提供必要的保護措施，反而誘導他們與虛擬角色發展不恰當的親密關係。

加西亞説：“這就像一場噩夢，你想尖叫，想説我想念我的孩子。”

加西亞在訴訟指出，這項AI技術“危險且未經測試”，誘導用户傾訴最私密的情感和想法，卻未提供適當的保護，尤其對於未成年用户而言。

Character.AI的創始人之一沙澤爾（Noam Shazeer）曾説，該平台對許多孤獨或抑鬱的人“非常有幫助”。而公司的安全負責人魯奧蒂（Jerry Ruoti）則回應説，公司將為年輕用户增加更多安全功能，但拒絕透露有多少用户年齡在18歲以下。

Character.AI並非唯一一個會讓用户與虛擬角色發展情感聯繫的平台。一些平台甚至鼓勵用户進行不加過濾的性對話，而另一些則對內容進行了嚴格的管理。然而，隨着AI技術的普及，如何有效保護青少年用户的心理健康，正逐漸成為家長和社會的關注焦點。

今年早些時候，約1萬2000名家長聯名請願，要求短視頻應用TikTok明確標識那些具有誤導性的AI生成內容。雖然TikTok已要求創作者標記逼真的AI內容，但根據非營利組織Common Sense Media發佈的報告，70%的美國青少年正在使用生成式AI工具，但卻只有37%的父母知曉這一情況。

生活遇到困難，可撥以下熱線求助：