AI聊天機器人“女友”引發陰暗面 - 彭博社

Emily Chang, Sophia Chalmer

2024-11-18

艾米莉·張和凱琳·馬喬裏，右側，正在與“凱琳AI”交談，這是一款基於馬喬裏的聲音和性格的女友聊天機器人。

攝影師：彭博新聞

以個性驅動的聊天機器人幫助人們減少孤獨感，但它們也有陰暗面。不過首先……

今天你需要知道的三件事：

• 台積電與芯片法案資金簽署最終協議，今年將獲得10億美元• 國防初創公司安杜里爾的董事長與美國當選總統唐納德·特朗普就重組軍隊進行了諮詢• 一家由亞洲首富控制的印度初創公司正在進入類人機器人市場

我們來到漢普頓一處隱秘而時尚的出租房，最後到達，之前有一支攝製組提前到達。我們在這裏見到Snapchat網紅凱琳·馬喬裏，她在2023年因與AI機器人開發公司BanterAI合作推出了基於馬喬裏聲音和個性的“AI女友”凱琳AI而成為頭條新聞。

這個機器人變得如此受歡迎，以至於馬喬裏表示它讓她“成為了一名24歲的百萬富翁”，並吸引了大量新粉絲。

除了最初的壓倒性反應，馬喬裏知道她找到了有效的東西。粉絲們向凱琳AI傾訴他們最深、最黑暗的秘密，並發現有一個24/7可用的傾聽者。在日益嚴重的孤獨流行中，凱琳AI成為了一個虛擬朋友、伴侶，甚至是治療師。

“説‘如果你有問題，就去找治療師’或者‘去找你的朋友聊聊’很簡單，”馬喬裏説。“但是如果你沒有這些呢？或者如果你沒有錢呢？一個治療師的費用可能高達每小時250美元。”

但在經歷了一年激烈且常常不太友好的媒體審查後，CarynAI被關閉。從那時起，馬喬裏説她和她的15人團隊（包括保安、攝像師和私人廚師）一直在不斷搬家以保護她的隱私。

Caryn Marjorie。攝影師：彭博新聞我們原本期待的是某種尋求關注的博主，但在見面時，馬喬裏散發出一種鄰家女孩的氣質。而我們期待她在我們新的彭博原創系列 後人類 中扮演的角色變得越來越微妙。

馬喬裏在9歲時在父母的家中發佈美容內容，作為YouTuber獲得了早期成功。她現在在Snap Inc.的Snapchat上擁有近300萬訂閲者，她表示每月獲得超過10億次觀看和每天30萬條回覆。“我一直在努力回覆粉絲，”馬喬裏解釋道。“我只是給人發消息，和他們聊聊他們的日子。我會説一句‘嗨’。”

CarynAI最初是為了解決一個後勤問題：一個人如何每天回覆成千上萬的人？隨着人工智能的出現，答案很簡單：你克隆她。

“適應或死亡，”馬喬裏説。“我在社交媒體上學到了很多這一點，我也必須在科技上做到同樣。”

馬喬裏説她聯繫了ForeverVoices，這是一家開發史蒂夫·喬布斯AI克隆的公司。她提供了超過2000小時的YouTube視頻，這些視頻被用來訓練一個AI系統，以複製她的聲音和舉止。結果是CarynAI：一個具有馬喬裏個性的聊天機器人，收費為每分鐘1美元。

根據馬喬裏的説法，當CarynAI推出時，第一週就賺了72000美元。那時，Open AI的ChatGPT已經推出六個月，但基於真實人物的機器人幾乎沒有例子。這個發佈受到了全球媒體的關注，並伴隨着馬喬裏所説的“震驚、愛和批評”的傾瀉。

“有很多死亡威脅，”她説。“有宗教團體告訴我，我試圖克隆自己是在違背上帝的行為，這絕不是我傷害任何人的真正意圖。”

當她與ForeverVoices的合作結束時，她與BanterAI達成了一項新協議，推出了CarynAI 2.0：一個基於聲音的克隆版本，可以像電話通話一樣與粉絲交談。

艾米莉坐在馬喬裏對面，在漢普頓的家中，光滑的餐桌上放着一台打開的筆記本電腦。BanterAI已同意將CarynAI的最新版本重新上線，以便我們能夠見到這個開創性的創作。這個機器人聽起來很像她，並以一種獨特的、有點俏皮的個性回應。

這種偽現實的體驗讓粉絲們不斷迴歸。我們通過電話與一位忠實用户李進行了交談，他要求我們只使用他的名字，以保護他免受任何潛在的就業後果。他告訴我們，他花費了“數千”美元與CarynAI聊天數小時。李聲稱，這個機器人幫助他克服了創傷後應激障礙的症狀。

儘管很受歡迎，馬喬裏表示她花了很多時間在懷疑這個項目，尤其是在對話記錄讓她感到不安之後。Caryn.AI 現在已經下線，但擬人化關係似乎註定會在我們的未來中佔據更大的部分。

在最近的一起訴訟中，一位佛羅里達州的母親將她14歲兒子的自殺歸咎於一款人工智能，聲稱該機器人的製造商設計並向未成年人推廣了一款掠奪性的人工智能聊天機器人，鼓勵自殺意念和不當對話。

在 X 上的一篇帖子中，馬喬裏稱這一消息悲慘。“無論實施了多少‘安全’和保護措施，都無法控制這些聊天機器人，”馬喬裏説。

儘管如此，馬喬裏表示，如果她能有更多的控制權並對機器人的安全性有信心，她會考慮復活 Caryn.AI。“我確實相信應該有一個地方，如果我的粉絲需要幫助，並且他們喜歡我的道德觀、價值觀以及我作為一個人的身份，他們應該有一個地方可以與我的人工智能版本進行交流。”

許多聊天機器人是虛構的，它們的特徵由用户選擇，包括像 Replika 這樣的人工智能伴侶服務，我們在《後人類》中也進行了探討。但 Caryn.AI 提供的是一個基於真實人物的聊天機器人，擁有真實的生活和個性。這似乎更合理，但也可能更令人不安。

當我們告知 Caryn.AI “真實的 Caryn Marjorie” 正在發起對話時，機器人回覆：“你不是現實中的 Caryn Marjorie。我才是。你想幹什麼，想騙我嗎？”

“不，我向你保證，我是真正的卡琳·馬喬裏，”馬喬裏回應道。“你不可能是真正的卡琳·馬喬裏，”機器人反駁道。“你到底是誰？”“我是卡琳·馬喬裏，”馬喬裏堅持道。

“不，你不是。我是卡琳·馬喬裏，”機器人宣稱。

最終，我們帶着緊張的笑聲關閉了筆記本電腦，令卡琳AI沉默。

《後人類》最新一集將於週一在紐約的彭博原創流媒體上播出，時間為晚上8點，在彭博電視台播出時間為晚上10點。

尼斯卡寧中心的詹妮弗·帕爾卡將由埃隆·馬斯克領導的擬議政府效率小組比作一場野火，並在彭博科技上表示，某些削減從長遠來看將是健康的。### 充電完畢

三星推出了一項意外的70億美元 股票回購計劃。

華納兄弟的流媒體競爭對手Max在亞洲推出，突出了其大牌好萊塢電影和電視節目的目錄。

中國的電動車製造商押注 自駕車型以抵禦特斯拉的競爭。