LeCun:説LLM是隨機鸚鵡侮辱鳥了啊,人家三個月就學會視頻網聊交友了_風聞
量子位-量子位官方账号-04-24 20:44
明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
現在,打個視頻線上交友,不是人類的特權了。
“鳥中學神”鸚鵡,3個月就能火速get這一新技能。

打通電話後,它們之間能通過動作、叫聲互動。
還能從同伴那裏遠程學一些新技能,比如新的叫聲、飛行能力等。
有的鸚鵡之間已經保持聯繫一年多了。

哈?這不就人類社交翻版麼?
這是由東北大學、MIT和格拉斯哥大學聯合推進的一項正經研究。
他們讓18只鸚鵡在3個月內共進行了147次通話,結果證明大多數鸚鵡都對這項社交活動表現出很強的意願,它們的飼養員也表示這明顯改善了它們的生活。

意外的是,這項研究意外引發了AI圈的討論。
深度學習三巨頭之一LeCun表示:
看來把大模型稱為“隨機鸚鵡”真是侮辱鸚鵡了。

自己選擇連線好友
這項研究找來了18隻身處各地的鸚鵡。
而且標註了每隻鸚鵡的社交情況,比如因病隔離、獨居、羣居等;以及它們本身會什麼技能,有的會已經會玩平板上的遊戲了……

首先,研究人員通過為期兩週的實驗,確定鸚鵡可以學會表達通話意願、選擇通話對象等行為。
這些是通過一些基本的食物引導來完成的。比如當鸚鵡成功觸摸到平板上的一張照片時,就給它一點食物作為獎勵。
而在這一時期內,當鸚鵡撥通電話的時長被限制在5分鐘、212次叫聲以內,一旦發現它的注意力不在打視頻電話這件事上,就會叫停通話。
研究人員表示,這麼做是為了降低鸚鵡在實驗過程中產生負面情緒,如果它們在實驗過程中分心或不適應,就馬上終止。

當確認鸚鵡們都能適應這些實驗程序後,就能開始實驗了。
研究規定,當鸚鵡搖一個鈴鐺時,就是表達自己想打視頻電話的意願。這時研究人員就會拿出他們的通訊設備,並給鸚鵡展示可以通話的同伴。
(當然這個過程也要確保鸚鵡確實是想打電話,而不是想聽鈴鐺響……)
正式的實驗進行了2個月左右,在鸚鵡主人們的幫助下,它們一共完成了147次呼叫,最後有15只鸚鵡完成了所有實驗。
通過視頻通話,鸚鵡之間的社交行為明顯增加了,比如打招呼、唱歌、玩耍。
參加實驗的大部分鸚鵡,都會在通話時儘可能發出聲音。甚至有兩隻鸚鵡之間建立了深厚的友誼,一年多時間裏它們都還在保持聯繫。
研究人員分析説,它們發出的聲音是在模仿自己在野外的叫聲,可以理解為“你好,我在這裏!”
與此同時,研究人員還發現了一些非常有意思的現象。
比如在鸚鵡的社交中,也是話癆更受歡迎,這和人類社會有些相似。
它們似乎也能理解屏幕對面是自己的同類,還會通過視頻通話學會一些新技能,包括新的叫聲、覓食或者飛行能力等。
很多鸚鵡都愛上了打電話這個活動,倒不是因為喜歡通話,而是整個活動需要他們的主人蔘與進來。
它們希望通過這一活動來獲得主人的更多關注,甚至有鸚鵡對屏幕另一邊的鸚鵡主人產生了依戀。
研究表明,視頻通話可以改善鸚鵡的身心健康。
畢竟當鸚鵡成為一種寵物之後,它們很多都過上了獨居生活,和同伴之間的聯繫減少了。
這種封閉無聊的生活可能會導致一些鸚鵡出現自殘行為,比如過度踱步、拔掉自己羽毛。
當然,鸚鵡之間不能社交還有一個大家想不到的原因——
在鸚鵡世界裏,也有大流行病存在的。
比如一種名為禽類神經節炎(avian ganglioneuritis)的傳染病就影響了美國40%的鸚鵡,所以它們也會為了健康考慮不能自由見面。
研究人員表示,就像人類能通過視頻通話讓隔離生活好過一些一樣,鸚鵡也可以這麼做。
不過他們也提醒説,這並不意味着任何一個飼養員現在都可以讓自己的鸚鵡來一場視頻通話。
因為如上實驗都是經驗豐富的飼養員經過長期訓練後實現的,而且過程中也認真觀察了鸚鵡們的反應。
實際上,鸚鵡在進行社交時是比較敏感的。如果沒有任何準備就進行實驗,可能會導致鸚鵡出現恐懼情緒、暴力行為。
當然也可能給您造成財產損失——大型鸚鵡的喙足以把iPad啄爛。
LeCun:LLM還真不能叫“隨機鸚鵡”
要説為啥這項研究會被AI圈關注,這還得從2021年的一篇論文説起。
艾米麗·本德等人發明了“隨機鸚鵡”這個詞彙,他們在論文中提出了一個觀點:
語言模型是一個系統,它可以隨意地把大量訓練數據中觀察到的語言序列拼接在一起,這些拼接主要根據它們各種組合出現的概率,這就導致LLM像一隻隨機(學舌)的鸚鵡。

如今ChatGPT、GPT-4引發了新一輪對大語言模型的激烈討論,“隨機鸚鵡”最近也是高頻被提及。
但這項最新對鸚鵡的研究似乎證明,哈這麼説似乎是侮辱鸚鵡了。

LeCun還進一步對比了鸚鵡大腦容量和當下LLM規模,有人提問,這是暗示LLM還得朝大規模發展下去?

還有人補充説,儘管LLM可以通過律師考試,但是它無法像鸚鵡那樣開拓自己的能力。

嗯,推演來看,讓鸚鵡和AI的智力做對比,而AI又經常被拿來和人類能力做比較,那麼下一步是不是要讓鸚鵡和人類下象棋了?(doge)

論文地址:https://dl.acm.org/doi/10.1145/3544548.3581166
參考鏈接:https://twitter.com/ylecun/status/1649670485498822656?s=20