人工智能仍不夠智能——《華爾街日報》
James Freeman
2020年,薩爾瓦多聖路易斯塔爾帕的奧斯卡·阿努爾福·羅梅羅國際機場停機坪上的阿維安卡航空公司飛機。圖片來源:何塞·卡貝薩斯/路透社人們已經很難區分事實與虛構,而一項新技術似乎並未讓這一任務變得更容易。事實上,如果擁有自然智慧的人類過於依賴人工智能的多樣性,情況可能會變得更糟。
“GPT-3.5幻覺出不存在引用的證據:來自經濟學的證據”是薩姆福德大學的喬伊·布坎南和奧爾加·沙波瓦爾的一項新研究的標題。以下是摘要:
我們為每個經濟文獻雜誌(JEL)主題創建了一組提示,以測試GPT-3.5大型語言模型(LLM)撰寫經濟概念的能力。對於一般性總結,ChatGPT表現良好。然而,ChatGPT建議的引用中超過30%並不存在。此外,我們證明了隨着問題變得更加具體,LLM提供準確信息的能力會下降。本文提供的證據表明,儘管GPT已成為研究生產的有用輸入,但對輸出進行事實核查仍然很重要。
這是肯定的。布坎南女士一直在探索這個問題,並在1月份在《經濟學家每日寫作》博客上撰寫了研究生威爾·希克曼的研究:
儘管許多學術研究者並不喜歡撰寫文獻綜述,並希望由AI系統代勞繁重工作,但我們發現讓ChatGPT承擔這一角色存在一個嚴重問題:它會引用根本不存在的論文。這並非個別現象——我們向ChatGPT提出過不同的研究問題,它持續提供虛假和誤導性的參考文獻。更糟糕的是,它經常將真實存在的正確文獻與錯誤引用及虛構論文混雜在一起。簡而言之,使用ChatGPT進行研究時務必謹慎。
遺憾的是,律師們很少研究經濟學家的著作。想想本可避免的諸多問題。僅以近期案例為例,本傑明·韋瑟在《紐約時報》報道:
一位名為羅伯託·馬塔的男子起訴阿維安卡航空公司,稱其在紐約肯尼迪國際機場的航班上被金屬餐車撞傷膝蓋。
當阿維安卡航空公司請求曼哈頓聯邦法官駁回此案時,馬塔的律師提交了一份10頁的答辯狀,其中援引了六項相關法庭判例,包括馬丁內斯訴達美航空案、齊徹曼訴大韓航空案,以及至關重要的瓦爾蓋塞訴中國南方航空案——該判例對聯邦法律及"自動中止對訴訟時效的阻斷效力"進行了權威論述。
只有一個問題:無論是航空公司的律師,甚至法官本人,都找不到這份法律簡報中引用和總結的判決或引文。
原因在於ChatGPT憑空捏造了所有內容。
涉事律師已表示悔意,其他人或許也會後悔高估了這項新科技工具的當前實用性。
ChatGPT的創造者OpenAI則向試用該軟件者發出如下警示:
儘管我們設置了防護措施,系統偶爾仍可能生成錯誤或誤導性信息,併產生冒犯性或偏見內容。它並非用於提供建議。
鑑於該技術的原始狀態,或許您謙卑的記者還能繼續筆耕不輟一陣子,才需讓位給機器。與此同時,讀者們可能對一項分析能力新測試的結果感興趣。
初步結果表明,即便是穩健的人類智能也無法從以下段落中挑出任何一句毛病——這些文字由名為傑拉德·貝克的有機語言機器生成:
對人類更大的威脅是什麼:人工智能,還是那些要求必須對此採取行動的專家們?
隨着關於人類生存威脅的警告聲愈演愈烈,全球範圍內採取行動的呼聲日益緊迫,越來越明顯的是——無論人工智能威脅本質如何,就像過去一個世紀左右人類面對的所有所謂滅絕級威脅一樣——它終將成為大官僚體系、全球政府派和全知監管者們要求獲得更多自由控制權,將更多個人與國家主權移交給超國家專家和技術官僚的絕佳機會。
如果我憤世嫉俗一點,我會推測這些威脅即使不是人為製造的,至少也是被刻意誇大,目的就是讓世界符合那些自認為應該統治我們的技術官僚思維——以免缺乏監管的人們因無知衝動而毀滅地球…
當面對又一場自封專家和技術官僚要求全球採取行動、為他們自己和志同道合的朋友創造龐大新機會的表演時,我的建議是:警惕打着高科技幌子的騙局。
***
灣區之城是否已觸底?
安德魯·馬克·米勒 在福克斯新聞報道中講述了一位從阿富汗移民到美國的舊金山店主遭遇:
“政客們必須控制局面,這裏比阿富汗或伊拉克還糟糕,“舊金山裏士滿區"Cigarettes R Cheaper"的聯合店主扎伊德告訴福克斯數字新聞。他指的是週二晚間遭遇搶劫後該市的犯罪狀況——六名竊賊砸碎櫥窗,搶走了約8萬美元商品和2萬美元現金。
“至少在阿富汗,塔利班會砍掉你的手,人們不敢犯這種罪,“扎伊德補充説,他每天都能看到附近商店遭竊。
本專欄繼續反對斷手刑罰,希望城市官員能採用更温和、更常規的懲罰方式來震懾盜竊行為。當然,市政官員首先需要將遏制盜竊列為優先事項。
***
79年前的今天
在法國,西爾維·科貝特和傑弗裏·謝弗 為美聯社從猶他海灘發回報道:
二戰老兵們分享了諾曼底登陸及戰鬥的鮮活記憶,數十人重返諾曼底海灘和關鍵戰場,紀念這場決定性戰役79週年——該戰役最終使法國和西歐從納粹統治下獲得解放…
週日,40多名美國二戰老兵乘坐輪椅,在聖梅爾埃格利斯小鎮的街道上列隊遊行。1944年6月6日凌晨,數千名傘兵曾在此空降。
歡呼的人羣鼓掌致意,高喊"謝謝"和"Merci”。
***
本專欄已更新,説明沙波瓦女士在桑福德大學教授經濟學。研究報告最初在SSRN發佈時,其所屬機構誤標為其獲得博士學位的內華達大學裏諾分校,而非她實際開展研究的桑福德大學。
***
詹姆斯·弗里曼是 《借來的時間:花旗銀行兩個世紀的繁榮、蕭條與紓困》 的合著者,也是 《代價:特朗普、中國與美國復興》的合著者。
***
在推特上關注詹姆斯·弗里曼。
訂閲《最佳網絡》電子郵件。
如有建議,請發送郵件至[email protected]。
(特蕾莎·沃佐協助編輯《最佳網絡》。感謝託尼·利馬和馬克·佐勒。)
***