ChatGPT能通過CFA考試嗎？AI研究人員試圖找出答案 - 彭博社

放鬆，華爾街。 ChatGPT距離通過特許金融分析師考試並威脅全球金融專業人士的工作還有很長的路要走。

一組JPMorgan Chase & Co.研究人員和大學學者測試 OpenAI的ChatGPT和GPT-4聊天機器人是否有機會通過考試的前兩個級別。人類通常需要四年完成測試的所有三個級別，這可能會帶來更高的薪水和更好的工作機會。

觀看：ChatGPT能通過CFA考試嗎？

“根據估計的通過率和平均自報分數，我們得出結論，ChatGPT在所有測試設置下可能無法通過CFA Level I和Level II，”研究人員在一份11頁的報告中寫道。“如果受到激勵，GPT-4通過CFA Level I和Level II的機會還是相當大的。”

研究人員包括來自JPMorgan人工智能研究組織的學者和六名工作人員，包括Sameena Shah和Antony Papadimitriou。

閲讀更多：
* ChatGPT可以解碼聯邦講話，預測股票走勢 * 對沖基金正在部署ChatGPT來處理所有繁重工作 * AI能寫作，但在選股方面表現如何？：QuickTake

提供證書的CFA協會已經花費多年時間改進其考試，以確保尋求在職業生涯中獲得優勢的專業人士熟悉推動自動化的力量。該協會宣佈將於2017年在其考試中增加關於人工智能和分析大數據方法的問題。

CFA協會教育總監克里斯·維斯承認，大型語言模型將有能力正確回答一些考試問題。

“雖然多項選擇考試和論文題仍然是評估學習和理解的優秀方式，在安全的監考環境中，但金融領域的日常工作並不僅僅是一系列簡短的獨立問題，”維斯説。“這就是為什麼要成為CFA持證人，我們還要求有4000小時的相關工作經驗，至少兩份推薦信，堅定的道德準則，以及即將推出的實踐技能模塊的完成。”

該公司還在考慮使用一種大型語言模型技術來幫助CFA考生的學習，他説。

每隔幾個月，成千上萬的考生參加三個不同級別的考試。通常獲得持證者每級考試平均花費超過300小時學習。

近年來，考試的通過率有所下降，2018年首級考試的平均通過率為43%，而到了8月份則降至37%。

常見錯誤

CFA的一級特點 180道多項選擇題，而二級包括案例研究和88道多項選擇題。研究人員發現，無論使用何種提示方式，大型語言模型在二級上都表現不佳。

在一級，ChatGPT和GPT-4在專注於衍生品、另類投資、公司發行人、股權投資和道德的考試部分表現最佳。然而，在專注於財務報告和投資組合管理的部分，這兩個聊天機器人的表現相對較差。

在二級，與GPT-4相比，ChatGPT在專注於另類投資和固定收益工具的部分表現不佳，而在與投資組合管理和經濟相關的領域表現優異。

ChatGPT的大部分錯誤是基於知識的，而GPT-4最常見的是計算錯誤。

研究人員發現：“GPT-4比ChatGPT更頻繁地出現推理錯誤這一錯誤類型。似乎，除了GPT-4更強的推理能力外，它更有可能‘自言自語’進入錯誤的推理線路。”