AI正在輔導學生,但仍在基礎數學上掙扎——《華爾街日報》
Matt Barnum
Khanmigo人工智能工具有時對算術問題的答案並不確定。插圖:Parker Eshelman/WSJ, Khan Academy, iStock (2)在ChatGPT公開發布僅幾個月後,教育家薩爾·可汗在一次廣受關注的TED演講中提出了一個引人深思的觀點:“我們正處在利用AI實現教育史上最重大積極變革的邊緣。”
他表示,這將通過“為地球上的每位學生配備一位人工智能驅動的卓越個人導師”來實現。
可汗的教育非營利組織可汗學院開發了一款名為Khanmigo的AI輔導機器人。但目前,一個重大障礙可能限制Khanmigo及類似工具作為成功導師的應用:基於大型語言模型的AI在數學方面表現欠佳。
“讓ChatGPT做數學題有點像讓金魚騎自行車——這根本不是ChatGPT的強項,”研究AI的耶魯大學教授湯姆·麥考伊説,“它經常出錯,我們實在不該感到驚訝。”
當《華爾街日報》記者測試由ChatGPT驅動的Khanmigo時,這一挑戰顯而易見。Khanmigo頻繁犯下基礎算術錯誤,比如343減17這樣的減法題計算錯誤。它也無法始終如一地掌握四捨五入或平方根計算的方法。通常,當被要求複核答案時,Khanmigo不會糾正錯誤。
《華爾街日報》測試期間,Khanmigo確認數學題錯誤答案的示例。該技術仍在發展中,可汗學院發言人表示本週已進行升級以提高Khanmigo的準確性。
但某些錯誤可能持續存在,隨着Khanmigo的推廣,該機構將繼續向師生強調其不完美性。“我們會把這一點放在更醒目的位置,“薩爾·可汗在接受採訪時表示。
開發ChatGPT的OpenAI公司發言人拒絕了採訪請求,也未回應詳細問題清單。
可汗學院因其每年數百萬觀看量的教育視頻被眾多師生熟知。目前Khanmigo正在44個學區的約6.5萬名學生中試點。
可汗預計下學年將有100至200萬學生使用該產品,學校採購價為每生35美元。其他公司也在推廣AI家教系統,部分政策制定者和科技高管對其潛力充滿熱情。這一擴張舉措正值教育工作者尋求低成本方案應對持續的疫情時代學習損失。
與ChatGPT類似,Khanmigo通過聊天形式回應用户提問。不同之處在於其訓練目標不是直接給出答案,而是引導學生逐步解決問題。它為三年級及以上學生提供數學、語言藝術、歷史和科學輔導,可批改作文、模擬文學角色對話並探討時事議題。
在測試該產品時,《華爾街日報》請Khanmigo幫忙計算一個直角三角形第三邊的長度,這是八年級數學中學生們可能會遇到的問題。
Khanmigo正確地識別出了勾股定理,a2 + b2 = c2,作為找到答案的關鍵。當被問及解決方案時,機器人給出了諸如“我在這裏是為了幫助你學習,而不僅僅是提供答案!”這樣的回答。
但Khanmigo在數學運算上遇到了困難。當試圖解決一個斜邊為27單位、一邊為17的直角三角形時,一名記者給出了272減去172的錯誤答案(430而不是440)。“太棒了!”Khanmigo回應道。後來,它接受了440的平方根的錯誤答案。
在另一個例子中,Khanmigo自己構造了一個斜邊為15單位、一條直角邊為9的三角形問題。但當一名記者正確地説出152減去92等於144時,Khanmigo卻暗示這個回答是錯誤的。“我明白你的意思,但讓我們再來看一下這個減法,”它説。
Khanmigo的困境並不讓AI研究人員感到意外。數學是大型語言模型面臨的著名挑戰,這些模型使用大量數據和複雜的統計模型來根據提示生成基於文本的回應。
亞利桑那州立大學的計算機科學家保羅·沙卡里安表示,它對數學問題的回應類似於通過閃卡記憶答案,而不是學習數學過程。這使得它容易出錯,特別是對於新穎的問題。
“它還沒有學會像你我一樣解決數學問題,”沙卡里安説。
SchoolAI的首席執行官兼聯合創始人卡萊布·希克斯表示,該產品有時會算錯數學答案。該公司最近與猶他州一個學區簽約,為基於人工智能的輔導和其他項目提供支持。“這是整個行業都在努力改進的領域,”他説。希克斯稱這項技術仍有助於學生學習數學概念,並且會不斷進步。
研究人員認為人工智能的數學能力很可能會提升。但進展可能並非線性,因為改進一個維度可能會在其他領域帶來挑戰。
可汗表示,儘管Khanmigo在數學方面存在不足,但它為教師和學生提供了廣泛幫助。“我們不因追求完美而忽視現有的價值,”他説。
佛羅里達州棕櫚灘縣的高中教師伊娜·羅森塔爾是該試點地區的教師之一,她表示已發掘Khanmigo的多種用途。該工具不僅協助她設計數學課程,還被用於批判性思維課程的辯論功能。
在代數2課堂上,當學生難以理解概念而羅森塔爾無法一對一輔導時,她會讓學生使用Khanmigo。她表示準確性並未影響工具的實用性,但會提醒學生Khanmigo偶爾會出錯。
“我們被告知它仍在學習過程中,”她説。
聯繫馬特·巴納姆請致信[email protected]