教師們用人工智能檢測工具與ChatGPT對抗這些工具有效嗎？ - 彭博社

隨着學生開始使用像ChatGPT這樣的工具來做作業，教育工作者也部署了自己的AI工具來判斷學生是否在使用AI作弊。

攝影師：skynesher/E+ 不要錯過任何一集。關注 《大視野》每日播客 今天。

## 大視野

當AI錯誤地標記學生作弊時

14:04

教育系統面臨AI問題。隨着學生開始使用像ChatGPT這樣的工具來做作業，教育工作者也部署了自己的AI工具來判斷學生是否在使用AI作弊。但這些檢測工具在大多數情況下是有效的，但大約2%的時間會出現誤報。對於被錯誤指控的學生來説，後果可能是毀滅性的。在今天的《大視野》播客中，主持人Sarah Holder與彭博社的科技記者Jackie Davalos討論了學生和教育工作者如何應對生成性AI的出現，以及當打擊其使用的努力適得其反時會發生什麼。閲讀更多：AI檢測器錯誤指控學生作弊——後果嚴重

在 Apple Podcasts、Spotify 或您獲取播客的任何地方收聽並關注《大視野》

終端客户端：點擊 這裏 訂閲。

以下是對話的輕微編輯稿：

**莎拉·霍爾德：**莫伊拉·奧爾姆斯特德夢想成為一名小學教師。因此去年，她在中部衞理公會大學註冊了一個在線課程，邊照顧她的幼兒邊攻讀學位。

在她的一門課中，莫伊拉必須每週提交寫作作業，總結新聞文章。這其實很簡單……

但在秋季學期開始幾周後，她收到了一個意外的成績。

**傑基·達瓦洛斯：**在學期初的某一門課程中，她得了零分。

**霍爾德：**傑基·達瓦洛斯是彭博社的科技記者。她通過電話與莫伊拉進行了交談。

**莫伊拉·奧爾姆斯特德：**起初，我完全崩潰了。對於那些總結文章，我們主要是將大量信息總結成兩到三段。

**達瓦洛斯：**她並不知道發生了什麼。她只是看到它在她的學生門户網站上彈出。她向教授提出了這個問題，教授告訴她，她因為使用了人工智能而被標記。

**奧爾姆斯特德：**她説，嘿，我會把每個人的作業通過人工智能檢測器檢查，你的作業多次被標記。這實在是失控了。

**霍爾德：**但莫伊拉表示，她從未使用生成性人工智能——像Chat GPT這樣的工具——來寫她的作業。

Davalos: 對她來説，這種她從未真正見過的技術讓她感到措手不及。莫伊拉立即跟進，詢問這可能發生的額外細節。

Olmsted: 我當時只是想，好吧，謝謝你讓我注意到這一點。其實，我是一個未來的教育工作者，我真的非常反對在觀點和思考文章中使用人工智能。

**Davalos:**她不得不向學校的幾位其他管理員提出這個問題。她進行了多次會議，展示了她的電子郵件，表明她在工作中表達的信心正受到質疑。

Holder: 她的成績最終被更改，但莫伊拉開始對她的工作採取額外的預防措施——自己通過人工智能檢測器檢查，錄屏她的進展並將錄音附加到她的作業上——任何可以證明她的工作是原創的方式。但傑基的報道發現，莫伊拉的工作可能被錯誤標記為人工智能生成的還有另一個原因。

**Davalos:**她在自閉症譜系上，並且她的寫作風格總是有些公式化。因此，莫伊拉意識到這可能是人工智能檢測器的一個漏洞，她知道她想要準備好證明她完成了她的工作，以防這種情況再次發生。

屬於這個類別的學生，無論是神經多樣性還是英語為第二語言，他們往往比那些不屬於這些類別的同齡人更容易被識別。

**霍爾德：**莫伊拉只是一個學生，她正在應對這個教育新前沿帶來的挑戰。這些挑戰正在全國各地的學校和大學中上演。

我是莎拉·霍爾德，這是彭博新聞的《大視角》。

今天的節目中，我們將討論大學和學生如何適應生成性人工智能的出現，以及當打擊其使用的努力適得其反時會發生什麼。

**霍爾德：**傑基，莫伊拉並沒有使用生成性人工智能來做作業。她堅稱她沒有。但其他學生正在使用像ChatGPT這樣的工具來幫助寫論文。你能告訴我們這到底有多嚴重嗎？

**達瓦洛斯：**這非常嚴重。一些學生喜歡僅僅使用工具進行拼寫檢查，僅僅用於語法，然後再進一步幫助我重寫這一部分，甚至完全幫助我寫整篇論文。

這就是你看到其他初創公司和工具出現的地方，旨在幫助檢測這些情況。

**霍爾德：**我想了解更多關於這些人工智能檢測器如何判斷學生在寫作或作業中使用了多少人工智能。這些工具在基本層面上是如何工作的？

**達瓦洛斯：**像Turnitin、Copyleaks和GPTZero這樣的人工智能檢測軟件，基本上使用的技術與ChatGPT並沒有太大不同。他們的系統是通過大量文本進行訓練的，方式與ChatGPT相似。

然而，AI寫作檢測器關注的是所謂的“困惑度”。這只是一個複雜詞彙在任何給定提交或句子或段落中的複雜程度的衡量標準。我們説話時有很多變化。我們在特定句子或段落中變化我們的句子結構和用詞。如果詞彙選擇稍微更通用和公式化，那麼被AI檢測器標記的可能性就會更高。

它基本上會輸出一個百分比，表示它認為作業是AI生成的程度。因此在莫伊拉的案例中，大部分都是如此。它不會突出顯示哪些段落。它也不會告訴你它是如何得出這個結論的。這有點像一個黑箱。

**霍爾德：**所以教育工作者正在使用這些AI驅動的檢測器來查找AI生成的論文。但這些工具實際上工作得怎麼樣呢？

**達瓦洛斯：**我們發現它們實際上非常準確。因此，我們在2022年夏季對提交給德克薩斯農工大學的500篇大學申請論文進行了隨機抽樣測試，使用了GPTZero和Copyleaks。這一點很重要，因為我們知道，ChatGPT是在2022年秋季發佈的。因此我們知道這些論文不是AI生成的，因為ChatGPT甚至還沒有發佈。

在進行分析後，我們發現這些初創公司錯誤地將大約1%到2%的論文標記為可能由AI撰寫，在某些情況下，他們聲稱有近100%的確定性。

但問題是，1%到2%的論文在某種程度上仍然很高，而這個小錯誤率可能會累積，考慮到全國範圍內每年提交的學生作業數量。

持有者： 是的，每100名學生中就有2名面臨被錯誤指控抄襲的風險，可能會被開除，這仍然感覺 相當 糟糕。這對誰影響最大？

達瓦洛斯： 我們發現了兩個羣體，他們特別容易受到AI檢測軟件某些缺陷的影響。一個是神經多樣性羣體，比如莫伊拉，如果你在譜系上。另一個是如果英語是你的第二語言。

持有者： 這些學生受到這些虛假標記的影響有多不成比例？

達瓦洛斯： 斯坦福的研究人員發現，當檢查美國出生的8年級學生寫的論文時，AI檢測器幾乎是完美的，但它們將超過一半的非母語英語者寫的論文標記為AI生成。因此，虛假標記的比例非常高。

持有者： 對教授們本身的影響如何？這是否讓他們對學生提交的工作更加懷疑，更加偏執？

達瓦洛斯： 總的來説，教授們對AI在課堂上的使用仍然有些猶豫。你會發現一些教授希望將其融入課程的某些方面，比如用它來幫助你頭腦風暴或進行一些初步研究。其他教授告訴我，如果你想讓ChatGPT寫你論文的某個部分，我們不介意，只要適當地引用。教授們正在試圖弄清楚，AI在什麼情況下會侵蝕學習體驗？在什麼情況下它實際上會幫助學習？

但如果有一件事教授們一致同意，那就是這項技術不會消失。

**霍爾德：**人工智能不會消失。但學生和教育工作者如何才能負責任地使用這項技術呢？這將在廣告後討論。

**霍爾德：**我們回來了。我一直在與彭博社記者傑基·達瓦洛斯討論大學和學院用來檢測和根除人工智能生成作品的軟件的不足之處。

**霍爾德：**他們是否在嘗試制定新政策，以納入這些人工智能檢測工具存在一些盲點的理解？

**達瓦洛斯：**絕對是的。你知道，有些學校正在制定更嚴格的政策來界定什麼算是抄襲。如果你在論文的某部分使用了ChatGPT而沒有引用，那可能會被視為抄襲。但如果你引用了，那就沒問題。**霍爾德：**嗯。

**達瓦洛斯：**還有一些學校基本上允許教授隨意使用這些人工智能檢測工具，而不實際説明如果你的論文有50%或98%是人工智能生成的，你將面臨後果。因此，接受的標準由教授決定，但一些大學確實很關注這些人工智能檢測器並不完全準確的事實。

**霍爾德：**學生們在做什麼來確保他們的原創作品不會被誤認為是人工智能生成的？

**達瓦洛斯：**學生們真的開始創造性地保護自己。他們中的許多人告訴我，像莫伊拉一樣，他們開始在Google Docs中進行工作，並跟蹤所有內容以創建這個數字紙質記錄。還有人告訴我，他們正在使用其他技術工具，這些工具幾乎是為了使你的文本更具人性化。我和一位在加利福尼亞上學的學生進行了交談。他告訴我，他在論文的某些部分調整措辭，故意讓其聽起來更糟，因為他擔心如果聽起來太好，就可能被人工智能檢測器抓到。**霍爾德：**這一切聽起來對學生來説工作量很大。教育工作者也需要繞過這項技術的盲點。公司們在努力改善他們的模型方面做了些什麼？

**達瓦洛斯：**我們與幾乎所有我們關注的公司進行了交談，他們告訴我們，他們實際上是故意對代表性不足的羣體進行過度抽樣，比如可能不是母語為英語的學生，因此，這種情況使得這個過程不斷演變，迭代並使其更準確。我們還與Copyleaks的聯合創始人兼首席執行官進行了交談，他告訴我們，他們的準確率為99%，但仍然可能會偶爾出現少量錯誤。

GPTZero是另一家公司，他們告訴我們，他們實際上正在推出另一種工具，幾乎是一個學生可以寫入的工具。它不僅跟蹤你的工作，還記錄你進入文檔和退出時的時間戳。

**霍爾德：**所以這些公司在製造問題，然後提供解決方案。

**達瓦洛斯：**在某種程度上，是的。這很有趣，因為這也表明他們承認檢測軟件本身是不完美的。這些公司強調的是，他們現在正在努力獲取教授的反饋，並向他們傳達，這並不是你應該用來評估學生作業的終極工具。

**霍爾德：**傑基，我最後一個問題是關於莫伊拉的。她現在怎麼樣了？她完成學業了嗎？她自己成為老師了嗎？

**達瓦洛斯：**她正在按計劃繼續這個學期的課程。呃，她現在是兩個孩子的媽媽。她對未來感到非常興奮。這個世界不斷演變，她告訴我們，儘管發生了這個不幸的事件，她仍然期待未來成為一名教育工作者。

持有人： 好吧，非常感謝你，傑基。

達瓦洛斯： 謝謝你。

這是來自彭博新聞的《大收穫》。我是莎拉·霍爾德。

本集由：托馬斯·盧和傑西卡·貝克製作；高級製作人：娜奧米·沙文，亦是本集的編輯；編輯：亞倫·愛德華茲和塞斯·費格曼；高級編輯：伊麗莎白·龐索特。執行製作人：妮可·比姆斯特博爾；聲音設計/工程師：亞歷克斯·杉浦；事實核查員：阿德里安娜·塔皮亞·薩夫拉。