ChatGPT下架官方檢測工具，承認AI文字無法鑑別_風聞

　　夢晨 發自 凹非寺

　　量子位 | 公眾號 QbitAI

　　沒有公告，OpenAI悄然關閉了AI文本檢測工具，頁面直接404了。

　　官方對此沒有公開回應，幾天後才有人找到一則簡短説明，藏在半年前工具發佈的博客頁面中。

　　……AI檢測器由於準確率較低而不再可用……我們正在研究更有效的文本檢測技術，並承諾開發音頻和視覺檢測技術。

　　對於CloseAIOpenAI不發公告就殺死一個產品這種行為，很多網友是不滿意的。

　　但是對關閉AI檢測器本身倒是有不少人表示贊同，特別是學生羣體。

　　太多老師相信這玩意有效，大量冤枉學生用AI作弊，已經變成了一場獵巫運動。

　　準確率和瞎猜差不多

　　這個官方檢測工具，準確率究竟有多低呢？

　　OpenAI自己給出的數據，只能正確識別**26%的AI生成文本，同時冤枉9%**的人類編寫文本。

　　1月份剛發佈時就被網友總結為“和瞎猜差不多”。

　　另外有人做過實驗發現，市面上各種檢測工具會把聖經、美國憲法等歷史文本都被判定可能為AI編寫，總不能寫下這些內容的歷史人物都是時間穿越者吧？

　　但還是有很多老師試圖用各種檢測方法來檢查學生作業。

　　最著名的一次，得克薩斯農工大學一位教授差點判定半個班的學生延畢。

　　目前最新的趨勢是，教師要求學生用在線文檔寫作業並檢查編輯記錄，但聰明的學生也能找到規避辦法。

　　最終對於教育領域，有人提出可能大作業/課程論文將成為歷史，閉卷考試或口語考試將成為主流。

　　目前的檢測方法都能規避

　　網友指出，OpenAI同時開發生成和檢測工具本身就是矛盾的。

　　如果一邊做的好就意味着另一邊沒做好，同時還有可能存在利益衝突。

　　但是第三方開發的檢測方法，可靠性也不高。

　　最早被稱為“ChatGPT剋星”的是普林斯頓本科生Edward Tian開發的GPTZero，用複雜性和長短句的變化來衡量文章是否由AI生成。

　　當時GPTZero計劃專為教育工作者打造，老師可以把全班學生的作業丟進去檢測。

　　但到了7月份，作者承認已放棄了檢測學生作弊這個方向，計劃下個版本的GPTZero將不再檢測文本是否由AI生成，而是突出最像人寫的部分。

　　另外一個很受關注的檢測方法，是馬里蘭大學開發的水印法，要求大模型在生成文本的時候就藏下記號，並用統計方法識別。

　　但是規避的辦法也很簡單，比如有人開發了簡單的同義詞替換工具，就能破壞統計特徵。

　　甚至有人開始懷疑，人們到底是為了什麼非要區分這個。

　　就像數字到底是人計算的還是計算機完成的，早就沒人在意了。

　　演講者的稿是自己寫的還是秘書寫的，不是也沒人在意嗎。

　　人類行為學研究，正在用AI充當被試

　　無法區分AI和人類的內容，似乎也不全是壞事。

　　已經有心理實驗用AI代替人類被試加速研究了。

　　Cell子刊上一篇文章指出，在精心設計的實驗場景中，ChatGPT的反應與大約95%的人類參與者的反應呈相關性。

　　並且機器被試不會疲倦，使科學家能以前所未有的速度收集數據並測試有關人類行為的理論。

　　而在最近一篇Science主刊的觀點文章上，滑鐵盧大學心理學教授Igor Grossman認為：

　　“人工智能可以改變社會科學研究的遊戲規則，謹慎的偏見管理和數據保真度是關鍵。”

　　參考鏈接：

　　[1]https://twitter.com/KevinAFischer/status/1683898199981928450

　　[2]https://www.reddit.com/r/ChatGPT/comments/159j8rc/openai_quietly_kills_its_own_ai_classifier_citing/

　　[3]https://news.ycombinator.com/item?id=36862850

　　[4]https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(23)00098-0

　　[5]https://www.science.org/doi/10.1126/science.adi1778

　　[6]https://theconversation.com/beyond-the-hype-how-ai-could-change-the-game-for-social-science-research-208086