為了故意刁難AI，科學家們製造了這1200個問題，超強AI被“打回原形”_風聞

魚羊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

視頻鏈接請戳https://mp.weixin.qq.com/s/Pay26fBiedaAP2d-zxi3DQ

自從 IBM 的 Watson 在 “Jeopardy！” 智力問答競賽中戰勝人類冠軍，人工智能真正理解人類語言這件事似乎變得觸手可及。

但只要和Siri多聊幾次天，你就會明白計算機還是會表現出“人工智障”的一面。

想要更好地理解人類語言，計算機系統必須接受更高難度的訓練挑戰。

於是，馬里蘭大學的研究團隊通過人機協作開發出了一個包含1200多個問題的數據集，來與計算機對抗。

Trick me if you can

馬里蘭大學副教授Jordan Boyd-Graber的團隊提出了一個新的概念，human-in-loop對抗生成。

雖然 Watson 的戰績曾經驚倒眾人，讓人覺得AI幾乎可以理解語言的含義，但過去三四年來，研究者們已經意識到計算機問答系統其實非常脆弱。

在智力問答中，許多問題稍作改動，人類高手仍能輕鬆作答，而AI則會被徹底愚弄。

舉個例子，對於“哪一位作曲家的海頓主題變奏曲是受到了卡爾·費迪南德·波爾的啓發？”這個問題，博學的AI能夠輕鬆給出正確答案：約翰內斯·勃拉姆斯。

但是如果不提卡爾·費迪南德·波爾，而只是描述他的職業——維也納金色大廳的檔案管理員，那麼AI就會傻眼。

所以，研究人員們都在努力創造更高難度的問題，即對抗樣本，來迫使AI用人類的方式思考問題。

通常的做法是人類自己寫問題，或者是讓計算機自己生成問題。但問題非常明顯：人在寫問題的時候，並不確定問題裏的哪些要素會混淆計算機。而AI生成器生成的問題，則容易陷入公式化，有時還會產生空白的，錯誤的，沒有意義的問題。

那麼，能不能讓機器來幫助人類寫出足以混淆計算機模型的問題呢？

團隊於是搞出了一個交互式用户界面。

在這個界面中，人在輸入問題的同時，計算機會把它的猜測按順序顯示在屏幕上，而那些計算機用來參考以生成回答的單詞也會被高亮標註出來。

還用剛才那個例子來説明，AI在得出約翰內斯·勃拉姆斯這個答案的同時，會把卡爾·費迪南德·波爾在屏幕上標記出來，説明它是根據這個名字推斷出了答案。

如此一來，輸入問題的人只要在不改變問題原義的基礎上，把卡爾·費迪南德·波爾這個詞替換掉，就能生成一個成功的對抗性問題。

也就是説，人機協作就是human-in-loop對抗生成的核心。

Jordan Boyd-Graber教授是這樣介紹他們的工作的：

大多數的問答計算機系統都沒有解釋他們是怎樣做出回答的，而我們的工作能幫我們看清計算機實際理解的內容。

團隊將這個框架應用在了一個叫Quizbowl的問答任務中，與Jeopardy不同的是，Quizbowl的問答模式是這樣的：問題被同時讀給兩個競爭團隊，誰先猜到答案就打斷問題並回答。

益智問答愛好者和計算機攜手，創造了1213個對抗性問題。

他們將這些問題整合成了開源數據集Qanta Adversarial，這個數據集涉及到了不同主題的6541個句子。

這樣的數據集將揭示計算機語言系統是否真的能像人類那樣閲讀理解。

實驗測試

為了測試新的QA系統的效果，研究團隊用上了三個模型：IR模型，循環神經網絡（RNN）以及深度平均網絡（DAN）。

第一輪攻擊

第一輪對抗性問題是針對IR模型生成的。RNN和DAN同樣接受了測試。

問題難度升級之後，三種模型都備受打擊，DAN的準確率就從54.1%下降到了32.4%。

第二輪攻擊

第二輪攻擊中，作者又攻擊了一個RNN模型。參與第二輪測試的所有模型都在更大的數據集上進行了訓練。

從這個結果來看，針對IR系統的問題降低了所有模型的性能。不過，IR模型對於針對RNN的問題是魯棒的。

人機競賽

最後的重頭戲，是人機大戰。

現場，有兩隻人類隊伍來與計算機PK。人類這邊，是國家級Quizbowl玩家；而計算機這邊，是最先進的Quizbowl系統Studio Ousis模型。

在2017年的NIPS共享任務當中，Studio Ousis曾經以475：200的比分戰勝了人類高手。

第一場比賽，使用了IR對抗性問題。形勢完全逆轉，人類以 300：30的比分獲勝了。

第二場比賽規模進一步擴大，有七支人類團隊參與其中，而比賽中的400多個問題是針對RNN模型生成的對抗性問題。

這次，人類隊伍這邊有高中Quizbowl選手，也有Jeopardy！冠軍隊伍。

然而，連最弱的人類團隊也擊敗了最強級別的AI。

1200問直擊弱點，AI果然還有很長的路要走啊。

傳送門

QANTA項目：https://sites.google.com/view/qanta/projects/adversarial

論文地址：https://arxiv.org/abs/1809.02701

GitHub地址：https://github.com/Eric-Wallace/trickme-interface/