中國軍團稱霸閲讀理解競賽RACE：微信AI稱王，高中生單人力壓騰訊康奈爾聯隊_風聞

乾明 邊策 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

在初高中英文閲讀理解這件事上，普通人類已經不是AI對手了。

這就是AI最新獲得的成就。

在CMU語言技術研究所發起RACE數據集上，全球豪強紛紛一展身手。

最終，依然由中國軍團雄霸天下。

而且一位高中生，甚至單槍匹馬力壓騰訊和康奈爾聯隊。

此外，第一二名爭奪也異常激烈且頗富戲劇性。

微信AI和雲從交大，上演了一出生死時速的好戲。

怎樣一回事？

中國AI軍團雄霸全球競賽

此次比賽所用數據集RACE，全稱：Large-scale ReAding Comprehension Dataset From Examination，是一個從初中和高中試題中收集的大型英文閲讀理解數據集。

2017年正式對外推出，主要考察AI模型在英文閲讀理解方面的學習能力。

從推出至今，總共有13支全球豪強來試過身手。除了前面提到的微信AI、雲從、騰訊AI Lab和康奈爾之外，OpenAI、微軟研究院、IBM研究院也都參與其中。

但2年以來，還沒有哪支團隊的AI模型真正實現超越人類水平。

但就在今年1月，中國公司雲從科技和上海交大聯隊，首次在高中生數據集部分實現了AI模型水平對人類超越，該排名也一度佔據榜首50多天。

如此成績，雲從自然應該慶祝一番。

不過熟料戰況異常激烈，萬萬沒想到，在雲從刷榜通告發出後不久，中國另一代表隊——微信AI提交最新成績，併成功實現超越，且還是對人類水平的全面超越。

這年頭，慶功都不允許雍容款款了。

微信第一，BERT稱王

那麼微信AI模型，究竟有何獨到之處？

在RACE中，微信AI模型整體正確率73.5%，超過了普通人類的73.3%。

其使用的是選項比較網絡（OCN），模仿人類完成閲讀理解任務的做法，在單詞級別上對各個選項進行比較，以識別其中的相關性，來幫助推理答案。

不過，在這個競賽中，更大的贏家卻是BERT。

微信AI使用的模型，正是基於BERT。

不僅僅是微信AI，榜單二三名，也都是基於BERT。

目前排名第二的選手，上海交大與雲從提出的雙協同匹配網絡（DCMN），可以模擬段落、問題和答案之間的雙向關係，來進行更好的推理。在RACE數據集高中題目上拿下了69.8%準確率，超過普通人類表現。

BERT的成績，並不會讓人太過意外。

這個於2018年10月由谷歌推出模型，剛一問世便交出了一份驚人的成績單。

在機器閲讀理解頂級水平測試SQuAD1.1中，全面超越人類表現，並在11種不同NLP測試中創出最佳成績。

現在，SQuAD 2.0榜單已經被BERT壟斷，前30名之中都很難見到不用BERT的選手。

在我們今天要講的RACE競賽中，借BERT上榜的還有一名高中生。他來自新加坡立化中學，也是中國人。

他的模型，比騰訊AI Lab和康奈爾大學提出模型成績還要好。

高中生力壓騰訊AI Lab+康奈爾

這位高中生名叫司程磊，初中就讀於合肥市第五十中學，2015年被新加坡立化中學錄取。

他的這項研究並不複雜，只是基於RACE數據集對預訓練好的BERT模型進行調參。

司程磊在GitHub頁上聲明自己的成果是基於BERT的PyTorch實現。但作為一名高中生，已經開始上手調參煉丹，的確比不少同齡人要超前了不少。

還在高中就讀的司程磊展現出了對計算機科學的濃厚興趣，他的GitHub頁上顯示他正在自學斯坦福大學的NLP課程CS224N，還在Coursera上自學加州大學聖迭戈的算法課程。

另一方面，他也在關注NOI（全國信息學奧林匹克競賽）、ACM競賽。

司程磊可不僅僅把這些停留在簡單的關注上，每門學過的課程，他都認認真真地在GitHub上編寫習題的代碼。

言歸正傳，司程磊根據模型的精細程度，將結果分成基本BERT（BERT_base）和大型BERT（BERT_large）兩部分。BERT_large的batch size更小，學習率更低，因此在測試結果上優於BERT_base。

不過，騰訊AI Lab被超越，也是情理之中。

他們上次提交成績，還是在2018年10月。

當時，他們基於Transformer的模型，在多個閲讀理解數據集上都實現了最優結果。

但現在已經是2019年了，BERT已經開源，成了各個NLP模型中的核心。

而2017年推出的RACE，也因此迎來革命性時刻。

RACE：讓AI做高考題的數據集

RACE（Large-scale ReAding Comprehension Dataset From Examination），由兩位來自中國的博士生提出，是一個從初中和高中試題中收集的大型英文閲讀理解數據集。

RACE一共收集了28,130篇文章，包含了98,432個問題。 數據集又分為RACE-M（初中）和RACE-H（高中）兩個部分。

RACE由中學教師設計，用於測試學生的閲讀理解技能。要想選出正確答案，不能直接從原句子中尋找，而是需要找到相關的上下文，還需要邏輯推理並運用社會、數學、文化等方面的常識進行分析。這對AI是個很大的考驗。

關於RACE數據集的文章曾被EMNLP 2017收錄，當時最先進的機器閲讀理解模型也只能獲得42.3%的正確率，而在亞馬遜的眾包平台Turkers上，人類的平均正確率達到了73.3%，上限成績是94.5%。

**△**數據集作者用Sliding Window和Stanford AR兩個模型的測試結果與人類對比

顯然最先進模型與人類表現之間存在顯着差距，RACE很適合作為機器閲讀的測試標準。

開發這個數據集的，是卡內基·梅隆大學的兩位在讀博士賴國堃和謝其哲，他們都曾都在微軟亞洲研究院實習過。

除了閲讀理解外，這兩位還提出過英文完型填空的數據集CLOTH。他們去年12月用BERT模型超越了人類得分。

謝其哲畢業於上海交大ACM班，目前正在攻讀CMU博士學位，已有多篇論文被ACL、EMNLP、NIPS等頂會收錄。

他的本科導師俞凱，是蘇州思必馳信息科技有限公司首席科學家，同時也是上海交通大學蘇州人工智能研究院執行院長。

也是名師出高徒的又一例證。

後生可畏

當然，現在各大全球AI競賽被中國軍團霸榜，早已見怪不怪了。

遠的不説，2018年的國際頂級口語機器翻譯評測大賽IWSLT上，搜狗第一，訊飛第二，阿里巴巴第三，承包了Baseline Model賽道前三。

還有COCO+Mapillary 2018物體識別聯合挑戰賽上，中國團隊包攬全部六項賽事的第一名，其中曠視團隊獲得4項冠軍，商湯、北郵和滴滴團隊分別獲得1項冠軍。

然而與之前種種霸榜事件相比，這次大有不同，畢竟此次中國軍團中，還有嶄露頭角的高中生——此外測試標準本身，也由兩名中國留學生提出。

真是一個後生可畏的年代啊！

如果你也關注近期AI頂會的論文，還會發現各路本科生、實習生大展神威。

中國AI的年輕一代，正在源源不斷走到前台。

看來未來AI工程師退休，都不用拖到35歲高齡了。（手動狗頭）

傳送門

RACE榜單地址：http://www.qizhexie.com/data/RACE_leaderboard

RACE論文地址：https://arxiv.org/pdf/1704.04683.pdf

RACE數據集地址：http://www.cs.cmu.edu/~glai1/data/race/

微信AI論文地址：https://arxiv.org/pdf/1903.03033.pdf