百度吳華：NLP技術要讓機器具有人類語言交流能力

“要讓人工智能走進人類的生活，就需要讓它們具有與人類交流的語言能力。自然語言處理（NLP）是人工智能的核心領域之一，是解決這一問題的核心途徑。研究好NLP就能讓計算機理解和生成人類語言，以我們熟悉的方式服務人類。”百度技術委員會主席吳華在國際自然語言處理與中文計算會議（NLPCC）上詮釋了NLP技術的重要意義。

NLPCC 2017由中國計算機協會（CCF）主辦，是具有國際影響力的學術與創新交流平台。百度技術委員會主席、百度自然語言處理部門技術負責人吳華應邀出席，並在會上介紹了百度NLP技術的發展現狀和產品應用能力。

吳華表示，百度NLP以大數據和知識圖譜為立足點，基於機器學習和語言學方面的積累，擁有一流的文本理解與生成技術，由此構建起問答、機器翻譯和對話系統，並以平台化的方式對更多產品進行支持，如NLPC（NLP Cloud）和百度AI開放平台。百度NLP技術已經應用在搜索、信息流、DuerOS等百度的眾多產品上。

憑藉多年的技術積累，百度研發了一套聯合統一的詞法分析方案，極大提高了機器正確識別和標註句子中詞的概率。吳華表示，詞法分析是自然語言處理的基礎，其準確程度直接影響後續一系列分析處理任務的效果。百度的這套方案將專名識別（NE Recognition）、分詞和詞性標註統一在一個框架中，得到語義更合理和完整的詞語切分與詞性標註序列；另一方面，百度特有的海量點擊反饋數據輔助詞性標註將詞性標註語料從20萬迅速擴充到1億3千萬個句子，標記數據精度超過95%，提升了自動分詞和詞性標註的準確率。

在介紹百度先進的文本理解與生成技術能力時，吳華強調，不同應用對文本理解的程度和解析粒度的要求不同，一套固定的解決方案無法滿足所有需求。目前，百度NLP不僅擁有通用的理解技術，更面向不同任務提供相應的文本理解技術，實現更精準的意圖理解、推薦、人機對話等。在搜索中，使用基於深度學習模型的多層次語義匹配技術，搜索結果的關聯度將大幅提升。例如，在應用深度學習模型前，搜索“水泵忽強忽弱”結果是不相關的，應用之後的關聯度大幅提升。而在基於知識庫問答和麪向任務的對話系統中，使用精細的句法分析和語義角色標註技術，可以準確定位和理解用户意圖。

篇章理解是文本理解的另一核心組成，吳華表示，“NLP技術可以通過用户興趣網絡和文檔語義網絡形成標籤圖譜，最終得到‘不搜即得’的智能推薦。”該技術以用户興趣為出發點，依託從搜索、貼吧、百科等不同渠道獲得的有明確含義的主題、話題或實體等內容標籤，形成可即時更新的關注點標籤圖譜。在下面這張關注點標籤圖譜中，“AI”話題與“科技”、“VR”等話題，“烏鎮峯會”等事件關聯在一起。基於關注點圖譜對文檔內容進行標註，可以更好地描述用户與文章之間的關係，從用户的視角對篇章進行更合理的分類和有效的推薦。

吳華在現場向觀眾展示了兩首五言絕句，多數人都難以區分哪一首是由百度機器創作的。目前，百度人工智能撰寫的文章通過消息推送、資訊流、開放訂閲、百家號等途徑進行分發，供用户閲讀。

基於上述多項技術能力的積累，百度已經構建起問答、對話和機器翻譯三大系統。在問答方面，面對用户提出的問題，系統可基於知識圖譜加以回答。吳華坦言，沒有理解或推理仍是問答領域的巨大挑戰，對此，百度日前推出了世界上最大的中文機器閲讀理解數據集——DuReader，該數據集基於真實應用需求，所有問題來源於百度搜索用户的真實問題，文檔來自全網真實採樣的網頁文檔和知道UGC文檔，答案基於問題與文檔人工撰寫生成，目前擁有20萬個問題和100萬個文檔；同時，數據集標註了問題類型、實體和觀點等豐富信息，彌補了現有主流數據集對於觀點類問題覆蓋不足的問題。

對話系統以基於意圖圖譜的核心技術與用户進行多輪交互（multi-turn interaction）。吳華説道，目前面向任務的對話模式將不同的任務分發給對應的bot，使任務管理低效而複雜，而意圖圖譜將所有意圖容納到一張圖中，從而能夠進行連續一致的對話管理。

吳華表示，百度已經將NLP技術應用在眾多百度的產品當中。2015年5月，百度將神經網絡機器翻譯技術應用到百度在線翻譯服務中，推出了全球首個基於深度學習的大規模在線翻譯系統。今年，百度還推出了一款兼具Wi-Fi與翻譯雙重功能的Wi-Fi翻譯機，自帶80多個國家的移動數據流量，支持即時語音翻譯。

另外，百度也通過平台化的方式對更多產品進行支持。百度開發的自然語言理解一站式解決平台NLPC（NLP Cloud），已經可以提供25種NLP模塊，每天被調用超過2000億次。百度AI開放平台開放了80多項百度核心AI技術能力，其中包含NLP模塊、UNIT、翻譯在內的十多項自然語言處理方面的能力，供開發者與合作伙伴接入。

近幾年來，NLP技術的發展受到了世界各國的高度重視。在美國AI創業公司中，自然語言處理領域的創業公司數量最多。中國的AI創業公司中自然語言處理領域的創業公司位居第三。NLP技術的發展和應用正推動人機交互走進一個新的時代。吳華指出，百度自然語言處理技術將持續高速優化升級，持續為開發者、合作伙伴賦能。智能時代即將來到，百度將讓AI更懂人類。