在未受關注領域開展研究才有更多可能
◎本報記者 張佳星
不久前,因收到的郵件標註着紅色字體“外部郵件、注意安全”,京東集團副總裁、京東探索研究院院長何曉冬博士並沒打開來看。幾天後他才得知,這是國際學術會議CIKM(國際信息和知識管理會議)通知他因十幾年前DSSM模型(雙塔模型)相關成果獲得“最佳時間檢驗獎”。
一篇論文,為什麼10年後仍能被學術界記起並授予殊榮?它憑什麼在獲得學術界超5000次引用的同時,成為產業界搜索推薦和人工智能領域的“基礎設施”?
人工智能已成為驅動新質生產力的重要引擎,但我國一直被認為應用發展快速,原創模型成果不足。科技日報記者10月31日採訪了何曉冬,請他就我國如何以基礎模型推動新質生產力可持續發展談談看法。
從“不被關注”中找到AI基礎架構
儘管2024年諾貝爾物理學獎頒給了人工神經網絡的研究,但如果把時間倒回十幾年,人工神經網絡甚至還沒躋身主流算法行列。
彼時,圈內主流模型比如拓撲模型等已被研究得十分充分,但在賦予機器學習能力、揣度人類意圖上仍未解決算法複雜、效率不夠高的問題。人工神經網絡架構剛剛進入業內,卻因實驗規模小、難以體現優勢而未受到關注。
當時還在微軟研究院的何曉冬第一時間對新架構產生了極大興趣。他説:“相比一個充分研究過的領域,在新領域探索意味着會有更多機會。如果能在微軟廣告這種大規模的應用上檢驗人工神經網絡奏不奏效,將為整個人工智能行業給出證明,甚至明確發展路徑。”
“利用傳統模型,‘蘋果手機’和‘蘋果’的意思對於機器來説非常接近,而‘iPhone Pro’又與‘蘋果手機’相去甚遠。”何曉冬解釋,為了讓機器精準揣度人類意圖,要改變模型“度量”語義的方式,不着力於絕對含義而是度量含義的“相對距離”。
如何做到呢?DSSM模型(雙塔模型)研究人員最早進行語義向量化研究,用這種模型描述語義向量的距離相對值。這是整個互聯網搜索推薦技術發展脈絡的起點,也是大模型發展的重要基礎之一。
由於解決了語義相似度計算問題,DSSM模型成為深度語義學習方向最基礎的模型結構。圖靈獎得主等行業大咖2016年共同編撰的深度學習領域奠基性教材《Deep Learning(深度學習)》將DSSM模型列為推薦使用的基礎架構之一。
基礎研究被廣泛應用也需“流量密碼”
“和其他學者一樣,讓成果在長時間跨度中推動行業進步,經受住時間檢驗是我的研究目標。”何曉冬説,要讓基礎研究“固化”為基礎設施的“流量密碼”,首先應“大道至簡”,簡單的架構往往更友好,更易被理解、接納和發揚。其次,它還必須具備可以無限放大的包容性。
例如DSSM模型用簡單的“雙塔”設計分離了原本交織的計算,為用户和物品匹配了獨立子網絡(“塔”),計算出結果後再匹配,解決計算複雜性問題。
好用的模型要具有反映複雜世界的能力,基本計算單元的設計是關鍵,例如生命的單元是細胞、神經網絡的單元是神經元。設計廣泛適用的基本單元,匹配“萬能”函數,即可高效執行大規模計算。何曉冬介紹,基於此,他們團隊在2013年用一台八卡服務器,實現了千萬數量級語料的深度學習訓練。
強大的分析能力、更高的計算效率,使得這一模型在過去10餘年被頭部搜索引擎、電商平台等大量採用,產生了百億元量級的經濟價值。
何曉冬告訴記者,做基礎研究很像在林子裏打獵,很難説在哪裏一定能打到,但如果獵人有驅動力、持續探索,打到的機會就能更多。計算機領域有着基礎研究也要推動快速應用的傳統,比如密碼學這類純數學的科學也會發展出“電子簽名”等應用。因此,產業界的壓力和驅動將帶來更多基礎研究突破。
近年來,人工智能領軍企業對於基礎研究的重視程度不斷增加,京東、騰訊、阿里等均為科研人員創造開展原創性基礎研究的條件,且不以論文發表為考核標準。
“我進入京東後愈加意識到,技術在不同場景可產生不同價值。從產業角度看,搜索推薦、智能客服、數字人等技術都在產業界產生了以產品驅動的人工智能基礎設施的飛快突破。”何曉冬表示,基礎模型研發和基礎理論創新是新質生產力發展的長效“引擎”之一,將在豐富的場景土壤和產業需求中取得更多突破。