西工大這個AI成果意義非常重大_風聞

南華早報報道，西工大張東（音譯）團隊在《航空學報》上發表論文，成功解決了AI的“黑箱難題”。

黑箱模型也叫經驗模型，指模型結構與物理過程沒有顯性關係的數學模型，模型結構的選擇基於有可用的數學建模和分析工具，並無物理解釋。模型行為與物理過程相近，純粹是比照輸入-輸出訓練數據，對模型中的可調參數“湊參數”的結果。在使用中，使用者“喂入”數據，模型“吐出”計算結果，僅此而已，談不上理由，談不上解釋，“信不信由你”。

從高斯發明最小二乘法，這就是數學模型的基本思路。建模方法越來越複雜，模型結構越來越複雜，但思路沒有變。

也不能説一點沒變。“任意”選一個模型結構，總可以“湊”出參數。模型階數提高，模型結構複雜化，模型與數據的擬合度提高，但最終擬合度的改進越來越小。數學上有一套“適可而止”的辦法，幫助確定模型階數和複雜性在什麼程度既保持足夠簡潔，又達到足夠精度。甚至有一定的辦法，幫助引向最合適的模型結構。

黑箱模型的好處是簡便，不需要對物理過程有深入理解，總能湊出一個模型。難怪不斷有人信心滿滿，認為手持數學大錘，就沒有砸不開的物理核桃。壞處是適用範圍很受訓練數據的限制。如果訓練數據代表了所有可能遇到的情況，黑箱模型其實是不錯的。問題是物理過程很複雜，可能經歷的場景幾乎是無限的，很多模型結構的基礎假設都可能受到挑戰，如線性vs非線性，定常vs時變，穩態vs非穩態，集中參數vs分佈參數，等等。而訓練數據只可能針對有限的場景。一旦遇到訓練數據之外的場景，黑箱模型就很不可靠，而訓練場景之外既可以是數據邊界之外的“化外之地”，也可以是數據“雲團”之間的空隙。

更進一步，不再是簡單粗暴地從數學上容易入手的多項式、雙線性等模型形式入手，而是基於對物理過程的定性認知，建立具有物理解釋的模型構架，用可調參數使得模型行為與現實過程最大程度擬合。這是灰箱模型，也叫半經驗模型。

灰箱模型的結構有一定的物理背景，在結構上就決定了模型行為的基調。如果這個基調定調正確，加上訓練數據，就可以建立比較可靠的模型。即使在數據邊界不太遠的之外，或者數據“雲團”之間，模型結果也不會太離譜。

理想模型也叫白箱模型，這是根據對物理過程的深刻認知，建立機理模型，再通過實驗，確定模型參數。由於這有堅實的物理基礎，只需要相對較少的訓練數據就可精確確定參數。而且在訓練數據的邊界之外或者雲團之間，精度和可靠性依然有保證。

白箱模型是可遇而不可得的。真實世界太複雜了，要精確理解和建模對相當簡單的過程也是艱難的事，最後得到的模型也可能在數學上非常複雜，使用不變。比如説，水壺燒水是又簡單又複雜的問題。如果用黑箱模型，選一個線性律或者平方律，在火力、時間、冷水温度和沸騰時間之間通過實驗和足量數據，然後用最小二乘法，就可以得到一個黑箱模型。在大部分情況下，這模型就夠用了。

用灰箱模型的話，就要用到傳熱、材質等方面的知識，但模型也更加精確可靠。

但用白箱模型的話，連壺底的熱分佈、壺體的熱傳導和散熱、壺內的對流循環、水中雜質對沸點的影響等統統要考慮進去。模型更精確，但建模和使用就太複雜了。

在實用中，常常還是黑箱為主，畢竟方便。

AI正是黑箱模型，模型結構與物理世界無關。簡單黑箱模型多少還能分析一下，對模型行為有一些定性、半定量的理解。AI模型就不行了，尤其是深度學習模型，動輒幾十幾百層，幾萬幾億參數，根本不可能進行有意義的分析。

這就帶來巨大的問題，尤其是用AI模型進行決策輔助甚至自動決策的時候：如何確保AI建議或者決策是正確的，至少是無害的？

在AlphaGo的時候，就有一些棋路是這樣，事後覆盤的時候，人類大師也看不懂為什麼要這麼走，也説不上來這幾步對後來的勝負有什麼影響。

自動決策是個最優化問題。最優化好比爬山，爬到山頂就是達到最優了。但要是山包頂上很平坦，到底那裏才是山頂就很不清晰。更糟糕的是奇點，像馬鞍一樣，從一個角度看是頂點，從另一個角度看是底點，算法就容易犯糊塗。還有“香蕉問題”，在兩頭翹的區域裏，算法可能左衝右突就突不出去，要沿着“香蕉”走一段，才有比較明顯峯谷。還有就是局部頂點，在山腳下的平地上有一些小土包，爬上土包，在三十步之內確實是頂點，但真正的山頂在前面，連山腳都還沒有到呢。

這些數值計算上的問題可能把最優化算法繞糊塗，找到的最優解其實不最優，甚至一點都不優。

人類需要理解AI是如何得到當前的結論的。同時，如果人類對AI的求解不滿意，要有容易的辦法“糾正錯誤”。

張東團隊正是做到了使得AI“坦白交代”，用數據、自然語言和圖表説明決策依據和過程，幫助人類理解AI，並在人類複審有異議的時候，可以反饋回去，糾正AI的決策路徑。

張東團隊用這個方法訓練AI空戰。在一個實例中，AI用複雜的角度機動試圖擺脱追擊失敗，有經驗的飛行員在複審中發現，AI不顧能量損失強行機動，最後沒有擊落對方，自己反而能量喪盡，被對方擊落。在後來的人工反饋中，AI“改正錯誤”，再也沒有犯同樣的錯誤，而是用貌似蠢笨但保存能量的簡單動作引誘對方上前，然後通過積蓄起來的能量突然反手機動，一舉擊落對方。

團隊發現，利用飛行模擬器數據，用無反饋的黑箱模型訓練，AI要50000輪才能達到90%的成功率；但用有反饋的逐步訓練，20000輪就能達到接近100%的成功率。

這其實好理解。完全基於訓練數據的一次性黑箱模型訓練好比關起門來死讀書，破萬卷書後才一知半解；學一點基本知識後，到實踐中邊學邊完善，進步就快多了。

這對空戰模型的意義顯而易見，但應用還不止於此。在工業自動化、工商決策輔助和其他AI應用中，AI的“黑箱性”是應用鋪開的最大障礙。即使人們有理由相信“AI是有道理的”，在不能理解這個道理之前，還是不願意接納AI的決策建議，在AI直接行動的時候更是牴觸。

張東團隊的成果如果能白菜化、普及開來，功莫大焉。

對了，愛壇裏@testjhy 是AI權威，給説説我這個理解還靠譜嗎？