Science經典論文:如何檢測複雜生態系統中的因果關係?_風聞
返朴-返朴官方账号-关注返朴(ID:fanpu2019),阅读更多!2019-12-04 10:46
**撰文 |**郭瑞東
審校 | 劉培源
編輯 | 張爽
來源:集智俱樂部
複雜系統要素眾多,相互作用複雜,因果關係的推斷非常困難,對此有一系列的研究。2012年發表在Science的一篇論文,提出了收斂交叉映射算法,針對複雜生態系統進行因果推斷,取得較好效果。本文是對這篇經典論文的解讀。
現實中複雜系統中的因果關係,由於其本身的複雜性,往往不能根據領域知識,畫出明確的因果圖(Directed acyclic graph),從而無法按照 Judea Peral 在《為什麼》這本書中提出的基於因果圖進行因果推論。
例如判斷黃石公園引入狼羣是否恢復了生態系統的平衡,要考慮的混雜因素就會有幾十項,從天上氣候變化,到地上的微生物和真菌的變化,都需要考慮。
生態系統是典型的複雜系統,多種元素,相互作用。針對複雜生態系統,2012年的Science文章提出了收斂交叉映射算法(convergent cross mapping ),本文是對該論文及收斂交叉映射算法的詳細介紹。
論文題目:
Detecting Causality in Complex Ecosystems
論文地址:
https://science.sciencemag.org/content/338/6106/496
圖 1:2012 年發表在 Science 雜誌的經典論文Detecting Causality in Complex Ecosystems,至今被引用近千次
為什麼判斷複雜系統中的因果關係很困難
在介紹這篇經典論文之前,先回顧一下之前關於因果推斷的相關方法。
計量經濟學家格蘭傑(Clive Granger,2003 年諾貝爾經濟學獎得主)提出了一套因果檢測方法**(Granger causality test)。格蘭傑因果檢驗是針對時間序列時間,最常用的一種統計方法,從最初在計量經濟學中使用,後來進入了生態學、複雜網絡等自然科學領域。格蘭傑因果檢驗考察的是兩個事件發生的先後順序,然後假設因一定比果先發生。**
但格蘭傑因果檢驗的假設——“原因比結果先發生”——是有問題的,其格蘭傑檢測只是判斷兩個事件的發生的先後順序是否在統計上顯著,並不能夠判定因果關係。
例如,觀測中美兩國的股市,如果發現美國股市的暴跌總是比中國股市早零點幾秒,於是用格蘭傑檢驗會發現,在任何情況下,使用美國股市的數據都能更精確地預測中國股市的暴跌,因此兩者之間有因果關係。但實際上,兩國股市的起伏可能是某個突發事件同時引發的,只是由於光纖傳遞信息的延遲,導致了時間上的先後。
複雜系統的特點之一是存在非線性的相互影響,由此產生相變和混沌現象。具體來説,兩個變量在很長一段時間內,看起來是高度相關的,但可能突然就變得毫不相關了。如果沒有意識到這一點,就容易根據觀察到的局部相關性,判斷變量之間存在偽相關關係(spurious correlation)。 下圖所示的是存在非線性關係的變量X和Y之間隨時間變化的圖,圖中大部分時間,XY都是高度相關的:
圖2:非線性下的偽相關會持續相當長的時間
對上圖的例子,格蘭傑檢驗就不會判定X和Y之間有因果關係,但根據倆者的微分方程,可以看出倆者之間是存在着因果關係的,因此在該例中,格蘭傑檢測就沒有檢出因果關係。
收斂交叉映射算法:複雜生態系統中的因果關係模型
前面説了格蘭傑因果檢驗存在的缺陷,而2012 年這篇 science 文章中提出的新方法“收斂交叉映射算法”,正是針對格蘭傑檢驗進行的改進。 用一句話來概述收斂交叉映射算法就是,如果變量Y的歷史數據能夠由變量X可靠的推出的程度越高,那麼X到Y的因果關係就越強。 舉例來説,將包含三個變量典型的洛侖茲系統(canonical Lorenz system)看成是複雜系統的經典案例。其中已知X和Y是互為因果關係的,在三維流形中畫出其運動曲線,可以得出下圖:
圖3:洛侖茲系統中的因果關係,Mx 和 My 分別是x和y在流形 M 上的映射
在t時刻,X的數值處在橙色圓圈附近,Y處於綠色圓圈附近,由於X和Y在動力學上是相關的,所以知道X所在的位置能夠預測Y所在的位置,反過來也是這樣。由於隨着時間的流逝,X和Y的軌跡都會變得更加密集,因此,從X或Y能夠更加精確的預測Y或X的值,從而可以推出——X和Y之間的因果聯繫更強了(圖中藍色圓圈部分的曲線密度更大)。
讀者可能會問,前文寫道可預測不等於因果,這裏就需要澄清收斂交叉映射算法的核心詞——收斂(convergence)。
首先,收斂交叉映射算法是一個向後看的模型:它考察當前的狀態之間的關係,是根據當前的X預測當前的Y,而不是基於當前X的狀態能否預測Y未來的值進行判斷。
圖4:隨着橫軸時間L的增加,洛侖茲系統中相關性ρ變大並收斂到1
舉公雞打鳴和太陽昇起的例子。假設公雞在小時候,有時半夜雞叫,有時正午才打鳴,長大後逐漸掌握了太陽昇起的時間,打鳴準時了。等公雞年長,都會根據四季的不同調整打鳴時間了,那時候公雞就能欺騙收斂交叉映射算法——算法會認為是公雞打鳴才是太陽昇起的原因(因果性存在)。但這顯然是荒謬的,由此通過反證法,該例子説明了收斂交叉驗證算法能夠從相關性之中,找到真正的因果性。
如何區分因果關係的方向和類型?
在簡單情況下,因果關係可以分為三類:互為因果,單向因果與共同原因。三者在數據上看起來是很難區分的,但使用收斂交叉映射算法,可以將由共同誘因Z導致X和Y發生變化的情況與X導致Y區分開。
圖5:基於漁業數據,用收斂交叉映射算法區分共同因素引起的偽因果
研究者使用真實的漁業數據,做了研究,結果如圖所示,左邊展示的是三種因果關係的示意圖,右邊是兩種魚X和Y的數量,由於兩個變量的交叉相關性ρ並沒有隨着時間L變化出現收斂,因此可以排除互為因果,單向因果這兩種關係,進而得出是由於共同的第三方因素導致了這兩個變量的相關。
收斂交叉映射算法還能區分互為因果與單向因果這兩種情況,如下圖所示:
圖6:隨着時間的變化,從X到Y和從Y到X的對應不確定都減少,從而推出雙向因果
圖7:隨時間變化,只有X到Y的映射隨機性降低,因此是單向的X到Y的因果
更復雜的情況是五個物種組成的生態系統,如下圖所示,在該生態系統中,物種1、物種2、物種3相互之間有100%密切的相關性,物種1、物種2、物種3共同作用,分別影響物種4和物種5。
圖8:5個物種組成的模擬生態系統中,通過收斂交叉映射算法判斷因果關係
如果使用因果圖(casual diagram)方法,需要根據預設知識,在模型中給出可能存在因果關係是哪些組。而在缺少預先假設時,例如考察物種2和物種4的相互關係,是無法矯正其他物種帶來的影響的。但收斂交叉映射算法就可以在無假設的前提下,判斷出因果關係。
因果推斷研究助力新一代人工智能
判定因果關係,尤其是在複雜系統和現實環境中,是極其困難的,連諾獎得主提出的格蘭傑因果檢驗,都不能直接檢測因果關係,也無法區分單向的與雙向的因果關係。因此判斷因果關係,要格外地戰戰兢兢如履薄冰。本文聚焦2012 年 Science 論文,通過和格蘭傑因果檢驗的對比,展示了收斂交叉映射算法在判定因果關係上能力更優。 回顧因果判定方法的發展,如同咬住自己尾巴的蛇:統計模型的最終目的,不是去超越最簡單的觀察法,而是去模擬人類的因果推斷,從而做到小樣本下可解釋的因果推斷,再將其自動化地推廣到大數據上。
為了讓人工智能更值得被信任,因果推斷是充分必要條件。近期,有一系列討論複雜系統因果推斷問題的研究進展,這裏舉幾例:
有了因果推斷,就不用擔心模型會歧視少數族裔或者女性,因為模型可以自己回答反事實的問題,判斷路徑相關下的決策是否公平。
論文題目:
PC-Fairness: A Unified Framework for Measuring Causality-based Fairness
論文地址:
https://arxiv.org/abs/1910.12586
不僅可以利用因果推斷模型,還可以反過來去判斷模型對因果的判斷與哪些些因素相關,從而為模型提供可解釋性。
論文題目:
Feature relevance quantification in explainable AI: A causality problem
論文地址:
https://arxiv.org/abs/1910.13413
同時,因果模型還可以提升模型在不同領域間的可遷移能力,在無監督下學到領域無關的一致性表徵(domain adaptation)。
論文題目:
Deep causal representation learning for unsupervised domain adaptation
論文地址:
https://arxiv.org/abs/1910.12417
本文經授權轉載自微信公眾號“集智俱樂部”。
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“,可查閲不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關注公眾號,回覆四位數組成的年份+月份,如“1903”,可獲取2019年3月的文章索引,以此類推。