怎麼計算“蝙蝠俠”的面積？室友唱的瑪卡巴卡之歌，給了我靈感…_風聞

原創：中科院物理所

對於大多數人來説，貝葉斯統計可能只是聽説過的概念。作為其標誌性方法之一的馬爾科夫鏈蒙特卡洛方法更是有幾分神秘色彩。雖然這種方法包含巨大的運算量，但是其背後的基本原理卻可以直觀地表達出來。這便是本文想呈現給大家的。

所以，什麼是**馬爾科夫鏈蒙特卡洛(****Markov Chain Monte Carlo，MCMC)**方法？簡單來説是：

MCMC方法是一種在概率空間中通過隨機取樣的方法來逼近所感興趣的參數的後驗分佈的方法。

看不懂？別怕，我將在這篇文章中解釋這個簡單的表述，但不用任何數學推演！

首先介紹一些術語。我們感興趣的參數就是一些數字，即我們對什麼量感興趣。通常我們使用統計方法來評估參數。例如，如果我們想了解成年人的身高，我們感興趣的參數可能就是平均高度（英寸）。分佈是對於參數可能取值以及取值幾率的數學呈現。最知名的例子是鐘形曲線：

來源於M. W. Toews

如果採用貝葉斯統計的方法，我們對於分佈會有更多的理解。除了將分佈單純理解為一個參數的值以及這些值取真實值的可能性大小，貝葉斯統計還認為分佈描述了我們對於一個參數的期許，即在看到真實測量的數據前預計數據怎麼樣以及相應的可能性。因此，上面的鐘形線顯示出我們非常確信參數的值是接近0的，但是我們在一定程度上認為真實的值大於或小於0的幾率是相同的。

這樣來看，人類的身高確實遵循一個正態曲線，假如我們相信人類真實的平均身高遵循如下的鐘形曲線：

顯然，懷有如圖所示認知的人們可能生活在巨人國，因為他們認為成年人最可能的平均身高是6英尺2英寸（約188cm）。

讓我們想象這個人前去搜集一些數據，他發現了一些身高在5到6英尺的人。我們可以按如下方法呈現這些數據，另外一條正態曲線為這些數據提供了最好的解釋。

在貝葉斯統計中，代表我們對於一個參數的預期的分佈被稱為先驗分佈（prior distribution），因為這種認識是在我們在看到一組真實數據之前就有的。而似然分佈（likelihood distribution）則通過呈現參數取值範圍以及取值幾率來總結我們所觀察到的數據呈現給我們的信息。評估使似然分佈最大化的參數值就是在回答下面的問題：什麼參數取值是我們觀察到的數據中出現幾率最高的？如果沒有先驗的認知，我們可能就止步於此。

然而貝葉斯統計的關鍵在於綜合先驗以及似然分佈從而給出後驗****分佈（posterior distribution）。這告訴我們如果考慮了先驗認知，什麼參數取值是最可能被觀察到的。在我們所舉的例子中，後驗分佈看起來像這樣：

上圖中，紅線代表了後驗分佈。大家可以將它視作對於先驗和似然分佈的某種平均。由於先驗分佈是更矮且展寬更大的，它代表我們預計真實人類身高平均值具有更大的“不確定性”。然而，似然分佈則總結了分佈在一個較窄的範圍內的數據，因此它代表了對於真實參數值應當具有更強的“確定性”。

當先驗和似然分佈被綜合考慮，得到的後驗分佈很接近似然分佈，即那個我們假想的在巨人中成長起來的人脆弱的先驗信念看上去被數據左右了。儘管這個人仍然相信人類身高的平均值比數據告訴我們的要更高一點，但是他已經在很大程度上被數據説服了。

對於兩個鐘形曲線的情況，求解後驗概率很容易。用一個簡單的方程就可以將兩者結合。但是如果我們的先驗和似然分佈長得不是這樣完美呢？有時候，使用一個不是很規則的形狀的分佈去描述我們的數據反而是更準確的。如果我們需要用雙峯分佈去描述我們的數據，而且我們的先驗分佈的形狀較為古怪該怎麼做呢？比如下圖的例子，其中的先驗分佈被故意畫得很醜：

在Matplotlib中渲染的可視化，使用MS Paint增強

和前面一樣，後驗分佈是存在的，它給出了每個參數取值的可能性。但是比較難看出它像什麼，也很難給出解析解。於是MCMC方法就登場了。

MCMC方法允許我們在無法直接計算的情況下估計後驗分佈的形狀。為了理解其工作原理，我將首先介紹蒙特卡洛模擬，接下來再討論馬爾科夫鏈。

蒙特卡洛模擬是一種通過反覆生成隨機數來估計特定參數的方法。通過使用生成的隨機數並對其進行一些計算，我們可以得到對參數的估計值，而直接計算這個值是不可能的或者代價非常昂貴。

假設我們要估計下面這個圓的面積:

因為圓是邊長十英寸的正方形的內接圓，所以很容易計算得到它的面積是78.5平方英寸。換個思路，我們可以隨機在方形空間裏撒點。接着，我們數落在圓形內的點所佔的比例，然後乘上方形的面積。得到的數字非常接近圓的面積。

因為20個點中，有15個落在了圓內，看上去圓的大概面積是75平方英寸。看來即使只用了20個點，蒙特卡洛方法也能得到不錯的答案。

現在，想象一個場景，我們需要計算下面這個“蝙蝠俠”方程對應的圖形面積：

這個形狀的面積怎麼求？我們從沒有學過！因此這看起來是個很困難的任務。然而，通過隨機在包含這個圖形的矩形空間撒點，蒙特卡洛模擬可以很輕鬆地給我們一個近似的答案！

蒙特卡洛模擬不僅可以用來估計一個複雜形狀的面積。通過生成很多隨機的數字，它們可以被用於對一個複雜過程建模。事實上，它們被用於預報天氣，或者評估贏得選舉的可能性。

為了理解MCMC方法，我們要了解的第二個元素是馬爾科夫鏈。這是一系列在幾率上相互關聯的事件。每一個事件都是一系列結果導致的，而且每一個結果根據一組固定的幾率決定接下來將要發生什麼。

馬爾科夫鏈的一個重要特徵就是無記憶性：在當前時刻，任何預測下一時刻事件所需要的信息都是已知的，追溯歷史並不會帶來新的信息。像《Chutes and Ladders》等遊戲便呈現出了這種無記憶性或馬爾可夫屬性。現實世界中很少有事件是這樣運作的，然而馬爾科夫鏈依然是我們理解世界的有力武器。

在19世紀，人們觀察到鐘形曲線是自然界中的一種常見模式。（比如我們已經注意到，人類的身高遵循一個鐘形曲線。）在使用高爾頓（Galton）板時，人們通過在裝有釘子的板子上投擲彈珠來模擬重複隨機事件的平均值，而在彈珠的分佈中再現了正態曲線：

俄羅斯數學家和神學家帕維爾-涅克拉索夫（Pavel Nekrasov）認為，鐘形曲線和更普遍的大數定律只是兒童遊戲和瑣碎謎題的產物，其中每個事件是完全獨立的。他認為，現實世界中相互依賴的事件，如人類的行為，並不符合漂亮的數學模式或分佈。

安德烈-馬爾科夫（Andrey Markov）試圖證明非獨立的事件也可能符合某種模式，而馬爾科夫鏈正是以他的名字命名的。他的代表工作之一是需要計算一部俄羅斯詩歌作品中成千上萬的兩字符對。利用這種字對，他計算了每個字的條件概率。也就是説，給定前面的某個字母或空白，下一個字母有一定的機會是A、T、空白或其他字符。利用這些概率，馬爾科夫有能力模擬一個任意長的字符序列。這就是一個馬爾科夫鏈。儘管前幾個字符在很大程度上是由起始字符的選擇決定的，但馬爾科夫表明字符的分佈經過足夠長的時間會形成一種模式。因此只要受到固定概率的影響，即使是相互依賴的事件也符合一個平均值。

舉一個更實用的例子，想象你住在一個有五個房間的房子裏。你分別有一間卧室、浴室、客廳、餐廳和廚房。讓我們收集一些數據：假設你在任何給定的時間點處在哪個房間，我們需要了解你接下來可能會進入哪個房間。例如，如果你在廚房，接下來你有30%的機會呆在廚房，30%的機會進入餐廳，20%的機會進入客廳，10%的機會進入浴室，10%的機會進入卧室。利用每個房間的一組概率，我們可以構建一個預測鏈，預測你接下來可能會處於哪些房間。

如果我們想預測房子裏的某個人在進入廚房後的一段時間內會在哪裏，那麼對隨後的幾個狀態進行預測可能是有用的。但是，由於我們的預測只是基於對一個人在房子裏的位置的觀察，我們有理由認為這種預測不是很完善。例如，如果有人從卧室到浴室，他們更有可能直接回到卧室，而不是從廚房出來。所以馬爾科夫屬性通常不適用於現實世界。

然而，利用馬爾可夫鏈進行數千次的迭代，確實可以得出你可能在哪個房間的長期預測。更重要的是，這個預測完全不受這個人開始在哪個房間的影響! 從直覺上講，這是有道理的：為了模擬和描述一個人在長期或一般情況下可能在哪裏，他在房子裏某個時間點的行為並不重要。因此，馬爾科夫鏈用於預測一個隨機變量在幾個時間步內的行為並不完全合理，但只要我們瞭解支配其行為的概率，就可以用來計算該變量的長期趨勢。

瞭解了一些關於蒙特卡洛模擬和馬爾科夫鏈的知識後，我希望不加數學推演而直觀地展現MCMC方法示如何工作的。

回顧一下，我們正試圖估計我們感興趣的參數的後驗分佈，即人類平均身高。

我不是可視化專家，顯然我也不擅長將我的例子保持在常識範圍內：我的後驗分佈的例子嚴重高估了人類的平均身高。

我們知道後驗分佈的信息包含在我們的先驗分佈和似然分佈範圍內，但無論出於什麼原因，我們都不能直接計算它。使用MCMC方法，我們將有效地從後驗分佈中抽取樣本，然後計算所抽取樣本的平均值等統計數據。

首先，採用MCMC方法會選擇一個隨機參數值。模擬將繼續產生隨機值（這是蒙特卡洛部分），但要遵守一些規則來確定什麼是好的參數值。訣竅在於我們擁有對於數據先驗的認知，因此對於一對參數值，可以通過計算哪個參數值更好地解釋數據來評估哪個是更好的參數值。如果一個隨機產生的參數值比上一個更好，它就會被添加到參數值鏈中，其概率由其“好”的程度決定（這是馬爾科夫鏈部分）。

為了直觀地解釋這一點，讓我們回憶一下，分佈在某一數值上的高度代表觀察到該數值的概率。因此，可以認為我們的參數值（X軸）表現出高和低的概率區域，顯示在Y軸上。對於單個參數，MCMC方法首先沿x軸隨機採樣：

紅色點為隨機參數樣本

由於隨機樣本服從於固定的概率，它們傾向於在一段時間後向我們感興趣參數概率最高的區域內收斂：

藍點只是代表任意時間點後的隨機樣本，此時預計會出現收斂。注意：我純粹是為了説明問題而將點垂直堆放。

收斂發生後，MCMC抽樣產生了一組點，這些點是後驗分佈的樣本。在這些點周圍畫一個直方圖，並可以計算任何想做的統計。

在MCMC模擬產生的樣本集上計算的任何統計量都是我們對該統計量在真實後驗分佈上的最佳猜測。

MCMC方法也可以用來估計一個以上參數的後驗分佈（比如説人的身高和體重）。對於n個參數來説，在n維空間中存在着概率高的區域，其中某些參數值集能更好地解釋觀測數據。因此，我認為MCMC方法是在一個概率空間內隨機抽樣以接近後驗分佈的過程。

回顧一下對 “什麼是馬爾科夫鏈蒙特卡洛方法？“這個問題的簡短回答：

MCMC方法就是在概率空間中通過隨機抽樣逼近感興趣參數的後驗分佈的方法。

我希望我已經解釋清楚了這句話，即為什麼你會使用MCMC方法，以及它們如何工作。這篇文章的靈感來自於我在美國華盛頓所作的關於數據科學的演講。那次演講的目的是向非專業聽眾解釋馬爾科夫鏈蒙特卡洛方法，我在文中也是這樣嘗試去做的。

作者：b

翻譯：雲開葉落

審校：Nothing

原文鏈接：A Zero-Math Introduction to Markov Chain Monte Carlo Methods