如何從天降鳥糞理解穆爾-彭羅斯廣義逆?|N文粗通線性代數_風聞
返朴-返朴官方账号-关注返朴(ID:fanpu2019),阅读更多!49分钟前
不少同學在初學線性代數時感到迷茫、痛苦,體會不到課程的實際意義。這很大程度上是因為,教材為了由淺入深、循序漸進,須從基礎的抽象概念講起,而真正直觀的部分,往往要等到後面的細分領域或具體應用。於是初學者往往知其然,不知其所以然;只見樹木,不見森林。希望本文能讓你換個視角,以輕鬆有趣的日常眼光,看到一個不一樣的線性代數。
本文是系列文章《N文粗通線性代數》的最後一篇。在上篇文章中,我們基於線性方程組求解問題的需要,將通常的逆矩陣概念推廣,引入廣義逆矩陣。在廣義逆研究中,一個重要里程碑是彭羅斯發表於1955年的著名論文。他用四個條件再次定義廣義逆,引發了這一領域的研究熱潮。那麼,這四個條件分別代表什麼意思呢?如果只選其中一個或者幾個條件,我們又會看到哪些奇妙的現象呢?
撰文 | 吳進遠
上回書説到,某近視宅男,某日下樓到早點鋪買早餐。買了早餐,一邊吃,一邊思考。我們知道,只有正方形的矩陣,也就是説,行數與列數相同的矩陣,而且還必須是滿秩的,才存在逆矩陣。可是在現實世界中,經常會遇到不方的矩陣,或者不(列)滿秩的矩陣。對於這種情況,難道我們就只能乾瞪眼,一籌莫展嗎?
好在穆爾、彭羅斯以及後來很多人做了很多細緻的工作。我們現在知道,一個任意矩陣A,都存在廣義逆矩陣G,不管這個矩陣是不是方的,也不管它的秩滿不滿。廣義逆矩陣通常可以有無數個,但如果我們通過彭羅斯給出的四個條件去篩選,就能篩選出一個唯一的逆。這四個條件是:
可是這四個條件分別代表什麼意思呢?如果只選其中一個或者幾個條件,我們又會看到哪些奇妙的現象呢?
(1)“勤奮大道”上的汽車擋風玻璃
宅男吃了早餐,收拾了餐盤,訂了網約車,打算去問問他的導師。
很多大學或者研究機構的大院內都綠化得非常好,我第一次訪問中科大的時候,接待我的同學告訴我,大家管某一條林蔭大道叫“勤奮大道”。大道兩旁樹木參天,有許多鳥兒在樹上棲息嬉戲,嘰嘰喳喳甚是熱鬧。鳥類在幾千萬年的演化過程中,逐漸進化出減輕體重、有利飛行的各種絕活。其中之一就是隨時拋棄消化道殘餘物質。這條林蔭道是學生們每天上課、下課、去食堂、回宿舍的必經之路,因而屢次發生有人被鳥類廢棄物砸中的事件,由此得名“勤奮大道”,又名“天使大道”。
宅男坐的網約車剛停在他們學校的“勤奮大道”路邊,就被鳥類廢棄物砸中擋風玻璃。宅男見狀,心中豁然開朗,暗喊“尤里卡”,激動地不停感謝司機師傅。
原來,鳥類廢棄物落下可以看成是一個座標變換,也就是説從初始狀態:在高低不同的樹枝上(座標為x1, x2),變換成結束狀態:在擋風玻璃上(座標為y1, y2)。而座標變換可以用矩陣的乘法Ax = y 來表述。不難驗證,上面圖中的座標變換可以用下面的矩陣來描述:
對於任意初始狀態(座標為x1, x2),經過座標變換之後,我們有y1 = x1。這就是説,鳥糞的橫座標沒有變換,而是在重力作用下,垂直下落。而座標變換後y2 = y1,這正是擋風玻璃表面的座標。同時提醒讀者注意,經過這個座標變換,鳥糞的初始高度信息丟失了。因此可以想象,根據鳥糞在擋風玻璃上的位置,我們是鐵定無法讓鳥糞逆轉飛回原位的。此外,不難看出這個矩陣不是滿秩的,這表示這個矩陣的逆是不存在的。不過,我們可以尋找合適的廣義逆矩陣。
(2)廣義逆矩陣:{1}-逆
現在我們希望找到A的廣義逆矩陣,我們把這個廣義逆矩陣寫做G:
這裏,我們用四個任意數a, b, c, d來表示這個廣義逆矩陣的元素。
既然是“逆”,我們希望這個廣義逆矩陣能夠在一定程度上“逆轉”鳥類廢棄物落下這個過程。可以想象擋風玻璃上塗了高技術納米材料塗層,因此不和鳥糞粘連。我們讓高速氣流從前向上吹出,把鳥糞吹上天。也就是説,我們希望廣義逆矩陣產生一個座標轉換:G y = u,其中y是擋風玻璃上的座標點,而u是空中的座標點。
如前所述,我們無法精確地逆轉鳥類廢棄物落下這個過程,因為初始狀態的縱座標這個信息已經丟失了。但能夠把鳥糞吹上天,也算逆了一下吧。
不過如果我們任意選擇a, b, c, d這幾個數,上面的座標變換就會亂飛,要想獲得一個靠譜的變換,就需要對a, b, c, d這幾個數加一些限制,這些限制可以由廣義逆矩陣關係式 AGA = A 給出。符合這個條件的廣義逆矩陣如下所示。
注意這裏四個自由參量變成了三個。不難通過下式驗算,確認關係式 AGA = A 成立。
這個廣義逆矩陣帶來的座標轉換是讓擋風玻璃上的鳥糞豎直地飛到天上,如下圖所示。
很顯然,鳥糞雖然沒有飛到它們的初始位置,但飛到了一個“靠譜”的位置。這裏説的靠譜,意思是如果這些鳥糞再次下落,它們仍然會落到剛才在擋風玻璃上的位置,如下圖所示,這就是 AGA = A 這個條件在這個問題裏的幾何意義。
所以,鳥糞第一次落下,用矩陣語言表述,是一個座標變換:Ax;從擋風玻璃上吹起:G(Ax);再次落下:A(G(Ax))。再次落下的位置與第一次砸中位置一樣:AGAx = Ax。
由於 AGA=A 是彭羅斯逆四個條件中的第一個,所以這種逆被稱為{1}-逆。後面我們還會討論{1, 2}-逆,{1, 3}-逆,{1, 4}-逆等,最後我們還會討論滿足所有四個條件的{1, 2, 3, 4}-逆,也就是穆爾-彭羅斯逆。在四個條件中任選一個或者幾個滿足,共有15種組合,也就是説有15個不同的逆。不過對於廣義逆矩陣,第一個條件總是要滿足的。因此在這種情況下,還剩下8種組合,情形簡單了很多。但無論哪種情況,我們都能看出彭羅斯逆的四個條件為我們瞭解廣義逆矩陣的豐富形狀,提供了系統的方法。
(3)自反廣義逆矩陣:{1, 2}-逆
彭羅斯四個條件中的第二個,是我們前面討論的自反廣義逆矩陣條件 GAG = G。同時滿足第一、第二兩個條件的逆叫做{1, 2}-逆。
GAG = G 條件在我們這個問題中的幾何意義是:(1)先把鳥糞吹上天,對應的座標變換為:Gy’,注意這裏 y’ 是空間中的任意位置,不僅僅侷限於擋風玻璃上。這種情況下,鳥糞不一定是豎直吹上天的,完全可以橫向漂移一點。不過這不要緊,後面還有兩個座標變換。(2)鳥糞落下,對應的座標變換為:A(Gy’),於是鳥糞落在擋風玻璃上。(3)鳥糞再一次被吹起,座標變換為:G(A(Gy’)) 。這時,我們需要檢查第二次吹起來的空間位置GAGy’,與第一次吹起來的空間位置Gy’是不是一致。
這個過程如上圖所示,由於G已經滿足了彭羅斯第一個條件,所以落在擋風玻璃上的鳥糞一定是豎直向上飛的。因而對於上圖最左邊所示的特例,彭羅斯第二個條件 GAG = G 碰巧是滿足的。但對於一般的情況,第二次吹上天的位置與第一次吹上天的位置處於相同的垂線上,高度卻不一定一致。
這就要求我們對G當中的自由參量繼續限制,使之滿足彭羅斯第二個條件 GAG = G。經過限制之後,這個矩陣裏變成了這個樣子
注意這個矩陣裏的自由參量減少到了兩個,其中a,c,d 三個參量之間由一個方程把它們約束起來,一旦選定任意兩個參量,第三個就確定了。彭羅斯第二個條件對應的座標轉換過程如下圖所示。
這時我們看到,第一次和第二次吹上天的鳥糞位置完全相同。
(4)提供最小二乘解的廣義逆矩陣:{1, 3}-逆
如果我們遇到一個自相矛盾的方程組,卻不能甩手不管,而要設法去尋找方程組的解大概率會是什麼,比如下圖。
設想測量數據顯示,鳥糞在P這個位置,我們有一堆逆矩陣G,可以去計算它是從哪裏掉下來的。不過P這個位置顯然是錯的,鳥糞落下來一定是落在擋風玻璃上,而不會懸浮在半空中。它可能實際在A點,由於橫座標測量誤差,使數據錯誤地顯示它在P點。它也可能實際在B點,由於縱座標誤差使它漂浮空中。但更大的可能是實際在A到B之間某個點,橫座標、縱座標都有誤差。而可能性最大的位置是在A與B之間的平分點C。
因此,我們應該從一堆逆矩陣G中,挑出可以把鳥糞從P點吹到Q點的。這樣的逆矩陣,可以為我們提供最小二乘解。
這樣的廣義逆矩陣,必須同時滿足彭羅斯四個條件中的第一與第三條件,也就是{1, 3}-逆。
我們這裏略過具體推導,直接觀察下圖顯示的三個廣義逆矩陣的座標轉換過程。
最左邊這個的確把鳥糞朝正確的方向吹了,但吹的力度不夠。中間這個力度太大了。最右邊由紫色線段標示的這個廣義逆矩陣力度正合適,鳥糞最終會落到前面圖中的C點。它是一個{1, 3}-逆。
(5)提供最小范數解的廣義逆矩陣:{1, 4}-逆
我們前面談到,這個問題中的廣義逆矩陣都會把擋風玻璃上的鳥糞向天上豎直地進行座標轉換,但另一方面,鳥糞的初始高度已經不知道了,所以不可能把鳥糞落下的真實過程完全逆轉。
我們可以仔細看一下“鳥糞落下”這個矩陣
矩陣A的列數為2,就是説它有兩個未知數。但它的列秩等於1,因此是一個約束不足的方程組,如果有解會有無窮多個解。遇到無窮多解的時候,在眾多解決方案中有一個比較常用,就是從這些解中選取一個特殊的解,使這個解具有最小范數。
我們以前談到,最小范數解對應早餐店價格問題,可以看成是“小本經營”解。現在對於鳥糞問題,我們可以把它看成是“樹頂橫枝”解。設想大學裏種的行道樹品種特殊,它的枝幹長到樹頂附近就開始橫着長。鳥羣從遠處飛來,這種樹頂的橫枝是最容易降落歇息的地方。
能夠提供最小范數解的逆矩陣,符合彭羅斯四個條件中的第一與第四兩個條件,這個逆寫為{1, 4}-逆。我們通過下圖來做一個説明。
上圖顯示了三個廣義逆矩陣,最右邊用綠色線條標註的廣義逆矩陣是{1, 4}-逆,它把擋風玻璃上的鳥糞吹到縱座標為0的高度,也就是樹頂橫枝的高度。這個解的範數最小。前面説過,範數是把一個向量裏所有座標平方求和再把和值開方。對於我們這個問題,橫座標已經限制死了,因此必須把縱座標推到0才能使範數最小。
(6)穆爾-彭羅斯廣義逆矩陣:{1, 2, 3, 4}-逆
現在,我們把彭羅斯的四個條件都用上,就得到了穆爾-彭羅斯廣義逆矩陣,對於任意一個矩陣A,它的穆爾-彭羅斯廣義逆矩陣一定存在,而且只有一個。我們可以把這個矩陣叫做{1, 2, 3, 4}-逆,但通常還是直接叫穆爾-彭羅斯廣義逆。
由於同時滿足了所有四個條件,用穆爾-彭羅斯廣義逆矩陣算出的原線性方程組的解,同時具備最小范數和最小二乘性質。
最後回到勤奮大道鳥類廢棄物問題。廢棄物從天而降這個座標轉換矩陣為
它的穆爾-彭羅斯廣義逆矩陣為
注意由於要滿足彭羅斯的四個條件,原來廣義逆矩陣中的幾個自由參量都一個一個地被約束了,最後所有矩陣元素都被確定下來,成為上面這個樣子。
這個穆爾-彭羅斯廣義逆矩陣所帶來的座標轉換可以用下圖來説明。
首先,落在擋風玻璃上任意位置的鳥糞,都會被豎直吹起。因此停止吹氣後,它們還會落