重構三維植被表型，計算呈現自然之美丨智言智語_風聞

編者按: 智顯未來，洞見新知。中科院之聲與中國科學院自動化研究所聯合開設“智言智語”科普專欄，為你介紹人工智能相關知識與故事，從最新成果到背後趣聞，帶你徜徉AI空間，看人工智能如何喚醒萬物，讓世界變得更美好 。

你可以想象一個沒有植被的世界嗎？

一花一草勾勒着微妙的時序變化，茂林蒼翠營造出別具一格的林下風味。作為一類最常見的自然演變對象，植被在人類生活中無處不在，構成人與自然間親密的聯結，也承載着不言自明的詩意情趣。那麼，當我們着力構建一個更加真實的三維虛擬世界時，各式各樣貼合場景的花草樹木自然也不可或缺。通過構造三維植被表型，我們能夠在虛擬世界“種植”綠洲與田野，還原大千自然。

（圖片來自網絡）

給植物三維重建，我們可以實現什麼？

其實，當你無論是在欣賞好萊塢三維影片，還是沉浸在逼真的大型遊戲中，場景內鬱鬱葱葱的叢林、如夢如幻的植被、參天的大樹、精細逼真的花草樹葉，對於提升三維場景的真實感和舒適感都具有至關重要的作用。此外，除了應用於虛擬現實展示和數字娛樂仿真，樹木的三維模型在生態環境建設、城鄉景觀設計、古樹名木保護、遙感測繪、國土資源調查以及現代農林業應用等方面，也都發揮重要的作用。

遊戲中的植被三維重建（圖片來自網絡）

舉例來説：

在遙感測繪領域，植被建模具有特定的行業規範，植被的三維測量和重建可以極大促進植被覆蓋度、森林生物量、森林對氣候影響等的計算準確性；

在農林業方面，高精度的植物三維結構模型，可以為研究植物種植佈局、生理生態影響評價、作物產量評估等提供預演與可視化分析的平台，從而輔助農業決策，以推動決策過程的精準化、自動化和智能化。

因此，構造植被三維模型必然成為現實世界場景三維數字化不可或缺的一部分。

三維植被建模的難點在哪裏？

對於自然界分佈廣泛的植物來説，源於自然演變不是人類設計而造成其種類繁多，形狀不一，長勢千姿百態，以及結構的不規則性和自相似性，給精準三維建模提出很多難題。主要體現在兩個方面：

（1）植物外形信息獲取困難，一方面樹木形體高大，細枝豐富，使用常規的便捷工具很難準確快速測量，另一方面葉片和枝幹等器官之間存在嚴重的遮擋，且器官存在大量重複的幾何和紋理結構，因此無論採用基於圖像的視覺重建還是三維掃描儀，都會存在大量枝幹不可見的情況；

（2）植物精細重建和建模困難，這是因為植物形態各異、冠形結構複雜、點雲精度不夠、遮擋造成信息斷開和缺失，採用傳統的表面建模方法（如泊松重建、Delaunay三角化）都無法獲得令人滿意的結果。樹木形態的複雜性和多樣性決定了大規模樹木外形的有效獲取、快速重建都具有極大的挑戰性。

如何進行精細逼真的三維植被建模？

中科院自動化所三維可視計算團隊的郭建偉副研究員、張曉鵬研究員、嚴冬明研究員等人，長期致力於三維植被模型的精細重構與表達，從計算機圖形學的角度，提出了一系列植被幾何建模方法。

（1）基於結構形態和生長規則的三維植物虛擬建模。植物生長機理是指植物普遍存在的各種生長特性，包括向光性、向水性、向肥性，頂端優勢等，以及單一種類植物的特殊生長性質，例如喬木的主幹明顯，灌木的主幹不明顯等。根據植物對生長資源的競爭關係，團隊提出了一種基於空間競爭、光照引導、以及生長方程約束的樹木過程式建模方法，可以根據當前的空間輪廓限制和光照信息，計算並分配給每個發芽點相應的生長資源，並根據分配結果得到每個發芽點在本輪中的生長量。

同時該方法使用Logistic生長方程來控制植物的生長速率以及每一次迭代中的光照和資源分配，可以自動控制最終樹木的生長高度。利用此方法，我們可以有效的建立單棵或者多棵樹在相互影響競爭下生長的模型以及仿真生長過程，同時，還可以讓模型反饋出空間的輪廓限制。 

模擬5棵虛擬樹木模型相互競爭的生長過程

（2）基於三維可視數據分析的真實植物重構建模。基於真實數據的植被建模，主要解決樹木主幹重建的問題。首先，團隊採用三維激光掃描單側數據，提出一種數據驅動的樹木建模方法。該方法假設樹木具有多級表示，即樹木可以分為主幹、樹枝、細枝和葉片。實驗中，對松樹等針葉樹，青銅等闊葉樹，以及有葉、無葉數據進行了樹木重建，獲得了具有較強真實感、主枝和冠形等形狀準確的結果。

之後，該團隊提出將三維真實數據與植物生長規則相結合，用真實的數據去引導植物的過程式生長建模。該方法我們巧妙地結合了植物過程式建模與數據驅動的植物重建方法，用基於文法規則的機理來自動補充數據缺失部分的枝幹，這種結合不僅能夠保證模型的精度（與真實數據之間的誤差小）和完整度，同時重建的模型滿足植物學的生長規則，為植物的逆向過程建模提供了新思路。

真實掃描點雲驅動的三維植物重構建模

（3）基於可視數據學習的三維植物智能建模。植物具有幾何與拓撲結構上的重複性和相似性，可以從大量高精度植物測量數據中提取出重複的基本結構單元，學習出共性生長規則及其核心參數，然後基於生長規則構建出植物生長模型，該模型為形態類似但有差異的系列模型。

首先，我們提出了一種從具有分枝結構的圖像中逆向學習 L 系統語法規則表示的方法。該工作利用圖像目標檢測任務中的深度神經網絡提取出原子結構元素，並得到原子結構的準確控制參數（包括旋轉方向和尺度大小），之後將檢測到的原子結構組織成一種樹形結構。分別在合成數據、用户手繪數據、真實的圖片和藝術家創造的圖像中驗證了該方法的有效性。

基於分支結構圖像的 L 系統語法規則表示學習

之後，團隊提出基於GAN網絡從單張照片中恢復出三維植物模型 ，主要思路是利用深度神經網絡來預測大致的三維形狀信息，然後使用過程式建模算法生成精細的樹幹模型。可以實現通過過程式植物建模方法生成其完整的枝葉細節。用户也可以手繪形狀線條來生成特殊的植物造型（如下圖）。

基於手繪（左）或者輸入形狀（右）約束的植物造型

近期，該團隊最近持續探索運用深度學習方法對樹木點雲進行枝幹分解，用於重建出精細的樹木模型。該方法主要思路是運用神經網絡對點雲進行樹冠分割和檢測分叉結構，並提出一種自適應深度聚類網絡來分割枝幹。首先我們運用過程式建模生成數據集，訓練神經網絡對葉子和枝幹進行分割。在此基礎上，對每個分枝採取廣義圓柱近似的假設，利用自主設計的自適應縮放餘弦距離和歐式距離相結合，放入深度神經網絡進行訓練，對枝幹部分點雲進一步分割和聚類，得到每一個分枝的點雲。然後對每一個分枝的點雲提取骨架和半徑並連接。最後我們根據骨架和半徑生成圓柱，再利用分割出的葉子點雲生成其完整的枝葉細節。下圖展示了我們對於真實數據的樹木重建結果。

基於深度枝幹分解網絡的樹木建模。從左到右依次為參考圖像、輸入點雲、樹冠分割和枝幹分解結果、枝幹重建結果、最終渲染結果。

未來的研究可能在哪裏？

受到中國科學院人工智能創新研究院AI創新應用方向2035任務的支持，本團隊將持續在空間信息匯聚與繪製方面展開研究探索，面向地理測繪和城市管理，不斷結合新的機器學習方法，重點研究大規模樹木外形快速獲取與三維重建、植物生長動態幾何模型的構建和表示、以及物理仿真互動，將真實三維植被建模方法和呈現技術，集成於城市大場景建模之中。

參考文獻：

1. Lei Yi, Hongjun Li, Jianwei Guo *, Oliver Deussen, Xiaopeng Zhang, Tree Growth Modelling Constrained by Growth Equations, Computer Graphics Forum, Vol. 37, No. 1, pp. 239-253, 2018

2. Xiaopeng Zhang, Hongjun Li, Mingrui Dai, Wei Ma, Long Quan, Data-driven Synthetic Modeling of Trees, IEEE Transactions on Visualization and Computer Graphics (TVCG), Vol. 20, No.9, pp. 1214 - 1226, 2014. SCI.

3. Jianwei Guo, Shibiao Xu, Dong-Ming Yan, Zhanglin Cheng, Marc Jaeger, Xiaopeng Zhang. Realistic Procedural Plant Modeling from Multiple View Images. IEEE Transactions on Visualization & Computer Graphics (TVCG), vol. 26, no. 2, pp. 1372-1384, 2020.

4. Jianwei Guo, Haiyong Jiang, Bedrich Benes, Oliver Deussen, Xiaopeng Zhang, Dani Lischinski, Hui Huang. Inverse Procedural Modeling of Branching Structures by Inferring L-Systems. ACM Transactions on Graphics (TOG), 39(5), 1-13, 2020.

5. Zhihao Liu, Kai Wu, Jianwei Guo*, Yunhai Wang, Oliver Deussen, Zhanglin Cheng. Single Image Tree Reconstruction via Adversarial Network. Graphical Models, 2021.

6. Yanchao Liu, Jianwei Guo, Bedrich Benes, Oliver Deussen, Xiaopeng Zhang, Hui Huang. TreePartNet: Neural Decomposition of Point Clouds for 3D Tree Reconstruction. ACM Transactions on Graphics (Siggraph Asia 2021), accept, 2021.

來源：中國科學院自動化研究所