武大等開源大幅面高清衞星影像數據集：複雜地理空間場景知識精準生成_風聞

量子位-量子位官方账号-25分钟前

2024-06-21

武漢大學李彥勝課題組投稿

量子位 | 公眾號 QbitAI

AI衞星影像知識生成模型數據集稀缺的問題，又有新解了。

來自武漢大學、上海AI實驗室、西工大等9家機構共同推出了該領域的大型數據集，涵蓋了21萬個地理目標和40萬個目標-關係三元組。

而且像機場、港口、立交橋等這樣複雜地理空間場景，也都包括在了數據集當中。

具體來説，該數據集名為RSG，主要面向衞星影像中的目標檢測（OBD）和場景圖生成（SGG）任務。

SGG有助於促進模型對地理空間場景從感知到認知的智能理解，但一直缺乏大幅面、超高分辨率的衞星影像數據。

而RSG的出現很好地填補了這一空白，一同提出的還有基於上下文感知的逐級認知（CAC）框架，以及配套的SGG工具包。

有關論文已經在arXiv公開發布，相應的數據集和工具包也已經開源。

大幅面超高分辨率衞星影像數據集

在衞星影像（SAI）領域當中，場景圖生成（SGG）技術可以促進對地理空間場景從感知到認知的智能理解。

在SAI中，地理目標的尺度和縱橫比變化大，地理目標之間（甚至是空間不相交的地理目標之間）存在豐富的關聯，這使得SGG有必要在大幅面超高分辨率衞星影像中整體進行。

然而現實情況是，大幅面超高分辨率衞星影像的SGG數據集比較缺乏，這無疑限制了SGG在SAI中的進展。

又由於大幅面超高分辨率衞星影像的複雜性，挖掘目標-關係三元組<目標1,關係,目標2>嚴重依賴於遠程上下文推理，傳統為小幅面自然圖像設計的SGG模型，不能直接適用於大幅面衞星影像。

注：下圖是大幅面超高分衞星影像中的SGG示意圖，其中第一行分別展示了大幅面超高分衞星影像的目標檢測和場景圖生成結果，第二行為對應的局部細節展示。在第二行末尾圖中，黑色箭頭表示僅依賴於孤立目標對可預測的關係，而紅色箭頭表示需要藉助上下文推斷的複雜關係。

於是，為了解決數據集稀缺問題，研究團隊構建了首個面向大幅面超高分衞星影像的大規模場景圖生成數據集RSG。

該數據集影像幅面跨越512×768到27,860×31,096像素，包含超過21萬個地理目標和超過40萬個目標-關係三元組。

**△**RSG數據集中目標分佈(a)和關係分佈(b)統計

內容上，RSG收集了空間分辨率為0.15-1m範圍的衞星影像，涵蓋了全球範圍內與人類活動密切相關的11類複雜地理空間情景。

這些場景包括機場、港口、核電站、火電站、風力發電站、水壩和服務區、立交橋、水面橋、施工工地和體育運動場景等。

**△**RSG數據集中影像採樣的地理分佈和示例

在遙感領域專家的指導下，研究團隊將所有地理目標劃分為48個細粒度類，並使用定向邊界框（OBB）進行精確標註，所有關係按照8個大類、58個細粒度類進行標註。

提出上下文感知框架

為了進一步實現大幅面超高分衞星影像中的SGG，研究團隊還提出了一個基於上下文感知的逐級認知（CAC）框架。

該框架從三個層面深入理解衞星影像——目標檢測（OBD）、目標對剪枝和關係預測：

在目標檢測上，團隊提出了“能夠靈活集成多尺度上下文的整體多類目標檢測網絡（HOD-Net）”，可以檢測大幅面超高分辨率衞星影像中的目標；

在目標對剪枝方面，作者則設計了“基於對抗生成的候選對生成（PPG）網絡”，來篩選包含高價值關係的目標對；

在關係預測任務中，團隊又提出了“帶有上下文感知消息傳遞（RPCM）的關係預測網絡”來預測候選對的關係類型。

在RSG測試集上的結果表明，在目標檢測任務中，無論是基於水平框（HBB）還是有向框（OBB）的檢測器，團隊提出的HOD-Net框架都取得了總成績和多個單項的SOTA。

註釋：1.表格中，b_b為boarding_bridge, l_t表示lattice_tower, s_l為ship_lock, g_d為gravity_dam。2.所有實驗都基於標準的“1x”(12epochs)訓練設置。3.†表示主幹網絡為Swin-L，其他的主幹網絡都為ResNet50。4.下劃線表示下方的方法使用該模型作為基礎檢測器。

同時測試結果還表明，HOD-Net方法也優於一些其他的訓練方式。

下面的圖更加直觀地展示了不同目標檢測策略的可視化結果。

剪枝任務上，團隊提出的PPG策略也在多個模型上運行的測試中超越了傳統方法。

生成情景當中，團隊設計的的RPCM網絡在基於HBB和OBB檢測器的所有指標上，同樣優於先前的主流SGG方法。

下圖是不同SGG模型在RSG數據集中情景生成結果的可視化展示。

此外，為了促進大幅面超高分辨率衞星影像中SGG的發展，研究團隊還發布了面向大面超高分辨率衞星影像的SGG工具包（其中包含約30種OBD方法和10種SGG方法），並基於RSG數據集進行了的全面基準測試。

數據集和相關工具包都已開源，可到項目主頁中瞭解詳情。

論文地址：https://arxiv.org/abs/2406.09410

項目主頁：https://linlin-dev.github.io/project/RSG

GitHub：https://github.com/Zhuzi24/SGG-ToolKit