特斯聯公佈AI研發新突破：小樣本語義分割法

【環球網科技綜合報道】7月7日消息，特斯聯首席科學家兼特斯聯國際總裁邵嶺博士及團隊，提出了一個用於小樣本語義分割的框架，在給定少量像素級標註的支持集（Support）圖像的情況下，分割查詢集（Query）圖像中的目標物體。

據悉，相關研究成果已於2022年CVPR發表，題為《學習用於小樣本語義分割的非目標知識》（Learning Non-target Knowledge for Few-shot Semantic Segmentation）。

據介紹，雖然現有研究方法已經取得了一些成果，但這些方法都側重於儘可能從支持集（Support）中挖掘出更有效的物體信息，然後將該信息轉移到查詢（Query）圖像中以實現分割。然而，前述方法經常在有背景（BG）和隸屬其他類別共存的物體，即干擾物體（DO）時出現假正類（false positive）的預測。誤報的主要原因是在小樣本的設定下僅關注目標物體導致相關模型難以學習有判別力的特徵和區分易混淆的區域。

為此，團隊從一個全新的角度重新思考小樣本語義分割任務，即挖掘和排除非目標區域（BG和DO區域），而不是直接分割目標物體。從這一點出發，在該研究中，團隊提出了一種全新的框架——用於小樣本語義分割的非目標區域消除（Non-Target Region Eliminating, NTRE）網絡。團隊首先開發了一個BG挖掘模塊（BG Mining Module, BGMM）來獲得一個BG原型並分割BG區域，然後提出了一個BG消除模塊（BG Eliminating Module, BGEM）來從查詢(Query)特徵中過濾掉BG信息。接下來，支持中的目標原型在匹配網絡中用於激活查詢特徵中的目標對象。隨後，團隊採用DO消除模塊（DO Eliminating Module, DOEM）先挖掘DO區域，然後從查詢(Query)特徵中過濾掉DO信息。如此一來，即可在不受BG和DO區域干擾的情況下獲得準確的目標分割結果。

值得注意的是，考慮到很難學習到一個好的嵌入空間原型特徵來區分在小樣本設置下的DO和目標物體，團隊提出了原型對比學習（PCL）方法，通過細化原型特徵嵌入來提高網絡的物體識別能力。具體來説，對於一個查詢（Query）目標原型，團隊將相應的支持（Support）目標原型視為正樣本，而將查詢（Query）和支持（Support）中的DO原型視為負樣本。接下來，團隊提出一個PCL損失函數來強制原型嵌入在目標原型中相似，而在目標原型和DO原型之間不相似。這樣一來，PCL可以有效地幫助網絡區分目標物體和DO。

總體而言，團隊從新視角解決了小樣本語義分割的問題，並提出了全新的NTRE框架來關注BG和DO區域。團隊提出了BGMM、BGEM 和DOEM 來有效地實現對BG和DO 的挖掘和消除。 而且，團隊提出了BG挖掘損失函數，在不使用真實的BG的情況下來監督BGMM和一個BG原型的學習。

此外，團隊還提出了PCL來提高模型能力，以更好地區分目標物體和 DO。在兩個基準數據集上進行的大量實驗證明了這一方法相較於過往方法的性能優勢。