3D實例分割

3D語義分割區分場景中各類對象，3D實例分割區分場景中各類別中的各種個體。近兩年來，3D實例分割的關注度越來越高，相應的方法也被接連提出。眾多方法的思想主要分為兩類：基于候選區域的實例分割（proposal-based）和免候選區域的實例分割（proposal-free）。其中，proposal-based先獲取場景中的感興趣的候選區域，如：3D bounding boxes等，并在候選區域內對3D數據進一步預測得到實例標簽。考慮到proposal-based 實例分割通常需要2個過程（先得到候選區域，再實例分割），分割過程繁瑣，則proposal-free則摒棄了基于候選區域的方式，直接通過數據特征或者結合語義分割結果，得到實例分割結果。下面根據這兩個方向總結現有的實例分割方法。

（一）   proposal-based

[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi

本文思路：

先通過GSPN得到目標候選區域（object proposal），在利用R-PointNet 細化proposal得到實例分割結果。

創新點：

GSP&R-PointNet

介紹：

一種得到候選區域的辦法就是簡單估計物體的近似幾何形狀，比如3D bounding boxes，但是bounding boxes不太需要對底層對象的幾何結構有很強的的理解，這可能導致boxes中包含了多物體或者單個物體的部分，本文采用analysis-by-synthesis策略，從含有噪音的場景中重建出外形得到 object proposals。另外，R-PointNet很像2D圖像領域的Mask-RCNN，包含了候選區域提取和候選區域分類， R-PointNet能直接處理點云數據并給予目標候選區域得到實例標簽。

[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang

本文思路：

通過計算點云的相似矩陣（similarity matrix）和對應的置信值（confidence map）得到候選區域（group proposals），并結合語義分割結果得到實例標簽

創新點：

新的候選區域方法（similarity matrix + confidence map）

介紹：

本網絡利用PointNet/PointNet++來提取點云的特征，然后在這些點云特征上操作分類，后端有三個模塊：similarity matrix， confidence map 和sematic map，三者的作用不用。其中，similarity matrix 的作用是計算group proposals 直接獲取精確的實例分割結果，confidence map即置信區間，加入置信值，起到優化的作用；semantic map 的作用是充當逐點分類器的作用。

[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou

本文思路：

先目標檢測得到proposal，再在propoasl中mask prediction得到實例分割結果

創新點：

結合了2D和3D數據的特征，框架新穎。

介紹：本文思想比較簡單。通過神經網絡學習RGB和點云特征（這里的點云是通過RGBD中的深度信息恢復得到，并不是雷達點云），將通過2D卷積網絡提取得到2D特征，反投影到對應的3D場景網格上，2D和3D特征的融合能夠很大程度上提高proposal 獲取的精度。在proposal中進一步預測得到實例標簽。

[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang

本文思路：

先獲bounding box，再mask prediction

創新點：

計算效率高

介紹:

本文提出了3D-BoNet網絡，遵循了逐點的多層感知機的簡單基本原理，該網絡對所有實例個體進行3D bounding box的回歸， 同時對每個實例個體的點云進行逐點mask預測。本網絡包括兩個并行的網絡，1）邊界框回歸和2）點云mask預測。亮點就是計算效率高，不需要任何的后處理過程。（這個論文思想就是站在巨人肩膀上，利用現有網絡得到全局和局部特征，后續的的proposal和prediction就很簡單了）

（二）   proposal-free

[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud

本文思路：

直接獲得數據的特征，直接實例分割

創新點：

一種可獲取數據的兩種主要特征的算法

介紹: 

不像傳統的實例分割方法的思想：用語義標簽提升實例標簽。本文的技術通過聚類方法專注于實例標簽。本網絡將語義信息作為局部線索從中獲得便利，另外將3D維度信息和3D聯系納入其中。本文的亮點在于提出了一種算法，該算法可以直接處理3D網格并學習得到兩類主要的特征：針對每一個實例對象的獨有的特征描述；指向實例對象中心的方向。（基于SSCNet這個網絡框架改進的，大家可以重點關注一下這個網路，在ScanNet數據集中，SSCNet網路的語義分割結果評比第二）

[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang

本文思路：

通過實例分割和語義分割相互提升分割精度

創新點：

ASIS

介紹: 

實際情況下，實例分割和語義分割的目的是不同的，前者在同一類中精確區分不同的個體，后者是將它們賦予同一個標簽。然而，兩種任務之間是可以相互合作共贏的，語義分割將點云按不同類別區分，這僅僅是實例分割的一個目標（不同類別的點云一定屬于不同個體的）。實例分割對同一實例個體賦予同一標簽，這與語義分割是保持一致的（同一個體的點云一定屬于同一類別）。本文利用這層關系實現兩種任務的共贏。并設計了ASIS模塊，實現精度的相互提升。

[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham

本文思路：

通過網絡獲取語義標簽和實例標簽，通過后續優化融合兩種標簽，達到共贏（和上文的不同在于，一個在前端融合，一個在后端融合）

創新點：

MT-PNet+MV-CRF

介紹: 

本文提出了一種多任務逐點處理的網絡，同時實現兩種任務：預測點云的語義類別；將點云轉換為高維向量，致使相同實例的點云有著近似的表達。另外，本文提出了多值條件隨機場去協調語義和實例標簽。（語義分割和實例分割，這兩個問題通常被單獨處理，實例分割是語義分割的后續處理步驟，然而，兩者之間是相互作用的，對于實例分割，實例的外形和容貌特征提取有助于區分物體種類，另一方面，不同類別的點云是不可能屬于同一個實例的。這篇文章和上面有一篇論文很像。）

[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu

本文思路：

基于語義分割結果，實現實例分割

創新點：

多尺度的數據的關聯性預測

介紹: 

文章利用U-Net和submanifold sparse convolutions卷積處理整個室內場景點云，對每個點類別預測（語義分割）。另外，對不同尺度下相鄰體素之間的關聯性預測，結合語義標簽，利用簡單而有效的聚類算法得到點云的實例標簽。

[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang

本文思路：

語義分割和實例分割結合

創新點：

新穎的損失函數

介紹:

利用SSCNet得到語義標簽和實例標簽，并在該網絡后增加GCN網絡，對實例分割結果細化。

[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich

本文思路：

語義分割和實例分割結合

創新點：

2D和3D結合

介紹: 

本文的有點在于展現了2D和3D結合的網絡框架用于聯合語義和實例分割；同時展現了如何實現規則的2D特征和不規則的3D點云特征的融合。

注：補充網絡（來源于ScanNet）

Occipital-SCS:

DPC-instance

Seg-cluster

MaskRCNN proj.

參考文獻

Proposal-based

[1] Yi L , Zhao W , Wang H , et al. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud[J]. 2018.

[2] Wang W , Yu R , Huang Q , et al. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation[J]. 2017.

[3] Hou J , Dai A , Nie?ner, Matthias. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans[J]. 2018.

[4] Yang B , Wang J , Clark R , et al. Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds[J]. 2019.

Proposal-free

[1] Lahoud J , Ghanem B , Pollefeys M , R.Oswald M. 3D Instance Segmentation via Multi-task Metric Learning[J]. 2019.

[2] Wang X , Liu S , Shen X , et al. Associatively Segmenting Instances and Semantics in Point Clouds[J]. 2019.

[3] Pham Q H , Nguyen D T , Hua B S , et al. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields[J]. 2019.

[4] Liu C , Furukawa Y . MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation[J]. 2019.

[5] Liang Z , Yang M , Wang C . 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation[J]. 2019.

[6] Elich C , Engelmann F , Kontogianni T , Leibe B. 3D-BEVIS: Bird's-Eye-View Instance Segmentation[J]. 2019