（CVPR 2020）用於點雲3D實例分割的學習目標邊界框

Abstract

我們提出了一種新穎的、概念上簡單的通用框架，用於在3D點雲上進行實例分割。我們的方法稱為3D-BoNet，遵循每點多層感知器(MLP)的簡單設計理念。該框架直接回歸點雲中所有實例的3D邊界框，同時預測每個實例的點級（point-level）掩碼。它由一個主幹網絡和兩個並行網絡分支組成，用於1）邊界框回歸和2）點掩碼預測。3D-BoNet是單階段、anchor-free和端到端可訓練的。此外，它的計算效率非常高，因為與現有方法不同，它不需要任何後處理步驟，例如非極大值抑制、特徵採樣、聚類或投票。大量實驗表明，我們的方法超越了ScanNet和S3DIS數據集上的現有工作，同時計算效率提高了大約10倍。綜合消融研究證明了我們設計的有效性。

1 Introduction

使機器能夠理解3D場景是自動駕駛、增強現實和機器人技術的基本必要條件。點雲等3D幾何數據的核心問題包括語義分割、目標檢測和實例分割。在這些問題中，實例分割在文獻中才開始得到解決。主要障礙是點雲本質上是無序的、非結構化的和不均勻的。廣泛使用的卷積神經網絡需要對3D點雲進行體素化，從而產生高計算和內存成本。

第一個直接處理3D實例分割的神經算法是SGPN [50]，它通過相似度矩陣學習對每個點的特徵進行分組。類似地，ASIS [51]、JSIS3D[34]、MASC[30]、3D-BEVIS[8]和[28]將相同的每點特徵分組pipeline應用於分割3D實例。 Mo等人將實例分割表述為PartNet[32]中的逐點特徵分類問題。然而，這些proposal-free方法的學習片段不具有很高的對象性，因為它們沒有明確地檢測目標邊界。此外，它們不可避免地需要後處理步驟，例如均值偏移聚類[6]來獲得最終的實例標籤，這在計算上是繁重的。另一個pipeline是基於proposal的3D-SIS[15]和GSPN[58]，它們通常依靠兩階段訓練和昂貴的非最大抑制來修剪密集目標proposal。

在本文中，我們提出了一個優雅、高效和新穎的3D實例分割框架，通過使用高效的MLPs的單前向階段，對物體進行鬆散但唯一的檢測，然後通過一個簡單的點級二進制分類器對每個實例進行精確分割。為此，我們引入了一個新的邊界框預測模塊以及一系列精心設計的損失函數來直接學習目標邊界。我們的框架與現有的基於proposal和proposal-free的方法有很大不同，因為我們能夠有效地分割所有具有高目標性的實例，但不依賴於昂貴且密集的目標proposal。我們的代碼和數據可在https://github.com/Yang7879/3D-BoNet獲得。

圖 1：在3D點雲上進行實例分割的3D-BoNet框架。

邊界框預測分支是我們框架的核心。該分支旨在為single forward階段中的每個實例預測一個唯一的、無方向的矩形邊界框，而不依賴於預定義的空間anchors或區域proposal網絡[39]。如圖2所示，我們認為為實例粗略繪製3D邊界框是相對可以實現的，因為輸入點雲明確包含3D幾何信息，而在處理點級實例分割之前非常有益，因為合理的邊界框可以保證學習片段的高度目標性。然而，學習實例框涉及到關鍵問題：1）總實例的數量是可變的，即從1到許多，2）所有實例沒有固定的順序。這些問題對正確優化網絡提出了巨大挑戰，因為沒有信息可以直接將預測框與ground truth標籤聯繫起來以監督網絡。但是，我們展示了如何優雅地解決這些問題。這個框預測分支簡單地將全局特徵向量作為輸入，並直接輸出大量固定數量的邊界框以及置信度分數。這些分數用於指示框是否包含有效實例。為了監督網絡，我們設計了一個新穎的邊界框關聯層，然後是一個多標準損失函數。給定一組ground-truth實例，我們需要確定哪個預測框最適合它們。我們將此關聯過程表述為具有現有求解器的最優分配問題。在框被最佳關聯之後，我們的多準則損失函數不僅最小化了配對框的歐幾里德距離，而且最大化了預測框內有效點的覆蓋率。

圖 2：粗略的實例框。

然後將預測的框與點和全局特徵一起輸入到後續的點掩碼預測分支中，以便為每個實例預測一個點級二進制掩碼。這個分支的目的是分類邊界框內的每個點是屬於有效實例還是背景。假設估計的實例框相當好，很可能獲得準確的點掩碼，因為這個分支只是拒絕不屬於檢測到的實例的點。隨機猜測可能會帶來50%的修正。

總體而言，我們的框架在三個方面與所有現有的3D實例分割方法不同。1）與proposal-free pipeline相比，我們的方法通過顯式學習3D目標邊界來分割具有高目標性的實例。2）與廣泛使用的基於proposal的方法相比，我們的框架不需要昂貴且密集的proposal。3）我們的框架非常高效，因為實例級（instance-level）掩碼是在單次前向（single-forward）傳遞中學習的，不需要任何後處理步驟。我們的主要貢獻是：

• 我們提出了一個在3D點雲上進行實例分割的新框架。該框架是單階段、anchor-free和端到端可訓練的，不需要任何後處理步驟。
• 我們設計了一個新穎的邊界框關聯層，然後是一個多標準損失函數來監督框預測分支。
• 我們展示了對baselines的顯着改進，並通過廣泛的消融研究為我們的設計選擇提供了直覺依據。

圖 3：3D-BoNet框架的一般工作流程。

2 3D-BoNet

2.1 Overview

2.2 Bounding Box Prediction

「邊界框編碼：」 在現有的目標檢測網絡中，邊界框通常由中心位置和三個維度的長度[3]或對應的殘差[60]以及方向來表示。相反，為簡單起見，我們僅通過兩個min-max頂點參數化矩形邊界框：

圖 4：邊界框回歸分支的架構。在計算多標準損失之前，預測的個框與個ground truth框最佳關聯。

為了解決上述最優關聯問題，現有的Hungarian算法[20；21]應用。關聯矩陣計算：為了評估第個預測框和第個ground truth之間的相似性，一個簡單直觀的標準是兩對最小-最大頂點之間的歐幾里德距離。然而，它不是最優的。基本上，我們希望預測框包含儘可能多的有效點。如圖5所示，輸入點雲通常是稀疏的，並且在3D空間中分布不均勻。對於相同的ground truth框#0（藍色），候選框#2（紅色）被認為比候選框#1（黑色）要好得多，因為框#2有更多的有效點與#0重疊。因此，在計算cost矩陣時，應包括有效點的覆蓋範圍。在本文中，我們考慮以下三個標準：

圖 5：稀疏輸入點雲。

2.3 Point Mask Prediction

表 1ScanNet(v2)基準（隱藏測試集）上的實例分割結果。度量標準是IoU閾值為0.5的AP(%)。於2019年6月2日訪問

圖 6：點掩碼預測分支的架構。點特徵與每個邊界框和分數融合，然後為每個實例預測一個point-level二進制掩碼

2.4 End-to-End Implementation

3 Experiments

3.1 Evaluation on ScanNet Benchmark

我們首先在ScanNet(v2) 3D語義實例分割基準[7]上評估我們的方法。與SGPN[50]類似，我們將原始輸入點雲分成1mx1m塊進行訓練，同時使用所有點進行測試，然後使用BlockMerging算法[50]將塊組裝成完整的3D場景。在我們的實驗中，我們觀察到基於vanilla PointNet++的語義預測子分支的性能有限，無法提供令人滿意的語義。由於我們框架的靈活性，我們因此可以輕鬆地訓練一個並行SCN網絡[11]來為我們的3D-BoNet的預測實例估計更準確的每點語義標籤。IoU閾值為0.5的平均精度(AP)用作評估指標。

我們與表1中18個目標類別的領先方法進行了比較。特別是，SGPN[50]、3D-BEVIS[8]、MASC[30]和[28]是基於點特徵聚類的方法；RPointNet[58]學習生成密集目標proposals，然後進行點級分割；3D-SIS[15]是一種基於proposal的方法，使用點雲和彩色圖像作為輸入。PanopticFusion[33]學習通過Mask-RCNN[13]在多個2D圖像上分割實例，然後使用SLAM系統重新投影回3D空間。我們的方法僅使用點雲就超越了它們。值得注意的是，我們的框架在所有類別上的表現都相對令人滿意，而不偏愛特定的類，這證明了我們框架的優越性。

圖7：這顯示了一個包含數百個目標（例如椅子、桌子）的演講室，突出了實例分割的挑戰。不同的顏色表示不同的實例。同一個實例可能有不同的顏色。我們的框架比其他框架預測更精確的實例標籤。

3.2 Evaluation on S3DIS Dataset

我們進一步評估了我們框架在S3DIS[1]上的語義實例分割，其中包括來自6個大區域的271個房間的3D完整掃描。我們的數據預處理和實驗設置嚴格遵循PointNet[37]、SGPN[50]、ASIS[51]和JSIS3D[34]。在我們的實驗中，H設置為24，我們遵循6倍評估[1; 51]。

我們與ASIS[51]、S3DIS上的最新技術和PartNet baseline[32]進行比較。為了公平比較，我們使用與我們框架中使用的相同PointNet++主幹和其他設置仔細訓練PartNet baseline。為了評估，報告了IoU閾值為0.5的經典指標平均精度(mPrec)和平均召回率(mRec)。請注意，對於我們的方法和PartNet基線，我們使用相同的BlockMerging算法[50]來合併來自不同塊的實例。最終分數是總共13個類別的平均值。表2顯示了mPrec/mRec分數，圖7顯示了定性結果。我們的方法大大超過了PartNet baseline[32]，並且也優於ASIS[51]，但並不顯着，主要是因為我們的語義預測分支（基於vanilla PointNet++）不如ASIS，後者緊密融合語義和實例特徵以實現相互優化。我們將特徵融合作為我們未來的探索

表 2：S3DIS 數據集上的實例分割結果。

3.3 Ablation Study

為了評估我們框架每個組件的有效性，我們在S3DIS數據集的最大區域5上進行了6組消融實驗。

表3：S3DIS區域5上所有消融實驗的實例分割結果。

「分析。」 表3顯示了消融實驗的分數。(1) box score子分支確實有利於整體實例分割性能，因為它傾向於懲罰重複的box預測。(2)與歐幾里得距離和交叉熵得分相比，由於我們的可微算法1，框關聯和監督的sIoU成本往往更好。由於三個單獨的標準更喜歡不同類型的點結構，因此三個簡單的組合在特定數據集上，標準可能並不總是最優的。(3)如果沒有對框預測的監督，性能會顯着下降，主要是因為網絡無法推斷出令人滿意的實例3D邊界，並且預測點掩碼的質量相應下降。(4)與focal loss相比，由於實例和背景點數的不平衡，標準交叉熵損失對點掩碼預測的效果較差。

3.4 Computation Analysis

4 Related Work

為了從3D點雲中提取特徵，傳統方法通常手動製作特徵[5; 42]。最近基於學習的方法主要包括基於體素的[42；46; 41; 23; 40; 11; 4]和基於點的方案[37；19; 14; 16; 45]。

「Semantic Segmentation」 PointNet[37]顯示了分類和語義分割的領先結果，但它沒有捕獲上下文特徵。為了解決這個問題，許多方法[38; 57; 43; 31; 55; 49; 26; 17]最近被提出。另一個管道是基於卷積核的方法[55; 27; 47]。基本上，這些方法中的大多數都可以用作我們的骨幹網絡，並與我們的3D-BoNet並行訓練以學習每點語義。

「Object Detection」 在3D點雲中檢測目標的常用方法是將點投影到2D圖像上以回歸邊界框[25；48; 3；56; 59; 53]。通過融合[3]中的RGB圖像，檢測性能進一步提高融合RGB圖像[3；54;36;52].。點雲也可以分為體素用於目標檢測[9；24; 60]。然而，這些方法中的大多數都依賴於預定義的錨點和兩階段區域proposal網絡[39]。在3D點雲上擴展它們是低效的。在不依賴anchors的情況下，最近的PointRCNN[44]學習通過前景點分割進行檢測，而VoteNet[35]通過點特徵分組、採樣和投票來檢測目標。相比之下，我們的框預測分支與它們完全不同。我們的框架通過單次前向傳遞直接從緊湊的全局特徵中回歸3D目標邊界框。

「Instance Segmentation」 SGPN[50]是第一個通過對point-level嵌入進行分組來分割3D點雲實例的神經算法。ASIS[51]、JSIS3D[34]、MASC[30]、3D-BEVIS[8]和[28]使用相同的策略對點級特徵進行分組，例如實例分割。Mo等人通過對點特徵進行分類，在PartNet[32]中引入了一種分割算法。然而，這些proposal-free方法的學習片段不具有很高的目標性，因為它沒有明確地檢測目標邊界。通過借鑒成功的2D RPN[39]和RoI [13]，GSPN[58]和3D-SIS[15]是基於proposal的3D實例分割方法。但是，它們通常依賴於兩階段訓練和一個後處理步驟來進行密集提議修剪。相比之下，我們的框架直接為明確檢測到的對象邊界內的每個實例預測一個point-level掩碼，而不需要任何後處理步驟。

5 Conclusion

我們的框架簡單、有效且高效，可用於3D點雲上的實例分割。但是，它也有一些限制，導致未來的工作。(1)與其使用三個準則的未加權組合，不如設計一個模塊來自動學習權重，以適應不同類型的輸入點雲。(2)可以引入更高級的特徵融合模塊來相互改進語義和實例分割，而不是訓練單獨的分支進行語義預測。(3)我們的框架遵循MLP設計，因此與輸入點的數量和順序無關。通過借鑒最近的工作[10][22]，直接在大規模輸入點雲上而不是分割的小塊上進行訓練和測試是可取的。

原文鏈接：https://arxiv.org/abs/1906.01140

References

[1] I. Armeni, O. Sener, A. Zamir, and H. Jiang. 3D Semantic Parsing of Large-Scale Indoor Spaces. CVPR, 2016.

[2] Y . Bengio, N. Léonard, and A. Courville. Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation. arXiv, 2013.

[3] X. Chen, H. Ma, J. Wan, B. Li, and T. Xia. Multi-View 3D Object Detection Network for Autonomous Driving. CVPR, 2017.

[4] C. Choy, J. Gwak, and S. Savarese. 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR, 2019.

[5] C. S. Chua and R. Jarvis. Point signatures: A new representation for 3d object recognition. IJCV, 25(1):63–85, 1997.

[6] D. Comaniciu and P . Meer. Mean Shift: A Robust Approach toward Feature Space Analysis. TPAMI, 24(5):603–619, 2002.

[7] A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser, and M. Nießner. ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes. CVPR, 2017.

[8] C. Elich, F. Engelmann, J. Schult, T. Kontogianni, and B. Leibe. 3D-BEVIS: Birds-Eye-View Instance Segmentation. GCPR, 2019.

[9] M. Engelcke, D. Rao, D. Z. Wang, C. H. Tong, and I. Posner. V ote3Deep: Fast Object Detection in 3D Point Clouds Using Efficient Convolutional Neural Networks. ICRA, 2017.

[10] F. Engelmann, T. Kontogianni, A. Hermans, and B. Leibe. Exploring Spatial Context for 3D Semantic Segmentation of Point Clouds. ICCV Workshops, 2017.

[11] B. Graham, M. Engelcke, and L. v. d. Maaten. 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks. CVPR, 2018.

[12] A. Grover, E. Wang, A. Zweig, and S. Ermon. Stochastic Optimization of Sorting Networks via Continuous Relaxations. ICLR, 2019.

[13] K. He, G. Gkioxari, P . Dollar, and R. Girshick. Mask R-CNN. ICCV, 2017.

[14] P . Hermosilla, T. Ritschel, P .-P . V azquez, A. Vinacua, and T. Ropinski. Monte Carlo Convolution for Learning on Non-Uniformly Sampled Point Clouds. ACM Transactions on Graphics, 2018.

[15] J. Hou, A. Dai, and M. Nießner. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans. CVPR, 2019.

[16] B.-S. Hua, M.-K. Tran, and S.-K. Yeung. Pointwise Convolutional Neural Networks. CVPR, 2018.

[17] Q. Huang, W. Wang, and U. Neumann. Recurrent Slice Networks for 3D Segmentation of Point Clouds. CVPR, 2018.

[18] D. P . Kingma and J. Ba. Adam: A method for stochastic optimization. ICLR, 2015.

[19] R. Klokov and V . Lempitsky. Escape from Cells: Deep Kd-Networks for The Recognition of 3D Point Cloud Models. ICCV, 2017.

[20] H. W. Kuhn. The Hungarian Method for the assignment problem. Naval Research Logistics Quarterly, 2(1-2):83–97, 1955.

[21] H. W. Kuhn. V ariants of the hungarian method for assignment problems. Naval Research Logistics Quarterly, 3(4):253–258, 1956.

[22] L. Landrieu and M. Simonovsky. Large-scale Point Cloud Semantic Segmentation with Superpoint Graphs. CVPR, 2018.

[23] T. Le and Y . Duan. PointGrid: A Deep Network for 3D Shape Understanding. CVPR, 2018.

[24] B. Li. 3D Fully Convolutional Network for V ehicle Detection in Point Cloud. IROS, 2017.

[25] B. Li, T. Zhang, and T. Xia. V ehicle Detection from 3D Lidar Using Fully Convolutional Network. RSS, 2016.

[26] J. Li, B. M. Chen, and G. H. Lee. SO-Net: Self-Organizing Network for Point Cloud Analysis. CVPR, 2018.

[27] Y . Li, R. Bu, M. Sun, W. Wu, X. Di, and B. Chen. PointCNN : Convolution On X -Transformed Points. NeurlPS, 2018.

[28] Z. Liang, M. Yang, and C. Wang. 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation. arXiv, 2019.

[29] T.-Y . Lin, P . Goyal, R. Girshick, K. He, and P . Dollar. Focal Loss for Dense Object Detection. ICCV, 2017.

[30] C. Liu and Y . Furukawa. MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation. arXiv, 2019.

[31] S. Liu, S. Xie, Z. Chen, and Z. Tu. Attentional ShapeContextNet for Point Cloud Recognition. CVPR, 2018.

[32] K. Mo, S. Zhu, A. X. Chang, L. Yi, S. Tripathi, L. J. Guibas, and H. Su. PartNet: A Large-scale Benchmark for Fine-grained and Hierarchical Part-level 3D Object Understanding. CVPR, 2019.

[33] G. Narita, T. Seno, T. Ishikawa, and Y . Kaji. PanopticFusion: Online V olumetric Semantic Mapping at the Level of Stuff and Things. IROS, 2019.

[34] Q.-H. Pham, D. T. Nguyen, B.-S. Hua, G. Roig, and S.-K. Yeung. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-V alue Conditional Random Fields. CVPR, 2019.

[35] C. R. Qi, O. Litany, K. He, and L. J. Guibas. Deep Hough V oting for 3D Object Detection in Point Clouds. ICCV, 2019.

[36] C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas. Frustum PointNets for 3D Object Detection from RGB-D Data. CVPR, 2018.

[37] C. R. Qi, H. Su, K. Mo, and L. J. Guibas. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR, 2017.

[38] C. R. Qi, L. Yi, H. Su, and L. J. Guibas. PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. NIPS, 2017.

[39] S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks. NIPS, 2015.

[40] D. Rethage, J. Wald, J. Sturm, N. Navab, and F. Tombari. Fully-Convolutional Point Networks for Large-Scale Point Clouds. ECCV, 2018.

[41] G. Riegler, A. O. Ulusoy, and A. Geiger. OctNet: Learning Deep 3D Representations at High Resolutions. CVPR, 2017.

[42] R. B. Rusu, N. Blodow, and M. Beetz. Fast point feature histograms (fpfh) for 3d registration. ICRA, 2009.

[43] Y . Shen, C. Feng, Y . Yang, and D. Tian. Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling. CVPR, 2018.

[44] S. Shi, X. Wang, and H. Li. PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud. CVPR, 2019.

[45] H. Su, V . Jampani, D. Sun, S. Maji, E. Kalogerakis, M.-H. Y ang, and J. Kautz. SPLA TNet: Sparse Lattice Networks for Point Cloud Processing. CVPR, 2018.

[46] L. P . Tchapmi, C. B. Choy, I. Armeni, J. Gwak, and S. Savarese. SEGCloud: Semantic Segmentation of 3D Point Clouds. 3DV, 2017.

[47] H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. J. Guibas. KPConv: Flexible and Deformable Convolution for Point Clouds. ICCV, 2019.

[48] V . V aquero, I. Del Pino, F. Moreno-Noguer, J. Soì, A. Sanfeliu, and J. Andrade-Cetto. Deconvolutional Networks for Point-Cloud V ehicle Detection and Tracking in Driving Scenarios. ECMR, 2017.

[49] C. Wang, B. Samari, and K. Siddiqi. Local Spectral Graph Convolution for Point Set Feature Learning. ECCV, 2018.

[50] W. Wang, R. Y u, Q. Huang, and U. Neumann. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation. CVPR, 2018.

[51] X. Wang, S. Liu, X. Shen, C. Shen, and J. Jia. Associatively Segmenting Instances and Semantics in Point Clouds. CVPR, 2019.

[52] Z. Wang, W. Zhan, and M. Tomizuka. Fusing Bird View LIDAR Point Cloud and Front View Camera Image for Deep Object Detection. arXiv, 2018.

[53] B. Wu, A. Wan, X. Y ue, and K. Keutzer. SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud. arXiv, 2017.

[54] D. Xu, D. Anguelov, and A. Jain. PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation. CVPR, 2018.

[55] Y . Xu, T. Fan, M. Xu, L. Zeng, and Y . Qiao. SpiderCNN: Deep Learning on Point Sets with Parameterized Convolutional Filters. ECCV, 2018.

[56] G. Yang, Y . Cui, S. Belongie, and B. Hariharan. Learning Single-View 3D Reconstruction with Limited Pose Supervision. ECCV, 2018.

[57] X. Ye, J. Li, H. Huang, L. Du, and X. Zhang. 3D Recurrent Neural Networks with Context Fusion for Point Cloud Semantic Segmentation. ECCV, 2018.

[58] L. Yi, W. Zhao, H. Wang, M. Sung, and L. Guibas. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud. CVPR, 2019.

[59] Y . Zeng, Y . Hu, S. Liu, J. Y e, Y . Han, X. Li, and N. Sun. RT3D: Real-Time 3D V ehicle Detection in LiDAR Point Cloud for Autonomous Driving. IEEE Robotics and Automation Letters, 3(4):3434–3440, 2018.

[60] Y . Zhou and O. Tuzel. V oxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection. CVPR, 2018.