對于網格形式的3D數據學習一直以來是三維深度學習研究的重點，網格的復雜性和不規則性使得通常的卷積網絡無法有效的應用。為此來自德國亞琛工業大學的研究人員們提出了一種集成測地線卷積和歐幾里得卷積的層級卷積模型DualConvMesh－Net，用于處理三維幾何數據，其中定義在網格表面的測地線卷積可以將作用于給定網格的局域表面，更加注重對于不同目標的編碼與分離；而定義在鄰域的歐幾里得卷積則獨立于表面結構，著重于分析區域內點之間的相互關系、編碼鄰近目標間的相關性，而不注重目標的獨立性。

通過有效結合歐幾里得卷積和測地線卷積，基于層級結構實現多尺度多分辨率的網格分析，最終大幅度提升了三維語義分割任務的性能，并在多個數據集上取得了優異的結果。

向三維幾何進軍的深度學習

隨著深度學習在圖像領域取得了令人矚目的成就，研究人員們也逐漸開始將深度學習方法特別是卷積神經網絡從規則、離散的音頻、圖像和體素領域，向非規則的幾何數據上進行應用。典型的幾何數據包括圖結構、點云和3D網格等，目前針對這一領域的研究基于數據表示的不同主要分為兩大方向：3D場景理解和3D形狀分析。

其中3D場景理解的主要任務包括語義分割、實例分割、部件分割等等，所面對的通常是點云數據。人們常常將原始點云轉換到規則的離散三維柵格中，以便標準的3D卷積處理。而直接處理點云顯然是一種更為便捷的方法，但最大的挑戰則來自于如何將卷積作用于非規則的點集上。這種方式通常將卷積核作用于利用球或者K最鄰近等歐幾里得方法得到的鄰域點集中。這種基于歐式距離的歐式卷積關注與點與點之間的相互關系，還對表面形變非常敏感。

與三維場景理解不同的是，三維形狀分析主要集中于形狀關系、形狀描述和檢索方面，主要關注以網格或者圖形式所編碼的表面信息。這種情況下，卷積核通常定義在網格或者圖的局域片層上，通過測地線距離來進行定位和聯系（可以理解為沿著物體表面連接兩個節點見最短的邊）。這種方式的卷積被稱為測地線卷積，其最主要的特性是對于曲面形變具有不變形的特點，因此非常適合與獨立個體的描述與辨別。

上圖彩色梯度顯示了兩種不同卷積的特點，可以看到測地線距離可以有效分離出獨立的個體，它專注于沿著表面進行學習；而歐式距離則更多地專注于空間相關性，可以銜接起小部分的缺失，以便學習到更多的上下文信息，補全缺失部分。

在這篇文章中，研究人員探索了上述的兩種卷積在三維網格語義分割任務中的應用。目前絕大多數方法都基于歐式卷積，很少有利用測地線方法來進行的研究。歐式卷積主要專注于上下文和鄰域信息的學習，而測地線距離則主要針對特定目標，沿著其表面進行形狀學習。這兩種方法各有優劣，那么如何將他們的優勢結合起來提升模型性能呢？

為了解決這一問題，建立結合兩種卷積的綜合架構，研究人員提出了DualConvMesh－Net，在網格數據下利用兩種卷積對幾何結構進行綜合學習與處理。為了在不同尺度上對歐式特征和測地線特征進行學習，不僅構建了層級網絡架構，同時提出網格池化算法來在各個層級上簡化并保留重要的網格結構。下面就詳細地了解模型如何融合不同卷積方法并對網格進行簡化和學習的。

DualConvMesh－Net

本文提出的DualConvMesh－Net（DCM－Nets）是一類層級深度網絡架構，它結合了測地線圖卷積在3D表面網格上的優勢和歐幾里得圖卷積在空間域中3D頂點上的優勢。網絡的輸入是包含了頂點信息的網格、輸入則是包含頂點特征的網格，可以有效用于稠密預測任務。網絡通過模塊化的形式構建，具有容易集成與測評的優勢。

本文提出的主體網絡架構如下圖所示，在編碼器解碼器架構的基礎上添加了銜接的殘差結構，便于訓練收斂。可以看到網絡由多個層級組成，每個層級中包含了多個疊加的DualConv結構。在DualConv結構中，測地線卷積和歐式卷積并行作用，并將得到的特征圖進行銜接輸出。而針對不同尺度的網格，則需要利用池化算法來對網格進行簡化。

針對歐幾里得圖卷積和測地線圖卷積，針對某個尺度的網格來說其頂點（Vertex）為歐式空間中的點集，而其邊則分為了基于knn或者一定鄰域半徑內得到的歐幾里得形式的邊，以及基于網格上的面而得到的測地線邊（Edge）．而最終卷積作用于與頂點對應的特征xi上，輸出yi為頂點vi的對應特征：

其中N表示頂點附近的鄰域，φ為訓練的非線性映射函數。值得注意的是，卷積核參數θ的數量與核的大小無關，同時歸一化的分母提高了卷積對于不同鄰域數量的魯棒性。針對網絡最開始的卷積層，定義了僅僅依賴邊緣信息具有不變形的卷積操作，僅僅輸入xj－xi，而去除了包含絕對位置的初始特征xi。這樣的改變是的模型可以在場景的片層上訓練，但同時可以在完整的結構上進行測評，不僅為每個頂點帶來更廣的上下文區域，同時也減少了運行時間。此外對于初始歐幾里得與側地線空間鄰域的復用則使得更深的圖卷積成為可能，同時也減少了運行的內存需求提高的計算速度。