最先進的機器學(xué)習(xí)算法可以從照片中提取二維物體，并在三維中忠實地呈現(xiàn)它們。這種技術(shù)可以適用于增強現(xiàn)實的應(yīng)用程序、機器人以及導(dǎo)航，因此它成為Facebook的一個重要研究領(lǐng)域。

在近日于首爾舉辦的國際計算機視覺會議（ICCV）之前，F(xiàn)acebook在一篇博客文章中強調(diào)了其在智能內(nèi)容理解方面的最新進展。據(jù)透露，它的系統(tǒng)甚至可以用來檢測復(fù)雜的前景和背景對象，如椅子腿或重疊的家具。

“我們研究的最新進展是建立在利用深度學(xué)習(xí)來預(yù)測和定位圖像中的物體，以及用新的工具和架構(gòu)來理解三維形狀，如體素、點云和網(wǎng)格，”Facebook的研究人員Georgia Gkioxari、Shubham Tulsiani和David Novotny在一篇博客中寫道。“三維理解將在提高人工智能系統(tǒng)，更貼近地理解、解釋和操作現(xiàn)實世界的能力方面發(fā)揮核心作用。”

其中一個亮點是Mesh R－CNN，這是一種能夠從雜亂和遮擋物體的圖像中預(yù)測三維形狀的方法。

Facebook的研究人員表示，他們在開源的Mask R－CNN的二維目標(biāo)分割系統(tǒng)上增加了一個網(wǎng)格預(yù)測分支，并使用一個包含高度優(yōu)化的三維操作符的庫（Torch3d），來進一步支持該系統(tǒng)。Mesh R－CNN有效地利用了Mask R－CNN對圖像中不同的物體進行檢測和分類，然后利用上述的預(yù)測器對三維形狀進行推斷。

Facebook表示，在公共可用的Pix3D語料庫上進行評估后，Mesh R－CNN成功地檢測到所有類別的物體，并在家具場景中估計它們的完整三維形狀。在一個單獨的數(shù)據(jù)集上（ShapeNet ），Mesh R－CNN比之前的研究有7％的相對優(yōu)勢。

Facebook開發(fā)的另一個系統(tǒng)是Canonical 3D Pose Networks，簡稱為C3DPO，解決了網(wǎng)格和相應(yīng)圖像無法用于訓(xùn)練的情況。建立三維關(guān)鍵點模型重建，利用二維關(guān)鍵點監(jiān)控實現(xiàn)最先進的重建結(jié)果。（這里的關(guān)鍵點指的是被跟蹤的物體部分，它們提供了一組關(guān)于幾何圖形及其視角變化的線索。）

C3DPO利用重建模型預(yù)測相應(yīng)攝像機視點參數(shù)和三維關(guān)鍵點位置。輔助組件與模型一起學(xué)習(xí)，以解決在分解三維視點和形狀時引入的模糊性。

Facebook指出，這種重建在以前是可以實現(xiàn)的，部分原因是內(nèi)存限制。C3DPO體系結(jié)構(gòu)可以在硬件無法捕獲的情況下進行三維重建，比如對大型的對象。

“（三維）計算機視覺有許多開放的研究問題，我們正在試驗多種問題陳述、技術(shù)和監(jiān)督方法，以探索推動該領(lǐng)域向前發(fā)展的最佳方式，就像我們在二維理解領(lǐng)域所做的那樣，”Gkioxari、Tulsiani和Novotny表示。“隨著數(shù)字世界適應(yīng)并轉(zhuǎn)向使用3D照片、沉浸式AR和VR體驗等產(chǎn)品，我們需要不斷推動復(fù)雜的系統(tǒng)更準(zhǔn)確地理解視覺場景中的對象并與之互動。”