ECCV 2020 | 基于對抗路徑采樣的反事實視覺語言導航
一、方法架構
本文的核心——模型未知的對抗路徑采樣器顯示如下，首先APS從路徑集P中采樣出一批路徑、并利用Speaker來得到復現的指令I。
對抗采樣器APS的學習架構，其中Speaker表示用于生成導航指令的反向翻譯語言模型，而NAV表示導航模型。
在獲取路徑P和指令I后，模型的目標就在于優化導航損失函數。針對APS學習采樣的路徑，導航器并不能通過最大化導航損失來得到較好的性能。針對導航損失在導航模型NAV和APS之間會產生對抗的行為，APS不斷采樣出有挑戰性的路徑，同時NAV則嘗試著在APS申請的路徑中進行導航完成任務。通過這種對抗方法，基于P和I生成的對抗增強數據將有效提升NAV的導航能力。在實際過程中，Speaker和導航器都通過原始數據進行了預訓練，同時Speaker在對抗訓練過程中參數保持固定。
在本文中，研究人員使用了回歸行為采樣器πAPS來采樣行為序列at（基于場景特征ft），并結合得到路徑輸出。其中ft表示從環境中抽取的視覺特征。對于全景輸入圖像來說，ftj表示時間t時從視角j獲取的視覺特征。
對抗采樣器的架構模型
模型首先利用LSTM對先前的視覺特征和上一步行為進行編碼，而后基于歷史編碼和行為嵌入u來決定此時此刻需要采取的行為。APS模型中包含了一系列可學習的權重，具體可以在原文3．3部分找到詳細的理論描述。
在通過APS處理后，將得到的一系列導航歷史｛at｝和視覺特征｛ftj｝組建成路徑P。為了保持與原始訓練數據的一致性（其導航路徑都是最短路徑），需要將APS采樣得到的路徑轉換為最小路徑。隨后通過Speaker模型為每一條采樣路徑P生成指令I，最終將得到增強過的數據對（P，I）。隨后通過“學生強制”的方法基于（P，I）來對導航模型進行訓練，其中訓練損失以可以視為NAV在（P，I）下的性能指標，損失越高性能越差。為了創造難度不斷增加的路徑來改善導航策略，研究人員將APS損失定義為了與LAN損失相關的表示：
由于APS與模型無關，它僅僅考慮導航模型訓練損失而不關系模型架構，所以這種機制可以被集成到任意的導航模型中去。
下面的算法展示了整個對抗路徑采樣器的訓練過程，APS目標是最大化導航損失以便創建盡可能困難的路徑，而NAV的目標則是最小化導航損失以便進行更好的導航。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
11月7日立即參評>> 【評選】維科杯·OFweek 2025（第十屆）物聯網行業年度評選
-
11月20日立即報名>> 【免費下載】RISC-V芯片發展現狀與測試挑戰-白皮書
-
即日-11.25立即下載>>> 費斯托白皮書《柔性：汽車生產未來的關鍵》
-
11月27日立即報名>> 【工程師系列】汽車電子技術在線大會
-
11月28日立即下載>> 【白皮書】精準洞察 無線掌控——283FC智能自檢萬用表
-
12月18日立即報名>> 【線下會議】OFweek 2025（第十屆）物聯網產業大會
