亚洲资源在线,91人妻论坛,中文字幕在线v

CVPR 2020: SGAS，一種基于貪心思想的CNN/GCN網絡結構搜索算法

2020-04-22 11:39

DARTS存在的部分問題

一般NAS的流程是分為搜索階段和評估階段，在訓練集與驗證集上進行結構的搜索（搜索階段），然后在測試集上進行模型的評估（評估階段）。DARTS在搜索結束的階段直接得到網絡結構，如圖1和公式3所示。這種策略導致在搜索和評估階段派生的網絡結構的性能相關性非常低。網絡在搜索階段的效果，并不能反映其在評估階段的真實效果。我們將這種現象稱之為：退化的搜索評估相關性（degeneratesearch－evaluation correlation）。我們認為造成這種想象的主要原因是：（1）搜索階段和評估階段設置的不一致性；（2）權重共享（weight sharing）造成的副作用。

舉個例子：假設我們只搜索3種候選運算，skip－connect，3x3卷積，5x5卷積。如果搜索時分配的權重分別是skip－connect （0．34），3x3卷積（0．33），5x5卷積（0．33），最后所選的操作會是沒有可學習參數的skip－connect，如果所有的邊都是這種情況，那么最后的網絡在評價階段性能就會很差，然而在搜索階段這個網絡和權重分配為skip－connect （0．33），3x3卷積（0．34），5x5卷積（0．33），最后會得到3x3卷積的網絡性能幾乎不會有區別。這一現象并不僅僅發生在DARTS上，也發生其他大部分NAS算法上，這嚴重影響了NAS的性能。

肯德爾系數 au［4］可用于量化搜索評估相關性（ search－evaluation correlation）。肯德爾系數介于－1到1，－1表示完全負相關，1表示完全正相關。如果肯德爾系數為0，則分布完全獨立。理想的NAS方法應具有較高的搜索評估相關性 au。我們以DARTS 為例，在CIFAR－10數據集上運行10次，分別根據搜索準確性和最終評估準確性排名，計算其肯德爾系數。一階和二階的DARTS的肯德爾系數分別僅為0．16和－0．29。因此，DARTS算法的搜索評估相關性極低，無法根據DARTS在搜索階段的效果預測模型測試階段的準確性。