論文作者來(lái)自阿卜杜拉國(guó)王科技大學(xué)的在讀博士生李國(guó)豪，本次分享的是KAUST與Intel ISL在 CVPR 2020 的工作：SGAS，一種基于貪心思想的CNN／GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法。

本工作通過(guò)貪心（greedy）的搜索方式減輕了NAS中模型排名在搜索和最后評(píng)估不一致的問(wèn)題。是一種更優(yōu)更快的網(wǎng)絡(luò)結(jié)構(gòu)搜索算法，并同時(shí)支持CNN和GCN的搜索。代碼已開(kāi)源，想在圖像，點(diǎn)云，生物圖數(shù)據(jù)上做網(wǎng)絡(luò)結(jié)構(gòu)搜索的同學(xué)都可以試一試。

相關(guān)工作

網(wǎng)絡(luò)結(jié)構(gòu)搜索（NeuralArchitecture Search， 簡(jiǎn)稱NAS） 是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)化設(shè)計(jì)的技術(shù)。NAS基于相應(yīng)算法在特定的樣本集內(nèi)自動(dòng)設(shè)計(jì)出高性能的網(wǎng)絡(luò)結(jié)構(gòu)。這些自動(dòng)搜索出的網(wǎng)絡(luò)結(jié)構(gòu)在某些任務(wù)上已經(jīng)媲美或超過(guò)了人類專家手工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)。

早期NAS的算法是基于強(qiáng)化學(xué)習(xí)（Zoph et al．［1］）或進(jìn)化算法（Real et al．［2］）。這些算法計(jì)算成本高昂，阻礙了其廣泛應(yīng)用。近來(lái)，Liu et al．［3］提出了一種高效的可微分的網(wǎng)絡(luò)結(jié)構(gòu)搜索算法：可微分網(wǎng)絡(luò)結(jié)構(gòu)搜索（Differentiable Architecture Search， 簡(jiǎn)稱DARTS）。DARTS的提出使得網(wǎng)絡(luò)結(jié)構(gòu)搜索在單卡一天內(nèi)完成搜索。后續(xù)許多工作都基于DARTS基礎(chǔ)上進(jìn)行改進(jìn)，比如SNAS／FBNet／ProxylessNAS／P－DARTS／GDAS／MdeNAS／PC－DARTS／FairDARTS等等。

背景知識(shí)：DARTS

DARTS采用基于單元（Cell）的搜索方法進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)搜索。Cell是一個(gè)網(wǎng)絡(luò)子模塊，可以自由堆疊多次形成卷積網(wǎng)絡(luò)。DARTS通過(guò)學(xué)習(xí)cell的結(jié)構(gòu)，完成對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)搜索。Cell是由N個(gè)節(jié)點(diǎn)的有序序列組成的有向無(wú)環(huán)圖（如圖1）。Cell中每個(gè)節(jié)點(diǎn)x＾（i）是卷積網(wǎng)絡(luò)中的特征圖，每個(gè)有向邊（i，j）代表一種對(duì)x的運(yùn)算o（i， j） （如3x3的卷積）。一個(gè)cell具有兩個(gè)輸入節(jié)點(diǎn)，一個(gè)輸出節(jié)點(diǎn)和多個(gè)中間結(jié)點(diǎn)。Cell的輸入節(jié)點(diǎn)被定義為前兩層的輸出。Cell的輸出是對(duì)所有中間節(jié)點(diǎn)進(jìn)行歸約運(yùn)算（例如concatenation）后的結(jié)果。每個(gè)中間節(jié)點(diǎn)由它之前結(jié)點(diǎn)經(jīng)過(guò)算子op變換后相加得到：

DARTS為了實(shí)現(xiàn)可微搜索，提出了搜索空間的continuousrelaxation機(jī)制，利用softmax函數(shù)來(lái)學(xué)習(xí)所有可能候選運(yùn)算op的權(quán)重：

其中，＄mathcal（O）＄ 表示搜索空間中的候選運(yùn)算（例如卷積，最大池化，零）等，零表示沒(méi)有運(yùn)算（邊）。其中一對(duì)節(jié)點(diǎn)（i，j）之間的運(yùn)算由向量lpha＿｛i， j｝參數(shù)化。運(yùn)算的結(jié)果是每種可能運(yùn)算結(jié)果的加權(quán)求和。向量lpha＿｛i， j｝的維度為搜索空間長(zhǎng)度｜O｜。因而，DARTS將網(wǎng)絡(luò)結(jié)構(gòu)搜索的任務(wù)簡(jiǎn)化為了學(xué)習(xí)一組連續(xù)變量lpha＝ ｛lpha（i， j）｝，如圖1所示。DARTS在搜索結(jié)束階段，通過(guò)argmax得到權(quán)重最大的候選運(yùn)算op當(dāng)作該邊的搜索結(jié)果：

圖1 DARTS的單元結(jié)構(gòu)以及網(wǎng)絡(luò)結(jié)構(gòu)搜索示意圖［3］