5 Rethinking Bottleneck Structure for Efficient Mobile Network Design

作者：Zhou Daquan，Qibin Hou，Yunpeng Chen，Jiashi Feng，Shuicheng Yan

機構：新加坡國立大學，依圖科技

簡介：反向剩余塊是近年來移動網絡體系結構設計的主流。它通過引入反向殘差學習和使用線性瓶頸兩種設計規則來改變傳統的剩余瓶頸。本文對這種設計變更的必要性進行了反思，發現這種變更可能帶來信息丟失和梯度混淆的風險。因此，我們建議翻轉結構并提出一種新的瓶頸設計，稱為沙漏塊，在更高的維度上執行身份映射和空間變換，從而有效地減少信息丟失和梯度混淆。大量的實驗表明，與一般的觀點不同，這種瓶頸結構比倒置的瓶頸結構對移動網絡更為有利。在ImageNet分類中，通過簡單地用我們的沙漏塊代替倒立的殘差塊而不增加參數和計算量，分類精度比MobileNetV2提高1．7％以上。在pascalvoc2007測試集上，觀察到在目標檢測方面也有0．9％的mAP改進。通過將其加入神經結構搜索方法DARTS的搜索空間，進一步驗證了沙漏塊的有效性。經過25％的參數簡化，分類精度比以前的DARTS模型提高了0．13％。

6 MutualNet： Adaptive ConvNet via Mutual Learning from Network Width and Resolution

作者：Taojiannan Yang，Sijie Zhu，Chen Chen，Shen Yan，Mi Zhang，Andrew Willis

機構：北加利福利亞大學，密歇根州立大學

簡介：本文提出了寬度－分辨率相互學習的方法（MutualNet），根據動態的資源約束來訓練網絡，實現運行時自適應的準確率－效率的平衡。該方法利用不同的寬度和輸入分辨率，訓練了多個子網絡，每個網絡都互相學習多尺度的特征表示。相對于目前SOTA的自適應網絡 US－Net，本文方法在ImageNet上取得了更高的top－1準確率，要比最優的復合尺度的MobileNet和EfficientNet 高1．5％1．5％1．5％。在COCO目標檢測、實例分割和遷移學習任務上，該方法也進行了驗證。MutualNet的訓練策略可以提升單個網絡的性能，在效率（GPU搜索時間：1500 vs． 0）和準確率方面都顯著超過了AutoAugmentation。

7 PSConv： Squeezing Feature Pyramid into One Compact Poly－Scale Convolutional Layer

作者：Duo Li，Anbang Yao，Qifeng Chen

機構：香港科技大學，intel實驗室

簡介：盡管卷積神經網絡（CNNs）具有強大的建模能力，但它往往具有尺度敏感性。為了提高cnn對尺度方差的魯棒性，在現有的解決方案中，基于不同層次或濾波器的多尺度特征融合受到了廣泛的關注，而忽略了更細粒度的核空間。我們通過在更細的粒度中利用多尺度特性來彌補這一遺憾。所提出的卷積運算稱為多尺度卷積（PSConv），它混合了膨脹率的頻譜，并巧妙地將其分配到每個濾波器關于單個卷積層的各個卷積核中。具體地說，膨脹率沿著濾波器的輸入和輸出通道的軸周期性地變化，以一種簡潔的方式將各種尺度上的特征聚集起來。PSConv可能是許多主流CNN主干網中香草卷積的一個替代品，允許在不引入額外參數和計算復雜性的情況下進行更好的表示學習。在ImageNet和MS－COCO基準測試上的綜合實驗驗證了PSConv的優越性能。

圖像分類

1 Learning To Classify Images Without Labels

作者：Van Gansbeke Wouter，Vandenhende Simon，Georgoulis Stamatios，Proesmans Marc，Van Gool Luc

機構：KU Leuven／ESAT－PSI，蘇黎世聯邦理工學院

簡介：有沒有可能在不使用地面真相注釋的情況下自動分類圖像？或者，即使是類本身，也不是先驗知識嗎？這些仍然是計算機視覺中的重要問題。有幾種方法試圖以端到端的方式解決這個問題。在本文中，作者偏離了最近的工作，提出了一種將特征學習和聚類分離的兩步方法。首先，利用表征學習中的自監督任務來獲得語義上有意義的特征。第二，在可學習的聚類方法中，使用所獲得的特征作為先驗。在這樣做的時候，去除了集群學習依賴于低級特征的能力，這是當前端到端學習方法中存在的。實驗結果表明，本文的分類準確率大大超過了現有的分類方法，特別是CIFAR10為＋26．9％，CIFAR100－20為＋21．5％，STL10為＋11．7％。此外，在ImageNet上的結果表明，本文的方法是第一個能夠很好地擴展到200個隨機選擇的類，獲得69．3％的top－1和85．5％的top－5準確率，并且在完全監督的方法下，差異小于7．5％。