在輸入和輸出層之間， 有一個或多個隱藏層（圖5）。 一層的輸出通過加權后連接到下一層的節點。網絡通過修改這些權重來學習輸入和輸出之間的映射。通過使用多個隱藏層， 深度學習算法從輸入數據中提取特征， 而不需要明確地將特征輸入到算法中。 這被稱為＂特征學習＂。

圖5 前饋人工神經網絡

面向深度學習的系統設計

深度學習最近在軟件應用領域取得了成功， 主要是因為技術部件的成熟， 比如硬件中的計算能力增強， 大量的訓練數據被標記， 學習算法和網絡初始化方面的突破， 以及開放源碼軟件框架的可用性。

下面是用深度學習系統的主要考慮因素。

拓撲

深度學習是一個不斷發展的領域， 目前正在使用許多網絡拓撲［1］。其中一些網絡顯示了對控制和監控物聯網應用的承諾：

深層神經網絡（Deep Neural Network， DNN）是一種完全連接的人工神經網絡， 具有許多隱藏層（因此深層）。 這些網絡是極好的函數逼近器， 例如， 可用于電力行業中電子控制的應用。控制系統的仿真模型可用于使用深度網絡構建控制器， 并生成訓練數據。通過這種方法， 可以探索通常難以使用傳統方法控制的狀態（邊界／交叉條件）

卷積神經網絡（Convolutional Neural Network， 簡稱 CNN）是利用輸入信號的二維結構， 如輸入圖像或語音信號。一個卷積網絡由一個或多個卷積層（過濾層）組成， 然后是一個完全連接的多層神經網絡。 這些網絡在成像和目標識別中的缺陷檢測等問題上取得了成功。它們也被用于駕駛員援助系統（ADAS）中的場景。

循環神經網絡（Recurrent Neural Network， RNN）是基于利用順序（或歷史）信息進行預測的算法。這些網絡有利于時間序列分析。傳統的神經網絡假設所有的輸入（和輸出）在時間或到達的順序上相互獨立。記錄狀態信息， 存儲過去的信息， 并使用迄今為止計算出來的信息進行下一個預測。 在物聯網應用中， RNN有利于學習歷史行為， 并用于預測未來的事件， 例如資產的剩余使用壽命。 長短期記憶（LSTM）網絡也適用于這類應用［2］。

深度強化學習（DRL）對于在復雜動態環境中運行的自適應控制系統是有好處的。 考慮控制在倉庫操作中部署的機器人， 這些機器人必須動態地適應新的任務。 以強化學習為基礎的控制者學習一項任務時， 它們通過執行一個動作， 使他們更接近目標而獲得的獎勵。例如， 控制器接收來自攝像機的圖像， 該照片顯示了機器人手臂的當前位置， 并利用圖像中的信息來學習如何將手臂移近目標（圖6）［3］。 基于DLC的控制器可以通過機器人模擬器或者通過觀察實際的機器人來訓練。

圖6 機器人控制應用的深度強化學習

訓練

DNN需要大量的訓練數據， 這些數據最好包括來自學習所需要的所有不同狀態或條件的數據。對于大多數應用而言， 現有數據主要來自系統的正常工作狀態， 其中包括從其他狀態獲取的少量數據。

數據增強／泛化是一種用來改善數據不平衡的技術， 可以從現有的小樣本集開始， 通過數據轉換創建額外的合成版本，還可以使用該系統的模擬模型來創建訓練數據。

另一個挑戰是難以收集訓練這些網絡所需的大量數據。轉移學習是可以用來緩解這個問題的方法之一。 使用轉移學習， 可以從預訓練的神經網絡開始（大多數深度學習框架提供了可以下載的經過完全訓練的模型） ， 并用應用中的數據對其進行微調。

硬件

訓練深度網絡有著巨大的處理要求。GPU已經成為訓練深度網絡的主要選擇。由于計算性能高， 內存大， 以及編程工具的選擇， GPU很有吸引力， 幾乎成為訓練的必要條件。

此外， FPGA是部署訓練網絡的良好目標。FPGA提供了更低的延遲， 更好的功率效率，特別是在嵌入式設備上部署這些網絡， 用于與I／O緊密操作的控制系統。

軟件

快速采用和成功的一個原因是成熟軟件框架的可用性。 一些常見的框架有 TensorFlow， Caffe， Keras 和 Computational Network Toolkit （CNTK）［4，5，6，7］。 這些框架支持不同的操作系統， 如 Windows 和 Linux， 以及 Python 和 C語言。 大多數這些框架都有支持或實例來實施最新的深度網絡，也支持GPU的使用。

深度學習： IoT 控制設計的新方向

深度學習是人工智能領域中一個令人興奮的新方向， 也是解決工業控制設計應用中一個有前途的技術。

快速開始掌握深度學習的方法是下載前面提到的開源框架， 并且用教程示例進行實驗。 從一個類似于應用程序的示例開始， 然后使用轉移學習來快速操作。

References：

Veen， Fjodor Van． ＂The Neural Network Zoo．＂ The Asimov Institute． October 28， 2016． Accessed September 20， 2017．

＂Long short－term memory．＂ Wikipedia． August 27， 2017． Accessed September 20， 2017．

Zhang， Fangyi， Jürgen Leitner， Michael Milford， Ben Upcroft， and Peter Corke． ＂Towards Vision－Based Deep Reinforcement Learning for Robotic Motion Control．＂ ［1511．03791］ Towards Vision－Based Deep Reinforcement Learning for Robotic Motion Control． November 13， 2015． Accessed September 20， 2017．

＂TensorFlow．＂ TensorFlow． Accessed September 20， 2017．

＂Caffe．＂ Caffe ｜ Deep Learning Framework． Accessed September 20， 2017．

＂Keras： The Python Deep Learning library．＂ Keras Documentation． Accessed September 20， 2017．

＂Video： Unlock deeper learning with the new Microsoft Cognitive Toolkit．＂ Microsoft Cognitive Toolkit． Accessed September 20， 2017．