近來AI火紅，其中一個推展大勢則是將AI運算下放到局端（PC、筆電端），甚至是終端，也就是AI邊緣運算的架構作法，而此作法的可行條件之一，即是需要有一套可加速運算的解決方案。本文將介紹目前相當突出的硬件加速裝置 － IntelMovidius神經運算條（NCS），它僅有USB隨身碟大小，卻具有人工智能加速運算力。

IntelMovidius神經運算條（NCS）

NCS發展背景

Apple與Google Android的爭奪戰

當年Steve Jobs生前說：「Android是個錯誤，即便花盡Apple的600億美元現金也要糾正這個錯誤。」此話一出，Apple對Android陣營展開長達數年的專利訴訟戰，而Google為了護衛Android陣營，在2012年5月用了約125億美元購并Motorola Mobility公司，以便取得手機相關技術專利抗衡Apple，Google在取得捍衛所需的專利后，于2014年將Motorola Mobility以29億美元轉售給Lenovo。

Google雖將Motorola Mobility賣給Lenovo，卻留下原本屬于MotorolaMobility的ATAP（Advanced Technology and Projects）研究團隊，成為Google本有的X研究團隊外的另一組研究團隊，當時該團隊有兩項重要研究案：一是模塊化智能型手機研究案Ara，二是行動增強實境技術研究案Tango。ATAP后續也有開展其他研究案，例如穿戴式毫米波雷達技術研究案Soli，或同屬終端使用者輸入技術的Jacquard項目。

Tango項目內容

在此我們只討論Tango項目，該項目透過平板計算機上配置的2D畫面影像傳感器（攝影機）、3D深度傳感器（紅外線投射、ToF影像感測），以及平板計算機內的圖像處理器（VPU），就可以邊走邊感測，描繪出行經路線的空間，包含障礙物、高度、距離等，可用在各種應用，例如室內導覽、沉浸式游戲等，后來Tango技術也不限于平板計算機，可進一步縮小到智能手機內使用。

而在Tango項目的平板計算機中，其實用上兩顆Movidius公司的Myriad 2芯片，此即是VPU。該芯片內已經用硬件電路方式實現類神經網絡、人工智能等演算，加速對外界影像的視覺判別，后來該芯片也用于DJI的無人機上，好讓無人機透過影像辨識，得以避障與降落。

神經運算條內的Myriad 2芯片僅有鈕扣電池般的大小

知名品牌發展人工智能

由于人工智能運算日益重要，2016年9月Intel并購了Movidius公司，2017年12月Google宣布Tango項目這個增強實境軟件平臺即將結束，并由新的增強實境軟件平臺ARCore接手，項目雖結束，但Google依然持續運用Myriad 2芯片（MA2450）。同為12月，Google發表AIYVision Kit的人工智能套件，套件內即有用及Myriad 2芯片。

Intel也看好前端人工智能、類神經網絡的運算應用，在買下Movidius后于2017年推出神經運算條棒NeuralCompute Stick，簡稱NCS（Movidius被購并前已展示過NCS的原型品，因購并案而延后正式發表）。NCS內用的也是Myriad 2芯片，但自成一套系統，并用USB接口與其他系統連接，NCS價格實惠僅79美元。除了USB版外，Intel也與臺灣合作伙伴研陽（Aaeon）推出Mini－PCIe版的NCS，稱為UP AI Core，費用降至69美元。

NCS開發環境

對NCS背景有些了解后，接著是著手于實務前的概念。在人工智能的開發上，Intel提出了一套架構（如下圖）：一開始先用運算力強悍的計算機來訓練模型，再用NCS與一般筆電來進行型態化（Profiling）、調整（Tuning）、編譯（Compile），最后再用筆電或者簡單的單板計算機（例如樹莓派）來進行原型品實作（Prototyping）。

人工智能開發與應用程序圖，包含建模、型態化、微調、編譯、原型品等階段

由于NCS需要連接筆電或樹莓派，因此對筆電、樹莓派的系統環境也有所要求，NCS需要有安裝Ubuntu 16．04版的Linux操作系統，如果筆電只有Windows操作系統，且嫌開機切換成Linux比較麻煩，可以用桌面版虛擬化軟件（如VirtualBox）建立一個虛擬圖像文件，以虛擬化方式執行Ubuntu 16．04，也是可行的。

若為樹莓派，則建議使用RPi 3Model B以上的規格，而后使用樹莓派專用的DebianLinux操作系統Raspbian，且必須是Debian開發代號Stretch版以上的Raspbian才行，Debian Linux的Stretch版是在2017年6月提出，樹莓派的Stretch版則在8月。

連接NCS的注意事項

另外要注意的是，Intel官網建議，連接NCS的系統最少要有1GB的內存，4GB的儲存空間，以及USB 2．0的端口，最好可以是USB 3．0，以利大量數據傳輸。由此觀之，樹莓派的硬件資源與規格僅是勉強合格，但由于樹莓派畢竟是創客圈最廣泛流行的單板計算機，多數開發工具包仍會盡可能迎合支持樹莓派，若期望有好一點的單板計算機，也可以用前述AAEON所推出的Up Square，該單板計算機有2～8GB內存，也有USB 3．0埠，并支持Ubuntu Linux。

準備好這些后，NCS可支持的人工智能框架主要有二，一是Google提出的TensorFlow，二是柏克萊分校提出的Caffe，也兼容OpenVINO、Andorid的神經網絡（Neural Networks， NN）API。

很明顯NCS無法與NVDIA的TeslaGPU比拼運算力，尚無法廣泛支持各種框架，但NCS僅在1瓦用電下提供人工智能加速運算，已是難得可貴，畢竟TeslaGPU的功耗大多是數十、數百瓦。

進一步的開發則需要安裝NC SDK（軟件開發工具包）到筆電內，SDK內提供mvNCCompile、mvNCProfile、mvNCCheck等工具，可以轉換格式、統計神經網絡各層的效能、比較網絡推論運算后的結果等，另外也附有范例程序及應用程序編程接口（API），這些均到位后即可開始學習摸索NCS了。

作者：陸向陽