IBM大膽預測，GPU在AI中的主導地位正在結束。GPU能夠為圖形處理進行大量的并行矩陣乘法運算，這種矩陣乘法碰巧與神經網絡所需的完全相同。

因為沒有那些GPU，我們永遠無法達到今天在AI性能方面已經達到的性能水平。但是，隨著更多企業已經掌握了更關于如何實現人工智能的知識，他們也在尋找設計出更高效硬件的方法和途徑。

工程界已經意識到，降低能耗的關鍵是盡量減少計算架構中出現數據必須從內存遷移到處理器用于計算的這一情況發生，因為這樣的遷移需要耗費大量時間和精力。

模擬技術天然適合邊緣的人工智能。模擬計算需要低功耗，證明它具有高能效，但卻不準確。模擬正在回歸，因為內存計算與模擬計算可以相互配合。內存陣列負責神經網絡權重，模擬元件負責求和和觸發。

而人工智能學科發展與人類智能差距之一就是對多模態信息的智能化理解。人造信息量帶來了更大多樣性，視覺、聲音、符號語言、嗅覺和觸覺等信息，具有無限多樣性。

①目前的深度學習僅能實現人類大腦極小一部分的功能，距離人類的智能還有非常遠的距離，而使用神經模態計算直接模仿神經元系統在人工神經元數量足夠多時，或將有希望能實現比起深度學習更好的效果，更接近人類大腦。

②目前深度學習計算在部署上遇到的困難是能效比和延遲問題，在對于功耗要求非常低的物聯網領域，以及對于延遲要求非常高的領域無人駕駛領域，部署深度學習會遇到很大的挑戰。

①神經模態計算的一大優勢就是其計算功耗與輸入有關，在輸入不會激活大量神經元的情況下，其功耗可以做到非常低。

②對于物聯網應用來說，神經模態計算可以利用這樣的規律，僅僅在需要的時候激活神經元消費能量來完成事件識別，而在其他沒有事件的時候由于神經元未被激活因此功耗很低，從而實現遠低于深度學習芯片的平均功耗。

③神經模態計算并非常規的馮諾伊曼架構，神經模態計算芯片一般也不會搭配DRAM使用，而是直接將信息儲存在了神經元里。這樣就避免了內存墻帶來的功耗和延遲問題，因此神經模態計算芯片的延遲和能效比都會好于傳統的深度學習。

①神經模態芯片的發展方向首先是規模化，即擴大神經元的規模，這也是Intel和IBM等大廠主要押注的方向。

②利用神經模態計算低功耗和低延遲的特點并進一步優化芯片設計來開發出高能效比低延遲的芯片。這類芯片或許神經元數量不多，但是可以實現非常低的功耗和非常好的能效比，從而可以部署在傳統深度學習無法部署的場景。

①對于Intel和IBM這類在大規模神經元領域大量投資的公司，更看重在這幾年內把神經模態計算的研究、生態先做起來，等到神經模態計算研究取得突破時就能獲得先機。

②在中等規模神經元規模、主打低功耗的神經模態芯片方向上，物聯網將會成為最佳的落地應用。

①數據模態多種多樣，包括2D圖像、3D模型、結構化信息、文本、聲音及更多無法量化的數據。

②多模態數據的不對應，如從圖像到文字，從文字到圖像，都是“一對多”的過程，會有多種的描述和呈現。

③多模態數據的融合，一個軟件或算法的進步較為容易，但多個算法一起，難度將幾何級上升，要經過語言模型、三維建模、自動尋路、圖像分析這些步驟。

④多模態監督。

目前，物聯網和人工智能都是發展大勢，而AI芯片正處于從通用型向專用型發展和轉化的過程當中，特別是在物聯網邊緣側，通用型AI芯片的計算效率較低，繼而帶來了成本和功耗的失配。

在物聯網應用初期，很多AI芯片都是以單模態功能切入市場的，最為普遍的就是語音應用。但是未來的應用會是多模態融合的，機器人就是一個典型的多模態應用實例，還有如車載芯片，因此多模態是市場發展的必然趨勢。

對于架構，雖然每家芯片企業的架構都有各自的特點和實現方法，支持機器學習的算法會逐漸形成統一的框架。未來有可能形成在不同AI芯片硬件上面，可以運行所有神經網絡的模型，這在不久的將來是完全有可能出現的。

隨著5G和物聯網的大面積鋪開，低功耗AI芯片將是未來的主要發展方向，只要相關標準能夠確定，則商機無限。

雖然2016年時在航空、軍事與國防、汽車、消費、醫療、金融服務、基礎設施和公用事業等產業中使用神經形態技術的應用并不多，但在接下來的十年，這些產業將開始大量采用神經形態技術。

像IBM、Intel、惠普等巨擘都跨足這個領域，為神經形態晶片開發硬體，同時，高通也計劃在2018年以前商用化其認知運算與機器學習平臺Zeroth，從而將神經形態功能整合在嵌入式系統中。

整體神經形態晶片市場在2016年時約有12億美元的價值，并以26．3％的復合年成長率成長，在2022年時達到48億美元的市場規模。

而這還不包括消費終端產業，而是指由工業檢測、航空、軍事與國防等領域所帶動的神經形態晶片市場需求。到2022年，亞洲將占據一半以上的神經形態市場。

國內神經模態芯片得到了國家和業界的重視。清華類腦計算中心做出了卓越的貢獻，其工作發表在全球頂級期刊和會議上。上海也于今年建立了上海腦科學與類腦研究中心，神經模態計算是該中心的重點方向之一。

在商業化方面，清華類腦計算中心孵化的初創公司靈汐科技在今年發布了自主研發的“天機二代”芯片系統，使用眾核存算一體架構，具有高速度、高性能、低功耗的特點。

相比國外同行，我國的神經模態計算在最近幾年得到了來自國家非常高的重視，相信在未來幾年內將會有全球領先的成果誕生。

過去幾年，尹首一副教授針對這一前沿課題，領銜研究和設計了可重構多模態混合神經計算芯片（代號Thinker）。

Thinker芯片基于該團隊長期積累的可重構計算芯片技術，采用可重構架構和電路技術，突破了神經網絡計算和訪存的瓶頸，實現了高能效多模態混合神經網絡計算。

Thinker芯片具有高能效的突出優點，其能量效率相比目前在深度學習中廣泛使用的GPU提升了三個數量級。

其支持電路級編程和重構，是一個通用的神經網絡計算平臺，可廣泛應用于機器人、無人機、智能汽車、智慧家居、安防監控和消費電子等領域。

結尾：

目前Intel和IBM在內的企業正積極探索超低功耗神經模態芯片在不同領域的應用，在未來幾年內隨著AI＋IoT的發展，神經模態計算將會迎來一波新的熱潮。

目前如何高效訓練大規模神經模態神經元的算法還沒有找到，因此在現有訓練框架的基礎下，或許優先把能效比做到極致是比把神經元數量做大更接地氣的方向。