曠視即將開源Brain++的深度學習框架
近日,曠視科技透漏其自主研發并全員使用的AI 生產力套件Brain++的核心深度學習框架--MegEngine,即將于3月25日進行開源,發布會將于當日14:00在線舉辦。
2017年,AlphaGo與柯潔的圍棋大戰讓大眾嘆為觀止,而支撐AlphaGo運轉的底層技術框架就是谷歌的TensorFlow。
知名度或許沒有谷歌那么廣為人知,但其實曠視的國產深度學習框架MegEngine遠早于谷歌TensorFlow的時代,曠視早在2014年就開始研發其深度學習框架MegEngine,過去5年里,這套深度學習框架被曠視全員使用,支撐著整個曠視的科研及產品化。
同時在框架的基礎之上,曠視研究院還提出了“三位一體”概念,將數據和算力平臺融合,構建了集“算法、數據和算力”于一體的 AI 生產力套件 Brain++,自動化、規模化、集約化生產算法,在Brain++的驅動下成為了現實。
技術層面曠視的Brain++完全可以和谷歌的TensorFlow、臉譜的PyTorch相提并論。
Brain++
為了能夠快速的進行算法相關實驗,在實際的工業場景中落地,就需要一個具有高性能,可復用和能靈活迭代的AI算法平臺。
而打造一個滿足當前需求的AI算法平臺,需要從計算性能,平臺易用性,滿足真實業務場景需求等不同的方面進行考量。
人工智能發展初期階段,訓練一個 AI 模型,至少需要一兩個月,開發者甚至要通過手敲 C++ 來完成計算過程,而深度學習社區基本上被 TensorFlow 和 PyTorch 兩大框架壟斷。
算法生產就是對輸入數據進行分析和提煉,并輸出能預測問題答案模型的過程,如何擺脫繁瑣低效的算法開發流程,獲得批量生產算法的能力一直是曠視所思考的問題。
曠視聯合創始人唐文斌這樣介紹Brain++:“為了解決這個問題, 2014年我們開始研發Brain++,它是一套端到端的AI算法平臺,目標是讓研發人員獲得從數據到算法產業化的綜合技術能力,不用重復造輪子也可以推進AI快速落地。我們的Brain++還引入了AutoML技術,可以讓算法來訓練算法,讓AI來創造AI。”
MegEngine
曠視 Brain++的架構分為三部分,其中即將開源的深度學習算法開發框架 MegEngine 是核心模塊,其次是提供算力調度支持的深度學習云計算平臺 MegCompute,以及用于提供數據服務和管理的數據管理平臺 MegData。
MegEngine可實現訓練、部署一體化,能夠支撐大規模視覺方向的算法研發,具體又分為四個層,包括計算引擎、運行時管理、編譯和優化以及編程和表示。
還引入了曠視獨家的AutoML技術,只需訓練一次就能得到整個模型空間的刻畫,可以顯著降低人力成本并大幅提高開發效率。
MegEngine基于 C++開發,使用了目前流行的計算圖方式,和其他框架不同,其使用的是異構架構,方便使用框架進行分布式計算。
此外,MegEngine 內部的計算以算子的形式進行,它支持多種算子節點和變量算子,包括常用的卷積、全連接、ReLU 和用戶可定制的算子,甚至可以計算二階梯度,從而進行更多底層和靈活的運算。
相比于開源的大部分深度學習框架,MegEngine 具有下列優勢:
運算速度快:MegEngine 動態、靜態結合的內存優化機制,因此速度比 TensorFlow 更快;
內存占用少:根據內存使用狀況,MegEngine 充分優化內存,特別是亞線性內存優化,可以支持復雜的網絡結構,自動利用部分冗余計算縮減內存占用,可達兩個數量級,從而支持更大規模的模型訓練;
支持多種硬件平臺和異構計算:MegEngine 支持通用 CPU、GPU、FPGA 以及其他移動設備端硬件,可多卡多機進行訓練;
訓練部署一體化:整個框架既可用于訓練又同時支持推理,實現模型一次訓練,多設備部署,避免復雜的轉換過程造成的性能下降和精度損失。
曠視在 2017 年拿下 3 項 COCO 冠軍,2018年拿下 4 項 COCO 冠軍,以及19年發布的全新的通用物體檢測數據集 Objects365。這些成績之下,Brain++貢獻了不小的功勞。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
11月7日立即參評>> 【評選】維科杯·OFweek 2025(第十屆)物聯網行業年度評選
-
11月20日立即報名>> 【免費下載】RISC-V芯片發展現狀與測試挑戰-白皮書
-
即日-11.25立即下載>>> 費斯托白皮書《柔性:汽車生產未來的關鍵》
-
11月27日立即報名>> 【工程師系列】汽車電子技術在線大會
-
11月28日立即下載>> 【白皮書】精準洞察 無線掌控——283FC智能自檢萬用表
-
12月18日立即報名>> 【線下會議】OFweek 2025(第十屆)物聯網產業大會


分享













