因為AI對算力的龐大需求，市面上的高算力GPU一直是各方爭搶的香餑餑，而英偉達也因此賺得盆滿缽滿。不過現(xiàn)在英偉達又動起了別的心思。

自己作為GPU廠商，為什么不下場做大模型呢？近日，英偉達推出了自家的全新大模型——ChipNeMo，號稱擁有430億參數(shù)。

專為芯片設計而生的大模型

據(jù)英偉達官方表示，ChipNeMo專注于輔助芯片設計，旨在提高工程師的工作效率。這一大語言模型的應用范圍廣泛，包括問答、EDA腳本生成和Bug總結等任務，使芯片設計變得更加便捷。

圖源：站長之家

研究人員并沒有直接部署現(xiàn)成的商業(yè)或開源LLM，而是采用了以下領域適應技術：自定義分詞器、領域自適應持續(xù)預訓練（DAPT）、具有特定領域指令的監(jiān)督微調（SFT），以及適應領域的檢索模型。

結果表明，與通用基礎模型相比（如擁有700億個參數(shù)的Llama 2），這些領域適應技術能夠顯著提高LLM的性能。

英偉達首席科學家Bill Dally強調，即使提高生產(chǎn)率的幅度不大，使用ChipNeMo仍然是值得的。ChipNeMo的數(shù)據(jù)集包括Bug總結、設計源、文檔以及硬件相關的代碼和自然語言文本，經(jīng)過數(shù)據(jù)采集、清洗和過濾后，共有241億個token。

英偉達采用了領域自適應技術，包括自定義標記器、領域自適應持續(xù)預訓練、帶有領域特定指令的監(jiān)督微調等方法，以提升大語言模型在工程助理聊天機器人、EDA腳本生成和Bug摘要和分析等領域的性能。

結果顯示，這些領域自適應技術不僅提高了性能，還減小了模型大小，但仍有改進空間。英偉達的這一舉措標志著大語言模型在半導體設計領域的應用邁出了重要的一步，為專業(yè)化領域提供了有用的生成式AI模型。

針對大模型的幻覺問題，研究人員選擇了檢索增強生成（RAG）的方法。研究人員發(fā)現(xiàn)，在RAG中使用與領域相適應的語言模型可以顯著提高特定領域問題的答案質量。

此外，使用適量的特定領域訓練數(shù)據(jù)對現(xiàn)成的無監(jiān)督預訓練稠密檢索模型進行微調，可顯著提高檢索準確率。

用AI設計芯片，將是未來？

實際上，包括英偉達在內的諸多科技企業(yè)或研發(fā)機構很早就在嘗試利用AI來設計芯片。今年6月，紐約大學Tandon工程學院的研究人員就通過GPT－4造出了一個芯片。研究人員利用GPT－4僅用19輪對話，就造出了130nm芯片，并通過了Skywater 130nm穿梭機的流片測試。

圖源：機核

2022年4月，英偉達首席科學家Bill Dall公開了內部的重點研究與工作項目，提到其目標是利用人工智能來改進自己的產(chǎn)品，比如在其GPU產(chǎn)品設計工作中，大量采用人工智能輔助，來加速以及最佳化GPU芯片的設計，相關設計甚至涉及供電模擬設計、從電路到GPU規(guī)模的大型積體電路設計、架構網(wǎng)絡以及儲存系統(tǒng)管理等。

同時，英偉達依托人工智能芯片設計工具，可以根據(jù)標準的處理單元布局來自動產(chǎn)生芯片的設計圖，也可以用來檢驗人類員工設計出來的芯片布局中有無錯誤。據(jù)Bill Dally當時的說法，這套工具只需要在配備兩個GPU的平臺上，短短幾天的時間，就可以超過一組十人員工一年的工作份量。

今年3月，英偉達也推出了四款推理平臺。這些平臺針對各種快速興起的生成式AI應用進行優(yōu)化，能夠幫助開發(fā)人員快速構建用于提供新服務和洞察的 AI 驅動的專業(yè)應用。這些平臺可以將NVIDIA全棧推理軟件與最新的 NVIDIA Ada、Hopper 和 Grace Hopper 處理器相結合，針對AI視頻、圖像生成、大型語言模型部署、推薦系統(tǒng)推理等需求激增的工作負載進行優(yōu)化。

除了英偉達之外，微軟、谷歌、ARM、Cadence和Synopsys等公司和機構都在利用AI技術進行芯片設計，以提高芯片設計的效率和精度。

例如，谷歌利用AI技術設計出了專門針對圖像和視頻處理的張量處理單元（TPU）芯片，該芯片在谷歌云平臺上的TensorFlow框架中使用，為機器學習任務提供了高性能的計算支持。

此外，微軟研究院也利用AI技術設計出了一種基于Transformer模型的神經(jīng)芯片，該芯片可以并行處理多個計算任務，提高芯片的計算效率和能效。