英偉達推出芯片設計專用大語言模型 ChipNeMo_風聞

英偉達公司近期宣佈發佈了一款自家研發的大語言模型，命名為 “ChipNeMo”，它包含了高達430億個參數。**這個大型語言模型的主要應用領域是輔助芯片設計。**英偉達希望通過ChipNeMo來提高其芯片設計團隊的工作效率。

英偉達首席科學家Bill Dally表示，他們的目標是使芯片設計師更加高效。即使通過ChipNeMo只能提高几個百分點的生產率，也是值得的。英偉達旗下的H100 Tensor Core GPU包含了數百億個晶體管，這個龐大的工程需要數年的時間才能完成。通過引入ChipNeMo這一大語言模型，英偉達希望提高所有工作流程的效率。

ChipNeMo的主要功能包括：

問答服務： ChipNeMo內置了一個聊天機器人，它可以回答有關GPU架構和設計的問題，幫助工程師在早期測試中快速找到技術文檔。

DEA腳本生成：用户只需用自然語言提出生成代碼的需求，ChipNeMo就可以生成帶有註釋的代碼片段。

Bug總結和分析：芯片設計人員可以向ChipNeMo描述問題，如Bug的ID、Synopsis、Module和Description等，然後ChipNeMo會生成技術總結和管理總結。

對於數據集，英偉達主要採用了Bug總結、設計源、文檔，以及硬件相關的代碼和自然語言文本，如維基百科和GitHub等。經過數據採集、清洗和過濾，形成了包含241億個token的數據集。

為了提高大語言模型在工程助理聊天機器人、EDA腳本生成和Bug摘要和分析等領域的性能，英偉達採用了領域自適應技術，包括自定義標記器、領域自適應持續預訓練、帶有領域特定指令的監督微調，以及領域自適應檢索模型。這些領域自適應技術不僅提高了性能，還使模型大小最多可減少5倍，同時保持相似或更好的性能。

儘管已經取得了一些進展，但作者也承認，仍然有改進的空間，未來的研究將有助於進一步縮小性能差距。

這一新型大語言模型的問世標誌着大語言模型在半導體設計領域的應用邁出了重要的一步，為芯片設計帶來了新的工具和方法，有望提高半導體設計的效率。英偉達的創新也將在這一領域中推動技術的不斷發展。

*免責聲明：以上內容整理自網絡，僅供交流學習之用。如有內容、版權問題，請留言與我們聯繫進行刪除。