英伟达推出定制版大语言模型ChipNeMo！

在刚刚开幕的ICCAD 2023大会上，英伟达团队展示了用AI模型测试芯片，引发了业界关注。

众所周知，半导体设计是一项极具挑战性的工作。

在显微镜下，诸如英伟达H100这样的顶级芯片，看起来就像是一个精心规划的大都市，这其中的数百亿个晶体管则连接在比头发丝还要细一万倍的街道上。

为了建造这样一座数字巨城，需要多个工程团队长达两年时间的合作。

其中，一些小组负责确定芯片的整体架构，一些小组负责制作和放置各种超小型电路，还有一些小组负责进行测试。每项工作都需要专门的方法、软件程序和计算机语言。

ChipNeMo：英伟达版「芯片设计」大模型

最近，来自英伟达的研究团队开发了一种名为ChipNeMo的定制LLM，以公司内部数据为基础进行训练，用于生成和优化软件，并为人类设计师提供帮助。

研究人员并没有直接部署现成的商业或开源LLM，而是采用了以下领域适应技术：自定义分词器、领域自适应持续预训练（DAPT）、具有特定领域指令的监督微调（SFT），以及适应领域的检索模型。

结果表明，与通用基础模型相比（如拥有700亿个参数的Llama 2），这些领域适应技术能够显著提高LLM的性能——

不仅在一系列设计任务中实现了类似或更好的性能，而且还使模型的规模缩小了5倍之多（定制的ChipNeMo模型只有130亿个参数）。