英伟达推出430亿参数大语言模型ChipNeMo:AI助力芯片设计新纪元

时间:2023-11-01 所属栏目:行业动态 浏览:105
英伟达新推出的大语言模型ChipNeMo,拥有430亿参数,旨在推动芯片设计领域,提升设计师的工作效率。ChipNeMo能够处理与芯片设计的问答、自动生成相关EDA脚本以及进行Bug的总结和分析。

英伟达推出的ChipNeMo大语言模型是一款针对芯片设计领域的创新工具。拥有430亿参数的ChipNeMo能够辅助设计师在多个方面提高效率和准确度,从而缩短产品开发周期,提高产品质量。以下是关于ChipNeMo应用和开发的详细介绍:

应用领域:

问答系统:ChipNeMo内置了一个聊天机器人,可以回答有关GPU架构和设计的问题。例如,在“为什么要添加重新计时阶段(retiming stage)?”这类问题时,它能够提供准确的解释并且,建议帮助设计师理解重新计时阶段的重要性,以及如何通过这种设计改进芯片的时序和性能。

问答系统

EDA描述脚本生成:设计师只需通过自然语言生成他们想要的需求的代码,ChipNeMo就能够自动生成对应的代码段。例如,设计师可以指示“在TOOL1中编写代码,输出给定(0) ,0,100,100)中触发单元的数量”,ChipNeMo会自动产生相应的代码。

Bug总结和分析:设计师可以向ChipNeMo描述bug的情况,包括bug的ID、概要、模块和描述等,ChipNeMo会自动根据这些信息生成技术总结和管理总结。

开发过程:

数据采集:英伟达在开发ChipNeMo时,主要采集了大量的Bug总结、设计源(设计源)、文档以及维基百科、GitHub等硬件相关的代码和自然语言文本。通过集中的数据采集过程,最终获得了241亿个token的数据集,为模型的训练提供了丰富的素材。

领域自适应技术:在算法和架构设计方面,英伟达没有直接使用现有的大语言模型,而是采用了领域自适应技术。这包括自定义标记器、领域自适应持续预训练、带领域自适应指令的指令监督(SFT),以及领域检索模型。这些技术有助于提高工程助理聊天机器人、EDA 脚本生成和 Bug 摘要和分析等三个应用中的性能。

性能优化:

通过应用领域自适应技术,ChipNeMo的性能超过了通用基础模型,同时模型的大小得以减少,最多可减少5倍,且保持了相似或更好的性能。

未来发展:

英伟达目前仍在对代码生成器进行开发,计划将其与现有工具集成,使工程师能够更方便地使用。这种集成设计师能够更地完成芯片设计任务,减少错误并提高生产力。

总的来说,通过ChipNeMo的应用,英伟达希望能够为芯片设计师提供强有力的支持,使他们能够在高度专业化的领域中,利用大语言模型的能力来提高工作效率和产品质量。

更多行业动态、技术前沿、AI数字人及AI教程等资讯,尽在智慧大脑!我们将持续为您提供最新资讯和深度见解,欢迎定期回访,以保持知识的更新。如果您有任何问题、建议或反馈,请随时与我们联系,再次感谢您一直以来的支持与关注!