Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC、传媒热点、传媒资讯、苏州钰尚传媒-商业品牌企业运营服务商

苏州钰尚传媒-商业品牌企业运营服务商-专业高端视频拍摄服务、商业品牌宣传片制作、企业产品广告片TVC微电影动画片视频、媒体宣传发布推广、品牌宣传软文发布、苏州广告标识牌设计制作，平面广告装饰、多媒体广告展厅文化墙装修全包、钰尚文化传媒——合作咨询联系微信：esay8168 ,联系：电话18888186853微信同号

合作咨询

QQ：

微信：esay8168

扫微信二维码

联系

电话18888186853微信同号

联
系
我
们

这里是文章模块栏目内容页

Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC

69852srtt

2024-08-24 22:37:35

站长之家(ChinaZ.com) 8月24日消息:Nvidia 和 Mistral AI 发布了一款新型的小型语言模型，据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B，是 NeMo 12B 的迷你版本，参数量从 120 亿缩减到了 80 亿。

英伟达

据 Nvidia 深度学习研究副总裁 Bryan Catanzaro 在博客文章中介绍，这款 80 亿参数的小型语言模型通过两种不同的 AI 优化方法实现了规模缩减。开发团队使用了结合剪枝和蒸馏的技术。「剪枝通过去除对准确性贡献最小的模型权重来缩小神经网络的规模。蒸馏过程中，团队在一个较小的数据集上重新训练了这个经过剪枝的模型，从而大幅提高了因剪枝导致的准确性下降。」

这些优化使得开发人员能够在「原始数据集的一小部分」上训练优化后的语言模型，从而在计算成本上节省高达 40 倍。通常情况下，AI 模型需要在模型规模和准确性之间进行权衡，但通过 Nvidia 和 Mistral AI 的新剪枝和蒸馏技术，语言模型可以同时兼顾这两者。

配备了这些增强功能的 Mistral-NeMo-Minitron 8B 据称在九项同类规模的语言驱动 AI 基准测试中表现出色。所节省的计算资源足以让笔记本电脑和工作站 PC 本地运行 Minitron 8B，使其比云服务更快且更安全。

Nvidia 围绕消费者级计算硬件设计了 Minitron 8B。该语言模型被封装为 Nvidia NIM 微服务，并针对低延迟进行了优化，以提高响应速度。Nvidia 通过其定制模型服务 AI Foundry，将 Minitron 8B 调整为能够在低配置设备（如智能手机）上运行。尽管性能和准确性可能略有下降，但 Nvidia 表示该模型仍然是高准确性的语言模型，并且只需极少的训练数据和计算资源。

剪枝和蒸馏技术似乎是人工智能性能优化的下一前沿。理论上，开发者可以将这些优化技术应用于所有现有的语言模型，从而显著提升整体性能，包括那些只能由 AI 加速服务器群组运行的大型语言模型。

（）

（来源：站长之家）

免责声明：本站文章部分内容为本站原创，另有部分容来源于第三方或整理自互联网，其中转载部分仅供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对其内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容，请及时联系我们进行处理。

有帮助

上一篇：苹果秋季新品发布会日期曝光 iPhone 16系列将于9月20日开始销售

下一篇：水平对置8缸发动机 8档DCT：长城灵魂摩托实车曝光

栏目索引