微软开源 SliceGPT:大模型体量压缩25%左右，性能保持不变、传媒热点、传媒资讯、苏州钰尚传媒-商业品牌企业运营服务商

苏州钰尚传媒-商业品牌企业运营服务商-专业高端视频拍摄服务、商业品牌宣传片制作、企业产品广告片TVC微电影动画片视频、媒体宣传发布推广、品牌宣传软文发布、苏州广告标识牌设计制作，平面广告装饰、多媒体广告展厅文化墙装修全包、钰尚文化传媒——合作咨询联系微信：esay8168 ,联系：电话18888186853微信同号

合作咨询

QQ：

微信：esay8168

扫微信二维码

联系

电话18888186853微信同号

联
系
我
们

这里是文章模块栏目内容页

微软开源 SliceGPT:大模型体量压缩25%左右，性能保持不变

user795653

2024-02-11 14:37:18

划重点:
⭐️ 可将大模型体量压缩25% 左右，性能保持不变。
⭐️ SliceGPT 利用计算不变性简化和压缩模型。
⭐️ 切片操作后的模型可以在消费级显卡上运行，无需额外代码优化。

站长之家（ChinaZ.com）2月11日消息:微软和苏黎世联邦理工学院的研究人员联合开源了 SliceGPT，该技术可以极限压缩大模型的权重矩阵，将模型体量压缩25% 左右，同时保持性能不变。实验数据显示，在保持零样本任务性能的情况下，SliceGPT 成功应用于多个大型模型，如 LLAMA-270B、OPT66B 和 Phi-2。

SliceGPT 的核心技术在于利用计算不变性来简化和压缩模型。通过对每个权重矩阵应用正交矩阵变换，SliceGPT 实现了对模型的极限压缩。此外，切片操作后的模型可以直接在消费级显卡上运行，如 N 卡的4090、4080，无需进行额外的代码优化，使得部署更加便捷。

在实验中，研究人员发现 SliceGPT 的切片技术非常简单高效，可以在几个小时内使用单个 GPU 完成模型压缩，无需复杂的细调过程。切片操作后的模型保持了高质量的生成任务性能，同时吞吐量得到提升，整体效果令人满意。

SliceGPT 的开源为压缩大模型提供了一种新颖且有效的途径，将大幅节省部署资源同时保持模型性能不变。这一技术的推出，有望为广大开发者和企业提供更加便捷、高效的大模型应用解决方案。

开源地址:https://github.com/microsoft/TransformerCompression

论文地址:https://arxiv.org/abs/2401.15024

（）

（来源：站长之家）

免责声明：本站文章部分内容为本站原创，另有部分容来源于第三方或整理自互联网，其中转载部分仅供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对其内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容，请及时联系我们进行处理。

有帮助

上一篇：美国全新提案不允许厂商配件加密：遭到苹果强烈反对

下一篇：除夕夜守护万家团圆，顺丰同城保障年夜饭外送品质到家

栏目索引