百川13B-Chat-4bits 量化版本能使吗？实测：3090 能跑，效果差别不大！

AIGC动态欢迎阅读

原标题：百川13B-Chat-4bits 量化版本能使吗？实测：3090 能跑，效果差别不大！

关键字：模型,报告,千米,俱乐部,乒乓球

文章来源：机器之心

内容字数：37748字

内容摘要：机器之心 SOTA！模型社区专栏作者：Jiying专栏编辑：之乎、 雅芳、小土同学本专栏由机器之心SOTA！模型社区出品，每周日于机器之心公众号持续更新。7B、13B 的 Baichuan2 量化后效果差多少？有，但不多！大模型量化是一个活跃的研究领域，如何有效地部署这些模型到资源受限的设备上，如移动设备和嵌入式系统，已经成为了一个重要的研究课题。模型量化技术通过减少模型权重和激活的数值精度来减少…

原文链接：点此阅读原文：百川13B-Chat-4bits 量化版本能使吗？实测：3090 能跑，效果差别不大！

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台