商汤科技研究副总监龚睿昊：大语言模型量化和 LightLLM 高性能推理部署系统设计

AIGC动态欢迎阅读

原标题：商汤科技研究副总监龚睿昊：大语言模型量化和 LightLLM 高性能推理部署系统设计

关键字：模型,商汤,用户,系统,高效

文章来源：智东西

内容字数：1903字

内容摘要：12月5日上午10点，智猩猩AI教研组推出「大模型微调与推理部署线上闭门会」。闭门会由北京航空航天大学人工智能研究院助理教授郭晋阳参与出品。Monash University 长聘助理教授庄博涵、麻省理工学院在读博士朱力耕和商汤科技研究副总监龚睿昊将参与主讲。其中，龚睿昊博士将围绕主题《大语言模型量化和 LightLLM 高性能推理部署系统设计》进行直播讲解。大语言模型动辄上千亿的参数量对于各种平台的高效、低成本部署带来了更大挑战。模型量化和高效的推理系统设计成为提高 LLM 推理效率的关键。本次闭门会，龚睿昊将分享 Outlier Suppression 大语言模型量化系列方法和基于 LightLLM 的高性能推理部署系统 ，全面介绍实现极致性能和吞吐的算法与系统设计。龚睿昊是商汤科技研究副总监、模型工具链团队负责人，主要负责工业级模型工具链，包括大规模模型训练、多平台部署、模型压缩和软…

原文链接：点此阅读原文：商汤科技研究副总监龚睿昊：大语言模型量化和 LightLLM 高性能推理部署系统设计

联系作者

文章来源：智东西

作者微信：zhidxcom

作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。