陈天奇MLC-LLM重磅升级：基于机器学习编译的通用LLM部署引擎

AIGC动态欢迎阅读

原标题：陈天奇MLC-LLM重磅升级：基于机器学习编译的通用LLM部署引擎
关键字：龙舟,模型,篮球,模式,引擎
文章来源：智猩猩AGI
内容字数：0字

内容摘要：

7月25日上午10点，中国科学技术大学与微软亚洲研究院联合培养博士生张博文将在智猩猩直播讲解微软亚洲研究院开源成果GaussianCube，主题为《结构化3DGS为高质量3D生成带来新思路》。欢迎扫码报名~01简介当下正是大型语言模型和生成式AI时代，蓬勃发展的大型语言模型带来了定制和特定领域模型部署的重大机(风)遇(口)。一方面，云服务器部署发展迅速，提供能够利用多个GPU为更大模型、更多并发服务请求的解决方案。与此同时，本地化的端侧部署开始崭露头角，量化后的模型已能部署到笔记本电脑、浏览器和手机等端侧设备上。相信未来是端云混合的部署方式，因此让任何人都能在云端和本地环境中运行大型语言模型至关重要。
包括MLC-LLM项目在内的许多LLM推理项目，为服务器和本地模型部署提供了不同的解决方案，具有不同的实现和优化。例如，服务器解决方案通常支持连续批处理和更好的多GPU支持，而本地部署的解决方案则具有更好的跨平台移植性。然而，如何将所有技术集合在一起非常有必要。出现在一种用例中的许多技术如何直接适用于另一种用例。虽然类似连续批处理这样的技术目前在某些本地用例中可能不太实用，但一旦LLM成

原文链接：陈天奇MLC-LLM重磅升级：基于机器学习编译的通用LLM部署引擎

联系作者

文章来源：智猩猩AGI
作者微信：
作者简介：