从小白到高手：我的VLLM迁移SGLang之旅与收获揭秘

vllm 迁移到 SGLang 的工作体验~

原标题：小白视角：vllm 迁移到 SGLang 的体验与收获
文章来源：智猩猩GenAI
内容字数：11179字

2024中国生成式AI大会（上海站）预告

根据大会预告，2024中国生成式AI大会（上海站）将于12月5日至6日举行。此次大会由智猩猩共同主办，届时将汇聚众多行业专家和学者，共同探讨生成式AI的最新发展与应用。北大（临港）大模型对齐中心执行主任徐骅，腾讯优图实验室天衍研究中心负责人吴贤，以及其他30多位嘉宾已确认参会并进行演讲。欢迎感兴趣的朋友报名参加。

新技术迁移体验

在本周，我完成了将vllm迁移到SGLang的工作。这一过程相对简单，主要是将原有的vllm服务指令替换为SGLang的指令。在这个过程中，我学习到了许多现代的服务特性，尽管我仍是小白，希望能在评论区得到大家的指正。

为何选择SGLang

SGLang在吞吐能力上表现优于vllm，并且支持更多前端功能，如生成结构化生成语言（Structured Generation Language）。最近我在进行一些Agent项目时，发现这个特性潜力巨大。

迁移过程中的指令对比

原本的vllm指令相对简单，而迁移到SGLang后，参数大致相近，部分参数有所不同。例如，SGLang中新增的enable-p2p-check参数用于测试GPU间的直接通讯，而chunked-prefill-size则允许更灵活的长序列输入处理。

性能监测与调优

在SGLang的服务日志中，观察到了一些重要的性能指标，包括缓存命中率和请求队列状态。高的缓存命中率有助于提升整体效率，而请求队列的状态则能反映系统的负载能力。

加速效果显著

通过将vllm替换为SGLang，我的处理效率提升了近10倍。这一结果虽然是基于个人的经验，但显著反映了新框架在推理效率上的优势。

总结

总的来说，2024中国生成式AI大会和SGLang的迁移工作都展示了生成式AI领域的快速发展与技术进步。希望未来能有更多的交流与合作，推动整个行业的前进。

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：智猩猩旗下矩阵账号之一，聚焦大模型开启的通用人工智能浪潮。