腾讯大模型落地实操：模型推理引擎 TACO-LLM 的实践、腾讯乐享的 AI 功能探索

AIGC动态欢迎阅读

原标题：腾讯大模型落地实操：模型推理引擎 TACO-LLM 的实践、腾讯乐享的 AI 功能探索
关键字：腾讯,模型,序列,数据,场景
文章来源：Founder Park
内容字数：17469字

内容摘要：

大模型在今年的落地，除了对用 AI 对已有业务进行改造和提效外，算力和推理的优化，可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的体现。
推理成本是当下大模型落地面临的难题之一，整个 AI 行业都在探索如何高效利用计算资源，并行处理更多的推理请求。国内的云厂商也都在针对现有的推理构架做优化，甚至推出新的异构算力的解决方案。腾讯此前推出了大模型推理加速引擎 Taco-LLM，表现全面优于 vLLM 框架，吞吐性能相比前者及 TensorRT-LLM 提升 1-3 倍不等。
而腾讯乐享，作为腾讯内部孵化并使用了十余年的知识管理、学习培训和文化构建平台，开始利用 AI 对知识管理进行了深度改造，提效的同时也提高了知识的曝光、使用和迭代，AI 的加成甚至让企业知识管理这个赛道从小众成为了「热门」。
在 4 月 2 日的 Workshop 上，我们邀请到了腾讯大模型相关业务的人员，来分享大模型在腾讯业务上的探索与实践。本文整理自 Workshop 视频，略有增删。
分享嘉宾：
叶帆腾讯云异构 AI 研发副总监
沈林玲腾讯乐享产品资深架构师
李想腾讯云互联网行业架构副总监

原文链接：腾讯大模型落地实操：模型推理引擎 TACO-LLM 的实践、腾讯乐享的 AI 功能探索