TensorRT-LLM保姆级教程（一）-快速入门

AIGC动态欢迎阅读

原标题：TensorRT-LLM保姆级教程（一）-快速入门
关键字：模型,权重,性能,参数,张量
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。因此，市面上也出现了很多的推理框架，用于降低模型推理延迟以及提升模型吞吐量。
本系列将针对TensorRT-LLM推理进行讲解。本文为该系列第一篇，将简要概述TensorRT-LLM的基本特性。
01TensorRT-LLM 诞生的背景第一、大模型参数量大，推理成本高。以10B参数规模的大模型为例，使用FP16数据类型进行部署至少需要20GB以上（模型权重+KV缓存等）。
第二、纯TensorRT使用较复杂，ONNX存在内存限制。深度学习模型通常使用各种框架（如PyTorch、TensorFlow、Keras等）进行训练和部署，而每个框架都有自己的模型表示和存储格式。因此，开发者通常使用 ONNX 解决深度学习模型在不同框架之间的互操作性问题。比如：TensorRT 就需要先将 PyTorch 模型转成 ONNX，然后再将 ONNX 转成 TensorRT。除此之外，一般还需要做数据对齐，因此需要编写 plugin，通过修改 ONNX 来适配 TensorRT

原文链接：TensorRT-LLM保姆级教程（一）-快速入门

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：