H100推理飙升8倍！英伟达官宣开源TensorRT-LLM，支持10+模型

AIGC动态欢迎阅读

原标题：H100推理飙升8倍！英伟达官宣开源TensorRT-LLM，支持10+模型

关键字：模型,批处理,性能,语言,内核

文章来源：新智元

内容字数：6204字

内容摘要：新智元报道编辑：桃子 润【新智元导读】H100让模型推理性能最高跃升8倍！英伟达最新开源软件TensorRT-LLM，将彻底改变LLM推理现状。「GPU贫民」即将告别困境！刚刚，英伟达发布了一款开源软件TensorRT-LLM，能够加速H100上大型语言模型的推理。那么，具体能提升多少倍？在添加了TensorRT-LLM及其一系列优化功能后（包括In-Flight批处理），模型总吞吐量提升8倍。使…

原文链接：点此阅读原文：H100推理飙升8倍！英伟达官宣开源TensorRT-LLM，支持10+模型

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。