阿里安全大模型工程实践、NVIDIA NIM 推理微服务解析 | 研讨会直播预告

AIGC动态欢迎阅读

原标题：阿里安全大模型工程实践、NVIDIA NIM 推理微服务解析 | 研讨会直播预告
关键字：模型,阿里,技术,策略,企业
文章来源：算法邦
内容字数：3717字

内容摘要：

5月16日19点，智猩猩将举办「企业级大模型工程实践在线研讨会」。阿里巴巴 AI 基础架构工程师刘彬（花名：慧原）、NVIDIA软件解决方案架构师吴金钟两位技术专家将分别做题为《阿里安全大模型工程实践》、《NVIDIANIM推理微服务加速企业级生成式AI应用落地》的专题分享和线上答疑。演讲介绍演讲一：阿里安全大模型工程实践
演讲嘉宾：刘彬（花名：慧原），阿里巴巴 AI 基础架构工程师
演讲时间：5 月 16 日 19:00– 19:30
内容概要：
本演讲将深入探讨在阿里安全在大模型应用、特别是 Transformer 模型的工程实践和优化策略。演讲将从模型的结构分析、训练、部署、推理优化、量化技术到未来规划，向 AI 领域的工程师、研究人员和开发者，提供阿里安全团队在大模型技术应用的阶段性实践成果分享。在具体实践中，阿里安全采用 NVIDIA NeMo 框架和 TensorRT-LLM 显著优化了模型训练与推理性能。其中 NeMo 在多卡环境可实现 2-3 倍的训练加速，TensorRT-LLM 结合 SmoothQuant Int8 可实现领先的推理加速比，动态批处理策略(Dyna

原文链接：阿里安全大模型工程实践、NVIDIA NIM 推理微服务解析 | 研讨会直播预告

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：智猩猩矩阵账号之一，聚焦生成式AI，重点关注模型与应用。