LLM实践系列-昇腾910B上进行Qwen2.5推理

AIGC动态欢迎阅读

原标题：LLM实践系列-昇腾910B上进行Qwen2.5推理
关键字：华为,模型,腾讯,侵权,性能
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

开讲预告11月7日晚7点，上海 AI Lab OpenGVLab 博士后研究员罗根，将以《Mono-InternVL: 突破原生多模态大模型性能瓶颈》为主题进行直播讲解，欢迎扫名~文章转载自公众号：NLP工作站，本文只做学术/技术分享，如有侵权，联系删文。
现在做toB项目，被问的最多的就是支不支持国产化。现在一般用的最多的也是华为昇腾系列显卡。
今天给大家带来一篇利用GPUStack框架在昇腾910B上进行Qwen2.5推理部署的实战。
01配置昇腾环境确认昇腾 NPU 驱动已安装：npu-smiinfo
根据架构下载对应的 CANN Toolkit 包（开发套件）和对应芯片的 Kernel 包（CANN 算子 https://www.hiascend.com/zh/software/cann/community-history）：
wgethttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-toolkit_8.0.RC3.

原文链接：LLM实践系列-昇腾910B上进行Qwen2.5推理