基于华为昇腾推理引擎MindIE部署Qwen-72B实战

AIGC动态欢迎阅读

原标题：基于华为昇腾推理引擎MindIE部署Qwen-72B实战
关键字：华为,模型,参数,权重,建议
文章来源：算法邦
内容字数：0字

内容摘要：

在华为昇腾LLM落地可选解决方案中，我们曾介绍过MindIE，并且前段时间MindIE 1.0.RC1已经发布，本文主要将对其进行实战演练。
01MindIE 简介MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。主要包括模型推理引擎 MindIE 和模型服务化 MindIE-Service。image.png
从算子、模型、应用三大维度，全面加速推理部署。image.png
模型推理引擎：MindIE
MindIE 作为一个模型推理引擎，提供了针对大语言模型和SD模型特定的优化。
image.png
模型服务化：MindIE-Service
MindIE-Service 作为一个模型服务化框架，主要包含如下几个部分：
MindIE-MS：服务策略管理，提供运维监控能力。
MindIE-Server：推理服务端，提供模

原文链接：基于华为昇腾推理引擎MindIE部署Qwen-72B实战