大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理

AIGC动态欢迎阅读

原标题：大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理
关键字：华为,模型,小说,权重,本金
文章来源：算法邦
内容字数：12685字

内容摘要：

直播预告 | 5月23日晚7点，「智猩猩机器人新青年讲座」第6讲正式开讲，论文一作、清华大学在读博士郭旭东将直播讲解《大模型在具身多智能体合作中的研究进展与展望》，欢迎扫名~随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前对华为昇腾AI软硬件平台进行过相应的介绍，本文将讲述针对ChatGLM-6B大模型在昇腾910加速卡上面进行模型推理，具体代码放置在GitHub：https://github.com/liguodongiot/llm-action/tree/main/train/ascend/mindformers/chatglm。
01ChatGLM-6B 简介ChatGLM-6B 是一个由清华开源的中英双语对话大语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅

原文链接：大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理