大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理

AIGC动态6个月前发布 算法邦
8 0 0

大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理

AIGC动态欢迎阅读

原标题:大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理
关键字:华为,模型,小说,权重,本金
文章来源:算法邦
内容字数:12685字

内容摘要:


直播预告 | 5月23日晚7点,「智猩猩机器人新青年讲座」第6讲正式开讲,论文一作、清华大学在读博士郭旭东将直播讲解《大模型在具身多智能体合作中的研究进展与展望》,欢迎扫码报名~随着 ChatGPT 的现象级走红,引领了AI大模型时代的变革,从而导致 AI 算力日益紧缺。与此同时,中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前对华为昇腾AI软硬件平台进行过相应的介绍,本文将讲述针对ChatGLM-6B大模型在昇腾910加速卡上面进行模型推理,具体代码放置在GitHub:https://github.com/liguodongiot/llm-action/tree/main/train/ascend/mindformers/chatglm。
01ChatGLM-6B 简介ChatGLM-6B 是一个由清华开源的中英双语对话大语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅


原文链接:大模型国产化适配2-基于昇腾910使用ChatGLM-6B进行模型推理

联系作者

文章来源:算法邦
作者微信:allplusai
作者简介:智猩猩矩阵账号之一,聚焦生成式AI,重点关注模型与应用。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...