单节点8xA800跑起来HuggingFace DeepSeek V2踩坑

AIGC动态欢迎阅读

原标题：单节点8xA800跑起来HuggingFace DeepSeek V2踩坑
关键字：腾讯,报告,模型,节点,峰会
文章来源：算法邦
内容字数：4701字

内容摘要：

【2024腾讯云生成式AI产业应用峰会】定档5月17日，完整议程已公布，腾讯集团高级执行副总款、云与智慧产业事业群CEO汤道生等6位腾讯云高管、负责人聚焦大模型落地场景需求，将发布混元大模型最新进展，以及15+款重磅产品，欢迎报名预约直播。背景
尝试跑起来HuggingFace上release的DeepSeek V2，踩了几个坑，这里给出解决的方法。
HuggingFace提供的开源DeepSeek V2 repo链接为：https://huggingface.co/deepseek-ai/DeepSeek-V2
01报错1: KeyError: ‘sdpa’这个问题社区也有人反馈了。https://huggingface.co/deepseek-ai/DeepSeek-V2/discussions/3
在这里插入图片描述
解决方法很简单，在工程里面的config.json最后加一句”_attn_implementation”: “flash_attention_2″即可：
在这里插入图片描述
02报错2: 初始化阶段卡死已经给accelerate提了一个pr解决这个问题。https:

原文链接：单节点8xA800跑起来HuggingFace DeepSeek V2踩坑

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：智猩猩矩阵账号之一，聚焦生成式AI，重点关注模型与应用。