3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了

AIGC动态8个月前发布 量子位
9 0 0

3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了

AIGC动态欢迎阅读

原标题:3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了
关键字:腾讯,模型,参数,大小,量子
文章来源:量子位
内容字数:3445字

内容摘要:


明敏 发自 凹非寺量子位 | 公众号 QbitAI马斯克说到做到开源Grok-1,开源社区一片狂喜。
但基于Grok-1做改动or商用,都还有点难题:
Grok-1使用Rust+JAX构建,对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。
△图注:Grok登上GitHub热度榜世界第一Colossal-AI团队最新成果,解大家燃眉之急,提供方便易用的Python+PyTorch+HuggingFace Grok-1,能将推理时延加速近4倍!
现在,模型已在HuggingFace、ModelScope上发布。
HuggingFace下载链接:https://huggingface.co/hpcai-tech/grok-1
ModelScope下载链接:https://www.modelscope.cn/models/colossalai/grok-1-pytorch/summary
性能优化结合Colossal-AI在AI大模型系统优化领域的丰富积累,已迅速支持对Grok-1的张量并行。
在单台8H800 80GB服务器上,推理性能相比JAX、


原文链接:3140参数Grok-1推理加速3.8倍,PyTorch+HuggingFace版来了

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...