3140参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了

AIGC动态欢迎阅读

原标题：3140参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了
关键字：腾讯,模型,参数,大小,量子
文章来源：量子位
内容字数：3445字

内容摘要：

明敏发自凹非寺量子位 | 公众号 QbitAI马斯克说到做到开源Grok-1，开源社区一片狂喜。
但基于Grok-1做改动or商用，都还有点难题：
Grok-1使用Rust+JAX构建，对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。
△图注：Grok登上GitHub热度榜世界第一Colossal-AI团队最新成果，解大家燃眉之急，提供方便易用的Python+PyTorch+HuggingFace Grok-1，能将推理时延加速近4倍！
现在，模型已在HuggingFace、ModelScope上发布。
HuggingFace下载链接：https://huggingface.co/hpcai-tech/grok-1
ModelScope下载链接：https://www.modelscope.cn/models/colossalai/grok-1-pytorch/summary
性能优化结合Colossal-AI在AI大模型系统优化领域的丰富积累，已迅速支持对Grok-1的张量并行。
在单台8H800 80GB服务器上，推理性能相比JAX、

原文链接：3140参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了