AIGC动态欢迎阅读
原标题:PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
关键字:内核,矩阵,乘法,模型,性能
文章来源:新智元
内容字数:0字
内容摘要:
新智元报道编辑:乔杨 Frey
【新智元导读】用英伟达的GPU,但可以不用CUDA?PyTorch官宣,借助OpenAI开发的Triton语言编写内核来加速LLM推理,可以实现和CUDA类似甚至更佳的性能。试问,有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰?
又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与安装的PyTorch匹配!!!」而企图炸键盘?
无论是TensorFlow还是Pytorch,GPU和CUDA搭配的概念早已深入骨髓。
如果我说,就在昨天,有款为LLM「量身定做」的CUDA-free推理上新了!你激不激动?
原文地址:https://pytorch.org/blog/cuda-free-inference-for-llms/?hss_channel=tw-776585502606721024
那么,让我们紧跟Pytorch的官方技术博客,一探究竟!看看它是如何将「自由」变为现实!
GPU的好搭子CUDACUDA(Compute Unified Device Architecture)到底是何方神物?为何被视为GPU的好搭子,LLMs的「利器」
原文链接:PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
联系作者
文章来源:新智元
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...