Llama提速500%！谷歌美女程序员手搓矩阵乘法内核

AIGC动态欢迎阅读

原标题：Llama提速500%！谷歌美女程序员手搓矩阵乘法内核
关键字：报告,内核,英特尔,速度,性能
文章来源：新智元
内容字数：6185字

内容摘要：

新智元报道编辑：alan
【新智元导读】近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码，通过手搓84个新的矩阵乘法内核，将Llama的推理速度提高了500%！谷歌的美女程序员，将Llama的推理速度提高了500%！
近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码，
她重写了84个新的矩阵乘法内核，使得Llamafile可以更快地读取提示和图像。
与llama.cpp相比，新的Llamafile在CPU上的推理速度提升了30%到500%。
其中，ARMv8.2+（如RPI 5）、Intel（如Alderlake）和AVX512（如Zen 4）计算机的改进最为显著。
另外，对于适合L2缓存的矩阵，新的内核比MKL快2倍！
Justine Tunney表示：负责MKL的大家，你们有事做了！
毕竟，由微软，英特尔，TI，AMD，HPE，Oracle，Huawei，Facebook，ARM和National Science Foundation资助的BLIS，作为最强大的开源BLAS，输了就太没面子了！
Any t

原文链接：Llama提速500%！谷歌美女程序员手搓矩阵乘法内核

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。