突破无规则稀疏计算边界，编译框架CROSS数倍提升模型性能

AIGC动态欢迎阅读

原标题：突破无规则稀疏计算边界，编译框架CROSS数倍提升模型性能
关键字：矩阵,负载,模型,开销,区域
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本篇工作已被 HPCA 2025 接收，由上海交大先进计算机体系结构实验室蒋力教授课题组（IMPACT）完成，同时也获得了上海期智研究院的支持。第一作者是刘方鑫老师与博士生黄世远。
在现代 AI 模型的快速迭代中，如何在保持模型精度的同时提升计算效率成为关键课题。尤其在大规模 AI 推理中，非结构化稀疏矩阵的计算效率低下成为难以突破的瓶颈。面对这一挑战，我们自主研发了 CROSS—— 一种创新的端到端稀疏编译优化方案，为 AI 推理带来细粒度稀疏计算的加速效果。稀疏计算的挑战：如何处理非均匀稀疏分布
非结构化细粒度稀疏场景下模型推理效率低下问题是 AI 编译社区面对的关键问题之一。相比于密集算子加速库（cuBlas），主要的稀疏算子加速库或编译框架需要在较高稀

原文链接：突破无规则稀疏计算边界，编译框架CROSS数倍提升模型性能

联系作者

文章来源：机器之心
作者微信：
作者简介：