深度网络数据编码新突破，上交大SPARK登上计算机体系结构顶会

AIGC动态欢迎阅读

原标题：深度网络数据编码新突破，上交大SPARK登上计算机体系结构顶会
关键字：精度,模型,数据,方案,硬件
文章来源：机器之心
内容字数：9417字

内容摘要：

机器之心专栏
机器之心编辑部随着深度神经网络（DNNs）模型在规模和复杂性上的迅速增长，传统的神经网络处理方法面临着严峻的挑战。现有的神经网络压缩技术在处理参数规模大、精度要求高的神经网络模型时效率低下，无法满足现有应用的需求。
数值量化是神经网络模型压缩的一种有效手段。在模型推理过程中，低位宽（比特）数据的存取和计算可以大幅度节省存储空间、访存带宽与计算负载，从而降低推理延迟和能耗。当前，大多数量化技术的位宽在 8bit。更为激进的量化算法，必须要修改硬件的操作粒度与数据流特征，才能在真实推理时获得接近理论的收益。比如混合精度量化，激活数据的量化等方案。一方面，这些方案会显式增加 book-keeping 存储开销和硬件逻辑，使得实际收益下降 [1,2,3]。另一方面，一些方案利用分布特征对量化范围和粒度做约束，来减小上述硬件开销 [4,5]。但其精度损失也受到不同模型和参数分布的影响，无法满足现有应用的需求。
为此，本文的研究者提出了 SPARK 技术，一种可扩展细粒度混合精度编码的软硬件协同设计。其核心优势如下：
固有比特冗余：SPARK 不对模型进行压缩，而是剔除数据表示中固有

原文链接：深度网络数据编码新突破，上交大SPARK登上计算机体系结构顶会