「乘法变加法」！MIT清华校友全新方法优化Transformer：Addition is All You Need

AIGC动态欢迎阅读

原标题：「乘法变加法」！MIT清华校友全新方法优化Transformer：Addition is All You Need
关键字：乘法,尾数,模型,精度,张量
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨好困
【新智元导读】Transformer计算，竟然直接优化到乘法运算了。MIT两位华人学者近期发表的一篇论文提出：Addition is All You Need，让LLM的能耗最高降低95%。LLM能耗的疯狂增长，甚至已经引起了联合国的注意，成为了不容小觑的能源消耗者。
据统计，2023年初ChatGPT服务的平均用电量为每天564兆瓦时，相当于18000个美国家庭每天的总用电量。
谷歌的情况更加严峻。最坏的情况下，谷歌AI服务消耗的电力可能和一整个爱尔兰相当，约为每年29.3 TWh。
要在提升推理速度的同时降低大模型的能耗，减少神经网络所需的计算量才是关键。
而LLM等大规模神经网络，大部分计算量正是消耗在浮点级精度的矩阵乘法上。
从线性注意力机制到量化，大多数Transformer的优化都离不开对于乘法效率的大幅提高。要么减少运算操作次数，要么减少操作数的位数。
但如果从乘法运算这个更加底层的逻辑出发，两位华人研究者提出，可以用一个整数加法器以高精度近似进行浮点数乘法运算，即L-Mul乘法算法。
论文地址：https://arxiv.org/abs/2

原文链接：「乘法变加法」！MIT清华校友全新方法优化Transformer：Addition is All You Need