「乘法变加法」!MIT清华校友全新方法优化Transformer:Addition is All You Need

「乘法变加法」!MIT清华校友全新方法优化Transformer:Addition is All You Need

AIGC动态欢迎阅读

原标题:「乘法变加法」!MIT清华校友全新方法优化Transformer:Addition is All You Need
关键字:乘法,尾数,模型,精度,张量
文章来源:新智元
内容字数:0字

内容摘要:


新智元报道编辑:乔杨 好困
【新智元导读】Transformer计算,竟然直接优化到乘法运算了。MIT两位华人学者近期发表的一篇论文提出:Addition is All You Need,让LLM的能耗最高降低95%。LLM能耗的疯狂增长,甚至已经引起了联合国的注意,成为了不容小觑的能源消耗者。
据统计,2023年初ChatGPT服务的平均用电量为每天564兆瓦时,相当于18000个美国家庭每天的总用电量。
谷歌的情况更加严峻。最坏的情况下,谷歌AI服务消耗的电力可能和一整个爱尔兰相当,约为每年29.3 TWh。
要在提升推理速度的同时降低大模型的能耗,减少神经网络所需的计算量才是关键。
而LLM等大规模神经网络,大部分计算量正是消耗在浮点级精度的矩阵乘法上。
从线性注意力机制到量化,大多数Transformer的优化都离不开对于乘法效率的大幅提高。要么减少运算操作次数,要么减少操作数的位数。
但如果从乘法运算这个更加底层的逻辑出发,两位华人研究者提出,可以用一个整数加法器以高精度近似进行浮点数乘法运算,即L-Mul乘法算法。
论文地址:https://arxiv.org/abs/2


原文链接:「乘法变加法」!MIT清华校友全新方法优化Transformer:Addition is All You Need

联系作者

文章来源:新智元
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...