视觉Transformer中ReLU替代softmax，DeepMind新招让成本速降

AIGC动态欢迎阅读

原标题：视觉Transformer中ReLU替代softmax，DeepMind新招让成本速降

关键字：注意力,序列,长度,门控,模型

文章来源：机器之心

内容字数：3982字

内容摘要：机器之心报道编辑：PandaDeepmind 出新招，ReLU 尽展优势。Transformer 架构已经在现代机器学习领域得到了广泛的应用。注意力是 transformer 的一大核心组件，其中包含了一个 softmax，作用是产生 token 的一个概率分布。softmax 有较高的成本，因为其会执行指数计算和对序列长度求和，这会使得并行化难以执行。Google DeepMind 想到了一个新…

原文链接：点此阅读原文：视觉Transformer中ReLU替代softmax，DeepMind新招让成本速降

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台