深度学习还不如浅层网络？RL教父Sutton持续反向传播算法登Nature

AIGC动态欢迎阅读

原标题：深度学习还不如浅层网络？RL教父Sutton持续反向传播算法登Nature
关键字：网络,单元,算法,任务,图像
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部‍‍‍‍‍‍‍人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
最近，一篇发表在《nature》杂志上的研究论文《Loss of plasticity in deep continual learning》证明：标准的深度学习方法在持续学习环境中会逐渐失去可塑性（plasticity），直到它们的学习效果不比浅层网络好。论文地址：https://www.nature.com/articles/s41586-024-07711-7
值得注意的是，人工智能先驱、强化学习教父、DeepMind 杰出研究科学家，阿尔伯塔大学计算机科学教授 Richard S. Sutton 是这篇论文的作者之一。
简单来说，该研究使用经典的 ImageNet 数据集、神经网络和学习算法的各种变体来展示可塑性的丧失。只有通过不断向网络注入多样性的算法才能无限期地维持可塑性。基于这种思路，该研究还提出了「持续反向传播算法」，这是反向传播

原文链接：深度学习还不如浅层网络？RL教父Sutton持续反向传播算法登Nature

联系作者

文章来源：机器之心
作者微信：
作者简介：