ICLR 2024 | 连续学习不怕丢西瓜捡芝麻，神经形态方法保护旧知识

AIGC动态欢迎阅读

原标题：ICLR 2024 | 连续学习不怕丢西瓜捡芝麻，神经形态方法保护旧知识
关键字：神经元,突触,神经,横向,正交
文章来源：机器之心
内容字数：7093字

内容摘要：

机器之心报道
机器之心编辑部以脉冲神经网络（SNN）为代表的脑启发神经形态计算（neuromorphic computing）由于计算上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元，神经形态计算通过模拟并行的存内计算、基于脉冲信号的事件驱动计算等生物特性，能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。
然而，神经网络模型在持续学习新任务时通常存在对旧任务的灾难性遗忘的问题，这和人脑通过终生的连续学习（continual learning）来不断积累知识非常不同。如何能够通过神经形态的计算形式解决连续学习是一个对人工智能和神经科学都很重要的问题，也是构建具有持续学习能力的低功耗 SNN 神经形态计算系统的关键步骤。
此前的连续学习方法或者从已观察到的神经科学现象获得启发，提出如记忆重放、正则化等方法，但尚不清楚其他广泛存在的生物法则，如赫布学习（Hebbian Learning）、横向连接等，如何能够系统性地支持连续学习；或者关注纯粹的机器学习方法，例如在高维空间的正交投影以实现有保证的更好的知识保留 [2,3]，但需要复杂的通用计算，

原文链接：ICLR 2024 | 连续学习不怕丢西瓜捡芝麻，神经形态方法保护旧知识