ICLR 2024 | 连续学习不怕丢西瓜捡芝麻，神经形态方法保护旧知识

AIGC动态6个月前发布 almosthuman2014

563 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

近年来，脉冲神经网络（SNN）和脑启发的神经形态计算因其低功耗特性而受到关注。神经形态计算模拟生物神经元的特性，如存内计算和事件驱动计算，以实现高效的神经网络计算。然而，SNN在持续学习新任务时常常遗忘旧任务，这与人类大脑的持续学习能力形成鲜明对比。为了解决这一问题，北京大学林宙辰教授团队提出了一种基于赫布学习的正交投影连续学习方法（HLOP），该方法通过神经网络的横向连接和赫布与反赫布学习实现连续学习中对旧知识的保护。

HLOP方法通过神经形态的赫布学习和横向神经回路实现正交投影，提取当前任务的神经活动主子空间，并通过循环横向连接实现对活动迹的修改。赫布学习被用于提取主子空间，通过循环连接和两阶段赫布学习更新权重。HLOP方法可以与各种基于突触前神经元活动迹的SNN训练算法灵活结合，如基于脉冲编码表示的方法、随时间反向传播与替代梯度方法、随时间在线训练方法等。

实验结果表明，HLOP方法在多种连续学习实验设定下有效解决了灾难性遗忘问题，提高了任务的平均正确率和旧任务的平均遗忘率。与其他代表性的连续学习方法相比，HLOP在各数据集上均取得了更好的结果，且对神经形态硬件更友好。这表明HLOP方法为构建高性能的连续学习神经形态计算系统提供了潜力。

总之，HLOP作为一种神经形态计算形式的连续学习方法，展示了横向连接和赫布学习在提取神经活动主子空间和修改突触前神经元活动迹方面的有效性。这为构建芯片上连续学习的低功耗SNN神经形态计算系统奠定了基础。