灾难性遗忘与持续学习

人类是持续学习的。你可以在周一掌握一门新技能，而不抹去你周日学到的东西，并以稳定的细流在一生中累积知识。令人沮丧的是，神经网络默认并不这样运作。在一个新任务上训练它，它就有一种强烈的倾向去覆盖掉它先前所知——有时几乎全盘覆盖。这个现象有一个戏剧性而又准确的名字：灾难性遗忘。它是机器学习中最古老、最顽固的问题之一，并能解释许多关于模型为何被造成如今这般模样的事。

它所阻挡的那个梦想，是持续学习：一个随时间不断学习、吸收新任务和新知识而不丢失旧有的模型。我们尚未抵达那里，而理解为什么没有，对于这些系统如何运作着实富有启发。

遗忘看起来是什么样子

设想一个被训练得把任务 A 做得很好的网络。现在你在一个新任务 B 上训练这同一个网络，只给它看 B 的数据。它学会了 B——而它在 A 上的表现崩溃了，往往是急剧地崩溃。A 的知识没有被整整齐齐地搁到一边，而是被覆盖了。这个网络没有学会 A 和 B。它实际上变成了一个曾经是 A 网络的 B 网络。

"灾难性"这个词当之无愧。这种下滑不是温和优雅的；它可能是一道悬崖。一个曾在第一个任务上出色的模型，在学了第二个任务之后可能在它上面变得几乎无用，尽管没有什么主动去抹除第一项技能。遗忘是学习的一个副作用，而非一个单独的事件。

它为何发生

成因内建在神经网络存储知识的方式里，而看清它会让这种行为感觉是必然的，而非神秘的。

一个网络不会把每项技能归档进各自的抽屉。知识存储在网络的权重——它的连接强度——之中，而且是分布式且共享的：同一批权重同时参与许多任务。不存在一个干净的隔间装着"任务 A"、好让学习任务 B 时能不去触碰它。

训练调整权重，以减小它当前所见数据上的误差。当那份数据全是任务 B 时，优化乐呵呵地把权重朝 B 的误差所要的方向挪动，全然不知其中一些权重曾为任务 A 精心安放过。那些编码了 A 的权重恰恰被挪作 B 之用，因为从 B 狭窄的视角看，它们不过是些待调整的数字。寻常的训练对在它之前发生过什么毫无记忆、也毫无忠诚。当你只为当下做优化、而过去不在场时，遗忘就是你所得到的。

我们平时为何能躲开它

如果这个问题如此根本，那训练出来的模型为何还能正常工作？因为标准的配方悄悄绕开了它。模型通常是在一切同时上训练的，以打乱的批次，在整个训练过程中把所有任务、所有数据混在一起。当每个批次都包含模型应当掌握的一切的一份有代表性的混合时，优化就被不断地同时提醒着所有任务，并稳定到一组服务于它们全部的权重。

换句话说，应对灾难性遗忘惯常的答案，是从一开始就压根不去一前一后地学东西。把一切都搅在一起，在一次大的遍历里训练。这做法效果绝佳，也正是它成为默认的原因——但它也是一种变通，而非一个解法。它要求把所有数据一开始就一并备齐。一旦你想在训练之后添加新东西、又不想从头在一切上重新训练，问题就又汹汹地卷土重来。

它在实践中哪里咬人

灾难性遗忘不是一件博物馆藏品；它塑造着真实的决策。

• 微调漂移。 拿一个广泛胜任的模型，在一个狭窄任务上狠狠微调它，它就可能丢掉一些通用能力——在新事情上变好，同时在它过去会做的事情上悄悄变差。这是缩微版的遗忘，也是为什么重度专门化是有代价的。
• 更新一个已部署的模型。 你会很想通过在新材料上稍加训练，来教一个上线的模型学会新信息。但天真的增量训练有让其余一切退化的风险，这正是团队对就地更新权重保持谨慎的原因。
• 重新学习的代价。 因为安全的路径往往是在完整的混合上重新训练，添加知识可能意味着重做昂贵的训练，而非廉价地把新部分接上去。

实践上的结论是，"再拿新东西多训练它一点"很少像它听上去那么安全。

持续学习的几种途径

有一整片研究领域致力于让模型按顺序学习而不遗忘。这些策略归入几个直观的家族。

• 复演（Rehearsal）。 留住一些旧数据，把它混进新训练里，这样模型在学习当下的同时被提醒过去。这是最可靠的想法，并直接攻击"过去不在场"这一成因——但它要求存储并重访旧数据。
• 保护重要的权重。 辨识出哪些权重对旧任务最要紧，并劝阻训练去大幅改动它们，让其余权重为新任务自由地移动。目标是在网络安全之处更新它，在旧知识所居之处小心行事。
• 添加新容量。 与其覆盖共享的权重，不如给新任务一批它自己全新的参数，而让旧的那些原封不动。这绕开了干扰，但会让模型变大，并可能割裂本该共享的知识。

这些没有哪个完全解决了问题。每一个都拿某样东西去交换——存储、灵活性、大小或简洁——来换回一些记忆。没有干净的赢家浮现这一事实本身，就是这个问题扎得有多深的一个标志。

为什么这从根本上很难

在这些技术之下，坐着一个真实的张力，有时被表述为稳定性对可塑性。一个学习系统需要足够可塑以吸收新东西，又足够稳定以守住旧东西。朝可塑性推，你就遗忘。朝稳定性推，你就学不会任何新东西。每一种持续学习的方法，其实都只是在这条光谱上的一个特定折衷，而不存在让你同时拥有两者的免费午餐。生物的大脑似乎拿捏住了一种我们还不知如何在人工网络里复现的平衡——这也是这个问题至今悬而未决的部分原因。

总结

灾难性遗忘是神经网络在学习新东西时覆盖旧知识的倾向，它之所以发生，是因为知识住在共享、分布式的权重里，而寻常的训练会乐呵呵地把它们挪作他用，毫不记得它们过去编码了什么。这一领域大多通过在一切上同时训练、而非按顺序训练来规避它——一种一旦你想事后添加知识就会失灵的变通。持续学习是越过这一点的、悬而未决的求索，而每一种途径都是在"保持足够稳定以记住"与"保持足够可塑以学习"这一深层张力上的折衷。在那份张力被化解之前，"就教它那个新东西"仍是机器学习里最棘手的请求之一。