解决渐进式学习中的灾难性遗忘问题——一项综述

摘要

类增量学习（Class-Incremental Learning，简称CIL）使模型能够在不遗忘先前获得知识的情况下随时间学习新类别——这一过程常常受到“灾难性遗忘”（Catastrophic Forgetting，简称CF）的阻碍。本文全面而系统地概述了CIL的研究领域，首先详细探讨了其核心变体：任务增量学习、领域增量学习和类增量学习，并阐释了CIL如何在增量学习的更大框架中发挥作用，明确了这些变体之间的相互关系及其共同面临的挑战。这种视角为理解不同形式的增量学习与持续学习目标之间的联系提供了统一的概念基础。接下来，本文深入分析了CF现象，包括其正式定义、潜在机制和评估方法。本文的一个核心贡献是提出了一个完善的CIL方法分类体系，涵盖了基于重放（replay-based）、基于正则化（regularization-based）、参数隔离（parameter-isolation）、混合（hybrid）以及基于大型语言模型（Large Language Model，LLM）的方法。每个类别都从方法变体、应用场景、权衡因素以及新兴趋势等方面进行了分析。定量和定性的比较揭示了这些方法在可扩展性、可解释性以及适应不同领域能力方面的差异。我们还指出了现有的挑战，包括对最新类别的偏好、记忆和计算资源的限制，以及在持续适应过程中需要更强的理论一致性。展望未来，我们提出了若干具体的研究方向，例如改进自监督和生成式重放机制、基于注意力的变换器（attention-based transformers）以及神经符号一体化（neuro-symbolic integrations）等。这些方向为重新思考和提升类增量学习中的表征稳定性、效率及泛化能力提供了富有前景的长期路径。