RapidUn: Influence-Driven Parameter Reweighting for Efficient Large Language Model Unlearning 文章核心总结与翻译一、主要内容该研究针对大型语言模型(LLMs)的机器学习遗忘问题,提出了一种名为RapidUn的高效遗忘框架。核心目标是在保留模型通用知识的前提下,选择性地消除特定训练数据(如敏感信息、恶意内容)的影响,以满足隐私法规(如“被遗忘权”)和安全部署需求。关键背景与挑战现有LLM遗忘方法存在缺陷:全量重训练计算成本极高,而梯度上升、Fisher矩阵校正等近似方法缺乏针对性,对遗忘样本处理均匀化,导致遗忘不彻底或损害模型正常性能,尤其在遗忘集小且不平衡时问题突出。核心挑战包括:监督信号稀疏且嘈杂、优化不稳定、需兼顾效率与可解释性。框架核心设计RapidUn采用基于影响力驱动的参数高效遗忘策略,分为三个阶段:快速影响力估计:通过RapidIn模块计算token级梯度交互,量化遗忘集与保留集样本间的四向影响力(遗忘→遗忘、遗忘→保留、保留→遗忘、保留→保留)。方向融合:将四向影响力聚合为可解释的样本级分数,区分有害模式与有用知识的贡献。自适应权重映射:将影响力分数转换为有界权重,指导LoRA适配器的梯度更新(遗忘集梯度上升、保留集梯度下降),实现精准遗忘与知识保留的平衡。实验结果在Llama-3-8