香港城市大学和南方科技大学

本文介绍了一种名为 CoTo 的训练策略，通过在 LoRA 微调过程中随机失活一部分适配器并逐渐提高其激活概率，有效缓解了层级不平衡和「懒惰」优化问题。该策略提高了模型在多任务融合和剪枝等操作上的鲁棒性和有效性，并已被 ICML 2025 接收。