ICML 2025 CoTo:让LoRA训练「渐入佳境」,模型融合、剪枝样样精通
本文介绍了一种名为 CoTo 的训练策略,通过在 LoRA 微调过程中随机失活一部分适配器并逐渐提高其激活概率,有效缓解了层级不平衡和「懒惰」优化问题。该策略提高了模型在多任务融合和剪枝等操作上的鲁棒性和有效性,并已被 ICML 2025 接收。
本文介绍了一种名为 CoTo 的训练策略,通过在 LoRA 微调过程中随机失活一部分适配器并逐渐提高其激活概率,有效缓解了层级不平衡和「懒惰」优化问题。该策略提高了模型在多任务融合和剪枝等操作上的鲁棒性和有效性,并已被 ICML 2025 接收。
由Transformer作者之一创立的SakanaAI公司近期推出Text-to-LoRA(T2L),简化了模型适配流程,一句话就能生成LoRA。该方法通过动态调制大模型实现高效参数压缩,同时在零样本场景下表现突出。
南加州大学团队利用LoRA+强化学习在AIME 24数学基准测试上实现超过20%的性能提升,成本仅为9美元。研究发现LoRA模型中减少计算反而能带来更好的性能。
《闪亮的日子》AI特辑通过抖音与大千影业联合出品,展示了多位嘉宾对应的AI数字人形象在平行时空中的不同生活。AI技术使制作过程更加高效,并带来新的内容消费体验。即梦AI数字人功能让真人观察AI数字人的形式成为可能。