ICLR 2025 Spotlight 参数高效微调新范式!上海交大联合上海AI Lab推出参数冗余微调算法
本文提出参数冗余微调范式NoRM,在LoRA基础上通过SVD分解和Sim-Search方法去除冗余参数,显著提升指令微调、数学推理和代码生成任务性能。
本文提出参数冗余微调范式NoRM,在LoRA基础上通过SVD分解和Sim-Search方法去除冗余参数,显著提升指令微调、数学推理和代码生成任务性能。
MagicMotion提出了一种新的图像到视频生成框架,能够在指定的轨迹条件下精确控制物体运动。该方法构建了大规模的轨迹数据集,并引入了隐分割损失以提高对象形状感知能力。实验结果显示,MagicMotion在多种指标上优于现有方法,展示了卓越的性能。
第三届世界科学智能大赛启动报名,涵盖航空安全、材料设计等五大赛道,总奖金池达百万。聚焦AI for Science,吸引全球人才共同探索新课题。
复旦大学吴祖煊副教授团队提出StableAnimator框架,通过全局内容感知面部编码器、分布感知的身份适配器及基于HJB方程的面部优化,显著提高人像动画生成质量与一致性。
复旦大学博士生王鑫的研究成果《CoSER: Coordinating LLM-Based Persona Simulation of Established Roles》提出了一种新的框架来改进角色扮演AI。该研究利用真实数据集和先进的评估方法,包括来自771本知名文学作品的大量角色对话,以及详细的剧情摘要和背景信息。通过给定情境表演(Given-Circumstance Acting)的方法训练模型,并在多智能体模拟和基于惩罚的LLM评判中进行评估,取得了优异的表现。
西湖大学等团队提出StyleStudio,通过跨模态AdaIN技术、教师模型稳定布局及基于风格的无分类器引导,有效解决文本驱动风格迁移中的对齐问题、布局不稳定和模糊性等问题,提升生成图像质量和稳定性。
研究人员提出MHA2MLA方法,通过微调预训练模型减少KV缓存大小90%,保持甚至提升性能。该技术利用低秩联合压缩键值技术和分组查询注意力策略,降低推理成本的同时维持精度。
AIxiv专栏发布了一篇系统性技术综述论文《Safety at Scale: A Comprehensive Survey of Large Model Safety》,全面调研了大模型安全领域的390篇研究工作,涵盖6种主流大模型和10种攻击类型。该论文介绍了各类模型的攻击与防御方法,并归纳了常用的数据集和评估基准,总结了4个重要研究趋势及主要挑战,呼吁学术界与国际社会加强合作,共同应对大模型安全问题。