AI 安全新挑战!“弱到强越狱攻击” 如何轻松破解大型语言模型防线?

MLNLP社区发布了一篇关于大型语言模型安全性的论文《Weak-to-Strong Jailbreaking on Large Language Models》,提出了弱到强越狱攻击方法,该方法能在一次前向传递中大幅提高对齐LLMs生成有害文本的成功率,并揭示现有防护措施的不足。

辛顿上海演讲全文

MLNLP社区致力于推动国内外机器学习与自然语言处理领域的交流合作。作为知名社区,其愿景是促进学术界、产业界和爱好者之间的进步。近日WAIC大会上,Geoffrey Hinton发表了开幕演讲,讨论了数字智能与生物智能的关系,并分享了他早期模型如何结合两种理论的观点。该文章还提到了大模型的发展以及它们在语言理解方面的应用,强调了人类理解和AI系统之间的一些相似之处。最后讨论了全球合作对于解决AI安全问题的重要性。

实现 Agent 能力的泛化 ,是否一定需要对世界表征?

本周会员通讯涉及实现Agent能力泛化的必要性、AI助理离 Jarvis 还有多远及OpenAI前产品VP的心法等内容。主要讨论了是否需要对世界进行表征的问题,不同范式的效果和局限性,以及AI助理的前景和技术细节等议题。

ICML 2025 CoTo:让LoRA训练「渐入佳境」,模型融合、剪枝样样精通

本文介绍了一种名为 CoTo 的训练策略,通过在 LoRA 微调过程中随机失活一部分适配器并逐渐提高其激活概率,有效缓解了层级不平衡和「懒惰」优化问题。该策略提高了模型在多任务融合和剪枝等操作上的鲁棒性和有效性,并已被 ICML 2025 接收。