CVPR 2025|北大开源多模态驱动的定制化漫画生成框架DiffSensei,还有4.3万页漫画数据集
DiffSensei 是首个结合多模态大语言模型(MLLM)与扩散模型的定制化漫画生成框架,通过创新机制实现角色控制、布局精准及动态叙事。该框架支持从文本到漫画的高效转换,并发布首个专为漫画生成设计的数据集MangaZero,提升角色一致性、文本跟随能力和图像质量。
DiffSensei 是首个结合多模态大语言模型(MLLM)与扩散模型的定制化漫画生成框架,通过创新机制实现角色控制、布局精准及动态叙事。该框架支持从文本到漫画的高效转换,并发布首个专为漫画生成设计的数据集MangaZero,提升角色一致性、文本跟随能力和图像质量。
首个商业级扩散大型语言模型Mercury发布,每秒生成超过1000个token,性能和效率显著提升。相比现有自回归LLM,其速度提高了5到10倍,同时保持了高精度。
复旦团队发表综述论文《A Survey on Video Diffusion Models》,系统梳理扩散模型在视频生成、编辑及理解领域的进展,涵盖300+文献。
人大高瓴人工智能研究院与蚂蚁集团提出LLaDA模型,使用扩散模型替代自回归,挑战了大语言模型的固有限制,并在上下文学习、指令遵循和反转诗歌任务中超越GPT-4。
清华、中国人民大学与蚂蚁集团联合发布LLaDA模型,采用扩散方式打破自回归垄断,性能媲美Llama 3 8B。该模型颠覆大语言模型认知,采用掩码扩散模型训练范式,实现全局视角生成;在数学问题解答、多轮对话、代码生成等方面表现出色。相关资源包括论文和项目主页。