何恺明CVPR最新讲座PPT上线:走向端到端生成建模
何恺明在CVPR会议上分享了关于识别模型演进与生成模型未来方向的见解,他提出了一种名为MeanFlow的新方法用于实现单步生成任务,并介绍了多种研究方向和问题。
何恺明在CVPR会议上分享了关于识别模型演进与生成模型未来方向的见解,他提出了一种名为MeanFlow的新方法用于实现单步生成任务,并介绍了多种研究方向和问题。
研究者提出一种新的正则化方法Dispersive Loss,旨在改进扩散模型生成图片的效果。该方法不需要定义正样本对,通过鼓励中间表示的分散性来提高模型的泛化能力和生成质量。论文在ImageNet数据集上进行了测试,并展示了其有效性。
CMU博士生耿正阳等人提出的新模型MeanFlow无需预训练或课程学习,一步生成ImageNet图像便达到3.43的FID值,显著优于现有技术。
大神何恺明发布新作《Mean Flows for One-step Generative Modeling》,提出一种名为 MeanFlow 的单步生成建模框架,通过引入平均速度的概念,在 ImageNet 256×256 数据集上取得了显著优于以往单步扩散/流模型的结果,FID 分数达到3.43。
何恺明团队提出去噪哈密顿网络(DHN),将哈密顿力学融入神经网络,突破传统局部时间步限制,并引入独特去噪机制,在物理推理任务中表现卓越。
Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能,通过动态双曲正切函数(DyT)替代传统归一化层,有望进一步改进AI模型性能。
何恺明和LeCun团队提出替代Transformer归一化层的DyT方法,其性能达到或超过标准Transformer。通过几行PyTorch代码实现,适用于多种任务和模型架构。
何恺明团队提出一种结合哈密顿神经网络的去噪方法,旨在让AI更懂物理。该方法采用Block-wise哈密顿量和掩码建模策略来改进传统HNN,并通过实验展示了其在正向模拟、表征学习和轨迹插值任务中的优势。
MIT副教授何恺明的新研究揭示,尽管过去十多年里业界为构建更大、更多样化数据集做了努力,但现代神经网络似乎越来越善于‘识破’并利用这些数据集中潜藏的偏差。此发现引发对消除数据集偏差是否已取得胜利的质疑。