太长不看版：最简单的 trick 刷最高的点，让多类异常检测性能首次逼近甚至超越单类模型水平！现已加入 Intel Open Edge 异常检测工具库 Anomalib。
论文标题：
Dinomaly: The Less Is More Philosophy in Multi-Class Unsupervised Anomaly Detection
作者单位：
清华大学，北京理工大学，上海交通大学
论文地址：
https://arxiv.org/abs/2405.14325
项目地址：
https://github.com/guojiajeremy/Dinomaly
Anomalib：
https://github.com/open-edge-platform/anomalib/issues/2782
解决了什么痛点（导读）
无监督异常检测（Unsupervised Anomaly Detection，UAD）任务仅仅利用正常样本建模，来检测任何偏离正常分布的异常样本。其在工业质检，医学影像，安防监控，自动驾驶等领域有着极其重要的应用。
想象一下，如果一个工厂要检测 30 种不同产品的缺陷：
传统方案：需要训练 30 个独立模型，好麻烦，存储成本巨大
现有多类别统一模型：性能大幅下降，技术原理却又很复杂，实用性受限
本文提出 Dinomaly：一个模型搞定所有类别，模型超简洁，性能还更强！
一些直觉
多类别异常检测（Multi-class UAD）的模型性能显著差于单类别异常检测（class-separate UAD），是由于多个类别组成的“正常”分布更加多样、更加难以建模。
在最常用的的基于重建方法中，这个问题之前被描述为恒等映射现象（identity mapping）。而我们认为：这都怪 Decoder 学得太好了，以至于重建能力 over-generalization 到了未见异常上。
本文方法：Less is More！
1. “What I cannot create, I do not understand”：基于 Foundation Model 的自重建框架
-
A side: create（重建）不出来，就不 understand（异常）；B side: backbone 需要有强大的表征能力
-
利用 DINOv2 等自监督预训练模型提取通用且具有判别性的特征表示，利用重建误差检测异常
2. “Dropout is all you need”：Dropout 噪声瓶颈
-
巧妙利用现有的 Dropout 机制，将 Dropout 视为一种特征层面的噪声异常，阻断 over generalization
-
无需复杂的噪声和伪异常生成，简单有效
3. “One man’s poison is another man’s meat”：注意力涣散的注意力
-
Linear Attention 被诟病难以 focus? 那我们故意使用“不聚焦”的 Linear Attention!
-
避免 Attention 学会简单的恒等映射
4. “The tighter you squeeze, the less you have”：松散的重建约束
-
打破 Encoder-Decoder 逐层、逐像素重建对应的严格约束
-
利用松散的 feature groups 和 hard mining，给 Decoder 更多自由度（Freedom!），避免学的太好，以至于过泛化。
性能表现惊艳
我们在包含工业质检图像，医学图像的 6 个数据集，69 个类别上验证了我们的模型，其中：
MVTec AD：多类 UAD SOTA（98.5%），单类 UAD SOTA（99.8%），Dinomaly-Large（99.8%）
VisA：多类 UAD SOTA（95.5%），单类 UAD SOTA（98.9%），Dinomaly-Large（98.9%）
Real-IAD：多类 UAD SOTA（86.4%），单类 UAD SOTA（89.4%），Dinomaly-Large（90.1%）
Real-IAD，MPDD，BTAD，Uni-Medical，都是 SOTA！首次让多类统一模型性能媲美甚至超越单类专用模型。
此外，Dinomaly 具有极强的 Scalability：backbone 模型尺寸越大效果越好，backbone 的 ImageNet linear-probing 越高越好，分辨率越大越好，适配多种预训练架构。
开源、易用、好扩展
方法简洁优雅，可扩展性强。自 2024 年 5 月开源以来 github 收获 100+⭐。
后续基于 Dinomaly 的工作也相继中稿 CVPR 2025（INP-Former），ICML 2025（CostFilter-AD）等，还有一波在路上，并在 AD 竞赛中取得佳绩（Robust-Dinomaly，VAND 2.0）。
此外，Dinomaly 已被集成进 Intel 异常检测开源工具库 Anomalib。欢迎大家魔改、引用！
（文：PaperWeekly）