大家好,我是每日给大家推荐优秀开源项目的小G!
还在为运动模糊、低光照下拍摄的视频画质发愁吗?😭 想要提升视频分辨率,却发现模糊细节丢失严重,传统方法效果不佳?别担心!今天小G给大家带来一个刚刚被人工智能顶会 AAAI 2025 接收的前沿开源项目——Ev-DeblurVSR!它巧妙地利用了一种叫做“事件相机”(Event Camera)的新型传感器,为解决模糊视频的超分辨率问题开辟了新思路!想知道它是怎么化“模糊”为“清晰”的吗?快跟我一起来看看吧!
Ev-DeblurVSR 是什么?
Ev-DeblurVSR,全称 Event-Enhanced Blurry Video Super-Resolution,是由来自中国科学技术大学(University of Science and Technology of China)的科研团队提出的创新性工作。
简单来说,这个项目旨在解决一个棘手的问题:如何对模糊的视频进行超分辨率处理?
传统方法在处理模糊视频时,往往因为丢失了运动和纹理细节而效果不佳。而Ev-DeblurVSR的亮点在于引入了事件相机的数据。
什么是事件相机? 🤔
它不像普通相机那样固定帧率捕捉图像,而是异步地记录像素亮度的变化,能够以微秒级的时间分辨率捕捉高速运动,且具有高动态范围,不易产生运动模糊。
Ev-DeblurVSR正是利用了事件数据高时间分辨率和对亮度变化敏感的特性,来辅助恢复模糊视频中丢失的细节,从而实现更高质量的超分辨率效果。
项目亮点与成果
- 顶会认证:
研究成果已被人工智能顶级会议 AAAI 2025 正式接收,含金量十足! - 效果惊艳:
项目主页和代码库中提供了多个视频 Demo,展示了在合成数据集(如 GoPro)和真实世界数据集(如 NCER)上 超分辨率的显著效果。无论是快速运动的场景还是光线不足的场景,处理后的视频清晰度和细节都有了质的飞跃。
如何上手?(开发者看这里)
如果你是研究者或开发者,想要亲自体验或基于此项目进行研究,可以按照以下步骤操作:
-
环境准备:
-
需要 Conda、CUDA Toolkit 11.1.1、Python 3.7、torch 1.10.2+cu111、torchvision 0.11.3+cu111 等依赖。 -
安装(推荐 Conda):
conda create -y -n ev-deblurvsr python=3.7
conda activate ev-deblurvsr
# 安装指定版本的 torch 和 torchvision (根据提供的 .whl 文件)
pip install torch-1.10.2+cu111-cp37-cp37m-linux_x86_64.whl
pip install torchvision-0.11.3+cu111-cp37-cp37m-linux_x86_64.whl
# 克隆仓库并安装其他依赖
git clone https://github.com/DachunKai/Ev-DeblurVSR
cd Ev-DeblurVSR && pip install -r requirements.txt && python setup.py develop
3. 安装(Docker 方式):
-
可以直接拉取官方提供的 Docker 镜像(基于之前的 EvTexture 项目构建):
docker pull registry.cn-hangzhou.aliyuncs.com/dachunkai/evtexture:latest
-
也可以使用项目提供的 Dockerfile
自行构建。 -
运行镜像后,激活环境并进行开发设置: source activate evtexture && cd EvTexture && python setup.py develop
-
4. 测试:
-
下载预训练模型(GitHub Releases 或百度云提供)并放到指定目录 ( experiments/pretrained_models/EvDeblurVSR/
)。 -
下载预处理好的测试数据集(百度云或 Google Drive 提供)并放到 datasets/
目录。 -
运行测试脚本,例如测试 GoPro 数据集:
./scripts/dist_test.sh [num_gpus] options/test/EvDeblurVSR/test_EvDeblurVSR_GoPro_x4.yml
-
结果会保存在 results/
目录下。官方也提供了预计算好的结果供下载对比。 -
还提供了测试模型参数量、运行时间和 FLOPs 的脚本。 5. 输入数据结构: -
项目需要视频帧和事件数据作为输入。 -
作者将每个视频及其对应的事件数据打包成了 HDF5 (.h5) 文件。文件内包含了图像帧 ( images
) 以及前向 (vFwd
)、后向 (vBwd
) 和帧内 (vExpo
) 的事件体素数据。
项目链接
- GitHub 项目地址:
https://github.com/DachunKai/Ev-DeblurVSR - 项目主页:
https://dachunkai.github.io/ev-deblurvsr.github.io/ - 论文链接 (arXiv):
https://www.google.com/search?q=https://arxiv.org/pdf/2504.13042
扫码加入技术交流群,备注「开发语言-城市-昵称」
(文:GitHubStore)