告别视频模糊!AAAI 2025黑科技:中科大用“事件”点亮超分辨率视界


大家好,我是每日给大家推荐优秀开源项目的小G!

还在为运动模糊、低光照下拍摄的视频画质发愁吗?😭 想要提升视频分辨率,却发现模糊细节丢失严重,传统方法效果不佳?别担心!今天小G给大家带来一个刚刚被人工智能顶会 AAAI 2025 接收的前沿开源项目——Ev-DeblurVSR!它巧妙地利用了一种叫做“事件相机”(Event Camera)的新型传感器,为解决模糊视频的超分辨率问题开辟了新思路!想知道它是怎么化“模糊”为“清晰”的吗?快跟我一起来看看吧!



Ev-DeblurVSR 是什么?

Ev-DeblurVSR,全称 Event-Enhanced Blurry Video Super-Resolution,是由来自中国科学技术大学(University of Science and Technology of China)的科研团队提出的创新性工作。

简单来说,这个项目旨在解决一个棘手的问题:如何对模糊的视频进行超分辨率处理?

传统方法在处理模糊视频时,往往因为丢失了运动和纹理细节而效果不佳。而Ev-DeblurVSR的亮点在于引入了事件相机的数据

什么是事件相机? 🤔

它不像普通相机那样固定帧率捕捉图像,而是异步地记录像素亮度的变化,能够以微秒级的时间分辨率捕捉高速运动,且具有高动态范围,不易产生运动模糊。

Ev-DeblurVSR正是利用了事件数据高时间分辨率对亮度变化敏感的特性,来辅助恢复模糊视频中丢失的细节,从而实现更高质量的超分辨率效果。

项目亮点与成果

  • 顶会认证:
     研究成果已被人工智能顶级会议 AAAI 2025 正式接收,含金量十足!
  • 效果惊艳:
     项目主页和代码库中提供了多个视频 Demo,展示了在合成数据集(如 GoPro)和真实世界数据集(如 NCER)上  超分辨率的显著效果。无论是快速运动的场景还是光线不足的场景,处理后的视频清晰度和细节都有了质的飞跃。

如何上手?(开发者看这里)

如果你是研究者或开发者,想要亲自体验或基于此项目进行研究,可以按照以下步骤操作:

  1. 环境准备:

    • 需要 Conda、CUDA Toolkit 11.1.1、Python 3.7、torch 1.10.2+cu111、torchvision 0.11.3+cu111 等依赖。
  2. 安装(推荐 Conda):

conda create -y -n ev-deblurvsr python=3.7conda activate ev-deblurvsr# 安装指定版本的 torch 和 torchvision (根据提供的 .whl 文件)pip install torch-1.10.2+cu111-cp37-cp37m-linux_x86_64.whlpip install torchvision-0.11.3+cu111-cp37-cp37m-linux_x86_64.whl# 克隆仓库并安装其他依赖git clone https://github.com/DachunKai/Ev-DeblurVSRcd Ev-DeblurVSR && pip install -r requirements.txt && python setup.py develop

3. 安装(Docker 方式):

  • 可以直接拉取官方提供的 Docker 镜像(基于之前的 EvTexture 项目构建):
docker pull registry.cn-hangzhou.aliyuncs.com/dachunkai/evtexture:latest
  • 也可以使用项目提供的 Dockerfile 自行构建。
  • 运行镜像后,激活环境并进行开发设置:
    source activate evtexture && cd EvTexture && python setup.py develop


4. 测试:

  • 下载预训练模型(GitHub Releases 或百度云提供)并放到指定目录 (experiments/pretrained_models/EvDeblurVSR/)。
  • 下载预处理好的测试数据集(百度云或 Google Drive 提供)并放到 datasets/ 目录。
  • 运行测试脚本,例如测试 GoPro 数据集:
./scripts/dist_test.sh [num_gpus] options/test/EvDeblurVSR/test_EvDeblurVSR_GoPro_x4.yml
  • 结果会保存在 results/ 目录下。官方也提供了预计算好的结果供下载对比。
  • 还提供了测试模型参数量、运行时间和 FLOPs 的脚本。

    5. 输入数据结构:
    • 项目需要视频帧事件数据作为输入。
    • 作者将每个视频及其对应的事件数据打包成了 HDF5 (.h5) 文件。文件内包含了图像帧 (images) 以及前向 (vFwd)、后向 (vBwd) 和帧内 (vExpo) 的事件体素数据。

项目链接

  • GitHub 项目地址:https://github.com/DachunKai/Ev-DeblurVSR
  • 项目主页:https://dachunkai.github.io/ev-deblurvsr.github.io/
  • 论文链接 (arXiv):https://www.google.com/search?q=https://arxiv.org/pdf/2504.13042

扫码加入技术交流群,备注「开发语言-城市-昵称

(文:GitHubStore)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往