ECCV 2024｜有效提高盲视频去闪烁效果，美图公司&国科大提出基于 STE 新方法 BlazeBVD

245 0 0

文章摘要

近年来，短视频生态的迅速崛起催生了众多创作编辑工具，其中美图公司推出的Wink手机视频编辑工具凭借其独特的视频画质修复能力脱颖而出，用户量在国内外持续增长。Wink的画质修复功能包括高清、超清、人像增强和分辨率提升等，这些功能的推出得益于美图影像研究院（MT Lab）在视频修复和增强技术方面的深入研究。

MT Lab与中国科学院大学联合提出了一种名为BlazeBVD的基于STE的盲视频去闪烁新方法，该方法旨在处理光照闪烁退化未知的低质量视频，同时尽可能保持原视频内容和色彩的完整性。BlazeBVD已被计算机视觉顶级会议ECCV 2024接收。视频闪烁问题通常由拍摄环境和设备限制引起，而图像处理技术的应用可能进一步加剧这一问题。BlazeBVD针对视频闪烁场景，通过直方图辅助解决方案，利用STE和直方图的提示来提高盲视频去闪烁的质量和速度。

BlazeBVD方法包括三个阶段：首先，通过STE对视频帧在光照空间下的直方图序列进行校正，提取闪烁先验；其次，利用滤波后的照明映射作为全局闪烁去除模块（GFRM）的提示条件，指导视频帧的颜色校正，同时局部闪烁去除模块（LFRM）基于光流信息恢复局部曝光图标记的区域；最后，引入轻量级的时序网络（TCM）来处理所有帧，提高视频一致性。实验结果表明，BlazeBVD在合成数据集和真实数据集上优于先前的工作，并且消融实验也验证了所设计模块的有效性。

MT Lab成立于2010年，是美图公司的核心研发团队，专注于计算机视觉、深度学习、计算机图形学和图像处理等领域。MT Lab在国际顶级赛事中屡获佳绩，并在人工智能国际顶会和顶刊上发表了50篇学术论文，为美图旗下全系软硬件产品及美图奇想大模型（MiracleVision）提供技术支持。同时，MT Lab还面向影像行业内多个垂直赛道提供针对性SaaS服务，覆盖影像、视频和设计等领域，用技术服务亿级用户。