二次元专用超分AI模型APISR：在线可用，入选CVPR

AIGC动态3个月前发布 almosthuman2014

372 0 0

文章摘要

机器之心最近报道了一项关于动漫超分辨率的研究，这项研究由密西根大学、耶鲁大学和浙江大学的联合团队完成，旨在通过人工智能技术提升老动漫的分辨率，以适应现代高清显示设备。

这项研究的成果已被CVPR 2024接收，并且相关代码和试用模型已经开源。

研究团队分析了动漫的制作过程，发现传统的视频模型和数据集可能并不适用于动漫超分辨率任务。因此，他们提出了一种基于图像的超分辨率和恢复框架，包括一个专门为动漫设计的数据集（API SR 数据集）和一些改进措施。

API SR 数据集的创建方法考虑了动漫视频的特点，如视频压缩过程中的关键帧（I 帧）选择和图像复杂度评估（ICA）。通过这种方法，研究团队从高质量动漫视频中收集了信息丰富的帧，形成了一个包含 3740 张高质量图像的数据集。此外，他们还发现将动漫图像的尺寸重新调整为原始的 720P 分辨率可以提供更紧凑的手绘线条和CGI信息。

研究团队还提出了一个实用的退化模型，用于恢复扭曲的手绘线条和各种压缩伪影。他们设计了面向预测的压缩模型和打乱大小调整模块的顺序，以更好地模拟真实世界的超分辨率任务中的退化过程。

为了增强动漫的手绘线条，研究团队采用了XDoG算法提取锐化的边缘图，并通过离群值过滤技术和定制设计的被动扩张方法，得到了更加连贯且未扰乱的手绘线条表征。

此外，为了解决超分辨率过程中可能出现的多余颜色伪影问题，研究团队使用了一个预训练的ResNet，并提出了一种平衡双感知损失，结合真实世界特征和基于ResNet的感知损失，以获得视觉效果更好的图像。

在实验中，研究团队使用了新提出的API数据集和一个微型版本的GRL网络进行训练，并将新模型与当前最佳方法进行了比较。结果显示，新模型在所有指标上的表现超过了其他所有方法，并且在视觉质量上也有显著提升。

总结来说，这项研究提出了一种新的动漫超分辨率方法，通过专门为动漫设计的数据集和改进措施，有效地提升了老动漫的分辨率和视觉质量，使其能够在现代高清显示设备上呈现更好的观看体验。这不仅为动漫爱好者重温童年回忆提供了可能，也为动漫产业的数字化转型开辟了新的道路。