图像修复+高清

AI还原的朱元璋、兵马俑来了!杜甫激燃演唱奥特曼主题曲,B站Up主大谷新作

Denis 在这一视频中所使用的修复技术有五种,分别是 Face-Image-Motion-Model、StyleGAN2-Face-Modificator、DAIN、ESRGAN 和 Artbreeder。

Face-Image-Motion-Model

项目地址:https://github.com/tg-bomze/Face-Image-Motion-Model

该模型基于「First Order Motion」这一核心模型,方法来源于 NeurIPS 2019 论文《First Order Motion Model for Image Animation》。机器之心此前介绍过的视频会议换脸软件「Avatarify」,也是基于这一技术实现人脸处理的。

论文链接:https://papers.nips.cc/paper/8935-first-order-motion-model-for-image-animation.pdf

「First Order Motion」框架由两个主要模块组成:「运动估计模块」和「图像生成模块」。运动估计模块的目的在于预测密集的运动场,此处假设存在一个抽象的参考坐标,并预估存在「from reference to source」和「from reference to driving」两种转换。因此可以独立处理源帧和驱动帧。做这样的处理是因为模型在测试时会接收从不同视频中采样的源图像帧和驱动帧的组,从视觉上来说可能会很不同。

StyleGAN2-Face-Modificator

项目地址:https://github.com/tg-bomze/StyleGAN2-Face-Modificator

StyleGAN2 是英伟达在 2019 年 12 月开源的高分辨率图像生成方法,相比于前辈「StyleGAN」,它在解决生成图像伪影问题的同时,还能得到细节更好的高质量图像。「StyleGAN2-Face-Modificator」则是基于这一技术开发的人脸编辑器工具。

img

DAIN CVPR2019

项目地址:https://github.com/baowenbo/DAIN

DAIN 模型来源于 CVPR 2019 论文《Depth-Aware Video Frame Interpolation》,在这一研究中,上海交通大学、加州大学默塞德分校、谷歌等机构的研究者,针对基于深度学习的视频插帧任务中的常见问题进行了优化,提出了一种利用深度信息检测遮挡的视频帧插值方法。Denis 在多个修复视频中都使用了这一技术

论文地址:https://arxiv.org/pdf/1904.00830.pdf

img

ESRGAN-ECCV2018

项目地址:https://github.com/xinntao/ESRGAN

Denis Shiryaev 视频中所用到的分辨率扩增方法为「ESRGAN」,该方法来源于 ECCV 2018 Workshop 论文《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》,研究者在 * *SRGAN 的基础上进行了改进,包括改进网络的结构、判别器的判别形式,以及更换了一个用于计算感知域损失的预训练网络,提出了一种 Residual-in-Residual Dense Block (RRDB) 的网络单元。

论文链接:https://arxiv.org/pdf/1809.00219.pdf

img

Artbreeder

Artbreeder 是一款在线生成程序,该网站拥有大量不同风格的面部图像,用户可以手动进行调整,将不同的图像混合在一起,生成全新的图像。

近日,设计师 Daniel Voshart 利用 Artbreeder,结合手动调整,修复了 800 张罗马皇帝半身像的照片,在社交网络上引起热议。

网站地址:http://artbreeder.com/

此外,Denis Shiryaev 还在自己的 YouTube 频道发布了许多修复视频,如果你有兴趣的话,可以在他的网站观看更多作品:https://neural.love/

相关论文

../Paper/Paper-CV-SuperResolution.md