计算机视觉--GAN

Posted on | In , , |

[TOC]

GAN

1、模型发展、理论改进

PGGAN、SNGAN、SAGAN、BigGAN、StyleGAN 等，这些模型都还在强调如何通过随机采样生成高质量图像。

2、应用领域发展

如 FUNIT、SPADE 等已经将注意力放在了应用层，也就是如何利用 GAN 做好图像翻译等实际应用任务。

Image-to-Image Translation

  • 局部纹理间的转换展开的，例如人脸属性变换、画作的风格变换、图像分割等，
  • 语义联系模型转换，引入注意力机制（U-GAT-IT）
    • 采用全局和平均池化下的类激活图（Class Activation Map-CAM）[2]来实现的
    • 再加上自适应图层实例归一化（AdaLIN），其作用是帮助注意力引导模型灵活控制形状和纹理的变化量。

pix2pix（监督学习）

pix2pipxHD

CycleGan（非监督学习）

UNIT citeUNIT

MUNIT [9]

将图像分解为领域不变的内容代码和捕获领域特定属性的样式代码，从而可以扩展到多对多映射。

U-GAT-IT (★★★★★)

基于GAN的新型无监督图像转换

https://www.sohu.com/a/333947112_500659

FUNIT

SPADE

论文标题：《Semantic Image Synthesis with Spatially-Adaptive Normalization》

论文链接：CVPR 2019 Open Access Repository

源码链接：https://github.com/NVlabs/SPADE

语义图像合成是指基于语义分割的结果来生成真实图片，过程如下图所示。很显然，这是图像语义分割的反过程；但不同的是，语义分割由真实图片分割出来的结果应该是唯一的(one-to-one mapping)，而语义图像合成的结果只要是合理的就可以了，也就是说有多样的结果(one-to-many mapping)。

目前语义图像合成领域的经典方法有：CRN [1], pix2pixHD [2], SIMS [3], SPADE [4], 以及近些年来更多基于GAN的方法。

CAM

（Class Activation Map）

(AdaLIN)

Adaptive Layer-Instance Normalization

VideoGAN

vid2vid

Vid2Vid多图详解-CSDN博客

Cartoon

CartoonGAN CVPR 2018

清华

https://github.com/znxlwm/pytorch-CartoonGAN

https://github.com/taki0112/CartoonGAN-Tensorflow

img

img

CarttonGAN CVPR2020

https://github.com/SystemErrorWang/CartoonGAN

效果：

​ 风景好点

​ 人物处理差点

alt text

White-box-Cartoonization

https://github.com/SystemErrorWang/White-box-Cartoonization

CVPR2020 paper “Learning to Cartoonize Using White-box Cartoon Representations”.

https://systemerrorwang.github.io/White-box-Cartoonization

https://systemerrorwang.github.io/White-box-Cartoonization/paper/06791.pdf

字节跳动，东京大学，Style2Paints Research（线稿上色）

image-20200514204037043

AnimeGAN

AnimeGAN: a novel lightweight GAN for photo animation

武汉大学 土木工程学院

湖北工业大学 计算机学院

Wine-64

1
2
3
./configure --enable-win64

sudo apt-get install mingw-64

Wine-32

1
2
3
4
5
6
7
8
9
sudo apt-get install g++-multilib
sudo apt-get install libncurses5:i386
sudo apt-get install libc6:i386 libgcc1:i386 libstdc++5:i386 libstdc++6:i386
————————————————
https://blog.csdn.net/m0_37763336/article/details/83618390
原文链接：https://blog.csdn.net/hackerwin7/java/article/details/37878007

sudo apt install libx11-dev:i386
sudo apt-get install  libfreetype6-dev:i386    libfreetype6-dev

Ref

CycleGAN、DualGAN、DiscoGAN