[TOC] 人体3D建模: 均是蒙皮模型，没有纹理 SMPL 2015《A Skinned Multi-Person Linear Model》 Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J. 参数人体建模 Officialhttps://smpl.is.tue.mpg.de/ SMPLhttps://github.com/CalciferZh/SMPL Numpy, TF and PyTorch implementation of human body SMPL model and infant body SMIL model. 参数化的人体3D模型生成工具 SMPLify 2016论文：《Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image》 官网：http://smplify.is.tue.mpg.de/ gith ...

SIFThttps://github.com/alicevision/popsift SIFT即尺度不变特征变换，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。 一、SIFT算法特点：1、具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。 2、区分性好，能够在海量特征数据库中进行快速准确的区分信息进行匹配 3、多量性，就算只有单个物体，也能产生大量特征向量 4、高速性，能够快速的进行特征向量匹配 5、可扩展性，能够与其它形式的特征向量进行联合 二、SIFT算法实质在不同的尺度空间上查找关键点，并计算出关键点的方向。 三、SIFT算法实现特征匹配主要有以下三个流程：1、提取关键点：关键点是一些十分突出的不会因光照、尺度、旋转等因素而消失的点，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。此步骤是搜索所有尺度空间上的图像位置。通过高斯微分函数来识别潜在的具有尺度和旋转不变的兴趣点。 2、定位关键点并确定特征方向：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关 ...

[toc] 3D建模目前动画、游戏中使用的静态三维数字人体主要通过3D网格模型（英文一般叫mesh），贴上材质贴图来实现。 三维数字人体目前主要的方法有： 1.多视角几何重建（不同角度拍摄多张照片）； 2.使用数字化人体表示模型预测网格 多视角几何重建生成工具: PhotoScan（商业软件） MeshRoom（开源软件） 模型方法预测或生成3D网格传统的基于骨架的Skinning方法有LBS, DQS, Implicit Skinning等，这些方法可以理解为产生了一个从骨架姿势（Posture of the skeleton）到 角色模型网格（Mesh of the character）的映射，输入是Posture，输出是Mesh，怎么产生的就是使用特定的方法，大多是几何物理方法等。 产生骨架姿势，可以用正向动力学（Forward Kinematics）、反向动力学（Inverse Kinematics）。 产生动画有几种思路，比如用网格（Mesh）内部的骨架（Skeleton）驱动，用Mesh外部的Cage驱动，用一些Handle来控制变形（在面部动画中经常使用，比如blend ...

[toc] FPNArch: lateral connection & path way ResNet的结构图:

[TOC] CVPR 2019 论文大盘点-人脸技术篇转自：http://www.e-tagsystems.cn/Industry/412.html CVPR 2019 所有人脸相关论文，总计51篇，其中研究人脸重建与识别的论文最多，人脸识别中新Loss的设计有好几篇，人脸表情分析也不少，检测和对齐相对很少了。这些论文有较大数量都来自工业界，一些很实用的技术被提出来，比如有趣的人脸编辑和老化。 可以在以下网站下载这些论文： http://openaccess.thecvf.com/CVPR2019.py 人脸反欺诈、人脸识别对抗攻击大规模人脸反欺诈、活体检测库，中科院、京东等 A Dataset and Benchmark for Large-Scale Multi-Modal Face Anti-Spoofing Shifeng Zhang, Xiaobo Wang, Ajian Liu, Chenxu Zhao, Jun Wan, Sergio Escalera, Hailin Shi, Zezheng Wang, Stan Z. Li 深度树学习，用于零样本的人脸反欺 ...

3D 建模相关：[TOC] 1> 1803.11527v3 [SpiderCNN] Deep Learning on Point Sets with Parameterized Convolutional Filters利用参数化卷积滤波进行点集深度学习（ECCV2018-13） 泡泡点云时空 论文阅读 Deep neural networks have enjoyed remarkable success for various vision tasks, however it remains challenging to apply CNNs to domains lacking a regular underlying structures such as 3D point clouds. Towards this we propose a novel convolutional architecture, termed SpiderCNN, to efficiently extract geometric features from point clouds. Spide ...

DensePose citations:[TOC] 应用场景：单张图片的人脸三维建模： 11， 密集人脸对齐方面: 8，11， Human DensePose Estimation：4， 7，9 Hand 三维建模： 10 三维形状建模：5， 三维物体的深度姿态估计: 6, 密集人脸对齐： 人脸对齐这项技术的应用很广泛，比如自动人脸识别，表情识别以及人脸动画自动合成等 密集人脸对齐算法将人脸图像匹配到一个最佳的3D人脸模型上，这些3D人脸模型中包含数以千计的特征点，从而实现了密集的人脸对齐。但是我们仍然面临两个问题：目前基于3D人脸模型匹配的人脸对齐算法仅仅利用稀疏的特征点来构造，如果要实现高质量的密集人脸对齐(DeFA)，面临的首要问题就是没有相应的训练数据库，所有的人脸对齐数据库中标记的特征点都不超过68个特征点，所以我们需要寻找有用的信息来作为额外的限制条件，并将这些信息嵌入到学习框架中。面临的第二个问题就是需要各种的训练数据，但是不同的人脸对齐数据库标记的特征点个数不一样。 1. Slim DensePose: Thrifty Learning from Sparse An ...

图片处理基础知识： 放射变换、双线性插值 线性变换定义： 点$K$的坐标为$\begin{bmatrix} x \ y \end{bmatrix}$ 代表一个 2x1的列向量 矩阵$M= \left[ \begin{matrix} a&b \ c&d \end{matrix} \right]$ 代表 shape(2x2)的矩阵 恒等变换：令 a=d=1, b=c=0, 即 $M=\begin{bmatrix} 1&0 \ 0&1 \end{bmatrix}$ 则$$K’=\begin{bmatrix} 1&0 \ 0&1 \end{bmatrix} \begin{bmatrix} x \ y \end{bmatrix}=\begin{bmatrix} x \ y \end{bmatrix}=K$$即此时$M$的值表示做恒等变换 缩放： 令$b=c=0 $，即$M=\begin{bmatrix} a&0 \ 0&d \end{bmatrix}$，则：$$K’=\begin{bmat ...

[toc] Cloth FlowICCV 2019丨ClothFlow：一种基于外观流的人物服装图像生成模型 背景Pose-guided person generation 和Virtual try on 领域的处理主流方法： Deformation-based methods (eg: affine ; TPS) DensePose-based methods 即基于变形的方法和基于密度的方法 几何变形的更好的外观转移，但是较大的几何变换，容易导致不准确、不自然的变换估计 基于密度的方法，映射2D图片到3D的人身体，结果看起来不够逼真。 因此作者提出的ClothFlow： a flow-based generative model ；解决衣服变形clothing deformation；从而更好的合成人穿衣的图片； 架构(1) A conditional layout generator 预测Target Pose-让结果(人物身体)更连贯 (2) clothing flow estimation stage （服装流估算阶段） ClothFlow估计了一个稠密的流场 ...

[toc] FashionAI Paper2019/6《Pose Guided Fashion Image Synthesis Using Deep Generative Model 》《利用深度生成模型进行姿态引导的时尚图像合成》 Wei Sun ncsu.edu ncsu.edu , jd, oppo, 对于智能照片编辑、电影制作、虚拟试穿和时尚展示等应用来说，生成具有预期人体姿态的逼真图像是一个有前途但具有挑战性的研究课题。 2018/9《Dense Pose Transfer 》密集姿态转移 Natalia Neverova；Facebook AI Research 姿态转移 生成 效果一般（脸部模糊，错位） 2019/8 《M2E-Try On Net: Fashion from Model to Everyone》时尚从模特到每个人 Person Image Model Image Person + Model-cloth Image 2018/11《Coordinate-based Texture Inpainting for Pose-Gui ...