[toc]
3D建模
目前动画、游戏中使用的静态三维数字人体主要通过3D网格模型（英文一般叫mesh），贴上材质贴图来实现。
三维数字人体目前主要的方法有：
1.多视角几何重建（不同角度拍摄多张照片）；
2.使用数字化人体表示模型预测网格
多视角几何重建
生成工具:
PhotoScan（商业软件）
MeshRoom（开源软件）
模型方法预测或生成3D网格
传统的基于骨架的Skinning方法有LBS, DQS, Implicit Skinning等，这些方法可以理解为产生了一个从骨架姿势（Posture of the skeleton）到 角色模型网格（Mesh of the character）的映射，输入是Posture，输出是Mesh，怎么产生的就是使用特定的方法，大多是几何物理方法等。
产生骨架姿势，可以用正向动力学（Forward Kinematics）、反向动力学（Inverse Kinematics）。
产生动画有几种思路，比如用网格（Mesh）内部的骨架（Skeleton）驱动，用Mesh外部的Cage驱动，用一些Handle来控制变形（在面部动画中经常使用，比如blend shape），用一些关键帧（Keyframes）插值得到中间的结果等。
数字化人体表示模型
SMPL
(A Skinned Multi-Person Linear Model)
SMPL-H
SMPL-X
SMPL-X (SMPL expressive)是针对SMPL模型的优化，增加了面部表情、手势姿态、脚的姿态以及人的性别，改进人体重建的3D细节。
Expressive Body Capture: 3D Hands, Face, and Body from a Single Image
https://smpl-x.is.tue.mpg.de/smpl-x.is.tue.mpg.de
有代码，实测可运行：
Frank
Total Capture 2018 论文
LBS（Linear Blend Skinning）
中文名称：线性混合蒙皮
DQBS(Dual Quaternion Blend Skinning)
中文名称：双四元数蒙皮
[2005] SCAPE(Shape Completion and Animation of People)
官网：https://ai.stanford.edu/~drago/Projects/scape/scape.html
我们介绍了一种数据驱动的方法来构建涵盖对象形状和姿势变化的人体形状模型。该方法基于结合了关节变形和非刚性变形的表示。我们学习了一个姿态变形模型，该模型可以根据关节骨骼的姿态导出非刚性表面变形。我们还学习了基于体形的单独的变异模型。当两个模型都没有出现在训练集中时，可以将我们的两个模型结合起来以产生具有不同姿势的逼真的肌肉变形的3D表面模型。我们展示了如何将模型用于完成形状 -在指定目标形状的一组有限标记的情况下，生成完整的表面网格。我们介绍了形状完成在部分视图完成和运动捕捉动画中的应用。尤其是，我们的方法能够仅通过对单个移动物体进行一次静态扫描就可以构造出具有真实肌肉变形的移动物体的高质量动画表面模型。
Implicit Skinning
神经网络3D建模
[TOC]
| 3D 人体建模 | ||
|---|---|---|
| HumanMesh Recovery | CVPR 2018 | |
| HumanMeshNet | 2019 | |
| HMR | ICCV2019 | |
| Chained Representation Cycling | ||
| SPIN(SMPL OPtimization IN the loop) | ||
Human Mesh Recovery CVPR2018
End-to-end Recovery of Human Shape and Pose
Human Mesh Recovery（HMR）, 从单张彩色图片中恢复出3D 人体网格（包括人体形状和关节角度）
HMR-ICCV2019
标题：
下载： https://arxiv.org/pdf/1908.07172v2.pdf
Code: https://github.com/Arthur151/DSD-SATN
简介：本文描述了一种从单目图像和单目视频中恢复三维人体网格的端到端方法
HumanMeshNet
2019 Aug
印度 iiit，国际信息技术研究所
单目图像三维人体建模
Chained Representation Cycling
苏黎世理工学院
一种新的图片转换3D模型的方法
2001.01613 [Chained Representation Cycling]Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations.pdf
SPIN
(SMPL OPtimization IN the loop）
标题：<Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop> ICCV2019
下载地址：https://arxiv.org/pdf/1909.12828v1.pdf
Code：https://github.com/nkolot/SPIN
简介：把optimization and regression做了一个结合：
技术流程：
Neal body fitting
基于SMPL
https://github.com/mohomran/neural_body_fitting
知名机构
Alicevision https://alicevision.org/#contributing
欧盟Horizon 2020研究与创新计划的资助
1 | 2010年，[IMAGINE](http://imagine.enpc.fr/)研究团队（[巴黎理工学院](http://www.enpc.fr/en)与[法国](http://www.enpc.fr/en)[科学技术中心](http://international.cstb.fr/)联合研究小组）与Mikros Image围绕Pierre Moulon的论文建立了伙伴关系，由学术方面的Renaud Marlet和Pascal Monasse以及Benoit Maujean负责工业方面。2013年，他们发布了一个名为openMVG（“多视图几何”）的开源SfM管道，为创建[哑光绘画](https://en.wikipedia.org/wiki/Matte_painting)的视觉效果提供了更好的解决方案的基础。 |