羽迹科技官网

首页 > 新闻中心 > 新闻详情

3D数字人对模拟和3D效果进行评估和应用

2022-04-01 09:58:10
当前,针对人脸和各种虚拟角色的面部表情驱动任务,主要采取的解决办法是首先构造合理的人脸身份与表情表示。再通过适当的表情与身份分离策略,将合理的表情信息通过迁移模型从输入人脸映射到目标角色上。针对三维人脸形状的表示模型,其目标就是通过某种方式的降维方法,使得可以用低维度的参数以表达高维度的人脸数据,如何对3D数字人对模拟和3D效果进行评估和应用?
1.人脸模型的视觉效果
构建高效强大且合理的人脸表示模型,对于与人脸相关的下游应用如数字人建模,表情编辑等,具有基础性和铺垫性作用。由于人脸本身具有较高的复杂度和较强的社交属性,一个好的人脸表示方法,应当可以准确地描述目标人脸的各种语义特征,并且能够表达尽可能多的人脸差异数据。一般地,根据人脸数据的呈现形态,可以将人脸表示类工作分为面向三维人脸模型和二维人脸图片两类。对于三维人脸模型而言,一个完整的人脸表示模型通常包括人的身份信息,表情信息,姿态角度以及光照和纹理贴图等组合维度,这些信息共同决定三维人脸模型的视觉效果。
2.人脸识别特征提取
在大量搜集的3D数字人脸数据基础上,通过线性降维的方式,构造一种用低维系数表示高维顶点位置的统计参数化模型。然而,随着实际应用中各类三维人脸相关任务对于人脸表示模型的准确度和表达能力提出更高的要求,模型受限于表示方法上的局限性,难以刻画三维人脸在每个维度,如身份和表情成分上的精细变化,导致人脸表示模型对于更多的身份和表情数据泛化性能不够好。设计对三维人脸形状的身份与表情成分进行先分离解耦再融合的网络模型,通过精心设计的损失函数和训练策略,实现更为高效和强大的三维人脸表示。而在二维人脸领域,早前的研究热点主要集中在人脸识别,即对人脸照片的身份特征进行提取。
随着此类工作的逐渐完善,针对二维人脸图片,已经有几乎完备的人脸身份表示。然而在另一个领域,即人脸的表情表示方面,实际的情感计算与人脸分析应用中,基于表情本身与身份特征强相关以及连续变化的特点,可用去身份化的连续表情嵌入方法。将 3D数字人脸图片中的表情特征视为作用在身份特征上的位移偏差向量,再通过构造易于普通人标注的三元组数据实现。
了解更多