羽迹科技官网

首页 > 新闻中心 > 新闻详情

3D数字人有哪些面部技术瓶颈

2022-03-29 09:58:10
创造现实人类的数字化身,即栩栩如生的虚拟人角色,一直是计算机图形学,计算机视觉以及多媒体等学科交叉领域的热点问题。不同角色之间的表情迁移,以及跨模态信号的人脸动画驱动等差别大。由于人脸天生具有复杂的构造机理和强大的社交属性,因此如何刻画细腻逼真的人脸表情运动,对于实现数字人等相关应用尤为重要,3D数字人有哪些面部技术瓶颈呢?
1.夸张人脸讽刺画生成方法
夸张人脸讽刺画生成指的是基于正常人脸肖像画,自动构建与人物形象如角色身份和外貌相对应的夸张人脸漫画结果。该领域的研究工作可以大致分为以下两类:一是基于二维图片编辑的生成方法,二是基于三维几何形状的夸张结果生成。针对二维图像的夸张人脸生成工作,可以追溯到手动交互式设计。随着图像处理技术的进步,其他一些更为自动化的夸张人脸生成工作逐渐发表,在生成对抗网络的基础上,通过夸张人脸的几何与纹理分解的思路,利用自循环的网络结构,实现自动化的夸张人脸生成算法。在自动生成夸张人脸讽刺画的网络模型基础上,引入对人脸肖像画的变形模块,同样实现一种从正常人脸图片到夸张讽刺画的生成算法。
2.针对人脸图像的表情编辑
在图像处理领域,针对3D数字人脸图像的表情编辑工作可以分为带有三维几何引导的渲染方法和图像生成方法两类。渲染方法并不足以刻画原图像中人脸丰富的几何细节与纹理特征,随着近期卷积神经网络在图像生成等领域取得的突破,一些方法转而使用生成对抗网络这类工具对原图进行表情编辑和生成。例如,基于图像迁移模型塑造不需要成对数据的无监督人脸表情编辑方法,利用人脸表情运动单元作为表情表示和条件生成网络结构,通过自循环结构设计实现对人脸图片进行任意表情编辑的目的。
在此基础上,尝试使用完整的三维几何形状作为表情变化的条件信息,用于引导原图片的表情编辑和生成,从几何形状和纹理控制的角度,更好地保证表情编辑的结果符合目标语义特征。作为人工智能概念的一个具象化身, 3D数字人角色,尤其是具备自主意识的三维类人形象,一直是众多科幻题材作品重点描绘的目标。然而在科研领域,构建真实的数字虚拟人仍然需要漫长的研究和探索。
了解更多