羽迹科技官网

首页 > 新闻中心 > 新闻详情

如何对3D数字人进行深入的研究和检测

2022-03-30 09:58:10
人类的表情信号,作为一种既复杂且主观性极强的信息,一直是困扰诸多人机交互和情感计算等应用的底层表示问题。比如受到描述词汇的准确性干扰,导致在数据标注过程中即产生与不同标注者主观判断相关的歧义性。此外,这种简易的分类方式,本身也难以刻画连续复杂变化的人脸表情信息,如何对3D数字人进行深入的研究和检测?
1.得到子流形结构
通过构造大量人脸照片的三元组数据,借助人类本身对于表情相似度的判断能力,将标注者认为表情更为相似的人脸图片嵌入到临近的表情隐空间位置,而将不相似的人脸图片对嵌入到尽可能远的隐空间向量。此外,为避免人的身份对于表情特征嵌入学习的干扰,同过显性地去除身份信息的算法模块,即通过图像特征提取后,直接减去其对应的身份识别特征,将残差量视作表情特征在原始人脸身份上的徧移量,从而达到显式身份与表情解耦的目的。显性身份去除方法与三维人脸先验知识类似,人脸图片的人物属性部分同样是由其身份与表情两个维度的信息组合而成。同一个身份的不同表情人脸图片,应当在抽象的人脸分布流形中较为集中且靠近其中性表情图片特征(即身份特征)。而对于不同身份的人脸图片,每一个身份附近的不同表情,则构成具有空间平行关系的子流形结构。
2.数据样本构造和比对
通过构造大量的三元组数据,其中每一个三元组都包含不同人的不同表情图片。根据这些图片中人脸表情的近似标签(如中性,愤怒,高兴,伤心3D数字人等),将这些三元组进一步分为容易、中等和困难三类。其中困难代表该三元组中三个人脸表情彼此都比较接近,反之亦然。从每一个三元组数据中,挑选出相对更接近的两张图片,分别记作锚点和正样本,而剩下的另一张图片则记作负样本。通过这种方式,将每个三元组数据都赋予对应的标签:锚点,正样本,负样本。
较之于传统的离散化表情标签标注方法,具有更容易操作,更少 3D数字人歧义性,并且带有更少的标注者主观偏见。这是因为相比于依赖文字描述的标签来判断表情分类,这种只需要衡量表情相似/不相似程度的方法,在实际操作中更容易实行,并且容错率更高,不受标注者自身对于文字语义理解的偏差干扰。
了解更多