一种融合注意力机制的表情合成方法与流程

文档序号:21369444发布日期:2020-07-04 04:45阅读:来源:国知局

技术特征:

1.一种融合注意力机制的表情合成方法,其特征在于,包括以下步骤:

步骤1,获取人脸表情图像的数据集;

步骤2,对表情数据集进行预处理,首先获取人脸图像的关键点信息,根据关键点位置将图像裁剪为统一大小,然后将同一类别的表情图像划分在一起,将同类表情图像划分为训练集和测试集,将训练集根据不同的表情强度手动划分成不同的类别;

步骤3,以表情强度作为条件标签,构造条件生成式对抗网络,融合通道和空间两种注意力机制,使生成的网络更关注与表情变化相关的面部部位,使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别;

步骤4,在步骤3构造的网络中加入人脸图像的身份信息,使生成图像前后身份信息不变性;

步骤5,使用预处理后的表情数据集对步骤4中的网络进行训练和测试,调节网络参数,使生成图像效果达到最优;

步骤6,将测试集中的中立表情输入到训练好的条件生成对抗网络,合成带有不同强度的人脸表情图像。

2.根据权利要求1所述的融合注意力机制的表情合成方法,其特征在于,步骤2中所述的首先获取人脸图像的关键点信息,根据关键点位置将图像裁剪为统一大小,然后将同一类别的表情图像划分在一起,将同类表情图像划分为训练集和测试集,将训练集根据不同的表情强度手动划分成不同的类别,具体如下:

提取人脸图像的关键点位置并裁剪为统一大小,将不同类别的表情图像进行归类,每个类别按照受试者人数9:1的比例划分成训练集和测试集,选取中立表情作为测试输入,然后人工地将训练集按照不同的强度划分成中立,弱,中,强四个类别。

3.根据权利要求1所述的融合注意力机制的表情合成方法,其特征在于,步骤3中所述的构造条件生成式对抗网络,具体如下:

步骤3.1、使用一个独热编码向量z表示图像x的表情强度,作为条件标签,控制生成器合成带有目标表情强度的图像;

步骤3.2、在生成网络中融入注意力机制,同时结合通道和空间两种注意力机制,使生成的网络更关注与表情变化相关的面部部位;

(1)通道注意力在提取语义属性时能强调相关特征而忽略不相关特征,首先对输入图像的特征图u=[u1,u2,…,uc]进行全局平均池化,嵌入全局空间信息,用p表示通道统计量,p的第k个元素表示为:

其中,h和w分别表示图像的高度和宽度,c表示通道数,pk表示第k个通道统计量,i∈{1,2,...,h},j∈{1,2,...,w},(i,j)表示特征点的位置,uk(i,j)表示第k个通道在位置(i,j)处的特征值;

接着通过下采样和上采样层提取特征模式并使用sigmoid函数进行归一化,表示为:

其中,表示对通道统计量p进行转换后的结果,wup和wdown分别表示上采样和下采样层,relu(·)表示线性整流函数;

最后经过通道注意力校准后的特征图为

(2)空间注意力则将注意力集中在与表情强度变化相关的面部器官位置上,忽略不相关的部分;

将输入图像按照空间位置表示为u=[u1,1,u1,2,...,ui,j,...,uh,w],其中i∈{1,2,...,h},j∈{1,2,...,w},ui,j表示在位置(i,j)处的特征值;通过一个空间挤压操作将c个通道投影到一个空间位置上,最后使用sigmoid函数进行归一化,表示为:

q=sigmoid(wsq*u)

其中,向量q表示在空间上进行投影的结果,wsq表示空间挤压操作层;

最后根据空间注意力校准后的特征图为us=[q1,1u1,1,...,qi,jui,j,...,qh,wuh,w];

步骤3.3、在鉴别网络上添加一个分类器,用以输出生成图像的表情强度类别,使鉴别网络能够同时辨别图像真假和估计图像所属的表情强度类别。

4.根据权利要求1所述的融合注意力机制的表情合成方法,其特征在于,步骤4中所述的在步骤3构造的网络中加入人脸图像的身份信息,使生成图像前后身份信息不变性,具体如下:

在表情强度合成前后需要保证输入图像和输出图像的身份一致性,使用了一个身份保留损失函数来实现,定义如下:

其中,lid是身份保留损失函数,xs表示源输入图像,zt表示目标表情强度的标签,g(xs,zt)表示生成的带有目标表情强度zt的图像,φ是一个人脸识别的特征提取器,φ(xs)和φ(g(xs,zt))分别表示输入人脸图像和生成的人脸图像的身份特征,是计算输入图像和生成图像的特征差的期望值,使用l1范数计算身份损失以确保生成图像和输入图像具有相同的身份信息。


技术总结
本发明公开了一种融合注意力机制的表情合成方法。该方法为:获取人脸表情数据集,对数据集进行关键点检测和图像裁剪;按照表情的不同类别将同一类表情划分在一起,将每类表情数据划分成训练集和测试集,根据不同的表情强度将训练集手动地划分为不同的类别;以表情强度作为条件标签,构建条件生成对抗网络,在生成网络中同时融合通道和空间两种注意力机制,使用带有分类器的鉴别网络同时判别输入图像的真假和强度类别;使用预处理后的训练集对网络进行训练,调节参数使模型达到最优,以测试集中的中立表情作为输入,得到不同强度的人脸表情图像。本发明能由中立表情图像合成具有不同强度的人脸表情图像,方法方便直观且合成的表情图像真实生动。

技术研发人员:唐金辉;柴子琪;孙运莲
受保护的技术使用者:南京理工大学
技术研发日:2020.03.09
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1