技术特征：
1.一种基于两阶段自愈网络的表情识别系统，其特征在于，包括输入模块、输出模块、预处理模块、训练模块；所述输入模块用于获取待识别人脸图像，输出人脸中间图像数据标准化的待识别人脸样本图像到预处理模块；所述预处理模块通过表情识别模型从待识别人脸图像中提取出人脸特征，所述人脸特征为模型算法识别的数字矩阵，输出预处理后的表情识别模型到训练模块；其中，所述表情识别模型是通过使用多个人脸样本图像进行深度学习训练，并在训练过程中调整所述表情识别模型的模型参数而获得的，所述表情识别模型的模型参数指向人脸样本图像中人脸各区域的权重值，每个人脸样本图像具有一种表情类型；所述训练模块包括服务器；训练预处理后的表情识别模型，把训练后的表情识别模型输出到输出模块；服务器包括处理器、存储介质和存储器；存储器中存储至少一段程序，该程序由处理器加载并执行以实现表情识别；存储器包括存储程序区和存储数据区；其中存储程序区存储功能所需的应用程序；存储数据区存储设备使用所创建的数据；所述存储介质中存储至少一段程序，该程序由处理器加载并执行以实现表情识别；所述输出模块根据输入的人脸图像，通过训练模块输入的表情识别模型输出对应的表情与性别信息。2.一种基于两阶段自愈网络的表情识别方法，通过一种基于两阶段自愈网络的表情识别系统实现，其特征在于，具体步骤如下：步骤1：利用人脸检测器dilb对被识别人的图像的人脸进行锁定，获取只包含人脸的中间图像，对所述中间图像进行归一化处理使输入人脸中间图像数据标准化，得到待识别人脸样本图像；通过人脸识别算法即深度神经网络模型获取待识别人脸样本图像的人脸特征；所述深度卷积神经网络模型为残差网络resnet18；所述人脸特征为在深度学习中，输入图片得到的一组输出的数据；步骤2：使用imagenet数据集对深度神经网络模型进行预训练，得到深度神经网络模型神经元之间的权重参数的初始值；步骤3：使用包含性别标签的公开表情数据集对深度神经网络模型进行训练，以步骤1获取的待识别人脸样本图像为输入，使用步骤2生成的深度神经网络模型参数的初始值，调整深度神经网络模型参数的当前值至深度卷积神经网络模型输出的性别类型与输入的待识别人脸样本图像的性别类型相匹配，从而获得性别识别结果；在训练完成后冻结深度神经网络模型中的模型参数的当前值；表情数据集为深度学习中，训练识别模型的大量的表情图片，每张图片对应一个表情类型；表情类型指模型最后输出的表情结果；步骤4：以步骤1得到的人脸特征为输入，对步骤3得到的冻结深度神经网络模型中的模型参数的当前值进行表情识别深度学习训练，通过调整所述冻结深度神经网络模型中的模型参数的当前值至深度卷积神经网络模型输出的表情类型与输入的人脸样本图像的表情类型相匹配，从而识别待识别人脸样本图像对应的表情类型；步骤5：经过步骤1到步骤4多轮训练之后，将调整参数后的深度卷积神经网络模型作为
表情识别模型；此时判断数据集标签是否需要修正，若不需要修正则执行步骤7；数据集标签为人脸样本图像的实际标注值；步骤6：重新标记步骤5中低权重组的表情标签，生成一个伪标签，使其在下一轮迭代时获得更高的权重；标签的结果概率由深度卷积神经网络模型中的softmax函数执行，得到的结果达到最高概率的标签别作为预测类别，预测类别再与原始标签所对应的概率作比较，如果最高概率大于原始标签对应的概率加上一个固定值，则重新标记标签；步骤7：将调整深度卷积神经网络模型参数后对应的深度卷积神经网络模型作为表情识别模型，将待识别人脸图像输入到表情识别模型，输出表情类型与性别信息；所述softmax函数预测得到最大概率的表情标签输出为表情识别结果。3.根据权利要求2所述的一种基于两阶段自愈网络的表情识别方法，其特征在于，所述步骤4具体为：步骤4.1：以步骤1得到的人脸特征为输入，使用人脸特征对深度卷积神经网络模型随机生成区域引导特征，所述区域引导特征指向待识别人脸样本图像中未遮挡的人脸区域和与影响表情变化的人脸区域；步骤4.2：对区域引导特征进行归一化处理得到区域引导特征像素块的初始值；步骤4.3：对所述区域引导特征像素块的初始值与冻结深度神经网络模型参数的当前值作点乘计算，得到区域引导表情特征；步骤4.4：根据区域引导表情特征，计算深度卷积神经网络模型预测得到的目标值与人脸样本图像的实际标注值之间的损失值，根据损失值调整所述冻结深度神经网络模型中的模型参数的当前值至深度卷积神经网络模型输出的表情类型和输入的人脸样本图像的表情类型相匹配，从而识别待识别人脸图像对应的表情类型；其中,目标值是指深度卷积神经网络模型预测出来的表情类型；人脸样本图像的标注值指向所述人脸样本图像的表情类别；损失值是指目标值和标注值之间的差距。4.根据权利要求3所述的一种基于两阶段自愈网络的表情识别方法，其特征在于，根据损失值调整模型参数的步骤为：步骤4.4.1：比较深度卷积神经网络模型预测到的目标值与实际标注值之间的损失值，通过反向传播计算使得损失值减小；步骤4.4.2：通过交叉熵函数与softmax函数计算多个待识别人脸样本图像的损失值，并通过反向传播算法优化深度卷积神经网络模型，损失值具体为：其中，n为样本的总个数，c为表情类别的总个数，μ
i
为第i个样本分配到的注意力权重，x
i
为从每一张人脸样本图像所述提取的人脸特征，对应的y
i
为人脸样本图像的标注值，θ
t
为全连接层的参数，和为分类器参数，其中l遍历所有表情类型，e为自然常数,为第i个图片的输出值，从而得到某一类表情的概率。
5.根据权利要求2所述的一种基于两阶段自愈网络的表情识别方法，其特征在于，所述步骤5判断是否需要修正具体为：每个表情类型对应一个表情标签，在步骤4深度学习训练中，比较表情识别模型输出表情标签分配到的注意力权重的最高项与原数据集表情所分配的注意力权重，若表情标签分配到的注意力权重的最高项比表情原本标签所分配的注意力权重高出0.7则执行换标签操作并在下一轮训练中更改参数值，执行步骤5-6；如果表情标签分配权重的最高项比所述表情原本标签所分配权重小于等于0.7，则执行步骤7；所述表情标签分配权重为：γ
wr
＝max{0,0.7-(μ
max-μ
min
)}；其中，μ
max
为高权重平均值，μ
min
低权重平均值，μ
i
为第i个样本分配到的注意力权重，n为输入样本的总数，α为高权重占总数的比例，nα为高权重组的样本个数，(1-α)n为低权重组的样本个数，max函数通过比较数值大小从而输出最大值，γ
wr
则为权重正则化损失函数。6.根据权利要求2所述的一种基于两阶段自愈网络的表情识别方法，其特征在于，所述步骤6计算预测表情标签结果概率具体为：其中μ
i
为第i个样本分配到的注意力权重，p
max
为表情预测中最大预测概率，x
i
为所述提取的人脸特征，θ
t
为全连接层的参数，为分类器参数，e为自然常数，c为表情类别的总个数，为第i个样本的输出值，argmax函数用来寻找具有最大评分的参量。
技术总结
本发明提供一种基于两阶段自愈网络的表情识别系统及方法，涉及图像识别处理技术领域；获取人脸图像处理为标准格式；通过特征提取算法从待识别人脸图像中提取出人脸特征，以人脸特征为输入，通过表情识别模型识别待识别人脸图像对应的性别类型，训练完毕后冻结表情识别模型中的参数；基于冻结的参数值，通过表情识别模型识别所述待识别人脸图像对应的表情类型；其中，所述表情识别模型是通过大量表情数据集进行深度学习训练并在训练过程中调整所述表情识别模型参数而获得的；所述表情识别模型可以修改参数重新加权，修改错误标签来逐渐抑制不确定性，从而不断提高准确率，所述表情识别模型的模型参数指向所述人脸样本图像中表情的权重值。像中表情的权重值。
技术研发人员：吴东升 陈一凡 于佳辉 高宏伟 蒋强 盖勇刚 李翔宇
受保护的技术使用者：沈阳理工大学
技术研发日：2022.01.13
技术公布日：2022/11/3