基于特征变换的受遮挡人脸识别方法及装置与流程

本发明实施例涉及人脸识别技术领域，尤其涉及一种基于特征变换的受遮挡人脸识别方法及装置。

背景技术：

人脸识别的应用越来越广泛，对人脸识别精度的要求越来越高，尤其是在人脸部分受遮挡的情况下的识别精度更为重要。

现有技术中，通常使用基于卷积神经网络的人脸识别算法进行人脸是识别，但是，基于卷积神经网络的人脸识别算法很大程度上依赖于数据集的质量，但是实际场景中人脸在遮挡、角度等方面具有更大的复杂性。受遮挡人脸图片的人工标注难度也更大，所以大多数已有人脸识别技术对于受遮挡人脸图片存在识别精度下降严重的问题。现有的提高人脸遮挡鲁棒性的算法，大多采用多网络结构分别训练多人脸区域的方法，将人脸不同区域的特征融合，但这些方法存在计算资源消耗大，计算时间更长，人脸图片的预处理更复杂的缺点。

技术实现要素：

本发明实施例的目的是提供一种克服上述问题或者至少部分地解决上述问题的基于特征变换的受遮挡人脸识别方法及装置。

为了解决上述技术问题，一方面，本发明实施例提供一种基于特征变换的受遮挡人脸识别方法，包括：

将目标人脸图像输入至预设的卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标人脸图像的特征图；

计算所述特征图与预先获取的特征掩膜的分素乘积；

将所述分素乘积输入至所述卷积神经网络模型的特征层，输出所述目标人脸图像的用于识别的特征。

另一方面，本发明实施例提供一种基于特征变换的受遮挡人脸识别装置，包括：

特征图提取模块，用于将目标人脸图像输入至预设的卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标人脸图像的特征图；

计算模块，用于计算所述特征图与预先获取的特征掩膜的分素乘积；

特征获取模块，用于将所述分素乘积输入至所述卷积神经网络模型的特征层，输出所述目标人脸图像的用于识别的特征。

再一方面，本发明实施例提供一种电子设备，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。

又一方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述的方法。

本发明实施例提供的基于特征变换的受遮挡人脸识别方法及装置，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

附图说明

图1为本发明实施例提供的基于特征变换的受遮挡人脸识别方法示意图；

图2为本发明实施例提供的基于特征变换的受遮挡人脸识别装置示意图；

图3为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于特征变换的受遮挡人脸识别方法示意图，如图1所示，本发明实施例提供一种基于特征变换的受遮挡人脸识别方法，其执行主体为基于特征变换的受遮挡人脸识别装置，所述方法包括：

步骤s101、将目标人脸图像输入至预设的卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标人脸图像的特征图；

步骤s102、计算所述特征图与预先获取的特征掩膜的分素乘积；

步骤s103、将所述分素乘积输入至所述卷积神经网络模型的特征层，输出所述目标人脸图像的用于识别的特征。

具体来说，本发明实施例提供的基于特征变换的受遮挡人脸识别方法，包括两个阶段：一、实验阶段，二、应用阶段。

在实验阶段，根据实验获取特征掩膜。

在应用阶段，首先，将目标人脸图像输入至预设的卷积神经网络模型，从卷积神经网络模型的最后一个卷积层获取该目标人脸图像的特征图。

在将该目标人脸图像的特征图输入特征层之前，先计算该目标人脸图像的特征图与预先获取的特征掩膜的分素乘积。该特征掩膜是预先在实验阶段获取的。

最后，将计算得到的分素乘积作为作为变换后的特征图输入至卷积神经网络模型的特征层，输出目标人脸图像的用于识别的特征，以供根据该特征识别该目标人脸图像。

本发明实施例提供的基于特征变换的受遮挡人脸识别方法，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

在上述实施例的基础上，进一步地，获取所述特征掩膜的具体步骤如下：

获取目标数据集中的多个原始样本图像，和对所述原始样本图像进行添加人工遮挡后的图像，经过添加人工遮挡后的原始样本图像作为遮挡样本图像，一个原始样本图像对应一个遮挡样本图像；

根据一对原始样本图像和遮挡样本图像，获取一个初始特征掩膜；

取所有初始特征掩膜的平均值，作为最终的特征掩膜。

具体来说，本发明实施例提供的基于特征变换的受遮挡人脸识别方法，包括两个阶段：一、实验阶段，二、应用阶段。

在实验阶段，根据实验获取特征掩膜。

获取特征掩膜的具体步骤如下：

首先，获取目标数据集中的多个原始样本图像，针对每一张原始样本图像，将原始样本图像依据人脸特征点对齐，并根据特征点对人脸图片添加人工遮挡，获取对该原始样本图像进行添加人工遮挡后的图像，经过添加人工遮挡后的原始样本图像作为遮挡样本图像，一个原始样本图像对应一个遮挡样本图像。

然后，根据一对原始样本图像和遮挡样本图像，获取一个初始特征掩膜。

最后，取所有初始特征掩膜的平均值，作为最终的特征掩膜。

本发明实施例提供的基于特征变换的受遮挡人脸识别方法，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

在以上各实施例的基础上，进一步地，所述根据一对原始样本图像和遮挡样本图像，获取一个初始特征掩膜特征掩膜，具体包括：

针对目标原始样本图像，将所述目标原始样本图像输入至所述卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标原始样本图像的特征图，作为第一特征图；并将所述目标原始样本图像对应的目标遮挡样本图像输入至所述卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标遮挡样本图像的特征图，作为第二特征图；

将所述第一特征图和所述第二特征图进行作差，获取差值矩阵；

对所述差值矩阵中的元素进行二值化处理，获取初始特征掩膜。

具体来说，获取特征掩膜的具体步骤如下：

首先，获取目标数据集中的多个原始样本图像，针对每一张原始样本图像，将原始样本图像依据人脸特征点对齐，并根据特征点对人脸图片添加人工遮挡，获取对该原始样本图像进行添加人工遮挡后的图像，经过添加人工遮挡后的原始样本图像作为遮挡样本图像，一个原始样本图像对应一个遮挡样本图像。

然后，根据一对原始样本图像和遮挡样本图像，获取一个初始特征掩膜。

最后，取所有初始特征掩膜的平均值，作为最终的特征掩膜。

其中，根据一对原始样本图像和遮挡样本图像，获取一个初始特征掩膜特征掩膜，具体包括：

针对目标原始样本图像，将无遮挡的目标原始样本图像输入至卷积神经网络模型，从卷积神经网络模型的最后一个卷积层获取该目标原始样本图像的特征图，作为第一特征图。

并将该目标原始样本图像对应的目标遮挡样本图像输入至卷积神经网络模型，从卷积神经网络模型的最后一个卷积层获取该目标遮挡样本图像的特征图，作为第二特征图。

然后，将第一特征图和第二特征图进行作差，获取差值矩阵。差值矩阵中，绝对值大的点即为对人脸被遮挡区域敏感的特征响应点。

最后，通过选择合适的预设阈值，对该差值矩阵中的元素进行二值化处理，获取初始特征掩膜。二值化处理的方式为：元素绝对值大于预设阈值时，对应位置为0；元素绝对值小于预设阈值时，对应位置为1。

本发明实施例提供的基于特征变换的受遮挡人脸识别方法，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

在以上各实施例的基础上，进一步地，所述目标数据集为lfw数据集。

具体来说，lfw数据集是一种非限制环境下的人脸数据集，广泛用于人脸识别的训练。目标数据集采用lfw数据集，是获取的特征掩膜更加准确。

本发明实施例提供的基于特征变换的受遮挡人脸识别方法，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

在以上各实施例的基础上，进一步地，所述卷积神经网络模型为resent-18网络。

具体来说，resent-18网络是一种简单、高效的卷积神经网络模型。本发明实施例采用resent-18网络作为卷积神经网络模型，提高了人脸识别的精度。

本发明实施例提供的基于特征变换的受遮挡人脸识别方法，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

图2为本发明实施例提供的基于特征变换的受遮挡人脸识别装置示意图，如图2所示，本发明实施例提供一种基于特征变换的受遮挡人脸识别装置，用于执行上述任一实施例中所述的方法，具体包括特征图提取模块201、计算模块202和特征获取模块203，其中：

特征图提取模块201用于将目标人脸图像输入至预设的卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标人脸图像的特征图；计算模块202用于计算所述特征图与预先获取的特征掩膜的分素乘积；特征获取模块203用于将所述分素乘积输入至所述卷积神经网络模型的特征层，输出所述目标人脸图像的用于识别的特征。

具体来说，本发明实施例提供的基于特征变换的受遮挡人脸识别装置进行人脸识别的过程，包括两个阶段：一、实验阶段，二、应用阶段。

在实验阶段，根据实验获取特征掩膜。

在应用阶段，首先，通过特征图提取模块201将目标人脸图像输入至预设的卷积神经网络模型，从卷积神经网络模型的最后一个卷积层获取该目标人脸图像的特征图。

在将该目标人脸图像的特征图输入特征层之前，先通过计算模块202计算该目标人脸图像的特征图与预先获取的特征掩膜的分素乘积。该特征掩膜是预先在实验阶段获取的。

最后，通过特征获取模块203将计算得到的分素乘积作为作为变换后的特征图输入至卷积神经网络模型的特征层，输出目标人脸图像的用于识别的特征，以供根据该特征识别该目标人脸图像。

本发明实施例提供的基于特征变换的受遮挡人脸识别装置，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

在上述实施例的基础上，进一步地，所述装置还包括特征掩膜获取模块，用于获取所述特征掩膜。

具体来说，本发明实施例提供的基于特征变换的受遮挡人脸识别方法，包括两个阶段：一、实验阶段，二、应用阶段。

在实验阶段，通过特征掩膜获取模块根据实验获取特征掩膜。

获取特征掩膜的具体步骤如下：

首先，获取目标数据集中的多个原始样本图像，针对每一张原始样本图像，将原始样本图像依据人脸特征点对齐，并根据特征点对人脸图片添加人工遮挡，获取对该原始样本图像进行添加人工遮挡后的图像，经过添加人工遮挡后的原始样本图像作为遮挡样本图像，一个原始样本图像对应一个遮挡样本图像。

然后，根据一对原始样本图像和遮挡样本图像，获取一个初始特征掩膜。

最后，取所有初始特征掩膜的平均值，作为最终的特征掩膜。

本发明实施例提供的基于特征变换的受遮挡人脸识别装置，对受遮挡人脸的图像采用添加特征掩膜的特征变换方式，舍弃人脸常见易受遮挡区域的特征响应，工程实现更容易，计算时间更短，网络结构更简单，并且提高受遮挡人脸的识别精度。

图3为本发明实施例提供的电子设备的结构示意图，如图3所示，所述设备包括：处理器301、存储器302和总线303；

其中，处理器301和存储器302通过所述总线303完成相互间的通信；

处理器301用于调用存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：

将目标人脸图像输入至预设的卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标人脸图像的特征图；

计算所述特征图与预先获取的特征掩膜的分素乘积；

将所述分素乘积输入至所述卷积神经网络模型的特征层，输出所述目标人脸图像的用于识别的特征。

本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

将目标人脸图像输入至预设的卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标人脸图像的特征图；

计算所述特征图与预先获取的特征掩膜的分素乘积；

将所述分素乘积输入至所述卷积神经网络模型的特征层，输出所述目标人脸图像的用于识别的特征。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：

将目标人脸图像输入至预设的卷积神经网络模型，从所述卷积神经网络模型的最后一个卷积层获取所述目标人脸图像的特征图；

计算所述特征图与预先获取的特征掩膜的分素乘积；

将所述分素乘积输入至所述卷积神经网络模型的特征层，输出所述目标人脸图像的用于识别的特征。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。