人脸图像处理方法和装置的制造方法
【技术领域】
[0001] 本发明设及人脸识别技术领域，更具体地设及一种人脸图像处理方法和装置。
【背景技术】
[0002] 当前，人脸识别技术越来越广泛地应用到生活中的各个场景，包括金融领域(例如 银行和证券业等)开户过程中的身份认证、商业场所的VIP识别、安防领域中的嫌疑人识别 等。人脸识别技术在近几年在性能上有很大的提高，对于非极端场景下的识别，可W达到与 人类接近的水平。
[0003] 但是，在人脸图像质量较差(例如侧脸角度过大、图像中存在运动模糊或者高斯模 糊等）的情况下，人脸识别的识别率和准确率会明显降低。实际场景中发现，大部分的误识 别和漏识别都是因为人脸图像质量不过关引起的。可见，对人脸图像进行质量评估对于提 高人脸识别准确性是非常重要的。基于准确的人脸质量评估，在一段视频序列中挑选出质 量足够好的人脸图像进行识别，可W极大提高人脸识别的准确性。但是人脸图像质量评估 并没有引起足够的重视，当前存在的一些人脸图像质量评估方法通常都过于简单粗糖，评 估结果不够精准，因此很难使人脸识别的性能出现大幅度提高。
【发明内容】
[0004] 考虑到上述问题而提出了本发明。本发明提供了一种人脸图像处理方法和装置。
[0005] 根据本发明一方面，提供了一种人脸图像处理方法。该人脸图像处理方法包括:接 收待检测人脸图像；W及利用至少一种训练好的深度卷积网络评估待检测人脸图像的质 量。
[0006] 示例性地，利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量包 括:利用至少一种训练好的深度卷积网络对待检测人脸图像执行特定检查操作，并且如果 待检测人脸图像通过特定检查操作中的所有检查，则确定待检测人脸图像的质量合格，其 中，特定检查操作包括W下检查操作中的一项或多项：利用关于人脸姿态的深度卷积网络 计算待检测人脸图像的人脸角度，并根据待检测人脸图像的人脸角度判断待检测人脸图像 是否通过人脸姿态检查;利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程 度，并根据待检测人脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；W及 利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的 遮挡状态，并根据待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断待检测人 脸图像是否通过人脸遮挡检查。
[0007] 示例性地，人脸图像处理方法进一步包括:基于第一训练人脸图像集合通过深度 学习方法训练神经网络，W得到关于人脸姿态的深度卷积网络，其中，第一训练人脸图像集 合中的每个训练人脸图像的人脸角度是已标注好的。
[000引示例性地，人脸图像处理方法进一步包括:基于第二训练人脸图像集合通过深度 学习方法训练神经网络，W得到关于图像模糊的深度卷积网络，其中，第二训练人脸图像集 合中的每个训练人脸图像的模糊程度是已标注好的。
[0009] 示例性地，在基于第二训练人脸图像集合通过深度学习方法训练神经网络，W得 到关于图像模糊的深度卷积网络之前，人脸图像处理方法进一步包括:获得第一初始人脸 图像集合；W及利用预定高斯核和预定运动模糊核对第一初始人脸图像集合中的每个初始 人脸图像进行卷积，W生成第二训练人脸图像集合。
[0010] 示例性地，利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多 个人脸关键部位的遮挡状态包括:从待检测人脸图像中提取包含一个或多个人脸关键部位 的至少一个图像块；W及利用与一个或多个人脸关键部位一一对应的一个或多个关于人脸 遮挡的深度卷积网络计算至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状 态。
[0011] 示例性地，人脸图像处理方法进一步包括:分别基于与一个或多个人脸关键部位 一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，W得到与一个或 多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络，其中，一个或多 个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。
[0012] 示例性地，在分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图 像块集合通过深度学习方法训练神经网络，W得到与一个或多个人脸关键部位一一对应的 一个或多个关于人脸遮挡的深度卷积网络之前，人脸图像处理方法进一步包括:对于一个 或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第Ξ初始人脸图像集合， 其中，该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第Ξ 初始人脸图像集合中被遮挡;从第二初始人脸图像集合中提取包含该人脸关键部位的正样 本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从第Ξ初始人脸 图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本， 其中，负样本图像块中的该人脸关键部位被遮挡。
[0013] 示例性地，人脸图像处理方法进一步包括:基于所述待检测人脸图像的光照情况 评估所述待检测人脸图像的质量；W及根据利用所述至少一种训练好的深度卷积网络评估 所述待检测人脸图像的质量的第一评估结果W及基于所述待检测人脸图像的光照情况评 估所述待检测人脸图像的质量的第二评估结果综合评估所述待检测人脸图像的质量。
[0014] 示例性地，所述基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的 质量包括:利用灰度直方图特征计算待检测人脸图像的光照情况，并根据待检测人脸图像 的光照情况判断待检测人脸图像是否通过光照检查，如果所述待检测人脸图像通过所述光 照检查，则确定所述待检测人脸图像的质量合格。
[0015] 示例性地，利用灰度直方图特征计算待检测人脸图像的光照情况包括:分别针对 待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，W获得一个或多个待检测 直方图；计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，W获得 与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，一个或多个直方图 位置分别具有各自的预定亮度值均值；W及如果在一个或多个待检测亮度值中，存在预定 数目的待检测亮度值与对应的预定亮度值均值之差超过一个阔值，则确定待检测人脸图像 未通过光照检查。
[0016] 示例性地，人脸图像处理方法进一步包括:获得第Ξ训练人脸图像集合;对于第Ξ 训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的一个或多个人 脸区域抽取灰度直方图特征，W获得与该训练人脸图像相关的一个或多个训练直方图；计 算一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，W获得与该训练人脸 图像相关的、与一个或多个直方图位置一一对应的一个或多个训练亮度值;对于一个或多 个直方图位置中的每一个，计算与第Ξ训练人脸图像集合中的所有训练人脸图像相关的、 与该直方图位置相对应的所有训练亮度值的均值，W获得该直方图位置的预定亮度值均 值。
[0017] 示例性地，根据人脸角度判断待检测人脸图像是否通过人脸姿态检查包括:如果 人脸角度小于角度阔值，则确定待检测人脸图像通过人脸姿态检查;和/或根据模糊程度判 断待检测人脸图像是否通过图像模糊检查包括:如果模糊程度小于模糊阔值，则确定待检 测人脸图像通过图像模糊检查;和/或根据一个或多个人脸关键部位的遮挡状态判断待检 测人脸图像是否通过人脸遮挡检查包括:如果一个或多个人脸关键部位均未被遮挡，则确 定人脸图像通过人脸遮挡检查。
[0018] 根据本发明另一方面，提供了一种人脸图像处理装置。该人脸图像处理装置包括 接收模块和第一质量评估模块。接收模块用于接收待检测人脸图像。第一质量评估模块用 于利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。
[0019] 示例性地，第一质量评估模块包括检查子模块，用于利用至少一种训练好的深度 卷积网络对待检测人脸图像执行特定检查操作，并且如果待检测人脸图像通过特定检查操 作中的所有检查，则确定待检测人脸图像的质量合格，其中，检查子模块包括W下检查组件 中的一项或多项:人脸姿态检查组件、图像模糊检查组件和人脸遮挡检查组件，人脸姿态检 查组件包括:第一计算单元，用于利用关于人脸姿态的深度卷积网络计算待检测人脸图像 的人脸角度；W及第一判断单元，用于根据待检测人脸图像的人脸角度判断待检测人脸图 像是否通过人脸姿态检查；图像模糊检查组件包括:第二计算单元，用于利用关于图像模糊 的深度卷积网络计算待检测人脸图像的模糊程度；W及第二判断单元，用于根据待检测人 脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；W及人脸遮挡检查组件包 括:第Ξ计算单元，用于利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个 或多个人脸关键部位的遮挡状态；W及第Ξ判断单元，用于根据待检测人脸图像中的一个 或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查。
[0020] 示例性地，人脸图像处理装置进一步包括:第一训练模块，用于基于第一训练人脸 图像集合通过深度学习方法训练神经网络，W得到关于人脸姿态的深度卷积网络，其中，第 一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。
[0021] 示例性地，人脸图像处理装置进一步包括:第二训练模块，用于基于第二训练人脸 图像集合通过深度学习方法训练神经网络，W得到关于图像模糊的深度卷积网络，其中，第 二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。
[0022] 示例性地，人脸图像处理装置进一步包括:第一图像获得模块，用于获得第一初始 人脸图像集合；W及卷积模块，用于利用预定高斯核和预定运动模糊核对第一初始人脸图 像集合中的每个初始人脸图像进行卷积，W生成第二训练人脸图像集合。
[0023] 示例性地，第Ξ计算单元包括:提取子单元，用于从待检测人脸图像中提取包含一 个或多个人脸关键部位的至少一个图像块；W及计算子单元，用于利用与一个或多个人脸 关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算至少一个图像块中的 每一个中的对应的人脸关键部位的遮挡状态。
[0024] 示例性地，人脸图像处理装置进一步包括:第Ξ训练模块，用于分别基于与一个或 多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网 络，W得到与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网 络，其中，一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。
[0025] 示例性地，人脸图像处理装置进一步包括:第二图像获得模块，用于对于一个或多 个人脸关键部位中的每一个，获得第二初始人脸图像集合和第Ξ初始人脸图像集合，其中， 该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第Ξ初始人 脸图像集合中被遮挡；W及样本提取模块，用于对于一个或多个人脸关键部位中的每一个， 从第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键 部位对应的训练图像块集合中的正样本，并且从第Ξ初始人脸图像集合中提取负样本图像 块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，负样本图像块中的该 人脸关键部位被遮挡。
[0026] 示例性地，人脸图像处理装置进一步包括:第二质量评估模块，用于基于待检测人 脸图像的光照情况评估待检测人脸图像的质量；W及综合质量评估模块，用于根据第一质 量评估模块的第一评估结果W及第二质量评估模块的第二评估结果综合评估待检测人脸 图像的质量。
[0027] 示例性地，第二质量评估模块包括:计算子模块，用于利用灰度直方图特征计算待 检测人脸图像的光照情况；W及判断子模块，用于根据待检测人脸图像的光照情况判断待 检测人脸图像是否通过光照检查，如果所述待检测人脸图像通过所述光照检查，则确定所 述待检测人脸图像的质量合格。
[0028] 示例性地，计算子模块包括:直方图获得单元，用于分别针对待检测人脸图像中的 一个或多个人脸区域抽取灰度直方图特征，W获得一个或多个待检测直方图；亮度计算单 元，用于计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，W获得 与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，一个或多个直方图 位置分别具有各自的预定亮度值均值；W及光照确定单元，用于如果在一个或多个待检测 亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阔值，贝U 确定待检测人脸图像未通过光照检查。
[0029] 示例性地，人脸图像处理装置进一步包括:第Ξ图像获得模块，用于获得第Ξ训练 人脸图像集合;直方图获得模块，用于对于第Ξ训练人脸图像集合中的每一个训练人脸图 像，分别针对该训练人脸图像中的一个或多个人脸区域抽取灰度直方图特征，W获得与该 训练人脸图像相关的一个或多个训练直方图；亮度计算模块，用于对于第Ξ训练人脸图像 集合中的每一个训练人脸图像，计算一个或多个训练直方图中的每一个的特定百分比位置 处的亮度值，W获得与该训练人脸图像相关的、与一个或多个直方图位置一一对应的一个 或多个训练亮度值；W及均值计算模块，用于对于一个或多个直方图位置中的每一个，计算 与第Ξ训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训 练亮度值的均值，W获得该直方图位置的预定亮度值均值。
[0030] 根据本发明实施例的人脸图像处理方法和装置，利用训练好的深度卷积网络可W 准确评估待检测人脸图像的质量，有助于提高人脸识别的准确性。
【附图说明】
[0031] 通过结合附图对本发明实施例进行更详细的描述，本发明的上述W及其它目的、 特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明 书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中， 相同的参考标号通常代表相同部件或步骤。
[0032] 图1示出用于实现根据本发明实施例的人脸图像处理方法和装置的示例电子设备 的示意性框图；
[0033] 图2示出根据本发明一个实施例的人脸图像处理方法的示意性流程图；
[0034] 图3示出根据本发明一个实施例的人脸图像处理装置的示意性框图；W及
[0035] 图4示出根据本发明一个实施例的人脸图像处理系统的示意性框图。
【具体实施方式】
[0036] 为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根 据本发明的示例实施例