本申请涉及图像处理技术，特别是一种图像处理方法和设备。
背景技术：
：在非受控条件下，如光照、相机抖动和被拍摄主体运动等，日常采集的图像和视频存在的大量低质量图像，如强背光图像，低光照图像和模糊图像等，对当前人脸识别和活体检测造成了极大的阻碍，成为影响人脸识别和活体检测效果的难点。为解决这一问题，对图像进行预处理是提高人脸检测和识别效果的常用方法。预处理就是对输入图像进行优化，从而尽可能去除或者减小光照、成像系统、外部环境等对待处理图像的干扰，提高后续处理质量。在人脸检测识别技术中，现有的图像预处理方法主要是针对不同图像类别的低质量图像进行处理，一般是在假设已知光照模型或者模糊模型基础上进行预处理，例如，对于不同光照条件下采集的图像，如背光图像，低光照图像等，一般进行全局统一的归一化处理，如直方图均衡化、灰度拉伸和滤波等；对于模糊图像进行去模糊处理等。目前，对于背光图像，通常的检测方法为：将输入图像进行分块计算亮度，再根据小块之间的亮度对比关系确定前景背景的亮度；对于模糊图像，通常的检测方法为：将输入图像的边缘图像进行分块计算锐化度或模糊度，从而研究整体图像的模糊程度。要改进现有人脸识别和活体检测算法的效果，对输入图像进行整体的预处理是一种重要的方法。然而，对已有人脸识别和活体检测方法而言，依然是基于相同正常条件下的图像，一般没有考虑低质量图像，人脸识别和活体检测在自然条件下采集的低质量图像上的效果较差，存在严重的错识错检问题。同时，已有的方法中，人脸识别算法使用的数据库一般具有相似或相近的光照条件，能达到令人满意的检测效果。但是在遇到一些与数据库中的图像差异比较大的图像,尤其是脸部区域差异较大时，其识别检测效果将大打折扣。图1a、图1b和图1c展示了这一问题，人脸识别和活体检测不能识别和检测低质量图像上的真实人脸：图1a给出了背光图像样例；图1b给出了低光照图像样例；图1c给出了模糊图像样例。技术实现要素：本申请提供一种图像处理方法，能够在活体检测和人脸识别中，有效实现图像质量的评估。为实现上述目的，本申请采用如下技术方案：一种图像处理方法，包括：对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。较佳地，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像进行cnn回归训练得到的，或者，每个图像类别对应的人脸图像回归模型是预先对相应图像类别的包括人脸的训练图像和高质量的包括人脸的训练图像进行cnn回归训练得到的。较佳地，在确定所述图像质量等级后，该方法还包括：根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。较佳地，预先训练每个图像类别对应的人脸图像回归模型的方式包括：对于每个训练图像，预先利用所述训练图像进行人脸检测和人脸识别，分别得到人脸检测结果图像和人脸识别概率分数；根据所述人脸检测结果图像和所述人脸识别概率分数，进行cnn回归训练，得到相应图像类别对应的人脸图像回归模型。较佳地，所述进行cnn回归训练包括：对于不同图像类别的训练图像，采用相同的cnn结构、卷积层参数和池化层参数进行cnn回归训练。较佳地，所述确定图像质量等级包括：利用每个图像类别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，得到每个图像类别对应的评估分数，再利用所有图像类别对应的评估分数确定所述图像质量等级。较佳地，利用所有图像类别对应的评估分数确定所述图像质量等级包括：利用所有图像类别对应的评估分数进行加权平均，将加权平均结果作为所述图像质量等级；或者，若任一图像类别对应的评估分数低于设定的回归模型阈值t，则将所述任一图像类别对应的评估分数作为所述图像质量等级，并结束比较过程。较佳地，所述确定进行活体检测和/或人脸识别时使用的阈值包括：预先设定图像质量等级与活体检测或人脸识别时使用的阈值之间的对应关系；根据所述对应关系，计算确定的图像质量等级对应的活体检测和/或人脸识别时使用的阈值。较佳地，所述图像类别包括：低光照类别、背光类别和/或模糊类别。一种图像处理设备，包括：人脸检测模块和图像质量评估模块；所述人脸检测模块，用于对待处理图像进行人脸检测后，将人脸检测的结果图像输出给所述图像质量评估模块；所述图像质量评估模块，用于利用多个图像类别分别对应的人脸图像回归模型，对所述人脸检测的结果图像进行图像质量评估，确定图像质量等级。较佳地，该设备还包括阈值确定模块，用于根据所述图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对所述人脸检测的结果图像进行的活体检测和/或人脸识别。由上述技术方案可见，本申请中，对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对人脸检测的结果图像进行图像质量评估，确定图像质量等级。通过上述方式，利用人脸图像回归模型，能够实现对低质量图像的有效质量评估。另外，进一步地，还可以根据确定出的图像质量等级，确定进行人脸识别和/或活体检测时使用的阈值，利用相应阈值对人脸检测的结果图像进行人脸识别和/或活体检测。这样，可以依据评估结果动态选取活体检测或人脸识别的阈值，从而针对不同质量的图像选用不同的活体检测和/或人脸识别标准，进而提高活体检测和/或人脸识别对于低质量图像的性能。附图说明图1a背光图像样例；图1b为低光照图像样例；图1c为模糊图像样例；图2为本申请中图像处理方法的基本流程示意图；图3为训练人脸图像回归模型的示意图；图4为cnn回归模型的示意图；图5为图像质量等级评定的示意图；图6为确定活体检测阈值的示意图；图7为确定人脸识别阈值的示意图；图8为本申请中图像处理设备的基本结构示意图；图9为训练cnn模型的效果示意图；图10为测试cnn模型的效果示意图。具体实施方式为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。本申请提供一种图像处理方法，通过引入多种不同图像类别的人脸图像模型，能够对人脸图像进行全方位的有效评估，提高图像质量评估的准确性。进一步地，在现有的活体检测和/或人脸识别方法中，需要将待处理图像进行处理后与预先设定的阈值进行比较，以进行有效的活体检测和/或人脸识别。在现有方法中，活体检测和/或人脸识别中的阈值在一种算法中通常是相对固定的，无论待处理图像质量如何，均需要通过图像预处理将其处理成更高质量的图像后，再与阈值进行比较。当图像质量很差时，如果通过图像预处理无法处理成与设定阈值相匹配的高质量图像，那么在与阈值进行比较后，可能就会导致错检误检以及无法识别的问题。基于此，本申请中的图像处理方法，在对人脸图像进行有效的质量评估的基础上，还可以依据评估结果动态选取活体检测和/或人脸识别的阈值，使阈值能够适应于待处理图像质量，从而避免由于待处理图像质量过低、阈值要求过高而导致的错检误检以及无法识别的问题，进而提高活体检测和/或人脸识别的性能。综上，本申请针对上述两个问题，本发明提出了一种新的基于cnn回归的iqa(图像质量评估)图像预处理方。本申请方法可以解决现有方法的技术缺陷，提高图像质量评估的准确性，还能够作为一个有效的人脸图像预处理方法应用到现有的大部分人脸认证方法中，进行结合并提升其性能，同时有较高的计算效率，具有广阔的应用前景。具体地，在与活体检测和/或人脸识别算法的结合方面，首先，针对低质量人脸图像活体检测时误检率高的问题，本申请提出的图像处理方法，利用基于共享cnn模型参数的低质量人脸图像回归模块，对所有输入人脸图像进行质量等级评估，利用多个低质量图像回归模型的质量评估分数调整活体检测的阈值。其次，针对低质量人脸图像识别难的问题，本申请提出的图像处理方法，利用基于共享cnn模型参数的低质量人脸图像回归模块，对所有输入人脸图像进行质量等级评估，利用多个低质量图像回归模型的质量评估分数调整人脸识别的阈值。图2为本申请中图像处理方法的基本流程示意图。如图2所示，该方法包括：步骤201，预先对每个图像类别的包括人脸的训练图像进行cnn回归训练，得到相应图像类别对应的人脸图像回归模型。为有效实现图像质量评估，需要预先训练不同图像类别对应的人脸图像回归模型。其中，可以根据实际需要以及图像特性对各种人脸图像进行分类，得到不同的人脸图像的图像类别，例如，人脸图像的图像类别可以包括低光照类别、背光类别和/或模糊类别等，当然，人脸图像的类别不限于此。对于每一种低质量人脸图像的图像类别，需要利用该类别的包括人脸的训练图像，进行cnn回归训练，得到该图像类别对应的人脸图像回归模型。这里用于训练的包括人脸训练图像通常是标准的该图像类别的低质量人脸图像，例如标准的背光图像等。或者，训练图像还可以包括高质量的包括人脸的训练图像。本步骤进行回归模型训练的处理可以预先完成并保存，在每次进行活体检测和/或人脸识别时，直接使用保存好的回归模型即可。步骤202，对待处理图像进行人脸检测后，利用多个图像类别分别对应的人脸图像回归模型，对人脸检测的结果图像进行图像质量评估，确定图像质量等级。利用步骤201中得到的各种图像类别对应的人脸图像回归模型，对人脸检测的结果图像进行质量评估。其中，人脸检测过程是在待处理图像中选取出人脸部分的处理。通常，本申请更适用于低质量图像的处理，因此，待处理图像通常为低质量的待处理图像。当然，也可以对其他质量的待处理图像进行处理，并不限定一定对低质量待处理图像进行处理。综合所有图像类别的回归模型对同一人脸检测结果图像的质量评估结果，确定待处理图像的质量等级。这样，可以有效看出待处理图像经过人脸检测后的结果图像在不同图像类别方面的质量水平，并给出一个综合的质量等级。至此，本申请中最基本的方法流程结束。在上述基本方法的基础上，还可以与活体检测和/或人脸识别方法结合，则执行以下处理：步骤203，根据步骤202确定的图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对人脸检测的结果图像进行活体检测和/或人脸识别。根据步骤202确定出的图像质量等级，对活体检测和/或人脸识别时使用的阈值进行动态调整，以适应于待处理图像的图像质量，再利用调整后的阈值进行活体检测和/或人脸识别，从而提高活体检测和/或人脸识别性能。下面，分别就上述图2中各个步骤的具体处理进行详细描述。其中，以人脸图像的图像类别包括背光、低光照和模糊三类为例进行说明。一、步骤201中的回归模型训练处理对于每个图像类别(背光、低光照和模糊类别)对应的人脸图像回归模型的训练过程包括：利用每个训练图像进行人脸检测和人脸识别，分别得到人脸检测结果图像和人脸识别概率分数；根据人脸检测结果图像和人脸识别概率分数，进行cnn回归训练，得到相应图像类别对应的人脸图像回归模型。具体如图3所示，首先，将训练图像进行人脸检测处理，得到人脸检测结果图像，再对该人脸检测结果图像进行特征点检测归一化处理和人脸识别处理，得到人脸识别概率分数；将人脸检测结果图像和与每一幅人脸训练图像对应的人脸识别概率分数用于cnn回归训练，训练出三类低质量人脸图像回归模型，即背光对应的低质量人脸图像回归模型、低光照对应的低质量人脸图像回归模型和模糊对应的低质量人脸图像回归模型。为提高训练模型的计算效果和节省存储空间，对于各个不同图像类别的回归模型训练，可以采用相同的cnn结构和卷积层及池化层参数。本申请中，用于训练三个图像类别的cnn回归模型可以如图4所示。具体地讲，cnn人脸图像回归模型的卷积神经网络可以采用多种网络结构。作为示例，如图4中所示，cnn人脸图像回归模型从左至右可包括输入层、7个隐层和输出层。其中，所述7个隐层从左至右依次为第一层卷积层(又称第一层过滤器层)、第一层池化层、第二层卷积层、第二层池化层、第三层卷积层、第三层池化层、和全连接层。所述cnn人脸图像回归模型可通过利用人脸图像数据库对所有的卷积层、池化层以及全连接层的参数进行训练来获得所有的卷积层、池化层以及全连接层的训练参数。具体地讲，图4中左起第一个图标(即，长方形)表示输入层，该长方形的高度48和深度48表示输入层是由48×48个神经元组成的矩阵，该矩阵对应于输入图像的48×48个像素点组成的像素点矩阵。图4中左起第二个图标为高度44、深度44和宽度32的长方体，该长方体表示输入图像经过第一层卷积层的卷积后得到的作为第一层卷积结果的32个特征图，其中，作为第一层卷积结果的32个特征图中的每一个特征图包括44×44个像素点。图4中左起第三个图标为高度22、深度22和宽度32的长方体，该长方体表示作为第一层卷积结果的32个特征图在经过第一层池化层的池化之后所得到的作为第一层池化结果的32个特征图，其中，作为第一层池化结果的32个表征图中的每一个特征图包括22×22个像素点。此外，第二层卷积层和第三层卷积层中的每一层的卷积过程与上述第一层卷积层的卷积过程类似，并且第二层池化层和第三层池化层中的每一层的池化过程与上述第一层池化层的池化过程类似，因此，这里不再进行重复描述。此外，图4中左起第八个图标(即，长方形)表示全连接层，全连接层下方的64表示该层包含64个神经元。图中左起第九个(即右起第一个)图标为长方形表示输出层，输出层输出对应回归模型的计算分数。全连接层中每个神经元都独立地与第三层池化层中的各神经元相连接。输出层中每个神经元都独立地与全连接层中的各神经元相连接。图4中，在训练三个图像类别的人脸图像模型时，cnn回归模型中间6个隐层的参数是共享的，以提高计算效率和节省存储空间，而全连接层的参数根据不同的图像类别是相互区别的。二、步骤202中的人脸图像质量评估处理对于待处理图像进行人脸检测后的结果图像，利用三个图像类别对应的人脸图像回归模型计算出人脸检测的结果图像在三个图像类别上的质量评估分数，再利用三个类别上的评估分数，综合评定图像质量等级，如图5所示。具体地，根据三个图像类别上的评估分数确定图像质量等级的处理可以根据需要设定多种策略。以下给出两个例子：1、可利用三个图像类别上的质量评估分数的加权平均值作为图像质量等级，例如，图像质量等级＝(低光照类别的质量评估分数+背光类别的质量评估分数+模糊类别的质量评估分数)/3；2、将各个图像类别对应的评估分数与设定的回归模型阈值t进行比较，若任一图像类别对应的评估分数低于所述回归模型阈值t，则将该任一图像类别对应的评估分数作为图像质量等级，并结束比较过程。可以设定所有图像类别的优先级，按照优先级由高到低的顺序，依次将各个图像类别对应的评估分数与设定的回归模型阈值t进行比较，例如，假定回归模型阈值t为0.5，设定低光照类别的优先级>背光类别的优先级>模糊类别的优先级，基于该优先级设置，先判断低光照类别的质量评估分数，如果低光照类别的质量评估小于t，则取低光照类别的质量评估分数为图像质量等级；如果其分数大于t，则认为该图像类别的计算结果图像为高质量图像，再判断背光类别的质量评估分数，如果背光类别的质量评估分数小于t，则取背光类别的质量评估分数为图像质量等级；如果背光类别的质量评估分数大于t，则认为该类别的计算结果图像为高质量图像，再判断模糊类别的质量评估分数，如果模糊类别的质量评估分数小于t，则取模糊类别的质量评估分数为图像质量等级。当然，根据不同图像类别的质量评估分数确定图像质量等级的方式不限于上述两种。三、步骤203中的阈值选择处理基于步骤202确定出的图像质量等级，确定活体检测和/或人脸识别的阈值。具体地，可以如图6和图7所示，预先设定图像质量等级与活体检测和/或人脸识别时使用的阈值之间的对应关系；查找图像质量等级与阈值的对应关系，计算确定的图像质量等级对应的活体检测和/或人脸识别时使用的阈值。图像质量等级与阈值的对应关系可以如表1所示。0<图像质量等级<0.30.3<图像质量等级<0.60.6<图像质量等级<0.1阈值0.90.70.5表1利用活体检测算法(例如基于深度卷积神经网络的分类算法，基于支持向量机和局部二值模式算子的分类算法)和/或人脸识别算法(例如，基于深度卷积神经网络的识别算法，结合前述人脸图像质量评估模块处理得出的图像质量等级，动态选取的活体检测和/或人脸识别时使用模块的阈值，进行活体检测和/或人脸识别，以达到针对不同质量图像选用不同标准进行活体检测和/或人脸识别，从而获得更鲁棒的效果。上述即为本申请中图像处理方法的具体实现。本申请还提供了一种图像处理设备，可以用于实施上述方法。图8为该设备的基本结构示意图。如图8所示，该设备包括：人脸检测模块和图像质量评估模块。其中，人脸检测模块，用于对待处理图像进行人脸检测后，将人脸检测的结果图像输出给图像质量评估模块。图像质量评估模块，用于利用多个图像类别分别对应的人脸图像回归模型，对人脸检测的结果图像进行图像质量评估，确定图像质量等级。另外，当该设备用于进行活体检测和/或人脸识别时，还可以进一步包括阈值确定模块，用于根据图像质量等级，确定进行活体检测和/或人脸识别时使用的阈值，用于对人脸检测的结果图像进行的活体检测和/或人脸识别。申请人在收集的人脸图像库上进行了算法性能的比较。其中，低光照+清晰图像用于训练低光照图像回归模型，背光+清晰图像用于训练背光图像回归模型，模糊+清晰图像用于训练模糊图像回归模型。其中训练集用于训练cnn模型，测试集用于测试模型效果，测试结果分布如图9和图10所示。由该测试结果可见，本申请中训练模型，其检测结果与实际图像的匹配度较高，因此，利用该模型能够有效提高了图像处理性能。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。当前第1页12