专利名称：一种人脸检测系统的评测方法及评测系统的制作方法
技术领域：
本发明涉及一种对人脸检测系统的性能进行评测的方法和系统。
背景技术：
人脸检测是指对图像进行检测，判断图像中是否有人脸，若有人脸则定位人脸，并输出人脸的位置、大小等信息。目前，研究者们提出的人脸检测方法，其性能都会受到图像中光照、人脸姿态、肤色、饰物、复杂的背景等变化的影响。
目前国际上还没有一种统一的人脸检测评测方法，也没用组织过正规的人脸检测评测工作。大部分的研究人员都是在自己的数据库上进行测试，测试的结果往往通过人工评判，以各自设定的评测标准来判断人脸检测的性能，这样做使得人脸检测方法的性能评价容易受到人的主观因素的制约，影响人脸检测的性能评价的准确性，而且导致了不同的人脸检测系统间无法进行统一的评估。设计一套对现有的人脸检测方法进行评测的方案，以检验各种人脸检测方法的检测效果，并对不同的人脸检测方法进行比较是非常有意义的工作。
发明内容
本发明的目的是提供一种人脸检测系统的评测方法及评测系统，该评测方法和评测系统采用统一的评测标准对不同的人脸检测系统进行性能评测，以降低对人脸检测系统做性能评测时的误差。
为了实现上述目的，提供一种人脸检测系统的评测方法，包括选择步骤，在所述含人脸的图像样本中选择出人脸核心区域，该人脸核心区域包含多个人脸特征点；检测步骤，用于使用人脸检测系统对含人脸的图像样本进行人脸检测，得到人脸检测区域；判断步骤，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸；评测指标计算步骤，用于根据所述判断步骤的判断结果形成评价所述人脸检测系统的评测指标。
上述技术方案中，在所述判断步骤中所述预先设定的判断标准包括标准一所述人脸检测区域至少包括所述多个人脸特征点中的至少一部分人脸特征点；标准二所述人脸检测区域与所述人脸核心区域的交集与所述人脸核心区域的比值大于或等于一预定的第一域值；标准三所述人脸检测区域与所述人脸核心区域的面积比小于或等于一预定的第二域值；当同时符合所述三个标准时，判断为正确检测出所述含人脸的图像样本中的人脸。
所述多个特征点包括两个眼睛中心点和一个嘴部中心点。
所述至少一部分人脸特征点包括至少一只眼睛的中心点和一个嘴部中心点。
所述的人脸核心区域为由所述多个特征点限定的最小外接矩形区域。
所述的第一域值是80％。
所述的第二域值是6。
一种应用于本发明的人脸检测评测方法的人脸检测评测系统，该评测系统实现对人脸检测系统检测性能的评测，该系统包括一计算机，其特征在于，该计算机包括第一存储模块，用于存储含人脸的图像样本数据；第二存储模块，用于存储待测的人脸检测系统对含人脸的图像样本进行人脸检测后输出的人脸检测区域数据；显示模块，用于将第一存储模块中存储的含人脸的图像样本数据显示在计算机屏幕上；标注模块，用于使用者在计算机屏幕上标注所述含人脸的图像样本的多个人脸特征点，并将使用者所述人脸特征点转换为所述人脸特征点在所述含人脸的图像样本中的坐标数据；选择模块，用于根据使用者标注的人脸特征点在所述含人脸的图像样本中选择出人脸核心区域，所述人脸核心区域包含所述的多个人脸特征点；判断模块，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸，并记录判断结果；评测模块，用于根据所述判断模块的判断结果形成评价所述人脸检测系统的评测指标。
所述判断模块包括三个判断单元，为第一判断单元，用于判断所述人脸检测区域是否至少包括所述多个人脸特征点中的至少一部分人脸特征点；第二判断单元，用于判断所述人脸检测区域与所述人脸核心区域的交集与所述人脸核心区域的比值是否大于或等于一预定的第一域值；第三判断单元，用于判断所述人脸检测区域与所述人脸核心区域的面积比是否小于或等于一预定的第二域值；当所述三个判断单元同时作出肯定的判断时，所述判断模块判定所述人脸检测系统正确检测出所述含人脸的图像样本中的人脸。
本发明为人脸检测系统提供了一套完整的评测方法和评测系统，采用统一的评测标准对不同的人脸检测系统性能进行评测，使得不同的人脸检测系统间具有可比性，克服了现有技术中采用不同的评测方法和系统对人脸检测系统进行评测时可能产生的评测误差。通过本发明提供的评测方法和评测系统，可以考核人脸检测系统在不同条件下的检测性能，帮助系统发现人脸检测核心算法上存在的问题，有利于推动人脸检测技术的发展，同时帮助算法研究单位发现新的问题，寻找新的研究方向。
图1是本发明的人脸检测评测系统的组成示意图；图2是本发明的人脸检测系统评测方法的流程图；图3为人脸面部特征点的标注示意图；
图4为人脸核心区域ROI的示意图。
具体实施例方式
下面结合附图和具体实施方式
对本发明方法及系统进行详细描述。
如图1中的虚框所示，本发明的人脸检测评测系统包括第一存储模块、第二存储模块、显示模块、标注模块、选择模块、判断模块和评测模块。该人脸检测评测系统可用一计算机来实现，并用计算机中存储的专用软件来实现人脸检测评测系统中的各个组成模块。
图2示出了本发明的人脸检测系统评测方法的流程图，下面结合图1对本发明的方法和系统进行详细说明。
如图2所示，在步骤10中选择人脸检测评测样本。对某一人脸检测系统进行评测之前需要选择多个评测样本。评测样本是指用来评测人脸检测性能高低的静态图像。为了全面评判一个人脸检测系统，评测样本应该具有多样性，如所选择的图像要有多种不同的尺寸；图像中要有多种不同的人脸个数；图像中要有多种不同的人脸大小尺寸；人脸可以有光照、姿态、肤色、饰物、复杂的背景等变化。
在一个实施例中，用2000幅图像作为人脸检测评测样本，图像的文件格式为24bit彩色的BMP图像。为了使得这些图像具有多样性，因此这些图像大小在100*100像素到1000*1000像素范围内变化，每幅图像含有单人脸、多人脸和无人脸等情况，人脸大小在20*20像素到300*300像素范围内变化，人脸姿态在平面内旋转和深度旋转45度以内，并且部分人脸有轻微的光照变化。在实际应用中，根据具体的评测重点，评测数据的选择可以有所不同，比如可以加大图像数目，或增加人脸的旋转角度以测试更加全面的人脸检测系统等。
此外，评测样本的选取应该和在评测时所选取的评测标准相适应。在后面的描述中可知，在本发明的一个实施例中，将人脸的两个眼睛的中心点以及嘴部的中心点作为人脸特征点，相应地，那些人脸可能由于遮挡或旋转角度过大，使得人脸在图像中可能只有一个眼睛可见的图像最好不要作为样本而被选取，而将人脸的两个眼睛的中心点以及嘴部的中心点均可见的图像作为优选的评测样本。应当理解，在预先确定好评测标准后，依据所确定的评测标准进行人脸样本的选取是本领域的技术人员很容易做到的。
人脸检测评测样本的选择可通过人工实现，然后将选定的评测样本数据存放在计算机的第一存储模块中。
在步骤20中，在各评测样本图像上标注出人脸特征点，并根据这些人脸特征点得到人脸核心区域。第一存储模块中存储的人脸检测评测样本数据通过计算机的显示模块将含人脸的图像显示在计算机屏幕上，操作人员可通过计算机的输入装置(如鼠标)在计算机屏幕上标注出多个人脸特征点，然后计算机中的标注模块将操作人员所标注的人脸特征点转换为这些人脸特征点在含人脸的图像样本中的坐标数据。在这里，人脸特征点通常位于选择为人脸中的显著部位，如眼睛、鼻子或者嘴部等。在一个实施例中，人脸特征点可选择为人脸中两个眼睛的中心点和嘴部的中心点，如图3中用“+”所示出的人脸特征点。
标注出人脸特征点之后，计算机中的选择模块根据这些人脸特征点限定出人脸核心区域，该人脸核心区域要包含所选择的人脸特征点。在一个实施例中，当将人脸特征点选择为人脸中两个眼睛的中心点和嘴部的中心点时，人脸核心区域优选为一个这些特征点所确定的最小外接矩形区域，图4中的人脸部分的矩形框则示出了依据前述方法限定的人脸核心区域。
对所有的评测样本中和样本中所包含的所有人脸做前述类似的操作，得到各评测样本的人脸特征点及人脸核心区域。从下面的描述可知，这些人脸特征点和人脸核心区域将作为人脸检测的正确参考答案而用于对人脸检测系统的检测结果的后期评判。
在步骤30中，用待测的人脸检测系统对评测样本做人脸检测。如图1所示，在步骤10中所选择的人脸样本不仅要输入到计算机的第一存储模块中，还要将其输入到待测人脸检测系统中进行人脸检测。人脸检测系统进行人脸检测后，输出其检测结果，即人脸检测区域。人脸检测区域的相关数据记录在文件中并输入到人脸检测评测系统的第二存储模块中。
不同人脸检测系统的输出的人脸检测区域可能具有不同的输出格式，如有的人脸检测系统输出的人脸检测区域为圆形，有的为椭圆形，有的为带一定角度的长方形。以矩形的人脸检测区域为例，该人脸检测区域可以用纯文本格式来表示，如FD0001 2100 120 40 50150 250 50 60
FD0002 1200 200 80 80。
上述输出结果的第1～3行表示在图像FD0001中检测到两个人脸图像，这两个人脸图像包含在两个矩形框内，第一个人脸的矩形框左上角的横竖坐标点分别为100和120，该人脸的宽度为40，高度为50。第二个人脸的矩形框左上角的横竖坐标点分别为150和250，该人脸的宽度为50，高度为60。同样的，上述输出结果的第4～5行表示在图像FD0002中检测到一个人脸图像，该人脸的矩形框左上角的横竖坐标点分别为200和200，该人脸的宽度为80，高度为80。这些数据均作为人脸检测系统的检测结果存储在第二存储模块中。
在步骤40中，对人脸检测系统的检测结果进行评测。人脸检测评测系统中的判断模块从第二存储模块中得到人脸检测区域数据，从选择模块中得到人脸核心区域的数据，然后根据预先设定的判断标准对两个数据进行比较，从而判断人脸检测系统是否正确检测出含人脸的图像样本中的人脸。在一个实施例中，预先设定出如下三个判断标准标准一人脸检测区域至少包括多个人脸特征点中的至少一部分人脸特征点。人脸检测区域中是否包含一个人脸特征点，可用计算机中的标注模块得到的人脸特征点坐标数据与人脸检测区域的数据进行比较得到。标准一是为了保证人脸检测区域确实包含了人脸，而不是与人脸无关的其他部分。例如，在一个实施例中，当将人脸特征点选择为人脸中两个眼睛的中心点和嘴部的中心点时，可用该标准要求人脸检测区域中至少包含一只眼睛的中心点和嘴部中心点。
标准二人脸检测区域与人脸核心区域的交集与人脸核心区域的比值大于或等于一预定的第一域值。该标准可用来保证人脸检测区域包含了大部分的人脸核心区域，而不仅是人脸核心区域的一小部分。在一个实施例中，该第一域值可设定为80％，即要求人脸核心区域80％的部分要在人脸检测区域中出现。
标准三人脸检测区域与人脸核心区域的面积比小于或等于一预定的第二域值。该标准是为了保证人脸检测区域的面积不要过大，如果人脸检测区域过大甚至就是人脸所在的整个图像，则该人脸检测区域符合前两个标准，但实际上毫无意义。在一个实施例中，当将人脸特征点选择为人脸中两个眼睛的中心点和嘴部的中心点时，该第二域值可设定为6，即要求人脸检测区域的面积不超过人脸核心区域面积的六倍。
根据前述的三个判断标准，判断模块又可以相应地分为三个判断单元，分别为第一判断单元、第二判断单元和第三判断单元(图1未示出)。第一判断单元用于实现对判断标准一的判断，第二判断单元用于实现对判断标准二的判断，第三判断单元用于实现对判断标准三的判断。只有当同时符合所述三个标准时，才能判断为待测的人脸检测系统正确检测出含人脸的图像样本中的人脸，并由判断模块作出是或者否的判断至计算机中的评测模块。
在步骤50中，计算评测指标。评测模块根据判断模块的判断结果形成对人脸检测系统的评测指标。在一个实施例中，根据判断模块的判断结果可形成两个评测指标正确检测率和误报指数，其计算公式如下正确检测率(Correct Detection Rate) 误报指数(False Alarm)FA＝错误检测到的人脸数目其中，在正确检测率的计算公式中，正确检测到的人脸数目是在步骤40)评测人脸检测系统的检测结果后得到的检测正确的人脸数目，总的人脸数目是图像中所包含的所有的人脸数目，即对人脸检测样本进行标注后所得到的人脸数目；误报指数中的错误检测到的人脸数目也可从步骤40)的结果中直接得到。
在实际应用中，也可以增加其它的评测指标，例如每幅图像的平均处理时间，其计算公式为每幅图像的平均处理时间(单位毫秒/张) 利用上述这些评测指标即可对人脸检测系统的性能作出评估。在本发明中，不同的人脸检测系统均可按照本发明的方法和系统进行评测，以便在同一平台上对不同的人脸检测系统作出评价。
权利要求
1.一种人脸检测系统的评测方法，包括选择步骤，在所述含人脸的图像样本中选择出人脸核心区域，该人脸核心区域包含多个人脸特征点；检测步骤，用于使用人脸检测系统对含人脸的图像样本进行人脸检测，得到人脸检测区域；判断步骤，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸；评测指标计算步骤，用于根据所述判断步骤的判断结果形成评价所述人脸检测系统的评测指标。
2.根据权利要求1所述的人脸检测系统的评测方法，其特征在于，在所述判断步骤中所述预先设定的判断标准包括标准一所述人脸检测区域至少包括所述多个人脸特征点中的至少一部分人脸特征点；标准二所述人脸检测区域与所述人脸核心区域的交集与所述人脸核心区域的比值大于或等于一预定的第一域值；标准三所述人脸检测区域与所述人脸核心区域的面积比小于或等于一预定的第二域值；当同时符合所述三个标准时，判断为正确检测出所述含人脸的图像样本中的人脸。
3.根据权利要求2所述的人脸检测系统的评测方法，其特征在于，所述多个特征点包括两个眼睛中心点和一个嘴部中心点。
4.根据权利要求3所述的人脸检测系统的评测方法，其特征在于，所述至少一部分人脸特征点包括至少一只眼睛的中心点和一个嘴部中心点。
5.根据权利要求3所述的人脸检测系统的评测方法，其特征在于，所述的人脸核心区域为由所述多个特征点限定的最小外接矩形区域。
6.根据权利要求5所述的人脸检测系统的评测方法，其特征在于，所述的第一域值是80％。
7.根据权利要求5所述的人脸检测系统的评测方法，其特征在于，所述的第二域值是6。
8.一种应用于权利要求1所述方法的人脸检测评测系统，该评测系统实现对人脸检测系统检测性能的评测，该系统包括一计算机，其特征在于，该计算机包括第一存储模块，用于存储含人脸的图像样本数据；第二存储模块，用于存储待测的人脸检测系统对含人脸的图像样本进行人脸检测后输出的人脸检测区域数据；显示模块，用于将第一存储模块中存储的含人脸的图像样本数据显示在计算机屏幕上；标注模块，用于使用者在计算机屏幕上标注所述含人脸的图像样本的多个人脸特征点，并将使用者所述人脸特征点转换为所述人脸特征点在所述含人脸的图像样本中的坐标数据；选择模块，用于根据使用者标注的人脸特征点在所述含人脸的图像样本中选择出人脸核心区域，所述人脸核心区域包含所述的多个人脸特征点；判断模块，用于根据预先设定的判断标准对所述人脸检测区域和所述人脸核心区域进行比较，从而判断所述人脸检测系统是否正确检测出所述含人脸的图像样本中的人脸，并记录判断结果；评测模块，用于根据所述判断模块的判断结果形成评价所述人脸检测系统的评测指标。
9.根据权利要求8所述的人脸检测评测系统，其特征在于，所述判断模块包括三个判断单元，为第一判断单元，用于判断所述人脸检测区域是否至少包括所述多个人脸特征点中的至少一部分人脸特征点；第二判断单元，用于判断所述人脸检测区域与所述人脸核心区域的交集与所述人脸核心区域的比值是否大于或等于一预定的第一域值；第三判断单元，用于判断所述人脸检测区域与所述人脸核心区域的面积比是否小于或等于一预定的第二域值；当所述三个判断单元同时作出肯定的判断时，所述判断模块判定所述人脸检测系统正确检测出所述含人脸的图像样本中的人脸。
全文摘要
本发明公开一种人脸检测系统的评测方法，包括选择步骤，在图像样本中选择出人脸核心区域；检测步骤，使用人脸检测系统对含人脸的图像样本进行人脸检测；判断步骤，根据预先设定的判断标准对人脸检测区域和人脸核心区域进行比较，判断人脸检测系统是否正确检测出含人脸的图像样本中的人脸；评测指标计算步骤，根据判断步骤的判断结果形成评价人脸检测系统的评测指标。本发明方法的优点对人脸检测的效果提出了一套完整地评测方法，给出了一个统一的评价标准，降低了对人脸检测方法做性能评测时的误差；使不同的人脸检测系统间具有可比性；通过设计合理的评测数据，考核系统在不同条件下的检测性能，帮助系统发现人脸检测核心算法上存在的问题。
文档编号G06K9/00GK1808465SQ20051000178
公开日2006年7月26日 申请日期2005年1月21日 优先权日2005年1月21日
发明者刘宏, 林守勋, 钱跃良, 李锦涛 申请人:中国科学院计算技术研究所