本发明涉及一种评测方法，尤其是涉及一种适合公安实战的人脸识别算法评测方法。
背景技术：
：人脸算法在公安实战领域主要有以下应用形式：第1类是1:n比对，对未知身份的人像，查询其在给定人像库中与其最相似的k个人像；第2类是n:n比对，对两个库进行交叉比对，通过相似度判定两个库中是否有相同人员。在1:n比对中，人像库通常很大，如几百万到几千万常住(或暂住)人口，公安人员在获得最相似的k个人像后可通过后期排查确认其身份。在n:n比对中，目的是筛选出身份洗白的犯罪嫌疑人，n指的较小的人像库，例如在逃人员库(10万数量级)，n是指较大的人像库如常住(或暂住)人员库。对人脸识别算法有效性的评测最早从学术界而来，然而学术界的评测方法并不完全适用于公安实战领域，主要原因如下：1.比对类型不匹配：学术界的比对更多侧重于1:1比对，即判定2个人像是否为统一人，该比对形式更适用于民用场景，在公安实战场景中很少使用。2.数据量级不匹配：学术界上测试集的数据较小，通常在1万量级以下，与公安实战要求的千万量级无法匹配。有经验表明，当人像库量级放大100倍后，1:n比对的准确率可能会急剧下降。3.数据类型不匹配：在1:n比对中，虽然查询照可能质量较差，但n所指代的大库通常是证件照类型，具有高清、姿态统一等特点。对类似这样固定拍摄质量的人像比对，识别算法通常会做特定优化，如果用学术界数据则无法测试出算法的特点。除了学术界外，各类机构也进行过人脸识别算法的测试，但是测试时候容易将测试难度简化，从而减少了对实战的借鉴意义，例如，查询数据都选用了高清的近照，这样的数据容易采集但会使算法性能偏高许多。为了测试公安实战中的人脸识别算法，数据应该从真实场景而来，涵盖多种情况下的人像照片，并且显式对数据进行区分不同难度的数据集合，测得算法在不同难度下的水平，避免因为某类照片太多导致结果偏好或偏差。技术实现要素：本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适合公安实战的人脸识别算法评测方法。本发明的目的可以通过以下技术方案来实现：一种适合公安实战的人脸识别算法评测方法，包括：建库测试：输入样本图片数据库，由搭载待测算法的程序建立人像库，并采集程序的建库速度和入库率；识别测试：输入多张待识别图片，由程序从其建立的人像库中为每一张待识别图片选取最接近的设定数目的图片；结果评价：根据建库测试和识别测试的结果，得到对于该程序的评价。所述识别测试过程输入的待识别图片包括：简单组：包括证件照类图片；一般组：包括入所照类图片、盘查照类图片、监控视频截图类图片；复杂组：包括表情变化图片组，光照变化图片组、年龄变化图片组、姿态变化图片组、装饰遮挡图片组。所述表情变化图片组包括：嘴部轻微表情变化类图片、眼部轻微表情变化类图片、嘴部明显表情变化类图片、眼部明显表情变化类图片，所述光照变化图片组包括：强光与高光类图片、夜晚弱光类图片、阴阳脸类图片，所述年龄变化图片组包括：轻微年龄变化类图片、中等年龄变化类图片，显著年龄变化类图片，所述姿态变化图片组包括：侧脸类图片、仰头类图片、低头类图片，所述装饰遮挡图片组包括：佩戴眼镜类图片、短刘海类图片、长刘海类图片。所述建库测试中输入的样本图片数据库中混有多张无人脸图片，所述结果评价包括：接收建库失败的样本图片清单，若建库失败的样本图片清单中，包含的无人脸图片不足所有无人脸图片的80％，判定测试结果为入库率指标不合格。所述结果评价包括：载入建库速度和入库率；得到软件对各待识别图片的识别结果；根据载入建库速度和入库率和各待识别图片的识别准确率输出对于该程序的评价结果。所述得到软件对各待识别图片的识别结果，包括：判断程序从其建立的人像库中为每一张待识别图片选取最接近的图片是否为该待识别图片对应的图，若为是，则该待识别图片首位识别结果正确，反之，该待识别图片首位识别结果错误；判断程序从其建立的人像库中为每一张待识别图片选取最接近的设定数目的图片中识别包含图该待识别图片对应的图片，若为是，则该待识别图片综合识别结果正确，反之，该待识别图片合识别结果错误。所述结果评价包括：载入建库速度和入库率；得到软件对各待识别图片的识别结果；根据载入建库速度和入库率和各待识别图片的识别准确率输出对于该程序的评价结果。所述得到软件对各待识别图片的识别结果，包括：判断程序从其建立的人像库中为每一张待识别图片选取最接近的图片是否为该待识别图片对应的图，若为是，则该待识别图片首位识别结果正确，反之，该待识别图片首位识别结果错误；判断程序从其建立的人像库中为每一张待识别图片选取最接近的设定数目的图片中识别包含图该待识别图片对应的图片，若为是，则该待识别图片综合识别结果正确，反之，该待识别图片合识别结果错误。所述根据载入建库速度和入库率和各待识别图片的识别准确率输出对于该程序的评价结果，包括：根据入建库速度和入库率得到对该程序的建库测试的评价结果；根据各类待识别图片的识别准确率，得到对该程序的识别测试的评价结果。所述根据各类别待识别图片的识别准确率，得到对该程序的识别测试的评价结果，包括：根据各类待识别图片的首位识别结果的识别准确率，得到对该程序的识别测试的首位评价结果，根据各类待识别图片的综合识别结果的识别准确率，得到对该程序的识别测试的综合评价结果；根据对该程序的识别测试的首位评价结果、综合评价结果得到对该程序的识别测试的评价结果。与现有技术相比，本发明具有以下有益效果：1)同时对建库过程和识别过程进行了测试，识别过程对1：n测试中查询照数据明确地划分了多个数据集合，其中有按照不同的照片类型(如证件照或入所照)划分的，也有按照影响人脸样貌的因素(如表情和光照影响)划分的，特别地，还加入了不同年龄差异大小的组别，对实战中老照片的使用性能有了借鉴。2)测试数据规模大，要求达到百万量级以上，其测试结论适用于大多数地市，甚至省级的人像识别应用。此外用不带人像的照片作为干扰项的方式，正确评价了人像建库的入库率。3)对不同照片质量的人像给出了详细的描述和图片样例，使得该测试方法有良好的实际可操作性。4)测试过程中统一硬件等物理环境，确保测试对象即人脸识别算法不受影响，测试结论的可信度高。5)建库完成后，需给出未成功建模的图片列表，该列表中必须包含无人脸图片列表的80％以上，否则入库率指标不合格，可以防止系统默认入库所有图片。6)同时考察首位命中率和综合命中率，评价结果更加科学。附图说明图1为本发明方法的主要步骤流程示意图。具体实施方式下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。一种适合公安实战的人脸识别算法评测方法，如图1所示，包括：建库测试：输入样本图片数据库，由搭载待测算法的程序建立人像库，并采集程序的建库速度和入库率；识别测试：输入多张待识别图片，由程序从其建立的人像库中为每一张待识别图片选取最接近的设定数目的图片，即采用1：n测试方式；结果评价：根据建库测试和识别测试的结果，得到对于该程序的评价。在本实施例中，该方法分为两个过程，第一是测试的准备过程：收集测试数据，确定硬件等物理环境，确定测试结果输出形式，确定评分方式与权重；硬件采用1台识别测试服务器(dellr910服务器；配置为cpu：4颗intele7-4870/1核；内存：128g；硬盘：raid5，可用空间500g左右)、1个移动硬盘用作数据与结果拷贝，以及千兆网络等其他环境。第二是具体操作过程，包括：待测软件部署，数据下放，收集算法输出结果，以及给出最后评测分数。其中，对于建库测试：建库包含读取人像数据库，并建立人脸模型的过程。测试数据量级需在100万以上，该项测试过程中的人像库将同时作为后续识别测试的比对库。该过程要求速度快，人像入库率高，包含2个指标：建模速度、入库率，为防止系统默认入库所有图片，建库完成后，需给出未成功建模的图片列表，该列表中必须包含无人脸图片列表的80％以上，否则入库率指标不合格。建库测试输出如下形式表格表1所示表1建库失败列表320350xxxxxxxx.jpg320350xxxxxxxx.jpg...对于识别测试(或称1：n测试)：1:n测试包含依次读取查询图片，并输出与指定人像库中最相似的10张人像身份证id的过程。其中，为充分考虑到人脸识别的复杂性，1:n测试衡量了多种状态下的人像命中率，共包括9个大类指标，每个指标对应的查询照需在100张以上：a)9大类指标：证件照命中率、入所照命中率、盘查照命中率、监控视频截图命中率、表情变化组命中率、光照变化组命中率、姿态变化组命中率、年龄变化组命中率，和装饰遮挡组命中率；b)表情变化分组4个指标：嘴部轻微表情分组命中率、眼部轻微表情分组命中率、嘴部明显表情分组命中率、眼部明显表情分组命中率；c)光照变化分组3个指标：强光与高光分组命中率、夜晚弱光分组命中率、阴阳脸分组命中率；d)姿态变化分组3个指标：侧脸分组命中率、仰头分组命中率、低头分组命中率；e)年龄变化分组3个指标：轻微年龄变化(3年以内)分组命中率、中等年龄变化(3年到10年)分组命中率，显著年龄变化(10年以上)分组命中率；f)装饰遮挡分组3个指标：眼镜分组命中率、短刘海分组命中率、长刘海分组命中率。对应的，识别测试过程输入的待识别图片包括：简单组：包括证件照类图片；一般组：包括入所照类图片、盘查照类图片、监控视频截图类图片；复杂组：包括表情变化图片组，光照变化图片组、年龄变化图片组、姿态变化图片组、装饰遮挡图片组。表情变化图片组包括：嘴部轻微表情变化类图片、眼部轻微表情变化类图片、嘴部明显表情变化类图片、眼部明显表情变化类图片，光照变化图片组包括：强光与高光类图片、夜晚弱光类图片、阴阳脸类图片，年龄变化图片组包括：轻微年龄变化类图片、中等年龄变化类图片，显著年龄变化类图片，姿态变化图片组包括：侧脸类图片、仰头类图片、低头类图片，装饰遮挡图片组包括：佩戴眼镜类图片、短刘海类图片、长刘海类图片。其中每类图片的数目都在50张及以上。识别测试结果输出如下形式表格表2所示表2结果评价包括：载入建库速度和入库率；得到软件对各待识别图片的识别结果；根据载入建库速度和入库率和各待识别图片的识别准确率输出对于该程序的评价结果。其中：得到软件对各待识别图片的识别结果，包括：判断程序从其建立的人像库中为每一张待识别图片选取最接近的图片是否为该待识别图片对应的图，若为是，则该待识别图片首位识别结果正确，反之，该待识别图片首位识别结果错误；判断程序从其建立的人像库中为每一张待识别图片选取最接近的设定数目的图片中识别包含图该待识别图片对应的图片，若为是，则该待识别图片综合识别结果正确，反之，该待识别图片合识别结果错误。根据载入建库速度和入库率和各待识别图片的识别准确率输出对于该程序的评价结果，包括：根据入建库速度和入库率得到对该程序的建库测试的评价结果；根据各类待识别图片的识别准确率，得到对该程序的识别测试的评价结果。根据各类别待识别图片的识别准确率，得到对该程序的识别测试的评价结果，包括：根据各类待识别图片的首位识别结果的识别准确率，得到对该程序的识别测试的首位评价结果，根据各类待识别图片的综合识别结果的识别准确率，得到对该程序的识别测试的综合评价结果；根据对该程序的识别测试的首位评价结果、综合评价结果得到对该程序的识别测试的评价结果。具体的，评分方式与权重具表3和表4所示其中建库测试如表3所示，表3识别测试如表4所示表4当前第1页12