一种指纹比对系统的关键性能指标的测评系统和方法与流程

本发明涉及人口管理领域，具体涉及一种指纹比对系统的关键性能指标的测评系统和方法。

背景技术：

由于生物特征具有良好的不可替代性，利用人脸、指纹等生物识别技术可以有效发现和甄别嫌疑人员，提高身份验证、信息核查及黑名单人员快速识别等管理工作效能。为公正客观地评价指纹比对算法及引擎的可行性和关键技术性能指标，必须建立一套标准的、完整的评测指标体系和相应的评测系统。

目前并没有对指纹比对算法及引擎的可行性和关键技术性能指标进行公证客观评价的评测方案。

技术实现要素：

针对上述技术问题，本发明提供一种指纹比对系统的关键性能指标的测评系统和方法，用以对指纹比对系统的关键性能指标进行评测，为各比对算法及引擎在实际业务中的应用提供指标依据，为公安部出入境管理局生物识别系统软件项目的算法选型提供检测平台，为指纹比对算法及引擎的关键性能指标提供技术标准。

本发明采用的技术方案为：

本发明实施例提供一种指纹比对系统的关键性能指标的测评系统，包括：

评测指标体系构建模块，用于构建对受测单位的指纹比对算法及引擎进行测评的评测指标；评测数据获取模块，用于获取进行评测的指纹评测数据；数据库接口授权模块，用于为受测单位提供访问接口以访问所述测评系统的数据库，所述数据库存储有所述指纹评测数据；评测模块，所述评测模块包括第一评测模块和第二评测模块；所述第一评测模块用于对受测单位的指纹比对算法及引擎的指纹建模和模板比对性能进行测评；所述第二评测模块用于对所述指纹比对算法及引擎的并发性能进行测评；评测结果处理模块，用于基于所述评测模块测评的数据对所述评测指标的指标值进行计算，并生成相应的评测结果。

可选地，所述评测数据获取模块包括测试库数据获取单元和探测库数据获取单元，所述测试库获取单元，用于从预设的数据库中获取第一数量的人口数据；所述探测库数据获取单元，用于从所述预设的数据库中获取第二数量的人口数据；所述第一数量的人口数据和所述第二数量的人口数据组成评测比对数据，并且所述第二数量的人口数据的部分数据来自于所述第一数量的人口数据。

可选地，所述第二数量的人口数据按照年龄、性别、种族、国籍通过预设比例参数抽取。

可选地，所述第一评测模块包括：指纹建模单元，用于通过调用所述受测单位的指纹比对算法及引擎的指纹建模程序进行图像建模，对图像建模的开始时间和结束时间进行记录；模板比对单元，用于通过调用所述受测单位的指纹比对算法及引擎的模板比对程序进行模板对比，对模板对比的开始时间和结束时间进行记录；所述指纹比对算法及引擎通过所述访问接口利用所述数据库的测评数据进行指纹建模和模板比对。

可选地，所述第二评测模块包括：模拟流程记录单元，用于通过调用并发工具对操作所述受测单位的指纹比对算法的操作流程进行记录；并发建模比对单元，用于通过调用并发工具模拟预设并发数量的终端请求执行所述操作流程，记录所述预设并发数量和所述预设并发数量对应的响应时间。

可选地，所述评测指标包括第一评测指标和第二评测指标，所述第一评测指标用于对指纹比对算法及引擎的指纹建模和模板比对性能进行评价，所述第二测评指标用于对指纹比对算法及引擎的并发性能进行评价。

本发明另一实施例提供一种指纹比对系统的关键性能指标的测评方法，包括：构建对受测单位的指纹比对算法及引擎进行测评的评测指标；获取进行评测的指纹评测数据；为受测单位提供访问接口，所述访问接口用于访问所述指纹评测数据；分别对受测单位的指纹比对算法及引擎的指纹建模和模板比对性能以及并发性能进行测评，生成第一测评数据和第二测评数据；

基于所生成的第一测评数据和第二测评数据，对所述评测指标的指标值进行计算，并生成相应的评测结果。

可选地，所述获取进行评测的指纹评测数据具体包括：从预设的数据库中获取第一数量的人口数据和第二数量的人口数据；所述第一数量的人口数据和所述第二数量的人口数据组成评测比对数据，并且所述第二数量的人口数据的部分数据来自于所述第一数量的人口数据。

可选地，对受测单位的指纹比对算法及引擎的指纹建模和模板比对性能进行测评，生成第一测评数据包括：通过调用所述受测单位的指纹比对算法及引擎的指纹建模程序进行图像建模，对图像建模的开始时间和结束时间进行记录；通过调用所述受测单位的指纹比对算法及引擎的模板比对程序进行模板对比，对模板对比的开始时间和结束时间进行记录；基于记录的图像建模的开始时间和结束时间和模板对比的开始时间和结束时间生成第一测评数据。

可选地，对受测单位的指纹比对算法及引擎的并发性能进行测评，生成第二测评数据包括：通过调用并发工具对操作所述受测单位的指纹比对算法的操作流程进行记录；通过调用并发工具模拟预设并发数量的终端请求执行所述操作流程，记录所述预设并发数量和所述预设并发数量对应的响应时间；基于记录预设并发数量和所述预设并发数量对应的响应时间生成所述第二测评数据。

本发明实施例提供的指纹比对系统的关键性能指标的测评系统和方法，首先构建用于对指纹对比对算法及引擎进行测评的评测指标，然后基于采集的指纹数据，对指纹对比对算法及引擎进行评测，生成评测数据，并利用生成的评测数据对构建的评测指标的指标值进行计算，以获得对指纹对比对算法及引擎的评测结果，能够为各比对算法及引擎在实际业务中的应用提供指标依据，为公安部出入境管理局生物识别系统软件项目的算法选型提供检测平台，为指纹比对算法及引擎的关键性能指标提供技术标准。

附图说明

图1为本发明实施例提供的指纹比对系统的关键性能指标的测评系统的结构框图；

图2和图3分别是本发明实施例提供的指纹比对系统的关键性能指标的测评系统进行评测的具体流程示意图；

图4为本发明实施例提供的指纹比对系统的关键性能指标的测评方法的流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

图1为本发明实施例提供的指纹比对系统的关键性能指标的测评系统的结构框图。如图1所示，本发明实施例提供的指纹比对系统的关键性能指标的测评系统包括：评测指标体系构建模块1，用于构建对受测单位的指纹比对算法及引擎进行测评的评测指标；评测数据获取模块2，用于获取进行评测的指纹评测数据；数据库接口授权模块3，用于为受测单位提供访问接口以访问所述测评系统的数据库，所述数据库存储有所述指纹评测数据；评测模块4，所述评测模块包括第一评测模块和第二评测模块；所述第一评测模块用于对受测单位的指纹比对算法及引擎的指纹建模和模板比对性能进行测评；所述第二评测模块用于对所述指纹比对算法及引擎的并发性能进行测评；评测结果处理模块5，用于基于所述评测模块测评的数据对所述评测指标的指标值进行计算，并生成相应的评测结果。

在本发明实施例中，评测指标体系构建模块1主要为对评测指标进行定义，评测指标能够反映指纹比对算法及引擎的优劣势，指标权重的分配合理，评分计算方法符合实际业务需求，其技术关键点包括：评测指标定义要兼顾指纹批量建模性能、指纹查重比对性能、指纹接口服务并发性能；指标的评分公式经过实际测试，结合标准，经过专家评审得出。

在本实施例中，评测指标可包括第一评测指标和第二评测指标，所述第一评测指标用于对指纹比对算法及引擎的指纹建模和模板比对性能进行评价，所述第二测评指标用于对指纹比对算法及引擎的并发性能进行评价。在一具体实施例中，第一评测指标可包括建模速度、首位匹配率、预设匹配率下的误报率以及比对速度等指标。在一具体示例中，预设匹配率下的误报率可包括匹配率95％时的误报率、匹配率97％时的误报率、匹配率99％时的误报率等指标，第二评测指标可包括并发数为n的比对响应时间等指标，在一具体示例中，可包括并发数为1的比对响应时间、并发数为3的比对响应时间、并发数为5的比对响应时间和并发数为10的比对响应时间等指标。其中，建模速度是指单位时间内完成测试库中指纹的建模的数量，其中建模是指从指纹数据库中读取图片，进行指纹分析提取特征数据，按照一定的格式存储入库的过程；首位匹配率是指在指纹比对结果中，目标指纹排名在第一位的百分比；预设匹配率下的误报率是指在预设匹配率下，探测库中某一样本pi与测试库中所有样本比对，返回结果集中与pi不是同一人的结果；比对速度是指单位时间内的指纹比对速度；并发数为n的比对响应时间是指针对一个指纹比对服务，n个客户端同时或一个客户端同时发起n个比对请求时，该指纹比对服务的响应时间。

在本实施例中，各评测指标的评分公式可如下所示：

可通过下述公式(1)来对建模速度进行评分：

可通过下述公式(2)来对首位匹配率进行评分：

可通过下述公式(3)来对预设匹配率下的误报率进行评分：

其中，预设匹配率下的误报数等于返回的前n位(最多5位)匹配结果中相似度大于等于阈值t的所有误报结果数，预设匹配率下的报警数等于返回的前n位(最多5位)匹配结果中相似度大于等于阈值t的所有结果数。其中阈值t为在确定匹配率下，查中结果中最小的相似度值，查中是指探测库中某一样本pi与测试库中所有样本比对，返回结果集中与pi是同一人的结果。

可通过下述公式(4)来对比对速度进行评分：

可通过下述公式(5)来对并发数为n的比对响应时间进行评分：

评测指标体系构建模块1中的各评分公式所用到的数据为评测数据获取模块2所获取的评测数据。上述各评测指标的评分值的优劣评判标准可根据实际情况来确定，可参考相关行业标准来设定。

需要注意的是，本发明实施例的各测评指标可根据实际情况进行任意设定，而不局限于本实施例所给出的具体测评指标。

在本实施例中，评测数据获取模块2获取的评测数据应符合实际业务场景，能够真实反应评测指标的关健技术性能，评测数据可通过出入境通关口岸获取。评测数据获取模块2可包括测试库数据获取单元和探测库数据获取单元。所述测试库获取单元，用于从预设的数据库中获取第一数量的人口数据；所述探测库数据获取单元，用于从所述预设的数据库中获取第二数量的人口数据；所述第一数量的人口数据和所述第二数量的人口数据组成评测比对数据，并且所述第二数量的人口数据的部分数据来自于所述第一数量的人口数据。此外，所述第二数量的人口数据按照年龄、性别、种族、国籍通过预设比例参数抽取。在本实施例中，来自于第一数量的人口数据的第二数量的人口数据可根据实际情况进行确定，以及年龄、性别、种族、国籍的预设比例参数也可根据实际情况确定，本发明对此不作特别限制。

在一具体示例中，评测数据获取模块2通过出入境各通关口岸的数据中抽取2000万枚测试库数据、5万枚探测库数据，组成评测比对数据，其中将完成5万枚对2000万枚的交叉比对，总计1万亿的比对次数。探测库数据将按年龄、性别、种族、国籍等条件通过比例参数抽取并平均分配到测试数据库服务器上，探测库数据中有4万枚数据来源于2000万测试库、1万枚数据来源于2000万以外为干扰数据，抽取的数据满足数据规模的同时符合数据质量要求，以验证指纹比对算法的性能、准确性等关健技术指标。

进一步地，本实施例中的数据库接口授权模块3主要控制受测单位在评测过程中对数据库的访问权限，通过系统接口或人工操作获得数据库连接，以记录受测单位准确的建模开始及结束时间、比对开始及结束时间，建模时间与比对时间是衡量指纹比对算法及引擎主要性能的关健指标。

进一步地，所述第一评测模块可包括：指纹建模单元，用于通过调用所述受测单位的指纹比对算法及引擎的指纹建模程序进行图像建模，对图像建模的开始时间和结束时间进行记录，用于衡量指纹比对算法及引擎真实的指纹图像建模成功率；模板比对单元，用于通过调用所述受测单位的指纹比对算法及引擎的模板比对程序进行模板对比，对模板对比的开始时间和结束时间进行记录，用于验证指纹比对算法及引擎在大规模数据下的比对策略及比对准确率；所述指纹比对算法及引擎通过所述访问接口利用所述数据库的测评数据进行指纹建模和模板比对。

进一步地，所述第二评测模块包括：模拟流程记录单元，用于通过调用并发工具对操作所述受测单位的指纹比对算法的操作流程进行记录；并发建模比对单元，用于通过调用并发工具模拟预设并发数量的终端请求执行所述操作流程，记录所述预设并发数量和所述预设并发数量对应的响应时间。具体地，模拟流程记录单元记录的操作流程可包括点击用户登录按钮，完成用户登录操作，再点击指纹比对按钮，调用比对接口服务，发送单条探测库指纹，接收比对结果入库，记录比对时间等。并发建模比对单元为系统调用并发工具，模拟n台终端n个并发进行并发测试，例如，模拟并发数为1、3、5、10的终端同时请求执行记录的操作流程，并记录每个并发数所对应的响应时间，并发比对响应时间为百万人级指纹测试的重要指标。

进一步地，评测结果处理模块5具体基于评测模块4生成的评测数据，包括图像建模的开始时间和结束时间、模板对比的开始时间和结束时间、以及并发数量和并发数量对应的响应时间等，利用评测指标体系构建模块1构建的评测指标的评分公式对各测评指标进行计算，得到各个测评指标的指标值，为指纹比对算法及引擎的指标优劣提供分析、选型依据。

在一具体实施例中，如图2和图3所示，本发明实施例提供的指纹比对系统的关键性能指标的测评系统可通过如下两个流程来完成对受测单位的指纹比对算法及引擎进行测评：

算法评测流程：如图2所示，评测中心可分六步进行算法评测，第一步初始化评测环境及评测数据，提供统一的评测设备及规定的评测周期；第二步评测受理，登记受测单位信息及评测算法信息；第三步受测单位准备评测软件环境部署调试，创建数据库环境；第四步受测单位开始评测，由评测单位记录评测开始时间、模板开始结束时间、比对开始结束时间，受测单位按照标准调用接口、存储数据；第五步评测中心备份受测单位建模及比对结果数据，重置评测环境，进入下一步，评测串行进行；第六步评测中心待所有算法评测完成后，统计计算评测结果。

并发模拟评测流程：如图3所示，评测中心可分六步进行并发模拟评测，第一步初始化评测环境及评测数据，提供统一的评测设备及规定的评测周期；第二步评测受理，登记受测单位信息及评测算法信息；第三步受测单位准备评测软件环境部署调试，创建数据库环境；第四步受测单位开始评测，评测中心通过并发工具调用接口，完成模拟程序的操作流程，包括点击用户登录按钮，完成用户登录操作，再点击指纹比对按钮，调用比对接口服务，发送单条探测库指纹，接收比对结果入库，记录比对时间，配置并发测试的性能参数，启动工具，进行并发测试并记录测试结果；第五步评测中心备份受测单位建模及比对结果数据，重置评测环境，进入下一步，评测串行进行；第六步评测中心待所有算法评测完成后，统计计算评测结果。

基于同一发明构思，本发明实施例还提供了一种指纹比对系统的关键性能指标的测评方法，由于该方法所解决问题的原理与前述指纹比对系统的关键性能指标的测评系统相似，因此该方法的实施可以参见前述系统的实施，重复之处不再赘述。

图4为本发明实施例提供的指纹比对系统的关键性能指标的测评方法的流程示意图。如图4所示，本发明实施例提供的指纹比对系统的关键性能指标的测评方法，包括以下步骤：

s210、构建对受测单位的指纹比对算法及引擎进行测评的评测指标。

s220、获取进行评测的指纹评测数据。

s230、为受测单位提供访问接口，所述访问接口用于访问所述指纹评测数据。

s240、分别对受测单位的指纹比对算法及引擎的指纹建模和模板比对性能以及并发性能进行测评，生成第一测评数据和第二测评数据。

s250、基于所生成的第一测评数据和第二测评数据，对所述评测指标的指标值进行计算，并生成相应的评测结果。

进一步地，步骤s210中的构建的评测指标包括第一评测指标和第二评测指标，所述第一评测指标用于对指纹比对算法及引擎的指纹建模和模板比对性能进行评价，所述第二测评指标用于对指纹比对算法及引擎的并发性能进行评价。

进一步地，步骤s220可具体包括：从预设的数据库中获取第一数量的人口数据和第二数量的人口数据；所述第一数量的人口数据和所述第二数量的人口数据组成评测比对数据，并且所述第二数量的人口数据的部分数据来自于所述第一数量的人口数据。以及，所述第二数量的人口数据按照年龄、性别、种族、国籍通过预设比例参数抽取。

进一步地，步骤s240可具体包括：

s241、通过调用所述受测单位的指纹比对算法及引擎的指纹建模程序进行图像建模，对图像建模的开始时间和结束时间进行记录；通过调用所述受测单位的指纹比对算法及引擎的模板比对程序进行模板对比，对模板对比的开始时间和结束时间进行记录；基于记录的图像建模的开始时间和结束时间和模板对比的开始时间和结束时间生成第一测评数据。

s242、通过调用并发工具对操作所述受测单位的指纹比对算法的操作流程进行记录；通过调用并发工具模拟预设并发数量的终端请求执行所述操作流程，记录所述预设并发数量和所述预设并发数量对应的响应时间；基于记录预设并发数量和所述预设并发数量对应的响应时间生成所述第二测评数据。

进一步地，步骤s250具体包括：基于步骤s240生成的评测数据，包括图像建模的开始时间和结束时间、模板对比的开始时间和结束时间、以及并发数量和并发数量对应的响应时间等，步骤s210构建的评测指标的计算公式对各测评指标进行计算，为指纹比对算法及引擎的指标优劣提供分析、选型依据。

本实施例中的方法可以利用上述实施例提供的系统来实现，方法的执行主体可以为系统中的各模块，具体的实现原理和过程可以参照前述实施例，此处不再赘述。

以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。