人口信息人像比对系统关键性能指标评测方法与流程

本发明涉及人口管理领域，具体而言，涉及一种人口信息人像比对系统关键性能指标评测方法。

背景技术：

为解决虚假身份、多重户口、一人多证、漂白身份等历史遗留问题，公安部部级人口信息人像比对系统将建立超12亿人口规模的人像比对引擎，为公正客观地评价人像比对算法及引擎的可行性和关键技术性能指标，必须建立一套标准的、完整的评测指标体系和相应的评测系统，现行的人像比对评测方法不能满足大规模查重比对优化的业务需求。

通过公安部部级人口信息管理系统高效提取评测数据，建立面向大规模查重比对优化的人像比对技术评测指标体系及评测系统，并利用其对比对算法及引擎进行评测，为各比对算法及引擎在实际业务中的应用提供指标依据，为公安部部级人口信息人像比对系统项目的算法选型提供检测平台，为地方人像比对系统的算法选型、升级改造提供技术标准。

技术实现要素：

本发明提供一种人口信息人像比对系统关键性能指标评测方法，用以克服现有技术中存在的至少一个问题。

为达到上述目的，本发明提供了一种人口信息人像比对系统关键性能指标评测方法，包括以下步骤：

定义抽取人像比对数据的参数；

根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；

根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；

对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；

对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；

对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。

进一步地，每条人口数据包含两张人像照片的间隔设定时间为5年以上。

进一步地，所述第一数量为20万，所述第二数量为1亿。

进一步地，如果在建模过程中出现异常，则记录异常问题及异常时间，并进行建模重置。

进一步地，如果在比对过程中出现异常，则记录异常问题及异常时间，并进行比对重置或建模重置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的人口信息人像比对系统关键性能指标评测方 法中的数据抽取流程图；

图2为本发明一个实施例的人口信息人像比对系统关键性能指标评测方法中的算法评测流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例的人口信息人像比对系统关键性能指标评测方法中的数据抽取流程图；图2为本发明一个实施例的人口信息人像比对系统关键性能指标评测方法中的算法评测流程图。以下结合附图对本发明进行详细说明。

人口信息人像比对系统关键性能指标评测方法集Java EE技术之所长，采用B/S构架的软件体系架构。系统以人像识别系列标准为参照，以人像比对算法及引擎关键技术性能指标建设为核心，评测指标、指标权重、指标计算及评分公式经过实际测试、结合标准、经过专家评审讨论给出。充分考虑系统安全性、可靠性，构建高效、灵活、易扩展的人像比对评测平台，实现了评测数据抽取、评测指标方案自定义、建模及比对阶段指标计算、建模及比对阶段指标系统评分、评测结果分析等核心功能。

本方法主要分为数据抽取、评测指标定义、人像比对算法及引擎评测、结果计算处理，包括数据库接口授权、人像建模、模板比对、数据处理四部分，数据库接口授权为控制受测单位在评测过程中对数据库的访问权限，通过人为或接口获得数据库连接，以记录受测单位准确的建模开始及结束时间、比对开始及结束时间，建模时间与比对时间是衡量人像比对算法及引擎主要 性能的关键指标。人像建模包括人像照片及非人像照片建模，为了衡量人像比对算法及引擎真实的照片建模成功率。模板比对包括模板读取加载内存及完成模板比对时间，主要验证人像比对算法及引擎在大规模数据下的比对策略及比对准确率。数据处理在模板数据、比对结果数据下计算各项指标值、对应的指标评分，为人像比对算法及引擎的指标优劣提供分析、选型依据。

评测数据符合实际业务场景，能够真实反应评测指标的关键技术性能，评测数据抽取通过公安部部级人口信息管理系统获取，受测的人像比对算法及引擎主要应用于公安部部级人口信息管理系统的户籍查重清理业务，评测数据按照性别、年龄、民族等条件参数抽取，具有代表性，能够为人像比对算法及引擎的选型提供有力依据。

人像算法及引擎的评测在统一的评测环境上、同样的评测数据进行，保证了受测单位的公平公正，评测流程以评测登记开始，创建评测数据库用户，人像建模、人像比对、结果存储到环境重置为循环，在规定的评测周期内完成评测，逾期自动结束评测。

大规模评测数据：通过公安部部级人口信息管理系统12亿人口规模的数据中抽取1亿测试库数据、20万探测库数据，组成评测比对数据，将完成20万对1亿的交叉比对，总计20万亿的比对次数。评测数据将按年龄、性别、民族等条件通过比例参数抽取并平均分配到测试数据库服务器上，探测库数据要求照片时间间隔5年以上，抽取的数据经过人像比对多次筛选按照相似度区间进行分类，满足数据规模的同时符合数据质量要求，以验证人像比对算法的性能、准确性等关键技术指标。

数据抽取流程：评测数据分六步进行数据抽取，第一步数据统计，统计公安部部级人口信息管理系统各个条件比例下的实际值，根据实际值调整条件参数比例；第二步抽取测试库数据，按照条件参数比例进行抽取；第三步抽取探测库数据，按照条件参数比例进行抽取；第四步处理探测库数据，经 过多次人像比对算法进行比对，去除重复及不合规数据；第五步清理测试库数据，插入探测库数据，根据公民身份号码+姓名关联清除相同数据。第六步数据统计，统计抽取后的测试库及探测库条件参数下的实际值。

算法评测流程：评测中心可分六步进行算法评测，第一步初始化评测环境及评测数据，提供统一的评测设备及规定的评测周期；第二步评测受理，登记受测单位信息及评测算法信息；第三步受测单位准备评测软件环境部署调试，创建数据库环境；第四步受测单位开始评测，由评测单位记录评测开始时间、建模开始结束时间、比对开始结束时间，受测单位按照标准调用接口、存储数据；第五步评测中心另存备份受测单位数据记录，重置评测环境，进入下一步，评测串行进行；第六步评测中心待所有算法评测完成后，统计计算评测结果，并对结果进行分析评分，出评测报告。

本发明一个实施例的人口信息人像比对系统关键性能指标评测方法包括以下步骤：

定义抽取人像比对数据的参数；

根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；

根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；

测试库与探测库照片均来源于部级人口库，照片会存在重复的可能，需要将测试库与探测库进行筛选，去掉测试库中存在的重复数据，探测库中包含间隔设定时间的两张人像照片，其中一张放入测试库，一张留存探测库，为检测人像比对算法及引擎的n(n为自然数)选匹配率指标。非人像照片为检测人像比对算法及引擎的错误建模率指标。

对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；

对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；

对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。

进一步地，每条人口数据包含两张人像照片的间隔设定时间为5年以上。

进一步地，所述第一数量为20万，所述第二数量为1亿。

进一步地，如果在建模过程中出现异常，则记录异常问题及异常时间，并进行建模重置。

进一步地，如果在比对过程中出现异常，则记录异常问题及异常时间，并进行比对重置或建模重置。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。