一种人口数据查重方法和装置制造方法
【专利摘要】本发明公开一种人口数据查重方法和装置，其中方法包括：对多个人口数据库进行数据变更监控，将发生变更的数据同步到每个人口数据库对应的人像分库中，对发生变更的数据进行标记；对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，将发生变更的模板数据新增或替换到对应的特征分库中，对发生变更的模板数据进行标记；对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，将比对结果导入更新比对结果库；接受用户对比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。
【专利说明】一种人口数据查重方法和装置
【技术领域】
[0001]本发明涉及人口管理领域，具体而言，涉及一种人口数据查重方法和装置。
【背景技术】
[0002]人口管理是我国社会管理的基础，公民身份的唯一性、准确性、权威性涉及国家各层面的安全。由于历史原因，各地人口管理工作中存在的数据问题较多，尽管公安部开展了多次全国性的重号清理等户籍整顿工作，但由于缺乏有效的手段，深层次问题如冒领、骗领、重复办证等问题难以及时发现。一些不法分子利用这些管理上的漏洞，编造虚假身份信息从事不法行为或通过假冒信息躲避法律制裁，严重干扰了法律秩序，威胁着公众安全。根据各地实际应用经验，人像识别技术应用于以二代证照片为基础人像源的查重比对，可以有效遏制冒用身份犯罪，具有很高的安全性与广泛的适用性，能够发挥巨大的实战效果。2011年5月，公安部开展全国范围的“清网行动”以来，人像识别技术逐渐成为公安部及各地公安机关逃犯抓捕、案件侦破的利器。
[0003]人像识别技术，也叫人脸识别技术，是一种利用分析比较人脸视觉特征信息进行身份鉴别的生物特征识别技术。该技术具有特征数据量小、识别速度快、识别准确率高、拒识率低、甄别简便、使用条件简单等特点，是一种灵活、简便、易于被人接受的非侵犯性身份识别方法，在当前社会公共安全防范、逃犯追捕、金融安全、网络安全等诸多领域发挥着重要的作用，被广泛应用于公安、交通、海关、银行、计算机网络，产生了巨大的社会管理效应，对于维护国家安全和社会稳定、打击各类犯罪活动具有十分重大的意义。
【发明内容】
[0004]本发明提供一种人口数据查重方法和装置，用以提高人员核验的效率。
[0005]为达到上述目的，本发明提供了一种人口数据查重方法，包括以下步骤:
[0006]对多个不同的人口数据库进行数据变更监控，通过实时或定时机制将发生变更的数据同步到每个人口数据库对应的人像分库中，并对发生变更的数据进行标记；
[0007]对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，并将发生变更的模板数据新增或替换到对应的各个特征分库中，同时对发生变更的模板数据进行标记；
[0008]对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，并将比对结果导入更新比对结果库；
[0009]接受用户对所述比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。
[0010]可选的，当并行查重比对的比对终端的数目为偶数个时，将汇总后的模板数据平均分配到多个比对终端中并行查重比对包括:
[0011]将待比对人员的模板数据根据比对终端的台数平均分组，每组数据对应一台比对终端，假设每组数据的平均模板数为N，参与比对的更新终端数为X，其中N为自然数，X为偶数；
[0012]将每组数据按照公式N+XXN+2分配到每台比对终端上，并按照上、下两部分进行存储，其中上部分数据按照公式N+X进行存储，下部分数据按照公式N~i~XX (X~i~2_l) +N~?~Χ~?~2 进打存储；
[0013]将上、下两部分数据根据该比对终端的CPU内核数平均分组，按照设定条件进行设定特征的相互比对，在对比时首先将上、下部分数据按照公式NX (N - 1)+2进行组内比对，然后进行各组间模板数据的交叉比对，其中所述设定条件包括相似度和返回结果数。
[0014]可选的，在多机大数据量查重比对时，将汇总后的模板数据平均分配到多个比对终端中并行查重比对包括:
[0015]将入库人员的模板数据按年龄、性别、地区中的至少一项平均分配到偶数台比对终端上，以多层嵌套的方式存储在各个比对终端中，按设定条件对入库人员模版数据中的设定特征进行单机相互比对，所述设定条件包括相似度和返回结果数；
[0016]通过X + 2公式计算出每台比对终端与其它比对终端进行比对的台数，在单机比对完后再与所计算出的其它比对终端进行交叉比对，其中X代表比对终端的台数，X为偶数。
[0017]可选的，所述设定特征为人像特征数据或身份证号。
[0018]可选的，上述人口数据清理比对方法还包括以下步骤:
[0019]在核查比对时，获取所要核验人员的图像，从中提取对应的人像特征数据，根据所要核验人员的信息和人像特征数据建立所要核验人员的模板数据，其中所要核验人员的信息包括年龄、性别、地区中的至少一项；
[0020]根据所要核验人员的信息设定比对条件，比对条件包括相似度和返回结果数；
[0021]根据比对条件将所要核验人员对应的人像特征数据在目标人口库中进行比对，并将比对结果展示给用户。
[0022]为达到上述目的，本发明还提供了一种人口数据查重装置，包括:
[0023]监控模块，用于对多个不同的人口数据库进行数据变更监控，通过实时或定时机制将发生变更的数据同步到每个人口数据库对应的人像分库中，并对发生变更的数据进行标记；
[0024]建模模块，用于对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，并将发生变更的模板数据新增或替换到对应的各个特征分库中，同时对发生变更的模板数据进行标记；
[0025]比对模块，用于对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，并将比对结果导入更新比对结果库；
[0026]处理模块，用于接受用户对所述比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。
[0027]可选的，所述比对模块包括:
[0028]分组单元，用于将待比对人员的模板数据根据比对终端的台数平均分组，每组数据对应一台比对终端，假设每组数据的平均模板数为N，参与比对的更新终端数为X，其中N为自然数，X为偶数；
[0029]存储分配单元，用于将每组数据按照公式N+XXN+2分配到每台比对终端上，并按照上、下两部分进行存储，其中上部分数据按照公式N+X进行存储，下部分数据按照公式 N+XX (X + 2-1) +N+X + 2 进打存储；
[0030]比对单元，用于将上、下两部分数据根据该比对终端的CPU内核数平均分组，按照设定条件进行设定特征的相互比对，在对比时首先将上、下部分数据按照公式NX (N -1)+2进行组内比对，然后进行各组间模板数据的交叉比对，其中所述设定条件包括相似度和返回结果数。
[0031]可选的，所述比对单元包括:
[0032]第一比对子单元，用于将入库人员的模板数据按年龄、性别、地区中的至少一项平均分配到偶数台比对终端上，以多层嵌套的方式存储在各个比对终端中，按设定条件对入库人员模版数据中的设定特征进行单机相互比对，所述设定条件包括相似度和返回结果数；
[0033]第二比对子单元，用于通过X + 2公式计算出每台比对终端与其它比对终端进行比对的台数，在单机比对完后再与所计算出的其它比对终端进行交叉比对，其中X代表比对终端的台数，X为偶数。
[0034]可选的，所述设定特征为人像特征数据或身份证号。
[0035]可选的，所述建模模块还用于在核查比对时，获取所要核验人员的图像，从中提取对应的人像特征数据，根据所要核验人员的信息和人像特征数据建立所要核验人员的模板数据，其中所要核验人员的信息包括年龄、性别、地区中的至少一项；
[0036]所述比对模块还用于根据所要核验人员的信息设定比对条件，比对条件包括相似度和返回结果数，根据比对条件将所要核验人员对应的人像特征数据在目标人口库中进行比对，并将比对结果展示给用户。
【专利附图】
【附图说明】
[0037]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本发明一个实施例的人口数据查重方法流程图；
[0039]图2为本发明一个实施例的人口数据查重方法中偶数台比对终端分配算法的数据分布图。
【具体实施方式】
[0040]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]图1为本发明一个实施例的人口数据查重方法流程图；图2为本发明一个实施例的人口数据查重方法中偶数台比对终端分配算法的数据分布图。图2中，1、2、3、4为对比终端的编号；(全)表示分配到该台比对终端上的全部数据；(上)表示分配至该台比对终端上的数据平分后的前半部分数据；(下)表示分配至该台比对终端上的数据平分后的后半部分数据。其中，本发明中的比对终端可以是笔记本电脑、PC机、服务器、智能终端(如平板电脑)等。
[0042]如图所示，人口数据查重方法包括以下步骤:
[0043]对多个不同的人口数据库进行数据变更监控，通过实时或定时机制将发生变更的数据同步到每个人口数据库对应的人像分库中，并对发生变更的数据进行标记；
[0044]对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，并将发生变更的模板数据新增或替换到对应的各个特征分库中，同时对发生变更的模板数据进行标记；
[0045]对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，并将比对结果导入更新比对结果库；
[0046]接受用户对所述比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。
[0047]进一步地，当并行查重比对的比对终端的数目为偶数个时，将汇总后的模板数据平均分配到多个比对终端中并行查重比对包括:
[0048]将待比对人员的模板数据根据比对终端的台数平均分组，每组数据对应一台比对终端，假设每组数据的平均模板数为N，参与比对的更新终端数为X，其中N为自然数，X为偶数；
[0049]将每组数据按照公式N+XXN+2分配到每台比对终端上，并按照上、下两部分进行存储，其中上部分数据按照公式N+X进行存储，下部分数据按照公式N~i~XX (X~i~2_l) +N~?~Χ~?~2 进打存储；
[0050]将上、下两部分数据根据该比对终端的CPU内核数平均分组，按照设定条件进行设定特征的相互比对，在对比时首先将上、下部分数据按照公式NX (N - 1)+2进行组内比对，然后进行各组间模板数据的交叉比对，其中所述设定条件包括相似度和返回结果数。
[0051]进一步地，在多机大数据量查重比对时，将汇总后的模板数据平均分配到多个比对终端中并行查重比对包括:
[0052]将入库人员的模板数据按年龄、性别、地区中的至少一项平均分配到偶数台比对终端上，以多层嵌套的方式存储在各个比对终端中，按设定条件对入库人员模版数据中的设定特征进行单机相互比对，所述设定条件包括相似度和返回结果数；
[0053]通过X + 2公式计算出每台比对终端与其它比对终端进行比对的台数，在单机比对完后再与所计算出的其它比对终端进行交叉比对，其中X代表比对终端的台数，X为偶数。
[0054]进一步地，所述设定特征为人像特征数据或身份证号。
[0055]进一步地，上述人口数据清理比对方法还包括以下步骤:
[0056]在核查比对时，获取所要核验人员的图像，从中提取对应的人像特征数据，根据所要核验人员的信息和人像特征数据建立所要核验人员的模板数据，其中所要核验人员的信息包括年龄、性别、地区中的至少一项；
[0057]根据所要核验人员的信息设定比对条件，比对条件包括相似度和返回结果数；
[0058]根据比对条件将所要核验人员对应的人像特征数据在目标人口库中进行比对，并将比对结果展示给用户。
[0059]与上述方法实施例相适应，以下为人口数据查重装置实施例，人口数据查重装置包括:
[0060]监控模块，用于对多个不同的人口数据库进行数据变更监控，通过实时或定时机制将发生变更的数据同步到每个人口数据库对应的人像分库中，并对发生变更的数据进行标记；
[0061]建模模块，用于对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，并将发生变更的模板数据新增或替换到对应的各个特征分库中，同时对发生变更的模板数据进行标记；
[0062]比对模块，用于对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，并将比对结果导入更新比对结果库；
[0063]处理模块，用于接受用户对所述比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。
[0064]进一步地，所述比对模块包括:
[0065]分组单元，用于将待比对人员的模板数据根据比对终端的台数平均分组，每组数据对应一台比对终端，假设每组数据的平均模板数为N，参与比对的更新终端数为X，其中N为自然数，X为偶数；
[0066]存储分配单元，用于将每组数据按照公式N+XXN+2分配到每台比对终端上，并按照上、下两部分进行存储，其中上部分数据按照公式N+X进行存储，下部分数据按照公式 N+XX (X + 2-1) +N+X + 2 进打存储；
[0067]比对单元，用于将上、下两部分数据根据该比对终端的CPU内核数平均分组，按照设定条件进行设定特征的相互比对，在对比时首先将上、下部分数据按照公式NX (N -1)+2进行组内比对，然后进行各组间模板数据的交叉比对，其中所述设定条件包括相似度和返回结果数。
[0068]进一步地,所述比对单元包括:
[0069]第一比对子单元，用于将入库人员的模板数据按年龄、性别、地区中的至少一项平均分配到偶数台比对终端上，以多层嵌套的方式存储在各个比对终端中，按设定条件对入库人员模版数据中的设定特征进行单机相互比对，所述设定条件包括相似度和返回结果数；
[0070]第二比对子单元，用于通过X + 2公式计算出每台比对终端与其它比对终端进行比对的台数，在单机比对完后再与所计算出的其它比对终端进行交叉比对，其中X代表比对终端的台数，X为偶数。
[0071]进一步地，所述设定特征为人像特征数据或身份证号。
[0072]进一步地，所述建模模块还用于在核查比对时，获取所要核验人员的图像，从中提取对应的人像特征数据，根据所要核验人员的信息和人像特征数据建立所要核验人员的模板数据，其中所要核验人员的信息包括年龄、性别、地区中的至少一项；
[0073]所述比对模块还用于根据所要核验人员的信息设定比对条件，比对条件包括相似度和返回结果数，根据比对条件将所要核验人员对应的人像特征数据在目标人口库中进行比对，并将比对结果展示给用户。
[0074]本领域普通技术人员可以理解:附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0075]本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0076]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
【权利要求】
1.一种人口数据查重方法，其特征在于，包括以下步骤: 对多个不同的人口数据库进行数据变更监控，通过实时或定时机制将发生变更的数据同步到每个人口数据库对应的人像分库中，并对发生变更的数据进行标记； 对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，并将发生变更的模板数据新增或替换到对应的各个特征分库中，同时对发生变更的模板数据进行标记； 对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，并将比对结果导入更新比对结果库； 接受用户对所述比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。
2.根据权利要求1所述的人口数据查重方法，其特征在于，当并行查重比对的比对终端的数目为偶数个时，将汇总后的模板数据平均分配到多个比对终端中并行查重比对包括: 将待比对人员的模板数据根据比对终端的台数平均分组，每组数据对应一台比对终端，假设每组数据的平均模板数为N，参与比对的更新终端数为X，其中N为自然数，X为偶数； 将每组数据按照公式N+XXN+2分配到每台比对终端上，并按照上、下两部分进行存储，其中上部分数据按照公式N+X进行存储，下部分数据按照公式N~i~XX (X~i~2_l)进打存储； 将上、下两部分数据根据该比对终端的CPU内核数平均分组，按照设定条件进行设定特征的相互比对，在对比时首先将上、下部分数据按照公式NX (N - 1)+2进行组内比对，然后进行各组间模板数据的交叉比对，其中所述设定条件包括相似度和返回结果数。
3.根据权利要求1所述的人口数据查重方法，其特征在于，在多机大数据量查重比对时，将汇总后的模板数据平均分配到多个比对终端中并行查重比对包括: 将入库人员的模板数据按年龄、性别、地区中的至少一项平均分配到偶数台比对终端上，以多层嵌套的方式存储在各个比对终端中，按设定条件对入库人员模版数据中的设定特征进行单机相互比对，所述设定条件包括相似度和返回结果数； 通过X+2公式计算出每台比对终端与其它比对终端进行比对的台数，在单机比对完后再与所计算出的其它比对终端进行交叉比对，其中X代表比对终端的台数，X为偶数。
4.根据权利要求3所述的人口数据查重方法，其特征在于，所述设定特征为人像特征数据或身份证号。
5.根据权利要求1所述的人口数据查重方法，其特征在于，还包括以下步骤: 在核查比对时，获取所要核验人员的图像，从中提取对应的人像特征数据，根据所要核验人员的信息和人像特征数据建立所要核验人员的模板数据，其中所要核验人员的信息包括年龄、性别、地区中的至少一项； 根据所要核验人员的信息设定比对条件，比对条件包括相似度和返回结果数； 根据比对条件将所要核验人员对应的人像特征数据在目标人口库中进行比对，并将比对结果展示给用户。
6.一种人口数据查重装置，其特征在于，包括: 监控模块，用于对多个不同的人口数据库进行数据变更监控，通过实时或定时机制将发生变更的数据同步到每个人口数据库对应的人像分库中，并对发生变更的数据进行标记； 建模模块，用于对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，并将发生变更的模板数据新增或替换到对应的各个特征分库中，同时对发生变更的模板数据进行标记； 比对模块，用于对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，并将比对结果导入更新比对结果库； 处理模块，用于接受用户对所述比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。
7.根据权利要求6所述的人口数据查重装置，其特征在于，所述比对模块包括: 分组单元，用于将待比对人员的模板数据根据比对终端的台数平均分组，每组数据对应一台比对终端，假设每组数据的平均模板数为N，参与比对的更新终端数为X，其中N为自然数，X为偶数； 存储分配单元，用于将每组数据按照公式N+XXN+2分配到每台比对终端上，并按照上、下两部分进行存储，其中上部分数据按照公式N+X进行存储，下部分数据按照公式N~i~XX (X~i~2_l) +N~?~Χ~?~2 进打存储； 比对单元，用于将上、下两部分数据根据该比对终端的CPU内核数平均分组，按照设定条件进行设定特征的相互比对，在对比时首先将上、下部分数据按照公式NX (N -1)+2进行组内比对，然后进行各组间模板数据的交叉比对，其中所述设定条件包括相似度和返回结果数。
8.根据权利要求7所述的人口数据查重装置，其特征在于，所述比对单元包括: 第一比对子单元，用于将入库人员的模板数据按年龄、性别、地区中的至少一项平均分配到偶数台比对终端上，以多层嵌套的方式存储在各个比对终端中，按设定条件对入库人员模版数据中的设定特征进行单机相互比对，所述设定条件包括相似度和返回结果数； 第二比对子单元，用于通过X + 2公式计算出每台比对终端与其它比对终端进行比对的台数，在单机比对完后再与所计算出的其它比对终端进行交叉比对，其中X代表比对终端的台数，X为偶数。
9.根据权利要求8所述的人口数据查重装置，其特征在于，所述设定特征为人像特征数据或身份证号。
10.根据权利要求6所述的人口数据查重装置，其特征在于: 所述建模模块还用于在核查比对时，获取所要核验人员的图像，从中提取对应的人像特征数据，根据所要核验人员的信息和人像特征数据建立所要核验人员的模板数据，其中所要核验人员的信息包括年龄、性别、地区中的至少一项； 所述比对模块还用于根据所要核验人员的信息设定比对条件，比对条件包括相似度和返回结果数，根据比对条件将所要核验人员对应的人像特征数据在目标人口库中进行比对，并将比对结果展示给用户。
【文档编号】G06F17/30GK104268153SQ201410440728
【公开日】2015年1月7日 申请日期:2014年9月1日 优先权日:2014年9月1日
【发明者】汤滔, 张建光, 陶勇, 乔晓光, 邹继文 申请人:北京航天金盾科技有限公司