嫌疑人人脸识别认定系统及方法与流程

本发明涉及到一种计算机数据处理技术，特别是通过计算机对视频、图片的比较计算，实现嫌疑人犯罪事实认定的系统及方法。

背景技术

随着现有视频监控网络系统建设的成熟，以及信息化建设的深入，公共安全部门对突发事件视频智能化追踪需求日益增多。例如：当需要通过城市视频监控网对犯罪嫌疑人进行跟踪确定时，目前还是需要由人工筛选各监控摄像机所拍摄的大量视频资料，需要从每一个摄像机所拍摄的某时间段的视频资料中去逐帧筛选比对。传统的数据处理方法是以图片审查员为中心，将全部资料集中在一起，由图片审查员逐帧筛选，这时的图片审查员就如计算机的中央处理器；或者是由图片审查员到每一个相关摄像机信息存贮平台上进行逐帧筛选，这样所花费的时间较长，人员容易疲劳，细节不易发现，所以成功率不高。技术部门在经过多年的研发后，研制完成了多种“人脸比对识别引擎”，目前已经进入实质性使用阶段，“人脸比对识别引擎”可以通过对嫌疑人图片的数据学习，从引擎存贮的大量路人图片中查找出与嫌疑人相似度较高的图片，根据相似度高低进行排队，列出可能的嫌疑人。但是从实践中发现，目前各公司生产的“人脸比对识别引擎”各有优长，也各有不足，所以目前为止准确率不高。

技术实现要素：

本发明的目的是通过对各种“人脸比对识别引擎”分析的结果进行直接利用。通过关联复合算法，提高判断速度和判断准确度。

该方案由数据存贮单元、“人脸比对识别引擎”、多引擎调度模块、二次综合分析处理模块组成；

数据存贮单元：

a)全景图片库：全景图片进行标签确定后存入全景图片库；标签有：拍摄机位、拍摄时间，在图片入库时自动存入；

b)局部图片库：主要是人脸图片进行了关联结构化数据一同存入局部图片库；结构化数据包括：人员户籍地、违法记录等，系统称其为有身份人员；结构化数据第一次由人工标注，后续在图片进入引擎匹配中自动产生；

c)关注人员小视频库：关注人员包括有身份人员和临时补充标注人员；根据人脸图片的时间和地点，在全景图片库中调取一段小视频片段，存入关注人员小视频库。

多引擎调度模块：

包含数据减法模型；

将图片数据i推送分发到各“人脸比对识别引擎”输入接口，当“人脸比对识别引擎”接收到该图片数据i时，进行图片数据i回传，在多引擎调度模块中数据减法模型将图片数据i与原图数据i进行减法比对，当得数为零则通过；得数不为零则重发。

“人脸比对识别引擎”筛选：

筛选方法：目前已经有多家识别引擎具有实用性，通过计算筛选，确定对几家识别引擎优先关联，能够提高对人脸比对识别正确率。

实现方法如下：

令参加筛选的“人脸比对识别引擎”数量为n，20≥n≥2；

输入同一张图片，n台“人脸比对识别引擎”输出n个最相似记录，推荐值n＝30；

将比对图片的相似度取值范围统一为：0～100；设置系统阈值a为80-70。

对“人脸比对识别引擎”的评价方法，

方法1：采取投票方式：

选取n家“人脸比对识别引擎”参加筛选，筛选设置报警阈值t＝n/2，使用同一张图片，将图片上的人像与数据库中身份人员进行比对时，当且仅当在至少t个引擎输出的前n个最相似记录中命中，将该人像加入报警记录。

其计算步骤分两步：

步骤一：计算“人脸比对识别引擎”输出结果的均值和方差；

步骤二：计算以均值和方差的正态分布累积分布函数在sm的取值，即为wm的值：最终呈现的综合输出结果按照上述综合相似度从高到低排序。

选“人脸比对识别引擎”系统，用wm值由大到小选择排序。

方法2：一票触发式：

只要有一个以上的“人脸比对识别引擎”报警，则将报警条目加入最终报警列表中。最终报警列表的综合评分及排序方式同方法1的计算步骤。

当一个“人脸比对识别引擎”在方法1和方法2中取得的名次成绩相加后，仍然用数值大小来确定，由大到小排序选择。

二次综合分析处理模块：

包含命中统计模型、加权模型、综合相似度计算模型。

在不同厂商提供的“人脸比对识别引擎”输出的识别结果基础上，其目的是应用多家厂商的“人脸比对识别引擎”输出的结果，设计使用规则，通过相互印证，进行二次综合分析，输出最终的识别比对结果；实现提高人脸识别的准确度和稳定性，从而为后续的历史记录分析等各种深层次应用提供比单引擎更为精准的结果数据。

设定原则：

原则1：要求“人脸比对识别引擎”提供对某张人脸图片的实际识别top-1～top-30的命中结果截图和命中率数据。

top表示命中概率排序。

原则2：统一赋予各“人脸比对识别引擎”命中结果的人脸相似度取值均为0～100；设置系统阈值a为80-70。

设计判断规则；统一相似度分值区间：

95分以上：极其相似，可认为基本上完全确定，准确命中；

90～95分：很相似，较大概率可能，正确识别；

80～90分：有点像，有一定正确度，可能识别；

70～80分：有点像，正确率低，识别可能性较低；

＜70分：基本上不匹配，不记入。

原则3：统一最终结果只取top-1～top-10。

实现方法：

以n家“人脸比对识别引擎”应用为例：

给各家设定编号：n＝1、2、3、……、n；

步骤一：向“人脸比对识别引擎”n输入同一张待识别人的人脸图片，各“人脸比对识别引擎”n进行单独引擎识别；

步骤二：各“人脸比对识别引擎”n通过相似度计算模型、命中概率排序模型计算；

对n台“人脸比对识别引擎”统一设置阈值a，阈值a设置在70-80之间，由操作员根据指示设定；每一台“人脸比对识别引擎”得到截图和命中率数据的前30名top排序作为top-1～top-30列表；如果top的数值满足≥a时，取确定的数值；如果top的数值＜a时，则对不满阈值的top记录，均赋值为0；top排序时包含赋值为0的记录，top仍然保持top-1～top-30列表。

一个人员的身份证号在n台“人脸比对识别引擎”中被任何一台“人脸比对识别引擎”所得top-1～top-30列表中命中，则记为listm；

步骤三：统计模型将全部n台“人脸比对识别引擎”中的30*n的图片全部列出，list1，list2，list3，……，listm；然后对listm张图片进行筛选，筛选出所有人员的身份证统计结果。按照被多少台“人脸比对识别引擎”在top-30内命中的实际进行分类统计：如果n≥7时，一个身份证被2家“人脸比对识别引擎”在top-30内命中，则不统计；如果一个身份证被3家“人脸比对识别引擎”在top-30内命中，也不统计；……如果一个身份证被t台“人脸比对识别引擎”命中，开始记录，即至少被n/2家引擎在top-30内命中的记录才录入记录；如果一个身份证被命中的次数≥t次的记录被集中，即至少被t家引擎在top-30内命中的记录；……，如果一个身份证被命中m次，m≤n；当m＝n时，即表示被n家引擎在top-30内全部命中；我们将listt-listm筛选出的记录重新列表，记为初选结果列表f0；

步骤四：加权模型对初选结果列表f0的每条记录，根据其对应的各单引擎相似度值进行加权平均。

假设该记录出现在list1和list2中，对应的单引擎相似度分别为s1和s2，二次分析将根据list1和list2的相似度分布情况确定相应的权重w1和w2；

步骤五：

计算listt相似度分布的均值mut和方差sigmat；

计算listt+1相似度分布的均值mut+1和方差sigmat+1；

计算listt+2相似度分布的均值mut+2和方差sigmat+2；

……；

计算listm相似度分布的均值mum和方差sigmam；

步骤六：

以均值mut、方差sigmat的高斯分布在st的累积概率作为权重wt；

以均值mut+1、方差sigmat+1的高斯分布在st+1的累积概率作为权重wt+1；

以均值mut+2、方差sigmat+2的高斯分布在st+2的累积概率作为权重wt+2；

……；

以均值mum、方差sigmam的高斯分布在sm的累积概率作为权重wm；

注：单引擎相似度s1、s2、s3、……、sm取值越高，w1、w2、w3、……、wm权重也相应越高；

步骤七：综合相似度计算模型对综合相似度取值为：

(w1*s1+w2*s2+w3*s3+……+wm*sm)/(w1+w2+w3+……+wm)；

步骤八：输出最终二次分析结果：对初筛结果列表f0根据相似度进行排序，同样保留综合相似度超过一定阈值的序列，该阈值70-80可调，程序默认80；从最高值开始顺序排列出阈值以上的top名单，前10名作为综合top-10输出结果，不够10名则全部输出。

通过实验和实践均证明，二次分析后的嫌疑人人脸识别认定系统通过利用现有“人脸比对识别引擎”的分析结果，经过“人脸比对识别引擎”单独引擎识别；输出top列表；筛选命中t次和t+1、t+2次的记录重新列表初选结果f0；对初选结果f0列表的每条记录加权平均；得出综合相似度取值(wt*st+w(t+1)*s(t+1)+w(t+2)*s(t+2)+……+wm*sm)/(wt+w(t+1)+w(t+2)+……+wm)；输出最终二次分析结果综合top-10排名。实践证明较大提高了命中精度。通过应用多家厂商的“人脸比对识别引擎”输出的结果，设计使用规则，通过相互印证，进行二次综合分析，输出最终的识别比对结果；实现提高人脸识别的准确度和稳定性，从而为后续的历史记录分析等各种深层次应用提供比单引擎更为精准的结果数据。

附图说明

图1人脸对比识别示例之一；

图2嫌疑人人脸识别认定系统示意图；

图3嫌疑人人脸识别认定系统进行人脸对比识别后对比识别示例示意图。

具体实施方式

一、查找身份人员名单报警，

方法1：采取投票方式：

选取n家“人脸比对识别引擎”参加筛选，筛选设置报警阈值t＝n/2，当用对象图片与身份人员名单中人员进行比对时，当且仅当在至少t个引擎输出的前n个最相似记录中命中，将该对象加入报警记录。

同一条报警记录出现在t个引擎，t＞＝t，其计算步骤分两步：

步骤一：计算“人脸比对识别引擎”输出结果的均值和方差；

步骤二：计算以均值和方差的正态分布累积分布函数在s的取值，即为w的值：最终呈现的综合输出结果按照上述综合相似度从高到低排序。

方法2：一票触发式：

只要有一个以上的“人脸比对识别引擎”报警，则将报警条目加入最终报警列表中。最终报警列表的综合评分及排序方式同方法1。

二、普通人员名单报警，

系统提供以下两种综合方案进行普通人员名单识别；

方法1：采取投票方式：

选取n家“人脸比对识别引擎”参加筛选，筛选设置报警阈值t＝n/2，当用对象图片与身份人员名单中人员进行比对时，当且仅当在至少t个引擎输出的前n个最相似记录中命中，将该对象加入报警记录。

同一条报警记录出现在t个引擎，t＞＝t，其计算步骤分两步：

步骤一：计算“人脸比对识别引擎”输出结果的均值和方差；

步骤二：计算以均值和方差的正态分布累积分布函数在s的取值，即为w的值：最终呈现的综合输出结果按照上述综合相似度从高到低排序。

对于普通人员要求多引擎综合识别列表非空时才认为比对通过。

方法2：一票否决式：

只要有一个以上的“人脸比对识别引擎”报警，则将报警条目加入最终报警列表中。最终报警列表的综合评分及排序方式同方法1。

通过对两种方法获得的得分进行综合评价，从而选定“人脸比对识别引擎”。

实施例1：以n家“人脸比对识别引擎”同时应用为例。

步骤一：向“人脸比对识别引擎”n输入同一张待识别人的人脸图片，各“人脸比对识别引擎”n进行单独引擎识别；

步骤二：各“人脸比对识别引擎”n通过相似度计算模型、命中概率排序模型计算，设a为70-80阈值；得到前30名排序作为top-1～top-30列表；如果满足≥a相似度阈值的数量＜top-30时，则对不满阈值的top记录，均赋值为0。

“人脸比对识别引擎”n所得top-1～top-30列表，记为listm；

步骤三：统计模型将筛选出list1，list2，list3，……，listm中命中≥2次的记录集中，即至少被两家引擎在top-30内命中的记录，并将筛选出的记录重新列表，记为初选结果列表f0；

步骤四：加权模型对初选结果列表f0的每条记录，根据其对应的各单引擎相似度值进行加权平均。

假设该记录出现在list1和list2中，对应的单引擎相似度分别为s1和s2，二次分析将根据list1和list2的相似度分布情况确定相应的权重w1和w2；

步骤五：

计算list1相似度分布的均值mu1和方差sigma1；

计算list2相似度分布的均值mu2和方差sigma2；

计算list3相似度分布的均值mu3和方差sigma3；

……；

计算listm相似度分布的均值mum和方差sigmam；

步骤六：

以均值mu1、方差sigma1的高斯分布在s1的累积概率作为权重w1；

以均值mu2、方差sigma2的高斯分布在s2的累积概率作为权重w2；

以均值mu3、方差sigma3的高斯分布在s3的累积概率作为权重w3；

……；

以均值mum、方差sigmam的高斯分布在sm的累积概率作为权重wm；

注：单引擎相似度s1、s2、s3、……、sm取值越高，w1、w2、w3、……、wm权重也相应越高；

步骤七：综合相似度计算模型对综合相似度取值为：

(w1*s1+w2*s2+w3*s3+……+wm*sm)/(w1+w2+w3+……+wm)；

步骤八：输出最终二次分析结果：对初筛结果列表f0根据相似度进行排序，同样保留综合相似度超过一定阈值的序列，该阈值70-80可调，程序默认80；从最高值开始顺序排列出阈值以上的top名单，前10名作为综合top-10输出结果，不够10名则全部输出。

实施例2：以n家“人脸比对识别引擎”同时应用为例。

步骤一：向“人脸比对识别引擎”n输入同一张待识别人的人脸图片，各“人脸比对识别引擎”n进行单独引擎识别；

步骤二：各“人脸比对识别引擎”n通过相似度计算模型、命中概率排序模型计算，设a为70-80阈值；得到前30名排序作为top-1～top-30列表；如果满足≥a相似度阈值的人员数量＜top-30时，则对不满阈值的top记录均赋值为0。

“人脸比对识别引擎”n所得top-1～top-30列表，记为listm；

步骤三：统计模型将筛选出list1，list2，list3，……，listm中命中≥2次的记录集中，即至少被两家引擎在top-30内命中的记录，并将筛选出的记录重新列表，记为初选结果列表f0；

步骤四：加权模型对初选结果列表f0的每条记录，根据其对应的各单引擎相似度值进行加权平均。

假设该记录出现在list1和list2中，对应的单引擎相似度分别为s1和s2，二次分析将根据list1和list2的相似度分布情况确定相应的权重w1和w2；

步骤五：

计算list1相似度分布的均值mu1和方差sigma1；

计算list2相似度分布的均值mu2和方差sigma2；

计算list3相似度分布的均值mu3和方差sigma3；

……；

计算listm相似度分布的均值mum和方差sigmam；

步骤六：

以均值mu1、方差sigma1的高斯分布在s1的累积概率作为权重w1；

以均值mu2、方差sigma2的高斯分布在s2的累积概率作为权重w2；

以均值mu3、方差sigma3的高斯分布在s3的累积概率作为权重w3；

……；

以均值mum、方差sigmam的高斯分布在sm的累积概率作为权重wm；

注：单引擎相似度s1、s2、s3、……、sm取值越高，w1、w2、w3、……、wm权重也相应越高；

步骤七：综合相似度计算模型对综合相似度取值为：

(w1*s1+w2*s2+w3*s3+……+wm*sm)/(w1+w2+w3+……+wm)；

步骤八：输出最终二次分析结果：对初筛结果列表f0根据相似度进行排序，同样保留综合相似度超过一定阈值的序列，该阈值可调，程序默认80；从最高值开始顺序排列出阈值以上的top名单，前10名作为综合top-10输出结果，不够10名则全部输出。

实施例3：以n家“人脸比对识别引擎”同时应用为例。

步骤一：向“人脸比对识别引擎”n输入同一张待识别人的人脸图片，各“人脸比对识别引擎”n进行单独引擎识别；

步骤二：各“人脸比对识别引擎”n通过相似度计算模型、命中概率排序模型计算，设a为70-80阈值；得到前30名排序作为top-1～top-30列表；如果满足≥a相似度阈值的数量＜top-30时，则对不满阈值的top记录，均赋值为0。

“人脸比对识别引擎”n所得top-1～top-30列表，记为listm；

步骤三：统计模型将筛选出list1，list2，list3，……，listm中命中≥2次的记录集中，即至少被两家引擎在top-30内命中的记录，并将筛选出的记录重新列表，记为初选结果列表f0；

步骤四：加权模型对初选结果列表f0的每条记录，根据其对应的各单引擎相似度值进行加权平均。

假设该记录出现在list1和list2中，对应的单引擎相似度分别为s1和s2，二次分析将根据list1和list2的相似度分布情况确定相应的权重w1和w2；

步骤五：

计算list1相似度分布的均值mu1和方差sigma1；

计算list2相似度分布的均值mu2和方差sigma2；

计算list3相似度分布的均值mu3和方差sigma3；

……；

计算listm相似度分布的均值mum和方差sigmam；

步骤六：

以均值mu1、方差sigma1的高斯分布在s1的累积概率作为权重w1；

以均值mu2、方差sigma2的高斯分布在s2的累积概率作为权重w2；

以均值mu3、方差sigma3的高斯分布在s3的累积概率作为权重w3；

……；

以均值mum、方差sigmam的高斯分布在sm的累积概率作为权重wm；

注：单引擎相似度s1、s2、s3、……、sm取值越高，w1、w2、w3、……、wm权重也相应越高；

步骤七：综合相似度计算模型对综合相似度取值为：

(w1*s1+w2*s2+w3*s3+……+wm*sm)/(w1+w2+w3+……+wm)；

步骤八：输出最终二次分析结果：对初筛结果列表f0根据相似度进行排序，同样保留综合相似度超过一定阈值的序列，该阈值可调，程序默认80；从最高值开始顺序排列出阈值以上的top名单，前10名作为综合top-10输出结果，不够10名则全部输出。