一种人脸识别装置的制造方法
【专利摘要】本公开涉及一种人脸识别装置，所述装置至少包括输入模块、人脸分析模块和输出模块。所述输入模块为人脸分析模块提供欲检测图像序列，人脸分析模块借助深度学习技术进行人脸识别，基于多个子数据库并行检索比对分析并合并分析结果，输出模块将人脸检测框、人脸相关统计信息与原始视频叠加，输出到前端进行显示。本公开的装置在识别人脸时具有自动、快速、精准的特点。
【专利说明】
-种人脸识别装置
技术领域
[0001 ]本公开设及视频监控领域，特别设及一种人脸识别装置。
【背景技术】
[0002] 目前很多行业为了吸收、维护更多有价值、有潜力的贵宾(VIP)客户，越来越重视 对贵宾客户提供更优质、有针对性的服务。传统行业会使用VIP卡等形式来区分客户，但是 携带卡片，报卡号等方式并不人性化、便捷化。而人脸识别技术是依据人脸部的特征信息进 行身份识别的一种技术，具有非接触性、并发性、非强制性、直观性等优点。 【实用新型内容】
[0003] 针对上述部分问题，本公开提供了一种人脸识别装置，所述装置借助深度学习技 术进行人脸识别，可W为银行VIP识别、Π 店迎宾、监控场景人脸识别提供服务支持;若利用 装置中检测到人脸的时间、地点和时长，可W进一步实现客流统计，为改进服务或查询特殊 用户提供帮助。其中，各个模块可W采用现有的视频采集板卡，W及多媒体分析板卡来组装 成本公开装置的模块，各个模块之间是禪接关系。
[0004] 一种人脸识别装置，所述装置至少包括输入模块、人脸分析模块和输出模块；
[0005] 所述输入模块将欲检测图像序列传送给人脸分析模块；
[0006] 所述输出模块包括图像输出单元和/或消息订阅单元；
[0007] 所述图像输出单元将人脸分析模块中得到的人脸进行标识，并将该人脸相关的信 息叠加到原始视频上；
[000引所述消息订阅单元向终端订阅用户发送事件消息；
[0009] 其中，所述人脸分析模块至少包括下述单元：
[0010] U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判 断，挑选满足要求的若干帖作为关键帖，传递给人脸比对单元；
[0011] U200、人脸比对单元:接收所述关键帖并提取每一帖的人脸特征，在用户信息数据 库服务器中查找并选择多个相似的人脸特征进行比对分析；
[0012] 其中:所述人脸特征使用多维特征向量表示；
[0013] 所述用户信息数据库服务器允许单人有Μ张人脸图像使用相同的第一标识符标识 存入。
【附图说明】
[0014] 图1本公开的一个实施例中的装置结构构成图。
【具体实施方式】
[001引在一个基础实施例中，如图1所示，提供了一种人脸识别装置，所述装置至少包括 输入模块、人脸分析模块和输出模块；
[0016] 所述输入模块将欲检测图像序列传送给人脸分析模块；
[0017] 所述输出模块包括图像输出单元和/或消息订阅单元；
[0018] 所述图像输出单元将人脸分析模块中得到的人脸进行标识，并将该人脸相关的信 息叠加到原始视频上；
[0019] 所述消息订阅单元向终端订阅用户发送事件消息；
[0020] 其中，所述人脸分析模块至少包括下述单元：
[0021] U100、人脸检测跟踪单元:对接收的图像，检测跟踪图像中的人脸，并进行质量判 断，挑选满足要求的若干帖作为关键帖，传递给人脸比对单元；
[0022] U200、人脸比对单元:接收所述关键帖并提取每一帖的人脸特征，在用户信息数据 库服务器中查找并选择多个相似的人脸特征进行比对分析；
[0023] 其中:所述人脸特征使用多维特征向量表示；
[0024] 所述用户信息数据库服务器允许单人有Μ张人脸图像使用相同的第一标识符标识 存入。
[0025] 在运个实施例中，其中，各个模块可W采用现有的视频采集板卡，W及多媒体分析 板卡来组装成本公开装置的模块，各个模块之间是禪接关系。所述输入模块的输出是人脸 图像，其输入可W是多重网络视频源、图像序列、离线视频或者实时视频，只要经过处理后 可W获得带有人脸的图像即可。在对图像进行检测时，可W对接收的所有图像进行检测，也 可W优选的对图像进行检测。在一个实施例中，所述装置每隔6帖进行一次人脸检测。在对 图像进行检测时，提取图像中的人脸位置、人脸关键点信息，所述人脸关键点信息可包括眼 角、眉毛的末端、嘴角、鼻尖等位置信息。当所述图像序列为单帖时，该图像本身为关键帖； 所述图像序列为多帖时，从该序列中挑选质量好的Ν帖作为关键帖。其中，质量的判断可W 通过对后述指标进行打分后，选取得分高的前Ν帖作为关键帖。所述指标包括人脸图片清晰 度、大小、真实人脸、遮挡、光照等等。所述人脸特征通过多维特征向量表示，在一个实施例 中，使用约180维特征向量来表示人脸特征。对已检测到人脸，在后续帖中进行跟踪。在查找 时，将Ν组人脸特征作为一个整体，在用户信息数据库服务器中检索相似人脸，选择得分最 高的几个人脸作为返回结果。而比对分析的结果即所述视频组装分发单元W及原图像可W 通过ht化协议或消息服务器发送至图像输出单元。在一个实施例中，当在监控区域识别人 脸库人脸，所述装置立即发布通知或报警，消息包括往订阅者发送其关注的特殊人员比如 VIP、可疑人等识别结果、地点时间、人脸图片等信息。
[0026] 在一个实施例中，给出了一种用于U100中所述质量判断的方法，即包括下述步骤：
[0027] S1010、对每个检测到的人脸图像，首先判断两眼间距是否满足设定要求，若满足 要求则执行步骤S1011;否则，舍弃该检测到的人脸图像；
[0028] S1011、计算检测到的人脸图像的人脸置信度得分是否满足设定要求，若满足要求 则执行步骤S1012;否则，舍弃该检测到的人脸图像；
[0029] S1012、计算正脸得分是否满足设定要求，如满足则判断该帖能够用于识别人脸； 否则，舍弃该检测到的人脸图像。
[0030] 在一个实施例中，提供了一种具体挑选关键帖的实现方式。在运个实施例中，对单 个跟踪抓拍的人脸，根据两眼间距>25,人脸置信度得分>0.95,正脸得分，判断该帖是否用 于识别。进一步地，在运个实施例中还提供了通过程序实现挑选关键帖的方法，即对每个跟 踪为同一人脸的图像，内部维护一个关键帖容器，容量为10。开始时，若不满10帖，则每帖均 存储入容器内；满10帖后，适合用于识别的帖，且与最后存入的帖号间隔大于10,则替换掉 已知质量最差的帖;记录单个跟踪为同一人脸的图像已被处理的帖数，若帖数大于20,则结 束跟踪。
[0031] 在一个实施例中，给出了一种用于所述U100中检测跟踪包括下述步骤，其步骤为：
[0032] S101、每隔若干帖进行一次人脸检测，当检测到人脸时，对满足质量要求的人脸使 用标记框对包括人脸的部分进行标记；
[0033] S102、判断标记的人脸面积与已检测到的人脸面积是否有重合，当重合度满足预 设阔值时，则认为与已检测到的人脸为同一人脸，则进入步骤S103;否则认为当前标记的人 脸为新的人脸，跟踪结束；
[0034] S103、对标记的人脸在标记框内进行人脸对齐，检测人脸关键点位置，计算人脸关 键点外包围矩形，替换之前检测到的认为为同一人脸的标记框内的图像。
[0035] 在运个实施例中，使用标记框对包括人脸的部分进行标记，所标记的部分可W是 头部，更优的，还可W包括肩部，在包括肩部的标记方式中，可W提高识别率。不论采用哪种 方式，重合度的计算均可W通过置信度来度量，当计算的置信度达到一定的范围时，可W认 为两个对象为同一对象。而所应达到的范围可W通过试验的方式来确定。
[0036] 优选的，使用多库与并行检索，即：所述U200中的用户信息数据库服务器包括多个 子数据库，则所述比对分析基于多个子数据库进行并行检索比对分析，并合并分析结果。运 种方式不仅支持将大量人脸图像导入用户信息数据库服务器，同时又不加大检索时间。每 个子数据库导入一定量的人脸图像，单人的多个人脸图像导入相同的数据库。在检索时，在 一个实施例中采用多线程并行检索每个数据库的方式，然后根据比较分析的结果合并多个 子数据库的结果。
[0037] 在一个实施例中，给出了关于入库的人脸图像中人脸特征的获取方法，即：所述 U200中的用户信息数据库服务器中存储的人脸图像使用Deepid深度学习算法提取人脸特 征。运种方式获取人脸特征能够有助于精准的识别人脸。在一个实施例中，使用运种提取人 脸特征提取方式，提取约180维的特征向量。
[0038] 基于人脸特征使用多维特征向量表示，在一个实施例中，给出了一种在查找相似 特征向量时，减少比较次数加速比对过程方法，即:所述U200中的相似的人脸特征通过下述 步骤获得：
[0039] S2011、建立KD树:在查找时，建立KD树捜索K个近邻，Κ > Μ;
[0040] S2012、遍历KD树:在遍历KD树时，每层选取人脸特征中的一维进行比较，W确定下 一层检索的分支，最后确定与关键帖相似的多个人脸特征。
[0041] 运种通过建立KD特征检索树的方式，在捜索相似特征时，通过遍历检索树来实现， 为了减少比对次数，在每层选取一维的特征进行比较，W确定下一层要检索的分支。
[0042] 在一个实施例中，在所述步骤S102中，当判断新标记的人脸与已检测到的人脸为 同一人脸时，将该新标记的人脸图像和已检测到的人脸使用相同的第二标识符标识;且，所 述U200中的比对分析包括下述步骤：
[0043] S201、对具有相同第二标识符标识的Μ帖图像，根据是否正脸、清晰度计算一个质 量分值 qi，iE[l，M];
[0044] S202、对Μ帖图像中的每帖图像，分别从人脸库中检索比对找出最相似的N个用户， 对应相似度为Si,userj，i e [ 1，M]，j e [ 1，N];
[0045] S203、对M帖图像检索比对共得到K个用户，计算此K个用户中每个用户的相似度的 得分，
[0046]
[0047] ke[l，K]，K=MXN;
[004引8204、根据5^^_对1(个用户按降序排列，选取最相似的若干个用户。 化
[0049]在运种比对方式下，若是用户信息数据库服务器包括多个子数据库，可W有多种 获取最终识别结果的方式。比如在对多个子数据库进行并行检索后，对每个子数据库都进 行步骤S202~S204然后将所有最相似的用户的相似度进行排序后选取返回结果。再比如， 对每个子数据库都返回该子数据库中得分排序在前的若干个人脸特征，然后对返回的人脸 特征再使用相似度值进行排序，选择当前排序下的在前的若干个人脸特征所对应的人脸图 像作为返回结果。
[0化0] 可选的，在比对分析之后，所述人脸比对单元还实现下述操作：
[0051] S2031、使用深度学习方法进行人脸属性计算；
[0052] S2032、判断检测的人脸进行是否已存在于用户信息数据库服务器中；若已存在于 用户信息数据库服务器中，则将人脸属性结果进行更新；否则将识别结果及人脸属性计算 结果一起存储。
[0053] 所述人脸属性包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观属性。增加存储 人脸属性的装置可W在对外提供检索功能时，增加检索维度，可W按时间、欲检测人脸与入 库人脸相似值、外观属性、地点进行过滤，缩小检索范围，加快检索速度，提供检索准确度。
[0054] 可选的，在存储人脸属性的计算结果的基础上还可W为每个结果附上统计时间 点、地点，即：所述人脸属性计算结果还包括获取图像时的时间点和地点。运为定位某个人 脸什么时间是否在某个区域出现过提供数据支持。在一个实施例中，所述装置为VIP或可疑 人等特殊人员单独建立用户信息数据库服务器，在用户查询运类人员时，可W直接与该库 存储的人脸图像的人脸特征进行比对，方便快速的定位某个人脸什么时间在某个区域是否 出现过。
[0055] 在一个实施例中，所述装置具有人流统计功能，即：所述人脸比对单元还实现如下 操作：
[0056] S2030、统计一定时间内检测到的人脸的数目、每个人脸的出现的时间和时长。在 运个实施例中，所述装置会将当前检测到的人脸和一定时间内已经检测过的人脸进行比 对，若判断为同一个人，则认为该人出现的次数为1次;运样可W获得在一定时间间隔内出 现的不同人脸数目，同时也可W得到若干个时间间隔中，同一人脸出现的次数、每次出现的 时间和时长。为了实现运样的统计功能，所述装置可W为检测到的人脸建立临时用户信息 数据库服务器，该数据库可W按时间定期建立。所述装置也可W专口建立访客特征库。当所 述装置用于口店时，可w为口店进行上述客流统计。
[0057] 在一个实施例中，针对人脸图像来源为视频时，所述视频可W是多重网络视频源、 离线视频或者实时视频时，为获取视频帖图像，所述输入模块还包括视频解码单元，所述输 出模块还包括视频组装分发单元；
[0058] 所述视频解码单元用于读取实时视频流或本地视频文件，并解析出视频帖图像；
[0059] 所述视频组装分发单元用于将叠加了人脸检测框W及与该人脸相关的信息的原 视频帖图像重新编码成视频。
[0060] 在运个实施例中，当所述输入模块向人脸分析模块发送欲检测图像序列时，可W 通过队列的方式来实现。
[0061 ]在一个实施例中，视频组装时，将人脸分析模块得到的人脸检测框、识别出的用户 名等信息，叠加到原始视频帖上，然后按X264格式重新编码成视频，在组装之后，通过 live555广播出去，提供浏览器或其他客户端进行播放。
[0062] 在一个实施例中，所述视频解码单元读取dsp视频流或本地视频文件，通过vie视 频解码器，解释出视频帖图像，使用缓存队列，把图像传送给人脸分析模块。
[0063] 优选的，所述装置还包括摄像头，则所述输入模块包括视频配置单元，所述视频配 置单元用于配置视频通道场景的监控参数。在一个实施例中，需要配置视频通道地址。在运 种方式下，可W将实现的装置应用于实时监控，并对监控中的人脸进行实时识别。在本公开 的基础上附加报警功能，可W为有安保需要的场景提供一套完整的人脸识别监控服务，比 如在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自动识别人员外观特征，自动 与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提示。再比如，应用于小区口 禁安保。
[0064] 在一个实施例中，所述装置能够实现实时显示视频与识别结果；当用户需要识别 其服务的VIP客户时，系统可W帮客户自动识别出进入口店的VIP客户，并给出提示;帮助用 户统计每天进入口店的客户人数，统计每个客户进入口店的时间和次数;通过对进入店口 的客户人脸图片进行保存，计算并保存包括用户性别、年龄、是否戴眼镜、帽子、口罩等外观 属性、保存进店时间和时长，方便用户对客户进行查询条件过滤;显示最近进入口店的客户 信息，包括抓拍人脸图片、访问时间、地点、访问次数等。
[0065] 在一个实施例中，所述装置为公安部口提供视频监控服务，在监控区域，检测进入 的人脸，并与入库的可疑人进行比对，在发现欲监控的人员时，给出提示。所述提示可W是 下述一种或任意多种方式的组合形式:静态文字、图案或动态文字、动态图案、声音。
[0066] 本公开的人脸识别技术可W通过人脸识别快速识别出贵宾客户并且关联相关的 客户信息数据库。还可将经常光顾，有价值有潜力的客户通过数据统计作为潜在贵宾客户 重点服务及推荐针对性产品。另外，在本公开的基础上附加报警功能，还可W为公安提供一 套完整的人脸识别监控服务，在公安关注的人流出入口，对过往人员自动进行人脸抓拍，自 动识别人员外观特征，自动与入库可疑人员进行快速自动比对，若发现可疑人，给出报警提 /J、- 〇
[0067] W上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方 式进行了阐述，W上实施例的说明只是用于帮助理解本公开的方法及其核屯、思想；同时，对 于本领域技术人员，依据本公开的思想，在【具体实施方式】及应用范围上均会有改变之处，综 上所述，本说明书内容不应理解为对本公开的限制。
【主权项】
1. 一种人脸识别装置，其特征在于： 所述装置至少包括摄像头、视频采集板卡、多媒体分析板卡和输出模块； 所述摄像头连接视频采集板卡，以便将欲检测原始视频的图像序列传送给视频采集板 卡； 所述视频采集板卡连接所述多媒体分析板卡，对接收的图像，检测跟踪图像中的人脸， 并进行质量判断，挑选满足要求的若干帧作为关键帧，传递给所述多媒体分析板卡； 所述多媒体分析板卡接收所述关键帧并提取每一帧的人脸特征，在用户信息数据库服 务器中查找并选择多个相似的人脸特征进行比对分析，其中所述人脸特征使用多维特征向 量表示，所述多媒体分析板卡中的用户信息数据库服务器为并行式体系； 所述输出模块连接订阅用户的终端，将多媒体分析板卡的处理结果叠加到原始视频以 输出新的视频。2. 根据权利要求1所述的装置，其特征在于，所述摄像头还包括视频解码单元，所述输 出模块还包括视频编码单元。3. 根据权利要求1-2任一所述的装置，其特征在于，所述摄像头还包括视频配置单元， 所述视频配置单元用于配置视频通道场景的监控参数。
【文档编号】G06K9/00GK205451095SQ201520986440
【公开日】2016年8月10日
【申请日】2015年12月2日
【发明人】梁伯均, 陈朝军, 李庆林, 张伟, 黄展鹏, 王晶, 苏哲昆, 许金涛, 张帅, 张广程
【申请人】深圳市商汤科技有限公司