视频人像档案处理方法及其系统与流程

本发明涉及视频监控技术领域，特别涉及一种视频人像档案处理方法及其系统。

背景技术：

随着大数据驱动的深度学习在人像应用中的推广，人像采集和人脸分析技术不断成熟，逐渐应用于工作中，通过对人员人像照片实时采集，积累了大量有价值的人员人像照片。

目前主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。具体如localfaceanalysis、eigenface或pca等。而在传统特征脸的基础上，研究特征值大的特征向量(即特征脸)并不一定是分类性能好的方向，据此发展了多种特征(子空间)选择方法，如peng的双子空间方法、weng的线性歧义分析方法、belhumeur的fisherface方法等。

基于识别算法的完善，在各个领域相继出现了对特定情景下图像识别技术的应用。如2008年03期的《中国防伪报道》杂志《上海装设人脸识别系统确保学生安全》一文中提到上海市今年将在所有中、小学和幼儿园的出入口处，装设一万二千组能清楚辨识＂人脸＂和＂车牌号码＂的监视系统。

又如中山大学在2016年3月24日公开了一种基于人脸识别的安防监控方法及系统，该方法包括：获取待进入人员的脸部图像，并识别待进入人员的脸部图像；若识别到脸部图像的待进入人员为业主时，则启动门锁并打开大门；否则，生成并录入待进入人员的陌生人文档信息，在陌生人文档信息录入成功后启动门锁并打开大门；其中，陌生人文档信息包括：待进入人员的脸部图像、由待进入人员输入的拜访信息和自动生成的时间与位置信息；当检测到陌生人文档信息发生异常时，向监控中心发送示警信息。

上述专利文献资料阐述了一种基于人脸识别技术的陌生人像档案系统。

综上所述，基于图像的人脸识别技术目前已经在各个维度有一定深度的发展，无论是人脸识别亦或是一人一档在上述技术支持下都能够在一定程度上实现，但目前尚缺乏一个柔性平台支持复杂情景下对数据的管理应用。

技术实现要素：

本发明的第一目的是提供一种视频人像档案处理方法，其优点是搭建开放式平台，支持对数据的多样化灵活处理。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种视频人像档案处理方法，其特征在于，包括以下步骤：

获取历史图像数据集合；

设定目标特征，该目标特征为可变量；

对比目标特征与历史图像数据集合并计算权值，并在权值范围中取若干分档阈值；

根据分档阈值在历史图像数据集合中匹配对应数据例建立若干一类图像档案，并将该分档阈值作为标签标记目标数据例；

获取实时图像数据例并解析该实时图像数据例中的指定特征参数得出对比值，将该对比值并与全部阈值比较；

若该对比值匹配到等同的分档阈值，则将该实时图像数据例归入一类图像档案例中；

若该对比值未匹配到等同的分档阈值，则将该实时图像数据例归为二类图像档案，同时将其对比值作为标签标记该实时图像数据例。

通过采用上述方案，建立开放式的图像数据处理系统，基于灵活的可变量特征参数实现系统的多平台应用。并通过在历时图像数据集合中进行多层次分类建立图像档案，实现图像数据的分级档案管理。结合实施图像数据与历时图像数据的对比，实现整体图像数据例的有效档案管理。

本发明进一步设置为：所述分档阈值为一区间值。

通过定义区间值，有效提高图像数据档案分类的容错率，提高对图像数据档案归集的全面性，避免图像数据例遗漏。

本发明进一步设置为：设定修正值，若对比值与分档阈值的差值小于修正值，则将该实时图像数据例归入一类图像档案例。

通过采用上述技术方案，实现系统的自主分档修正，随着图像数据的不断更新，保证系统能够进行自适应调整，使得系统自动纳入误差在允许值内的图像数据例。

本发明进一步设置为：每当实时图像数据例归于一类图像数据档案例后，判断对比值是否在阈值区间内，若对比值不在阈值区间内，则将该阈值区间扩大至该对比值。

通过采用上述技术方案，使得系统能够在预定范围内实现自主升级，极大的提高了系统的智能性。

本发明进一步设置为：设定极限刷新值，当阈值区间增幅大于该极限刷新值，则禁止修正值生效。

通过采用上述技术方案，有效避免系统在长时间运行后，分档区间过渡增长，有效控制分档系统的精确性以及有效性。

本发明还提出了另一种技术方案：

一种视频人像档案处理方法，包括以下步骤：

获取实时的图像数据集合；

识别所述图像数据集合中的人像信息；

将识别的人像信息与已有档案内的人像信息进行比对，获得的比对结果为人像匹配度；

将所述人像匹配度与预设的阈值对比，若人像匹配度大于或等于预设的阈值时，将识别的人像信息归入已有档案；若识别的人像匹配度小于预设的阈值时，则新建档案，并将识别的人像信息归入新建档案；

预先建立标签，对每个标签设定匹配的属性特征，将人像档案内的人像信息与所有标签的属性特征比对获得多个标签匹配度，对比标签匹配度和预设的标签指数，将标签匹配度大于或等于预设的标签指数的人像档案附加对应标签；同时对图像数据中同时出现的人像进行计数，记录至少两个人像之间的陪同频次。

通过上述技术方案，可通过前端摄像机、数码相机等方式采集图像获得图像数据集合，识别图像数据集合中的人像信息，将人像信息与已有档案内的人像进行特征对比，获得的对比结果为人像匹配度，该值为百分比；对比人像匹配度和阈值，人像匹配度的百分比值大于阈值时，将人像档案归入已有人像档案，反之，新建人像档案，并将人像信息归入新建的人像档案，由此获得的人像档案准确度较高；其次，对于人像档案建立了清晰的关系网和标签，标签可通过手动预建立一部分，标签的特征需要根据实际情况分析，例如办公人员的标签，其特征为统一化的制服，快递员的标签，其特征为指定的制服以及随身携带的包裹，以此方式识别，提升了人像档案的资料完整度，对于归档的数据有更清晰的分析依据；另外，根据人像在同一批次出现的频率，记录陪同次数，形成累计，对于后期人像档案的查验有较大帮助。

本发明进一步设置为：预设的阈值根据使用场景进行调整，预设的阈值所依据的特征数据包括肤色、面貌、衣着中的至少一种。

通过上述技术方案，阈值属于可调百分比，调节阈值百分比可使得人像数据提升准确度。

本发明进一步设置为：若获得的所有标签匹配度均小于预设的标签指数，则新建标签，新建标签编辑对应的属性特征。

通过上述技术方案，新建标签能够使得档案分类更加细化，提高人像信息的准确度，便于后续的分类检索。

本发明进一步设置为：还包括获取图像位置信息的步骤，根据人像档案的图像位置信息和标签对重点目标再增加高危、危险或可疑的标签。

通过上述技术方案，前端摄像机可增加、删除修改，对于区域内的摄像机可通过编号的方式记录地址，该地址也就是采集的人像出现的地址，因此人像信息中整合了位置信息；同时多个标签可附加在同一重点目标上，重点目标加上高危、危险或可疑的标签后，可提升侦查工作的搜索效率。

本发明进一步设置为：对同一批次出现的人像进行次数统计，记录同行时间、出现地点，记录并建立人像档案之间的关系拓扑。

通过上述技术方案，整合采集到的人像信息，体现为同行时间、出现地点，以及前文出现的各类标签；通过已知的人像信息可建立人像档案之间的关系拓扑。

本发明的第二目的在于提供一种运用上述方法的视频人像档案处理系统，包括：

图片采集模块，用于获取实时的图像数据集合；

图片识别模块，用于识别所述图像数据集合中的人像信息；

人像信息比对模块，用于将识别的人像信息与已有档案内的人像信息进行比对，获得的比对结果为人像匹配度；

将所述人像匹配度与预设的阈值对比，若人像匹配度大于或等于预设的阈值时，将识别的人像信息归入已有档案；若识别的人像匹配度小于预设的阈值时，则新建档案，并将识别的人像信息归入新建档案；

关系匹配模块，用于预先建立标签，对每个标签设定匹配的属性特征，将人像档案内的人像信息与所有标签的属性特征比对获得多个标签匹配度，对比标签匹配度和标签指数，将标签匹配度大于等于标签指数的人像档案附加对应标签；对图像数据中同时出现的人像进行计数，记录人像之间的陪同频次。

通过上述技术方案，以上模块形成了前述处理流程的基础，基于以上模块，该系统可实现人像阈值匹配、新建或根据已有档案归档、建立人像关系拓扑的功能，具有清晰的人像档案关系网，方便后续查询。

本发明进一步设置为：所述图片采集模块中的视频流格式包括mpg、mpeg、dat、avi、mp4，图片格式包括bmp、jpeg、jpg、jp2、tiff、gif、raw、dat。

通过上述技术方案，图片和视频流适配多种格式、应用范围更广。

本发明进一步设置为：所述阈值匹配模块包括建立在系统客户端上的操作平台，操作平台包括阈值匹配度的调控界面、人像特征权重计算调控界面。

通过上述技术方案，通过操作平台，可直接调整阈值、人像特征的权重，调整后将直接影响后续数据的收集，达到数据较大范围的更新效果，操作较为方便。

本发明进一步设置为：所述关系匹配模块还包括同批次同时出现的人像的频率统计。

通过上述技术方案，同批次人像具有相关联性，一方面可体现直观的亲密度，另一方面对于人像档案的存储具有参考价值，对于人像档案的标签，通过相关联人员搜索标签，可减少计算时间。

本发明进一步设置为：所述关系匹配模块还包括二级标签。

通过上述技术方案，多级标签将使得人像档案的数据更加细化，便于后续查找。

综上所述，本发明具有以下有益效果：1、该系统的归档能力强大，可实现人像阈值匹配、新建或根据已有档案归档、建立人像关系拓扑的功能，同批次的人像将累计次数，由此具有清晰的人像档案关系网络；2、框架灵活性较高，阈值匹配模块中阈值的范围可调，由此可适用于不同区域、不同场景，同时关系匹配模块可反复增加标签，进而能够使得人像的标签属性更加准确。

附图说明

图1是实施例1的流程图；

图2是实施例1的逻辑图；

图3是实施例2的系统示意图；

图4是实施例2的模块示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

实施例1：如图1，一种视频人像档案处理方法，该方法主要包括以下步骤：

s101、获取实时的图像数据集合。

具体的，前端数据采集源主要布置于人流出入口区域，如地下停车场、铁路交通出入口、宾馆、旅馆、酒店、写字楼、娱乐场所等；数据采集设备可采用模拟摄像机、数字摄像机、网络摄像机或数码相机等，各类摄像机管理时可增加、修改和删除，根据摄像机的实际使用位置在使用界面处定义名称，相当于记录此处图像的位置信息；采集的数据可为视频流和图像，相应的文件格式包括bmp、jpeg、jpg、jp2、tiff、gif、raw、dat的图像文件格式和mpg、mpeg、dat、avi、mp4的视频文件格式；图片采集支持通过webservice方式接受多张图片数据，可通过指定文件目录加载多张图片数据，图片数据体现了时间、地点和人像资源。

当然，采集到的图片需要进行图片预处理，其在于对照片进行细分过滤，该过滤过程建立在人像采集比对设备上，人像采集比对设备可以为嵌入式的人像采集比对设备、工控机人像采集比对设备或电脑；具体的过滤方式包括，对于无意义图片数据，如非人像图片、模糊度较高的图像，直接过滤而不进行下一步处理。对于同一批次图片进行相似度比较，如特征相似度达到90%以上则过滤掉相似图片。其中，先进行无意义图片的过滤，再进行图片特征识别，最后进行相似图像过滤获得图片数据集合。

s102、识别所述图像数据集合中的人像信息；

具体的，图片数据集合进入图片识别，识别图片相应的特征值以及和已有图片库中的相似图片；图片识别导入采用第三方人像图片识别工具，系统可适配支持多家第三方识别工具的接入，如依图蜻蜓眼，对图片中的人脸特征进行识别。以上步骤获取图像数据集合，进一步的，对图像数据集合分析。

s103、将识别的人像信息与已有档案内的人像信息进行比对，获得的比对结果为人像匹配度；

将所述人像匹配度与预设的阈值对比，若人像匹配度大于或等于预设的阈值时，将识别的人像信息归入已有档案；若识别的人像匹配度小于预设的阈值时，则新建档案，并将识别的人像信息归入新建档案。

具体的，图像数据集合的处理将结合性别、年龄等特征值对相似图片进行筛选。性别的识别可采用基于fisher准则的性别识别方法，基于fisher准则的性别识别方法主要利用lda（线性投影分析）的思想。它是通过将样本空间中的男女样本投影到过原点的一条直线上，并确保样本在该线上的投影类内距离最小，类间距离最大，从而分离出识别男女的分界线，除此之外，还可采用基于特征脸的性别识别算法和基于adaboost+svm的人脸性别分类算法。年龄的识别可采用大致两个阶段评估。预估阶段，提取出照片中人脸的肌肤纹理特征，对年龄范围做一个大致的评估，得出一个特定的年龄段；详细评估阶段：通过支持向量机的方法，建立了对应于多个年龄段的多个模型分类器，并选择合适的模型进行匹配。这其中，以一项融合lbp和hog特征的人脸年龄估计算法最为人们所熟知。

筛选前，先预设一个阈值，预设的阈值可进行调整管理。识别图像数据集合中的人像信息，将人像信息与已有档案内的人像进行特征对比，获得的对比结果为人像匹配度；对比人像匹配度和预设的阈值，而预设的阈值相当于代表特征的匹配度百分比，例如设定的阈值为80%，如达到标准，即达到80%的人像匹配度，则可以归入已有的人像归档。其中为了体现人像匹配度的准确性，可将特征记载的数量多样化，特征数据可体现为肤色、体态、衣着、面貌等，各个特征数据的权重可根据使用场景进行调整。

如人像匹配度未达到该预设的阈值，特征匹配度较低，即低于80%的设定值，则新建档案，档案中应尽可能保留多的人像信息。第三方人像图片识别导入人像信息时考虑淘汰算法，始终保证第三方识别工具中对应的人脸图片在m张范围内，例如m值设定为5时，每个人脸的档案数量上限即为5张，避免多余数据堆积。

s104、预先建立标签，对每个标签设定匹配的属性特征，将人像档案内的人像信息与所有标签的属性特征比对获得多个标签匹配度，对比标签匹配度和预设的标签指数，将标签匹配度大于或等于预设的标签指数的人像档案附加对应标签；同时对图像数据中同时出现的人像进行计数，记录至少两个人像之间的陪同频次。

具体的，关于人像关系拓扑构建，建立人像档案的属性关联可采用以下方式：

a）、建立群体的标签，例如标签手动建立“工作人员”、“快递员”、“白领”、“旅客”、“重点目标”等等；关于标签的特点，如“工作人员”的特点在于指定的时间进入以及穿工作服，“快递员”的特点在于携带大量包裹；“重点目标”归属于嫌疑人档案，嫌疑人的特征可根据已有信息记录；将人像档案内的人像信息与所有标签的属性特征比对获得多个标签匹配度，对比标签匹配度和标签指数，将标签匹配度大于等于标签指数的人像档案附加对应标签，若获得的标签匹配度小于标签指数，则新建标签，新建标签编辑对应的属性特征；同时标签指数也可类似于阈值可调；

b）、对于每个标签设定匹配的属性特征，同时可根据实际需求增加标签，并对标签编辑对应的特征，实现人像归类；在流量较大的区域，一方面增加摄像头，另一方面增加标签数量，通过标签对人像进行更细的分类，供后期筛选；

c）、支持通过标签查对应的人像档案，支持在地图上实时查询目标群体实时动态，即通过联网的摄像头实时获取位置信息；由于摄像头的实际使用位置在使用界面处已定义名称，即通过已定义的名称可找到对应的目标群体；

d）支持二级标签，如上述的白领可归集于工作人员的子标签；e）支持危险等级的标签（高危、危险、可疑）的；

e）建立人像同行关系分析，通过人像同行、伴随分析，描述人与人之间的关系，根据出现频次、时间、地点相关性等综合评分，描述人与人之间的关系权值，建立人像档案之间的关系拓扑，权值越高，人与人之间的关系越紧密，关系的置信度越高。

实施例2：一种视频人像档案处理系统，如图2和图3，布置于各个场景的摄像机与接入交换机相连，接入交换机与核心交换机连接，核心交换机再连接其它接入交换机，其中一部分接入交换机连接服务器、数据存储中心，另一部分接入交换机连接网络监控客户端、多屏显示系统和数字矩阵器，通过汇聚交换机、核心交换机传输数据，通过数据存储中心、服务器存储数据，基于实施例1的视频人像档案处理方法，通过多屏显示系统可实时显示人像动态信息。网络监控客户端具体包括：

图片采集模块，用于获取实时的图像数据集合；

图片预处理模块，用于删除同一批次的相似图片，获得图片数据集合；

图片识别模块，用于识别所述图像数据集合中的人像信息；

人像信息比对模块，用于将识别的人像信息与已有档案内的人像信息进行比对，获得的比对结果为人像匹配度；

将人像匹配度与预设的阈值对比，若人像匹配度大于或等于预设的阈值时，将识别的人像信息归入已有档案；若识别的人像匹配度小于预设的阈值时，则新建档案，并将识别的人像信息归入新建档案；关系匹配模块，用于预先建立标签，对每个标签设定匹配的属性特征，将人像档案内的人像信息与所有标签的属性特征比对获得多个标签匹配度，对比标签匹配度和标签指数，将标签匹配度大于等于标签指数的人像档案附加对应标签；对图像数据中同时出现的人像进行计数，记录人像之间的陪同频次。

下面以一具体应用场景为示例说明上述系统：

在学校时，前端摄像机设置在校门口，前端摄像机采集图像，去除模糊度高的图像再进入人像识别，由此获得的图像中的人像多为学生、教职员工；以学生为例，其人像特征已经存在于档案内，因此对比人像匹配度和阈值，该学生与其档案的人像匹配度大于阈值，若清晰度大于已存的档案内的图像则进行更新；同时对于该学生陪同的家长进行人像档案的存储；学生标记学生的标签，家长标记家长的标签。

当学生陪同的陌生人像第一次出现在校门口时，此时可将陌生人归入重点目标的标签，而“重点目标”标签的人员即可能为拐卖儿童的嫌疑人员。

实施例3，一种视频人像档案处理方法，包括以下步骤：

通过视频图像采集终端（如摄像头）获取在历史图像数据集合，即获取在某一时间窗口其内的全部历史图像数据，这类数据可以是图片，也可以是视频短片，在图像采集的过程中，通过使用图像过滤软件对图形数据进行过滤，去除如非人像、模糊图片等无意义的图片。

设定目标特征，该目标特征为可变量；在各领域应用中，该目标特征可以灵活设置，如目标特征可以是年龄特征、身高特征、性别特征等。将目标特征与历史图像数据集合进行对比，计算两者的关联权值，并设定分档阈值。分档阈值为一区间值。通过定义区间值，有效提高图像数据档案分类的容错率，提高对图像数据档案归集的全面性，避免图像数据例遗漏。

目标特征可以设为多个，如在人像识别系统应用中，目标特征可以同时取特征点间的欧氏距离、曲率和角度，在本方案中，关联权值计算是给予基准权值，计算历史图像数据集合中目标特征与基准权值的相似度。

根据分档阈值在历史图像数据集合中匹配对应数据例建立若干一类图像档案，并将该分档阈值作为标签标记目标数据例；依据上述方案，在单一目标特征时，被收录进一类图像档案中的历史图像数据集合将拥有单一标识，用于系统区分、调取数据例。而在多目标特征时，则一类图像档案中的历史图像数据集合将被标记一串数字标签。

获取实时图像数据例并解析该实时图像数据例中的指定特征参数得出对比值，将该对比值并与全部阈值比较；若该对比值匹配到等同的分档阈值，则将该实时图像数据例归入一类图像档案例中；若该对比值未匹配到等同的分档阈值，则将该实时图像数据例归为二类图像档案，同时将其对比值作为标签标记该实时图像数据例。

同时，在系统内设定修正值，若对比值与分档阈值的差值小于修正值，则将该实时图像数据例归入一类图像档案例。实现系统的自主分档修正，随着图像数据的不断更新，保证系统能够进行自适应调整，使得系统自动纳入误差在允许值内的图像数据例。每当实时图像数据例归于一类图像数据档案例后，判断对比值是否在阈值区间内，若对比值不在阈值区间内，则将该阈值区间扩大至该对比值。使得系统能够在预定范围内实现自主升级，极大的提高了系统的智能性。设定极限刷新值，当阈值区间增幅大于该极限刷新值，则禁止修正值生效。有效避免系统在长时间运行后，分档区间过渡增长，有效控制分档系统的精确性以及有效性。

基于上述方案，使得图像数据处理系统形成了输入历史图像数据、识别图像、建立图像档案、识别实时图像数据、归入一类档案/新建二类档案这一系列自主循环。

显然，上述方案建立了开放式的图像数据处理系统，基于灵活的可变量特征参数实现系统的多平台应用。并通过在历时图像数据集合中进行多层次分类建立图像档案，实现图像数据的分级档案管理。结合实施图像数据与历时图像数据的对比，实现整体图像数据例的有效档案管理。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。