一种基于REID的区域入侵检测方法与系统与流程

一种基于reid的区域入侵检测方法与系统
技术领域
1.本发明涉及图像识别技术领域，尤其涉及一种基于reid的区域入侵检测方法与系统。


背景技术：

2.近年来，随着人工智能领域中深度学习方法的发展，基于图像识别的区域入侵检测算法在安防领域中已经得到广泛应用。但是，在实际应用中存在很多场景，某些特定人员(一般具有特殊的着装，比如工服、保安服)的区域入侵是合理的(比如：工厂深夜巡逻的保安或者加班的工人)，如果不排除这些情况，则会产生大量的误报，干扰区域入侵检测算法的正常运行和报警。
3.针对这种情况，一般的方法是通过收集大量的该着装的人体图像的正负样本进行训练得到一个深度学习的分类模型，但是这样做法的问题是算法只能识别经过训练的着装类型，如果要迁移到其它着装类型或者提高算法准确率都需要重新训练模型，十分地费时费力。


技术实现要素：

4.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于reid的区域入侵检测方法与系统。
5.本发明解决其技术问题所采用的技术方案是：根据本发明的一方面，提供了一种基于reid的区域入侵检测方法，包括通信连接的设备端和交互端；其中，设备端的基于reid的区域入侵检测方法包括以下步骤：
6.s10、采用reid模型对采集的特定人员的图像提取特征向量，得到特定人员的特征数据库；
7.s20、对从入侵区域获取的当前帧图像进行人体检测与过滤，得到目标入侵对象；
8.s30、根据所述特定人员的特征数据库，采用reid模型对所述目标入侵对象进行特定人员识别；
9.s40、将识别为非特定人员的所述目标入侵对象的区域入侵事件推送至所述交互端；
10.s50、根据所述交互端对推送的所述区域入侵事件的误报确认，更新所述特定人员的特征数据库。
11.进一步地，所述一种基于reid的区域入侵检测方法还包括所述交互端对所述设备端推送的入侵事件进行误报确认，包括如下步骤：
12.对从所述设备端接收的所述目标入侵对象的区域入侵事件进行交互显示；接收用户对交互显示的所述区域入侵事件是否为误报的输入信号；将用户确认为误报的所述区域入侵事件对应的所述目标入侵对象发送给所述设备端。
13.进一步地，步骤s20包括如下步骤：
14.s200、对所述入侵区域进行标注；
15.s201、在标注的所述入侵区域内采集当前帧图像，初始化入侵累计时长；
16.s202、对采集的图像进行人体检测，得到所有人及其对应的人体框；
17.s203、是否检测有所述人体框；如是，执行步骤s205；否则，执行步骤s204；
18.s204、返回步骤s201，在标注的所述入侵区域内采集下一帧图像；
19.s205、保留人体框下边中点坐标在所述入侵区域内的人体框，将保留的所述人体框对应的人确定为所述目标入侵对象。
20.进一步地，步骤s30包括如下步骤：
21.获取所述目标入侵对象的人体图像，采用所述reid模型对获取的所述人体图像提取所述特征向量；将提取的每个所述目标入侵对象的特征向量与所述特定人员的特征数据库中特征向量进行相似度匹配，并将相似度高于第一预设阈值的所述特征向量对应的所述目标入侵对象判定为所述特定人员。
22.进一步地，步骤s40包括如下步骤：
23.s400、当前帧判定为所述特定人员的人数是否至少一个；如是，执行步骤s401；否则，执行步骤s402；
24.s401、所述入侵累计时长清零，返回步骤s201；
25.s402、对所述入侵累计时长进行累加；
26.s403、所述入侵累计时长是否超过第二预设阈值；如是，执行步骤s405；否则，执行步骤s404；
27.s404、返回步骤s201，在标注的所述入侵区域内采集下一帧图像；
28.s405、进行区域入侵报警，将识别为所述非特定人员的所述目标入侵对象的区域入侵事件推送至所述交互端。
29.进一步地，所述相似度为余弦相似度或欧式距离。
30.进一步地，步骤s50包括如下步骤：
31.根据从所述交互端接收的误报确认信号，获取所述用户确认为误报的所述区域入侵事件对应的所述目标入侵对象的人体图像；采用所述reid模型对获取的所述目标入侵对象的人体图像进行特征向量提取；将提取的特征向量添加至所述特定人员的特征数据库中；返回步骤s20，执行下一帧图像的入侵检测。
32.根据本发明的另一方面，还提供了一种基于reid的区域入侵检测系统，应用于上文所述的一种基于reid的区域入侵检测方法，所述设备端包括视频采集模块、人体检测与过滤模块、reid检测模块、存储模块以及更新模块；所述视频采集模块、人体检测与过滤模块、reid检测模块以及更新模块依次连接，所述存储模块与所述人体检测与过滤模块、更新模块均连接；所述视频采集模块用于在每个固定周期采集所述入侵区域的单帧视频图像；所述人体检测与过滤模块用于对采集所述视频图像进行人体检测，将检测的在所述入侵区域外的人体进行过滤；所述reid检测模块用于提取所述目标入侵对象的特征向量，通过提取的所述特征向量对所述目标入侵对象进行特定人员识别，并对识别的非特定人员进行预警；所述更新模块用于通过在线更新模式，更新所述特定人员的特征数据库；所述存储模块用于对更新的所述特定人员的特征数据库的特征数据进行更新。
33.优选的，所述一种基于reid的区域入侵检测系统还包括与所述通信模块；所述更
新模块通过所述通信模块与所述交互端通信连接；所述更新模块，通过所述通信模块向所述交互端推送所述目标入侵对象的区域入侵事件，还通过所述通信模块接收所述交互模块发送的所述区域入侵事件为误报的确认信息，并根据确认信息将所述区域入侵事件对应的所述目标入侵对象的特征向量更新至所述存储模块。
34.优选的，所述设备端还包括控制中心模块，所述控制中心模块与所述视频采集模块、人体检测与过滤模块、reid检测模块以及更新模块均连接。
35.实施本发明在图像中实现多形状目标检测方法及系统的技术方案，具有如下优点或有益效果：
36.本发明的方法使用reid的方案进行特定人员识别，针对每个场景只需要收集一批具有特定着装的人体图像注册到特定人员的特征数据库即可，无需重新开发或者模型训练，方案灵活，适用性强。另外，本方法基于时序信息更新入侵状态，能够增强算法稳定性，可以避免人体检测算法受背景干扰偶尔产生一两帧误检从而造成错误报警。特别地，通过人工交互的方式以极小的代价标注错误样本对算法进行在线更新，随着算法部署运行的时间越长，收集的样本越多，算法准确率越高，逐步不再出错，可以完美适配多场景。
附图说明
37.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：
38.图1是本发明实施例一种基于reid的区域入侵检测方法的流程示意图；
39.图2是本发明实施例一种基于reid的区域入侵检测方法中步骤s20中一种约束条件的流程示意图；
40.图3是本发明实施例一种基于reid的区域入侵检测方法中步骤s40中另一种约束条件的流程示意图；
41.图4是本发明实施例一种基于reid的区域入侵检测系统的结构框图。
42.1、设备端；10、视频采集模块；11、人体检测与过滤模块；12、reid 检测模块；13、存储模块；14、更新模块；15、控制中心模块；2、交互端； 3、通信模块。
具体实施方式
43.为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
44.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“厚度”、“上下前后左右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元器件或插件必须具有的特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接或可以相互通讯连接；可以是直接相连，也可以是通过中间媒介简介相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
45.实施例一：
46.如图1-图3所示，本发明的实施例提供了一种基于reid的区域入侵检测方法，包括通信连接的设备端和交互端；其中，设备端的基于reid的区域入侵检测方法包括以下步骤：
47.s10、采用reid模型对采集的特定人员的图像提取特征向量，得到特定人员的特征数据库；
48.s20、对从入侵区域获取的当前帧图像进行人体检测与过滤，得到目标入侵对象；
49.s30、根据特定人员的特征数据库，采用reid模型对目标入侵对象进行特定人员识别；
50.s40、将识别为非特定人员的目标入侵对象的区域入侵事件推送至交互端；
51.s50、根据交互端对推送的区域入侵事件的误报确认，更新特定人员的特征数据库。
52.在实际场景中，特定人员一般具有统一的着装，比如工服、保安服等，因此可以通过着装特征识别特定人员。reid(person re-identification，行人重识别)是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，给定一个监控行人图像，可以检索跨设备下的该行人图像。不同于人脸识别，尽管reid综合利用了人身上所有可能的特征进行识别，但最明显的可区分的特征还是着装，所以往往着装类似的人会被识别成同一个人，而同一个人着装不同也无法识别为同一个人。基于reid的这个特点，本发明将其用于识别具有某种统一着装的特定人员，只需要收集一批该着装的人体图像的特征向量注册到特定人员的特征数据库中，将待检测的人体图像与数据库内所有图像对比相似度即可。更进一步地，为了提高reid识别特定人员的准确率，应该保证数据库图片的多样性，尽可能覆盖各种场景、各种姿态等。因而，本发明采用使用reid的方案进行特定人员(特定人员一般具有统一的着装，比如工服、保安服等)检测识别，针对每个场景只需要收集一批具有特定着装的人体图像注册到特定人员的特征数据库即可，无需重新开发或者模型训练，方案灵活，适用性强。通过人工交互的方式以极小的代价标注错误样本对算法进行在线更新，随着算法部署运行的时间越长，收集的样本越多，本方法准确率越高，逐步不再出错，可以完美适配多场景。
53.步骤s10中，reid算法初始化之前需要收集一批上述特定人员着装的人体图像，使
用reid算法对每张图像提取一个固定维度的特征向量注册到特征数据库中，在检测阶段则对本实施例的目标入侵对象也提取特征向量，与特征数据库内每一个特征向量两两之间计算相似度。本实施例中，固定维度的特征向量可以但不限于着装样式、颜色、着装上品牌标识等。
54.作为一种可选的实施方式，步骤s20包括如下步骤：
55.s200、对入侵区域进行标注；
56.需说明的是，入侵区域是只有特定人员允许进入的区域，如工厂深夜巡逻的保安或者加班的工人等。在对侵区域进行标注一般是通过按装在入侵区域的摄像头来获取相关图像，在摄像头端进行范围标注。当然，如果入侵区域很大，需要对多个摄像头进行标注，并形成一个完整拼接的入侵区域。
57.s201、在标注的入侵区域内采集当前帧图像，初始化入侵累计时长；
58.可以按照固定时间间隔t1获取一帧图像。如果是第一次获取图像帧，则初始化入侵累计时长dt(dt＝0)。
59.s202、对采集的图像进行人体检测，得到所有人及其对应的人体框；
60.人体检测得到当前图像上所有的人体框，可以是任意的目标检测算法，如：yolo、ssd、centernet等。
61.s203、是否检测有人体框；如是，执行步骤s205；否则，执行步骤s204；
62.s204、返回步骤s201，在标注的入侵区域内采集下一帧图像；
63.s205、保留人体框下边中点坐标在入侵区域内的人体框，将保留的人体框对应的人确定为目标入侵对象。
64.需说明的是，步骤s205是对入侵人员进行过滤，在标注的入侵区域内的，便可识别为目标入侵对象。在过滤时，当然除了可以选择步骤s205中的方法，还可以根据人体框与入侵区域的面积的交集大小等其他方式来对入侵人员进行过滤。
65.作为一种可选的实施方式，步骤s30包括如下步骤：
66.获取目标入侵对象的人体图像，采用reid模型对获取的人体图像提取特征向量；将提取的每个目标入侵对象的特征向量与特定人员的特征数据库中特征向量进行相似度匹配，并将相似度高于第一预设阈值的特征向量对应的目标入侵对象判定为特定人员。优选的，相似度为余弦相似度或欧式距离。当然，也可以选择reid模型自带的相似度。
67.作为一种可选的实施方式，步骤s40包括如下步骤：
68.s400、当前帧判定为特定人员的人数是否至少一个；如是，执行步骤s401；否则，执行步骤s402；
69.此步骤中，在报警前只要任意一帧识别到特定人员则重新计时可以弥补reid算法不一定能够稳定识别特定人员的缺陷。如，某些拍摄角度或者人体姿态下的人体图像跟底库差异过大，导致reid无法识别。
70.s401、入侵累计时长清零，返回步骤s201；
71.s402、对入侵累计时长进行累加；
72.本实施例的入侵累计时长增加固定间隔，如dt＝dt+t1。需说明的是，基于时序信息更新入侵状态，为增强算法稳定性，必须累计一段时间才进行报警，可以避免人体检测算法受背景干扰偶尔产生一两帧误检从而造成错误报警。
73.s403、入侵累计时长是否超过第二预设阈值；如是，执行步骤s405；否则，执行步骤s404；
74.s404、返回步骤s201，在标注的入侵区域内采集下一帧图像；
75.s405、进行区域入侵报警，将识别为非特定人员的目标入侵对象的区域入侵事件推送至交互端。
76.作为一种可选的实施方式，步骤s50包括如下步骤：
77.根据从交互端接收的误报确认信号，获取用户确认为误报的区域入侵事件对应的目标入侵对象的人体图像；采用reid模型对获取的目标入侵对象的人体图像进行特征向量提取；将提取的特征向量添加至特定人员的特征数据库中；返回步骤s20，执行下一帧图像的入侵检测。
78.本实施例的基于reid的区域入侵检测方法，其特征在于，还包括交互端对设备端推送的入侵事件进行误报确认，包括如下步骤：
79.对从设备端接收的目标入侵对象的区域入侵事件进行交互显示；接收用户对交互显示的区域入侵事件是否为误报的输入信号；将用户确认为误报的区域入侵事件对应的目标入侵对象发送给设备端。
80.作为一种可选的实施方式，设备端将入侵事件，如当前目标入侵对象是否属于特定人员误报，通过app或微信小程序推送给交互端，用户在结果页面上进行交互式输入，如点击结果页面的是选项进行确认，当然也可是语音等形式的输入。如果用户标注了该事件属于特定人员的误报，则设备端提取对应的人体图像注册到reid的特定人员的特征数据库，实现对reid算法进行在线更新。
81.综上所述，本实施的方法使用reid的方案进行特定人员识别，针对每个场景只需要收集一批具有特定着装的人体图像注册到特定人员的特征数据库即可，无需重新开发或者模型训练，方案灵活，适用性强。另外，本方法基于时序信息更新入侵状态，能够增强算法稳定性，可以避免人体检测算法受背景干扰偶尔产生一两帧误检从而造成错误报警。特别地，通过人工交互的方式以极小的代价标注错误样本对算法进行在线更新，随着算法部署运行的时间越长，收集的样本越多，算法准确率越高，逐步不再出错，可以完美适配多场景。
82.实施例二：
83.如图4所示，本发明还提供了一种基于reid的区域入侵检测系统，应用于实施例一所述的一种基于reid的区域入侵检测方法，其中，设备端1包括视频采集模块10、人体检测与过滤模块11、reid检测模块12、存储模块13 以及更新模块14。具体的，视频采集模块10、人体检测与过滤模块11、reid 检测模块12以及更新模块14依次连接，存储模块13与人体检测与过滤模块 11、更新模块14均连接。视频采集模块10用于在每个固定周期采集入侵区域的单帧视频图像；人体检测与过滤模块11用于对采集视频图像进行人体检测，将检测的在入侵区域外的人体进行过滤；reid检测模块12用于提取目标入侵对象的特征向量，通过提取的特征向量对目标入侵对象进行特定人员识别，并对识别的非特定人员进行预警；更新模块14用于通过在线更新模式，更新特定人员的特征数据库；存储模块13用于对更新的特定人员的特征数据库的特征数据进行存储。
84.优选的，本实施例的一种基于reid的区域入侵检测系统还包括与通信模块3；更新模块14通过通信模块3与交互端2通信连接。具体的，更新模块 14，通过通信模块3向交互端
2推送目标入侵对象的区域入侵事件，还通过通信模块3接收交互模块发送的区域入侵事件为误报的确认信息，并根据确认信息将区域入侵事件对应的目标入侵对象的特征向量更新至存储模块13。
85.优选的，设备端1还包括控制中心模块15，控制中心模块15与视频采集模块10、人体检测与过滤模块11、reid检测模块12以及更新模块14均连接，用于控制协调各个模块的工作。本实施例的交互端2可以为电脑终端或手机终端，还可以为终端应用程序如app。
86.在阅读完上文描述的内容之后，本领域的普通技术人员应当明白，本文描述的各种特征可通过方法、数据处理设备或计算机程序产品来实现。因此，这些特征可部采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来表现。此外，上述特征也可采用存储在一种或多种计算机可读存储介质上的计算机程序产品的形式来表现，该计算机可读存储介质中包含计算机可读程序代码段或者指令，其存储在存储介质中。可读存储介质被配置为存储各种类型的数据以支持在装置的操作。可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。如静态硬盘、随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、光存储设备、磁存储设备、快闪存储器、磁盘或光盘和/或上述设备的组合。
87.以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明的保护范围。