一种走失人员识别的方法、系统、装置及存储介质与流程

本发明涉及人员识别领域，尤其涉及一种走失人员识别的方法、系统、装置及存储介质。

背景技术：

现有的走失人员搜寻方案大多以视频监控技术为基础。视频监控技术具有悠久的历史，是协助公安部门搜索走失儿童、老人的重要技术手段。其中传统的视频监控系统通过摄像机对监控区域的视频图像进行采集，主要起到记录的作用，如果没有人力干预，则不能实时发现目标人物、预报紧急情况，无法起到预警的作用；这就使得传统的视频监控系统使用起来需要耗费较多的人力物力以及时间。

还有其他相关技术就是在被监护人身上安置具有可识别信息的识别标签；监护人的移动设备端与识别标签关联；在监测地点的出入口以及关键位置放置识别标签检测终端；标签检测终端以固定间隔时长检测一定距离范围内识别标签的出现情况，可监控被监护人在一个固定场所出入口的活动情况，当被监护人可能出门时监护人可收到预警报警，从而防止儿童和老人从固定场所走失。但是采用上述方法，仅能预警被监护人走出出入口的情况，无法针对人员在场所内走失的情况进行预警，且在开放式的场景难以运用，如没有围墙的村镇、林区等。

技术实现要素：

为了克服人工监测的方法人工成本高且效率较低，人工判断需要长时间观察，因此容易导致设防区监控的人工成本较高，且人工容易出现视觉疲劳从而产生误判和漏判的问题；以及现有的人员监控系统仅能预警走失人员走出出口的情况，无法针对人员在场所内走失的情况进行预警的问题。

本发明提供一种走失人员识别的方法、系统、装置及存储介质，通过走失人员识别方法，利用智能摄像头在多种易发生人员走失的公众场合进行布控，使用了人脸识别算法，精神异常人员识别算法，老人/小孩识别算法和基于社交距离检测的走失判别算法四种技术结合起来，弥补现有方案在复杂场景下人工成本高，实时性差，容易误判和漏判和无法针对人员在场所内走失的情况进行预警的缺陷。

本发明采用的技术方案是：一种走失人员识别的方法，实现步骤如下：

s1、获得摄像头拍摄的视频流数据；

s2、通过人脸识别算法对每个视频流数据进行人脸识别，识别出视频流数据中的现场人员；

s3、通过特征比对算法将现场人员的人脸特征信息与走失人员人脸特征信息库中的人脸特征信息进行相似度计算；

s3.1、如果现场人员的人脸特征信息与走失人员人脸特征信息库中的人脸特征信息的相似度>第一阈值，触发自动告警；

s4、通过特征比对算法将现场人员的人脸特征信息与严重精神疾病管控人员库中的人脸特征信息进行相似度计算；

s4.1、如果现场人员的人脸特征信息与严重精神疾病管控人员库的人脸特征信息的相似度>第一阈值，触发自动告警；

s5、采用精神异常人员识别算法对现场人员进行识别，判断是否存在精神异常人员；

s5.1、如果识别到精神异常人员，则对视频中的图像进行校准，然后对图像中的精神异常人员做社交距离检测，计算精神异常人员与正常人的距离；

s5.2、如果精神异常人员与正常人的像素距离的最小值大于告警阈值，触发自动告警；

s6、使用老人/小孩识别算法判断现场人员是否为老人或小孩；

s6.1、如果识别到现场人员是老人或小孩，则对视频中的图像进行校准，然后对图像中的老人或小孩做社交距离检测，计算视频中出现的老人或小孩与非老幼人员的像素距离；

s6.2、如果老人或小孩与非老幼人员的像素距离的最小值大于告警阈值，触发自动告警。

优选的，所述人脸识别算法是通过如下步骤实现：

a1、建立人脸识别深度学习模型；

a2、输入大量的人脸特征信息，人工标注人脸特征信息，划分成训练集、验证集、测试集；

a3、使用训练集来训练人脸识别深度学习模型，训练自动定位人脸，截取人脸检测框中的人脸并提取特征；

a4、使用验证集验证人脸识别深度学习模型的收敛情况

a5、使用测试集测试人脸识别深度学习模型，测试通过则输出人脸识别深度学习模型为人脸识别算法。

优选的，所述精神异常人员识别算法是通过如下步骤实现：

b1、建立精神异常人员识别深度学习模型；

b2、采集大量精神异常人员的图片并打上“精神异常人员”的标签，采集大量正常人的图片并打上“正常人”的标签，并划分训练集、验证集、测试集；

b3、使用训练集来训练精神异常人员识别深度学习模型进行特征提取和分类，设置置信度为第二阈值,当识别到的人员属于精神异常人员一类的概率大于第二阈值时，输出其为精神异常人员，当识别到的人员属于正常人一类的概率大于第二阈值时，输出其为正常人；

b4、使用验证集验证精神异常人员识别深度学习模型的收敛情况；

b5、使用测试集测试精神异常人员识别深度学习模型，测试通过则输出精神异常人员识别深度学习模型为精神异常人员识别算法。

优选的，所述的老人/小孩识别算法是通过如下步骤实现：

d1、建立老人/小孩识别深度学习模型；

d2、采集大量包含老人的图片并打上“老人”的标签，采集大量包含小孩的图片并打上“小孩”的标签，采集大量非老幼人员的图片并打上“非老幼人员”的标签，划分训练集、验证集、测试集；

d3、使用训练集来训练老人/小孩识别深度学习模型进行特征提取和分类，设置置信度为第二阈值,当模型的识别到的人员属于老人的概率大于第二阈值时，输出为老人；当模型的识别到的人员属于小孩的概率大于第二阈值时，输出为小孩，当模型的识别到的人员属于老幼人员的概率大于第二阈值时，输出为非老幼人员；

d4、使用验证集验证老人/小孩识别深度学习模型的收敛情况；

d5、使用测试集测试老人/小孩识别深度学习模型，测试通过则输出老人/小孩识别深度学习模型为老人/小孩识别算法。

优选的，所述的社交距离检测方法实现步骤如下：

c1、获取所需检测人员的边界框底部的中点在鸟瞰图对应的像素坐标；

c2、采用欧式距离计算方式，计算视频中所需检测人员之间的像素距离。

优选的，所述特征比对算法中的相似度计算，采用余弦距离计算方法。

优选的，所述对视频中的图像进行校准的实现方法步骤如下：

e1、在透视图中选择四个点，然后将四个点映射到鸟瞰图中矩形的角上；

e2、通过四个坐标点间的对应关系，基于getperspectivetransform()函数，获得地平面到图像平面间的投影变换关系h；

e3、通过warpperspective()函数对图像进行逆向映射到地平面空间中,实现图片的鸟瞰转换，使之变成鸟瞰图。

优选的，所述的告警阈值，是将以像素为单位的距离映射到实际可测量的长度单位，并设定告警阈值的实际长度单位对应的距离。

一种走失人员识别系统，包括模块如下：

视频采集模块，用于接入摄像头并获取视频流数据，所述视频流数据包括从视频流的图片信息，时间和位置信息；

走失人员人脸特征信息库模块，用于保存走失人员的信息以及人脸特征信息以供调用；

严重精神疾病管控人员模块，用于保存严重精神疾病管控人员的信息以及人脸特征信息以供调用；

人脸识别模块，用于通过投放训练集到人脸识别算法进行训练，实现自动定位人脸，截取人脸检测框中的人脸并提取人脸特征信息；

特征比对模块，用于识别到的人脸特征信息与走失人员人脸特征信息库和严重精神疾病管控人员库中的特征进行相似度计算；

可疑人员识别模块，用于通过精神异常人员识别算法、老人/小孩识别算法、基于社交距离检测的走失判别算法，自动发现可疑走失人员，

自动告警模块，用于在特征比对模块或可疑人员识别模块检测到走失人员或异常人员时发出告警信息。

一种走失人员识别装置，包含储存装置、处理器、告警装置、至少一个摄像头，所述储存装置用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，所述处理器实现如上述一种走失人员识别的方法或一种走失人员识别系统，优选地所述装置还包括通信接口，所述通信接口用于与外部设备进行通信和数据交互传输。

一种计算机可读存储介质，其存储有至少一个程序，当所述程序被处理器执行时，实现上述一种走失人员识别的方法。

本发明的有益效果是：

(1)相比于传统走失人员识别方法，基于检测告警的走失人员识别系统使用了图像处理、模式识别和计算机视觉等技术。运用这些技术，可以实现对紧急情况的实时预警，使视频监控不再受限于人力物力。弥补现有方案在复杂场景下人工成本大、获取信息不足、随机性大，不够及时，容易误判漏判的缺陷。

(2)对目标对象的识别采取了比较大胆的策略。使用人脸识别算法，可帮助发现警方在找的目标走失人员，帮助发现严重精神疾病管控人员库的人员，同时通过训练深度学习模型用于发现精神异常人、老人/小孩这些可疑走失人群，通过基于社交距离检测的走失判别算法判断其是否走失，有助于提升查全率。

附图说明

图1为本发明的方法示意图。

图2为本发明的工作流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

参见图1和图2，本发明是一种走失人员识别的方法、系统、装置及存储介质，其中一种走失人员识别的方法，包括模块如下：

视频采集模块，用于接入摄像头并获取视频流数据，视频流数据包括从视频流的图片信息，时间和位置信息；

走失人员人脸特征信息库模块，用于保存走失人员的信息以及人脸特征信息以供调用；

严重精神疾病管控人员模块，用于保存严重精神疾病管控人员的信息以及人脸特征信息以供调用；

人脸识别模块，用于通过投放训练集到人脸识别算法进行训练，实现自动定位人脸，截取人脸检测框中的人脸并提取人脸特征信息；

特征比对模块，用于识别到的人脸特征信息与走失人员人脸特征信息库和严重精神疾病管控人员库中的特征进行相似度计算；

可疑人员识别模块，用于通过精神异常人员识别算法、老人/小孩识别算法、基于社交距离检测的走失判别算法，自动发现可疑走失人员；

自动告警模块，用于在特征比对模块或可疑人员识别模块检测到走失人员或异常人员时发出告警信息；

通过上述模块实现走失人员识别的方法的步骤如下：

s1、通过视频采集模块获得摄像头拍摄的视频流数据，视频流数据包括从视频流的图片信息，时间和位置信息；

s2、通过人脸识别算法对每个视频流数据中进行人脸识别，识别出视频流数据中的现场人员；

s3、通过特征比对模块将现场人员的人脸特征信息与走失人员人脸特征信息库中的人脸特征信息进行相似度计算；

s3.1、如果现场人员的人脸特征信息与走失人员人脸特征信息库中的人脸特征信息的相似度>0.7，通过自动告警模块触发自动告警；

s4、通过特征比对模块将现场人员的人脸特征信息与严重精神疾病管控人员库中的人脸特征信息进行相似度计算；

s4.1、如果现场人员的人脸特征信息与严重精神疾病管控人员库的人脸特征信息的相似度>0.7，通过自动告警模块触发自动告警；

s5、采用精神异常人员识别算法对现场人员进行识别，判断是否存在精神异常人员；

s5.1、如果识别到精神异常人员，则对视频中的图像进行校准，然后对图像中的精神异常人员做社交距离检测，计算精神异常人员与正常人的距离；

s5.2、如果精神异常人员与正常人的像素距离的最小值大于告警阈值，通过自动告警模块触发自动告警；

s6、使用老人/小孩识别算法判断现场人员是否为老人或小孩；

s6.1、如果识别到现场人员是老人或小孩，则对视频中的图像进行校准，然后对图像中的老人或小孩做社交距离检测，计算视频中出现的老人或小孩与非老幼人员的像素距离；

s6.2、如果老人或小孩与非老幼人员的像素距离的最小值大于告警阈值，触发自动告警模块。

其中人脸识别算法是通过如下步骤实现：

a1、建立人脸识别深度学习模型；

a2、输入大量的人脸特征信息，人工标注人脸特征信息，划分成训练集、验证集、测试集；

a3、使用训练集来训练人脸识别深度学习模型，训练自动定位人脸，截取人脸检测框中的人脸并提取特征；

a4、使用验证集验证人脸识别深度学习模型的收敛情况

a5、使用测试集测试人脸识别深度学习模型，测试通过则输出人脸识别深度学习模型为人脸识别算法。

精神异常人员识别算法是通过如下步骤实现：

b1、建立精神异常人员识别深度学习模型；

b2、采集大量精神异常人员的图片并打上“精神异常人员”的标签，采集大量正常人的图片并打上“正常人”的标签，并划分训练集、验证集、测试集；

b3、使用训练集来训练精神异常人员识别深度学习模型进行特征提取和分类，设置置信度为0.6,当识别到的人员属于精神异常人员一类的概率大于0.6时，输出其为精神异常人员，当识别到的人员属于正常人一类的概率大于0.6时，输出其为正常人；

b4、使用验证集验证精神异常人员识别深度学习模型的收敛情况；

b5、使用测试集测试精神异常人员识别深度学习模型，测试通过则输出精神异常人员识别深度学习模型为精神异常人员识别算法。

社交距离检测方法实现步骤如下：

c1、获取所需检测人员的边界框底部的中点在鸟瞰图对应的像素坐标；

c2、采用欧式距离计算方式，计算视频中所需检测人员之间的像素距离。

老人/小孩识别算法是通过如下步骤实现：

d1、建立老人/小孩识别深度学习模型；

d2、采集大量包含老人的图片并打上“老人”的标签，采集大量包含小孩的图片并打上“小孩”的标签，采集大量非老幼人员的图片并打上“非老幼人员”的标签，划分训练集、验证集、测试集；

d3、使用训练集来训练老人/小孩识别深度学习模型进行特征提取和分类，设置置信度为0.6,当模型的识别到的人员属于老人的概率大于0.6时，输出为老人；当模型的识别到的人员属于小孩的概率大于0.6时，输出为小孩，当模型的识别到的人员属于老幼人员的概率大于0.6时，输出为非老幼人员；

d4、使用验证集验证老人/小孩识别深度学习模型的收敛情况；

d5、使用测试集测试老人/小孩识别深度学习模型，测试通过则输出老人/小孩识别深度学习模型为老人/小孩识别算法。

对视频中的图像进行校准的实现方法步骤如下：

e1、标定方法是在透视图中选择四个点，然后将四个点映射到鸟瞰图中矩形的角上；

e2、通过四个坐标点间的对应关系，基于getperspectivetransform()函数，获得地平面到图像平面间的投影变换关系h；

e3、通过warpperspective()函数对图像进行逆向映射到地平面空间中,实现图片的鸟瞰转换，使之变成鸟瞰图。

告警阈值，是将以像素为单位的距离映射到实际可测量的长度单位，并设定告警阈值的实际长度单位对应的距离。

特征比对模块，对于模型识别到的人脸特征信息，跟走失人员人脸特征信息库的人脸特征信息进行相似度计算，其中相似度计算方法采用余弦距离但不限于余弦距离，余弦距离又称余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。当两个向量直接的夹角趋向0时，两个向量越接近，差异就越小，越接近1值时，说明人脸越相似。一般情况下，当相似度超过了0.7就可以认为两个人是同一个人。

告警阈值的设定是将以像素为单位的距离映射到实际可测量的长度单位，(例如，米，英尺等)，比如当像素距离为多少时，实际距离为2m，如果想在其他人与易走失人员的距离都大于2m的时候发出告警，那么2m所对应的像素距离就是所谓的告警阈值。

作为本方案的其中一个事实例，针对复杂场景，例如公园、大型商场、火车站、地铁站、机场、码头、海滩等，基于人脸识别、精神异常人员识别、老人/小孩识别、社交距离检测四种算法相结合的走失人员识别方法，其的实施流程如下：

f1、读取来自监控的视频流数据，其中视频流数据包括从视频流的图片信息，时间和位置信息；

f2、通过人脸识别算法对每个现场人员进行识别，本实施例通过投放包含大量包含人脸图片的数据集到dlib模型进行训练，实现自动定位人脸，截取人脸检测框中的人脸，获得人脸特征数据；

f3、将现场人员的人脸特征进行与警方在找走失人员的人脸特征计算相似度计算；本实施例提出的相似度计算方法采用余弦距离，余弦距离又称余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。当两个向量直接的夹角趋向0时，两个向量越接近，差异就越小，越接近1值时，说明人脸越相似；

f4、如果现场人员的人脸特征与警方在找走失人员的人脸特征相似度>0.7，触发自动告警模块；

f5、将现场人员的人脸特征进行与严重精神疾病管控人员库的人脸特征计算相似度；

f6、如果现场人员的人脸特征与严重精神疾病管控人员库的人脸特征相似度>0.7，触发自动告警模块；

f7、否则，对现场人员通过基于faster-rcnn的精神异常人员识别算法识别精神异常人员；

f8、如果识别到精神异常人员，则对视频中的图像进行校准；

f9、获取精神异常人员与正常人的边界框底部的中点在鸟瞰图对应的像素坐标。采用欧式距离，计算视频中出现的精神异常人员与正常人的像素距离；

f10、如果精神异常人员与正常人的像素距离的最小值大于告警阈值，触发自动告警模块；

f11、否则，对现场人员通过基于yolov4的老人/小孩识别算法识别老人和小孩；通过采集大量包含老人/小孩，非老幼人员的图片，使用labelimg图像标注工具对老人/小孩，非老幼人员打上标签，划分训练集，验证集，测试集，分别用来训练模型、验证模型的收敛情况和测试模型的效果。投放训练集到yolov4进行训练并保存模型，当验证集损失率到达理想的值后停止训练，可以在测试集上进行测试，查看模型效果。最终，调用训练好的模型，实现老人/小孩的自动识别；

f12、如果识别到老人或小孩，则对视频中的图像进行校准；

f13、获取老人/小孩与非老幼人员的边界框底部的中点在鸟瞰图对应的像素坐标；采用欧式距离，计算视频中出现的老人或小孩与非老幼人员的像素距离；

f14、如果老人/小孩与非老幼人员的像素距离的最小值大于告警阈值，触发自动告警模块；转到f1。

在步骤f7中，faster-rcnn这类网络先使用区域提议网络在第一阶段产生兴趣区域，再将区域提案发送到pipeline中以进行对象分类和边界框回归，这样的模型换来了更高的准确率了但效率不高；由于精神异常人员识别实现起来较为困难，需要大型的神经网络算法和优质的数据集来实现，暂时不考虑更高的效率，选择采用faster-rcnn网络；精神异常人员的数据相当稀少，获取也比较困难，可以考虑让精神病院协助采集数据集。

通过采集到的包含精神异常人员、正常人的图片，使用labelimg图像标注工具对精神异常人员，正常人打上标签，划分训练集，验证集，测试集，分别用来训练模型、验证模型的收敛情况和测试模型的效果。投放训练集到faster-rcnn进行训练并保存模型，当验证集损失率到达理想的值后停止训练，可以在测试集上进行测试，查看模型效果。最终，调用训练好的模型，实现精神异常人员的自动识别。

在步骤f8和步骤f12中，因为摄像机是斜视拍摄的，形成的图像会发生变形，难以测量人与人之间的距离，opencv中提供了透视变换的接口，通过在地平面上放置标定板图像，获得地平面上棋盘格图像上四个顶点的坐标(0,0),(widht-1,0),(0,height-1),(wdith-1,height-1)；同时，在拍摄的图像平面提取角点，并获得与地平面上四个点对应的角点在图像空间中的坐标值，通过四个坐标点间的对应关系，基于getperspectivetransform()函数，获得地平面到图像平面间的投影变换关系h；最后，通过warpperspective()函数对图像进行逆向映射到地平面空间中,实现图片的鸟瞰转换，使之变成鸟瞰图。

在步骤f10和步骤14中，将鸟瞰图中以像素为单位的距离映射到实际可测量的单位(例如，米，英尺等)。比如当像素距离为多少时，实际距离为2m，如果想在其他人与精神异常人员、老人/小孩的距离都大于2m的时候发出告警，那么2m所对应的像素距离就是所谓的告警阈值。意在为没有人陪同的老人、小孩或者精神异常人员独自出走提供智能预警。

一种走失人员识别装置，包含储存装置、处理器、告警装置、至少一个摄像头，其中摄像头优选为智能摄像头，储存装置用于存储一个或多个程序，当一个或多个程序被处理器执行时，处理器实现如上述走失人员识别的方法。

作为优选地，装置还包括通信接口，所述通信接口用于与外部设备进行通信和数据交互传输。

需要说明的是，所述存储器可能包含高速ram存储器，也可能还包括非易失性存储器(nonvolatilememory)，例如至少一个磁盘存储器。

在具体实现上，如果存储器、处理器及通信接口集成在一块芯片上，则存储器、处理器及通信接口可以通过内部接口完成相互间的通信。如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。

一种计算机可读存储介质，其存储有至少一个程序，当程序被处理器执行时，实现上述走失人员识别的方法。

应当理解，所述计算机可读存储介质为可存储数据或程序的任何数据存储设备，所述数据或程序其后可由计算机系统读取。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、cd-rom、hdd、dvd、磁带和光学数据存储设备等。

计算机可读存储介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。

计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(radiofrequency，rf)等，或者上述的任意合适的组合。

在一些实施方案中，计算机可读存储介质还可以是非暂态的。

本方案提供的一种面向复杂场景的走失人员识别系统，使用了人脸识别技术，对已报警的走失人员进行全面视频监控搜寻，更快锁定目标，提高寻找效率，同时关注到精神异常人、老人、小孩这些易走失人群，利用深度学习算法自动提取特征，而不是像传统机器学习算法需要人为设计特征，效果更加准确，及时发现可能走失的人员，发出告警。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。