一种人影可疑性判定方法、装置、设备及存储介质与流程

1.本发明涉及视频安防技术领域，特别涉及一种人影可疑性判定方法、装置、设备及存储介质。


背景技术：

2.当前，基于视频分析的可疑人员预警是视频安防领域的重要应用方向，广泛应用在家庭、校园、商场、银行、交通及建筑工地等场合，具体应用包括庭院入侵报警、银行闯入预警、工厂仓库防盗等，其以数字化、网络化的视频监控为基础，以人形检测技术为支撑，以行为识别分析技术为核心。其中，人形检测用于检测摄像机视野中的人，行为识别分析用于判断人员是否可疑。
3.对于目前的可疑人员预警技术而言，只能对视野范围内的可疑人员进行预警，无法对视野外的可疑人员进行预警。可疑人员处于摄像机视野外有两个可能原因：一方面，同一场景安装的摄像机数量有限及每个摄像机的视野有限；另一方面，可疑人员蓄意躲避摄像机的视野范围。然而针对摄像机数量和视野受限的情况，增加摄像机的数量以及采用大视野的摄像机只能一定程度上覆盖更多区域，不能覆盖全景区域而且还会导致成本的增加。针对蓄意躲避摄像机视野范围的情况，只能依赖暴露在视野内的人的其它信息。在一定的场景下，可疑人员未出现在摄像机的视野内，从而无法利用现有基于人形检测的可疑人员预警方法进行预警，若可疑人员的影子出现在摄像机视野内，有经验的安防人员可以通过人影信息进行预警，但是目前通过智能算法分析视频中的人影信息进行可疑人员预警的方法还未出现。
4.因此，如何提供一种针对视频中的人影信息进行可疑人员预警的技术方案是本领域技术人员目前需要解决的问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种人影可疑性判定方法、装置、设备及存储介质，能够解决未见真人而只见人影场景下的可疑人员预警的问题。其具体方案如下：第一方面，本技术公开了一种人影可疑性判定方法，包括：利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域；利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理，以构建出与所述目标视频对应的目标人影框图序列；将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的检测结果；基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果。
6.可选的，所述利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测之前，还包括：收集各场景下的视频样本，并对所述视频样本中的每帧视频帧中的人影矩形框位置进行标注得到标注后视频样本；利用所述标注后视频样本对基于区域掩膜算法的深度卷积神经网络模型进行训练得到相应的人影目标检测模型。
7.可选的，所述利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理之前，还包括：根据所述人影矩形框位置对所述目标视频中的各所述视频帧中的人影进行裁剪，得到包含所述人影的人影框图；根据所述人影像素区域从所述人影框图中提取出相应的人影轮廓；为所述人影轮廓设置相应的人影编号得到编号后人影轮廓，并将所述编号后人影轮廓存放至预先构建的人影轮廓库中。
8.可选的，所述构建出与所述目标视频对应的目标人影框图序列，包括：获取相同人影编号的所述人影轮廓对应的人影框图，得到各人影编号对应的人影框图集合；按照所述视频帧的先后顺序对所述人影框图集合中的各所述人影框图进行排序，得到各所述人影编号对应的人影框图序列；按照人影编号顺序对各所述人影框图序列进行排序，得到相应的目标人影框图序列。
9.可选的，所述为所述人影轮廓设置相应的人影编号得到编号后人影轮廓，并将所述编号后人影轮廓存放至预先构建的人影轮廓库中，包括：判断所述人影轮廓是否为所述目标视频的起始帧人影轮廓；若所述人影轮廓为所述目标视频的所述起始帧人影轮廓，则为所述人影轮廓设置相应的人影编号得到编号后人影轮廓，并将所述编号后人影轮廓确定为轮廓模板存放至预先构建的人影轮廓库中；若所述人影轮廓不为所述目标视频的所述起始帧人影轮廓，则将所述人影轮廓与所述人影轮廓库中的所有轮廓模板进行匹配以确定出与各所述轮廓模板对应的匹配分数；从匹配分数中确定出最大匹配分数；判断所述最大匹配分数是否大于预设匹配阈值；若所述最大匹配分数大于所述预设匹配阈值，则为所述人影轮廓设置与所述最大匹配分数对应的轮廓模板相同的人影编号，并利用所述人影轮廓替换所述人影轮廓库中的与所述最大匹配分数对应的所述轮廓模板；若所述最大匹配分数不大于所述预设匹配阈值，则为所述人影轮廓设置新的人影编号，并将编号后人影轮廓确定为与所述新的人影编号对应的轮廓模板存放至预先构建的人影轮廓库中。
10.可选的，所述将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的检测结果，包括：
将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的可疑得分和非可疑得分；相应的，所述基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果，包括：根据所述可疑得分和非可疑得分判断所述目标视频中的人影是否可疑，得到相应的判定结果。
11.可选的，所述根据所述可疑得分和非可疑得分判断所述目标视频中的人影是否可疑，得到相应的判定结果，包括：判断所述可疑得分是否大于所述非可疑得分；若所述可疑得分大于所述非可疑得分，则判定所述目标视频中的人影可疑；若所述可疑得分不大于所述非可疑得分，则判定所述目标视频中的人影不可疑。
12.第二方面，本技术公开了一种人影可疑性判定装置，包括：人影检测模块，用于利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域；序列图构建模块，用于利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理，以构建出与所述目标视频对应的目标人影框图序列；可疑性判定模块，用于将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的检测结果；判断模块，用于基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果。
13.第三方面，本技术公开了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现前述公开的人影可疑性判定方法的步骤。
14.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的人影可疑性判定方法的步骤。
15.可见，本技术提供了一种人影可疑性判定方法，包括：利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域；利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理，以构建出与所述目标视频对应的目标人影框图序列；将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的检测结果；基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果。由此可知，本技术通过人影目标检测模型检测目标视频中各视频帧的人影，即视频帧对应的人影矩形框位置和人影像素区域，然后
利用人影矩形框位置和人影像素区域对视频帧中的人影采用轮廓匹配算法进行跟踪处理，从而构建出与目标视频对应的目标人影框图序列，通过人影可疑性判定模型判定目标人影框图序列判断所述目标视频中的人影是否可疑，也即，本技术的上述技术方案能够解决未见真人而只见人影场景下的可疑人员预警的问题。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
17.图1为本技术公开的一种人影可疑性判定方法流程图；图2为本技术公开的一种具体的人影可疑性判定方法流程图；图3为本技术公开的一种目标人影框图序列构建示意图；图4为本技术公开的一种具体的人影可疑性判定方法流程图；图5为本技术公开的一种目标人影可疑性判定模型推理示意图；图6为本技术公开的一种人影可疑性判定装置结构示意图；图7为本技术公开的一种电子设备结构图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.当前，人形检测用于检测摄像机视野中的人，行为识别分析用于判断人员是否可疑。但是，对于目前的可疑人员预警技术而言，只能对视野范围内的可疑人员进行预警，无法对视野外的可疑人员进行预警。并且针对蓄意躲避摄像机视野范围的情况，只能依赖暴露在视野内的人的其它信息。在一定的场景下，可疑人员未出现在摄像机的视野内，从而无法利用现有基于人形检测的可疑人员预警方法进行预警，若可疑人员的影子出现在摄像机视野内，有经验的安防人员可以通过人影信息进行预警，但是目前通过智能算法分析视频中的人影信息进行可疑人员预警的方法还未出现。为此，本技术提供了一种人影可疑性判定方案，能够解决未见真人而只见人影场景下的可疑人员预警的问题。
20.本发明实施例公开了一种人影可疑性判定方法，参见图1所示，该方法包括：步骤s11：利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域。
21.本实施例中，利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域，即通过人影目标检测模型进行人影的检测，也就是说，将一定时间长度的目标视频输入至预先训练的人影目标检测模型，得到人影目标检测模型输出相应的人影矩
形框位置和人影像素区域。例如，利用摄像机获取一定时间长度的目标视频，将该目标视频输入至人影目标检测模型，该人影目标检测模型对目标视频中的图片帧采用基于深度卷积神经网络的人影检测方法检测人影。
22.本实施中，所述利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域之前，可以包括：收集各场景下的视频样本，并对所述视频样本中的每帧视频帧中的人影矩形框位置进行标注得到标注后视频样本；利用所述标注后视频样本对基于区域掩膜算法的深度卷积神经网络模型进行训练得到相应的人影目标检测模型。可以理解的是，预先训练的基于深度卷积神经网络的人影目标检测模型在训练时需要大量已知标签的视频样本，由于人影检测属于通用目标检测的范畴，而且相关的人影图片在常用数据集是没有的，因此在训练过程中所需的训练数据样本需制作，因此，为了得到丰富的训练数据集，可以从多个方面拍摄人影图片，例如，基于人影灰度考虑，天气选择包括晴空万里、少云中晴以及多云小晴等情况；基于时间考虑，时间选择黎明、白天、傍晚及黑夜；基于人影角度考虑，尽量拍摄各个角度的人影；基于人物考虑，拍摄不同人的人影；基于场景可疑考虑，选择可疑人员经常会出现的场景拍摄，比如墙角、窗户、门前等；基于人影动作形态考虑，拍摄更多动作形态下的阴影，比如攀爬、拍照、坐姿、打电话、匍匐、张望、紧缩等；基于人影与其它物体阴影误识别考虑，可多拍摄包含其它物体阴影的状况，比如猫、狗、植物及其它不动物体，然后收集到的人影图片使用标注工具进行相应的标注，例如，标注出人影的矩形边界框位置，每张图片的标注文件为同名的标注文件，进而利用标注好的数据样本训练基于区域掩膜的深度卷积神经网络模型mask r-cnn（region-convolutional neural network，区域卷积神经网络），得到训练后的人影目标检测模型，因此，只要向该人影目标检测模型中输入一张图片，该人影目标检测模型可以输出包含人影的人影矩形框位置和人影像素区域。也即，输入的目标视频的所有图片帧，也即视频帧，采用基于区域掩膜的深度卷积神经网络模型，即mask r-cnn进行人影检测，得到该mask r-cnn模型输出的各视频对应的包含人影的人影矩形框位置和人影像素区域。
23.步骤s12：利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理，以构建出与所述目标视频对应的目标人影框图序列。
24.本实施例中，通过人影目标检测模型对目标视频中的人影进行人影检测，得到人影目标检测模型输出相应的人影矩形框位置和人影像素区域之后，利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理以构建出与所述目标视频对应的目标人影框图序列。可以理解的是，利用人影矩形框位置和人影像素区域对视频帧中的人影进行跟踪处理，从而构建出相应的目标人影框图序列。
25.步骤s13：将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的检测结果。
26.本实施例中，构建出与所述目标视频对应的目标人影框图序列，需要对该目标人影框图序列进行检测，所以可以将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型
输出的与所述目标人影框图序列对应的检测结果，也即，在对目标人影框图序列进行人影可疑性检测时，可以通过基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型进行检测，从而得到该人影可疑性判定模型输出的相应的检测结果。
27.步骤s14：基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果。
28.本实施例中，人影可疑性判定模型输出与所述目标人影框图序列对应的检测结果，然后基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果。可以理解的是，人影可疑性判定模型输出的检测结果为针对目标人影框图序列对应的可疑性指标，进而分析该可疑性指标判断所述目标视频中的人影是否可疑。
29.本实施例中，基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果之后，还可根据该判定结果产生相应的预警提示。也就是说，如果判断出所述目标视频中的人影可疑，则产生相应的预警提示，从而解决未见真人而只见人影场景下的可疑人员预警问题。
30.可见，本技术实施例中通过人影目标检测模型检测目标视频中各视频帧的人影，即视频帧对应的人影矩形框位置和人影像素区域，然后利用人影矩形框位置和人影像素区域对视频帧中的人影采用轮廓匹配算法进行跟踪处理，从而构建出与目标视频对应的目标人影框图序列，通过人影可疑性判定模型判定目标人影框图序列判断所述目标视频中的人影是否可疑，也即本技术的上述技术方案能够解决未见真人而只见人影场景下的可疑人员预警的问题。
31.参见图2所示，本发明实施例公开了一种具体的人影可疑性判定方法，相较于上一实施例，本实施例对技术方案作了进一步的说明和优化。
32.步骤s21：利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域。
33.步骤s22：根据所述人影矩形框位置对所述目标视频中的各所述视频帧中的人影进行裁剪，得到包含所述人影的人影框图。
34.本实施例中，通过人影目标检测模型对目标视频中的人影进行人影检测，人影目标检测模型输出相应的人影矩形框位置和人影像素区域，根据人影矩形框位置对视频帧中的人影进行裁剪，从而得到包含所述人影的人影框图，也就是说，依据人影矩形框位置将包含人影的人影框图从原始视频帧中裁剪出来。需要指出的是，该人影矩形框位置可以为能够包含人影的最小边界矩形框位置。
35.步骤s23：根据所述人影像素区域从所述人影框图中提取出相应的人影轮廓。
36.本实施例中，从原始视频帧中裁剪出包含人影的人影框图，进而根据人影像素区域从所述人影框图中提取出相应的人影轮廓。
37.步骤s24：为所述人影轮廓设置相应的人影编号得到编号后人影轮廓，并将所述编号后人影轮廓存放至预先构建的人影轮廓库中。
38.本实施例中，根据人影像素区域从所述人影框图中提取出相应的人影轮廓，为提取出的人影轮廓设置相应的人影编号，设置好人影编号后，将该轮廓保存至预先构建的人影轮廓库中。具体的，判断所述人影轮廓是否为所述目标视频的起始帧人影轮廓；若所述人
影轮廓为所述目标视频的所述起始帧人影轮廓，则为所述人影轮廓设置相应的人影编号得到编号后人影轮廓，并将所述编号后人影轮廓确定为轮廓模板存放至预先构建的人影轮廓库中；若所述人影轮廓不为所述目标视频的所述起始帧人影轮廓，则将所述人影轮廓与所述人影轮廓库中的所有轮廓模板进行匹配以确定出与各所述轮廓模板对应的匹配分数，并从所述匹配分数中确定出最大匹配分数；判断所述最大匹配分数是否大于预设匹配阈值；若所述最大匹配分数大于所述预设匹配阈值，则为所述人影轮廓设置与最大匹配分数对应的轮廓相同的人影编号，并利用所述人影轮廓替换所述人影轮廓库中的与所述最大匹配分数对应的所述轮廓模板；若所述最大匹配分数不大于所述预设匹配阈值，则为所述人影轮廓设置新的人影编号，并将编号后人影轮廓确定为与所述新的人影编号对应的轮廓模板存放至预先构建的人影轮廓库中。可以理解的是，在判断出所述人影轮廓不是起始帧人影轮廓时，则将人影轮廓与人影轮廓库中的轮廓模板进行匹配时，可以采用轮廓匹配算法将人影轮廓与人影轮廓库中的所有轮廓模板进行一一匹配，从而确定出该人影轮廓与各轮廓模板匹配时的匹配分数，并从这些匹配分数中确定出最大匹配分数，进而判断最大匹配分数是否大于预设匹配阈值时，在最大匹配分数大于预设匹配阈值时，说明该人影轮廓为与最大匹配分数对应的轮廓模板为同一人体轮廓，并为该人影轮廓设置人影编号，并且该人影编号与最大匹配分数对应的轮廓模板的人影编号是相同的，然后将该人影轮廓替换为该人影编号对应的轮廓模板，在匹配分数不大于预设匹配阈值时，说明该人影轮廓与最大匹配分数对应的轮廓模板并不是同一人体轮廓，为该人影轮廓设置新的人影编号，并将其确定为该新的人影编号对应的轮廓模板存放至人影轮廓库中。
39.步骤s25：获取相同人影编号的所述人影轮廓对应的人影框图，得到各人影编号对应的人影框图集合。
40.本实施例中，获取相同人影编号的所述人影轮廓对应的人影框图，得到各人影编号对应的人影框图集合。可以理解的是，同一人体的人影轮廓编号是相同的，不同人体的人影轮廓编号是不相同的，同一人体的人影编号都可能对应着多个人影轮廓，即各人影框图集合中的各人影框图对应的人影轮廓的编号是一样的。
41.步骤s26：按照所述视频帧的先后顺序对所述人影框图集合中的各所述人影框图进行排序，得到各所述人影编号对应的人影框图序列。
42.本实施例中，获取到各人影编号对应的人影框图集合之后，则对人影框图集合中的人影框图按照视频帧的先后顺序进行排序，从而得到各所述人影编号对应的人影框图序列。
43.步骤s27：按照人影编号顺序对各所述人影框图序列进行排序，得到相应的目标人影框图序列。
44.本实施例中，在完成各人影编号对应的人影框图集合中的人影框图的排序得到人影框图序列之后，再按照人影编号顺序对各所述人影框图序列进行排序，得到相应的目标人影框图序列。
45.例如，如图3所示，依据人影矩形框位置将人影从原始视频帧中裁剪出来得到人影框图，并且依据人影像素区域得到人影框图中的人影轮廓；将提取出来的人影轮廓作为轮廓模板，并为所述人影轮廓设置相应的人影编号。具体的，判断该人影轮廓是否为起始帧人影轮廓，若是起始帧人影轮廓，为其设置人影编号，并直接将其作为轮廓模板存放至人影轮
廓库，如果不是起始帧人影轮廓，则采用轮廓匹配算法将该人影轮廓与人影轮廓库中的所有轮廓模板进行一一匹配，若最大匹配分数达到预设匹配阈值，则认为该人影轮廓与最大匹配分数对应的轮廓模板是同一人体的人影，并为该人影轮廓设置与最大匹配分数对应的轮廓模板相同的人影编号，然后用该人影轮廓替换该人影编号对应的轮廓模板；若匹配分数达不到预设匹配阈值，则为该人影轮廓设置新的编号，将该人影轮廓确定为该新的编号对应的轮廓模板放入人影轮廓库中。然后对相同人影编号对应的人影轮廓按照帧的先后进行排序，遍历完整个目标视频即可得到所有相同人影编号的人影框图序列；将人影框图序列按人影编号进行排序，并且相同编号的人影框图序列按照帧的先后进行排序，得到目标人影框图序列。
46.步骤s28：将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的检测结果。
47.步骤s29：基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果。
48.关于上述步骤s21以及上述步骤s28至步骤s29的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
49.可见，本技术实施例中通过人影目标检测模型检测目标视频中各视频帧的人影，即视频帧对应的人影矩形框位置和人影像素区域，然后利用人影矩形框位置和人影像素区域对视频帧中的人影采用轮廓匹配算法进行跟踪处理，从而提取出相应的人影轮廓，并对人影轮廓进行编号，按照视频帧的先后顺序和人影编号顺序对人影轮廓进行排序，从而构建出与目标视频对应的目标人影框图序列，通过人影可疑性判定模型判定目标人影框图序列判断所述目标视频中的人影是否可疑，也即本技术的上述技术方案能够解决未见真人而只见人影场景下的可疑人员预警的问题。
50.参见图4所示，本发明实施例公开了一种具体的人影可疑性判定方法，相较于上一实施例，本实施例对技术方案作了进一步的说明和优化。
51.步骤s31：利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域。
52.步骤s32：利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理，以构建出与所述目标视频对应的目标人影框图序列。
53.步骤s33：将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的可疑得分和非可疑得分。
54.本实施例中，通过基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型检测目标人影框图序列，也即将所述目标人影框图序列输入人影可疑性判定模型，所述人影可疑性判定模型输出与所述目标人影框图序列对应的可疑得分和非可疑得分。可以理解的是，利用深度卷积神经网络模型提取特征信息，利用循环神经网络模型提取时序信息，该时序信息即人影轮廓在时间维度上的变化信息，对该变化信息进行分类
以判断目标视频中的人影是否可疑。
55.需要指出的是，基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型以人影跟踪得到的目标人影框图序列作为输入，该人影可疑性判定模型的具体构建过程可以为：依据人影像素区域对目标人影框图序列中的人影框图进行灰度阈值二值化处理，也就是说，例如，如图5所示，将属于人影的像素灰度置为0，不属于人影的像素灰度置为255，从而得到关于人影编号的人影二值化图片序列；利用深度卷积神经网络cnn提取所述人影二值化图片序列的每个图片的特征，所述深度卷积神经网络cnn可以为基于残差结构的resnet101深度卷积神经网络。例如，假设所述人影二值化图片序列的图片总数为k，且每张图片得到n个形状为(w，h)的特征图，则所述人影二值化图片序列对应k*n个形状为(w，h)的特征图；然后对k*n个特征图进行gap（global average pooling，全局平均池化），得到k个n维向量，将ｋ个ｎ维向量连接包含ｍ个隐藏元的单层长短期记忆模型循环神经网络lstm（long short-term memory，长短期记忆网络），最终输出为一个ｍ维的向量yk，进而将ｍ维的向量yk连接输出层神经元数目为２的fc（fully connected，全连接神经网络），输出两个数值xs和x
ns
，再连接softmax分类器，经softmax分类器计算得到两个和为１的可疑得分ss和非可疑的得分s
ns
，softmax分类器的计算公式可以为：；其中i，j表示类别编号。
56.而且在该人影可疑性判定模型训练的过程中，同样需要大量已知标签的视频数据，进而利用这些数据对该人影可疑性判定模型进行训练，由于针对人影可疑性的视频数据样本在常见数据集中没有找到，因此训练所需的视频数据样本需制作，并且人影的动作是界定人影是否可疑的关键，所以为了得到丰富的数据集，需从不同人影灰度、不同时间、不同人影角度、不同人物、不同时长、不同场景及不同动作组合等方面拍摄可疑动作人影和非可疑动作人影的视频，且保持两种类型视频数目相当，以保持训练时正负样本的均衡。其中，所述可疑动作行为可以包括但不限于徘徊、四处张望、手机拍照、攀爬、匍匐、跳跃等，并对拍摄的视频数据样本进行标注，将包含可疑动作行为的视频标记为1，即可疑；将不包含可疑动作行为的标记为0，即不可疑，因此可以得到用于训练所述人影可疑性判定模型的视频数据样本。
57.步骤s34：根据所述可疑得分和非可疑得分判断所述目标视频中的人影是否可疑，得到相应的判定结果。
58.本实施例中，根据所述可疑得分和非可疑得分判断所述目标视频中的人影是否可疑，得到相应的判定结果，可以理解的是，判断所述可疑得分是否大于所述非可疑得分，若所述可疑得分大于所述非可疑得分，则判定所述目标视频中的人影可疑，若所述可疑得分不大于所述非可疑得分，则判定所述目标视频中的人影不可疑。
59.关于上述步骤s31至步骤s32的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
60.可见，本技术实施例中通过人影目标检测模型检测目标视频中各视频帧的人影，即视频帧对应的人影矩形框位置和人影像素区域，然后利用人影矩形框位置和人影像素区域对视频帧中的人影采用轮廓匹配算法进行跟踪处理，从而构建出与目标视频对应的目标
人影框图序列，通过人影可疑性判定模型判定目标人影框图序列判断所述目标视频中的人影是否可疑，也即本技术的上述技术方案能够解决未见真人而只见人影场景下的可疑人员预警的问题。
61.相应的，本技术实施例还公开了一种人影可疑性判定装置，参见图6所示，该装置包括：人影检测模块11，用于利用预先训练的人影目标检测模型对当前输入的目标视频进行人影检测，得到所述人影目标检测模型输出的所述目标视频中各视频帧对应的人影矩形框位置和人影像素区域；序列图构建模块12，用于利用所述人影矩形框位置和所述人影像素区域对各所述视频帧中的所述人影采用轮廓匹配算法进行跟踪处理，以构建出与所述目标视频对应的目标人影框图序列；可疑性判定模块13，用于将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的检测结果；判断模块14，用于基于所述检测结果判断所述目标视频中的人影是否可疑，得到相应的判定结果。
62.由上可见，本技术实施例中通过人影目标检测模型检测目标视频中各视频帧的人影，即视频帧对应的人影矩形框位置和人影像素区域，然后利用人影矩形框位置和人影像素区域对视频帧中的人影采用轮廓匹配算法进行跟踪处理，从而构建出与目标视频对应的目标人影框图序列，通过人影可疑性判定模型判定目标人影框图序列判断所述目标视频中的人影是否可疑，也即本技术的上述技术方案能够解决未见真人而只见人影场景下的可疑人员预警的问题。
63.在一些具体的实施例中，所述人影可疑性判定装置，具体还可以包括：样本收集模块，用于收集各场景下的视频样本；样本标注模块，用于对所述视频样本中的每帧视频帧中的人影矩形框位置进行标注得到标注后视频样本；模型训练模块，用于利用所述标注后视频样本对基于区域掩膜算法的深度卷积神经网络模型进行训练得到相应的人影目标检测模型。
64.在一些具体的实施例中，所述人影可疑性判定装置，具体还可以包括：人影裁剪模块，用于根据所述人影矩形框位置对所述目标视频中的各所述视频帧中的人影进行裁剪，得到包含所述人影的人影框图；轮廓提取模块，用于根据所述人影像素区域从所述人影框图中提取出相应的人影轮廓；编号设置模块，用于为所述人影轮廓设置相应的人影编号得到编号后人影轮廓，并将所述编号后人影轮廓存放至预先构建的人影轮廓库中。
65.在一些具体的实施例中，所述序列图构建模块12，具体还可以包括：框图获取单元，用于获取相同人影编号的所述人影轮廓对应的人影框图，得到各人影编号对应的人影框图集合；第一排序单元，用于按照所述视频帧的先后顺序对所述人影框图集合中的各所述
人影框图进行排序，得到各所述人影编号对应的人影框图序列；第二排序单元，用于按照人影编号顺序对各所述人影框图序列进行排序，得到相应的目标人影框图序列。
66.在一些具体的实施例中，所述编号设置模块，具体还可以包括：第一判断单元，用于判断所述人影轮廓是否为所述目标视频的起始帧人影轮廓；第一编号设置单元，用于当所述人影轮廓为所述目标视频的起始帧人影轮廓时，则为所述人影轮廓设置相应的人影编号得到编号后人影轮廓，并将所述编号后人影轮廓确定为轮廓模板存放至预先构建的人影轮廓库中；匹配单元，用于当所述人影轮廓不为所述目标视频的起始帧人影轮廓时，则将所述人影轮廓与所述人影轮廓库中的所有轮廓模板进行匹配以确定出与各所述轮廓模板对应的匹配分数；最大匹配分数确定单元，用于从所述匹配分数中确定出最大匹配分数；第二判断单元，用于判断所述最大匹配分数是否大于预设匹配阈值；第二编号设置单元，用于当所述最大匹配分数大于所述预设匹配阈值时，则为所述人影轮廓设置与所述最大匹配分数对应的轮廓模板相同的人影编号，并利用所述人影轮廓替换所述人影轮廓库中的与所述最大匹配分数对应的所述轮廓模板；第三编号设置单元，用于当所述最大匹配分数不大于所述预设匹配阈值时，则为所述人影轮廓设置新的人影编号，并将编号后人影轮廓确定为与所述新的人影编号对应的轮廓模板存放至预先构建的人影轮廓库中。
67.在一些具体的实施例中，所述可疑性判定模块13，具体还可以包括：可疑性检测单元，用于将所述目标人影框图序列输入至基于深度卷积神经网络模型和循环神经网络模型预先构建的人影可疑性判定模型，以得到所述人影可疑性判定模型输出的与所述目标人影框图序列对应的可疑得分和非可疑得分；在一些具体的实施例中，所述判断模块14，具体还可以包括：第三判断单元，用于根据所述可疑得分和非可疑得分判断所述目标视频中的人影是否可疑，得到相应的判定结果。
68.在一些具体的实施例中，所述第三判断单元，具体还可以包括：第四判断单元，用于判断所述可疑得分是否大于所述非可疑得分；第一判定单元，用于当所述可疑得分大于所述非可疑得分时，则判定所述目标视频中的人影可疑；第一判定单元，用于当所述可疑得分不大于所述非可疑得分时，则判定所述目标视频中的人影不可疑。
69.进一步的，本技术实施例还提供了一种电子设备。图7是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
70.图7为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的人影可疑性判定方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
71.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
72.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
73.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的人影可疑性判定方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
74.进一步的，本技术实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的人影可疑性判定方法步骤。
75.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
76.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
77.以上对本发明所提供的一种人影可疑性判定方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。