一种值班人员违规行为检测方法及系统与流程
本发明涉及智能视频分析技术领域，尤其涉及一种值班人员违规行为检测方法及系统。
背景技术：
视频监控技术的发展十分迅速，各行各业的重点区域重点部位都已经实现了监控覆盖，监控视频信息均已实现联网。在实际应用中，监控中心、值班室、指挥中心等部位都应是有人值班，其管理部门需要定期进行非现场检查调阅历史视频信息，从中寻找值班人员睡岗(脱岗、睡觉)事件并加以记录，对值班违规行为进行精确、及时的检测能够保障现场安全管理工作的正常运行，且为非安全事件的发生提供了事后追溯的依据。目前，这些工作均是由检查人员手动进行，并且需要遍历(或近乎遍历)相关的所有历史视频，不仅耗时耗力，而且由于不同检查人员的主观判别存在差距，甚至同一检查人员在高强度的疲劳状态下也会存在判别错误，导致检查结果存在大量的漏检、误检现象。
利用视频分析技术来代替人工检查的方式可以有效的提高工作效率。但是，目前对于监控中心、值班室、指挥中心等场景的值班员脱岗、睡岗的视频分析技术一般是在每一个值班台前加置摄像头，正对值班员进行人脸检测与人眼检测，由此来判断其是否脱岗或者睡觉；该技术相对复杂维护困难、成本较高、识别准确率低，且显式部署容易造成值班人员的反感甚至对设备加以破坏。
技术实现要素：
鉴于上述的分析，本发明旨在提供一种值班人员违规行为检测方法及系统，用以解决现有检测方法效率低、成本高、识别准确率低的问题。
本发明的目的主要是通过以下技术方案实现的：
一方面，公开了一种值班人员违规行为检测方法，包括以下步骤：
步骤s1、构建目标检测网络模型，并利用数据集进行训练，得到训练好的目标检测网络模型；
步骤s2、实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；
步骤s3、根据多路视频之间的人员匹配关系，将上述获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。
本发明有益效果如下：本方法以环境摄像机视频为输入视频源进行智能视频分析，支持多路视频源输入并融合分析，通过深度学习与数据建模手段大大提高了违规行为识别的准确率，实现了对监控中心、值班室、指挥中心等场景的值班人员的值班行为进行实时准确地监测，保障现场安全管理工作的正常运行。
在上述方案的基础上，本发明还做了如下改进：
进一步，所述步骤s1具体包括以下步骤：
步骤s101，先建立轻量型目标分类网络，在此基础上，再构建目标检测网络模型；
步骤s102，获取数据集，首先，通过采集开源数据、从网上爬取数据和自制相关数据的途径获取数据，然后，对上述获取的数据进行筛选，得到和场景相关的数据；最后，对筛选出的数据进行标注。
步骤s103，利用上述获取的数据集对构建的目标检测网络模型进行训练，得到训练好的目标检测网络模型。
进一步，所述步骤s101，具体包括以下步骤：
步骤s10101，构建轻量型目标分类网络，所述网络采用two-waydense结构，具有两个分支，第一分支由1个1x1卷积和1个3x3卷积构成；第二分支由1个1x1卷积和2个3x3卷积构成；将第一分支、第二分支进行级联作为2-waydense结构的输出。
步骤s10102，在上述构建的轻量型目标分类网络的基础上添加两个分支-目标多类别分类子网络和目标坐标回归子网络，得到目标检测网络模型；所述目标多类别分类子网络使用3x3卷积，生成基于候选框的多类别概率，用于目标多类别分类；所述目标坐标回归子网络使用3x3卷积，生成基于候选框的坐标偏移量，用于目标坐标回归。
进一步，在步骤s102中，所述数据集，包括:
分类数据集，包括imagenet2012数据集，用于训练轻量型目标分类网络；
检测数据集，包括voc2007,voc2012数据集，用于训练目标检测网络模型；
监控室值班人员数据集，通过爬虫从网上抓取监控室值班人员图片，并对上述图片进行手动标注，标注出值班人员边框，制作成对应的数据集，用于目标检测网络模型微调训练。
进一步，步骤s103中，具体包括以下步骤：
步骤s10301，使用分类数据集对构建的轻量型目标分类网络进行训练，得到训练好的轻量型目标分类网络；
步骤s10302，将上述训练好的轻量型目标分类网络中全连接层去掉，并将剩下的部分作为目标检测网络的主体；将多层3x3卷积和1x1卷积进行嵌套，使得最后一层的输出大小为1x1，并选定大小为38x38,19x19,10x10,5x5,3x3,1x1的特征图作为分类子网络和坐标回归子网络的输入，将分类损失和定位损失之和作为损失函数，得到目标检测网络模型；
步骤s10303，使用检测数据集对得到的目标检测网络模型进行训练，得到初步训练后的目标检测网络模型。
步骤s10304，使用监控室值班人员数据集对上述初步训练后的目标检测网络模型进行微调训练，得到训练好的目标检测网络模型。
进一步，所述使用检测数据集对得到的目标检测网络模型进行训练，包括：
获取不同特征图对应的不同大小、长宽比的候选框后，以iou作为筛选指标，对候选框进行打标签以区分出正、负样本；
筛选出正、负样本后，将正、负样本输入到目标检测网络模型中进行训练，根据损失函数的损失值，使用反向传播算法，训练分类子网络和回归子网络，并利用map指标作为目标检测网络的性能衡量指标，得到初步训练后的目标检测网络模型。
进一步，所述步骤s2，具有包括以下步骤：
步骤s201、读取同一个场景的不同角度的多路视频流，并进行解析和预处理；
步骤s202、通过上述训练好的目标检测网络模型对上述解析得到的每帧图像进行检测，检测得到一个或多个人体框，并根据人体框的位置和数量确定每路视频中值班人员的位置信息和人数信息；
步骤s203、利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，根据相邻帧中人体框的位置获取各路视频中值班人员运动轨迹信息，同时，利用背景建模算法，结合值班人员的位置信息，计算场景中值班人员的动作幅度。
进一步，所述利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，包括：
为当前帧中检测得到的每一人体框均设置一对应跟踪器，当读取到视频中下一帧图像时，检测得到的一个或多个新的人体框，将上述跟踪器和人体框进行匹配，从而完成多目标在相邻帧中的跟踪，并实时生成跟踪器状态列表，所述列表包括跟踪器在当前帧中的位置、跟踪器存活帧数、跟踪器在当前帧是否更新。
进一步，所述进行整合处理包括：根据多路视频场景中的特征点信息，进行搜索匹配，计算多路视频摄像机之间的位置关系，根据计算得出的摄像机之间的空间旋转平移角度，把不同角度的视频内容和跟踪器状态列表进行整合处理，获取汇总后的人员信息。
另一方面，提供了一种值班人员违规行为检测系统，包括：
目标检测网络模型构建及训练模块，用于构建目标检测网络模型并利用数据集进行训练，得到训练好的目标检测网络模型；
目标检测单元模块，用于实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；
异常行为判断模块，用于根据多路视频之间的人员匹配关系，将目标检测单元模块中获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。
本发明有益效果如下：本系统以环境摄像机视频为输入视频源进行智能视频分析，支持多路视频源输入并融合分析，通过深度学习与数据建模手段大大提高了违规行为识别的准确率，实现了对监控中心、值班室、指挥中心等场景的值班人员的值班行为进行实时准确地监测，对值班违规行为进行精确、及时的检测能够保障现场安全管理工作的正常运行，且为非安全事件的发生提供了事后追溯的依据。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例中值班人员违规行为检测方法流程图；
图2为本发明实施例中目标检测网络模型框架图；
图3为本发明实施例中应用场景和实时效果图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例，公开了一种值班人员违规行为检测方法，如图1所示，包括以下步骤：
步骤s1、构建目标检测网络模型，并利用数据集进行训练，得到训练好的目标检测网络模型；
步骤s2、实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；
步骤s3、根据多路视频之间的人员匹配关系，将上述获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。
与现有技术相比，本实施例提供的值班人员违规行为检测方法，以环境摄像机视频为输入视频源进行智能视频分析，支持多路视频源输入并融合分析，通过深度学习与数据建模手段大大提高了违规行为识别的准确率，实现了对监控中心、值班室、指挥中心等场景的值班人员的值班行为进行实时准确地监测。
具体来说，在步骤s1中，构建目标检测网络模型，并利用数据集进行训练，得到训练好的目标检测网络模型；具体包括以下步骤：
步骤s101，构建目标检测网络模型，为了提供目标检测网络模型的精确性和实时性，降低计算资源消耗，本实施例中，通过先建立轻量型目标分类网络，在此基础上，在建立目标检测网络的方式，具体地：
步骤s10101，构建轻量型目标分类网络，该网络采用two-waydense结构，具有两个分支：第一分支由1x1卷积和3x3卷积构成；第二分支由1x1卷积和2个3x3卷积构成；将第一分支、第二分支进行级联作为2-waydense结构的输出。
需要说明的是，轻量型网络不仅网络参数量少，而且网络浮点计算次数少，因此不宜使用kernelsize大的卷积核，本实施例中使用了3x3卷积和1x1卷积，另外，分类任务中目标大小不同，因此网络需要有不同的感受野区域，设计了two-waydense结构，如图2所示，此结构有两个分支，分支a由1x1卷积和3x3卷积构成，3x3卷积对于小物体有很好的分类、检测效果；分支b由1x1卷积和2个3x3卷积构成，相当于1个5x5卷积，对于大物体具有很好的分类、检测效果，最后再将分支a,b进行级联作为2-waydense结构的输出。
深层网络会面临梯度消失、难以训练的问题，设计了不同卷积层之间进行跳跃连接的方式，有利于特征复用，减少了网络参数、降低网络计算资源消耗，加强了信息在网络中的流动，前面的卷积层可以直接与后面的卷积层相连，因此梯度可以直接往前传播，有效解决了梯度消失的问题，1x1卷积一般用来降维，但是降维会损坏信息，此轻量型分类网络中只有在和池化层相连的时候才使用1x1卷积进行降维，最后接一层全连接层，该网络使用softmax损失函数，公式为：
步骤s10102，构建目标检测网络，在上述构建的轻量型目标分类网络的基础上添加了两个分支-目标多类别分类子网络和目标坐标回归子网络，分别用来做目标多类别分类和目标坐标回归，使用不同大小、长宽比的目标框作为目标坐标回归子网络的参照；
其中，目标多类别分类子网络：使用3x3卷积，输出通道数为num_priors*class，其中num_priors为候选框数目，class为类别数加1，包含背景类，此子网络不预测候选框的置信度分数，因此需要在原有类别上添加对背景类的分类，以此来区分候选框是否为背景，此子网络使用softmax损失函数，公式如下：
其中，
目标坐标回归子网络：使用3x3卷积，输出通道数为num_priors*4，其中num_priors为候选框数目，对于每个候选框，网络分别预测x,y,w,h4个坐标相对于候选框坐标的偏移量，其中x,y为目标框中心点的坐标，w,h为目标框的宽度和高度，公式如下：
其中px,py,pw,ph为预测框中心点的坐标，预测框的宽度和高度，ax,ay,aw,ah为候选框中心点的坐标，候选框的宽度和高度。
图片标签中标注的真实框坐标是xmin,ymin,xmax,ymax，先将其转化为x,y,w,h，4个坐标，再将其转化为真实框相对于候选框坐标的偏移量，公式如下：
其中gx,gy,gw,gh为真实框中心点的坐标，真实框的宽度和高度。
此子网络使用smoothl1损失函数，公式为：
需要强调的是，本实施例中目标检测网络模型不同于先生成区域建议，再对区域建议进行分类以检测出多目标的传统思路，网络直接生成基于候选框的多类别概率和坐标偏移量，候选框由不同大小的特征图上进行计算得到，以特征图大小h*w为例，在每个(xi,yi)位置上，都生成不同大小，长宽比的候选框，长宽比集合为{1,2,1/2,3,1/3}，大小需要根据特征图和原图大小决定，不同大小的特征图生成的候选框的大小不同，候选框机制类似于滑动窗口，在特征图上的每个位置都进行不同大小窗口的滑动，所需特征图的数量可以根据实际需要进行选择，优选地，使用6个特征图计算候选框，再对6个特征图的候选框进行级联，即可以保证检测效率，同时保证了理想地运行效果。目标检测网络的损失函数为分类损失函数和定位损失函数之和：
其中，n为样本数量，lloc为坐标回归网络损失函数，lconf为分类网络损失函数。
步骤s102，获取数据集，使用开源学术数据集，网页爬虫获取数据，自制数据等方法收集得到训练数据，用于训练上述构建的目标检测网络模型；具体地，首先采集数据；然后对采集的数据进行筛选，得到和场景相关的数据；最后对筛选出的数据进行标注。可以通过采集开源数据，从网上爬取数据和自制相关数据的途径获取数据集，具体地：
获取分类数据集：使用imagenet2012数据集作为训练轻量型目标分类网络的数据集，优选地，训练集为128万张图片，验证集为5万张图片，测试集为10万张图片；
获取检测数据集：使用voc2007,voc2012数据集作为训练目标检测网络模型的数据集，优选地，训练集为17000张图片，测试集为4952张图片；
获取监控室值班人员数据集：使用爬虫从网上抓取监控室值班人员图片，制作成对应的数据集，用于目标检测网络模型微调训练；优选地，训练集为20000张图片，测试集为5000张图片；并对上述图片进行手动标注，标注出值班人员边框，其中，标注格式与voc数据集相同，图片标签以xml格式存储。
步骤s103，利用步骤s102中采集到的数据集对步骤s101中构建的目标检测模型进行训练，得到训练好的目标检测模型。
步骤s10301，训练轻量型目标分类网络，使用分类数据集中的imagenet2012数据集进行训练，得到训练好的轻量型目标分类网络。
步骤s10302，将上述训练好的轻量型目标分类网络中的全连接层去掉，将剩下的部分作为目标检测网络的主体，使用多层3x3卷积和1x1卷积进行嵌套，使得最后一层的输出大小为1x1，选定大小为38x38,19x19,10x10,5x5,3x3,1x1的特征图作为分类子网络和坐标回归子网络的输入，使用分类损失和定位损失之和作为损失函数，得到目标检测网络模型；
步骤s10303，使用检测数据集中的voc2007,voc2012数据对上述目标检测网络进行训练，在训练过程中，不同大小的特征图得到不同大小、长宽比的候选框后，对候选框进行打标签以区分出正、负样本，以iou(intersection-over-union，交并比)作为筛选指标，具体地，将候选框和图片标签中的每个真实物体框都计算iou。可以设定iou>0.5为正样本，剩下的都为负样本，但此时负样本数量过多，本实施例通过对负样本进行采样，得到正、负样本比例为1:3，因此，优选的采样策略为计算每个负样本的softmax损失函数，将损失值按照降序排列，取前n个作为负样本，n是按照正、负样本比例计算得到的负样本数量。
筛选出正、负样本后，将正、负样本输入到网络中进行训练，根据损失函数的损失值，使用反向传播算法，来训练分类子网络和回归子网络，使用map(meanaverageprecision，平均ap值)指标作为目标检测网络的性能衡量指标，训练完成后得到初步的目标检测网络。其中，map指标的具体数值可以根据实际情况(如检测精度、处理器性能)等进行设定。
步骤s10304，使用监控室值班人员数据集进行微调训练，得到训练好的目标检测网络模型，以使得目标检测网络对于监控室环境下值班人员具有很好的检测性能。
在步骤s2中，实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息，其中，人员信息包括：人员位置、人员数量、运动轨迹、动作幅度；具体包括以下步骤：
步骤s201、读取视频流：读取同一场景下多路视频流，示例性地，从两个摄像头中读取两路rtsp视频流，分别对两路视频流进行解析，将解析得到的帧进行预处理包括对图片进行减均值、归一化，封装后存储到环形缓冲区中，用于进一步处理；
步骤s202、利用训练好的深度学习目标检测网络模型获取各个视频场景内值班人员的位置信息和人数信息，并将结果记录储存；
具体地，通过上述训练好的目标检测网络模型对上述解析得到的每帧图像进行检测，检测得到一个或多个人体框，并根据人体框的位置和数量确定每路视频中值班人员的位置信息和人数信息；其中，可以采用不同的检测算法(如ssd，yolo，fasterrcnn)做人员数量统计，示例性地，可以提取hog特征，再使用svm分类器来判别是否是人。
步骤s203、使用多目标跟踪算法和背景建模算法，结合值班人员的位置信息，获取视频场景内值班人员的动作幅度和运动轨迹信息；
具体地，利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，根据相邻帧中人体框的位置获取各路视频中值班人员运动轨迹信息，同时，利用背景建模算法，结合值班人员的位置信息，计算场景中值班人员的动作幅度。
其中，利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，具体部位：为当前帧中检测得到的每一人体框均设置一对应跟踪器，当读取到视频中下一帧图像时，检测得到的一个或多个新的人体框，将上述跟踪器和人体框进行匹配，从而完成多目标在相邻帧中的跟踪，并实时生成跟踪器状态列表，所述列表包括跟踪器在当前帧中的位置、跟踪器存活帧数、跟踪器在当前帧是否更新。
对检测到的值班人员区域进行跟踪处理，根据不同算法特性选取人体不同的跟踪区域，比如卡尔曼滤波跟踪全部的人体区域，kcf算法跟踪人的头肩或者全部区域。优选的，采用卡尔曼滤波，卡尔曼滤波是一种用于线性系统的递归滤波器，将模型预测值和观测值进行融合得到一个输出值，分为两个阶段，第一个阶段为预测阶段，对目标建立线性运动模型，推算目标的状态变量，计算误差的协方差，第二个阶段为观测更新阶段，首先计算卡尔曼增益，根据观测值更新目标状态估计，最后更新误差协方差，卡尔曼滤波反复迭代这两个阶段；具体来说，使用目标检测网络的输出值作为卡尔曼滤波的观测值，针对线性运动进行建模得到状态模型，此状态模型的输出值作为卡尔曼滤波的预测值，卡尔曼滤波最终得到的输出值作为目标在当前帧中的位置；
示例性地，当前帧用fn表示，相邻帧用fn+1表示，多个跟踪目标用tracks表示，多个检测目标框用dets表示，具体地，
首先检查tracks是否为空，如果tracks为空，则使用fn帧的dets来初始化tracks，否则tracks不为空，对tracks进行更新，更新算法使用卡尔曼滤波进行更新。
对tracks和dets进行匹配，以iou作为匹配指标，iou>0.7则匹配成功，如果某个tracker匹配失败，它不会立即从tracks中删除，会保留3帧，如果3帧之内，都没有匹配成功，则这个tracker会从tracks中删除，若tracker匹配成功，它将会继续进行更新，如果某个detection匹配失败，则会使用这个detection初始化一个新的tracker；
另外，为了观察人是否在睡觉，需要时刻计算人是否有运动，同时除了人体的运动，监控画面中可以使像素颜色值发生变化的因素还有很多，比如光照，蚊虫飞舞等因素。通过背景建模算法，结合值班人员的位置信息，计算场景中值班人员的动作幅度；其中，背景建模方法可以使用混合高斯模型(gmm)，vibe算法等。在本实施例中假设每一种影响因素都是一个高斯分布，所以使用高斯混合模型对监控视频内的每一个像素的颜色值进行建模。在模型中，每一个像素点都是多个高斯分布混合叠加形成的，各个高斯分布的权值分布参数随着时间而更新。当一个像素的新值与混合高斯模型的均值偏差在某一个阈值之内(可以根据试验及视频内容确定)时，认为这个像素是背景，没有发生运动。反之，则是前景，有运动。进一步，可以结合相邻帧中人体位置检测结果，确定人是否发生了运动。
在步骤s3中，根据多路视频之间的人员匹配关系，将上述获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。具体地包括以下步骤：
步骤s301，将上述检测得到的多路视频信息进行整合处理；
对于同一个场景的不同角度的多路视频，根据场景中的特征点信息，进行搜索匹配，计算多路视频摄像机之间的位置关系，根据计算得出的摄像机之间的空间旋转平移角度，把不同角度的视频内容和跟踪器状态列表进行整合处理，获取汇总后的人员信息(人员数量，运动轨迹，动作幅度等信息)。
步骤s302，利用整合后的信息，根据预定规则判断值班人员的行为是否异常。
需要说明的是：异常行为包括睡岗(值班人员在岗位上睡觉)和脱岗(值班人员脱离岗位)两种，如果值班人员保持30分钟不动，则认为是睡岗行为，如果值班人员数目减少，则认为是脱岗行为。
具体地，睡岗行为通过检查跟踪器获取的跟踪器状态列表，查看跟踪器的存活帧数，如果存活帧数大于等于30*25，则认为该跟踪器所跟踪的值班人员发生睡岗行为，此时向相关系统发出报警，报警信息包括值班人员id，边界框位置、报警时间等信息；脱岗行为通过对值班人员进行人数统计来判断是否有异常行为，检查跟踪器状态列表，查看当前帧和相邻帧中跟踪器状态列表中的变化情况，得知跟踪器数量是否发生变化，如果跟踪器数量减少，则判定为值班人员发生脱岗行为，系统发出报警，报警信息包括值班人员id，当前监控室值班人员数量等信息。
需要说明的是，由于单路监控视频有可能无法完全覆盖监控区域，导致漏检问题，因此在单路视频可能存在盲区，本实施例中采用获取多路视频，分别对每路视频进行目标检测与跟踪，最后将同一个场景的不同角度的视频，根据场景中的特征点信息，进行搜索匹配，计算多路视频摄像机之间的位置关系，根据计算得出的摄像机之间的空间旋转平移角度，把不同角度的视频内容和分析结果进行整合处理，进而进行违规行为判断；除此方式外，还可以对获取的多路视频进行拼接处理，整合成一个大视频，使用训练所得的深度学习目标检测模型对大视频进行分析检测，进而进行违规行为判断。在实际应用场景中，可以根据实际情况及要求(如：探头空间分布关系，运算效率要求等)，分为把多路视频合并成一路大视频处理(一般探头)和单独处理每一路视频等不同的策略。
实施例2
公开了一种值班人员违规行为检测系统，包括:
目标检测网络模型构建及训练模块，用于构建目标检测网络模型并利用数据集进行训练，得到训练好的目标检测网络模型；
目标检测单元模块，用于实时获取同一个场景的不同角度的多路视频，利用上述训练好的目标检测网络模型与目标跟踪算法，对上述每路视频分别进行多目标检测与跟踪，获取每路视频中的人员信息；
异常行为判断模块，用于根据多路视频之间的人员匹配关系，将目标检测单元模块中获取的每路视频中的人员信息进行整合处理；并根据整合后的数据判断值班人员的行为是否异常。
与现有技术相比，本实施例提供的值班人员违规行为检测系统，以环境摄像机视频为输入视频源进行智能视频分析，支持多路视频源输入并融合分析，通过深度学习与数据建模手段大大提高了违规行为识别的准确率，实现了对监控中心、值班室、指挥中心等场景的值班人员的值班行为进行实时准确地监测。
具体来说，目标检测网络模型构建及训练模块包括：目标检测网络模型构建单元、数据集建立单元、目标检测网络模型训练单元；
目标检测网络模型构建单元，用于构建目标检测网络模型，分为轻量型目标分类网络构建子单元和目标检测网络模型构建子单元，具体地，轻量型目标分类网络构建子单元中，分类网络采用two-waydense结构，具有两个分支，第一分支由1个1x1卷积和1个3x3卷积构成；第二分支由1个1x1卷积和2个3x3卷积构成；将第一分支、第二分支进行级联作为2-waydense结构的输出。
目标检测网络模型构建子单元，在上述轻量型目标分类网络构建子单元构建的轻量型目标分类网络的基础上添加两个分支-目标多类别分类子网络和目标坐标回归子网络，得到目标检测网络模型；目标多类别分类子网络使用3x3卷积，生成基于候选框的多类别概率，用于目标多类别分类；目标坐标回归子网络使用3x3卷积，生成基于候选框的坐标偏移量，用于目标坐标回归。
数据集建立单元，首先采集数据，然后对数据进行筛选，得到和场景相关的数据，最后进行标注，采集数据阶段包括采集开源数据，从网上爬取数据和自制相关数据包括：分类数据集，包括imagenet2012数据集，用于训练轻量型目标分类网络；检测数据集，包括voc2007,voc2012数据集，用于训练目标检测网络模型；监控室值班人员数据集，通过爬虫从网上抓取监控室值班人员图片，并对上述图片进行手动标注，标注出值班人员边框，制作成对应的数据集，用于目标检测网络模型微调训练。
目标检测网络模型训练单元，利用数据集建立单元中的数据集对目标检测网络模型构建子单元中构建的网络进行训练。具体地，使用分类数据集对构建的轻量型目标分类网络进行训练，得到训练好的轻量型目标分类网络；将上述训练好的轻量型目标分类网络中全连接层去掉，并将剩下的部分作为目标检测网络的主体；将多层3x3卷积和1x1卷积进行嵌套，使得最后一层的输出大小为1x1，并选定大小为38x38,19x19,10x10,5x5,3x3,1x1的特征图作为分类子网络和坐标回归子网络的输入，将分类损失和定位损失之和作为损失函数，得到目标检测网络模型；使用检测数据集对得到的目标检测网络模型进行训练，得到初步训练后的目标检测网络模型。使用监控室值班人员数据集对上述初步训练后的目标检测网络模型进行微调训练，得到训练好的目标检测网络模型。
目标检测模块包括：视频读取单元，读取同一个场景的不同角度的多路视频流，并进行解析和预处理；
位置信息和人数信息检测单元，通过上述训练好的目标检测网络模型对上述解析得到的每帧图像进行检测，检测得到一个或多个人体框，并根据人体框的位置和数量确定每路视频中值班人员的位置信息和人数信息；
运动轨迹和动作幅度检测单元，利用跟踪算法对每路视频中相邻帧的图像进行匹配跟踪，根据相邻帧中人体框的位置获取各路视频中值班人员运动轨迹信息，同时，利用背景建模算法，结合值班人员的位置信息，计算场景中值班人员的动作幅度。具体地，包括为当前帧中检测得到的每一人体框均设置一对应跟踪器，当读取到视频中下一帧图像时，检测得到的一个或多个新的人体框，将上述跟踪器和人体框进行匹配，从而完成多目标在相邻帧中的跟踪，并实时生成跟踪器状态列表，列表包括跟踪器在当前帧中的位置、跟踪器存活帧数、跟踪器在当前帧是否更新。
异常行为判断模块包括：用于整合多路视频数据和检测信息，根据预定规则，对值班人员的行为进行判断，以区分出异常行为。包括：整合处理单元，根据多路视频场景中的特征点信息，进行搜索匹配，计算多路视频摄像机之间的位置关系，根据计算得出的摄像机之间的空间旋转平移角度，把不同角度的视频内容和跟踪器状态列表进行整合处理，获取汇总后的人员信息。
异常行为判断单元包括：睡岗行为判断子单元，通过检查跟踪器获取的跟踪器状态列表，查看跟踪器的存活帧数，如果存活帧数大于等于30*25，则认为该跟踪器所跟踪的值班人员发生睡岗行为，此时系统会发出报警，报警信息包括值班人员id，边界框位置、报警时间等信息；脱岗行为判断子单元，通过对值班人员进行人数统计来判断是否有异常行为，检查跟踪器状态列表，查看当前帧和相邻帧中跟踪器状态列表中的变化情况，得知跟踪器数量是否发生变化，如果跟踪器数量减少，则判定为值班人员发生脱岗行为，系统发出报警，报警信息包括值班人员id，当前监控室值班人员数量等信息。
需要说明的是，本实施例中检测系统与实施例1中检测方法中相关技术特征相互关联，相同之处相互借鉴，再此不再赘述。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！