一种人体行为识别方法、系统及存储介质与流程

本发明涉及深度学习技术领域，尤其是一种人体行为识别方法、系统及存储介质。

背景技术：

当前市面上使用的人体部位识别技术以及行为识别技术大致分为以下几种：

光流场：光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景物体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小，从而获取对真实运动场的近似估计。它不用预知任何先验知识，即能提供有关运动速度及图像中运动区域的简洁描述，适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响，且计算较为复杂，很难用于实时的视频监控系统。

点轨迹：目标的运动轨迹也可以作为特征，从而大致推断出目标运动所属的行为类别。但图像平面上的轨迹对平移、旋转和缩放等变换比较敏感，因此在大多情形下，此特征显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等。运动轨迹的获取比较依赖于精确的跟踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及混乱背景等的影响。

人体形状表达：在摄像机固定的情形下，假设背景已知，通过背景剪除法可以很容易得到运动人体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法如剪影、矩等是在整体形状区域内计算描绘子，而边界方法仅考虑形状轮廓，骨架方法则是用一组骨架曲线代表一个复杂的人体形状，比如中轴变换等。但该方法识别的行为特征同样存在不可靠的缺点。

滤波器响应：空时滤波器响应是一个广义上的分类。等存时间轴上计算高斯导数，将滤波器响应较高的区域作为运动区域。利用一组空时高斯导数滤波器将harris(哈里斯)角点检测扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基于简单的卷积操作，运算快速而简便。当视频分辨率较低的情形下，提取光流或剪影特征较为困难，利用滤波器响应特性可以从视频数据中提取有效的底层特征。但如果应用于高清实时视频流的条件下，还需进行一系列复杂的处理才能真正做到行为识别检测。

技术实现要素：

为解决上述技术问题，本发明的目的在于：提供一种实时性高且准确可靠的人体行为识别方法、系统及存储介质。

本发明一方面所采取的技术方案为：

一种人体行为识别方法，包括以下步骤：

基于ssd目标检测模型，对采集到的人体图像进行身体部位检测，得到身体部位的定位信息；

根据身体部位的定位信息，通过深度学习多分类算法对各个身体部位进行分类识别；

其中，所述分类识别的结果包括但不限于头部的安全帽佩戴识别结果、身体的工作服穿着识别结果、人数识别结果以及行为的安全性识别结果。

进一步，所述基于ssd目标检测模型，对采集到的人体图像进行身体部位检测，得到身体部位的定位信息这一步骤，包括以下步骤：

通过图像采集模块采集图像，所述图像采集模块包括摄像机；

根据采集到的图像，确认图像中的人体图像；

根据确认到的人体图像，通过ssd目标检测模型对人体的头肩部位、躯干部位以及大腿部位进行定位，得到各个身体部位的定位信息。

进一步，所述根据确认到的人体图像，通过ssd目标检测模型对人体的头肩部位、躯干部位以及大腿部位进行定位，得到各个身体部位的定位信息这一步骤，包括以下步骤：

通过多个先验实例对各个部位对应的检测器进行学习训练，得到ssd目标检测模型；

将确认到的人体图像等分成3个检测窗口；所述3个检测窗口分别对应人体的头肩部位、躯干部位以及大腿部位；

将3个检测窗口分别输入ssd目标检测模型，得到相应的响应值；

对响应值进行判定，得到头肩部位、躯干部位以及大腿部位的定位信息。

进一步，所述通过多个先验实例对各个部位对应的检测器进行学习训练，得到ssd目标检测模型这一步骤，包括以下步骤：

通过前向传播的卷积神经网络，生成若干个包围盒，所述包围盒的大小固定；

计算各个包围盒之间的相似度；

通过若干个增设的卷积层对人体图像的每个位置进行预测，得到各个位置的分类得分；

根据得到的分类得分划分分数阈值；

根据分数阈值，通过非极大值抑制处理得到ssd目标检测模型。

进一步，所述根据身体部位的定位信息，通过深度学习多分类算法对各个身体部位进行分类识别这一步骤，包括以下步骤：

采用adaboost算法，基于预设的权值将弱分类器进行叠加，得到强分类器；

对弱分类器的个数进行增加，对强分类器进行训练；

根据训练得到的强分类器，得到各个身体部位的分类识别结果。

进一步，还包括以下步骤：

将各个身体部位的分类识别结果进行整合，得到整体分析结果。

本发明另一方面所采取的技术方案是：

一种人体行为识别系统，包括：

检测模块，用于基于ssd目标检测模型，对采集到的人体图像进行身体部位检测，得到身体部位的定位信息；

识别模块，用于根据身体部位的定位信息，通过深度学习多分类算法对各个身体部位进行分类识别；

其中，所述分类识别的结果包括但不限于头部的安全帽佩戴识别结果、身体的工作服穿着识别结果、人数识别结果以及行为的安全性识别结果。

进一步，还包括：

整合模块，用于将各个身体部位的分类识别结果进行整合，得到整体分析结果。

本发明另一方面所采取的技术方案是：

一种人体行为识别系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的人体行为识别方法。

本发明另一方面所采取的技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的人体行为识别方法。

本发明的有益效果是：本发明能够通过ssd目标检测模型对采集到的人体图像进行身体部位检测，然后通过深度学习多分类算法对各个身体部位进行分类识别，进而得到头部的安全帽佩戴识别结果、身体的工作服穿着识别结果、人数识别结果以及行为的安全性识别结果；本发明能够对人体行为进行实时识别，且通过ssd目标检测模型提高了识别结果的准确性和可靠性。

附图说明

图1为本发明实施例的步骤流程图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了一种人体行为识别方法，包括以下步骤：

基于ssd目标检测模型，对采集到的人体图像进行身体部位检测，得到身体部位的定位信息；

根据身体部位的定位信息，通过深度学习多分类算法对各个身体部位进行分类识别；

其中，所述分类识别的结果包括但不限于头部的安全帽佩戴识别结果、身体的工作服穿着识别结果、人数识别结果以及行为的安全性识别结果。

进一步作为优选的实施方式，所述基于ssd目标检测模型，对采集到的人体图像进行身体部位检测，得到身体部位的定位信息这一步骤，包括以下步骤：

通过图像采集模块采集图像，所述图像采集模块包括摄像机；

根据采集到的图像，确认图像中的人体图像；

根据确认到的人体图像，通过ssd目标检测模型对人体的头肩部位、躯干部位以及大腿部位进行定位，得到各个身体部位的定位信息。

进一步作为优选的实施方式，所述根据确认到的人体图像，通过ssd目标检测模型对人体的头肩部位、躯干部位以及大腿部位进行定位，得到各个身体部位的定位信息这一步骤，包括以下步骤：

通过多个先验实例对各个部位对应的检测器进行学习训练，得到ssd目标检测模型；

将确认到的人体图像等分成3个检测窗口；所述3个检测窗口分别对应人体的头肩部位、躯干部位以及大腿部位；

将3个检测窗口分别输入ssd目标检测模型，得到相应的响应值；

对响应值进行判定，得到头肩部位、躯干部位以及大腿部位的定位信息。

进一步作为优选的实施方式，所述通过多个先验实例对各个部位对应的检测器进行学习训练，得到ssd目标检测模型这一步骤，包括以下步骤：

通过前向传播的卷积神经网络，生成若干个包围盒，所述包围盒的大小固定；

计算各个包围盒之间的相似度；

通过若干个增设的卷积层对人体图像的每个位置进行预测，得到各个位置的分类得分；

根据得到的分类得分划分分数阈值；

根据分数阈值，通过非极大值抑制处理得到ssd目标检测模型。

进一步作为优选的实施方式，所述根据身体部位的定位信息，通过深度学习多分类算法对各个身体部位进行分类识别这一步骤，包括以下步骤：

采用adaboost算法，基于预设的权值将弱分类器进行叠加，得到强分类器；

对弱分类器的个数进行增加，对强分类器进行训练；

根据训练得到的强分类器，得到各个身体部位的分类识别结果。

进一步作为优选的实施方式，还包括以下步骤：

将各个身体部位的分类识别结果进行整合，得到整体分析结果。

与图1的方法相对应，本发明实施例还提供了一种人体行为识别系统，包括：

检测模块，用于基于ssd目标检测模型，对采集到的人体图像进行身体部位检测，得到身体部位的定位信息；

识别模块，用于根据身体部位的定位信息，通过深度学习多分类算法对各个身体部位进行分类识别；

其中，所述分类识别的结果包括但不限于头部的安全帽佩戴识别结果、身体的工作服穿着识别结果、人数识别结果以及行为的安全性识别结果。

进一步作为优选的实施方式，还包括：

整合模块，用于将各个身体部位的分类识别结果进行整合，得到整体分析结果。

与图1的方法相对应，本发明实施例还提供了一种人体行为识别系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的人体行为识别方法。

与图1的方法相对应，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的人体行为识别方法。

下面详细描述本发明人体行为识别方法的具体工作过程：

s1、人体图像采集及检测；

具体地，本实施例通过摄像头对人体图像进行采集。不同的人体图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同姿势等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄人体图像。

s2、人体检测；

对步骤a采集的人体图像进行人体身体部位进行检测。

本实施例使用ssd(singleshotmultiboxdetector)目标检测模型对人的身体部位进行检测，可在图片中精确定位整个人体的位置，包括头肩、躯干以及腿部的定位，保存目标的图片先对坐标。

具体地，本实施例将检测窗口等分成3段作为人体的3个部位，先在每个部位用多个先验实例学习训练各个部位对应的检测器，通过分享弱分类器的思想，对输出响应值进行判定，将二值分类问题转化为多类分类问题。当摄像头出现人体时实时抓取图片中的人体，分别识别人体的头部、上半身及腿部。其中，所述响应值由检测器输出，输出值最终只有0，1，2三个值中的一个，分别代表的是头部、上半身、腿部。所述二值分类问题是指，当其中一项的概率比较小时(小于50％)将该项自动判别为另一项，而多类分类问题则是取其中概率最高的一项作为识别项。

其中，所述通过分享弱分类器的思想，对输出响应值进行判定这一步骤，包括以下步骤：

1.先通过对n个训练样本的学习得到第一个弱分类器；

2.将分错类别的样本和其他的新数据一起构成一个新的n个的训练样本，通过对这个样本的学习得到第二个弱分类器；

3.将1和2都分错了的样本加上其他的新样本构成另一个新的n个的训练样本，通过对这个样本的学习得到第三个弱分类器；

4.最终经过提升的强分类器。即某个数据被分为哪一类要由各分类器权值决定。

其中，所述强分类器是指能够迅速正确的识别类别的分类器，所述弱分类器是指容易产生分类错误的分类器。

本发明将图片放入多层弱分类器组成的强分类器中，得出该图片是属于哪个分类(头部、上半身、腿部)。

其中，ssd是基于一个前向传播cnn(卷积神经网络)网络，产生一系列固定大小(fixed-size)的boundingboxes(最大包围盒)，以及每一个盒中包含物体实例的可能性，即相似度。之后，进行一个非极大值抑制(non-maximumsuppression)得到最终的predictions(预测结果)。

现有的基础网络是由5层卷积层，5层池化层以及2层全连接层组成的。优选地，本发明在现有基础网络中添加了2层卷积层和池化层，并对全连接层的权重进行重新分配。

本发明在基础网络结构后，添加了额外的卷积层，这些卷积层的大小是逐层递减的，可以在多尺度下进行预测。本实施例中，每一个新添加的层，可以使用一系列的卷积核进行预测。对于一个大小为m*n、p通道的特征层，使用3*3的卷积核进行预测，在某个位置上预测出一个值，该值可以是某一类别的得分，并且在图像的每个位置都将产生一个值。最后，本实施例通过设置得分阈值预测目标的位置，一般得分0.5以上的目标即为可用目标，通过获取目标位置将目标从原图中分离进行深度学习多分类检测，达到行为分析的目的。

s3、人体行为分析；

由于目标漏检测的降低再很大程度上依赖于各个部位上的学习算法，因此本发明通过深度学习技术来寻找高置信度的目标实例，以降低复杂姿态与受遮挡造成的漏检。

优选地，本发明采用adaboost算法框架来解决个部位的深度学习问题，具体是将弱分类器以一定权值叠加起来，得到一个强分类器。另外，本实施例还通过增加弱分类器的个数，来保证目标减少漏检与误报；通过采用两种boost方法来更新样本权值，训练分类器。

具体地，所述两种boost方法包括：

1.realadaboost算法

本实施例的realadaboost算法通过每个弱分类器输出样本属于某类的概率后，通过一个对数函数将样本对应的概率值映射到实数域，最后的分类器是所有映射函数的和。

2.gentleadaboost算法

本实施例将realadaboost算法每次迭代的两个部分进行合并，产生一个映射到实数域的函数，进而生成gentleadaboost。gentleadaboost则在每次迭代时，基于最小二乘去做一个加权回归，最后所有回归函数的和作为最终的分类器。

本发明首先使用realadaboost算法进行训练，对比预测结果与真实结果。当出现正确率接近100％时，使用训练集外的预测集进行预测，如果预测准确率不符合预期，则说明训练过拟合，即能准确识别训练的样本集，无法准确识别训练样本外的预测集，则进行结果加权，并使用gentleadaboost算法调整训练模型。

s4、本发明将识别的头部分离，进行分类识别，判断是否佩戴安全帽。将分离的上半身与腿部结合，首先进行工作服分类判断，判断是否穿工作服；其次进行行为检测，单独判断上半身肢体是否抽烟，最终判断整体行为是否违规。

综上所述，本发明结合卷积神经网络的深度学习技术和目标分类训练技术，很大程度上减少了行为识别的误报与漏检的概率。

再者，本发明可集成于系统模块中，通过实时获取监控摄像头数据流来快速分析画面中的人员是否佩戴安全帽，是否抽烟，是否穿工作服以及其他安全相关行为。减少人工监控成本，能达到及时预警，在减少成本的同时提高工地、工厂等施工单位的工作效率。

另外，本发明可接入多个摄像头，算法通过使用gpu进行计算加速，做到实时、准确识别。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。