基于卷积神经网络的违章行为识别方法和装置与流程

本发明涉及视频监测，尤其涉及一种基于卷积神经网络的违章行为识别方法和装置。

背景技术：

1、为了保障安全和管理需求，通常会在生产厂区安装摄像头，通过这些摄像头可以捕获视频数据。虽然生产厂区有摄像头的覆盖，但是需要大量的人力来进行处理和监视，这样监测效率低，且监测准确度差。

2、因此，如何提高监测效率和监测准确度是目前亟待解决的问题。

技术实现思路

1、本发明的目的旨在至少在一定程度上解决上述技术中的技术问题之一。

2、为此，本发明的第一个目的在于提出一种基于卷积神经网络的违章行为识别方法，该方法先检测出人员并获取人员的特征信息，之后对人员的特征信息进行分析处理，从而得到违章行为识别结果，可以节省人力，提高监测效率和监测准确度。

3、本发明的第二个目的在于提出一种基于卷积神经网络的违章行为识别装置。

4、本发明的第三个目的在于提出一种电子设备。

5、本发明的第四个目的在于提出一种计算机可读存储介质。

6、本发明的第五个目的在于提出一种计算机程序产品。

7、为达到上述目的，本发明第一方面实施例提出了一种基于卷积神经网络的违章行为识别方法，包括：从视频中提取连续的多帧图像；其中，所述多帧图像中均包含设定监测区域；采集基于卷积神经网络的人员检测模型，对所述多帧图像进行人员检测，以得到所述多帧图像的人员检测结果；根据所述多帧图像的人员检测结果，获取所述设定监测区域中各人员的特征信息；对各人员的特征信息进行分析处理，以得到对应的违章行为识别结果。

8、根据本发明实施例的基于卷积神经网络的违章行为识别方法，先从视频中提取连续的包含设定监测区域的多帧图像，然后采集基于卷积神经网络的人员检测模型对多帧图像进行人员检测以得到多帧图像的人员检测结果，并根据多帧图像的人员检测结果，获取设定监测区域中各人员的特征信息，最后对各人员的特征信息进行分析处理以得到对应的违章行为识别结果。该方法先检测出人员并获取人员的特征信息，之后对人员的特征信息进行分析处理，从而得到违章行为识别结果，可以节省人力，提高监测效率和监测准确度。

9、另外，本发明第一方面实施例提出的基于卷积神经网络的违章行为识别方法还可以具有如下附加的技术特征：

10、根据本发明的一个实施例，所述人员的特征信息包括移动轨迹，所述根据所述多帧图像的人员检测结果，获取所述设定监测区域中各人员的特征信息，包括：

11、获取所述多帧图像中各人员的位置、颜色和形状；

12、根据各所述人员的位置、颜色和形状，确定同一人员的多个位置；

13、根据所述同一人员的多个位置，生成对应人员的移动轨迹。

14、根据本发明的一个实施例，所述对各人员的特征信息进行分析处理，以得到对应的违章行为识别结果，包括：

15、获取所述移动轨迹的移动速度和移动方向；

16、根据所述移动速度和所述移动方向，确定所述设定监测区域中对应人员的行为姿态；

17、根据人员行为姿态和人员位置，生成相应的违章行为识别结果。

18、根据本发明的一个实施例，所述根据人员行为姿态和人员位置，生成相应的违章行为识别结果，包括：

19、判断所述人员行为姿态是否属于异常行为姿态，以及判断所述人员位置是否属于禁区范围；

20、如果所述人员行为姿态属于所述异常行为姿态，且所述人员位置属于所述禁区范围，则发出第一预警信息。

21、根据本发明的一个实施例，所述人员的特征信息包括安全防护特征，所述根据所述多帧图像的人员检测结果，获取所述设定监测区域中各人员的特征信息，包括：

22、获取所述多帧图像中各人员的头部区域；

23、对所述头部区域进行识别，以得到各人员的安全防护特征。

24、根据本发明的一个实施例，所述对各人员的特征信息进行分析处理，以得到对应的违章行为识别结果，包括：

25、判断所述安全防护特征是否包括安全帽；

26、如果所述安全防护特征不包括所述安全帽，则发出第二预警信息。

27、根据本发明的一个实施例，所述基于卷积神经网络的人员检测模型采用以下步骤训练得到：

28、获取训练样本；其中，所述训练样本包括人员；

29、获取所述训练样本对应的标注人员；

30、将所述训练样本输入初始的基于卷积神经网络的违章行为识别模型中，以得到预测人员；

31、根据所述标注人员和所述预测人员之间的差异，对所述初始的基于卷积神经网络的违章行为识别模型中的参数进行调整。

32、为达到上述目的，本发明第二方面实施例提出了一种基于卷积神经网络的违章行为识别装置，包括：提取模块，用于从视频中提取连续的多帧图像；其中，所述多帧图像中均包含设定监测区域；人员检测模块，用于采集基于卷积神经网络的人员检测模型，对所述多帧图像进行人员检测，以得到所述多帧图像的人员检测结果；获取模块，用于根据所述多帧图像的人员检测结果，获取所述设定监测区域中各人员的特征信息；识别模块，用于对各人员的特征信息进行分析处理，以得到对应的违章行为识别结果。

33、根据本发明实施例的基于卷积神经网络的违章行为识别装置，通过提取模块从视频中提取连续的多帧图像，多帧图像中均包含设定监测区域，通过人员检测模块采集基于卷积神经网络的人员检测模型对多帧图像进行人员检测以得到多帧图像的人员检测结果，通过获取模块根据多帧图像的人员检测结果获取设定监测区域中各人员的特征信息，通过识别模块对各人员的特征信息进行分析处理以得到对应的违章行为识别结果。该装置先检测出人员并获取人员的特征信息，之后对人员的特征信息进行分析处理，从而得到违章行为识别结果，可以节省人力，提高监测效率和监测准确度。

34、另外，本发明第二方面实施例提出的基于卷积神经网络的违章行为识别装置还可以具有如下附加的技术特征：

35、根据本发明的一个实施例，所述人员的特征信息包括移动轨迹，所述获取模块用于根据所述多帧图像的人员检测结果，获取所述设定监测区域中各人员的特征信息时，包括：

36、获取所述多帧图像中各人员的位置、颜色和形状；

37、根据各所述人员的位置、颜色和形状，确定同一人员的多个位置；

38、根据所述同一人员的多个位置，生成对应人员的移动轨迹。

39、根据本发明的一个实施例，所述识别模块用于对各人员的特征信息进行分析处理，以得到对应的违章行为识别结果时，包括：

40、获取所述移动轨迹的移动速度和移动方向；

41、根据所述移动速度和所述移动方向，确定所述设定监测区域中对应人员的行为姿态；

42、根据人员行为姿态和人员位置，生成相应的违章行为识别结果。

43、根据本发明的一个实施例，所述识别模块用于根据人员行为姿态和人员位置，生成相应的违章行为识别结果时，包括：

44、判断所述人员行为姿态是否属于异常行为姿态，以及判断所述人员位置是否属于禁区范围；

45、如果所述人员行为姿态属于所述异常行为姿态，且所述人员位置属于所述禁区范围，则发出第一预警信息。

46、根据本发明的一个实施例，所述人员的特征信息包括安全防护特征，所述获取模块用于根据所述多帧图像的人员检测结果，获取所述设定监测区域中各人员的特征信息时，包括：

47、获取所述多帧图像中各人员的头部区域；

48、对所述头部区域进行识别，以得到各人员的安全防护特征。

49、根据本发明的一个实施例，所述识别模块用于对各人员的特征信息进行分析处理，以得到对应的违章行为识别结果时，包括：

50、判断所述安全防护特征是否包括安全帽；

51、如果所述安全防护特征不包括所述安全帽，则发出第二预警信息。

52、根据本发明的一个实施例，所述人员检测模块采用的基于卷积神经网络的人员检测模型通过以下步骤训练得到：

53、获取训练样本；其中，所述训练样本包括人员；

54、获取所述训练样本对应的标注人员；

55、将所述训练样本输入初始的基于卷积神经网络的违章行为识别模型中，以得到预测人员；

56、根据所述标注人员和所述预测人员之间的差异，对所述初始的基于卷积神经网络的违章行为识别模型中的参数进行调整。

57、为达到上述目的，本发明第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于卷积神经网络的违章行为识别方法。

58、本发明实施例的电子设备，通过执行上述的基于卷积神经网络的违章行为识别方法，先检测出人员并获取人员的特征信息，之后对人员的特征信息进行分析处理，从而得到违章行为识别结果，这样可以节省人力，提高监测效率和监测准确度。

59、为达到上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于卷积神经网络的违章行为识别方法。

60、本发明实施例的计算机可读存储介质，通过执行上述的基于卷积神经网络的违章行为识别方法，先检测出人员并获取人员的特征信息，之后对人员的特征信息进行分析处理，从而得到违章行为识别结果，这样可以节省人力，提高监测效率和监测准确度。

61、为达到上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述的基于卷积神经网络的违章行为识别方法。

62、本发明实施例的计算机程序产品，通过执行上述的基于卷积神经网络的违章行为识别方法，先检测出人员并获取人员的特征信息，之后对人员的特征信息进行分析处理，从而得到违章行为识别结果，这样可以节省人力，提高监测效率和监测准确度。

63、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。