一种基于专家语义支持的高空人员违章行为识别方法及系统与流程

1.本发明涉及行为识别技术领域，尤其是涉及一种基于专家语义支持的高空人员违章行为识别方法及系统。


背景技术：

2.电网施工环境相对复杂，存在众多不安全因素对作业人员的人身安全构成了潜在威胁。目前，作业现场普遍缺乏有效的反违章技术手段，难以做到及时提醒并制止违章，导致各类人身安全事故频发。因此，开发电网作业场景下的人员违章行为识别模型具有重要的理论意义和实用价值。
3.现有技术中，不少研究人员利用ai机器学习算法进行违章行为识别，采集包含各类违章行为的视频图像和不包含违章行为的视频图像并添加标签，构建训练集，训练神经网络模型，得到能够识别视频图像中的违章行为的识别模型。如中国专利cn113392770a公开的变电站作业人员典型违章行为检测方法及系统，利用空间卷积和时间卷积挖掘特征，实现违章行为的实时检测。但是，一方面，由于通过神经网络模型挖掘深度特征，为保证识别准确率，这种方式需要采集大量的违规案例素材，代价较大、周期长；另一方面，仅依靠图像特征这一单模态数据进行违章行为识别的精度不够高，鲁棒性差。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于专家语义支持的高空人员违章行为识别方法及系统。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于专家语义支持的高空人员违章行为识别方法，包括以下步骤：
7.基于专家知识对每类违规行为进行描述，确定每类违规行为的行为特征，得到多个行为特征；
8.获取包含违章行为的视频数据，构建多个特征识别模型，使用包含违章行为的视频数据对所述特征识别模型进行训练，所述特征识别模型的输入为视频数据，输出为一类行为特征的取值；
9.获取包含违章行为和不包含违章行为的视频数据，并使用训练好的特征识别模型得到各个视频数据中各类行为特征的取值，为每个视频数据添加标签，得到训练数据集；
10.构建行为识别模型，使用所述训练数据集对行为识别模型进行训练，所述行为识别模型的输入为视频数据以及视频数据中各类行为特征的取值，输出为视频数据是否包含违章行为以及违章行为的类别；
11.获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。
12.进一步地，所述行为特征包括但不限于：人员身份特征、环境特征、辅助设备特征、
辅助设备状态特征。
13.进一步地，视频数据以及视频数据中各类行为特征的取值输入的行为识别模型之前，还包括：将视频数据以及视频数据中各类行为特征的取值进行对齐。
14.进一步地，使用自编码器将视频数据以及视频数据中各类行为特征的取值进行对齐，具体为：
15.步骤1、构建自编码器，所述自编码器包括编码器模块和解码器模块，确定编码器模块和解码器模块初始的权重参数，基于所述视频数据得到原始视频特征，基于所述视频数据中各类行为特征的取值得到原始语义特征；
16.步骤2、将原始视频特征输入自编码器，所述自编码器基于权重参数和原始视频特征得到重构视频特征；
17.步骤3、计算目标函数，求得使所述目标函数最小的权重参数，所述目标函数如下：
[0018][0019]
其中，v表示原始视频特征，w
*
wv表示重构视频特征，w表示编码器模块的权重参数，w
*
表示解码器模块的权重参数，f表示frobenius范数，约束条件为wv＝s，s表示原始语义特征；
[0020]
步骤4、利用求解得到的权重参数以及原始视频特征得到与原始语义特征对齐的重构视频特征。
[0021]
进一步地，步骤3中，设置w
*
＝w
t
，w
t
为w的转置，将约束条件wv＝s转化为软约束，得到新的目标函数如下：
[0022][0023]
求解上述新的目标函数中的权重参数w，得到使所述新的目标函数最小的权重参数w，其中，λ为超参数。
[0024]
一种基于专家语义支持的高空人员违章行为识别系统，包括：
[0025]
专家设定模块，用于基于专家知识对每类违规行为进行描述，确定每类违规行为的行为特征，得到多个行为特征；
[0026]
特征识别模型构建模块，用于获取包含违章行为的视频数据，构建多个特征识别模型，使用包含违章行为的视频数据对所述特征识别模型进行训练，所述特征识别模型的输入为视频数据，输出为一类行为特征的取值；
[0027]
训练集构建模块，用于获取包含违章行为和不包含违章行为的视频数据，并使用训练好的特征识别模型得到各个视频数据中各类行为特征的取值，为每个视频数据添加标签，得到训练数据集；
[0028]
行为识别模型训练模块，用于使用所述训练数据集对行为识别模型进行训练，所述行为识别模型的输入为视频数据以及视频数据中各类行为特征的取值，输出为视频数据是否包含违章行为以及违章行为的类别；
[0029]
识别模块，用于获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。
[0030]
进一步地，所述行为特征包括但不限于：人员身份特征、环境特征、辅助设备特征、辅助设备状态特征。
[0031]
进一步地，视频数据以及视频数据中各类行为特征的取值输入的行为识别模型之前，还包括：将视频数据以及视频数据中各类行为特征的取值进行对齐。
[0032]
进一步地，使用自编码器将视频数据以及视频数据中各类行为特征的取值进行对齐，具体为：
[0033]
步骤1、构建自编码器，所述自编码器包括编码器模块和解码器模块，确定编码器模块和解码器模块初始的权重参数，基于所述视频数据得到原始视频特征，基于所述视频数据中各类行为特征的取值得到原始语义特征；
[0034]
步骤2、将原始视频特征输入自编码器，所述自编码器基于权重参数和原始视频特征得到重构视频特征；
[0035]
步骤3、计算目标函数，求得使所述目标函数最小的权重参数，所述目标函数如下：
[0036][0037]
其中，v表示原始视频特征，w
*
wv表示重构视频特征，w表示编码器模块的权重参数，w
*
表示解码器模块的权重参数，f表示frobenius范数，约束条件为wv＝s，s表示原始语义特征；
[0038]
步骤4、利用求解得到的权重参数以及原始视频特征得到与原始语义特征对齐的重构视频特征。
[0039]
进一步地，步骤3中，设置w
*
＝w
t
，w
t
为w的转置，将约束条件wv＝s转化为软约束，得到新的目标函数如下：
[0040][0041]
求解上述新的目标函数中的权重参数w，得到使所述新的目标函数最小的权重参数w，其中，λ为超参数。
[0042]
与现有技术相比，本发明具有以下有益效果：
[0043]
(1)基于专家知识确定每类违章行为的行为特征，利用特征识别模型对视频数据中包含的行为特征进行识别，最后基于视频数据和视频数据中各类行为特征的取值进行违章行为识别，除直接使用神经网络挖掘视频数据的特征外，还基于专家知识进行了特征挖掘，丰富了机器学习时的特征维度，最终使用两种模态的特征进行违章行为识别，可以有效提高违章行为识别的准确性和鲁棒性。
[0044]
(2)使用自编码器，将输入信息作为学习目标并对输入信息进行表征学习，实现视频数据和视频数据中各类行为特征的取值的对齐，从而保障了后续违章行为识别的准确性。
附图说明
[0045]
图1为本发明的结构示意图；
[0046]
图2为基于自编码器的特征对齐示意图。
具体实施方式
[0047]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例，本发明的保护范围不限于下述的实施例。基
于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0048]
此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0049]
本说明书提供了如实施例或流程示意图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)或者调整没有时序限制的步骤的执行顺序。
[0050]
一种基于专家语义支持的高空人员违章行为识别方法，如图1所示，包括以下步骤：
[0051]
(1)基于专家知识对每类违规行为进行描述，确定每类违规行为的行为特征，得到多个行为特征；
[0052]
首先，根据专家知识，确定各类违规行为的行为特征，行为特征包括但不限于：人员身份特征、环境特征、辅助设备特征、辅助设备状态特征。
[0053]
其中，人员身份特征如施工人员、辅助人员、闲杂人员等，环境特征如天气、周边环境，如晴天、阴雨、大雾、大风、暴雪、雷电、存在烟雾等，辅助设备特征如是否佩戴安全帽、是否使用安全带、是否使用工具袋、是否设置隔离棚、是否存在围栏、是否存在脚手架、是否存在梯子、是否穿戴防滑胶鞋等，辅助设备状态特征如安全帽纹理颜色、安全带挂钩状态、安全带高挂低用、防护面罩、梯子与地面的角度、人员距梯顶的距离等等。
[0054]
这一步骤相当于给出了进行特征提取的方向。考虑到仅依靠视频图像和神经网络进行特征挖掘和行为识别的精确度不高，本技术引入本领域专家的专家知识，对每类违规行为的行为特征进行描述，这些行为特征有助于辨识违章行为的类别，如在大风、大雪等不利天气下从事露天高空作业这一违章行为，可以通过环境特征来帮助识别。
[0055]
(2)获取包含违章行为的视频数据，构建多个特征识别模型，使用包含违章行为的视频数据对特征识别模型进行训练，特征识别模型的输入为视频数据，输出为一类行为特征的取值；
[0056]
为了能够识别出视频数据中各种行为特征的取值，对应每种行为特征，需要单独训练特征识别模型，如用于是否使用安全带的特征识别模型、用于安全帽纹理颜色的特征识别模型、用于天气状况检测的特征识别模型等。可以理解的是，根据各种行为特征的特性，可以分别设计不同的网络结构作为对应的特征识别模型，如使用resnet50网络识别图像中的天气类别，如使用fast r-cnn模型在视频数据中检测到施工人员矩形框，将施工人员矩形框部分的图像输入vgg网络模型以检测施工人员是否佩戴安全带，等等，在此不多赘述，本领域人员可以根据经验和本领域常用的网络模型构建特征识别模型并进行训练。
[0057]
(3)获取包含违章行为和不包含违章行为的视频数据，并使用训练好的特征识别模型得到各个视频数据中各类行为特征的取值，为每个视频数据添加标签，得到训练数据集；
[0058]
在构建训练集时，一方面，人工为视频数据添加标签，标签可以取0-n，n》0，0表示无违章行为，1-n分别表示不同类别的违章行为。另一方面，将视频数据分别输入到各个特征识别模型中，从而得到各类行为特征的取值。考虑到违规行为的视频数据素材较少，还可以对视频数据的每一帧图像进行扩增，从而实现视频数据样本的扩增。
[0059]
(4)构建行为识别模型，使用训练数据集对行为识别模型进行训练，行为识别模型的输入为视频数据以及视频数据中各类行为特征的取值，输出为视频数据是否包含违章行为以及违章行为的类别；
[0060]
(5)获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。
[0061]
可以理解的是，本领域人员可以根据经验和本领域常用的网络模型构建行为识别模型，如使用时空卷积网络+分类模型作为第一模型，提取视频数据的时空特征并给出第一分类结果(不包含违章行为的概率和属于各种违章行为的概率)，使用xgboost模型等分类模型作为第二模型，根据视频数据中各类行为特征的取值进行违章行为检测，并给出第二分类结果(不包含违章行为的概率和属于各种违章行为的概率)，再融合第一分类结果和第二分类结果得到最终的违章行为检测结果(如将两个分类结果按权相加，选择概率值最大的检测结果)。也可以使用卷积网络等特征提取模型对视频数据进行特征提取，将提取的特征融合视频数据中各类行为特征的取值，再送入分类模型中进行识别。此外，本领域技术人员还可以选择其他网络模型构建行为识别模型。
[0062]
在步骤(3)和步骤(5)中，视频数据以及视频数据中各类行为特征的取值输入的行为识别模型之前，还包括：将视频数据以及视频数据中各类行为特征的取值进行对齐。本技术使用自编码器将视频数据以及视频数据中各类行为特征的取值进行对齐，如图2所示，具体为：
[0063]
步骤1、构建自编码器，自编码器包括编码器模块和解码器模块，确定编码器模块和解码器模块初始的权重参数，基于视频数据得到原始视频特征，本实施例中，通过conv-lstm模型对视频数据进行特征提取，得到原始视频特征，基于视频数据中各类行为特征的取值得到原始语义特征，本实施例中，将视频数据中各类行为特征的取值进行组合和编码后作为原始语义特征，也可以将视频数据中各类行为特征的取值作为文本，通过bert模型进行文本特征提取得到原始语义特征；
[0064]
步骤2、将原始视频特征输入自编码器，自编码器基于权重参数和原始视频特征得到重构视频特征；
[0065]
自编码器是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。自编码器由两部分组成：编码器模块和解码器模块。编码器模块负责将输入压缩成潜在空间表征，解码器模块负责重构潜在空间表征得到输出。本技术利用自编码器实现视频数据以及视频数据中各类行为特征的取值的关联匹配。
[0066]
步骤3、计算目标函数，求得使目标函数最小的权重参数，目标函数如下：
[0067][0068]
其中，v表示原始视频特征，w
*
wv表示重构视频特征，w表示编码器模块的权重参数，w
*
表示解码器模块的权重参数，f表示frobenius范数，约束条件为wv＝s，s表示原始语义特征；
[0069]
一方面，目标函数为最小化原始视频特征和重构视频特征的区别，从而限制了w和w
*
，另一方面，为了使自编码器的中间层能够表征原始语义特征，增加了一个约束条件wv＝s，从而限制了w；重构视频特征是基于原始视频特征和原始语义特征得到的，从而使得自编码器重构的重构视频特征与原始语义特征对齐。
[0070]
考虑到提高大规模高空人员违章行为识别的速度，为了减少参数量，设置w
*
＝w
t
，w
t
为w的转置；同时，约束条件过于强硬，将约束条件wv＝s转化为软约束，得到新的目标函数如下：
[0071][0072]
求解上述新的目标函数中的权重参数w，得到使新的目标函数最小的权重参数w，其中，λ为超参数。显然这是一个凸优化问题，通过对w求导，令导数为零，求解w即可。
[0073]
步骤4、利用求解得到的权重参数以及原始视频特征得到与原始语义特征对齐的重构视频特征。
[0074]
本技术利用自编码器所原理，将输入信息作为学习目标并对输入信息进行表征学习，实现视频片段-专家标注的关联匹配。
[0075]
本技术还提供一种基于专家语义支持的高空人员违章行为识别系统，包括：
[0076]
专家设定模块，用于基于专家知识对每类违规行为进行描述，确定每类违规行为的行为特征，得到多个行为特征；
[0077]
特征识别模型构建模块，用于获取包含违章行为的视频数据，构建多个特征识别模型，使用包含违章行为的视频数据对特征识别模型进行训练，特征识别模型的输入为视频数据，输出为一类行为特征的取值；
[0078]
训练集构建模块，用于获取包含违章行为和不包含违章行为的视频数据，并使用训练好的特征识别模型得到各个视频数据中各类行为特征的取值，为每个视频数据添加标签，得到训练数据集；
[0079]
行为识别模型训练模块，用于使用训练数据集对行为识别模型进行训练，行为识别模型的输入为视频数据以及视频数据中各类行为特征的取值，输出为视频数据是否包含违章行为以及违章行为的类别；
[0080]
识别模块，用于获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。
[0081]
其中，各个模块的具体工作内容和流程同上文记载的高空人员违章行为识别方法，在此不多赘述。
[0082]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的
技术方案，皆应在由权利要求书所确定的保护范围内。