基于FCOS目标检测的工地异常行为检测方法及系统与流程

基于fcos目标检测的工地异常行为检测方法及系统
技术领域
1.本发明涉及工地异常行为检测技术领域，更具体的说是涉及一种基于fcos目标检测的工地异常行为检测方法及系统。


背景技术：

2.近年来，随着工地现场安全生产风险管理政策的不断推进，各施工单位采取了多种管控技术和管理策略，以求能够保证工地施工人员的安全，将生产安全事故风险降至最低。在这样的背景下，“智慧工地”的概念逐渐受到了各级机关及各类企业的广泛关注。实际上，智慧工地即利用现有的先进技术来实现工地信息化管理，以“技防”的方式逐步代替“人防”。借助深度学习的方法对工地现场人员进行管控，检测其是否正在进行异常违规行为，及时给予告警，有助于有效提高智慧工地的管理水平，降低安全事故发生率。
3.因此，如何提供一种高效、准确的智慧工地异常行为检测方法，是本领域技术人员亟需解决的问题。


技术实现要素：

4.有鉴于此，本发明提供了一种基于fcos目标检测的工地异常行为检测方法及系统，以准确检测工地作业人员异常行为，并且具有良好稳定性。
5.为了实现上述目的，本发明提供如下技术方案：
6.一种基于fcos目标检测的工地异常行为检测方法，包括以下步骤：
7.建立第一训练数据集，所述第一训练数据集中包括工地异常行为样本图像以及对应的样本标签文件；
8.使用第一训练数据集训练fcos深度学习网络模型；
9.将第一训练数据集再次输入训练好的fcos深度学习网络模型，得到工地异常行为样本图像中的作业人员及异常行为标志物的识别结果、定位结果以及特征；依据所述识别结果，对工地异常行为样本图像中的作业人员及异常行为标志物进行关系标定，得到标定结果；将标定结果、定位结果以及特征作为第二训练数据集；
10.使用第二训练数据集训练mlp多层感知器；
11.结合训练好的fcos深度学习网络模型和训练好的mlp多层感知器，作为异常行为检测模型；将待测图像输入异常行为检测模型，得到检测结果。
12.可选的，所述工地异常行为样本图像包括跨越和移动两个大类，以及跨越安全围栏、移动安全围栏、移动电缆支撑架、移动消防栓四个小类；
13.异常行为标志物包括安全围栏、电缆支撑架、消防栓；
14.异常行为包括跨越安全围栏、移动安全围栏、移动电缆支撑架、移动消防栓。
15.可选的，所述样本标签文件满足pascal voc格式的xml标签文件标准，内容包含图像名称、图像路径、图像的高度宽度以及真实目标框的坐标。
16.可选的，所述fcos深度学习网络模型由三部分组成：骨干网络、特征金字塔、检测
模块；骨干网络对输入的图像进行特征提取得到三层特征图，三层特征图被送入特征金字塔进行特征融合，得到的五层融合特征图依次被送入检测模块进行逐像素点回归，得到识别结果和定位结果。
17.可选的，选择resnet50作为fcos深度学习网络模型的骨干网络。
18.可选的，在所述检测模块中，每个特征图有两条支路，分类和回归，分别通过卷积运算，分类支路输出预测分类结果和中心度，回归支路输出回归结果；
19.其中分类结果即为识别结果；回归结果即为定位结果，用向量t*＝(l*,t*,r*,b*)表示，参数l*、t*、r*、b*分别表示识别框四条边到图像四条边的距离；中心度位于分类支路中，用于降低远离目标中心的识别框的权重，计算公式为：
[0020][0021]
可选的，对工地异常行为样本图像中的作业人员及异常行为标志物进行关系标定的方法为：采用0表示两者之间并无异常行为关系、1表示跨越安全围栏、2表示移动安全围栏、3表示移动电缆支撑架、4表示移动消防栓。
[0022]
可选的，mlp多层感知器由一个输入层、若干个隐含层、一个输出层组成，每层神经元与下一层神经元全互连，但同层之间不存在神经元互连情况。
[0023]
可选的，所述检测结果包括作业人员识别框及坐标、异常行为标志物识别框及坐标、异常行为识别框及坐标、作业人员与异常行为标志物之间的关系标定结果。
[0024]
一种基于fcos目标检测的工地异常行为检测系统，包括：
[0025]
第一训练数据集获取模块，用于建立第一训练数据集，所述第一训练数据集中包括工地异常行为样本图像以及对应的样本标签文件；
[0026]
fcos深度学习网络模型训练模块，用于使用第一训练数据集训练fcos深度学习网络模型；
[0027]
第二训练数据集获取模块，用于将第一训练数据集再次输入训练好的fcos深度学习网络模型，得到工地异常行为样本图像中的作业人员及异常行为标志物的识别结果、定位结果以及特征；依据所述识别结果，对工地异常行为样本图像中的作业人员及异常行为标志物进行关系标定，得到标定结果；将标定结果、定位结果以及特征作为第二训练数据集；
[0028]
mlp多层感知器训练模块，用于使用第二训练数据集训练mlp多层感知器；
[0029]
检测模块，用于结合训练好的fcos深度学习网络模型和训练好的mlp多层感知器，作为异常行为检测模型；将待测图像输入异常行为检测模型，得到检测结果。
[0030]
经由上述的技术方案可知，本发明提供了一种基于fcos目标检测的工地异常行为检测方法及系统，与现有技术相比，具有以下有益效果：
[0031]
本发明对fcos目标检测算法进行改进，通过结合两级网络结构，能够实现工地异常行为的自动检测，具有较高的准确率，并且具有稳定性好、抗干扰能力强、通用性高等优点，同时还具有良好的鲁棒性，能够应用于实际场景中，降低人力成本、减少安全隐患。
[0032]
本发明方法有较高的准确率及识别精度，且由于网络结构的特点，运算速度更快，能够高效实现异常行为检测告警任务，在实际应用中发挥有效的作用。
[0033]
通过训练，本发明方法还可用于检测不同环境下更多类型的异常行为，应用场景
较广。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0035]
图1为本发明实施例异常行为数据集典型样本图像；
[0036]
图2为本发明实施例fcos深度学习网络模型示意图；
[0037]
图3为本发明实施例mlp网络结构；
[0038]
图4为本发明实施例异常行为检测算法整体网络结构；
[0039]
图5为本发明实施例异常行为检测结果；
[0040]
图6为本发明的方法步骤示意图；
[0041]
图7为本发明的系统模块示意图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
本发明实施例公开了一种基于fcos目标检测的工地异常行为检测方法，参见图6，包括以下步骤：
[0044]
步骤1、建立第一训练数据集。
[0045]
采集工地异常行为样本图像，主要以工地现场视频监控采集及无人机现场采集等方式获取，并且画面清晰基本无遮挡，之后对每一图像制作对应的样本标签文件，参见图1，得到第一训练数据集。
[0046]
在本实施例中，工地异常行为样本图像包括跨越和移动两个大类，以及跨越安全围栏、移动安全围栏、移动电缆支撑架、移动消防栓四个小类；样本标签文件满足pascal voc格式的xml标签文件标准，内容包含图像名称、图像路径、图像的高度宽度以及真实目标框的坐标，目标框的坐标可表示为(x11,x12,x13,x14)，其中包含四个坐标数值，分别代表左上角、左下角、右上角、右下角的顶点坐标值。
[0047]
异常行为标志物包括安全围栏(aqwl)、电缆支撑架(dlzcj)、消防栓(xfc)；异常行为包括跨越安全围栏(ky_aqwl)、移动安全围栏(yd_aqwl)、移动电缆支撑架(yd_dlzcj)、移动消防栓(yd_xfc)。
[0048]
步骤2、使用第一训练数据集训练fcos深度学习网络模型。
[0049]
fcos目标检测算法是一种基于fcn的逐像素目标检测算法，不依赖于锚框和建议框，在不影响识别精度的情况下，实现了容量减小及算法简化。参见图2，本发明中fcos深度学习网络模型由三部分组成：骨干网络(backbone)、特征金字塔(feature pyramid)、检测模块(head)；骨干网络对输入的原始图像进行特征提取得到特征图，其中三层特征图(c3、
c4、c5)被送入特征金字塔进行特征融合，最后得到的五层融合特征图(p3、p4、p5、p6、p7)依次被送入检测模块进行逐像素点回归得到识别结果和定位结果。
[0050]
选择resnet50作为fcos深度学习网络模型的骨干网络，其特点主要有两点，一是包含残差模块，二是具有较深的网络结构。残差模块的作用是在前向传播时，当浅层输出已经足够成熟，深层能够实现恒等映射的作用；在反向传播时，通过传导梯度训练较深的模型。
[0051]
特征金字塔主要解决了目标检测中的多尺度预测问题，而其中最为重要的就是将横向连接的自顶向下结构用于各种尺度上构建高级语义特征映射。自顶向下的结构是通过从金字塔的更高层次进行上采样，得到尺度更大但语义更强的特征图，从而产生更高分辨率的特征。而每个横向连接从自底向上的通道和自顶向下的通道合并具有相同尺度大小的特征图。自底向上的特征映射具有较低的语义，但由于下采样次数较少，其能激活更加精确地定位。
[0052]
检测模块中，每个特征图有两条支路，分类和回归，分别通过卷积运算，输出预测的分类结果、中心度和回归结果。其中分类结果即为识别结果；回归结果即为定位结果，用向量t*＝(l*,t*,r*,b*)表示，参数l*、t*、r*、b*分别表示识别框四条边到图像四条边的距离；fcos深度学习网络模型的最大特点就是加入了中心度(center-ness)的概念，其位于分类支路中，用于降低远离目标中心的识别框的权重，提高最终nms过滤低质量的预测边框的准确度，计算公式为：
[0053][0054]
中心度在0到1之间，因此可通过二值交叉熵(bce)进行训练，加到之后的损失方程中。因此，本发明模型算法的损失函数包含中心度损失、分类损失、回归损失、分类损失以及中心度损失。
[0055]
步骤3、建立第二训练数据集。
[0056]
将第一训练数据集再次输入训练好的fcos深度学习网络模型，得到工地异常行为样本图像中的作业人员及异常行为标志物的识别结果、定位结果以及特征；依据所述识别结果，对工地异常行为样本图像中的作业人员及异常行为标志物进行关系标定，得到标定结果，采用0表示两者之间并无异常行为关系、1表示跨越安全围栏、2表示移动安全围栏、3表示移动电缆支撑架、4表示移动消防栓，标定示例参见表1。
[0057]
表1
[0058][0059]
将标定结果、定位结果以及特征作为第二训练数据集。
[0060]
步骤4、使用第二训练数据集训练mlp多层感知器。
[0061]
mlp多层感知器是一种有监督学习的神经网络模型，由一个输入层、若干个隐含
层、一个输出层组成，参见图3。每层神经元与下一层神经元全互连，但同层之间不存在神经元互连情况，正向传播过程为所有输入通过输入层进行接收，而隐含层则包含带有激活函数的功能神经元，根据每个连接相应的权重即神经元的偏置进行计算和处理，最终由同样带有功能神经元的输出层进行输出。而反向传播主要与模型训练相关，本实施例中选用误差逆传播算法，即基于梯度下降策略，需要以目标的负梯度方向改变参数。首先，对于一个训练例(xk,yk)，xk为[x11,x12,x13,x14,x21,x22,x23,x24,f1,f2]，yk为[0,1,2,3,4]，其中，x11,x12,x13,x14代表作业人员的坐标；x21，x22，x23，x24代表异常行为标志物的坐标；而f1属于r_d，是一个根据坐标在fcos特征图上roi align的维度为d的人体特征；f2属于r_d，是一个根据坐标在fcos特征图上roi align的维度为d的物体特征；yk标签属于r_1，0代表无异常行为，1至4分别代表不同的异常行为。
[0062]
输出的表达式可表示为：
[0063][0064]
其中，βj为输出层第j个神经元的输入，θj是输出层第j个神经元的偏置。则在该训练例上的均方误差为：
[0065][0066]
其中，表示第j个神经元的输出，表示第j个训练例的输出。对于上述误差，引入学习率η的概念：
[0067][0068]
其中
△
ω
hj
表示隐含层第h个神经元与输出层第j个神经元之间的连接权重更新值，ω
hj
为隐含层第h个神经元与输出层第j个神经元之间的连接权重。可以注意到相关参数有一定的链式关系，链式法则如下：
[0069][0070]
进而可以得到输出层神经元的梯度项：
[0071][0072]
同理，可根据上述公式分别推导隐含层神经元的梯度项、更新连接权重以及偏置的数学公式，从而实现bp算法。
[0073]
步骤5、以fcos深度学习网络模型作为第一级网络，以mlp多层感知器作为第二级网络，结合得到异常行为检测模型，参见图4。将待测图像输入异常行为检测模型，得到检测结果。将生成的检测结果输出表格，0表示该单元格对应的两者之间并无异常行为关系、1表示跨越安全围栏、2表示移动安全围栏、3表示移动电缆支撑架、4表示移动消防栓；以及检测结果输出图像，红色识别框为作业人员、黄色识别框为异常行为标志物、绿色识别框为异常
行为。其中，若存在异常行为的作业人员坐标为(x1,y1,x2,y2)，而相应的异常行为标志物坐标为(x3,y3,x4,y4)，则可确定异常行为识别框坐标为：(max(x1,x3)-10,max(y1,y3)+10,max(x2,x4)+10,max(y2,y4)-10)。
[0074]
最后，使用测试集对异常行为检测模型进行测试。在具体实施过程中，总计获取图像数量12977张，随机分类出8307张作为步骤1中的第一训练数据集，训练fcos深度学习网络模型，2075张作为交叉验证集，2595张作为测试集。
[0075]
训练所用的图像在输入模型前，统一缩放为1024
×
800大小，并根据训练集颜色分布的均值和方差进行归一化。采用随机梯度下降(sgd)进行训练，初始学习率为0.0025，动量项为0.9，权值衰减系数1
×
10-4。使用resnet50在imagenet上的预训练权重对骨干网络进行初始化，对于新增的网络层使用默认方法进行权重正态随机初始化。
[0076]
根据实验结果显示，通过两级网络结构，实现了对跨越安全围栏、移动安全围栏、移动电缆支撑架、移动消防栓这四种典型作业人员异常行为的检测，如图5所示。实验结果也显示了本发明改进的fcos目标检测算法的检测结果与传统fcos目标检测算法相比，具有明显的优越性，参见表2。
[0077]
表2
[0078][0079][0080]
在一种实施例中，还公开一种基于fcos目标检测的工地异常行为检测系统，与上述方法部分相对应，参见图7，包括：
[0081]
第一训练数据集获取模块，用于建立第一训练数据集，所述第一训练数据集中包括工地异常行为样本图像以及对应的样本标签文件；
[0082]
fcos深度学习网络模型训练模块，用于使用第一训练数据集训练fcos深度学习网络模型；
[0083]
第二训练数据集获取模块，用于将第一训练数据集再次输入训练好的fcos深度学习网络模型，得到工地异常行为样本图像中的作业人员及异常行为标志物的识别结果、定位结果以及特征；依据所述识别结果，对工地异常行为样本图像中的作业人员及异常行为标志物进行关系标定，得到标定结果；将标定结果、定位结果以及特征作为第二训练数据集；
[0084]
mlp多层感知器训练模块，用于使用第二训练数据集训练mlp多层感知器；
[0085]
检测模块，用于结合训练好的fcos深度学习网络模型和训练好的mlp多层感知器，作为异常行为检测模型；将待测图像输入异常行为检测模型，得到检测结果。
[0086]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统模块而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0087]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。