基于无人机平台的公路工程现场施工人员安全预警方法与流程

本发明涉及公路工程安全监督领域，具体涉及一种基于无人机平台的公路工程现场施工人员安全预警方法。

背景技术：

公路是我国交通运输的大动脉。近年来，公路建设步入高潮，愈来愈多的建成公路服役，为提高我国交通运输效率、拉动我国经济快速增长起到了不可忽视的作用。然而，由于工作环境的复杂性和施工人员的素质参差不齐，公路工程施工现场的安全风险一直居高不下。仅仅在国内，从1997年到2014年间，平均每年由于施工现场事故导致的死伤人数高达2500人次，同时伴有严重的财产损失。安全监督已经成为施工现场安全管理的重要环节。安全主管人员往往使用检查单的形式来寻找和识别潜在的安全的风险，而是否佩戴安全帽便是检查单上的重要一项。

目前随着无人机技术和计算机视觉技术的发展，许多学者尝试使用这两种新技术来解决施工人员安全帽的检测问题，然而这些方法存在的最大的问题是需要特定的、昂贵的设备来获取所需的数据。因此如何针对现有研究存在的问题提出一个鲁棒性强、成本低、识别速度快、精度高的方法，为施工现场施工人员智能快速识别和安全预警提供一个自动化智能化的解决方案，是一个丞待研究的问题。

技术实现要素：

本发明的目的是为了解决现有的公路工程现场施工风险过高的问题以及相应智能算法的缺点，而提出一种基于无人机平台的公路工程现场施工人员安全预警方法，具体包括如下步骤：

步骤一、使用无人机采集公路工程现场区域图像，对原始图像进行切割；

步骤二、根据人工经验对切割后的图像降采样后进行标注(记为训练集一)，其中分为两类，即是否含有施工人员；根据人工经验使用矩形框对切割后的图像中的施工人员进行标记，获得用于表示矩形框位置和大小的数据(记为训练集二)，其中分为佩戴安全帽的施工人员和未佩戴安全帽的施工人员；

步骤三、将训练集一输入至显著性区域检测网络中进行训练，训练过程中使用的损失函数为交叉熵损失函数，优化算法为自适应矩估计优化算法；

步骤四、将训练集二输入至施工人员精准检测网络中进行迁移训练，训练过程中使用的损失函数为多目标优化函数，优化算法为自适应矩估计优化算法；

步骤五、将待识别的施工现场图像切割后输入至训练好的显著性检测网络中，得到以分割尺寸大小表示的显著性检测区域结果；将显著性检测区域输入至训练好的施工人员精准检测网络中，得到以矩形框为表示的施工人员识别结果；

步骤六、将矩形框识别结果由子图像局部坐标系映射回原始图像整体坐标系中，得到最终的施工人员智能快速识别及安全预警(是否佩戴安全帽)结果。

本发明还具有如下技术特征：

1、如上所述的步骤一具体包括：

步骤一一、使用无人机拍摄图像时，无人机飞行高度为30米，摄像机焦距为35mm；

步骤一二、对原始图像以网格形式进行切割，尺寸为300×300像素。

2、如上所述的步骤二具体包括：

步骤二一、对子图像降采样后整体进行图像分类标注，分为是否含有施工人员，形成训练集一；

步骤二二、对子图像进行矩形框标注，分为背景及施工人员是否佩戴安全帽，形成训练集二；

步骤二三、将子图像水平翻转、垂直翻转、bgr三个通道施加10％的干扰，分别得到翻转或干扰后的图像，并对得到的图像进行步骤一二的处理，形成训练集一、二的扩充集。

2、如上所述的步骤三中，显著性区域检测神经网络的各层结构为：

l0层：输入的宽度为32，深度为3；执行卷积层操作，卷积层操作的宽度为3，数量为32，步距为1，补零为1；

l1层：输入的宽度为32，深度为32；执行激活层操作；

l2层：输入的宽度为30，深度为32；执行卷积层操作，卷积层操作的宽度为3，数量为32，步距为1，补零为1；

l3层：输入的宽度为30，深度为32；执行激活层操作；

l4层：输入的宽度为30，深度为32，执行规则化层操作；

l5层：输入的宽度为30，深度为32，执行池化层操作；

l6层：输入的宽度为15，深度为32，灭活率为0.25，执行随机丢失层操作；

l7层：输入的宽度为15，深度为3；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；

l8层：输入的宽度为15，深度为64；执行激活层操作；

l9层：输入的宽度为13，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；

l10层：输入的宽度为13，深度为64；执行激活层操作；

l11层：输入的宽度为13，深度为64，执行规则化层操作；

l12层：输入的宽度为13，深度为64，执行池化层操作；

l13层：输入的宽度为6，深度为64，灭活率为0.25，执行随机丢失层操作；

l14层：输入的宽度为6，深度为64；执行全连接层操作，全连接层操作的宽度为1，数量为512；

l15层：输入的宽度为1，深度为512；执行激活层操作；

l16层：输入的宽度为1，深度为512；执行随机丢失层操作；

l17层：输入的宽度为1，深度为512；执行全连接层操作，全连接层操作的宽度为1，数量为4；

l18层：输入的宽度为1，深度为4；执行激活层操作；

l19层：输入的宽度为1，深度为1；执行分类层操作；

l20层：输入的宽度为1，深度为1；执行回归层操作。

3、如上所述的步骤三和四中自适应矩估计优化算法具体为：

式中gt为第t步的梯度，mt为第t步的梯度一阶矩，vt为第t步的梯度二阶矩，β1为一阶动量衰减系数，β2为二阶动量衰减系数，ε为数值稳定量，η为学习率，θt表示第t步的待优化参数。

4、如上所述的步骤五中，充分考虑施工人员分布稀疏的特征，采用两阶段检测方式，即先进行显著性检测以确定施工人员所在区域，再基于所在区域进行施工人员的具体检测。4、如上所述的步骤六中，矩形框识别结果以矩形区域坐标[ti,x,ti,y,ti,w,ti,h]以及矩形区域对应的标签值，其中ti,x,ti,y,ti,w,ti,h分别为第i个样本左上角横坐标的预测值、第i个样本左上角纵坐标的预测值、第i个样本宽度的预测值、第i个样本高度的预测值，进行坐标变换时只进行矩形框参数的映射。

本发明的有益效果及优点：本发明实现了对于包含复杂背景干扰信息的施工现场施工人员显著性检测神经网络模型训练、施工人员精准检测蛇精网络模型训练以及结果展示的全过程自动化处理。本发明便捷、准确，提升了公路工程现场施工人员识别的效率以及安全预警结果的准确度和稳定性。整个识别与预警过程均为自动化处理，显著降低了检测过程中的人工参与度。本发明还能满足公路工程安全突击检查和在线实时监测预警需求，即不进行训练集更新，直接对采集到的图像进行识别，结果输出延迟可低至十秒以下。本发明提高了公路工程现场施工人员快速识别和安全预警的自动化、智能化、准确性和鲁棒性，为公路工程的安全监督提供了新的解决方案。

附图说明

图1为本发明的流程示意图；

图2为本发明一个实施例的原始图像；

图3为本发明一个实施例的显著性区域检测结果图；

图4为本发明一个实施例的施工人员精准检测结果图。

具体实施方式

下面根据说明书附图举例对本发明做进一步说明：

实施例1

如图1所示，一种基于无人机平台的公路工程现场施工人员安全预警方法，步骤包括如下：

步骤一、使用无人机采集公路工程现场区域图像，对原始图像进行切割。

步骤一一、使用无人机拍摄图像时，无人机飞行高度为30米，摄像机焦距为35mm；

步骤一二、对原始图像以网格形式进行切割，尺寸为300×300像素。

步骤二、根据人工经验对切割后的图像降采样后进行标注，记为训练集一，其中分为两类，即是否含有施工人员；根据人工经验使用矩形框对切割后的图像中的施工人员进行标记，获得用于表示矩形框位置和大小的数据，记为训练集二，其中分为佩戴安全帽的施工人员和未佩戴安全帽的施工人员。

步骤二一、对子图像降采样后整体进行图像分类标注，分为是否含有施工人员，形成训练集一；

步骤二二、对子图像进行矩形框标注，分为背景及施工人员是否佩戴安全帽，形成训练集二；

步骤二三、将子图像水平翻转、垂直翻转、bgr三个通道施加10％的干扰等，分别得到翻转或干扰后的图像，并对得到的图像进行步骤一二的处理，形成训练集一、二的扩充集。

步骤三、将训练集一输入至显著性区域检测网络中进行训练，训练过程中使用的损失函数为交叉熵损失函数，优化算法为自适应矩估计优化算法，

其中，步骤三中，显著性区域检测神经网络的各层结构为：

l0层：输入的宽度为32，深度为3；执行卷积层操作，卷积层操作的宽度为3，数量为32，步距为1，补零为1；

l1层：输入的宽度为32，深度为32；执行激活层操作；

l2层：输入的宽度为30，深度为32；执行卷积层操作，卷积层操作的宽度为3，数量为32，步距为1，补零为1；

l3层：输入的宽度为30，深度为32；执行激活层操作；

l4层：输入的宽度为30，深度为32，执行规则化层操作；

l5层：输入的宽度为30，深度为32，执行池化层操作；

l6层：输入的宽度为15，深度为32，灭活率为0.25，执行随机丢失层操作；

l7层：输入的宽度为15，深度为3；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；

l8层：输入的宽度为15，深度为64；执行激活层操作；

l9层：输入的宽度为13，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；

l10层：输入的宽度为13，深度为64；执行激活层操作；

l11层：输入的宽度为13，深度为64，执行规则化层操作；

l12层：输入的宽度为13，深度为64，执行池化层操作；

l13层：输入的宽度为6，深度为64，灭活率为0.25，执行随机丢失层操作；

l14层：输入的宽度为6，深度为64；执行全连接层操作，全连接层操作的宽度为1，数量为512；

l15层：输入的宽度为1，深度为512；执行激活层操作；

l16层：输入的宽度为1，深度为512；执行随机丢失层操作；

l17层：输入的宽度为1，深度为512；执行全连接层操作，全连接层操作的宽度为1，数量为4；

l18层：输入的宽度为1，深度为4；执行激活层操作；

l19层：输入的宽度为1，深度为1；执行分类层操作；

l20层：输入的宽度为1，深度为1；执行回归层操作。

步骤四、将训练集二输入至施工人员精准检测网络中进行迁移训练，训练过程中使用的损失函数为多目标优化函数，优化算法为自适应矩估计优化算法，

以上步骤三和四中，自适应矩估计优化算法具体为：

式中gt为第t步的梯度，mt为第t步的梯度一阶矩，vt为第t步的梯度二阶矩，β1为一阶动量衰减系数，β2为二阶动量衰减系数，ε为数值稳定量，η为学习率，θt表示第t步的待优化参数。

在该实施例中，迁移学习时使用的初始权重可使用目前主流的深度目标检测网络权重，如在imagenet上训练完成的vggnet等。

在一个实施例中，相应算法可以在python环境下开发，可直接适用于用消费级无人机搭载的普通相机拍摄的公路工程施工现场图像，不需要特制的拍摄或检测设备。

步骤五、将待识别的施工现场图像切割后输入至训练好的显著性检测网络中，得到以分割尺寸大小表示的显著性检测区域结果；将显著性检测区域输入至训练好的施工人员精准检测网络中，得到以矩形框为表示的施工人员识别结果。

步骤五一、将待识别图像切割为300×300像素，输入至显著性检测网络中；

步骤五二、将步骤五一得到的显著性区域子图片输入至施工人员精准检测网络中。

步骤六、将矩形框识别结果由子图像局部坐标系映射回原始图像整体坐标系中，得到最终的施工人员智能快速识别及安全预警(是否佩戴安全帽)结果，其中共检测出11个人，6个人未佩戴安全帽。

步骤六一、确定子图像局部坐标系与原始图像整体坐标系的映射关系；

步骤六二、将识别得到矩形框表示参数映射回整体坐标系中并存储和展示；

其中，矩形框识别结果以矩形区域坐标[ti,x,ti,y,ti,w,ti,h]以及矩形区域对应的标签值，其中ti,x,ti,y,ti,w,ti,h分别为第i个样本左上角横坐标的预测值、第i个样本左上角纵坐标的预测值、第i个样本宽度的预测值、第i个样本高度的预测值，进行坐标变换时只进行矩形框参数的映射。