混凝土坝面作业风险智能识别方法

本发明涉及深度学习、图像处理和施工安全领域，具体涉及到一种混凝土坝面作业风险智能识别方法。

背景技术：

1、混凝土坝因安全可靠、便于使用与管理等优势，在国内外高坝工程中应用广泛。然而，混凝土坝施工场地狭窄，机械布置紧密，在有限的作业空间上人、机、物等实体目标繁杂；其施工过程复杂，工序衔接紧密且转换频繁，各类实体交叉作业普遍，动态交互不断，风险管控难度大。传统人工巡检的风险识别方式过度依赖主观经验，识别效率低。利用计算机视觉技术从复杂坝面施工场景中智能识别作业风险，是创新智能建坝技术，遏制事故发生的重要举措。

2、在施工安全领域，计算机视觉、深度学习等技术应用广泛。现有研究聚焦于利用图像识别算法，从复杂施工图像中提取静态场景下单目标实体的安全性判别规则；结合工人动作、机器行为等数据，挖掘动态场景下多目标实体的时空关系。但主要集中于房屋建筑、隧道施工等领域，对混凝土坝面作业过程的研究略显不足，迫切需要针对混凝土坝面施工小目标实体间的作业风险，建立智能识别技术，提升智能建坝水平。

3、现有的目标识别算法主要包括以检测精度为主的两阶段算法，如快速区域卷积神经网络(faster region-based convolutional neural network，faster r-cnn)；以检测速度为主的单阶段算法，如单阶段多框检测网络(single shot multibox detector，ssd)和只看一次的快速检测网络(you only look once，yolo)。其中，yolo作为目标检测领域经典算法，在安全帽佩戴、跌落险兆、危险源识别、目标跟踪等检测任务中应用如火如荼，具有较为突出的检测精准率和检测速度，且体积小、推理速度快、便于部署，已成为首选的目标检测方法。然而，yolo算法多采用空间金字塔网络与路径聚合网络融合多尺度特征，该融合方式不能充分利用不同尺度之间的特征信息。由于图像中小目标实体的尺寸过小，分辨率低、像素占比少，特征有限。随着算法网络层数不断加深，采样时风险特征将逐层削弱，映射能力不足，致使边缘、位置等高分辨率的浅层特征信息丢失，算法的鲁棒性和泛化性差，难以应用于大场景、小目标、复杂背景的坝面作业风险识别问题。双向特征金字塔网络(bidirectional feature pyramid network，bifpn)基于路径增强思想，通过建立自顶向下和自底向上的双向通道和加权特征融合方式，实现不同维度特征的聚合复用，深度整合更多高级特征。

4、因此，为提高yolo算法在复杂背景下小目标作业风险的识别精度，需结合bifpn网络充分考虑不同尺度特征的贡献度，以自适应学习方式分配权重，在融合高分辨率的图像浅层特征与高语义信息的深层特征的基础上，研究设计yolo-cdsri网络模型，对大场景、小目标、复杂环境下的坝面作业图像进行训练，使模型能够快速准确识别混凝土坝面作业风险。

技术实现思路

1、本发明所要解决的技术问题是提供一种混凝土坝面作业风险智能识别方法，通过设计网络模型，增强对坝面作业风险的态势感知和局部小目标实体的快速定位能力，可适应目标繁杂、图像信息干扰性强的坝面全场域、多类型的坝面作业风险智能识别问题。

2、为解决上述技术问题，本发明所采用的技术方案是：一种混凝土坝面作业风险智能识别方法，包括如下步骤：

3、s1、建立已标注的作业风险数据集；

4、s2、构建混凝土坝面作业风险智能识别模型；

5、s3、利用已标注的数据集训练作业风险智能识别模型；

6、s4、采用训练好的模型识别坝面作业图像数据中的作业风险。

7、优选的方案中，所述s1中，对视频图像数据进行预处理，包括如下步骤：

8、s1.1、将坝面作业视频图像在时间上进行采样，提取为图片图像；

9、s1.2、以宽度最小的图片图像为基准，调整大小，并剔除相似度高及无效图像；

10、s1.3、辨识图像中的高频作业风险；

11、s1.4、采用标注工具以作业风险的最小外接矩形为标注框，进行人工标注；

12、s1.5、采用数据增强方法，以对比度增强、水平镜像翻转与坐标增强的方式，扩充图像数据集合。

13、优选的方案中，所述s2中，混凝土坝面作业风险智能识别yolo-cdsri模型由五部分组成，包括输入端input、主干网络backbone、颈部neck、头部head和损失loss，将标注完成的图像送至模型input层，经backbone和neck提取并处理图像的编码特征，在head处产生一个或多个预测输出层，实现坝面作业风险的智能识别。

14、优选的方案中，所述input部分，在yolov5的mosaic数据增强基础上引入yolox最后10次迭代关闭mosaic增强的操作。

15、优选的方案中，所述backbone部分，采用跨阶段局部网络cspnet和快速空间金字塔池化模块sppf构建主干网络，将作业风险特征映射为两部分，一部分使用卷积操作，另一部分连接前一部分的输出。

16、优选的方案中，所述颈部neck部分，采用双向特征金字塔网络bifpn，经双向跨尺度连接和加权特征融合，将深层特征图中的高维语义自底向上上采样与浅层特征图中的风险位置和细节信息融合，上采样完成后，再由浅层特征自顶向下下采样与深层特征融合，并在相同特征尺度之间增加跳跃式映射。

17、优选的方案中，所述头部head部分，采用解耦头结构，使作业图像的分类和检测分离，删除对象分支，只保留分类和回归分支，利用不同网络分支分别学习后，再进行融合，同时采用无锚检测，将目标检测转化为关键点检测问题。

18、优选的方案中，所述loss部分，损失函数包括分类部分的二分类交叉损失bcel和回归部分的焦点分布损失dfl、边界框回归损失bbrl。

19、优选的方案中，所述s3中，包括如下步骤：

20、s3.1、将数据集按照比例划分训练集、验证集和检测集；

21、s3.2、将训练集输入到s2中的混凝土坝面作业风险智能识别模型中，进行参数训练，用验证集验证模型的有效性，用检测集展示识别效果，评估模型的可行性。

22、优选的方案中，所述s4中，需要对视频图像数据进行预处理，将监控视频拍摄的视频图像按采样间隔采样为图像，将预处理后的图像逐一输入训练好的混凝土坝面作业风险智能识别模型中，通过模型识别图像中的作业风险。

23、本发明提供的一种混凝土坝面作业风险智能识别方法，采用跨阶段局部网络cspnet和快速空间金字塔池化模块sppf，提高模型对图像中作业风险的态势感知能力。通过引入bifpn，经双向跨尺度连接和加权特征融合，增强风险特征间的信息耦合，提升模型对小目标作业风险的关注度。通过以wise-iou为边界框回归损失函数，结合动态非单调聚焦机制，利用“离群度”评估锚框质量，避免标注框几何因素对模型的过度影响。有效解决了大场景、小目标、多尺度、多类别复杂环境下的坝面作业风险的智能识别问题，提高了目标识别的速度和精度。