基于改进YOLOX的桥梁病害检测方法、系统、设备及介质

本技术涉及桥梁病害检测，尤其涉及一种基于改进yolox的桥梁病害检测方法、系统、设备及介质。

背景技术：

1、深度学习领域的目标检测算法一般分为两个阶段(two-stage)和单阶段(one-stage)：前者在检测准确率和定位精度上占优，后者在算法速度上占优。但随着各种创新方法的加入，大大解决了单阶段网络正负样本的筛选不均衡问题。截至目前在某些领域内，单阶段目标检测算法已经能够与两阶段目标检测算法在精度上媲美甚至超过。例如，ross.b.girshick 提出了两阶段中 最经典的 faster r-cnn 模型，该模型的速度与精度都得到提升，但是远没有达到 yolo 系列在桥梁病害领域的检测速度与精度。

2、yolox网络是基于yolov3提出的算法，是yolo系列的新兴力量，结合了目标检测领域的前沿创新方法，其中包括centernet、fcos等的anchor-free，simota目标动态匹配正样本等，使得yolo-x网络具有很高的目标检测精度。

3、但是，现有的，检测头存在分类与检测互不相关的弊端，也就是，现有的yolox存在分类与定位相分离导致的预测不一致性。另外，由于检测头分类与检测互不相关，yolox算法将分类任务和检测回归任务分开计算，所以相对应的损失函数也将分开计算，导致损失函数中的损失计算结果，无法反映出yolox预测与真实两者之间的真实距离，难以继续网络训练。

4、申请内容

5、针对现有技术的上述不足，本技术提供一种基于改进yolox的桥梁病害检测方法、系统、设备及介质，以解决上述（1）检测头分类与检测互不相关的弊端；（2）损失函数中的损失计算结果，无法反映出yolox预测与真实两者之间的真实距离，难以继续网络训练的技术问题。

6、第一方面，本技术提供了一种基于改进yolox的桥梁病害检测方法，方法包括：将桥梁病害图片输入yolox网络，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集；其中，yolox网络包括主干网络、颈部fpn和检测头；通过预设voc数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整；通过主干网络加载测试集，输出测试集对应的特征点集合；通过颈部fpn对特征集点合进行特征采样融合，以获得若干特征层；将特征层输入检测头，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器tap进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息。

7、进一步地，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集，具体包括：通过主干网络将输入的桥梁病害图片尺寸调整为预设尺寸；对调整后的桥梁病害图片进行归一化处理；将归一化处理后的桥梁病害图片拆分为训练集和测试集。

8、进一步地，训练集至少包括：第一训练集和第二训练集，且训练集中桥梁病害图片包括：预测边界框与真实边界框；通过预设voc数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整，具体包括：通过预设voc数据集，对初始预训练模型中的yolox权重进行迁移学习，以获得第一预训练模型；对第一预训练模型中yolox权重中的预设权重进行冻结，进而通过第一训练集对第一预训练模型进行迭代训练，以获得第二预训练模型；通过第二训练集对第二预训练模型进行选代训练，同时根据预设预设权重解冻顺序，对预设权重进行解冻，以获得第三预训练模型；其中，全部预训练模型均采用最优传输理论全局分配模型中每个目标框对应的桥梁病害数据，以获得桥梁病害数据对应的预测边界框其中，全部预训练模型包括初始预训练模型、第一预训练模型、第二预训练模型和第三预训练模型；且全部预训练模型均通通过siou损失函数，对预测边界框与真实边界框进行损失计算，以获得第三预训练模型对应的损失计算结果，利用反向传播算法和损失计算结果，对第三预训练模型中的网络权重进行更新，以获得若干权重更新集合；其中，网络权重包括预设权重；确定若干权重更新集合中预测边界框准确率最高的权重更新集合，将第三预训练模型中的网络权重更新为预测边界框准确率最高的权重更新集合，以获得最终预训练模型。

9、进一步地，预设权重至少包括学习率；在根据预设预设权重解冻顺序，对预设权重进行解冻之后，方法还包括：在通过第二训练集对第二预训练模型进行迭代训练的过程中，通过余弦退火策略调整学习率。

10、进一步地，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器tap进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息，具体包括：将特征层输入预设特征提取网络中的stem层进行通道压缩；进而通过预设特征提取网络中的若干带有激活函数的卷积层网络从特征层中学习特征；进而获得特征层对应的尺度特征；通过预设公式：，获得分类信息或检测框定位信息；其中，为尺度特征为任务交互特征的级联特征，和均为用于降维的1*1卷积，为分类信息或检测框定位信息。

11、第二方面，本技术提供了一种基于改进yolox的桥梁病害检测系统，系统包括：预处理模块，用于将桥梁病害图片输入yolox网络，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集；其中，yolox网络包括主干网络、颈部fpn和检测头；调整模块，用于通过预设voc数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整；获得模块，用于通过主干网络加载测试集，输出测试集对应的特征点集合；通过颈部fpn对特征集点合进行特征采样融合，以获得若干特征层；将特征层输入检测头，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器tap进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息。

12、进一步地，训练集至少包括：第一训练集和第二训练集，且训练集中桥梁病害图片包括：预测边界框与真实边界框；调整模块包括更新单元，用于通过预设voc数据集，对初始预训练模型中的yolox权重进行迁移学习，以获得第一预训练模型；对第一预训练模型中yolox权重中的预设权重进行冻结，进而通过第一训练集对第一预训练模型进行迭代训练，以获得第二预训练模型；通过第二训练集对第二预训练模型进行选代训练，同时根据预设预设权重解冻顺序，对预设权重进行解冻，以获得第三预训练模型；其中，全部预训练模型均采用最优传输理论全局分配模型中每个目标框对应的桥梁病害数据，以获得桥梁病害数据对应的预测边界框其中，全部预训练模型包括初始预训练模型、第一预训练模型、第二预训练模型和第三预训练模型；且全部预训练模型均通通过siou损失函数，对预测边界框与真实边界框进行损失计算，以获得第三预训练模型对应的损失计算结果，利用反向传播算法和损失计算结果，对第三预训练模型中的网络权重进行更新，以获得若干权重更新集合；其中，网络权重包括预设权重；确定若干权重更新集合中预测边界框准确率最高的权重更新集合，将第三预训练模型中的网络权重更新为预测边界框准确率最高的权重更新集合，以获得最终预训练模型。

13、进一步地，获得模块包括获得单元，用于将特征层输入预设特征提取网络中的stem层进行通道压缩；进而通过预设特征提取网络中的若干带有激活函数的卷积层网络从特征层中学习特征；进而获得特征层对应的尺度特征；通过预设公式：，获得分类信息或检测框定位信息；其中，为尺度特征为任务交互特征的级联特征，和均为用于降维的1*1卷积，为分类信息或检测框定位信息。

14、第三方面，本技术提供了一种基于改进yolox的桥梁病害检测设备，设备包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述任一项的一种基于改进yolox的桥梁病害检测方法。

15、第四方面，本技术提供了一种非易失性计算机存储介质，其上存储有计算机指令，计算机指令在被执行时实现如上述任一项的一种基于改进yolox的桥梁病害检测方法。

16、本领域技术人员能够理解的是，本技术至少具有如下有益效果：

17、本技术提出了一种基于改进yolox的桥梁病害检测方法、系统、设备及介质，本技术引入了siou损失函数，siou损失函数相较于之前的iou、giou，除了考虑了重叠区域，距离和长宽，还多考虑了两个框之间的角度问题，反映出yolox预测与真实两者之间的真实距离，重新定义了距离损失，有效降低了回归的自由度，从而加速网络的收敛，进一步提升回归的准确性。另外，本技术将传统的yolox检测头进行了改进（通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器tap进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息），该改进方法在保持分类（分类信息）和定位特征（检测框定位信息）的同时，增强了分类和定位之间的交互，并进一步将两个任务在预测上对齐，解决了检测头分类与检测互不相关的弊端。

技术实现思路