一种多目标视觉跟踪的柔性体桥梁振动检测模型、应用

本发明涉及一种多目标视觉跟踪的柔性体桥梁振动检测模型、应用，属于视觉振动位移测量和计算机视觉领域。

背景技术：

1、在实际场景中大跨度桥梁受外力扰动后会产生大幅值振动，在传统的大跨度柔性桥梁振动测量检测方法中，常采用加速度传感器和应变片等接触式传感器来进行结构体的监测，而这些传感器和数据采集系统的安装和维护要求繁琐且昂贵，使得传统接触式传感器在实际工程中的广泛适用受到限制。因此，研究界一直积极探索更普遍适用的技术，例如基于物联网的无线传感系统，基于激光测距的激光多普勒测振仪，全球定位系统，和干涉雷达系统；这些技术都有特定的安装距离要求，振动幅值测量范围有限，且大多数价格非常昂贵，不利于投入到实际的工业结构体位移监测中。

2、基于深度学习的视觉测量方法为结构体振动测量提供了新的思路，但目前大部分深度学习算法更加侧重于目标识别的准确性，而忽略定位的准确性和目标存在旋转的情况。另外，由于检测对象或相机会存在一定的倾斜，大跨度桥梁受扰动后会存在一定转动等情况，这进一步导致了预测框精度不高的问题。同时，由于目标检测算法只考虑当前帧的目标，忽略了相邻帧之间的时空关联性，导致其在振动位移信号提取时会存在较大的抖动误差。

技术实现思路

1、本发明提供了一种多目标视觉跟踪的柔性体桥梁振动检测模型、应用，通过将特征提取模块、panet模块、头部定位模块与目标追踪模块相结合构建了新型的多目标视觉跟踪的柔性体桥梁振动检测模型，并进一步基于该模型实现了通过非接触的方式实现柔性体桥梁振动多目标检测。

2、本发明的技术方案是：

3、根据本发明的一方面，提供了一种多目标视觉跟踪的柔性体桥梁振动检测模型，利用特征提取模块、panet模块、头部定位模块和目标追踪模块共同构建多目标视觉跟踪的柔性体桥梁振动检测模型。

4、所述特征提取模块以yolov5-s网络模型的骨干网络为基础，将yolov5-s网络模型的骨干网络最后一个c3模块改为transformer自注意力机制模块并移到sppf模块的下一层，进而构建由cibs模块、c3模块、sppf模块和transformer自注意力机制模块构成的特征提取模块。

5、所述panet模块将特征提取模块的三个输出特征图x1、x2、x3作为输入，从特征图x3开始，特征图x3通过c1bs模块得到特征图s3，将特征图s3做一次上采样后与特征图x2做concat堆叠，然后使用c3模块对堆叠的特征层进行特征提取，得到特征图s2；将特征图s2做一次上采样后与特征图x1做concat堆叠，然后使用c3模块对堆叠的特征层进行特征提取，得到特征图s1；将特征图s1不做任何处理得到特征图q1，将特征图q1通过c3bs模块做一次下采样，然后与特征图s2做concat堆叠，再通过transformer自注意力机制模块对堆叠的特征层进行特征提取，得到特征图q2；将特征图q2通过c3bs模块做一次下采样，然后与特征图s3做concat堆叠，再通过transformer自注意力机制模块对堆叠的特征层进行特征提取，得到特征图q3。

6、所述头部定位模块对panet模块输出的特征图q1、q2、q3先通过一个c1bs模块，得到分类部分和回归部分；然后分别再将这两个部分分别通过一个c3bs模块，回归部分得到回归分支和背景分支，分类部分得到分类分支。

7、所述多目标视觉跟踪的柔性体桥梁振动检测模型采用旋转框重叠度损失函数lriou，lriou表达式：

8、lriou＝lkfiou+lciou

9、式中：lkfiou、lciou分别表示kfiou损失函数、ciou损失函数。

10、所述目标追踪模块用于将头部定位模块输出的结果作为目标追踪模块的输入量，利用卡尔曼滤波来预测当前帧的跟踪轨迹在下一帧的位置，预测框与实际的检测框之间iou作为两次匹配时的相似度，再通过匈牙利算法完成匹配。

11、依据头部定位模块输出检验框的置信度、阈值进行判别，把检验框分为高分框和低分框，分开进行处理：如果为高分框，则使用卡尔曼滤波预测下一帧边界框的位置和大小，计算下一帧边界框与当前帧高分边界框的iou(交并比)值，再通过匈牙利算法完成匹配；如果为低分框，则使用卡尔曼滤波预测下一帧边界框的位置和大小，计算下一帧边界框与当前帧低分边界框的iou(交并比)值；再通过匈牙利算法完成匹配。

12、根据本发明的另一方面，将上述中多目标视觉跟踪的柔性体桥梁振动检测模型用于柔性体桥梁振动中的多目标检测。

13、本发明的有益效果是：本发明构建了多目标视觉跟踪的柔性体桥梁振动检测模型，在原有的yolov5-s框架的基础上结合目标追踪模块，将帧与帧之间的时域信息与空间域信息相互融合，以实现检测目标更为之有效的振动位移检测。针对检测物体和相机存在倾斜，并导致回归位移精度不准的情况，本发明在回归头部分增加了一个角度参数，在kfiou的基础上增加ciou，通过实验验证，本文所使用的riou相比于kfiou具有更好的的旋转框回归特性和更快的收敛速度。

技术特征：

1.一种多目标视觉跟踪的柔性体桥梁振动检测模型，其特征在于，利用特征提取模块、panet模块、头部定位模块和目标追踪模块共同构建多目标视觉跟踪的柔性体桥梁振动检测模型。

2.根据权利要求1所述的多目标视觉跟踪的柔性体桥梁振动检测模型，其特征在于，所述特征提取模块以yolov5-s网络模型的骨干网络为基础，将yolov5-s网络模型的骨干网络最后一个c3模块改为transformer自注意力机制模块并移到sppf模块的下一层，进而构建由cibs模块、c3模块、sppf模块和transformer自注意力机制模块构成的特征提取模块。

3.根据权利要求1所述的多目标视觉跟踪的柔性体桥梁振动检测模型，其特征在于，所述panet模块将特征提取模块的三个输出特征图x1、x2、x3作为输入，从特征图x3开始，特征图x3通过c1bs模块得到特征图s3，将特征图s3做一次上采样后与特征图x2做concat堆叠，然后使用c3模块对堆叠的特征层进行特征提取，得到特征图s2；将特征图s2做一次上采样后与特征图x1做concat堆叠，然后使用c3模块对堆叠的特征层进行特征提取，得到特征图s1；将特征图s1不做任何处理得到特征图q1，将特征图q1通过c3bs模块做一次下采样，然后与特征图s2做concat堆叠，再通过transformer自注意力机制模块对堆叠的特征层进行特征提取，得到特征图q2；将特征图q2通过c3bs模块做一次下采样，然后与特征图s3做concat堆叠，再通过transformer自注意力机制模块对堆叠的特征层进行特征提取，得到特征图q3。

4.根据权利要求1所述的多目标视觉跟踪的柔性体桥梁振动检测模型，其特征在于，所述头部定位模块对panet模块输出的特征图q1、q2、q3先通过一个c1bs模块，得到分类部分和回归部分；然后分别再将这两个部分分别通过一个c3bs模块，回归部分得到回归分支和背景分支，分类部分得到分类分支。

5.根据权利要求1所述的多目标视觉跟踪的柔性体桥梁振动检测模型，其特征在于，所述多目标视觉跟踪的柔性体桥梁振动检测模型采用旋转框重叠度损失函数lriou，lriou表达式：

6.根据权利要求1所述的多目标视觉跟踪的柔性体桥梁振动检测模型，其特征在于，所述目标追踪模块用于将头部定位模块输出的结果作为目标追踪模块的输入量，利用卡尔曼滤波来预测当前帧的跟踪轨迹在下一帧的位置，预测框与实际的检测框之间iou作为两次匹配时的相似度，再通过匈牙利算法完成匹配。

7.根据权利要求6所述的多目标视觉跟踪的柔性体桥梁振动检测模型，其特征在于，依据头部定位模块输出检验框的置信度、阈值进行判别，把检验框分为高分框和低分框，分开进行处理：

8.将权利要求1-7中任意一项所述的多目标视觉跟踪的柔性体桥梁振动检测模型用于柔性体桥梁振动中的多目标检测。

技术总结
本发明公开了一种多目标视觉跟踪的柔性体桥梁振动检测模型、应用。本发明构建的多目标视觉跟踪的柔性体桥梁振动检测模型，在原有的YOLOv5‑s框架的基础上结合目标追踪模块，将帧与帧之间的时域信息与空间域信息相互融合，以实现检测目标更为之有效的振动位移检测。针对检测物体和相机存在倾斜，并导致回归位移精度不准的情况，本发明在回归头部分增加了一个角度参数，在KFIoU的基础上增加CIoU，通过实验验证，本文所使用的RIoU相比于KFIoU具有更好的的旋转框回归特性和更快的收敛速度。

技术研发人员：王森,孙瑞阳,付涛,李茂,林森
受保护的技术使用者：昆明理工大学
技术研发日：
技术公布日：2024/1/14