一种基于无人机平台和深度学习的复杂背景下索力快速测试系统及方法与流程

本发明属于结构健康监测技术领域，具体涉及一种基于无人机平台和深度学习的复杂背景下索力快速测试方法及系统，可实现城市内部桥梁斜拉索/吊杆索力的快速精准测量。

背景技术：

随着城镇化和工业化的快速发展，我国基础建设投资规模进一步扩大，作为跨越地理限制的交通基础设施，大批桥梁已完成或正在建设。近十几年来，我国持续刷新世界桥梁建设的记录，世界十大拱桥、十大梁桥、十大斜拉桥、十大悬索桥，中国均占据了一半及以上。目前，我国公路桥梁总数接近80万座,铁路桥梁总数已超过20万座,已成为世界第一桥梁大国。我国的桥梁设计使用年限一般长达几十年甚至上百年，但在桥梁设计、施工、运营过程中，常常由于种种原因，导致其使用寿命达不到设计寿命。如桥梁服役过程中环境因素影响、日常交通荷载甚至某一时段的超载等原因都将导致结构性能发生退化，而各种极端自然灾害如地震、台风等则会进一步导致桥梁各部件的损伤。据不完全统计，目前我国公路网中各类危桥多达7.96万座，已经超过我国公路桥梁总数的10％。这些危桥在服役过程中不能提供足够的稳定性和承载能力，极易发生桥梁倒塌等重大安全事故，造成了重大的人员伤亡和财产损失。因此，如何快速实现广大桥梁的服役状况检测评估，以保障结构的运行安全关系国计民生。

斜拉索、吊杆是斜拉桥、悬索桥和吊杆拱桥的重要承重构件，如何准确测量其索力是保证结构安全运行的重要前提。现有索力测量方法主要是接触式测量和非接触式测量两种，其中，接触式索力测量利用加速度传感器或者磁通量传感器粘贴于索体，通过对采集数据进行分析处理得到其索力测试值，这些方法可以得到索力，但每根索测试过程中均需要安装和拆卸传感器系统，测试速度较慢，无法满足对广大桥梁的索力快速测试评估；此外，新型非接触式测量设备在索力测量中得到广泛应用，包括：固定相机、微波雷达、ldv等，这些方法在一定程度上提高了大跨结构索力测试效率，但是在测试过程中仍然需要人为移动测量设备到不同测点位置以实现进行全桥索力测量，在一定程度上限制了索力的快速测量。目前，这些方法主要针对大跨桥梁，应用到城市内部桥梁索力测试时，基于计算机视觉的索力测量容易受到拉索背景的影响，影响测试精度。

技术实现要素：

为了克服现有技术中存在的不足，本发明提供一种基于无人机平台和深度学习的复杂背景下索力快速测试方法及系统。

为实现上述目的，本发明提供一种基于无人机平台和深度学习的复杂背景下索力快速测试系统，包括图像拍摄装置、数据采集系统和数据分析系统，所述的图像拍摄装置用来获取环境振动下吊索的运动图像序列；所述图像拍摄装置可以选无人机，所述的数据采集系统采集吊索的运动图像，并存储采集的图像序列文件；所述的数据分析系统包含图像预处理模块、位移计算模块、频率识别模块和索力计算模块四部分，所述的图像预处理模块用于深度学习识别拉索并标记，所述的吊索位移计算模块用于计算拉索的振动位移时程，所述的频率识别模块用于对位移时程进行频谱分析并识别高阶频率的模态阶数，所述的索力计算模块用于计算吊索索力。

一种基于无人机平台和深度学习的复杂背景下索力快速测试方法，所述方法包括如下步骤：

1)图像采集：利用图像拍摄装置获取斜拉索/吊索在环境振动下的运动图像序列，数据采集系统采集斜拉索/吊索的运动图像并保存采集的图像序列文件；

2)图像预处理：利用深度学习网络对采集图像进行预处理分为深度学习网络训练和调用两部分,其中，深度学习网络训练首先采集大量拉索的图片，包括不同复杂背景下拍摄的拉索图片，并对图片内容进行人为标记，将其分为拉索和背景两类，构建数据库。利用所构建的数据库对搭建的深度学习网络进行训练并保存训练结果；

后续索力测试中，对无人机所采集的视频进行处理，提取每帧所对应的图片，同时分割出需要的1024*1024像素大小的感兴趣区域并保存为图片序列a。将图片序列a放进提前训练好的深度学习网络进行检测，得到同样大小的去除背景后的图片并保存为图像序列b。

3)位移计算：结合采集图片与拉索识别图片，利用直线检测算法获取选定计算区域内吊索的运动位移时程；

选定计算区域，同时对图片序列a以及图像序列b中的计算区域进行直线检测，检测出所包含的直线单元。对图片序列a的检测结果中除了拉索边缘对应的直线还有背景中的边缘对应的直线以及拉索自身纹理对应的直线，而对图像序列b检测的结果中的直线仅为拉索边缘对应的直线。

由于深度学习网络进行拉索识别时的精度为像素级别，而计算拉索位移需要亚像素的精度，因此，不能直接提取识别拉索图检测结果的直线坐标作为拉索振动位移时程。本发明通过计算图像序列b中检测的直线与图片序列a中检测的直线的重合度δl，对图片序列a检测结果中的直线单元进行筛选，进而提取拉索边缘对应的直线单元。

式中，δl为定义的拉索重合度；i，j分别为图片序列a检测的直线和图片序列b检测直线的编号；x1，x2分别表示直线上下端点的横坐标；

进而，通过提取图片序列a检测结果中拉索边缘直线的坐标，可以得到拉索振动位移时程；

4)吊索频率识别：对位移时程进行频谱分析，并提取频谱中高阶部分相邻3阶频率；

5)索力计算：基于振动法，利用高阶模态频率差与索振动基频之间的关系来间接计算斜拉索/吊杆的索力。

无人机采集图像基频受到无人机悬停时自身振动的影响，不能准确识别，因此，如下推导只考虑模态阶数大于1的情况，考虑抗弯刚度和垂度的非线性振动模型计算，可以得到：

式中：为实际测量的拉索振动频率；ε为与拉索刚度相关的参数,表示为t为拉索张力；m为索单位长度的质量；l为索的长度；n为模态阶数。

根据公式(2a)可以进一步得到第n+1阶模态频率为：

由公式(2a)和(2b)联立可得拉索相邻两阶频率的比值为：

将代入公式(3)，并化简得到：

式中：c1,c1,c1均为常数，其表达式分别为

对公式(4)两边取对数，得到：

同理，可得n+2与n+1阶识别固有频率的比值表达式,即：

公式(5)中，频率比值能够从无人机采集图像中分析得到，c1,c1,c1均为已知常数，因此，它是关于索力和模态阶数的非线性方程，通过求解公式(5)，便可以得到由傅里叶频谱任意相邻三阶频率比值计算的拉索索力值和模态阶数。

相对于现有技术，本发明的有益效果如下：1)该技术方案所提出的一种基于无人机平台和深度学习的复杂背景下索力快速测试方法及系统利用无人机能够在短时间内完成城市内部桥梁索力测试，测试成本低、效率高，操作简单，结果精确，可以更加有效地对城市内部桥梁进行安全评估和维护管理，2)本发明方法为结合无人机平台的非接触式测量方法，不需要在斜拉索/吊杆上安装任何传感器，利用无人机采集拉索振动图像序列，具有操作简单，测试效率高的优点，可以实现城市内部桥梁快速索力测试；3)本发明方法实现复杂背景下城市内部桥梁索力测试，利用深度学习算法，可以精准识别无人机所采集图像中的拉索，消除背景中的直线单元干扰，实现拉索边缘直线匹配，进而可以提取拉索振动位移时程；4)本发明方法通过对相邻3阶频率进行比值分析，可以识别拉索/吊杆索力以及相应的模态频率阶数，有效地消除了测试中无人机自身扰动的影响，可以实现索力的精准测试。

附图说明

图1发明的基于深度学习的复杂背景索力测量方法及其快速测试系统；

图2基于深度学习的拉索识别结果图；

图3拉索振动位移时程图；

图4拉索频率识别结果图；

图5拉索频率模态识别结果图；

图6拉索索力识别结果图。

具体实施方式

为了加深对本发明的认识和理解，以下结合附图和实施方式对本发明作详细说明。

实施例1：如图1所示，本发明提供一种基于无人机平台和深度学习的复杂背景下索力快速测试系统，所述测试系统包括图像拍摄装置、数据采集系统和数据分析系统，其中图像拍摄装置设置为无人机，通过机载相机获取环境振动下斜拉索/吊索的运动图像序列，并通过数据采集系统采集所拍摄的图像，存储为图像序列文件；所述的数据分析系统包含图像预处理模块、位移计算模块、频率识别模块和索力计算模块四部分，首先，对图像序列选择计算区域并分割成1024*1024像素大小的图片序列a，利用神经网络对图片序列a进行识别，对拉索和背景进行不同标记，并输出保存为相同尺寸的图片序列b，然后对两组图片序列同时进行直线检测，并利用图片序列b的检测结果对图片序列a检测结果进行匹配，进而提取精确的拉索振动位移时程，对其进行傅里叶频谱分析，可以得到相邻的3阶模态频率，最后，利用高阶频率差与索力的关系，计算得到斜拉索/吊杆索力。

实施例2：参见图1-图6，本发明提供一种基于无人机平台和深度学习的复杂背景下索力快速测试方法，所述方法包括如下步骤：

1)图像采集：利用图像拍摄装置获取斜拉索/吊索在环境振动下的运动图像序列，数据采集系统采集斜拉索/吊索的运动图像并保存采集的图像序列文件；

2)图像预处理：利用深度学习网络对采集图像进行预处理分为深度学习网络训练和调用两部分；其中，深度学习网络训练首先采集大量拉索的图片，包括不同复杂背景下拍摄的拉索图片，并对图片内容进行人为标记，将其分为拉索和背景两类，构建数据库。利用所构建的数据库对搭建的深度学习网络进行训练并保存训练结果。

后续索力测试中，对无人机所采集的视频进行处理，提取每帧所对应的图片，同时分割出需要的1024*1024像素大小的感兴趣区域并保存为图片序列a。将图片序列a放进提前训练好的深度学习网络进行检测，得到同样大小的去除背景后的图片并保存为图像序列b。

3)位移计算：结合采集图片与拉索识别图片，利用直线检测算法获取选定计算区域内吊索的运动位移时程.

选定计算区域，同时对图片序列a以及图像序列b中的计算区域进行直线检测，检测出所包含的直线单元。对图片序列a的检测结果中除了拉索边缘对应的直线还有背景中的边缘对应的直线以及拉索自身纹理对应的直线，而对图像序列b检测的结果中的直线仅为拉索边缘对应的直线。

由于深度学习网络进行拉索识别时的精度为像素级别，而计算拉索位移需要亚像素的精度，因此，不能直接提取识别拉索图检测结果的直线坐标作为拉索振动位移时程。本发明通过计算图像序列b中检测的直线与图片序列a中检测的直线的重合度δl，对图片序列a检测结果中的直线单元进行筛选，进而提取拉索边缘对应的直线单元。

式中，δl为定义的拉索重合度；i，j分别为图片序列a检测的直线和图片序列b检测直线的编号；x1，x2分别表示直线上下端点的横坐标。

进而，通过提取图片序列a检测结果中拉索边缘直线的坐标，可以得到拉索振动位移时程。

4)吊索频率识别：对位移时程进行频谱分析，并提取频谱中高阶部分相邻3阶频率。

5)索力计算：基于振动法，利用高阶模态频率差与索振动基频之间的关系来间接计算斜拉索/吊杆的索力。

无人机采集图像基频受到无人机悬停时自身振动的影响，不能准确识别，因此，如下推导只考虑模态阶数大于1的情况，考虑抗弯刚度和垂度的非线性振动模型计算，可以得到：

式中：为实际测量的拉索振动频率；ε为与拉索刚度相关的参数,表示为t为拉索张力；m为索单位长度的质量；l为索的长度；n为模态阶数。

根据公式(2a)可以进一步得到第n+1阶模态频率为：

由公式(2a)和(2b)联立可得拉索相邻两阶频率的比值为：

将代入公式(3)，并化简得到：

式中：c1,c1,c1均为常数，其表达式分别为

对公式(4)两边取对数，得到：

同理，可得n+2与n+1阶识别固有频率的比值表达式,即：

公式(5)中，频率比值能够从无人机采集图像中分析得到，c1,c1,c1均为已知常数，因此，它是关于索力和模态阶数的非线性方程，通过求解公式(5)，便可以得到由傅里叶频谱任意相邻三阶频率比值计算的拉索索力值和模态阶数。

应用实施例1：参见图1-图6，

下面利用一个实验案例来说明所提议的基于无人机平台和深度学习的复杂背景下索力快速测试方法及系统的具体实施步骤。

步骤1：图像采集，利用无人机机载相机拍摄拉索振动图像序列，像素分辨率为4096×2160，采样频率为60hz,为了验证本方法的适用性，本次实验中在拉索上安装了加速度计用来测量拉索振动频率。

步骤2：图像预处理，在采集的图像中选择感兴趣的区域作为计算区域，并对图片进行分割，将计算区域保存为图片序列a，并利用训练好的神经网络，对图片序列a中的拉索进行识别，对拉索和背景采用不同颜色标记，输出保存为图片序列b。图2为预处理结果，可以看出，所提出方法可以很好地实现拉索检测。

步骤3：位移计算，对步骤2中得到的图片序列a和图片序列b同时进行直线检测，图像序列b的检测结果仅包含拉索边缘对应直线，图片序列a的检测结果中除了拉索边缘对应的直线单元，还有背景中存在的直线单元，利用图片序列b的检测结果对图片序列a的检测结果进行筛选，进而可以提取拉索振动时程位移曲线(如图3所示)。

步骤4：拉索频率识别，如图4所示，对步骤3中得到的拉索振动位移时程曲线进行傅里叶频谱分析，从频谱中可以提取相邻的3阶模态频率。

步骤5：索力计算，利用高阶频率差和拉索索力的关系，可以计算得到拉索的索力以及所识别的频率对应的模态阶数，将索力计算值与加速度计测量结果进行比较，图5为模态识别结果，图6为索力识别结果，可以看出所计算得到的索力与真实值吻合较好，两者的相对误差小于5％，满足工程精度要求，验证了发明方法计算斜拉索/吊杆索力的有效性和准确性。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。