一种多尺度裂缝三维形态反演复现方法

1.本发明涉及混凝土建筑安全评估领域，尤其涉及一种多尺度裂缝三维形态反演复现方法。


背景技术：

2.混凝土作为建筑工程中的重要材料，因其优越的力学性能和耐久性在大坝、桥梁以及隧道等基础设施领域得到广泛的应用。在影响混凝土建筑性能的众多病害类型中，裂缝是最主要、也是最常见的一种病害特征。准确的获取裂缝的各项参数信息是对混凝土结构健康状况做出评估以及对后续维护的依据。
3.早期人工方式是检测裂缝的主要手段，但人工检测裂缝的方式存在众多的缺陷，例如：检测效率低下，桥梁、大坝和隧道建设所在地地形复杂，检测时大多需要脚手架等外部辅助设备，其安装和拆卸过程耗时耗力，并且混凝土建筑一般而言面积大，人工检测效率会很低；检测精度低，人员主动检测裂缝时，眼部易疲劳，会出现裂缝的漏检和错检，并且人眼观察裂缝会受到人自身主观的影响；危险系数高，人员需到混凝土建筑附近进行检测，无法保证人员的安全；所需成本高，混凝土建筑数量多，若要对其进行及时、全面的病害检测，就要使用大量的人力、物力，将会带来巨大的成本消耗；信息化程度低，人工检测记录数据时，主要落实到纸上，甚至有些数据没有被记录在册，纸质化的资料查找困难，不利于对危险建筑的及时修复。随着摄影设备与数字图像技术的发展，基于数字图像处理的裂缝识别技术也得到了的快速的发展，特别是随着深度学习在目标检测领域的快速发展，基于深度学习的混凝土裂缝识别技术也得到了广泛的应用，并大大提升了裂缝识别的精度和速度。但由于地理环境及自然条件的影响，混凝土结构表面裂缝由于其形成机理的不同，存在尺度多样性和形态多样性等特性，从而导致裂缝特征信息增多，造成混凝土结构裂缝特征提取困难，进一步影响裂缝特征提取的准确性。混凝土结构表面的大面积斑迹、麻面、蜂窝孔洞等对裂缝识别造成一定程度的影响，此外，混凝土结构表面禅缝(模板印迹等)、管道、线缆、支架、孔洞、装饰等成像后边缘呈细长状，在成像后容易与裂缝混淆，以及钢结构表面锈蚀也会干扰裂缝识别。同时，图像采集设备的不同以及采集距离、角度、光照等的不同，也进一步影响裂缝识别的精度。而且随着信息技术不断的引入到结构健康智能监测领域中，对混凝土结构多尺度裂缝的识别也提出了更高的要求。近些年来，基于计算机视觉技术的混凝土裂缝识别技术得到了飞速发展，但是该技术仅能够提取裂缝表面信息，例如裂缝长宽、表面二维形态以及裂缝走向，但其无法对裂缝深度等三维信息进行有效的提取。但裂缝深度等三维信息是判定裂缝对结构安全影响程度的关键信息。随着信息技术的不断发展以及结构健康监测要求的提高，单纯的裂缝识别或深度检测已越来越无法满足结构健康监测的要求，需要对裂缝-腔体的整体参数(包括长度、宽度、深度、形态等)进行全面评估，从而为结构安全评估提供更加全面的信息。


技术实现要素：

4.针对现有技术存在的上述不足，本发明的目的在于解决提供一种多尺度裂缝三维形态反演复现方法，能够重构裂缝的三维形态，实现对裂缝的整体参数，例如长度、宽度、深度、形态等进行全面评估，从而为混凝土结构安全评估提供更加全面的信息。
5.为了解决上述技术问题，本发明采用的技术方案是这样的：一种多尺度裂缝三维形态反演复现方法，其特征在于：包括如下步骤：
6.1)获取若干混凝土结构的裂缝的二维图像；
7.2)基于deeplabv3+卷积神经网络提取二维图像的裂缝表面的二维特征信息；
8.3)建立基于deeplabv3+卷积神经网络的裂缝表面二维特征信息与其对应的声波散射信号映射关系；
9.4)根据步骤3)建立的裂缝表面二维特征信息与声波散射信息的关系，由步骤2)获得的二维特征信息得到与其对应的声波散射信号映射关系，利用全波形反演模型，得到裂缝的三维形态。
10.进一步地，步骤2)中，裂缝表面的二维特征信息的提取过程如下：
11.a、数据集预处理：利用标注工具对裂缝二维图像进行标注形成json文件，并将json文件转化为标签图片；将原始裂缝二维图像与其对应的标签图片进行翻转、旋转、裁剪和/或缩放处理，使裂缝二维图像和标签图片数据增强，最终形成裂缝二维图像数据集；
12.b、网络训练：将裂缝二维图像数据集输入到具有高效通道注意力机制的eca模块的deeplabv3+卷积神经网络中，并对其进行训练，直至网络收敛后，得到最终得到裂缝语义分割网络；
13.c、网络预测：将裂缝二维图像输入到训练后的裂缝语义分割网络中，得到裂缝的语义分割图像，即裂缝表面的二维特征信息。
14.进一步地，deeplabv3+卷积神经网络中，eca模块结构对输入进来的数据进行全局平均池化，再通过1d卷积进行学习，最后使用sigmoid函数将值固定到0-1之间，获得输入特征层每一个通道的权值，再将该权值乘上原输入特征层，从而得到eca模块输出数据。
15.进一步地，步骤3)中，二维特征信息与其对应的声波散射信号映射关系获取过程如下：
16.a、利用超声设备检测有限张裂缝二维图像所对应的混凝土实体的声波散射信息；
17.b、将上述有限张裂缝二维图像的裂缝表面的二维特征信息和声波散射信息融合输入形成神经网络的输入特征数据，并输入到多通道深度神经网络中；其中，多通道深度神经网络共有l+1层，其中第0层为多通道输入层，第1到l-1层为模型隐含层，第l层为输出层，相邻层通过前馈权值矩阵连接；
18.c、设置不同的l值来构建网络隐含层，并分别训练模型，获取最优的l值来确定最终的网络结构；
19.d、将其他裂缝二维图像的二维特征信息输入到神经网络中，得到与该二维特征信息对应的声波散射信息。
20.进一步地，步骤4)中，裂缝的三维形态的获取过程如下：
21.(1)初始化裂缝三维形态；
22.(2)根据波动方程计算出当前裂缝三维形态的声波散射信号；
23.(3)根据当前裂缝三维模型的声波散射信号与实际声波散射信号之差得出目标函数；
24.(4)判断目标函数是否收敛，如未收敛，则由l-bfgs算法更新当前裂缝三维形态，重复(2)、(3)、(4)步骤，直至目标函数收敛；
25.(5)输出裂缝三维形态。
26.与现有技术相比，本发明具有如下优点：本方法通过deeplabv3神经网络将裂缝表面信息提取，再结合声波散射技术，结合多通道神经网络建立裂缝表面二维特征与其声波散射信息对应关系，从而得到裂缝二维信息与其声波散射信号的映射关系，再通过对裂缝表面二维特征对应的声波散射信号进行反演，从而得到裂缝的三维形态；从而能够重构裂缝的三维形态，实现对裂缝的整体参数，例如长度、宽度、深度、形态等进行全面评估，从而为混凝土结构安全评估提供更加全面的信息。
附图说明
27.图1为本发明的原理框图。
28.图2为deeplabv3+神经网络结构示意图。
29.图3为eca模块结构的示意图。
30.图4为裂缝表面二维特征提取流程图。
31.图5为多通道神经网络结构图。
32.图6为全波形反演流程图。
具体实施方式
33.下面将结合附图及实施例对本发明作进一步说明。
34.实施例：参见图1-图6，一种多尺度裂缝三维形态反演复现方法，包括如下步骤：
35.1)获取若干混凝土结构的裂缝的二维图像。
36.2)基于deeplabv3+卷积神经网络提取二维图像的裂缝表面的二维特征信息；其提取过程如下：
37.a、数据集预处理：利用标注工具对裂缝二维图像进行标注形成json文件，并将json文件转化为标签图片；将原始裂缝二维图像与其对应的标签图片进行翻转、旋转、裁剪和/或缩放处理，使裂缝二维图像和标签图片数据增强，最终形成裂缝二维图像数据集；
38.b、网络训练：将裂缝二维图像数据集输入到具有高效通道注意力机制的eca模块的deeplabv3+卷积神经网络中，并对其进行训练，直至网络收敛后，得到最终得到裂缝语义分割网络；
39.c、网络预测：将裂缝二维图像输入到训练后的裂缝语义分割网络中，得到裂缝的语义分割图像，即裂缝表面的二维特征信息。
40.其中，deeplabv3+卷积神经网络中，eca模块结构对输入进来的数据进行全局平均池化，再通过1d卷积进行学习，最后使用sigmoid函数将值固定到0-1之间，获得输入特征层每一个通道的权值，再将该权值乘上原输入特征层，从而得到eca模块输出数据。eca模块能够根据每个通道所承载的信息对裂缝分割贡献大小，突出有用的通道，抑制冗余通道信息，有针对性的强化通道信息学习，更加提升模型对裂缝分割效果。
41.本方案中，deeplabv3+以deeplabv3网络模型作为编码器，在其后端级联了一个简单高效的解码器。在编码器部分的空间金字塔池化模块以不同采样率的空洞卷积并行采样,然后将得到的结果拼接到一起，再使用1x1卷积将通道数降低到预期的数值，以达到多个比例捕捉图像的上下文。在经过aspp模块之后，数据包含了丰富的通道信息。eca模块对输入进来的数据进行全局平均池化，再通过1d卷积进行学习，最后使用sigmoid函数将值固定到0-1之间，此时获得了输入特征层每一个通道的权值，这个权值乘上原输入特征层就为eca模块输出数据，它能够根据每个通道所承载的信息对裂缝分割贡献大小，突出有用的通道，抑制冗余通道信息，有针对性的强化通道信息学习，更加提升模型对裂缝分割效果。
42.基于deeplabv3+卷积神经网络的裂缝表面二维特征提取流程图4所示。利用标注工具对裂缝二维图像进行标注，将标注形成的json文件利用代码转化为标签图片。将原始裂缝二维图像与其对应的标签图片进行数据增强，包括翻转、旋转、裁剪等方式，最终形成裂缝二维图像数据集。将裂缝图片数据集输入到添加了高效通道的注意力机制的deeplabv3+网络中，训练裂缝语义分割网络，最终达到此网络收敛，构建起裂缝表面二维信息提取机制。
43.3)建立基于deeplabv3+卷积神经网络的裂缝表面二维特征信息与其对应的声波散射信号映射关系；其具体获取过程如下：
44.a、利用超声设备检测裂缝二维图像所对应的混凝土实体的声波散射信息。
45.b、将裂缝表面的二维特征信息和声波散射信息融合输入形成神经网络的输入特征数据，并输入到多通道深度神经网络中；其中，多通道深度神经网络共有l+1层，其中第0层为多通道输入层，第1到l-1层为模型隐含层，第l层为输出层，相邻层通过前馈权值矩阵连接。
46.c、设置不同的l值来构建网络隐含层，并分别训练模型，获取最优的l值来确定最终的网络结构。
47.d、将裂缝二维图像输入到神经网络中，得到裂缝的声波散射信息。
48.本方案中，多通道深度神经网络(multi-channeldeepneuralnetwork,mcdnn)结构如图5所示。利用超声设备测得裂缝二维图像所对应的混凝土实体的声波散射信息，并将声波散射信息与裂缝表面二维特征通过标准化映射后拼接成神经网络的输入特征数据，输入到多通道神经网络当中，由该神经网络找到裂缝表面二维特征与其声波散射信息的关系。当该神经网络训练收敛时，可由输入裂缝表面二维信息得到该裂缝所对应的声波散射信息。mcdnn总共有l+1层，其中第0层为多通道输入层，第1到l-1层为模型隐含层，第l层为输出层，相邻层通过前馈权值矩阵连接。一般认为，隐含层的层数影响模型的精度，
49.隐含层越多，精度越高，但也使网络复杂化，从而增加网络的训练时间和出现过拟合倾向。在本方法中，将设置不同的l值来构建网络隐含层，并分别训练模型，比较不同模型的精度以及计算效率，选择最优的l值来确定最终的网络结构。
50.根据多通道深度神经网络结构图，结合神经网络计算规则，可以得到：
51.z
l
＝w
lzl-1
+b
l
,l＝1,2,
…
,l(1)；
52.h
l
＝f
l
(z
l
)(2)；
53.其中为第1层到第l-1层的权重矩阵，为第1层的偏置向量。z
l
为特征数据层单元。h
l
为每层的输出向量，f
l
为第l层的激活函数。本项目拟采用relu函数作
为各层的激活函数，形式如下：
[0054][0055]
其中λ为样本收敛阈值。综合上述过程，训练样本的特征x首先进入输入层，然后沿多通道深度神经网络进行前向传播。为方便起见，将mcdnn的参数记为θ＝{w
l
,b
l
|l＝1,2,
…
,l}，训练样本集的特征记为对应的标签记为ζ＝{ri|i＝1,2,
…
,s}。则训练集上的损失函数为
[0056][0057]
e(θ,xi,ri)为训练样本xi对应的均方误差损失函数，神经网络训练的目的则是最小化该均方误差函数。因此，为保证网络训练的精度以及计算效率，本项目拟采用小批量梯度下降法(mini-batch gradient descent,mbgd)来求解上述误差损失函数的最小化问题。在每次迭代中，mbgd从训练样本中随机选取少量样本组成mini-batch，同时计算这些少量样本对应的梯度，并利用这些梯度信息进行模型参数的更新。mbgd相比于批量梯度下降(batch gradient descent，bgd)和随机梯度下降法(stochastic gradient descent，sgd)来说具有更快的收敛速度，从而在一定程度上提高mcdnn的训练速度。
[0058]
4)根据步骤3)建立的裂缝表面二维特征信息与声波散射信息的关系，由步骤2)获得的二维特征信息得到与其对应的声波散射信号映射关系，利用全波形反演模型，得到裂缝的三维形态；其具体获取过程如下：
[0059]
(1)构建三维模型，初始化裂缝三维形态；
[0060]
(2)根据波动方程计算出当前裂缝三维形态的声波散射信号，即通过预测模型产生当前裂缝三维形态的声波散射信号；
[0061]
(3)根据当前裂缝三维模型的声波散射信号与实际声波散射信号之差得出目标函数；
[0062]
(4)判断目标函数是否收敛，如未收敛，则由l-bfgs算法更新当前裂缝三维形态，重复(2)、(3)、(4)步骤，直至目标函数收敛(裂缝三维模型的声波散射信号与实际声波散射信号相同)；
[0063]
(5)输出fwi反演模型，即最终输出裂缝三维形态。
[0064]
具体地，步骤2可得裂缝表面二维信息，步骤3由裂缝的表面信息得出对映裂缝的超声散射信息。通过所得的超声散射信息，运用全波形反演(fwi)，可得出裂缝的三维形态。全波形反演算法的任务是通过迭代优化方法逐渐缩小观测数据和计算数据之间失配函数值。
[0065]
在二维或三维介质中，施加声波引起的压力波在t秒时间跨度内的传播是由声波方程模拟的,如下:
[0066][0067]
其中u表示声场，v
p
表示声速，fs表示点源超声脉冲。
[0068]
定义目标函数:
[0069][0070]
其中ω为有效模拟区，m为迭代模型，t为一个时间步长，为在xi处的t时间内的超声信息，u(m；x,t)为迭代模型在xi处的t时间内的超声信息。
[0071]
采用l-bfgs优化方法求解目标函数j(m)。模型参数m通过下式实现更新：
[0072][0073]
中，α为步长，δm为摄动量(或模型参数增量)。
[0074]
bfgs公式：
[0075][0076]
其中，s＝m
k+1-mk为模型参数矢量增量，s＝m
k+1-mky＝g(m
k+1
)-g(mk)为梯度矢量增量。因此逆hessian矩阵为：
[0077][0078]
为了减少s和y的数量，nocedal发展了l-bfgs方法，定义l为储存极限，令，优化过程中，为了稳定计算过程，需要满足wolfe条件：
[0079]
j(mk+λ
kdk
)≤j(mk)+μλ
kg*dk
(10)；
[0080]
|g(mk+λ
kdk
)
*dk
|≥v|g(mk)
*dk
|(11)。
[0081]
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。