一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法与流程

本发明涉及土木工程健康监测与防灾减灾领域，具体涉及一种大跨度桥梁拓扑感知三维重建方法。
背景技术：
：随着无人机的高速发展，其在工业领域的应用范围越来越广。无人机可以携带各种传感器，如数码相机、红外相机、激光扫描仪(lidar)等，可以探测人类本身无法到达的区域，因此在土木结构视觉健康监测系统中发挥越来越重要的作用，例如无人机搭载的数码相机可以捕捉结构不同角度的图像，并记录结构的外部状态。然而，目前的视觉监测系统提供了大量的时间上和空间上无序的数字图像，需要大量的人力来过滤和管理以供进一步使用，如何完全自动化这一任务的问题变得迫切需要解决。一种可行的解决方案是将这些图像集成到目标结构的三维模型上，使监测巡检人员能够更加直观地对这些图像进行处理，并通过记录和可视化整个结构的生命周期，提供更好的视觉监测方案。然而，现有的三维模型都是基于设计图纸的设计三维模型，与现有的实际结构存在一定的差异，并且无法表达结构的目前外部状态，故唯一可行的解决方案是对结构进行现场扫描和三维重建。现有的基于图像的三维重建算法局限于使用特征点(关键点)的识别和匹配，侧重于生成三维点云。点云在实践中很少直接使用，因为它们实际上是非结构化的点集，并且无法进行纹理映射。在三维点云的基础上，实际工程中使用基于点云的表面重建算法生成多边形网格表面，或使用基于拟合的点云建模算法生成参数化几何模型。这些方法在曼哈顿世界的假设下，在建筑三维重建领域取得了很大的成功。但是当试图将这些方法迁移到具有复杂拓扑结构和构件关系的结构上时，如钢桁架和大跨度桥梁等，往往会失败，这是由于点云通常分布不均匀，带有噪声，并受到遮挡和不完整的影响，这对现有的算法提出了巨大的挑战，从这些高度非结构化的点云中用上述提到的自底向上的建模方法，难以恢复出满足要求的三维模型。实际生产中，这些结构往往使用人工建模的方法，但人工建模需要消耗大量的人力、物力、财力，并且建模的质量由于建模者的水平因素而参差不齐，如何自动化这些结构的建模程序，是一个亟待研究的问题。技术实现要素：本发明的目的是为了解决现有技术在大跨度桥梁的自动化基于图像三维重建失效，仍需要人工建模和人工干预的问题，而提出了一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法。本发明所述一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法，包括以下步骤：步骤一、建立大跨度桥梁的cad数据集，该数据集包含多类型大跨度桥梁的三维模型、结构划分关系、构件几何参数、多视角渲染图像以及不同密度的三维点云；步骤二、建立基于计算机视觉和深度学习的三维重建网络，该网络能够从多视角渲染图像和三维点云中学习大跨度桥梁的参数化三维模型；步骤三、利用步骤一中所建立的数据集对步骤二中所述三维重建网络进行训练，得到训练好的模型，训练过程中使用多约束损失函数；步骤四、将待重建桥梁的图像和点云输入到步骤三中所述训练所好的模型，得到参数化三维重建结果。本发明的有益效果为：本发明所涉及的一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法，针对大跨度桥梁参数化三维重建问题，实现了基于无人机影像的大跨桥梁参数化拓扑感知三维重建。该方法便捷、准确、高效，整个三维重建过程为自动化处理，无需人工干预。该算法相比传统算法，可以直接获取桥梁的结构划分关系以及构件的几何参数，重建过程的算法速度快，在一分钟以下，对比人工建模动辄十小时以上，可以大大提升大跨桥梁三维重建的效率。该方法基于图像对大跨桥梁进行参数化三维建模，为后续的结构健康视觉监测系统提供了支撑。附图说明图1为本发明方法的流程图；图2为本发明步骤一中的结构划分关系的标注示意图；图3为本发明步骤二的流程示意图；roi表示感兴趣区域；图4为本发明实施例中第一个三维重建结果图；图5为本发明实施例中第二个三维重建结果图。具体实施方式具体实施方式一：结合图1对本实施方式进行说明，本实施方式给出的一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法，具体包括以下步骤：步骤一、建立大跨度桥梁的cad数据集，该数据集包含多类型大跨度桥梁的三维模型、结构划分关系、构件几何参数、多视角渲染图像以及不同密度的三维点云等；步骤二、建立基于计算机视觉和深度学习的三维重建网络，该网络能够从多视角渲染图像和三维点云中学习大跨度桥梁的参数化三维模型；步骤三、利用步骤一中所建立的数据集对步骤二中所述三维重建网络进行训练，得到训练好的模型，训练过程中使用多约束损失函数，并使用指数退化的学习速率。步骤四、将待重建桥梁的图像和点云输入到步骤三中所述训练所好的模型，得到参数化三维重建结果。具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一具体包括以下过程：步骤一一、将桥梁的cad三维模型进行拓扑多样性的数据增强，并进行构件级别的操纵和修改，包括增加斜拉索和桁架的个数、改变桥塔的形态和位置、由单塔桥变为多塔桥等，在现有数据集的基础上大大增加数据的数量和多样性；步骤一二、对经过步骤一一操纵和修改后的三维模型分别进行以下操作：采用二叉树进行标注结构划分关系，如图2所示。其中，结构的层级划分采用二叉树实现，同种构件间的相似关系及布局排列关系位于相似节点中，每个基本构件的几何参数位于形状节点中。整个桥梁三维模型由基本构件和它们的布局排列关系组成。使用多光照条件(例如光照类型、光照强度和光照方向等)、多视角渲染、随机背景(例如随机高斯噪声背景，随机风景背景等)来增强其多样性，得到二维多视角渲染图像；采用非均匀随机采样生成三维点云，用来模拟实际扫描中的不均匀分布，并添加随机高斯函数噪声，用以模拟实际扫描中的噪声问题。其他步骤及参数与具体实施方式一相同。具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤二中采用编码-解码的形式建立所述基于计算机视觉和深度学习的三维重建网络；如图3所示。所述三维重建网络的编码部分为多分支网络，以多视角渲染图像和三维点云作为输入；图像分支网络采用多视角卷积神经网络，用于提取图像的细粒度特征；点云分支网络用于提取点云的粗粒度三维层面特征；三维重建网络的中间层用于融合图像特征和点云特征；该三维重建网络的解码部分采用递归神经网络，将融合后的特征解码为桥梁构件的拓扑关系和构件几何参数。其他步骤及参数与具体实施方式一或二相同。具体实施方式四：本实施方式与具体实施方式三不同的是，所述三维重建网络包括特征融合层、节点分类器、分裂节点、相似节点以及形状节点；节点分类器所在网络层及其参数为：l0层：输入特征尺寸为128；执行全连接操作，全连接尺寸为128×20；l1层：输入特征尺寸为20；执行激活层操作；l2层：输入特征尺寸为20；执行全连接操作，全连接尺寸为20×3；l3层：输入特征尺寸为3；执行分类层操作；分裂节点所在网络层及其参数为：l0层：输入特征尺寸为128；执行全连接操作，全连接尺寸为128×181；l1层：输入特征尺寸为181；执行激活层操作；l2层：输入特征尺寸为181；执行全连接操作，全连接尺寸为181×256；l3层：输出特征尺寸为128+128；相似节点所在网络层及其参数为：l0层：输入特征尺寸为128；执行全连接操作，全连接尺寸为128×136；l1层：输入特征尺寸为136；执行激活层操作；l2层：输入特征尺寸为136；执行全连接操作，全连接尺寸为136×144；l3层：输出特征尺寸为128+16；形状节点(仅列出无向距离场部分)所在网络层及其参数为：l0层：输入特征尺寸为128；执行全连接操作，全连接尺寸为128×64，数量为512；l1层：输入特征尺寸为64×512；执行激活层操作；l2层：输入特征尺寸为64×512；执行重组操作；l3层：输入特征尺寸为4×4×4×512；执行微步卷积操作，卷积核尺寸为4×4×4×512，数量为256，孔尺寸为1，步距为1，补零为2；l4层：输入特征尺寸为8×8×8×256；执行激活层操作；l5层：输入特征尺寸为8×8×8×256；执行微步卷积操作，卷积核尺寸为4×4×4×256，数量为128，孔尺寸为1，步距为1，补零为2；l6层：输入特征尺寸为16×16×16×128；执行激活层操作；l7层：输入特征尺寸为16×16×16×128；执行微步卷积操作，卷积核尺寸为4×4×4×128，数量为64，孔尺寸为1，步距为1，补零为2；l8层：输入特征尺寸为32×32×32×64；执行激活层操作；l9层：输入特征尺寸为32×32×32×64；执行微步卷积操作，卷积核尺寸为4×4×4×64，数量为1，孔尺寸为1，步距为1，补零为2；l10层：输入特征尺寸为64×64×64×1；执行激活层操作；l11层：输出尺寸为64×64×64。其他步骤及参数与具体实施方式三相同。具体实施方式五：本实施方式与具体实施方式四不同的是，步骤三中所述多约束损失函数具体为：l＝λclslcls+λshapelshape+λsimlsim(1)其中，pi(x)∈{0,1}为所有n个节点中第i节点的事件集合中事件的真值概率，qi(x)∈(0,1]为所有n个节点中第i节点的事件集合中事件的真值概率和预测概率；i＝1,…,n；事件的含义是，如果当前节点是第一个类型的节点，那么pi(x)为0或1，qi(x)则为预测出的三维向量中的第一个值；和分别表示第i个形状节点真实的和预测出的三维形状(用三角形网格表示)，v1为中的节点，v2为中的节点，v1、m1是中的节点数量，m2是中的节点数量；是第i个相似节点真实的相似参数，是第i个相似节点预测出的相似参数，λcls、λshape、λsim均为权重参数，用以平衡最终损失。其他步骤及参数与具体实施方式四相同。实施例采用以下实施例验证本发明的有益效果：本实施例所述一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法按照以下步骤进行：步骤一、首先将一个桥梁的三维cad模型进行拓扑多样性的数据增强，对现有的数据进行构件级别的操纵和修改，包括增加斜拉索和桁架的个数、改变桥塔的形态和位置、由单塔桥变为多塔桥，然后对操纵和修改后的三维模型分别采用二叉树进行标注结构划分关系，使用多光照条件、多视角渲染、随机背景来增强其多样性，采用非均匀随机采样生成三维点云，并添加随机高斯函数噪声，从而得到大跨度桥梁的cad数据集。步骤二、采用编码-解码的形式建立基于计算机视觉和深度学习的三维重建网络；所述三维重建网络的编码部分为多分支网络，以多视角渲染图像和三维点云作为输入；图像分支网络采用多视角卷积神经网络，用于提取图像的细粒度特征，图像分支网络各层尺寸、操作等参数如表1所示；点云分支网络用于提取点云的粗粒度三维层面特征，点云分支网络各层尺寸、操作等参数如表2所示；三维重建网络的中间层用于融合图像特征和点云特征；该三维重建网络的解码部分采用递归神经网络(解码部分网络各层尺寸、操作等参数如表3所示，解码部分不规则形状解码器各层尺寸、操作等参数如表4所示)；将融合后的特征解码为桥梁构件的拓扑关系和构件几何参数。表1编码部分图像分支网络各层尺寸、操作等参数表2编码部分点云分支网络各层尺寸、操作等参数表3解码部分网络各层尺寸、操作等参数表4解码部分不规则形状解码器各层尺寸、操作等参数层别特征层尺寸操作符操作符尺寸个数空白孔步距补零0128输入-----164×512全连接层128×64512---264×512激活层-----34×4×4×512重组-----48×8×8×256微步卷积4×4×4×51225611258×8×8×256激活层-----616×16×16×128微步卷积4×4×4×256128112716×16×16×128激活层-----832×32×32×64微步卷积4×4×4×12864112932×32×32×64激活层-----1064×64×64×1微步卷积4×4×4×6411121164×64×64×1激活层-----1264×64×64输出-----步骤三、利用步骤一中所建立的数据集对步骤二中所述三维重建网络进行训练，得到训练好的模型，训练过程中使用多约束损失函数；多约束损失函数为：l＝λclslcls+λshapelshape+λsimlsim(1)步骤四、将待重建桥梁的图像和点云输入到步骤三中所述训练所好的模型，得到参数化三维重建结果，如图4和图5所示。本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。当前第1页12