一种基于稀疏点输入的邻域图像立体匹配重建方法

1.本发明涉及三维重建技术领域，特别涉及一种基于稀疏点输入的邻域图像立体匹配重建方法。


背景技术：

2.三维重建在军工测量、无人驾驶系统、智能机器人、医学诊断、数字城市建模、体感娱乐等方面被广泛的应用。邻域图像立体匹配是一种属于三维重建技术的端到端的学习方法，该方法引入迭代邻域图像的多尺度匹配，并且通过稀疏点的初始化来自适应传播，具有匹配速度快，稳定性高的特点。此外，为了后续点云融合的效果，对匹配的深度图进行优化是非常必要的。为了在更好的稠密重建中得到有效的深度信息，现有的多视图立体匹配重建方法中，大多是采用特征提取网络来提取图像的特征来作为输入和构建成本代价聚合来得到稠密的深度图，但计算过程耗时多并且精度较低。
3.中国专利公开号为“cn113066168a”，名称为“一种多视图立体网络三维重建方法及系统”，该方法首先获取待重建目标物体的参考图像以及多幅实际拍摄图像；接着，利用多尺度特征提取模块提取多幅实际拍摄图像的特征；然后，通过正则化操作，在粗略阶段采用固定深度间隔对深度图进行划分，在细化阶段利用深度预测的不确定性确定自适应间隔；最后，根据两阶段的深度预测区间通过级联深度架构推断出与参考图像分辨率相同的最终深度图，进而将深度图过滤融合成稠密的三维点云并重建；该方法采用的是特征网络提取特征图的方式，不仅内存占用较大，训练时间长，而且重建的精度也较低。
4.为此，如何提供一种耗时少、精度高的基于稀疏点输入的邻域图像立体匹配重建方法是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提出了一种基于稀疏点输入的邻域图像立体匹配重建方法。使得到的深度图，更加平滑完整，对后续的点云融合具有更好的重建效果，更符合物体的细节观察，同时本发明采用的是邻域图像贴片的学习方法，实现过程简单，处理时间更少，重建后的精度更高。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种基于稀疏点输入的邻域图像立体匹配重建方法，包括：
8.步骤(1)：构建包括自适应传播模块、可微变换模块、邻域图像贴图模块的网络模型；可微变换模块对源图像特征进行扭转，与稀疏点共同输入至邻域图像贴图模块，邻域图像贴图模块将稀疏点作为参考，通过邻域帧的图像信息对特征点进行修补贴图，得到初始深度图，回归至自适应传播模块，自适应传播模块对回归的初始深度图阶段分析，输入至可微变换模块进行扭转。
9.步骤(2)：将源图像与稀疏点作为网络模型的输入进行迭代回归训练，并通过损失函数对训练结果进行优化与比较，直至训练次数达到设定阈值或损失函数的值到达设定范
围内。
10.步骤(3)：将待测集输入至训练好的网络模型中，得到三维点云，进行融合匹配重建。
11.可选的，步骤(1)中，自适应传播模块由一个卷积层和一个正则化层构成，用于自适应的在人为搭建的神经网络中传播，自适应传播模块从同一个表面收集回归深度图，在收集回归深度图的过程中，自适应传播模块学习二维偏移量来固定网格，通过卷积得到回归深度图的特征点信息并进行正则化操作来降低复杂度，最后与源视图整合输入至所述可微变换模块。
12.可选的，步骤(1)中，可微变换模块由四个卷积层和一个s型激活函数构成，用于将源图像特征进行扭转，通过卷积二、卷积三、卷积四网络将源视图中标定好的相机内参，来计算与回归深度图的特征点信息所对应的三维像素点；卷积一则是计算与回归深度图的特征点信息所对应的二维像素点，并一起经过s型激活函数使网络的训练趋于稳定，最后通过特征点的整合并利用得到的稀疏点映射到邻域图像贴图模块。
13.可选的，步骤(1)中，邻域图像贴图模块由六个卷积层、两个正则化层和两个s型激活函数构成，该过程分为两路完成，且操作相同，目的是为了信息的更好迭代，卷积一和卷积二将得到的深度信息简单的拉直处理；卷积三和卷积四与得到的稀疏点进行邻域贴图，每次的贴补由稀疏点和深度值进行相似对比，倘若相似值的误差范围较小则考虑贴补成功，反之则考虑贴补失败并去掉相似点；卷积五和卷积六则是对贴补操作的整合去掉冗余的信息，并将卷积三和卷积四的输出相乘，最后通过拼接操作整合到一起；正则化层和激活函数则是为了使网络的训练过程处于平衡的状态，最终得到初始深度图。
14.可选的，正则化层函数的表达式，如下：
[0015][0016]
其中，x和y分别为训练样本和对应标签；ω为权重系数向量；j(.)为目标函数；ω(ω)为惩罚项；α为控制正则化强弱，进而控制模型复杂度，减小过拟合的参数。
[0017]
可选的，s型激活函数的表达式，如下：
[0018][0019]
可选的，步骤(2)中，稀疏点为通过由源图像、深度图真值、相机内外参数构成的dtu数据集随机采集的有用特征点。
[0020]
可选的，步骤(2)中，损失函数由光度相似性损失和鲁棒回归损失组成。
[0021]
可选的，光度相似性损失表达式，如下：
[0022][0023][0024]
l
bs
＝(1-β)l
smooth1
+βl
smooth2
；
[0025]
其中，为垂直于x平面的法向量梯度，为垂直于y平面的法向量梯度，并且均为连续的，x和y同为图像的像素点；β为相似性系数；l
smooth1
和l
smooth2
为稀疏点的相似性损失一和相似性损失二；l
bs
为光度相似性损失。
[0026]
可选的，鲁棒回归损失表达式，如下：
[0027][0028]
其中，当δ趋近于0时，lh收敛于0；当δ趋近于无穷时，lh收敛于(x-y)2；lh的平均绝对误差段的斜率为δ；x和y同为图像的像素点；δ为函数参数；lh为鲁棒回归损失；参数β，默认为1。
[0029]
经由上述的技术方案可知，与现有技术相比，本发明提出了一种基于稀疏点输入的邻域图像立体匹配重建方法。通过使用稀疏点来作为训练网络的输入，这大大减少了特征提取网络的运算量，将稀疏点对应像素反向投影的三维点，回归到三维世界中实际相遇的位置，增强网络的鲁棒性，且计算后的平滑深度图使得点云匹配重建的完整性较高，效果也更好；在骨干网络中使用邻域图像贴图的操作，改变了原多视图立体匹配中构建成本体积的方法，有效的解决深度信息的冗余，在提高效率的基础上，提高了匹配网络的精度；整个训练网络在邻域贴图网络上使用拼接操作，将有效深度信息进行混叠，使得网络对于两种不同深度图像的计算损失能力更强；在损失函数采用鲁棒回归损失，去掉了参数的冗余量，使得训练的网络鲁棒性更高，重建的精度更高。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0031]
图1为本发明的方法流程示意图。
[0032]
图2为本发明的网络结构示意图。
[0033]
图3为本发明自适应传播模块的结构示意图。
[0034]
图4为本发明可微变换模块的结构示意图。
[0035]
图5为本发明邻域图像贴图模块的结构示意图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
实施例1：
[0038]
本发明实施例1公开了一种基于稀疏点输入的邻域图像立体匹配重建方法，如图1所示，包括：
[0039]
步骤(1)：构建包括自适应传播模块、可微变换模块、邻域图像贴图模块的网络模
型；可微变换模块对源图像特征进行扭转，与稀疏点共同输入至邻域图像贴图模块，邻域图像贴图模块将稀疏点作为参考，通过邻域帧的图像信息对特征点进行修补贴图，得到初始深度图，回归至自适应传播模块，自适应传播模块对回归的初始深度图阶段分析，输入至可微变换模块进行扭转。
[0040]
如图3所示，自适应传播模块由一个卷积层和一个正则化层构成，卷积核大小为3
×
3，步长为1，填充为2，用于对回归的初始深度图阶段分析，将比较与优化后的结果取并集，输入至可微变换模块，具体为：用于自适应的在人为搭建的神经网络中传播，自适应传播模块从同一个表面收集回归深度图，在收集回归深度图的过程中，自适应传播模块学习二维偏移量来固定网格，通过卷积得到回归深度图的特征点信息并进行正则化操作来降低复杂度，最后与源视图整合输入至所述可微变换模块。
[0041]
如图4所示，可微变换模块由四个卷积层和一个s型激活函数构成，卷积层一为二维卷积卷积核大小为3
×
3，步长为1，填充为2，卷积层二、三、四均为三维卷积，卷积核大小为1
×1×
1，步长均为1，均无填充，用于对输入的源图像特征进行扭转，映射到邻域图像贴图模块，具体为：可微变换模块由四个卷积层和一个s型激活函数构成，用于将源图像特征进行扭转，通过卷积二、卷积三、卷积四网络将源视图中标定好的相机内参，来计算与回归深度图的特征点信息所对应的三维像素点；卷积一则是计算与回归深度图的特征点信息所对应的二维像素点，并一起经过s型激活函数使网络的训练趋于稳定，最后通过特征点的整合并利用得到的稀疏点映射到邻域图像贴图模块。
[0042]
如图5所示，邻域图像贴图模块由六个卷积层、两个正则化层和两个s型激活函数构成，卷积层一和卷积层二均为二维卷积，卷积核大小为3
×
3，步长为1，填充为2，卷积层三、四、五、六均为三维卷积，卷积核大小均为1
×1×
1，步长均为1，均无填充，用于将稀疏点作为参考，通过邻域帧的图像信息对特征点进行修补贴图，得到初始深度图，有效的解决深度信息的冗余，在提高效率的基础上，提高了匹配网络的精度，具体为：分为两路完成，且操作相同，目的是为了信息的更好迭代，卷积一和卷积二将得到的深度信息简单的拉直处理；卷积三和卷积四与得到的稀疏点进行邻域贴图，每次的贴补由稀疏点和深度值进行相似对比，倘若相似值的误差范围较小则考虑贴补成功，反之则考虑贴补失败并去掉相似点；卷积五和卷积六则是对贴补操作的整合去掉冗余的信息，并将卷积三和卷积四的输出相乘，最后通过拼接操作整合到一起；正则化层和激活函数则是为了使网络的训练过程处于平衡的状态，最终得到初始深度图。
[0043]
网络中拼接的维度为1，最大池化的池化域为2
×
2。
[0044]
正则化层函数的表达式，如下：
[0045][0046]
其中，x和y分别为训练样本和对应标签；ω为权重系数向量；j(.)为目标函数；ω(ω)为惩罚项；α为控制正则化强弱，进而控制模型复杂度，减小过拟合的参数。
[0047]
s型激活函数的表达式，如下：
[0048][0049]
步骤(2)：将源图像与稀疏点作为网络模型的输入进行迭代回归训练，得到初始深
度图，并通过损失函数对初始深度图进行优化与比较，将比较与优化的结果取并集，得到更加平滑的稠密深度图，进而达到较好的匹配重建效果，直至训练次数达到设定阈值或损失函数的值到达设定范围内，训练完成，保存模型参数。
[0050]
其中，设定训练次数阈值为16，每次输入到网络图片数量大小的上限主要是根据计算机图形处理器性能决定，一般每次输入到网络图片数量在1-4区间内，可以使网络训练更加稳定，训练结果更好，保证网络快速拟合。稀疏点选取的个数为0.05
×h×
w，h为图像高度，w为图像宽度，选取方式为随机采样的方式。此外，根据已给定相机参数中的最大深度值和最小深度值来设定四个角点的坐标，在选取的过程中，加一点随机噪声来增强图像的稳定性。训练过程中，参数的学习率为0.001，既能保证网络快速拟合，而不会导致网络过拟合。参数优化器的算法选择自适应矩阵估计算法，其优点主要在于经过偏置校正后，每一次迭代的学习率都有个确定范围，使得参数比较平稳。损失函数的阈值设定为0.0003左右，小于0.0003就可以认为整个网络的训练已基本完成。
[0051]
稀疏点为通过由源图像、深度图帧值、相机内外参数构成的dtu数据集随机采集的有用特征点。
[0052]
源图像由124个不同的物体或场景组成，每个物体共拍摄49个视角，每个视角共有7种不同的亮度，因此，每个物体或场景文件夹内部共有343个图片，且还带有与源图像对应的深度图帧值的训练影像集。每张影像的分辨率为1600
×
1200。其中，对于数据集是没有稀疏点的，因此本发明直接从地表帧值上直接选取稀疏点，选取点的个数为0.05
×h×
w，h为图像高度，w为图像宽度，选取方式为随机采样的方式。此外，根据已给定相机参数中的最大深度值和最小深度值来设定四个角点的坐标，在选取的过程中，加一点随机噪声来增强图像的稳定性。
[0053]
损失函数由光度相似性损失和鲁棒回归损失组成。
[0054]
光度相似性损失表达式，如下：
[0055][0056][0057]
l
bs
＝(1-β)l
smooth1
+βl
smooth2
；
[0058]
其中，为垂直于x平面的法向量梯度，为垂直于y平面的法向量梯度，并且均为连续的，x和y同为图像的像素点；β为相似性系数；l
smooth1
和l
smooth2
为稀疏点的相似性损失一和相似性损失二；l
bs
为光度相似性损失。
[0059]
鲁棒回归损失表达式，如下：
[0060][0061]
其中，当δ趋近于0时，lh收敛于0；当δ趋近于无穷时，lh收敛于(x-y)2；lh的平均绝对误差段的斜率为δ；x和y同为图像的像素点；δ为函数参数；lh为鲁棒回归损失；参数β，默认为1。
[0062]
根据以上的两个损失函数可以构建出总体带有权重的损失函数，如下：
[0063]
l＝λ1l
bs
+λ2l
δ
；
[0064]
其中，权重经过大量对比和多次试验可赋值为：λ1＝0.4，λ2＝0.45。
[0065]
步骤(3)：将待测集(可为tank&temples数据集以及eth3d数据集)输入至训练好的网络模型中，得到三维点云，进行融合，运用meshlab软件查看融合后的匹配重建效果。
[0066]
如图2所示，为本发明的网络整体结构图。
[0067]
本发明实施例通过构建一种输入为稀疏点的邻域图像立体匹配网络，利用稀疏点和源图像作为输入，直接得到深度图并融合成点云，不再经过中间其他步骤，避免了传统方法中人工手动设计立体匹配的算法。通过计算与现有技术得到深度图的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比，如表1所示。
[0068]
表1现有技术和本发明提出方法的相关指标对比
[0069][0070]
上述方法，稀疏点的输入为数据集随机采取，应用的也更加广泛，此外图像贴图网络为本发明的重要实现功能。
[0071]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0072]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。