一种基于多视光学卫星影像的地表稠密三维重建方法

本发明涉及三维重建的，尤其涉及一种基于多视光学卫星影像的地表稠密三维重建方法。

背景技术：

1、地表信息是土地规划管理中最重要的组成部分之一，城市三维建模和规划、土地变化检测、森林管理等应用的基础是良好的三维地形数据。

2、近来年，一些基于深度学习方法在近距离场景下的多视图三维重建，其结果准确度和效率取得了显著成果的同时仍拥有巨大的潜力，其主要应用于地面基准数据集和多视航空影像中，其中，2021年gao提出了一种新的satmvs神经网络模型，首次使用可微有理多项式模型(rpc)映射来替换以往对rpc参数拟合至针孔相机以适应多视卫星影像模型的操作，该方式降低了投影误差，提高卫星影像的重建精度，然而与近地数据相比，卫星影像具有光照条件差、场景复杂度高、高程间隔大等特点，因此直接将已有的网络应用到大范围卫星影像三维重建中，会面临重建结果精度较低，完整度较低等问题，无法达到与近地数据相同的效果，尤其是在高程范围相差较大的区域，satmvs在重建卫星数据中复杂场景地形表现较好，但其精度和完整度仍有待提升。

技术实现思路

1、本发明提供了一种基于多视光学卫星影像的地表稠密三维重建方法，能够提取有效特征信息以及迭代优化高程，从而实现对地面较复杂区域和高程相差较大区域的dsm稠密重建。

2、本发明可通过以下技术方案实现：

3、一种基于多视光学卫星影像的地表稠密三维重建方法，包括以下步骤：

4、步骤一、构建多视图卫星影像数据集；

5、步骤二、建立重建网络模型

6、所述重建网络模型包括特征提取模块和高程预测模块，所述特征提取模块先后经过特征金字塔网络fpn、dcn可变型卷积操作和注意力机制处理，提取不同尺度下的局部特征和全局特征，以得到不同尺度的特征体；

7、所述高程预测模块按照尺度由小到大的顺序分别对不同的特征体进行可微rpc映射处理，再结合参考影像的上下文特征进行正则化处理，并且将小尺度特征体的正则化处理结果参与大尺度特征体的可微rpc映射处理，以最大尺度特征体的正则化处理结果作为最终结果；

8、步骤三、利用多视图卫星影像数据集对重建网络模型进行训练，再使用训练好的重建网络模型对新的多视光学卫星影像进行三维重建。

9、进一步，所述高程预测模块包括可微rpc映射模块、顺序正则化模块和迭代正则化模块，按照尺度由小到大的顺序先利用可微rpc映射模块分别对不同的特征体进行可微rpc映射处理，再利用顺序正则化模块进行正则化处理，然后结合参考影像的上下文特征利用迭代正则化模块进行多次迭代正则化处理，并且将小尺度特征体的最后一次迭代正则化处理结果参与大尺度特征体的可微rpc映射处理，但是对于最大尺度特征体，仅经过可微rpc映射模块和顺序正则化模块处理，

10、并且将每次正则化的输出结果参与损失计算，以反向传播优化重建网络模型的参数。

11、进一步，所述可微rpc映射模块用于在给定高程值范围内，将资源影像对应的当前尺度特征体映射到参考影像对应的当前尺度参考视角下以构建不同的当前尺度代价体，再将这些当前尺度代价体经过方差聚合处理获得一个当前尺度成本代价体；

12、所述顺序正则化模块用于对当前尺度成本代价体进行正则化处理，获得当前尺度初始高程图；

13、所述迭代正则化模块先对当前尺度特征体进行简化的可微rpc映射处理，获得一个当前尺度小成本代价体，再将当前尺度初始高程图进行线性插值并从当前尺度小成本代价体中进行索引，构建当前尺度高相关性代价体gf，然后将当前尺度高相关性代价体gf和参考影像的上下文特征共同进行多次迭代正则化处理，以获得多个当前尺度预测高程图，并将最后一次迭代正则化处理后的当前尺度预测高程图用于下一尺度特征体的可微rpc映射处理。

14、进一步，利用如下公式，计算损失，以反向传播调整重建网络模型的参数，

15、

16、其中，为初始高程图和预测高程图对应的高程值，h为真实的高程图对应的高程值，n为尺度总数，t为每个尺度的迭代总数，ws为不同阶段所占的权重，为每个尺度迭代对应的权重。

17、进一步，对于可微rpc映射模块，处理最小尺度特征体时，所述给定高程值范围是人为选定的；处理其他尺度特征体时，所述给定高程值范围是根据上一尺度初始高程图所包含的高程值设定的。

18、进一步，所述参考影像的上下文特征通过特征金字塔网络fpn、dcn可变型卷积操作提取获得不同尺度的多个参考特征图，再分别经过不同的两个激活函数层处理，对应获得不同尺度的多个参考特征体；

19、每次均选择对应尺度的两个参考特征体参与迭代正则化模块处理。

20、进一步，所述特征提取模块先利用特征金字塔网络fpn对参考影像和资源影像分别进行多尺度特征提取，获得不同尺度的多个特征图，再对每个尺度的特征图分别进行dcn可变型卷积处理获取大小不同目标物对应的特征，最后利用注意力机制模块获取全局特征，以得到不同尺度的特征体。

21、进一步，按尺度由小到大依次将特征图记为第一尺度特征图、第二尺度特征图...第m尺度特征图，

22、所述注意力机制模块先利用位置编码模块对第一尺度特征图进行降维，再依次利用自注意力模块、交叉注意力模块进行全局特征提取，输出第一尺度特征体；

23、然后对第一尺度特征体进行上采样，使其与第二尺度特征图的尺度一致，再将两者进行相加拼接融合，输出第二尺度特征体，再对第二尺度特征体进行上采样，使其与第三尺度特征图的尺度一致，再将两者进行相加拼接融合，输出第三尺度特征体，依次类推，直至输出第m尺度特征体。

24、进一步，每个所述dcn可变型卷积均包括一个卷积核3×3大小的卷积层、四个卷积核3×3大小的dcn卷积层。

25、进一步，所述参考影像设置为下视影像，所述资源影像设置为前视影像和后视影像，并且每次均将一张参考影像和两张资源影像输入重建网络模型进行后续处理。

26、本发明有益的技术效果在于：

27、1.设计了一种全新的神经网络模型对不同多视卫星影像数据中的不同复杂地形稠密重建，实现了良好的普适性。

28、2.基于transformer理论，对fpn和dcn提取出的特征图，仅将q，k，v设置为不同影像区域，便可以有效增强不同影像间的特征关联。实验结果证明，这种方法有效提升了重建结果的精度。

29、3.在多层级联高程预测方面，提出了一种用于高程迭代优化的策略并且利用了掩码上采样的方法，对每层初始预测高程结果进行优化矫正的同时确保层级间传递高程的可靠性，提升整体结果的完整性。实验结果证明，这种方法有效提升了重建结果的完整度。

30、4.提出了一个简单有效的深度估计策略，采用合理的权重分配方式，有效利用各个模块预测高程结果，对模型进行监督训练，进一步提升重建结果的可靠性。

技术特征：

1.一种基于多视光学卫星影像的地表稠密三维重建方法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：所述高程预测模块包括可微rpc映射模块、顺序正则化模块和迭代正则化模块，按照尺度由小到大的顺序先利用可微rpc映射模块分别对不同的特征体进行可微rpc映射处理，再利用顺序正则化模块进行正则化处理，然后结合参考影像的上下文特征利用迭代正则化模块进行多次迭代正则化处理，并且将小尺度特征体的最后一次迭代正则化处理结果参与大尺度特征体的可微rpc映射处理，但是对于最大尺度特征体，仅经过可微rpc映射模块和顺序正则化模块处理，

3.根据权利要求2所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：所述可微rpc映射模块用于在给定高程值范围内，将资源影像对应的当前尺度特征体映射到参考影像对应的当前尺度参考视角下以构建不同的当前尺度代价体，再将这些当前尺度代价体经过方差聚合处理获得一个当前尺度成本代价体；

4.根据权利要求3所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：利用如下公式，计算损失，以反向传播调整重建网络模型的参数，

5.根据权利要求2所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：对于可微rpc映射模块，处理最小尺度特征体时，所述给定高程值范围是人为选定的；处理其他尺度特征体时，所述给定高程值范围是根据上一尺度初始高程图所包含的高程值设定的。

6.根据权利要求2所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：所述参考影像的上下文特征通过特征金字塔网络fpn、dcn可变型卷积操作提取获得不同尺度的多个参考特征图，再分别经过不同的两个激活函数层处理，对应获得不同尺度的多个参考特征体；

7.根据权利要求1所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：所述特征提取模块先利用特征金字塔网络fpn对参考影像和资源影像分别进行多尺度特征提取，获得不同尺度的多个特征图，再对每个尺度的特征图分别进行dcn可变型卷积处理获取大小不同目标物对应的特征，最后利用注意力机制模块获取全局特征，以得到不同尺度的特征体。

8.根据权利要求7所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：按尺度由小到大依次将特征图记为第一尺度特征图、第二尺度特征图...第m尺度特征图，

9.根据权利要求7所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：每个所述dcn可变型卷积均包括一个卷积核3×3大小的卷积层、四个卷积核3×3大小的dcn卷积层。

10.根据权利要求1所述的基于多视光学卫星影像的地表稠密三维重建方法，其特征在于：所述参考影像设置为下视影像，所述资源影像设置为前视影像和后视影像，并且每次均将一张参考影像和两张资源影像输入重建网络模型进行后续处理。

技术总结
本发明属于三维重建的技术领域，公开了一种基于多视光学卫星影像的地表稠密三维重建方法，利用多视图卫星影像数据集对重建网络模型进行训练，再将训练好的重建网络模型用于三维重建，该重建网络模型包括特征提取模块和高程预测模块，特征提取模块先后经过特征金字塔网络FPN、DCN可变型卷积操作和注意力机制处理，提取不同尺度下的局部特征和全局特征，以得到不同尺度的特征体；高程预测模块按照尺度由小到大的顺序分别对不同的特征体进行可微RPC映射处理，再结合参考影像的上下文特征进行正则化处理，并且将小尺度特征体的正则化处理结果参与大尺度特征体的可微RPC映射处理，以最大尺度特征体的正则化处理结果作为最终结果。

技术研发人员：洪中华,杨沛鑫,潘海燕,周汝雁,张云,韩彦岭,王静,杨树瑚,马振玲,徐利军
受保护的技术使用者：上海海洋大学
技术研发日：
技术公布日：2024/5/10