一种基于实景三维模型的正视影像图生成方法与流程

1.本发明属于摄影测量与遥感领域，具体涉及一种基于实景三维模型生成正视影像图的方法，其中以任意空间平面为投影面的正视影像图生成方法是本发明的关键技术。


背景技术：

2.数字正射影像(dom,digital orthophoto map)是摄影测量标准4d产品之一，具有信息丰富、直观真实、可量测、精度高等优点，它不仅可用于对数字线划地图的更新，加快地形图更新速度；也可与线划图、地名注名、坐标注记、经纬度线、图廓线公里格、公里格网及其它要素层复合，制作各种专题图；还可作为背景底图直接应用于城市各种地理信息系统，用于城市规划、土地管理、环境分析、地质调查、变化监测、地籍测量等方面，丰富城市管理、规划的手段与方法，为灾害防治和城市建设规划调查等提供可靠依据。随着城市三维建模发展步伐的加快，数字正射影像的应用已经越来越广泛。
3.传统的dom具有两个特点：(1)始终以水平面作为投影面，由于在较大场景中地形起伏相对而言不太明显，地表信息主要分布在水平面上，因此传统dom在小比例尺的情况下有很好的应用。(2)采用数字微分纠正的方法生成，包括正射纠正、匀光匀色和无缝镶嵌等技术，这些技术目前已非常成熟，形成了标准化的正射影像制作流程。即首先利用数字高程模型(dem，digital elevation model)数据，对经空中三角测量处理的像片进行数字微分纠正，得到单幅正射影像，再通过选取合适的镶嵌线对影像进行拼接，最终形成整个摄影区域的数字正射影像。
4.在当前阶段，针对精细化的地理信息的需求越来越多，人们关注的目标不仅仅是传统地形，而越来越多的扩展到重点建筑物/群、水利工程体、坡体、塔体等目标。针对这些目标，通过贴近摄影，可以获取精细化的影像，继而通过摄影测量处理生成精细三维实景。由于目标形状比较复杂，传统的正射影像图主要存在两个问题：(1)难以有效表达目标的信息。贴近摄影的情况下，目标表面信息主要分布在非水平面上，如果仍然以水平面为投影面将会损失很多关键信息；(2)基于数字微分纠正的生成流程难以适用。目标物表面形状不能通过2.5维的dem表达，而是通过三维实景模型表达，基于数字微分纠正的技术已不适用。针对以上问题，本发明提出正视影像图的定义和基于实景三维模型生成正视影像图的方法，以最大化表达形状复杂目标的几何结构信息。


技术实现要素：

5.本发明主要解决传统正射影像生成方法无法有效表达贴近摄影目标表面信息的问题，提出了一种以任意空间平面为投影面，并对摄影目标实景三维模型进行投影的正视影像图生成方法。该方法以地形单元的最佳拟合平面为投影面生成正视影像，优化表达形状复杂目标的几何结构信息，因此可最大化表达复杂目标的表面信息，高度还原大比例尺地形单元或复杂目标的精细结构。
6.本发明主要通过下述技术方案实现：一种基于实景三维模型的正视影像图生成方
法，该方法以目标物的三维实景数据为输入数据，利用最佳符合目标物的(多个)任意空间平面作为投影面，并依据投影面的法向量和三维场景的起始点坐标计算一个局部坐标系，然后采用直接投影法生成正视影像图。其核心过程包括以下步骤：
7.步骤1，对三维场景表面的坐标点进行拟合，获取一个或者多个最佳拟合平面，得到拟合平面的法向量或者人工任意指定法向量；
8.步骤2，根据从步骤1得到的法向量计算一个局部坐标系(oe,xe,ye,ze)；
9.步骤3，将三维场景从物方空间坐标系转换到局部坐标系之中，并计算三维场景在局部坐标系中的包围盒；
10.步骤4，根据设定的格网间距和步骤3得到的局部坐标系中包围盒范围对三维场景进行格网化划分；
11.步骤5，将三维场景的每个三角面片转换到局部坐标系并进行格网化，制作成正视影像。
12.步骤1中只以实景三维模型为数据源，不需要额外的dem、dsm、原始影像，即无需使用影像拼接、匀色、匀光等传统遥感影像处理技术，直接对三维模型进行处理；通过对于实景三维模型中，兴趣空间平面的确定，根据该实景三维模型上一个地形单元(近似位于一个空间平面)来拟合一个空间平面，获取正射影像图投影平面的信息。
13.在步骤2中，局部坐标系的定义方法如下：
14.设物方空间坐标系为(o,x,y,z)，为步骤1中得到的法向量，其中a、b、c分别为在x、y、z轴方向上的向量分量，s＝(xs,ys,zs)为起始点坐标。则(o,x,y,z)坐标系到(oe,xe,ye,ze)坐标系的旋转矩阵为：
[0015][0016]
对于任意空间点，其在(o,x,y,z)中的坐标(x,y,z)和在(oe,xe,ye,ze)中的坐标(x
′
,y
′
,z
′
)的转换关系为：
[0017][0018]
在步骤3中，局部坐标系中的包围盒的计算方法如下：
[0019]z′
定义为深度，正视影像是二维影像，应当有其影像范围，即二维包围盒。在忽略深度的条件下，本发明通过对局部坐标系下的平面上(oe,xe,ye)(其中z
′
为任意值)的三维模型中的(x
′
,y
′
)进行统计，遍历三维实景数据的所有顶点在其中的坐标，得到二维包围盒的左上角点坐标和右下角坐标点坐标，确定为对应正视影像影像范围。
[0020]
遍历三维实景数据(三维三角网)的所有顶点，并根据公式(2)计算其在局部坐标系中的坐标，得到一个(oe,xe,ye,ze)系下的三维实景模型(图2)。统计局部坐标系下的三维实景模型的空间包围盒box(x
ul
,y
ul
,x
rd
,y
rd
)：
[0021][0022]
其中，(x
ul
,y
ul
)为包围盒的左上方角点坐标，(x
rd
,y
rd
)为包围盒的右下方角点坐标；x
point
、y
point
分别为三维实景数据所有顶点的x、y坐标集合。
[0023]
在步骤4中，格网间距一般由三维实景模型的实际分辨率确定，也可以根据实际需要适当放大或者缩小。
[0024]
在步骤5中，生成的正视影像为真正视影像，不需要进行影像镶嵌考虑接边问题。对于生成的正视影像，通过对每个三角面片格网化，并通过各格网点重心化坐标的计算，来进行纹理插值，得到正视影像中每一个像素的纹理值，得到各像素之间纹理连续的正视影像。格网化的方法如下：
[0025]
实景三维模型数据的基元为三角形，对于三角形内及其边上的任意一点p，可用三角形三个顶点a
′
,b
′
,c
′
的线性组合来表示：
[0026]
p＝(1-u-v)a
′
+ub
′
+vc
′
,0≤u,v≤1#(4)
[0027]
即：
[0028][0029]
用坐标表示即：
[0030][0031][0032]
可以看作是向量(u,v,1)同时垂直于和其中，x、y下标表示对应向量在x、y轴的分量，故可用和的叉乘计算向量(u,v,1)，也就是点p的重心化坐标。
[0033]
格网化的具体计算方法为：
[0034]
(1)用上述方法计算三角形包围框内每个格网中心点的重心化坐标；
[0035]
(2)如果满足0≤u,v≤1，说明该点在三角形内部，继续进行后续步骤，否则跳过该格网中心点不做处理；
[0036]
(3)用重心化坐标内插出该格网中心点的z坐标用于z缓冲法消隐；
[0037]
(4)如果步骤(3)中该格网中心点可见，则利用该格网中心点的重心化坐标计算该格网中心点的纹理值并继续后续步骤，如果不可见则跳过该格网中心点；
[0038]
(5)更新z缓冲区，并使用双线性内插、双三次卷积内插等栅格数据内插方法获取正视影像中该格网中心的纹理值。
[0039]
对于步骤5计算得到的正视影像可用于精细量测，因此将在正射影像上量测的影像坐标转换至物方空间坐标系至关重要，具体转换方法为：
[0040]
首先，将正视影像上的影像坐标(x,y)，转换到局部坐标系(oe,xe,ye,ze)：
[0041]
x
′
＝ax+by+c#(8)
[0042]y′
＝dx+ey+f#(9)
[0043]
其中，(x
′
,y
′
)为局部坐标系(oe,xe,ye,ze)中的平面坐标，a、b、c、d、e、f为影像象素坐标与实际地理坐标的仿射关系参数。高程坐标z
′
，则根据(x
′
,y
′
)于深度值影像中内插得到。
[0044]
其次，根据下式将(x
′
,y
′
,z
′
)转换到物方空间坐标系(o,x,y,z)中：
[0045][0046]
从而得到物方空间坐标(x,y,z)。从上述正视影像坐标到物方空间坐标的完整转换过程来看，除需现有的标准tiff world file参数，还需额外信息：起始点坐标(xs,ys,zs)以及正视影像投影面法向量(a,b,c)。因此，本发明对标准tiff world file参数进行补充，形成正视影像图tiff world file，结果如表1所示。
[0047]
表1正视影像图tiff world file的定义
[0048][0049]
除此以外，正视影像恢复至物方坐标过程中需要深度值z
′
。因此，应当保存正视影像对应的深度图像。本发明采取的存储方式包括但不仅限于以下两种：
[0050]
①
对于输出得到的二维正视影像xxx.tif，额外输出单独的深度图像文件xxx-zbuffer.tif，两影像文件像素完全对应匹配。
[0051]
②
针对tiff影像文件的特性，可以采用输出多页tiff影像，第一页为二维正视影像(n通道)，第二页为对应的深度值z
′
影像(单通道)(见图5)。
[0052]
本发明具有如下优点：(1)以任意空间平面为投影面，可以最大化地表达复杂目标的几何结构信息，这可以使某些复杂的三维计算简化为正视影像上的二维操作，提高计算效率；(2)采用直接投影法生成正视影像图，不必检索正视影像像素点对应的物方点所在的三角形，大大提升计算效率；(3)只需要实景三维模型数据即可，处理简单，不需要额外的数据，计算方便高效。
附图说明
[0053]
图1为本发明的总体技术流程图；
[0054]
图2为正视影像的局部坐标系示意图；
[0055]
图3为三角网格网化的示意图；
[0056]
图4为本发明的计算过程示意图；
[0057]
图5为双页tiff存储深度值的示意图；
[0058]
图6为悬空寺三维模型图；
[0059]
图7为悬空寺的正射影像图结果。
具体实施方式
[0060]
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
[0061]
本发明提供的技术方案是：以三维场景为基础数据源，利用三维场景的最佳拟合平面或者人工指定的平面作为投影面，并采用直接投影法生成正视影像。
[0062]
本实例选取山西省大同市悬空寺测区，使用大疆phantom 4rtk无人机通过贴近摄影(摄影距离为15m)，获取了730张分辨率约为4mm的影像，将影像导入大疆智图进行三维重建。该三维重建模型即为本次实例的输入数据，生成正视影像图的流程如图1所示，包括以下步骤：
[0063]
步骤1，对三维场景的坐标点进行拟合，获取一个最佳拟合平面，得到该平面的法向量。
[0064]
由于悬空寺在峡谷的峭壁上，三维模型如图6所示。因此选取峭壁所在平面的空间点，进行拟合，得到该平面的法向量该向量为投影平面的法向量。
[0065]
步骤2，根据从步骤1得到的法向量计算一个局部坐标系(oe,xe,ye,ze)。
[0066]
对于物方坐标系(o,x,y,z)，通过其水平面(z＝0)的法向量和目标投影平面的法向量进行叉乘计算并归一化，即可得到局部坐标系的
[0067][0068]
而与是一致的，因此只需要根据右手法则，即可计算出
[0069][0070]
到此，目标投影平面的局部坐标系(oe,xe,ye,ze)定义完成。
[0071]
可以确定物方坐标系(o,x,y,z)到局部坐标系(oe,xe,ye,ze)的旋转矩阵为：
[0072][0073]
步骤3，将三维场景的包围盒转换到局部坐标系之中，并计算三维场景在局部坐标系中的包围盒。
[0074]
对悬空寺三维模型的包围盒进行统计，得到起始点坐标为(732xxx,4393xxx,0)，再根据步骤2得到的旋转矩阵，对于三维模型中的任意空间点，其在(o,x,y,z)中的坐标(x,y,z)和在(oe,xe,ye,ze)中的坐标(x
′
,y
′
,z
′
)的转换关系为：
[0075]
[0076]
对于三维模型投影到一个空间平面上，将局部坐标系中的z
′
定义为深度，在忽略深度的情况下，即从投影平面的反法向量方向去观察投影结果，得到定义在(oe,xe,ye)平面上的正视影像。
[0077]
作为二维影像，应当有其影像范围，即二维包围盒。在忽略深度的条件下，通过对局部坐标系下(oe,xe,ye)平面上(其中z
′
为任意值)的三维模型中的(x
′
,y
′
)进行统计，遍历三维实景数据的所有顶点在其中的坐标，得到二维包围盒的左上角点坐标和右下角坐标点坐标：
[0078][0079]
步骤4，根据设定的格网间距对三维场景进行格网化划分。
[0080]
由于悬空寺的摄影影像分辨率约为4mm，确定格网间距为5mm。
[0081]
步骤5，将三维场景的每个三角面片转换到局部坐标系并进行格网化，最终制作成正视影像。
[0082]
对于投影平面上各三角片进行二维((oe,xe,ye)平面上，忽略z
′
的数值)包围框的构建，并进行格网化。对于包围框中的任意格网中心点p，都可以用该三角形三个顶点a,b,c的线性组合来表示：
[0083]
p＝(1-u-v)a+ub+vc,0≤u,v≤1
[0084]
即：
[0085][0086]
用坐标表示即：
[0087][0088][0089]
可以看作是向量(u,v,1)同时垂直于和故可用和的叉乘算出向量(u,v,1)，也就是像素点p的重心化坐标。
[0090]
格网化的具体计算方法为：
[0091]
(1)用上述方法计算得到三角形包围框内每个格网中心点的重心化坐标；
[0092]
(2)如果满足0≤u,v≤1，说明该点在三角形内部，继续进行后续步骤，否则跳过该点不做处理；
[0093]
(3)用重心化坐标内插出该点的z坐标用于z缓冲法消隐；
[0094]
(4)如果步骤(3)中该点可见，则利用该点的重心化坐标计算该点的纹理值并继续后续步骤，如果不可见则跳过该点；
[0095]
(5)更新z缓冲区，并使用双线性内插方法获取正视影像中该像素的纹理值。
[0096]
完成上述操作，输出最终的正视影像(双页tiff格式)如图7所示，第一页为正视影像，第二页为深度数据。
[0097]
本发明主要解决传统正射影像生成方法在贴近摄影中无法有效表达地物表面信息的问题，提出了一种以三维场景的最优拟合平面为投影面，并进行直接投影的正视影像生成方法，最优拟合平面作为投影平面可以最大化地表达复杂目标的几何结构信息，采用直接投影法不需要检索正视影像像素点对应的物方点所在的三角形，可以大大提升计算效率。以三维场景的最佳拟合平面为投影面以及直接投影法进行格网化计算是本发明所述正视影像生成方法的关键技术。
[0098]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。