一种基于DEM的光栅地形图立体序列帧图像的获取方法与流程

一种基于dem的光栅地形图立体序列帧图像的获取方法
技术领域
[0001]
本发明属于地图数据处理领域，尤其涉及一种基于dem的光栅地形图立体序列帧图像获取方法。


背景技术：

[0002]
地形图通常是二维的平面地图，无法直观地展示地形地貌，为了解决这个问题，将立体光栅技术应用于地形图制作上，使人能不借助于硬件设备就看到一幅立体地形图，对制图区域的地形地貌有非常直观的认知。而由平面地形图转化为光栅立体地形图，就要获取该平面地形图对应的立体图像序列帧图像，当前获取平面地形图的图像序列帧图像主要有两种：一是根据平面地形图及对应的高程数据建立三维模型，并把平面地形图上的居民地、道路、水系、境界、土质、植被等一一对应镶嵌在三维模型上，然后再从三维模型不同的角度获取一组图像序列帧图像，该方法操作难度大，且极为复杂；二是根据平面地形图对应的等高线，按一定的等高距沿着等高线对平面地形图进行分层处理，得到各层的图形数据，再将各层图形数据按对应的高度进行左右平移以获得一组模拟立体地形图不同角度的序列帧图像，该方法操作同样繁杂，特别是大幅面的平面地形图，且分层不适当容易使由立体序列图像合成的立体地形图出现过渡不自然甚至断层的现象，影响光栅立体地形图的三维视觉效果。


技术实现要素：

[0003]
本发明的目的在于提供一种基于dem的光栅地形图立体序列帧图像的获取方法，从而克服了现有由平面地图形转化为光栅立体地图复杂的缺点。
[0004]
为实现上述目的，本发明提供了一种基于dem的光栅地形图立体序列帧图像的获取方法，包括以下步骤：
[0005]
s1、选择需要绘制光栅立体地图的平面地图，根据所述平面地图的数据得到仅含带文字要素层和不含带文字要素的地形图层，不含带文字要素的地形图层图像为图像一，仅含带文字要素的地形图图像为图像二；
[0006]
s2、分别对所述图像一和图像二利用dem数据进行处理得到相同分辨率和大小的深度图像得到深度图像一和深度图像二；
[0007]
s3、将所述图像一和图像二进行合并处理得到待处理平面地形图，且所述图像二位于所述图像一的上方；将所述深度图像一和深度图像二进行合并处理得到待处理深度图，且所述深度图像二位于所述深度图像一的上方；
[0008]
s4、对所述待处理深度图进行预处理；
[0009]
s5、对预处理后的待处理深度图像和待处理平面地形图进行虚拟视点合成，得到立体图像序列帧图像；
[0010]
s6、对所述立体图像序列帧图像中的空洞进行填补，后得到完整的立体图像序列帧图像。
[0011]
进一步的，所述s2中，对所述图像一和图像二在利用dem数据处理对应深度图像时应采用8bit灰度值来存储地形要素的深度信息；将所述图像一和图像二转换到地形上的高度时，最高的地方对应灰度值为255，最低的地方对应灰度值为0。
[0012]
进一步的，所述s2中，所述图像一利用dem数据进行处理得到相同分辨率和大小的深度图像得到深度图像一包括：
[0013]
所述图像一对应的dem数据的每个像元代表的高度值按公式(1)求得在深度图像中的灰度值；
[0014][0015]
式(1)中，gray为图像一的dem数据的每个像元的灰度值，z
最高
为dem数据中最大的高度值，z
最低
为dem数据中最小的高度值，z
gray
为dem数据中待求点对应的高度值；
[0016]
根据公式(1)计算得到图像一所有的灰度值得到深度图像一。
[0017]
进一步的，从所述深度图像一中提取每个文字要素在深度图像一中对应位置的最大的灰度值，根据得到所有的最大的灰度值得到图像二的深度图像，即深度图像二。
[0018]
进一步的，所述s4中，所述预处理包括对所述待处理深度图进行零视差平面选取和进行平滑处理。
[0019]
进一步的，所述s5采用多个摄像机平行放置的方法，对预处理后的深度图像和待处理平面地形图进行虚拟视点合成。
[0020]
进一步的，所述s5包括以下步骤：
[0021]
s51、根据预处理后的待处理深度图像和待处理平面地图形建立虚拟的三维空间；
[0022]
s52、根据在三维空间下任一个点在不同视点投影情况原理进行虚拟视点图像合成，即再三维空间任意一个点m投影到n个摄像机的图像平面上进行虚拟视点图像合成；
[0023]
s53、根据s52的几何关系得到映射关系式如下：
[0024][0025]
式(8)中，z为三维空间中投影点的对应的灰度值，焦距f和相离最远的摄像机的基线距离t
x
由光栅立体图具体所用的光栅材料求出，分别对应光栅的焦距和其折射光偏移的最大值；n为奇数，使其中一个摄像机垂直于平面图像的中心点，其余点位于该点两侧，故x
li
为投影于左侧的像平面图像，x
ri
为投影于右侧的像平面图；
[0026]
s54、将所述投影于左侧的像平面图像、投影于右侧的像平面图及中心点处的像平面图像，得到每个虚拟视点的相平面图像，所有虚拟视点的相平面图像为n张立体图像序列帧图像。
[0027]
进一步的，所述s6中，采用邻域插值法来进行空洞填补。
[0028]
进一步的，所述零视差平面选取为采用立体前后景图像面积一样的一个点作为零视差平面高度。
[0029]
与现有的技术相比，本发明具有如下有益效果：
[0030]
本发明所提供的基于dem的光栅地形图立体序列帧图像的获取方法，通过将选择需要绘制光栅立体地图的平面地图得到仅含带文字要素层和不含带文字要素的地形图层；分别对两个图层利用dem数据进行处理得到相同分辨率和大小的深度图像得到深度图像一
和深度图像二；将图像一和图像二进行合并处理得到待处理平面地形图，且图像二位于图像一的上方；将深度图像一和深度图像二进行合并处理得到待处理深度图，且深度图像二位于所述深度图像一的上方；对处理深度图进行预处理；对预处理后的待处理深度图像和待处理平面地形图进行虚拟视点合成，得到立体图像序列帧图像；对立体图像序列帧图像中的空洞进行填补，后得到一组完整的立体图像序列帧图像。本发明针对于平面地形图的光栅立体化有着明显的优点，不需复杂的三维模型重建或者费时地按等高线对平面地形图进行分层平移重组，按照一定的图像处理方法即可得到立体效果好的立体图像序列帧图像。
附图说明
[0031]
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]
图1是本发明的一种基于dem的光栅地形图立体序列帧图像的获取方法的流程图；
[0033]
图2是本发明的待处理深度图；
[0034]
图3是本发明的待处理地图形；
[0035]
图4是本发明的平滑处理后的深度图像；
[0036]
图5是本发明的三维空间下一个点在不同视点投影情况示意图；
[0037]
图6是本发明的空洞填补结构示意图；
[0038]
图7是本发明合成的光栅立体图像。
具体实施方式
[0039]
下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]
如图1所示，本发明所提供的基于dem的光栅地形图立体序列帧图像的获取方法包括以下步骤：
[0041]
s1、对于本专业领域的技术人员很容易得到一幅平面地形图数据及其对应范围且比例尺相同的dem数据。在平面地形图中，含文字的要素如果不提取出来跟随地形处理会产生变形，影响整个光栅立体图的观看效果，所以需要先把含文字的要素单独提取出来，因此，从需要绘制光栅立体地图的平面地形图的数据中得到仅含带文字要素层和不含带文字要素的地形图层两个图层，两个图层导出为两张分辨率为300dpi的图像，不含带文字要素的地形图层图像为图像一，仅含带文字要素的地形图图像为图像二。
[0042]
s2、根据图像一和图像二得到对应的相同分辨率和大小的深度图像；对图像一和图像二利用dem数据处理对应的深度图像应采用8bit灰度值来存储地形要素的深度信息；将图像一和图像二转换到地形上的高度时，最高的地方对应灰度值为255，最低的地方对应灰度值为0。
[0043]
图像一对应的dem数据的每个像元代表的高度值按以下公式(1)求得其在深度图
像中的灰度值。
[0044][0045]
式(1)中，gray为图像一的dem数据的每个像元的灰度值，z
最高
为dem数据中最大的高度值，z
最低
为dem数据中最小的高度值，z
gray
为dem数据中待求点对应的高度值；根据公式(1)计算可以得到图像一所有的灰度值得到深度图像一。
[0046]
由于图像二中含有文字，这些文字是平面地形图中居民地、山峰和河流等地理要素所对应的文字标注，为保证观看效果，每个要素点所对应的文字需在同一个平面，且不同要素点需与其标注的要素点的高度相对应。为实现上述效果，需要在深度图像一中提取文字所对应图像区域的深度灰度值，因在光栅立体图象中，视觉上存在遮挡的现象，要保证文字在立体地形图中完全显示，文字应该处于该区域的最高点，所以每个文字要素所在平面对应的灰度值应为深度图像一中对应区域最大的灰度值，因此，可以从深度图像一中提取每个文字要素所在平面最大的灰度值，根据得到灰度值得到图像二的深度图像，即深度图像二。
[0047]
s3、为减少后续处理图像的次数，分别将图像一和图像二进行合并处理，深度图像一和深度图像二进行合并处理，需要注意的是仅含带文字要素的图像要位于上方，即图像二和深度图像二应位于上方，合并后得到待处理平面地形图(如图2)和待处理深度图(如图3所示)。
[0048]
s4、对待处理深度图进行预处理，即对待处理深度图进行零视差平面选取和进行平滑设置。
[0049]
为保持整个光栅立体效果的平衡性，本实施例将选取使立体前后景图像面积一样的一个点作为零视差平面高度，即s
高-零
＝s
零-低
，s
零
可以根据待处理深度图的dem数据高度值统计计算得出，而不是一般地取高度值最大值和最小值的平均数，这个值很容易让立体画面的前后景失衡，影响整个立体效果的展现。
[0050]
本实施例中根据平面地形图生成立体图像序列帧图像，是一个由二维到三维，再由三维转为二维的过程，在根据平面地形图对应的深度图所体现的深度信息投影到三维空间后，再按一个从左到右或从右到左的次序将三维空间中的点投影到不同的虚拟角度所在二维平面上，当深度图像中存在变化很大的区域且虚拟视角的角度较大时，从三维空间再投影到二维平面时就会存在遮挡或偏移，从而导致某个虚拟视角小的立体图像序列帧图像存在很大的空洞，难以修补。所以需要对待处理深度图进行平滑预处理，这里采用基于空间梯度的平滑方法：
[0051]
定义一个像素pixel(x,y)的原始深度图像l
(0)
(x,y)的空间梯度为其图像强度函数的第一偏导数，如式(2)所示：
[0052][0053]
式(2)中，g
x
，g
y
分别是上述空间梯度对x，y的偏导数；
[0054]
通过l
(0)
(x,y)这个一空间梯度，将平滑过程的卷积因子w(x,y)设定为：
[0055]
w(x,y)＝h(|l0(x,y)|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0056]
式(3)中，函数h为一个单调递减函数：h(0)＝1；随着|l0(x,y)|的增加，h(|l0(x,y)|)
→
0；
[0057]
通过应用该单调递减函数h，赋予低空间梯度一个大的权重，如式(4)所示：
[0058][0059]
通过式(5)、式(6)及式(7)求解得平滑后的深度图像l
(t+1)
(x,y)，如图4所示；
[0060][0061]
l
(t+1)
(x,y)＝max{l
(t+1)
(x,y),l
(t)
(x,y)}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0062][0063]
式(5)、式(6)及式(7)中，t,i,j为运算索引，n(x,y)代表归正因子，w(x,y)为卷积因子。
[0064]
s5、采用多个摄像机平行放置的方法，对平滑化处理后的深度图像和待处理平面地形图进行虚拟视点合成，得到立体图像序列帧图像。具体包括以下步骤：
[0065]
s51、首先建立虚拟的三维空间，将平滑化处理后的待处理深度图像的每一个像素的灰度值作为待处理平面地形图的z值，把待处理平面地形图的像素点按对应的z值投影，构建一个虚拟的三维空间。
[0066]
s52、在三维空间下一个点在不同视点投影情况原理进行虚拟视点图像合成；把三维空间任意一个点m投影到n个摄像机的图像平面上，点m在这n个摄像机的图像平面上的投影点垂直坐标都应相同；n代表了最终得到的立体图像序列帧图像的数量，n值越大立体效果过渡越平滑但处理的数据量就越大，为了方便计算，通常取n为奇数，设c0为中间位置的视点，其余点平均分布在c0两侧，则点m得到的视点图像应与c0组合得到点m的待处理平面地形图。c
l-(n/2-1)
,
…
,c
l2
,c
l1
,和c
r1
,c
r2
,
…
,c
r(n/2-1)
为c0两侧等间隔分布的其它n-1个视点，f为每个摄像机的焦距，t
x
是两个相离最远的摄像机的基线距离。
[0067]
图5为三维空间任意一个点m投影到13个摄像机的图像平面上，c
l6
,
…
,c
l2
,c
l1
,和c
r1
,c
r2
,
…
,c
r6
为c0两侧等间隔分布的其它12个视点，f为每个摄像机的焦距，t
x
是两个相离最远的摄像机的基线距离。
[0068]
s53、根据三维空间下一个点在不同视点投影情况的几何关系得到如下映射关系式：
[0069][0070]
式(8)中，z为三维空间中投影点的对应的灰度值，焦距f和相离最远的摄像机的基线距离t
x
由光栅立体图具体所用的光栅材料求出，分别对应光栅的焦距和其折射光偏移的最大值；x
li
为投影于左侧的像平面图像，x
ri
为投影于右侧的像平面图像。
[0071]
如图5所示，一个点投影到13个摄像机的平面得到的映射关系为：
[0072][0073]
s54、通过映射关系式式(8)由平滑化处理后的深度图像和待处理平面地形图所构建的三维空间得到的左侧的像平面图像和右侧的像平面图像，加上c0视点处的像平面图像，得到每个虚拟视点的像平面图像，所有虚拟视点的像平面图像即为所求的n张立体图像序列帧图像。
[0074]
s6、对于s5计算得到的n张立体图像序列帧图像，虽然对深度图像的预处理过程使再投影后大大降低了空洞，但不可避免还会存在大小在1-2像素的较小空洞，这些空洞容易被忽略。需要检测这些空洞的位置并进行填补，取一张帧图像为例，通过检测该图像上当前像素点坐标与前一坐标之间的距离来判断空洞的存在与否。
[0075]
例如，如果假设当前像素点平移的像素距离为δn，那么前一像素点平移的像素距离就应该为δn(t-1)，若δn与δn(t-1)的距离差值大于1，则认为该位置存在空洞，需要进行填充。本实施例采用邻域插值法来进行空洞填补，如图6所示。在图6中，中间的黑点为空洞，其余点均为与空洞紧密相连的像素点，首先计算与空洞点相邻的两两像素点的像素值之差的绝对值，找出相减绝对值最小的两个像素点，中间空洞的像素值取这两个像素点的平均值。对每一帧图像进行该操作，得到填补完空洞的13张立体图像序列帧图像，便可以通过13张立体图像序列帧图像合成光栅立体图像了，合成的图象如图7所示。
[0076]
综上，本发明一种基于dem的光栅地形图立体序列帧图像的获取方法，利用dem数据构建平面地形图的深度信息，再利用该深度信息将平面地形图投影到三维空间中得到虚拟三维地形图，然后在该三维空间中选取不同视点，将三维地形图投影到不同的平面中，再进行平滑和空洞填补处理，便可得到一组立体图像序列帧图像。本发明相对于平面地形图的光栅立体化有着明显的优点，不需复杂的三维模型重建或者费时地按等高线对平面地形图进行分层平移重组，按照一定的图像处理方法即可得到立体效果好的立体图像序列帧图像。
[0077]
以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。