专利名称：网络环境下超大规模空间数据的三维可视化方法
技术领域：
本发明涉及一种网络环境下超大规模空间数据的三维可视化方法，属于空间信息技术领域。
背景技术：
近几年，由于传感器技术和数据采集技术的不断发展，大范围、高分辨率影像和数字高程模型的廉价获取成为可能，空间数据的数据量呈几何级数增长。同时，人们也在研究如何获取城市中诸如人工目标等几何实体的三维模型，随着几何对象数量的不断增加和几何表达精度的不断提高，用于描述几何对象的数据量也变得越来越多。再加上从其它方法(如测量方法)获取的地理信息系统(GIS)数据，一个系统的数据总量往往达到几百兆字节甚至兆兆字节(TB)数量级，可能分布于异构环境中，而且这些数据的格式也不尽相同。从而使得传输和可视化这些空间数据需要的计算机内存和资源远远超出了目前计算机设备的承受能力。目前，随着网络技术、三维可视化技术、虚拟现实技术的发展以及计算机软硬件的推陈出新，如何在保证场景真实感的前提下，快速实现多源海量数据的可视化成为当前空间信息领域研究热点。
发明内容
本发明的目的是提供一种网络环境下超大规模空间数据的三维可视化方法，它解决了网络环境下大规模多源空间数据格式不一致的问题。借助于本发明的建模、渐进传输和渲染技术，实现了多源海量空间数据的快速可视化。具有(1)在分布式环境中，实现空间数据的共享和互操作；(2)低配置在移动终端上(如个人数字助理PDA)，就能完成自适应可视化。
在分布式异构环境中，本发明通过空间数据的获取模型、空间索引技术、自适应传输技术和自适应可视化技术等来实现大规模空间数据的三维可视化，其技术方案如下本发明一种网络环境下超大规模空间数据的三维可视化方法，其方法步骤如下(1) 分布式异构环境中空间数据的获取模型提出以下两种模型实现分布式异构环境中空间数据的快速获取 数据配置模型针对分布式环境的特点，提出数据配置模型，该模型包含数据的类型、大小、所在的位置、所在计算机上的操作系统类型、空间范围等信息，它用来管理放在每台服务器上的待可视化的多源空间数据。在系统启动时，数据配置模型通知客户端的管理器空间数据分布的具体位置； 数据转换模型通过设计和建立三维标识数据模型3DGML，以此解决多源空间数据格式不一致性问题。该3DGML在传统地理标识语言基础上增加了第三维描述信息，即高程。并且还带有一个时间变量以描述随时间变化的地理信息。本专利的空间数据在网络环境下都是以3DGML的格式来传输给客户端的。
(2)高效的空间索引技术以椭球四叉树和渐进树(P-Tree)技术联合实现空间数据的高效索引。本发明提出优化椭球四叉树实现大规模地理数据的快速检索。具体是，沿着经纬格网把地球表面划分成若干左右相邻全等的，上下相邻相似的四边形，四叉树的每个结点代表的是顾及地球曲率的、等面积的四边形。
椭球四叉树每个结点描述了一定分辨率下确定的、等边长(以m为单位)的四边形面片。
随着视点和视线不断移近城区，场景会出现三维建筑等实体。本发明设计的空间索引保证靠近视点或用户最感兴趣的实体应先传输，次要的目标而后传输和渲染。在此情况下，提出一种P-tree的空间索引结构，它在传统R树基础上，增加了一个元素g(e)来存储地理空间信息。如果在第L层次上的结点n是一个内部结点，g(e)表示在该分支中所有实体集合。返回的集合在包围盒精度高于阈值时，就合并P-tree的内部结点，否则遍历P-tree的下一层。P-tree与椭球四叉树通过一定的阈值相连来实现多分辨率地形和三维几何模型的索引。
从分辨率为几公里的大场景到分辨率只有几米的城市地区，如果场景变化的太快，地形管理器跨越四叉树而定位到合适位置的速度会落后于用户变换场景的速度，这种管理机制让四叉树能快速定位到合适的空间位置以获得重要的属性信息和地理空间边界盒，从而决定哪些数据和模型显示在当前视景体内。
(3)海量空间数据的自适应传输技术集成了在线高效压缩与释放、动态流媒体化技术、外存渐进传输算法等混合技术，解决在现有的网络带宽和传输速率下，以及保持数据和模型最大精度的同时，满足海量空间数据实时传输的要求。
为了减少内存的消耗，构建三维场景的结点采用算术编码压缩，先传输可见子结点中较粗的模型，并将其保留在客户机内存中，渐进可视化更高层次的场景。如果遍历停止，就用较粗细节层次模型渲染。在遍历四叉树结构搜索当前待渲染结点的过程中，将流和预取过程分为两个异步线程进行。在交互的过程中必需的数据放在缓存中，每个细节层次中保留数据块的缓存，如果块立即使用，就存储在内存缓存中，否则，放在磁盘缓存中。
发送新的请求前，客户端预先计算索引后发送消息到服务器获取它预先设有存储的模型结点。从服务器上接收到空间数据时，客户端做部分简单的计算，建立数据模型一部分拷贝。服务器建立从属图，避免冗余数据的传输避免不必要数据的传输；客户端的简化算法修改服务器端的场景描述，形成设备图形，该图形包含渐进入口，它们依连续的顺序存储数据。如果客户端不能存储整个细节层次模型时，客户端就删除当前不用的数据。若后续的操作需要这部分数据，它只简单向服务器发送一个请求。这样，服务器非常容易的处理大量的客户端连接，因为它不需要记录每个连接点的状态。
(4)大规模空间数据的自适应可视化技术传统的可视化技术只能在中央处理器(CPU)上实现，因而速度较慢，交互性不好。本发明采用视点相关的基于图形处理器(GPU)的多分辨率动态可视化技术。该技术将空间信息重新组成一系列层，并简化为两个视相关的几何缓冲器。利用GPU的可编程性，基于外存和细节层次模型算法，进而在GPU中实现超大规模几何实体的动态多分辨率显示。
本发明一种网络环境下超大规模空间数据的三维可视化方法，其优点及其达到的功效是它在分布式环境下，将海量多源空间信息在统一的三维环境中可视化，能实现多用户并发访问的要求。具体说就是(1)通过建立数据转换模型并形成三维GML规范，以此解决分布式异构环境下多源空间数据的格式不一致性问题；(2)实现了一个并行的、可以扩充的海量几何模型传输方案，包括预处理算法、多分辨视相关模型简化等。客户端能完成细节层次模型(LOD)查询并实时选择性简化几何实体的表面，而不必接收和存储整个LOD模型。满足多用户并发访问的要求；(3)在复杂三维城市场景显示中，绝大多数算法用一个层次包围体做体空间或者图像空间剔除验证，并计算潜在的视集，这样在运行期间会产生突跳现象。为了避免该现象，研究和集成了基于GPU超大规模数据多分辨率可视化技术与保守阻挡消除法实时可视化场景。
四
图1本发明三维可视化方法的技术方案实现流程2本发明所述的空间索引结构示意3本发明之渲染和流线程的流程示意4本发明之服务器产生从属图，避免冗余数据的传输示意5本发明之简化算法修改服务器端的场景描述，形成设备图形，该图形包含渐进入口，它们依连续的顺序存储数据示意6本发明之数据块的更新示意7本发明之数据块顶点索引顺序示意图五具体实施方式
通过图1所示的流程图来实现本发明提出的可视化方法，其过程步骤如下(1)分布式异构环境中空间数据的更新模型 数据配置模型该模型包含数据的类型、大小、所在的位置、所在计算机上的操作系统类型、空间范围等信息，它用来管理放在每台服务器上的待可视化的多源空间数据。在系统启动时，数据配置模型通知客户端的管理器空间数据分布的具体位置； 数据转换模型通过建立三维标识数据模型3DGML，以此解决多源空间数据格式不一致性问题。该3DGML在传统地理标识语言基础上增加了第三维描述信息，即高程。并且还带有一个时间变量以描述随时间变化的地理信息。本发明的空间数据在网络环境下都是以3DGML的格式来传输给客户端的。
(2)高效的空间索引技术本发明提出优化椭球四叉树实现大规模地理数据的快速检索。具体是，沿着经纬格网把地球表面划分成若干左右相邻全等的，上下相邻相似的四边形，四叉树的每个结点代表的是顾及地球曲率的、等面积的四边形。
假设待分割的数字高程模型(DEM)大地坐标的范围为(λmin，φmin)和(λmax，φmax)，行列数为M×N，每个瓦片有row×col格网点，那么瓦片在地球平行圈方向的数目为qλ＝int(N/col)，在地球子午圈方向的数目为qφ＝int(M/row)，因此，经度差Δλ＝(λmax-λmin)/qλ，纬度差Δφ＝(φmax-φmin)/qφ。为了能够支持多层次细节模型，所有的结点应均含有数据，所以，椭球四叉树的索引值key，必须满足 这里，M，N分别是DEM的行数和列数；row、col分别是每个瓦片的行数和列数；int( )代表取整数的含义；∑代表加和。
在创建椭球四叉树时，需要从已知索引值key中，知道当前层索引数据的最大坐标(λ2，φ2)和最小坐标(λ1，φ1)，利用方程(1)和已知参数qφ，qλ，Δλ，Δφ获得λ1，φ1，λ2，φ2的值
椭球四叉树每个结点描述了一定分辨率下确定的、等边长(以m为单位)的四边形面片。
随着视点和视线不断移近城区，场景会出现三维建筑等实体。本发明设计的空间索引保证靠近视点或用户最感兴趣的实体应先传输，次要的目标而后传输和渲染。在此情况下，提出一种P-tree的空间索引结构，它在传统平衡树基础上，增加了一个元素g(e)来存储地理空间信息。如果在第L层次上的结点n是一个内部结点，g(e)表示在该分支中所有实体集合。返回的集合在包围盒精度高于阈值时，就合并P-tree的内部结点，否则遍历P-tree的下一层。P-tree与椭球四叉树通过一定的阈值相连(如图2)来实现多分辨率地形和三维几何模型的索引。
从分辨率为几公里的大场景到分辨率只有几米的城市地区，如果场景变化的太快，地形管理器跨越四叉树而定位到合适位置的速度会落后于用户变换场景的速度，这种管理机制让四叉树能快速定位到合适的空间位置以获得重要的属性信息和地理空间边界盒，从而决定哪些数据和模型显示在当前视景体内。
(3)海量空间数据的自适应传输技术为了减少内存的消耗，构建三维场景的结点采用算术编码压缩，先传输可见子结点中较粗的模型，并将其保留在客户机内存中，渐进可视化更高层次的场景。如果遍历停止，就用较粗细节层次模型渲染。在遍历四叉树结构搜索当前待渲染结点的过程中，将流和预取过程分为两个异步线程进行(如图3所示)。在交互的过程中必需的数据放在缓存中，每个细节层次中保留数据块的缓存，如果块立即使用，就存储在内存缓存中，否则，放在磁盘缓存中。
发送新的请求前，客户端预先计算索引后发送消息到服务器获取它预先没有存储的模型结点。从服务器上接收到空间数据时，客户端做部分简单的计算，建立数据模型一部分拷贝。服务器建立从属图，避免冗余数据的传输(如图4所示)避免不必要数据的传输；客户端的简化算法修改服务器端的场景描述，形成设备图形，该图形包含渐进入口，它们依连续的顺序存储数据(如图5)。如果客户端不能存储整个细节层次模型时，客户端就删除当前不用的数据。若后续的操作需要这部分数据，它只简单向服务器发送一个请求。这样，服务器非常容易的处理大量的客户端连接，因为它不需要记录每个连接点的状态。
(4)大规模空间数据的自适应可视化技术为了提高数据的利用效率，使用环状数组和模运算的方式来存储每一层显示的数据块，随着视点的移动，每次只更新“L”形的新区域(如图6)，由于使用环状数组和模运算来存储和访问数据，这使得对于每一个固定顶点在数组中存储的位置保持不变，新的“L”形区域数据正好保存在数组中旧的“L”形数据位置上。
当移动速度太快时，所有需要更新层次的操作就会变得比较费时，为了提高绘制速度，我们采取从粗到精的更新顺序，当某一层的顶点更新数量超过n×n时，该层(以及其包含的所有精细层)暂时停止更新和绘制，当视点的移动速度变慢时，再重新开启更新和显示状态。这种视觉效果就是快速移动时，损失地形的绘制细节，也符合人的视觉习惯。
在进行绘制时，根据数据块视觉的重要性，采取从精到粗的顺序进行。视觉最重要的数据块，优先级最高，最先绘制，细节层次也最高。根据数据块视觉重要性的大小，依次绘制整个视景体内的数据。
数据块视觉重要性的计算伪代码
impt的计算公式impt=α×max_dist-disttsum_dist+β×heighttsum_height---(3)]]>
对数据块t来说，distt是数据块的中心到视点的距离。heightt是数据块t包围盒的高度。Max_dist是所有可见数据块中distt的最大值；sum_dist和sum_height分别是distt和heightt累加和；权α，β满足α+β＝1，为了折衷数据块的距离和高度，通常取α＝β＝0.5。所有可见数据块的视觉重要值impt要进行归一化，这样∑timpt＝1。
为了利用图形硬件的顶点缓存和索引缓存，必须构建三角形条带。由于该算法中每一个最小子块都是矩形，所以构建三角形条带的方式一样。本专利采取如图7所示的顶点顺序来指定矩形块中的顶点，这样只有换行处的顶点指定了3次，其余大部分顶点只指定了两次。
当前每一帧数据更新和变化后顶点索引数组的建立都需要CPU重新计算，因为矩形生成三角形条带的函数调用过程一致，在新的图形硬件上利用顶点纹理，进而将索引的计算完全由高效的GPU来完成。为每一矩形块实时计算三角形条带索引数组，并通过图形显卡的顶点缓冲和索引缓冲来提高绘制速度。相比起层次算法中遍历每一个顶点，CPU重新计算索引的开销要小很多。
验证在网络环境下对上述方法进行了验证。服务器配置是P4 2.8GHz处理器，1G&NVIDIAFX3400的显卡，操作环境为IIS/Windows XP。使用3台计算机充当客户端一台是Pentium 1.73GHZ处理器，512MB内存，64M ATI显卡的笔记本电脑(称之PC-I)。第二是台式计算机，P4 512M内存，GeForce2显卡(称之PC-II)。第三台是P4 1G内存，GeForce3显卡台式计算机(称之PC-III)。
使用美国Defense Mapping Agency的JGP95E 5′全球地形数据；USGS的GTOP030数据；1∶25万全球地形数据；1∶1万荆江DEM数据，全球影像为21600×21600的“blue marble”；30m的全国TM影像；以及建筑等三维模型库进行了实验研究。
基于组件对象模型(COM)，用VC++和OpenGL语言开发了运行在网络上的分布式三维可视化系统。系统由三个模块构成第一个是基于超文本传输协议(HTTP)的客户端模块，负责从服务器上下载数据；第二个是场景管理器模块，负责在数据储存器中加载数据，并产生多分辨率的三维场景；第三个是三维分析模块，用于地理空间分析，比如最短路径分析，通视分析，水文分析等。
描述地形和三维模型(例如数据路径，范围，比例尺和配置)的元数据文档，首先通过文件传输协议(例如HTTP协议)发送到客户端，系统就可以利用文件中的这些信息管理这些数据。
下列表1列出了可视化地形数据和三维模型的统计信息。对于每一帧的场景数据(数据量＞80兆字节)，可以看出数据从服务器端加载到客户端的时间小于4秒，并且能实时处理多个用户并发访问。
表1
权利要求
1.一种网络环境下超大规模空间数据的三维可视化方法，其特征在于其方法步骤如下(1)分布式异构环境中空间数据的获取模型提出以下两种模型实现分布式异构环境中空间数据的快速获取 数据配置模型针对分布式环境的特点，提出数据配置模型，数据配置模型该模型包含数据的类型、大小、所在的位置、所在计算机上的操作系统类型、空间范围等信息，它用来管理放在每台服务器上的待可视化的多源空间数据；在系统启动时，数据配置模型通知客户端的管理器空间数据分布的具体位置； 数据转换模型通过建立三维标识数据模型3DGML，以此解决多源空间数据格式不一致性问题；该3DGML在传统地理标识语言基础上增加了第三维描述信息，即高程；并且还带有一个时间变量以描述随时间变化的地理信息；本发明的空间数据在网络环境下都是以3DGML的格式来传输给客户端的；(2)高效的空间索引技术以椭球四叉树和渐进树技术联合实现空间数据的高效索引；以优化椭球四叉树实现大规模地理数据的快速检索，具体是，沿着经纬格网把地球表面划分成相邻全等的、上下相邻相似的四边形，四叉树的每个结点代表的是顾及地球曲率的、等面积的四边形；椭球四叉树每个结点描述了一定分辨率下确定的、等边长的四边形面片；随着视点和视线不断移近城区，场景会出现三维建筑等实体；设计的空间索引保证靠近视点或用户最感兴趣的实体应先传输，次要的目标而后传输和渲染；在此情况下，提出一种渐进树的空间索引结构，它在传统平衡树基础上，增加了一个元素g(e)来存储地理空间信息；如果在第L层次上的结点n是一个内部结点，g(e)表示在该分支中所有实体集合；返回的集合在包围盒精度高于阈值时，就合并渐进树的内部结点，否则遍历渐进树的下一层；渐进树与椭球四叉树通过一定的阈值相连来实现多分辨率地形和三维几何模型的索引；从分辨率为几公里的大场景到分辨率只有几米的城市地区，如果场景变化的太快，地形管理器跨越四叉树而定位到合适位置的速度会落后于用户变换场景的速度，这种管理机制让四叉树能快速定位到合适的空间位置以获得重要的属性信息和地理空间边界盒，从而决定哪些数据和模型显示在当前视景体内；(3)海量空间数据的自适应传输技术集成了在线高效压缩与释放、动态流媒体化技术、外存渐进传输算法等混合技术，解决在现有的网络带宽和传输速率下，以及保持数据和模型最大精度的同时，满足海量空间数据实时传输的要求；为了减少内存的消耗，构建三维场景的结点采用算术编码压缩，先传输可见子结点中较粗的模型，并将其保留在客户机内存中，渐进可视化更高层次的场景；如果遍历停止，就用较粗细节层次模型渲染；在遍历四叉树结构搜索当前待渲染结点的过程中，将流和预取过程分为两个异步线程进行；在交互的过程中必需的数据放在缓存中，每个细节层次中保留数据块的缓存，如果块立即使用，就存储在内存缓存中，否则，放在磁盘缓存中；发送新的请求前，客户端预先计算索引后发送消息到服务器获取它预先没有存储的模型结点；从服务器上接收到空间数据时，客户端做部分简单的计算，建立数据模型一部分拷贝；服务器建立从属图，避免冗余数据的传输避免不必要数据的传输；客户端的简化算法修改服务器端的场景描述，形成设备图形，该图形包含渐进入口，它们依连续的顺序存储数据；如果客户端不能存储整个细节层次模型时，客户端就删除当前不用的数据；若后续的操作需要这部分数据，它只简单向服务器发送一个请求；(4)大规模空间数据的自适应可视化技术采用视点相关的基于图形处理器的多分辨率动态可视化技术，将空间信息重新组成一系列层，并简化为两个视相关的几何缓冲器，利用GPU的可编程性，基于外存和细节层次模型算法，进而在GPU中实现超大规模几何实体的动态多分辨率显示。
全文摘要
一种网络环境下超大规模空间数据的三维可视化方法，其步骤如下1.分布式异构环境中空间数据的获取模型提出以数据配置模型和数据转换模型实现分布式异构环境中空间数据的快速获取；2.高效的空间索引技术以椭球四叉树和渐进树技术联合实现空间数据的高效索引；3.海量空间数据的自适应传输技术集成了在线高效压缩与释放、动态流媒体化技术、外存渐进传输算法等混合技术，解决在现有的网络带宽和传输速率下，满足海量空间数据实时传输的要求；4.大规模空间数据的自适应可视化技术将空间信息重新组成一系列层，并简化为两个视相关的几何缓冲器，利用GPU的可编程性，进而在GPU中实现超大规模几何实体的动态多分辨率显示。
文档编号H04L29/06GK101082934SQ20071011907
公开日2007年12月5日 申请日期2007年6月19日 优先权日2007年6月19日
发明者张立强 申请人:北京师范大学