专利名称：B/S架构下的全球Argo多源海洋数据管理与可视化系统及方法
技术领域：
本发明涉及互联网信息交互技术和海洋可视化领域，更具体地说，涉及一种基于B/S架构的全球Argo浮标等多源海洋数据管理与可视化表达系统及方法。
背景技术：
随着Internet的大规模普及和广泛使用，B/S架构软件作为对C/S结构的一种改进，逐渐成为当今软件的首选体系机构。国际Argo计划自2000年底正式实施以来，世界上共有35个国家和团体已经在大西洋、印度洋和太平洋等海域陆续投放了约8700个Argo剖面浮标，截止2012年7月底，在全球正常工作的Argo剖面浮标总数为3561个，这些浮标每年可提供总数多达10多万个海水温度和盐度剖面资料。海洋变化与异常天气状况有着密切的联系，Argo计划旨在快速、准确、大范围地收集全球海洋上层的海水温度、盐度剖面资料，以提高气候预报的精度，有效防御全球日益严重的气候灾害给人类造成的威胁。针对Argo数据和其他多源海洋数据的管理主要有光盘管理和网络数据库管理两种方式，而前者具有易损坏和管理成本高的缺点，无法满足科研需要。而国内Argo多源网络数据库管理系统多采用C/S结构，客户端维护和升级成本高，网络扩展性差，无法满足用户通过网络查询、获取和三维可视化分析多源海洋数据的需求。极少数基于Web的海洋数据管理和可视化平台不具备多源数据分析和三维可视化能力，只能对单一数据管理和简单的二维可视化。按照数据源划分，海洋数据可以分为遥感数据、站点数据、海上测量数据、基础地图数据以及数值产品等。由于数据源不同，使得不同部门或行业之间要进行数据共享和集成带来极大不便。因此，探索统一的空间数据结构，设计一种能融合多种数据的空间数据模型及其数据格式，研制实现多源数据融合的存储系统尤为重要。通过数据融合，可以将空间物体在各种各样的空间数据模型中多次采集所产生的差异以及相同的数据模型几何位置多次数字化和抽象概括所产生的空间数据结构、几何位置和要素属性等进行统一处理，在最大程度上实现多种数据源的完全转换。
发明内容
为解决上述难题，本发明提出了一种基于B/S架构的全球Argo浮标等多源海洋数据管理与可视化表达方法，并在此基础上设计了一款网络可视化系统。本发明可以实时准确的查询全球实测Argo数据，并可以将其他包括模式数据、遥感数据等在内的多源数据作三维可视化，并分析他们之间的影响。B/S架构下的全球Argo多源海洋数据管理与可视化系统的实现至少包含以下部分一套海量多源空间数据存储库，一个可视化功能服务器，一套客户端交互及可视化控件模块，一套坐标转换模块。所述的海量多源空间数据存储库，应用数据库集群技术和分表技术将海量多源数据和Argo数据统一管理，解决了海量数据的存储问题，并实现快速条件查询响应；所述的可视化功能服务器，保存多源空间数据存储库中的文件索引，并通过网端接口从多源空间数据库中读取数据并生成绘制数据；所述的客户端交互及可视化控件模块,采用高级Web-Gis设计、利用ActiveX技术，将GIS功能、Argo数据及其它多源数据可视化功能等模块集成为控件；所述的坐标转换模块将通过Web-GIS创建的地理高程DEM影像和通过户端交互及可视化控件实现的多源数据可视化渲染结果进行坐标对应。该B/S架构下的全球Argo多源海洋数据管理与可视化方法应用到上述系统中，该方法包括(I)根据海量多源数据的存储需求，采用数据库集群技术或合适的数据库设置方法;(2)将包括Argo数据在内的多源海洋数据进行分区设计；(3)选择合适的可视化功能服务器和相关GIS服务；(4)设置网络端口，定义数据传输服务；(5)编写Active插件，进行客户端开发；(6)创建高程数据和三维可视化绘制数据坐标系，制定坐标系对应准则。本发明的有益效果该发明大大简化了客户端电脑载荷，只需一次性安装功能插件即可实现，维护性和扩展性好，减小了用户开发和维护的难度和成本，满足了用户对于Argo数据及其他多源海洋数据网络传输和网络实时三维可视化的需求。解决了海量多源数据存储管理和三维可视化难题，发挥了模式数据、遥感数据等在海洋和大气科学研究领域中的作用。
图1为B/S架构下的全球Argo多源海洋数据管理与可视化系统模块图；图2为B/S架构下的全球Argo多源海洋数据管理与可视化系统功能结构图；图3为多用户访问并发访问控制机制具体实施例方式本发明的功能如图2所示，可以实现对Argo数据的出入库管理和查询，可以对多源海洋数据进行三维可视化分析，并能实现海量数据的存储和管理。为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。1.海量多源空间数据存储库结构设计和快速查询技术全球海洋Argo浮标观测网的数据十分巨大，且每年以GB级的数量增长，再加上其他模式数据、遥感数据，数据量会越来越多，因此，需要海量存储和快速查询技术的支持。而数据库系统由于技术原因，随着表记录数增大，其查询响应速度会下降。数据查询记录会达到几百万条到几千万条，如果不进行合理设计，即使在Oracle这样的大型数据库支持下，也会随着记录的不断增加而使数据库性能下降，最终停止工作。因此，需要寻求海量数据存贮技术的支持。一方面解决不断增长的记录数，另一方面保证在记录数增长的情况下，查询响应速度不下降，实现快速响应。(I)海量空间数据存储经反复测试、比较，提出采用数据库集群技术来解决海量数据的存贮。应用这一技术，随着Argo数据量的增加，在物理数据库端可以建立多个Argo数据库，并采用统一的逻辑名将这些物理数据库集群在一起。由于数据库对外服务采用统一的逻辑名，数据库的扩充具有很好的伸缩性，可以在需要时扩充保证记录增长下的海量存贮。为使数据库支持海量多源海洋数据，并支持大于4G以上LOB字段数据，本发明基于面向对象思想，还设计并实现了以OCKOracle Call Internet)技术为基础的多源数据引擎组件，将数据引擎操作的对象分成多个层次，不仅能处理非海量的常见类型字段数据，而且支持4G以上LOB字段的数据操作，具有效率高、资源占用低等优点。(2)多源海洋数据存储与管理海洋数据多源性的产生和表现主要可以概括为多语义性、多时空性和多尺度、获取手段多源性、存储格式多源性等。因为空间数据，有很强的时空特性，获取数据的手段也复杂多样，这就形成多种格式的原始数据，再加上海洋GIS应用系统很长一段时间处于以具体项目为中心孤立发展状态中，很多海洋GIS软件都有自己的数据格式，这使得多源海洋数据共享问题变得尤为突出。如图1海量多元空间数据存储库模块部分所示，根据Argo数据和其它多源海洋数据格式的不同，本数据存储库采用Oracle和PostGIS综合利用的存储方式，直接数据访问的管理模式，实现不同数据区别存储，统一管理调用的目的。根据Argo浮标数据的特征以及实现系统设计功能的要求，系统数据库由浮标基本信息表、浮标剖面数据表和浮标漂移轨迹数据表组成。为了提高快速查询响应速度，增加了相关的动态查询视图。直接数据访问指在一个软件系统中实现对不同数据格式的直接访问，存取多种数据格式。直接数据访问不仅避免了繁的数据转换，而且在一个软件中访问某种数据格式不要求用户拥有该数据格式的宿主软件，更不需要该软件运行。直接数据访问提供了一种更为经济实用的多源数据集成模式。(3)快速查询技术快速查询的响应设计,采用了 Oracle的表分区(partition)技术，以实现几千万条以上记录的快速查询响应。采用表分区技术，可以在超大型数据库(VLDB)中将大表及其索引通过分区的形式分割为若干较小、可管理的小块，每一分区又可进一步划分为更小的子分区(sub partition)，根据浮标观测数据记录的结构，将浮标ID号、时间这两个参数设为表分区关键字，从而将一个几千万条记录的表分成易于管理的分区表。这种分区对于应用来说是透明的，而且，通过对表进行分区，不仅可以减少数据损坏的可能性，各分区还可以独立备份和恢复，增强了数据库的可管理性，更为重要的是可以控制分区在硬盘上的分布，以均衡I/O (输入/输出)，改善数据库的性能。2.可视化功能服务器设计如图1可视化功能服务器部分所示，本模块由Web服务模块和WebGIS服务模块组成，Web服务模块负责Argo数据及其他多源海洋数据的业务请求和处理工作，WebGIS服务模块负责其他多源海洋数据和GIS数据的查询与空间分析。Geoserver是整个WebGIS服务的核心部分，服务器在接受用户请求后，通过数据库接口访问多源空间数据存储库，根据WMS(Web MaP Service)或WFS(Web Feature Service)协议将返回的数据通过Open Layers以栅格或者矢量的形式向浏览器进行渲染输出。所有服务均采用J2EE模式开发，并部署在Tomcat或者JBoss等J2EE容器中。由部署在J2EE容器中的Ge0WebCache模块和文件服务模块共同组成。GeoffebCache是一个采用Javaservlet实现缓存WMS Title的开源项目，目的是为了减轻Geoserver服务器的工作负荷，实现更好的用户体验。3.客户端交互可视化控件开发(I)客户端交互设计及用户访问控制本发明采用ActiveX技术，将GIS功能、Argo数据可视化显示、多源海洋数据可视化显示、人机交互处理等模块集成为控件，客户端软件中的ActiveX控件通过向数据库访问引擎中间件发送相关的查询命令得到查询结果，并以TCP数据流形式经网络传到客户端软件，在客户端分析形成可视化产品，充分利用了当前客户端机器的CPU处理能力，减轻服务器的数据处理工作量，保证服务器端的主要工作即数据查询能力不受影响，从而提高整个系统的性能。其中客户端与服务器端接口和多用户并发访问是网络系统的核心。在客户端与服务器端的数据接口中，通过命令方式来完成数据的交互，客户端向服务器发送相关的命令，服务器回送结果或者是出错信息作为回应。当客户端取到数据时，由于服务器会回送命令类型，客户端可以根据回送命令进行相关的处理。如图3所示，服务器端的多用户并发访问机制的实现及线程监控进程将客户端在进行数据库访问时，通过ActiveX控件中的相关数据库操作方法，向数据库访问引擎传送相关的查询指令。中间件程序负责指令解译并自动启用对应的进程来完成数据库操作。由于中间件必须能实现多用户并发访问能力，在设计上采用多线程来实现。(2)三维可视化服务多源海洋数据三维可视化方法针对海洋数据研究与分析的需求，提出了一系列面向海洋数据的可视化分析方法，包括点模式、线模式、面模式、体模式和时间序列分析等，对等值线追踪、等值面生成、剖面绘制、体绘制等关键技术进行了进一步研究与实现，并根据海洋可视化的特点在GPU并行计算、渲染效率等方面进行了优化。针对不同的数据源，系统采用不同的分析方法。例如针对浮标数据和船测数据，一般采用点模式或点模式和线模式结合的方式进行分析，对于遥感数据一般采用线模式和面模式分析等。针对传统海洋数据可视化系统在数据可视化方法、投影系统精度、用户交互等方面存在的问题，本模块基于OpenGL三维图形渲染技术，进行基于三维空间的海洋可视化，构建海洋数据三维可视化模块。在可视化方法方面，依据研究对象在欧几里德空间中维数的差异性进行分类，将其划分为以下几类零维的点、一维的线、二维的面、三维的体，并由此提出了点模式分析、线模式分析、面模式分析、体模式分析等海洋数据可视化分析概念，以展现各研究对象在纵深和时间上的变化情况。对于不同的海洋数据格式，采用不同的可视化手段。例如，对单个Argo浮标数据可视化可采用一维的线和三维的体来分别表现单一层的海温变化和多层海温变化，对全球海温栅格数据可以采用二维的面展现不同区域的海洋属性变化等。4.坐标转换模块开发5.在可视化分析中，需要将拿到的地理图层和生成的三维可视化图层绘制到屏幕上，不可避免的要在地理坐标和屏幕坐标之间转换，坐标的转换原理为将视图的中心和视野中心点进行配对，然后给定一个地理坐标，根据该坐标和视野中心点的偏移比例尺来进行计算就可以获得屏幕坐标，反之亦然。首先，已知当前显示的地图范围是多少，即H、W、(xO，yO)已知；然后，已知当前屏幕画布的大小，即已知H'、r ;这样就可以得到地图坐标(x，y)到屏幕坐标(X' ,1')转换公式，把每个要素的地图坐标都转换到屏幕坐标，并被渲染出来。在画布大小没有改变的情况下(h'、r不变)，随着地图的放大、缩小、平移等操作，地图范围在不断地改变，即H、W、(xO，yO)在改变，转换公式的也随之改变。针对海洋数据的特殊性，将坐标转换模块中的地理坐标，转换为经纬坐标即可实现坐标对应。
权利要求
1.B/S架构下的全球Argo多源海洋数据管理与可视化系统，其特征在于，该系统包括一套海量多源空间数据存储库，一个可视化功能服务器，一套客户端交互及可视化控件模块，一套坐标转换模块；其中 (1)海量多源空间数据存储库模块，用于管理Argo数据及栅格数据、船测数据、遥感数据等多源数据，包括出入库管理、表单管理等； (2)可视化功能服务器模块，用于向空间数据库请求数据，并进行实时可视化计算； (3)客户端交互及可视化控件模块，用于将可视化数据进行三维渲染，并将渲染结果进行坐标换算，将结果显示于浏览器上。
2.根据权利要求1所述的系统，其特征在于，所述海量多源空间数据存储库模块负责对海量Argo数据和多源海洋数据分列表保存，可视化功能服务器模块向海量多源空间数据存储库提出数据请求，并对结果进行三维可视化，将可视化过程数据通过网络接口提交给客户端交互及可视化控件显示。
3.根据权利要求1所述的系统，其特征在于，所述海量多源空间数据存储库模块包含海量数据存储装置，用于存储和管理海量Argo数据、及多源海洋数据，通过数据库集群技术和分区方式实现海量数据条理存储。
4.根据权利要求1的系统，其特征在于，所述可视化功能服务器模块包括可视化功能服务器，用于数据处理和生成绘制数据，并对用户分级别响应不同服务进程。
5.根据权利要求1的系统，其特征在于，所述客户端交互及可视化控件模块，用于实现渲染数据三维可视化和人机交互的控件。
6.根据权利要求2的方法，包括以下步骤 (1)根据海量多源数据的存储需求，采用数据库集群技术和合适的或和数据库设置方法; (2)将包括Argo数据在内的多源海洋数据进行分区设计； (3)选择合适的可视化功能服务器和相关GIS服务； (4)设置网络端口，定义数据传输服务； (5)编写Active插件,进行客户端开发； (6)创建高程数据和三维可视化绘制数据坐标系，制定坐标系对应准则。
全文摘要
本发明公开了一种B/S架构下的全球Argo多源海洋数据管理与可视化系统及方法，涉及互联网信息交互技术和计算机可视化领域。该系统以数据库管理的形式，结合Web-GIS技术，并采用三维可视化方式向用户提供查询和获取全球海洋数据，并实现对包括模式数据、遥感数据在内的多源海洋数据进行可视化分析的方法和平台。本发明完全基于B/S架构设计，包括海量多源空间数据存储库模块，可视化功能服务器模块，客户端交互及可视化控件模块和坐标转换模块等。其先进性体现在弥补了现有多源海洋数据数据管理系统的不足，同时还提供了结合Web-GIS的三维可视化手段，解决了海量多源数据存储、Argo数据查询和在线处理、三维数据可视化、实时交互分析等关键技术。
文档编号H04L29/08GK102999592SQ20121046519
公开日2013年3月27日 申请日期2012年11月19日 优先权日2012年11月19日
发明者田丰林, 马纯永, 于方杰, 韩勇, 陈戈, 吴合义, 李勃, 纪鹏波 申请人:北京中海新图科技有限公司, 青岛经纬蓝图信息技术有限公司