基于抽象模板的海量栅格数据处理及管理方法
【专利摘要】本发明公开了一种基于抽象模板的海量栅格数据的分类处理和管理方法。具体内容包括：(1)栅格数据特征提取：确定栅格数据主要特征信息；(2)栅格数据模板匹配：依据特征的匹配度判断最适合数据模板；(3)基于抽象模板的数据自动化处理：自动调用对应的数据处理工具，完成栅格数据的自动化、流程化处理；(4)基于抽象模板的数据自动存储：自动创建数据存储空间，分配集群存储位置，实现数据导入；(5)基于抽象模板的数据查询检索：自动构建与更新对应数据集检索条件，实现对海量栅格数据的管理。本发明利用抽象数据模板建立栅格数据与数据处理工具和存储模型间的管理，解决了海量栅格数据的快速、自动化处理和管理问题。
【专利说明】基于抽象模板的海量栅格数据处理及管理方法
【技术领域】
[0001]本发明涉及栅格数据的处理及管理，特别是涉及一种基于抽象模板的大数据量栅格数据的分类处理和管理方法。
【背景技术】
[0002]栅格数据结构又称为格网结构(raster)，是将地表面划分为大小均匀、紧密相邻的网格阵列，每个网格作为一个像元或像素由行、列号定义，它包含一个代码，以表示该网格的属性或指向属性记录的指针，是GIS中的数据结构不可缺少的组成部分。
[0003]经过半个多世纪发展，全球对地观测技术水平突飞猛进，多传感器、多空间分辨率、多光谱分辨率和多角度卫星遥感正在实现对陆地表面的全方位观测，导致栅格数据量呈现爆炸式增长。强大的数据获取能力，为各类栅格信息产品的生产和服务提供了大量基础数据的同时，对传统栅格数据的处理、管理也提出了严峻的挑战。
[0004]目前，栅格数据的基本管理方式可以分为基于文件系统和基于数据库管理系统两类。其中基于文件的存储方式被广泛应用于平台无关的地理栅格数据表达和交换，而基于数据库管理系统的栅格数据管理方式由于能够借助于现代数据库管理系统所提供的各种标准特性，已经越来越被广泛应用。目前，空间数据库管理系统主要有两种实现模式:一种是“关系型数据库管理系统+空间数据引擎”，另一种是“关系型数据库管理系统+空间扩展”。虽然两种模式在栅格数据的空间检索、更新、查询等的实现方式上有所区别，但对于栅格数据本身的存储都是采用了数据库存储方式。但由于栅格数据是一类非结构化的复杂数据，且具有海量数据的特征，现有的栅格数据管理方式虽然能支持多用户的数据检索等操作，但在进行栅格数据计算和分析时会遇到数据操作瓶颈问题。
[0005]面对栅格数据获取能力的飞速发展与栅格数据处理及服务能力严重滞后的矛盾，如何实现海量栅格数据的自动化处理及有效管理已成为GIS领域中迫切需要解决的一个难题。
【发明内容】
[0006]本发明的目的是为了解决海量栅格数据的自动化处理及面向计算的数据管理问题，针对栅格数据的主要特征，提出一种基于抽象模板的海量栅格数据处理及管理方法，通过栅格数据特征分析，进行抽象模板匹配，依据匹配的模板调用对应的栅格数据自动处理工具来实现栅格数据的自动化处理，并依据抽象模板自动构建栅格数据的存储结构，实现栅格数据的自动分类存储及管理，由此解决海量栅格数据处理及管理的自动化问题。
[0007]本发明所采用的技术方案的具体内容包括:
[0008](I)栅格数据特征提取:读取栅格数据及相关元数据信息，提取数据主要特征信息，包括数据文件格式、数据文件命名规则、数据文件存储方式、数据文件内容、数据来源等信息，用于进行数据模板匹配。
[0009](2)栅格数据模板匹配:将栅格数据提取的特征与抽象模板特征进行匹配，依据特征的匹配度判断最适合的数据模板。
[0010](3)基于抽象模板的栅格数据自动化处理:每类抽象数据模板对应一系列的栅格数据处理工具，依据数据匹配的数据模板，自动调用对应的数据处理工具，完成栅格数据的自动化、流程化处理。
[0011](4)基于抽象模板的数据自动存储:依据数据匹配的数据模板，自动创建数据存储空间，分配集群存储位置，并将数据处理工具提取的栅格数据元数据存入创建的数据存储空间之中。
[0012](5)基于抽象模板的数据查询检索:依据数据模板，自动构建对应数据集栅格数据检索默认条件，依据用户输入查询条件进行检索条件的部分更新，形成最终的查询条件，通过对元数据检索实现对海量栅格数据的查询检索。
[0013]当用户需要添加一个新的栅格数据时，需要顺序执行(1)-(4)的步骤；当用户需要对已有的数据进行查询检索时，需执行步骤(5);当用户需要对已有栅格数据进行更新时，需在执行步骤(5)获取对应元数据记录及数据文件位置后，对更新的栅格数据顺序执行(1)_(4)，替换原有记录及文件；当用户需要删除已有数据时，在执行步骤(5)获取对应元数据记录及数据文件位置后，删除对应记录及数据文件。
[0014]本发明中步骤(I)中栅格数据特征可以通过读取栅格文件及相关元数据文件自动提取，对于信息不足或元数据文件缺失的栅格数据可以由用户人工指定对应特征。
[0015]本发明中步骤(2)中特征的匹配包括特征数量的匹配和每个特征值的匹配，依据特征权重进行匹配度的判断。
[0016]本发明中步骤(3)中每类抽象数据模板对应一系列栅格数据处理工具的组合，主要包括栅格数据的格式转换、校正、元数据信息提取等处理步骤，通过模板与工具组合信息的关联，实现对应栅格数据的自动化处理。
[0017]本发明中步骤(4)、(5)中每类抽象数据模板对应一类数据存储结构，在栅格数据添加、查询等操作时，依据对应的存储结构自动创建存储空间或查询条件结构，进而实现栅格数据的操作。
[0018]本发明技术与现有技术相比，具有以下有益效果:本发明利用抽象数据模板建立栅格数据与数据处理工具和存储模型间的管理，解决海量栅格数据的快速、自动化处理和管理问题。只要是可识别的栅格数据均可通过栅格数据特征与模板特征的匹配进行数据的自动分类，再通过自动调用模板对应的数据处理工具及管理工具实现栅格数据的自动处理、入库及管理。
【专利附图】
【附图说明】
[0019]图1为本发明的栅格数据导入及处理流程图。
[0020]图2为本发明的栅格数据查询流程图。
[0021]图3为本发明的栅格数据更新流程图。
[0022]图4为本发明的栅格数据删除流程图。
【具体实施方式】
[0023]下面结合附图及具体实施例对本发明做进一步的详细描述。[0024]本发明实施例提供了一种基于抽象数据模板的海量栅格数据自动处理和管理方法，具体包括以下步骤:
[0025](I)数据导入及处理
[0026]读取栅格数据，进行栅格数据的自动处理，并完成是数据的入库管理。参见图1所示，数据导入及处理具体包括以下步骤:
[0027](a)读取栅格数据文件及其元数据信息文件，从数据文件及元数据文件中提取主要特征信息，主要包括数据文件格式信息、数据文件组成信息、数据分辨率信息等内容。
[0028](b)依据数据特征权重信息，与抽象数据模板库进行数据特征数和特征值的匹配，判断栅格数据所属的数据模板。
[0029](C)对于正确匹配的栅格数据，通过抽象数据模板库中对应数据处理信息，调用数据处理工具，完成数据预处理及元信息提取；对于没有正确匹配的栅格数据返回无法处理信息结束导入处理流程。
[0030](d)对于处理完成并正确提取元信息的栅格数据，依据抽象数据模板库中对应的数据存储结构信息创建数据存储空间以及分配数据在集群中的存储位置，并完成数据的入
库管理。
[0031](2)数据查询
[0032]依据用户选择的数据集等信息确定查询数据对应数据模板类型，动态构建查询条件并与用户输入查询信息组合，生成最终查询条件，完成数据检索查询。参见图2所示，数据查询具体包括以下步骤:
[0033](a)用户通过指定查询数据集等交互确定查询数据所属模板类型。
[0034](b)依据数据模板库中对应的数据结构信息，自动构建默认查询条件。
[0035](C)用户通过交互确定相关查询条件，依据用户交互信息更新默认查询条件。
[0036](d)依据更新后的查询条件进行数据查询，并返回查询结果集信息。
[0037](3)数据更新
[0038]在数据查询的基础上，指定需要更新的栅格数据，重复数据导入及处理流程，并将对应信息更新至查询指定的数据记录中。参见图3所示，数据更新具体包括以下步骤:
[0039](a)用户通过指定查询数据集等交互确定查询数据所属模板类型。
[0040](b)依据数据模板库中对应的数据结构信息，自动构建默认查询条件。
[0041](c)用户通过交互确定相关查询条件，依据用户交互信息更新默认查询条件。
[0042](d)依据更新后的查询条件进行数据查询，并返回查询结果集信息，在结果集中指定需要更新的具体数据。
[0043](e)读取新的栅格数据文件及其元数据信息文件，从数据文件及元数据文件中提取主要特征信息，主要包括数据文件格式信息、数据文件组成信息、数据分辨率信息等内容。
[0044](f)依据数据特征权重信息，与指定数据对应的抽象数据模板进行数据特征数和特征值的匹配，判断栅格数据是否属于此数据模板。
[0045](g)对于正确匹配的栅格数据，通过抽象数据模板库中对应数据处理信息，调用数据处理工具，完成数据预处理及元信息提取；对于没有正确匹配的栅格数据返回无法处理信息结束更新处理流程。[0046](h)对于处理完成并正确提取元信息的栅格数据，将对应的元信息及数据文件信息更新至指定的数据对应的记录及文件位置。
[0047](4)数据删除
[0048]在数据查询的基础上，指定需要删除的栅格数据，依据对应数据模板中记录的数据存储结构和元数据信息，删除对应的元数据记录、数据存储空间和所有数据文件。参见图4所示，数据删除具体包括以下步骤:
[0049](a)用户通过指定查询数据集等交互确定删除数据所属模板类型。
[0050](b)依据数据模板库中对应的数据结构信息，自动构建默认查询条件。
[0051](C)用户通过交互确定相关查询条件，依据用户交互信息更新默认查询条件。
[0052](d)依据更新后的查询条件进行数据查询，并返回查询结果集信息。
[0053](e)用户通过交互指定需要删除的数据
[0054](f)依据对应数据模板中数据结构信息删除对应元数据记录信息、数据文件以及数据存储空间信息。
【权利要求】
1.一种基于抽象模板的海量栅格数据处理和管理方法，具体内容为: (1)栅格数据特征提取:读取栅格数据及相关元数据信息，提取数据主要特征信息，包括数据文件格式、数据文件命名规则、数据文件存储方式、数据文件内容、数据来源、数据分辨率信息，用于进行数据模板匹配； (2)栅格数据模板匹配:将栅格数据提取的特征与抽象模板特征进行匹配，依据特征的匹配度判断最适合的数据模板； (3)基于抽象模板的栅格数据自动化处理:每类抽象数据模板对应一系列的栅格数据处理工具，依据数据匹配的数据模板，自动调用对应的数据处理工具，完成栅格数据的自动化、流程化处理； (4)基于抽象模板的栅格数据自动存储:依据数据匹配的数据模板，自动创建数据存储空间，分配集群存储位置，并将数据处理工具提取的栅格数据元数据存入创建的数据存储空间之中； (5)基于抽象模板的栅格数据查询检索:依据数据模板，自动构建对应数据集的栅格数据检索默认条件，依据用户输入查询条件进行检索条件的部分更新，形成最终的查询条件，通过对元数据检索实现对海量栅格数据的查询检索； 当用户需要添加一个新的栅格数据时，需要顺序执行(1)-(4)的步骤；当用户需要对已有的数据进行查询检索时，需执行步骤(5);当用户需要对已有栅格数据进行更新时，需在执行步骤(5)获取对应元数据记录及数据文件位置后，对更新的栅格数据顺序执行(1)-(4)的步骤，替换原有记录及文件；当用户需要删除已有数据时，在执行步骤(5)获取对应元数据记录及数据文件位置后，删除对应记录及数据文件。
2.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法，其特征在于:所述步骤(I)中栅格数据特征可以通过读取栅格文件及相关元数据文件自动提取，对于信息不足或元数据文件缺失的特殊栅格数据可以由用户人工指定对应特征。
3.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法，其特征在于:所述步骤(2)中数据特征的匹配包括特征数量的匹配和每个特征值的匹配，依据特征权重进行匹配度的判断。
4.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法，其特征在于:所述步骤(3)中每类抽象数据模板对应一系列栅格数据处理工具的组合，主要包括栅格数据的格式转换、辐射校正、几何校正、元数据信息提取多种处理步骤，通过数据模板与工具组合信息的关联，实现对应栅格数据的自动化处理。
5.根据权利要求1所述的基于抽象模板的海量栅格数据处理和管理方法，其特征在于:所述步骤(4)、(5)中每类抽象数据模板对应一类数据存储结构，在栅格数据添加、查询、更新和删除操作时，依据对应的存储结构自动创建存储空间或查询条件结构，进而实现栅格数据的管理操作。
【文档编号】G06F17/30GK103678682SQ201310729321
【公开日】2014年3月26日 申请日期:2013年12月26日 优先权日:2013年12月26日
【发明者】董文, 胡晓东, 沈占锋, 骆剑承 申请人:中国科学院遥感与数字地球研究所