专利名称：一种面向并行数字地形分析的数据拆分与分发方法
技术领域：
本发明属于数字地形分析和并行计算的交叉技术领域，涉及利用数据并行的方法实现数字地形分析的并行化，特别是涉及一种基于量化的数据拆分方法。
背景技术：
数字地形分析(Digital Terrain Analysis,简称DTA)是在数字高程模型 (Digital Elevation Model，简称DEM)的基础上进行地形属性计算和特征提取的数字信息处理技术。数字高程模型DEM是用一组有序数值阵列形式表示地面高程的一种实体地面模型，是数字地形模型(Digital Terrain Model，简称DTM)的一个分支，其它各种地形特征值均可由此派生。并行数字地形分析是使用并行计算的技术来解决数字地形分析中的海量数据量的高效处理问题。随着各种新型传感器以及测量技术的出现，DEM数据呈级数增长，从而导致单机环境下对大规模的数据进行处理是一件十分困难的事情。因此使用并行计算技术可以有效地解决单处理器的计算瓶颈问题以及提高数据处理的效率。DEM的数字表示方法有格网、三角网、等高线三种，其中格网方式因其简单直观、存储方便的优点而被广泛使用。目前并行数字地形分析的研究热点主要集中在DEM数据构建的并行化以及数字地形分析算法并行化，其中对于数据并行策略的研究还处在定性分析阶段，而对于数据并行策略的建模分析以及量化研究尚未有所涉及。目前，数据并行策略主要是指对大规模数据进行拆分，拆分方法可以分为两类规则拆分和不规则拆分。拆分方式的选择由地形因子的算法特性决定。(1)规则拆分将DEM数据块按规则图形进行划分，如正方形或长方形等还有其它的方式，例如可视域分析可以按照角度进行拆分。其中，四叉树算法在管理和存储DEM数据方面性能优越，因此被广泛使用。格网DEM由于使用矩阵进行存储，因此采用按行和按列方式对数据块进行拆分的方法也较多。规则拆分的优点在于数据的管理和存储方便，可以使用顺序存储或链表的方式，数据处理后的融合也易操作。缺点在于需要对DEM数据进行规则化处理。对于坡度、坡向等局部地形因子，通常选择规则拆分方式。(2)不规则拆分计算单元依赖的数字地形分析如果以规则格网进行DEM数据分析，分析单元的相关半径具有不定长性，具体大小与周边分析单元地形特征强相关。对于这类分析模型，课题拟以区域相关性较小的独立不规则地理单元为数据分析单元，通过任务约束图和动态调度机制解决如何准确高效确定并行单元边界、消除分析单元边界效应、计算结果的拼接与融合。对于流域网络、山脊线、山谷线等地形结构因子，通常选择不规则拆分方式。数据拆分是实现并行数字地形分析的重要步骤之一，目前关于数据拆分的研究主要集中在采用何种数据管理策略来提高并行计算的效率以及相关的存储策略来降低DEM 数据的存储空间，缺少对拆分数据的大小以及拆分数据之间的依赖关系等量化问题的研究，而这些问题对于数据并行的效率以及数据的调度策略都是关键。
发明内容
本发明针对上述技术问题，针对点集均勻分布的规则格网DEM，提出了一种基于数据粒度模型与量化的数据拆分方法，不仅能保证并行数字地形分析的精确度，同时能提高并行数字地形分析的效率。为实现上述发明目的，本发明方法采用的技术方案如下，一种面向并行数字地形分析的数据拆分与分发方法，包括以下过程a)读入DEM数据，建立面向并行数字地形分析的数据粒度模型数据粒度模型是对并行数字地形分析中数据的抽象，具体的数学表示为G=(E，A，R) (a. 1)其中，G代表数据粒度，由三元组E、R、A组成，E表示粒度实体，A代表粒度实体所具有的属性，R代表粒度实体之间的关系；对于属性A包括的维度为数据粒度的分辨率(Resolution)，数据粒度的行数 (Col)和列数(Row)，数据粒度的大小(Size)，冗余的行数(RCol)、列数(RRow)，和数据块的起始坐标(X，y)；对于粒度实体之间的关系R包括三种邻接关系(AdjR)、派生关系(DerR)和包含关系(InR)；b)计算基于计算机内存页调度策略的最小数据粒度最小数据粒度是不可再分的数据粒度实体，是进行数据分发时的最小数据单位， 最小数据粒度的计算方法为MinSize = f X 4KB (b. 1) 1 ^ f ^ fmax且f为正整数(b. 2)
权利要求
1. 一种面向并行数字地形分析的数据拆分与分发方法，其特征在于，所述方法包括以下过程(1)读入DEM数据，建立面向并行数字地形分析的数据粒度模型
全文摘要
本发明公开了一种面向并行数字地形分析的数据拆分与分发方法，属于数字地形分析和并行计算的交叉技术领域。该方法包括以下步骤(1)读入DEM数据，建立数据粒度模型；(2)基于内存页调度策略，计算最小数据粒度大小；(3)基于四叉树存储策略，计算复合数据粒度大小；(4)计算节点数据粒度的冗余行、列数的计算方法以及切割方式；(5)基于复合数据粒度，计算节点数据的分发数；(6)根据节点的分发数，主节点进行节点数据的分发。本发明提出的方法，独立于空闲节点的个数，使用复合数据粒度作为节点数据分发的基本单位，减少了数据的通信量；在性能相同的计算节点间，保证了负载均衡。
文档编号G06F17/30GK102495888SQ20111040569
公开日2012年6月13日 申请日期2011年12月8日 优先权日2011年12月8日
发明者刘学军, 汤国安, 窦万峰, 赵菁 申请人:南京师范大学