一种基于分布式内存的并行数字地形分析优化方法
【技术领域】
[0001] 本发明属于数字地形分析和并行计算的交叉技术领域，涉及基于数据密集型的并 行计算数据拆分的优化方法，给出一种基于分布式内存并行计算模式下面向并行数字地形 分析的机群最优的参数选取方法。
【背景技术】
[0002] 数字地形分析（Digital Terrain Analysis，简称DTA)是在数字高程模型 (Digital Elevation Model，简称DEM)的基础上进行地形属性计算和特征提取的数字信息 处理技术。数字高程模型DEM是用一组有序数值阵列形式表示地面高程的一种实体地面模 型，是数字地形模型（Digital Terrain Model，简称DTM)的一个分支，其它各种地形特征值 均可由此派生。并行数字地形分析是使用并行计算的技术来解决数字地形分析中的海量数 据量的高效处理问题。随着各种新型传感器以及测量技术的出现，DEM数据呈级数增长，从 而导致单机环境下对大规模的数据进行处理是一件十分困难的事情。因此使用并行计算技 术可以有效地解决单处理器的计算瓶颈问题以及提高数据处理的效率。目前并行数字地形 分析的研宄热点主要集中在DEM数据构建的并行化以及数字地形分析算法并行化，其中基 于数据密集型并行计算的策略研宄还处在定性分析阶段，而对于数据密集型并行计算策略 的建模分析以及量化研宄尚未有所涉及。
[0003] 数据密集型并行计算的策略主要是指对海量数据进行拆分，然后分发到各个计算 节点进行并行计算，从而提高计算效率。数据拆分是实现并行数字地形分析的主要策略之 一。目前，关于数据拆分的研宄主要集中在采用何种数据管理策略来提高并行计算的效率 以及相关的存储策略来降低DEM数据的存储空间。这些研宄方法不仅缺乏对拆分数据的大 小以及拆分数据之间的依赖关系等量化问题的研宄，而且没有考虑数据拆分与数据及任务 调度方式、并行计算的机群环境，因而难以给出定量化的数据拆分优化方法。
【发明内容】
[0004] 本发明针对上述问题，针对点集均匀分布的规则格网DEM，提出了一种基于分布内 存并行计算环境下可量化的数据拆分优化方法和并行计算集群节点最优参数选择。
[0005] 本发明的一种基于分布式内存的并行数字地形分析优化方法，包括：
[0006] ( -）确定面向并行数字地形分析的数据分发粒度和结果融合粒度的大小，其中， 数据分发粒度DDG是指任务的计算时间与该任务需要的数据分发时间的比值，可以表示 为：
【主权项】
1. 一种基于分布式内存的并行数字地形分析优化方法，其特征在于，所述方法包括： (一） 确定面向并行数字地形分析的数据分发粒度和结果融合粒度的大小，其中，数据 分发粒度DDG是指任务的计算时间与该任务需要的数据分发时间的比值，可W表示为： DDG = ^ Td (1) T。为任务的计算时间，T d为数据的分发时间，包括数据从外部存储器读取的I/O时间； 结果融合粒度RFG是指任务的计算时间与结果的回收与融合时间的比值，可W表示 为： RFG = 'L & (2) Tf为计算结果的回收与融合时间，也包括数据写入外部存储器的I/O时间； 数据分发粒度DDG和结果融合粒度RFG的具体计算过程如下： 步骤11，选取一个大小为Q的基本数据块，然后根据算法设计程序，并运行，分别测得 Qh= h*Q的数据分发时间，h为整数且h = 1，2,…10,计算时间和结果回收时间； 步骤12,根据公式（1)和（2)的定义，分别计算得到DDGh和RFGh的值，然后分别计算 数据分发粒度DDG和结果融合粒度RFG的平均值，即，
(二） 分布式内存并行计算模式下，基于分布式内存的数据顺序分发和调度策略；数据 分发和任务计算同时进行，考虑计算节点或进程启动与关闭开销，计算数据拆分的数据块 最优数目和块大小；基于数据块最优数目，对集群节点配置参数进行优化选择；具体过程 包括： 步骤21，确定最优的数据块数目和大小：已知待计算的数据大小W，数据分发速度V，进 程启动延迟开销5，W及由上一步得到的数据分发粒度DDG和结果融合粒度RFG，根据下面 公式计算得到最优的数据块数目K :
步骤22,根据数据大小W和拆分的数据块数目K得到单个数据块的大小P : P二已 K 步骤23,由下式得到总的计算时间为：
步骤24,确定并行计算集群的参数，即节点数目或核总数N，最佳的并行计算集群的节 点数目或核总数应为最优的数据块数目K，即一个轮次全部计算完毕。
【专利摘要】本发明属于数字地形分析和并行计算的交叉技术领域，涉及一种基于分布式内存的并行数字地形分析优化方法。包括：面向并行数字地形分析的数据分发粒度和结果融合粒度的模型及其计算方法；基于分布式内存的数据顺序分发和调度策略；考虑计算节点启动与关闭开销的数据拆分块数目的最优化方法；基于最优的数据块数目的集群节点配置参数选择方法。本发明完全可应用于大规模海量数据的并行数字地形分析的高性能计算的数据拆分和集群参数选择场合，例如，规则格网并行插值、坡度坡向并行计算、洼地填平并行计算等地形因子提取；可以应用于地理信息处理的高性能计算；也可以应用于基于地理信息的空间决策分析和数据挖掘等应用场合，提高处理效率。
【IPC分类】G06F15-16, G06F17-30
【公开号】CN104598600
【申请号】CN201510036719
【发明人】窦万峰, 李岩
【申请人】南京师范大学
【公开日】2015年5月6日
【申请日】2015年1月23日