一种基于分治网格的空间大数据算法的制作方法

文档序号:23720521发布日期:2021-01-24 07:57阅读:来源:国知局

技术特征:
1.一种基于分治网格的空间大数据算法,其特征在于:包括分治网格划分,首先将需要计算的空间数据进行预处理,并且进行降维投影,根据投影的密度分布进行分治可变网格划分;所述分治网格划分具体步骤如下:步骤1:将mn的空间数据分别在x,y轴进行投影;步骤2:对x轴的投影按照密度分为k=格,在y轴的投影按照密度也分为k=格;步骤3:将网格和图层进行空间叠加,将原图层拆分为每个网格一个图层的格式;步骤4:在分区存储的基础上,利用希尔伯特曲线建立空间数据的索引。2.根据权利要求1所述的一种基于分治网格的空间大数据算法,其特征在于,所述密度分布可变网格划分,对于x轴数据,采用快速排序法排序后的数据可表示为d = { q1,q2,

,qn},将d等深划分为k 个区间段,则各区间段内的数据点个数均为[n/k],此时第i个区间段ii = q([n/k]*i) - q([n/k]*(i-1) +1) 。3.根据权利要求1所述的一种基于分治网格的空间大数据算法,其特征在于,将不同图层和网格的叠加分析任务并行化,利用多个节点的计算能力并行处理,称为分配调度计算;在集群化处理方面,利用spark将整个的计算任务分解为每个网格的计算任务在集群上分别执行,最终通过数据汇总任务将各个子任务的结果进行汇总形成最终结果;通过分布式的分配调度计算可以突破以往单机计算能力不足的缺陷。4.根据权利要求3所述的一种基于分治网格的空间大数据算法,其特征在于,所述spark分布式桉网格进行计算,按照网格将数据解析处理,提取出计算需要的数据,然后将数据封装为任务,提交到 kafka 的消费者模块,传输到数据处理程序当中;spark 数据处理模块接收到 kafka 发出的任务执行命令,spark 根据任务选择计算程序进行计算,并且渲染计算结果。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1