一种基于多机多进程的地理网格金字塔并行构建方法与流程

1.本发明涉及导航定位领域，尤其是一种基于多机多进程的地理网格金字塔并行构建方法。


背景技术：

2.随着我国自发展北斗系统的广泛应用，北斗数据日益成为重要的数据源输入之一。北斗网格是适用于北斗系统终端输出的一种编码格式，具有我国完全自主知识产权，采用经纬度剖分，具有边界不重叠、网格正交、经纬一致、与传统数据规格兼容性好等特点，且能够进行点面一体化表征的特点。
3.全球任一空间几何对象都能够被北斗网格集合覆盖，北斗网格在空间无缝无叠、层次递归，与高性能并行计算分而治之的原理高度匹配，具有天然的并行计算优势。网格的空间划分进行空间数据计算任务划分，实现海量空间数据的网格并行化调度和计算。
4.mpi(message passing interface)是独立于语言的通信协议，mpi是一种进程级的并行方式，它支持分布式存储。mpi是基于消息传递的并行编程，它提供了语义丰富的消息通信机制，包括点对点、组播和多播模式。用户程序利用这些接口进行进程之间的数据移动、聚集、规约和同步，常见的编程模式为单程序多数据模型(single instruction multiple data,simd)和主从模式。
5.一个进程可以通过指定另一个进程的rank序号以及一个独一无二的消息标签(tag)来发送消息给另一个进程。接受者可以发送一个接收特定标签标记的消息的请求(或者也可以完全不管标签，接收任何消息)，然后依次处理接收到的数据。类似这样的涉及一个发送者以及一个接受者的通信被称作点对点(point-to-point)通信。
6.当然在很多情况下，某个进程可能需要跟所有其他进程通信。比如主进程想发一个广播给所有的从进程。在这种情况下，手动去写一个个进程点对点的信息传递就显得很笨拙。而且事实上这样会导致网络利用率低下。mpi有专门的接口来帮我们处理这类所有进程间的集体性(collective)通信。
7.在集群系统中，集群的各节点之间可以采用mpi编程模型进行程序设计，每个节点都有自己的内存，可以对本地的指令和数据直接进行访问，各节点之间通过互联网络进行消息传递，这样设计具有很好的可移植性，完备的异步通信功能，较强的可扩展性等优点。
8.openmp是一套支持跨平台共享内存方式的多线程并发的编程api，使用c,c++和fortran语言，可以在大多数的处理器体系和操作系统中运行。openmp是一个跨平台的多线程实现，主线程(顺序的执行指令)生成一系列的子线程，并将任务划分给这些子线程进行执行。这些子线程并行的运行，由运行时环境将线程分配给不同的处理器。
9.openmp是基于共享内存架构的并行计算框架，更适合本地单台计算机的运算，由于使用线程间共享内存的方式协调并行计算，它在多核/多cpu结构上的效率很高、内存开销小、编程语句简洁直观。
10.mpi+openmp分布式混合并行框架能够很好的解决集群和单机上遇到的并行问题，
将任务划分成小任务，有mpi负责粗粒度的任务并行，将多个任务在多节点之间进行分发和共享。openmp负责细粒度的计算并行，每个进程获取小任务之后，再将任务分发成微任务，启动多个开销更小的子线程去并行处理，最大限度地将任务细分，资源利用最大化。
11.北斗剖分网格码是以geosot为基础发展的适用于北斗系统终端输出的一种编码格式，与北斗系统的精度相适应，与北斗终端芯片的能力相匹配，作为以北斗系统为核心的pnt(定位、导航、授时)体系的一种基本输出，为地球空间万事万物的离散化位置赋值，其核心是将地球完整剖分成32级、无缝嵌套、最小尺度为1.5cm2的网格群，同时为每个网格赋予一个全球唯一的整型数编码。
12.geosot网格具有我国完全自主知识产权，采用经纬度剖分，具有边界不重叠、网格正交、经纬一致、与传统数据规格兼容性好等特点，且能够进行点面一体化表征。geosot将地球表面空间进行3次拓展，即将纬度(-90
°
～90
°
)和经度(-180
°
～180
°
)都拓展为(-256
°
～256
°
)，将1
°
拓展为64
′
，将1
′
拓展为64
″
，实现等度、等分、等秒剖分。
13.在平面网格的基础上，通过高度维扩展，将上至地球外围52万km、下至近地心的地球全域空间剖分成数以兆亿个大到全球网格、小到厘米级网格的32级网格体元，网格形状相似、既无缝隙也不重叠，构成地球全域空间剖分网格基准框架。
14.北斗剖分网格码表征要素模型，用网格表征点、线、面要素时，要素与网格单元的数量比例不定。如可用一个网格单元表示一个点对象，用网格单元集合表征线、面对象。如图1所示，为北斗网格金字塔模型；
15.金字塔模型常用于大规模遥感影像可视化应用之上，采用不同分辨率的数据来提高渲染速度，从而在网络环境下实现大规模数据共享、服务和辅助决策支持。网格金字塔借鉴影像金字塔的思想，将全球矢量数据按照不同的层级进行切分成大小相同的瓦片，并将层级、行和列数据保存在数据库中，通过构建多key值索引，能够快速定位选中瓦片的网格信息。
16.如图2所示，随着层级的增高，瓦片数量变大，计算量也会变大，从而导致传统的串行计算方式远不能满足性能要求，因此，需要发挥多机多cpu的资源优势，将大量的网格瓦片分而治之，分配给不同的cpu核心进行网格计算，从而提升应用的整体性能。
17.分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库。每个被连接起来的数据库单元称为站点或节点。
18.目前，大数据领域常用的并行框架除了mpi之外，还有擅长离线计算的hadoop和内存计算框架spark。hadoop是离线计算，基于磁盘，每次运算之后的结果需要存储在hdfs里面，下次再次使用时，仍需要从磁盘中读出进行计算，磁盘io开销比较大；spark适用于多次迭代的计算模型，诸如各种机器学习算法，由于内存的限制使得spark处理数据规模远小于hadoop。
19.基于并行框架的北斗网格并行计算目前还没有成型的应用，之所以选用mpi作为底层的并行框架，主要是对比了常用的并行框架，mpi更加轻量化，数据存储和数据计算是分开的，能够选用更加符合应用场景的存储组件。同时，使用mpi自由度更高，能够根据不同的应用场景来定制化数据分割算法，最大可能保证任务的负载匀衡。
20.同时，针对北斗网格构建的方法最常用的方式有两种。其一，将整个区域按照固定层级的进行打码入库，这种方法适合于小范围区域，遇到较大范围区域，不仅计算复杂而且
产出的数据量较大，网络传输代价过高，不适合与客户端的数据交互。其二，根据客户端传入的经纬度坐标实时进行打码，再通过网络传输到客户端，该过程需要不断的进行复杂、重复的网格计算，遇到较大范围的区域仍会遇到网络io的瓶颈问题，无法满足高并发场景的性能需要。
21.现有方案的缺点：
22.1、hadoop基于磁盘，每一次计算需要发生多次磁盘io，磁盘的读写速度远远低于内存、缓存的读写速度，导致整个计算的性能瓶颈集中在存储，因此不适用于多次迭代计算的场景。
23.2、hadoop计算算子单一，只有map和reduce两种接口，使用自由度太低，无法满足复杂场景的需求，需要为了适配hadoop原生算子来修改数据格式或者底层的算法逻辑。
24.3、hadoop需要基于hdfs存储，组件过于臃肿，部署应用困难，很难适用于小范围场景。
25.4、spark相比于hadoop更加轻量，但由于是基于内存的计算框架，不适合数据处理规模过大的应用。同时，代码自由度较低，很难保证任务的负载均衡。
26.5、无论是按照整个区域提前打码入库还是按照客户端请求实时打码计算，均无法兼顾计算性能和网络io，从而导致整体应用的性能下降，影响与客户端的交互效果。


技术实现要素：

27.本发明在mpi+openmp分布式混合并行计算框架之上，结合分布式存储和分布式数据库，完成北斗网格金字塔的构建工作，充分发挥多机多核心硬件优势，提高北斗网格金字塔构建性能。本发明围绕北斗网格码数据存储和检索方面进行创新和实践，首先，兼容计算和网络io的北斗网格金字塔模型，将数据分而治之，结合分布式数据存储组件，提高网格打码入库和检索的性能。其次，基于自由度更高，更轻量的mpi+openmp分布式混合计算框架，发挥多机多cpu的资源优势，采用主从动态并行模式，自定义数据分片格式和存储方式，将北斗网格数据更加均匀地划分，从而进一步提升大区域、大范围下北斗网格的构建和计算性能。
28.本发明的技术方案为：一种基于多机多进程的地理网格金字塔并行构建方法，包括如下步骤：
29.步骤1、主进程将元数据和数据库配置相关信息进行合并之后使用组播的方式将属性信息发送到各个从进程中；
30.步骤2、根据最大和最小层级切分瓦片数据；
31.步骤3、主进程将瓦片信息全量发送到指定的从进程中；
32.步骤4、从进程的任务执行进度采用收集的方式，从进程接收分发的任务；
33.步骤5、各个从进程循环执行数据校验，根据接收到的level,x,y获取网格瓦片的经纬度坐标，判断是否与待获取区域相交，如果不相交则抛弃该网格瓦片；
34.步骤6、各个从进程执行网格打码，根据网格瓦片的经纬度坐标创建polygon格式的geometry对象，调用网格打码函数，完成该网格瓦片的打码操作；
35.步骤7、各个从进程执行网格数据入库：将打码之后的结果保存到分布式数据库中；
36.步骤8、各个从进程汇报任务状态：采用点对点的消息模型，实时向主进程汇报任务的处理状态和进度；
37.步骤9、主进程收集从进程任务执行情况，等待全部进程结束。
38.进一步的，所述步骤3中，主进程将瓦片信息全量发送到指定的从进程中，是采用mpi非阻塞异步通信的方式，当主进程向第一从进程发送任务详情时，不需要等待第一从进程将数据接收成功就可以直接返回，发送和接收的工作有mpi系统后台执行，继续向第二从进程发送任务，以此类推直至任务全部发送完成。
39.进一步的，在关系型数据库中定义一个复合类型gridcell，用于表示北斗剖分中的一个2d/3d单元网格，北斗剖分网格分为2d网格和3d网格，其中2d网格由纬度、经度分别进行二进制剖分，然后通过莫顿编码合并成一维二进制编码，网格层级从1-32级，每级用2个二进制位表达，用64位无符号长整型可存储32级二维编码，code表示经纬度剖分码，zcode表示高程剖分码，level表示网格层级，还包括一个dim位用于区分2d或3d数据。
40.进一步的，在关系型数据库中定义一个复合类型geomgrids，是北斗剖分网格的集合类型，由一个或多个层级相同或不同的单元网格组成，用于表征非点几何要素，实现geometry对象与geomgrids对象的一一对应。
41.进一步的，一个geomgrids中存在不同层级的单元网格，层级最高的网格单元的层级，为geomgrids对象的层级，称为detaillevel，geomgrids支持2d/3d的网格单元。
42.进一步的，北斗网格金字塔并行构建的过程具体如下，单进程在创建网格金字塔的过程中，会将固定层级level下的全球数据分成大小相等的多个正方形，在二维坐标下获取正方形的x和y的位置(minx,miny,maxx,maxy)，根据level、x和y就可以获取该正方形的经纬度坐标，经过网格生成函数计算出该瓦片的网格集合geomgrids，每个geomgrids集合包含多个gridcell，每个gridcell之间是互不干涉，互相独立的，单进程启动多个子线程，每个子线程是共享该瓦片的网格集合数据，在不影响其他网格单元的基础上，自主完成网格单元的计算任务。
43.有益效果：
44.1、针对背景技术提到的缺点1-4，本发明采用mpi+openmp分布式混合并行计算框架，mpi+openmp是一组c/c++的计算库，本发明相比hadoop和spark更加轻量，部署简单，便于上手开发；mpi定义了点对点、组播和多播等数据传输模式，数据的划分和分片需要用户根据具体的业务需要进行划分，自由度更高，更便于定制化负载均衡的业务；同时，由于北斗网格在空间无缝无叠、层次递归，具有天然的并行优势，非常适合mpi的多种数据传输模型。openmp更加适合于单机并行计算，能够利用多核多线程的优势，完成更加细粒度的并行任务。
45.2、针对背景技术部分提到的缺点5，本发明通过北斗网格金字塔来兼顾计算性能和网络io，从而提升整个服务交互的性能。北斗网格金字塔会提前将大范围区域根据不同的层级进行瓦片切分，再将切分好的数据进行打码入库。从而保证金字塔的高层级-》待打码区域大-》大网格覆盖-》打码数据量小，金字塔的低层级-》待打码区域小-》小网格覆盖-》打码数据量大。依赖分布式数据库，将网格瓦片数据创建gin索引，提升查询效率。将目前复杂的“先请求、后计算、再服务”的串行、有源服务模式，变为简单的“接收+匹配”的并行、无源服务模式，提升用户体验。
46.3、传统方案中，空间数据网格化无法兼顾计算和io的性能，从而导致在与客户端交互的过程中性能不佳。北斗网格金字塔发挥高性能计算的能力，将空间数据按照瓦片划分的方式将打码结果存储到分布式数据库中，不仅提升打码和索引速度，而且保障高并发环境下的稳定运行。
47.4、mpi+openmp相对于hadoop和spark并行框架更加轻量，自由度更高，可以根据不同的业务场景来划分数据，均匀分配任务；mpi负责粗粒度的任务并行，openmp负责细粒度的计算并行，将大任务更细粒度的划分成微小任务；采用高效的全局通信聚合算法减少通信次数，降低通信开销，有助于加快北斗网格金字塔算法的构建效率。
附图说明
48.图1：北斗网格金字塔示意图；
49.图2：分布式数据库；
50.图3：多机多进程并行执行的过程中，各个进程打码之后的网格会根据设定好的规则有序的插入到对应的数据库节点中；
51.图4：gridcell数据类型的结构；
52.图5：geomgrids存储结构；
53.图6：cells内部结构(2d)；
54.图7：cells内部结构(3d)；
55.图8：mpi非阻塞异步通信的示意图；
56.图9：北斗网格金字塔并行构建的主要流程；
57.图10：本发明方法的加速比。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
59.根据本发明的实施例，提出一种基于多机多进程的地理网格金字塔并行构建方法，包括如下步骤：
60.步骤1、主进程将元数据和数据库配置相关信息进行合并之后使用组播的方式将属性信息发送到各个从进程中；
61.步骤2、根据最大和最小层级切分瓦片数据；
62.步骤3、主进程将瓦片信息全量发送到指定的从进程中；
63.步骤4、从进程的任务执行进度采用收集的方式，从进程接收分发的任务；
64.步骤5、各个从进程循环执行数据校验，根据接收到的level,x,y获取网格瓦片的经纬度坐标，判断是否与待获取区域相交，如果不相交则抛弃该网格瓦片；
65.步骤6、各个从进程执行网格打码，根据网格瓦片的经纬度坐标创建polygon格式的geometry对象，调用网格打码函数，完成该瓦片的网格化构建；
66.步骤7、各个从进程执行网格数据入库：将打码之后的结果保存到分布式数据库
中；
67.步骤8、各个从进程汇报任务状态：采用点对点的消息模型，实时向主进程汇报任务的处理状态和进度；
68.步骤9、主进程收集从进程任务执行情况，等待全部进程结束。
69.下面进行详细说明。
70.分布式数据库的基本特点包括：物理分布性、逻辑整体性和站点自治性。物理分布式性：数据库中的数据不是存储在同一场地。更确切地讲，不存储在同一计算机的存储设备上。逻辑整体性：用户可以在任何一个场地执行全局应用，就好像那些数据是存储在同一台计算机上；站点自治性：每个单一的数据库单元能够自主处理本节点上的任意读写和计算请求。
71.北斗网格金字塔构建结果需要插入到数据库中以供上层服务实时获取，因此，在解决计算性能瓶颈之后，入库性能将是影响整体应用性能的重要因素，所以，采用分布式数据库，各个数据库单元自治，将入库io压力让多个节点单元进行分担，从而减少io瓶颈，加速整体计算性能。
72.如图3所示，多机多进程并行执行的过程中，各个进程打码之后的网格会根据设定好的规则有序的插入到对应的数据库节点中。本发明主要取网格瓦片level,x,y属性值中的x值，将x经过hash运算之后来分配对应的数据库节点，这样可以保证网格瓦片数据在各个数据库节点中分配均匀，同时也保障创建多key值索引之后的检索查询效率，减少多个查询结果的合并和节点之间的网络开销。
73.首先，本发明中gridcell数据类型定义如下：
74.在关系型数据库中定义一个复合类型gridcell，用于表示北斗剖分中的一个2d/3d单元网格。
75.(1)北斗剖分网格分为2d网格和3d网格。其中2d网格由纬度、经度分别进行二进制剖分，然后通过莫顿编码合并成一维二进制编码。网格层级从1-32级，每级用2个二进制位表达，用64位无符号长整型(unsigned long)可存储32级二维编码；
76.(2)3d网格在2d网格的基础上，增加了高程剖分编码，高程剖分的范围也是1-32级，用1个二进制位表示一级剖分。用32位无符号整型(unsigned int)可存储32级高程编码；
77.(3)层级范围在1-32，可用unsigned char存储层级；
78.(4)由于gridcell是兼容2d/3d，需要指定一个类型标志dim，区别二三维网格。
79.综上所述，gridcell数据类型的结构如图4所示。
80.结构中各个变量如表1：
81.表1
82.变量名存储内容类型长度code经纬度剖分码unsigned long8字节zcode高程剖分码unsigned int4字节level网格层级unsigned char1字节dim网格维度标识bool1字节
83.本发明中geomgrids数据类型定义如下：
84.在关系型数据库中定义一个复合类型geomgrids，是北斗剖分网格的集合类型，由一个或多个层级相同或不同的单元网格组成。可用于表征非点几何要素，实现geometry对象与geomgrids对象的一一对应。
85.一个geomgrids中可能会存在不同层级的单元网格，层级最高的网格单元的层级，为geomgrids对象的层级，称为detaillevel。
86.geomgrids支持2d/3d的网格单元，但不会同时支持2d和3d。要求网格单元要么全是2d、要么全是3d。在geomgrids中也存在dim成员，存储维度信息。
87.geomgrids存储结构如图5所示。结构中各个变量如下表2：
88.表2
89.变量名存储内容类型长度sizegeomgrids对象自身长度unsigned int4字节detaillevel最大层级unsigned char1字节dim网格维度标识bool1字节cells网格单元数组char*变长
90.cells为一个geomgrids对象中存储网格单元的偏移量。cell的长度取决于网格单元的数量和网格单元的维度类型。2d/3d情况下存储结构有所差异，为了节省存储空间，当geomgrids为2d时，不存储网格单元的zcode值。
91.cells内部结构(2d)如图6所示。
92.cells内部结构(3d)如图7所示。
93.本发明中，北斗网格金字塔并行构建的过程具体如下。
94.北斗网格金字塔在wgs84地理坐标系统和墨卡托(mercator)投影下，将地球二维化，在高层级我们只需要宏观的信息，使用较大网格(比如百公里网格)构建更为合适，在低层级我们需要更加微观的信息，使用较小网格(比如米级网格)构建能够更加清楚地表示小区域范围的内容。每一层级的网格瓦片向下一层级会分裂成4个大小相等的网格瓦片，以此类推，层级越小，切分的瓦片个数越多，网格表现的数据信息更加精细。
95.单进程在创建网格金字塔的过程中，会将固定层级level下的全球数据分成大小相等的多个正方形，在二维坐标下获取正方形的x和y的位置(minx，miny，maxx，maxy)，根据level、x和y就可以获取该正方形的经纬度坐标，经过网格生成函数计算出该瓦片的网格集合geomgrids。
96.每个geomgrids集合包含多个gridcell，每个gridcell之间是互不干涉，互相独立的，单进程启动多个子线程(openmp计算框架)，每个子线程是共享该瓦片的网格集合数据，在不影响其他网格单元的基础上，自主完成网格单元的计算任务。
97.由于不同层级下，瓦片切分数量不同，在多机多进程的过程中，不能仅根据层级进行分配任务，这样容易导致低层级的进程分配过多的瓦片，增加低层级进程的计算耗时，影响整体的计算效率。
98.本发明采用主从动态并行方案(mpi计算框架)，主进程负责任务的分配、监控和数据整合，从进程负责主要的计算任务。主进程将所有网格瓦片打码计算分解成一系列的计算单元，将一至数个计算单元依次分配给各从进程，然后等待从进程报告计算的完成，当一个从进程完成了所分配的计算后，从剩余的计算单元中分配新的计算任务给它，如果所有
计算单元已分配完毕，则通知完成计算的从进程退出。为了有避免在主进程中形成通信、内存容量方面的瓶颈，主进程只发布用于控制计算的少量参数，将数据计算和结果分布存储在各从进程中。
99.根据瓦片切分规则，主进程负责将数据从高层级到低层级切分的瓦片数据的level，x，y保存到一维数组中，一维数组的格式如下表3所示。其中，n表示网格瓦片数。
100.表3
101.level0x0y0level1x1y1...levelnx
nyn
102.假设进程总数为m，瓦片数为n，则负责计算的从进程数为m-1，进程号为p1到p
m-1
，则从进程分配的任务数pi定义如下：
[0103][0104]
这种任务分配的方式好处在于，能够最大可能的保证任务的均匀分配，前m-2个进程任务是相等的，m-1进程比前面的进程分配的任务数不会相差m-1个。进程个数相比任务数来说可以忽略不计。
[0105]
为了加快主进程向从进程任务分配的效率，防止主进程成为算法的性能瓶颈。本发明采用点对点非阻塞式异步通信方式，让通信和计算重叠进行，异步分发各自进程的待处理上下区间，再由独立进程根据区间范围分别计算各自的任务详情。当主进程向从进程1发送任务详情时，不需要等待进程1将数据接收成功就可以直接返回(发送和接收的工作有mpi系统后台执行)，继续向进程2发送任务，以此类推直至任务全部发送完成。非阻塞异步的方式能够加快任务的分发速度。图8为mpi非阻塞异步通信的示意图，主进程在任务发送启动之后，就可以继续执行其他的计算任务，无需等待所有从进程将数据接收完毕。
[0106]
同时，mpi进程之间的通信开销很大程度地限制了并行效率，相比本地机器的cpu寄存器、cache、内存，mpi远程通信的效率最低，因此为了减少网络通信的开销，本发明将元数据和数据库配置等相关信息进行合并之后使用组播的方式(mpi_bcast)将属性信息发送到各个从进程中；将瓦片信息采用三个32位无符号整形数据保存，并全量发送到指定的从进程中；从进程的任务执行进度采用收集的方式(mpi_gather)减少了点对点阻塞通信的次数，减少网络开销，提升算法整体性能。
[0107]
图9为北斗网格金字塔并行构建的主要流程，其中，主进程负责任务的汇总、分发和状态监控，从进程负责网格打码和入库操作。
[0108]
从进程接收分发的任务之后，循环执行数据校验、网格打码、网格数据入库和汇报任务状态的操作。
[0109]
(1)数据校验：根据接收到的level,x,y获取网格瓦片的经纬度坐标，判断是否与待获取区域相交，如果不相交则抛弃该网格瓦片。
[0110]
(2)网格打码：根据网格瓦片的经纬度坐标创建polygon格式的geometry对象，调用网格打码函数，完成该网格瓦片的打码操作。
[0111]
(3)网格数据入库：将打码之后的结果保存到分布式数据库中。
[0112]
(4)汇报任务状态：采用点对点的消息模型，实时向主进程汇报任务的处理状态和进度。并行算法常从并行加速比和并行算法效率两方面来分析并行计算的能力。
[0113]
并行加速比公式：s
p
＝ts/t
p
；其中，ts为串行算法在最优情况下的耗时，t
p
为并行算法在最坏情况下的耗时。
[0114]
并行算法效率公式：e
p
＝s
p
/p；其中，s
p
加速比，p为进程个数。
[0115]
本发明针对以上两方面，分别统计串行(单进程)到32个进程的算法并行能力，如下表和下表4所示。
[0116]
表4
[0117]
进程数12481632耗时(s)175584844224313977加速比1.002.073.977.2212.6322.79并行效率11.030.990.900.790.71
[0118]
由上表4和图10可知，随着进程数的增大，耗时逐渐减少，加速比逐渐升高，并行效率逐渐减少。根据amdahl定律，对于同样规模的数据量，由于网络、存储等瓶颈，加速比会随着节点核心的增大逐渐趋于平稳，类似抛物线形式。不过，gustafson定律在amdahl定律基础上又指出随着数据规模的增大，加速比会随着处理器核心数成比例的线性增长，串行部分不再成为整体算法的瓶颈。因此，多机多进程北斗金字塔构建算法结合分布式存储、分布式说数据库在较大规模的场景中仍能发挥至关重要的作用。
[0119]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。