数据结构的处理方法和系统的制作方法_2

文档序号:8487914阅读:来源:国知局
,图2中仅示出了两个存储节点,节点(I)和节点(2)。应当理解的是,节点的数目可以为任意多个,并且可以根据需要(例如成本和性能等因素)进行扩展。图2中为了说明的方便仅仅示出了六个顶点(A-F)以及八条边。应当理解的是,顶点的数目没有任何限制,边的数目也没有任何限制。
[0037]如图2所示,图示了根据本公开的实施例的处理方法将顶点分割后示意图。如图2所示,将六个顶点分割成两组ADEF和ABCD,将每组顶点分别存储在存储节点(I)和(2)中,同时生成表示每个顶点与对应的存储节点之间关系的两个存储路由表。第一个存储理由表(图上侧)示出了顶点与对应的存储节点之间的关系。如图所示,顶点A被存储在节点I和2中,顶点B被存储在节点I中,顶点C被存储在节点I中。类似地,第二个存储理由表(图下侧)示出了顶点与对应的存储节点之间的关系。存储路由表示出了顶点与节点之间关系的存储,指明了每个节点存储的位置和次数。正是由于存储路由表的存在,使得能够实现顶点的快速寻找和访问。
[0038]根据本公开的一个实施例,将多个顶点分割成多组包括:统计多个顶点的数目并且将多个顶点分成与存储节点数目对应的多组。这样能够实现各存储节点的负载平衡。在一些实施例中,可以根据机器的性能,适应性地调整每个存储节点中的顶点的数目。
[0039]根据本公开的一个实施例,将多个顶点分割成多组包括:确定所述多组中的每组中的边;确定与每组中的边相关联的顶点;以及以边不冗余、而与所述边相关联的顶点冗余的方式,将多个顶点分割成多组。在图2中示出了边不冗余而相关联的顶点可冗余的方式进行分割的示意图。由于顶点定义的属性和边定义的属性的差异,通过这种方式来进行处理,在数据的运算方面具有优势。
[0040]根据本公开的一个实施例,将多个顶点分割成多组包括:确定所述多组中的每组中的顶点;确定与每组中的顶点相关联的边;以及以以顶点不冗余、而与所述顶点相关联的边冗余的方式,将多个顶点分割成多组。这种顶点不冗余、而与所述顶点相关联的边冗余的分割原理与边不冗余而与所述边相关联的顶点冗余的分割原理类似,均能够实现分布式数据处理的优点。根据本公开的一个实施例,生成表示每个顶点与对应的存储节点之间关系的存储路由表还包括:生成表示每个边与对应的存储节点之间关系的存储路由表。在这种情况下,由于顶点不冗余,顶点与各自的存储节点在顶点划分时即可确定下来,因此这里的术语“存储路由表”表示出了边与节点之间关系的存储,指明了每个边存储的位置。存储路由表的设置为访问边提供了路由途径。
[0041]根据本公开的一个实施例,顶点表示对象数据;边表示对象之间的关系数据。应当理解的是,对象数据可以是主体,而边可以是主体间的关系。
[0042]根据本公开的一个实施例,每个存储节点包括能够进行独立运算的计算设备,并且每个存储节点能够响应于客户端的请求对所存储的图执行并行运算。在一个实施例中,存储节点为计算机。由于顶点被分割进而进行分布式存储,在存储节点具有独立运算的情况下,可以实现以图表征的数据结构的并行计算。与单机运算和存储相比,大幅度提高了运算和计算能力。
[0043]根据本公开的第二方面,提供一种数据结构的处理系统,其中,数据结构以图表征,图包括多个顶点和连接顶点的多条边,其中以顶点和边的属性来定义数据,处理系统包括:分割装置,配置成将多个顶点分割成多组;存储装置,配置成将每组顶点存储在对应的存储节点中;以及路由表生成装置,配置成生成表示每个顶点与对应的存储节点之间关系的存储路由表。
[0044]图3是根据本公开的示例性实施例的数据结构的处理系统的配置示意图。如图3所示,处理系统包括:分割装置12,配置成将多个顶点分割成多组;存储装置14,配置成将每组顶点存储在对应的存储节点中;以及路由表生成装置16,配置成生成表示每个顶点与对应的存储节点之间关系的存储路由表。根据本公开实施例的处理系统与本公开的实施例的处理方法对应,因此可以实现类似的效果。
[0045]根据本公开的一个实施例,分割装置12配置成统计多个顶点的数目并且将多个顶点分成与存储节点数目对应的多组。
[0046]图4是根据本公开的示例性实施例的分割装置的配置示意图。如图4所示,分割装置12还包括:边确定部件22,配置成确定所述多组中的每组中的边;顶点确定部件24,配置成确定与每组中的边相关联的顶点;以及第一分割部件26,配置成以边不冗余、而与所述边相关联的顶点冗余的方式,将多个顶点分割成多组。
[0047]根据本公开的未示出的一个实施例,分割装置还包括:顶点确定部件,配置成确定所述多组中的每组中的顶点;边确定部件,配置成确定与每组中的顶点相关联的边;以及第二分割部件,配置成以顶点不冗余、而与所述顶点相关联的边冗余的方式,将多个顶点分割成多组。根据本公开的一个实施例,路由表生成装置还包括:边路由表生成部件,配置成生成表不每个边与对应的存储节点之间关系的存储路由表。
[0048]根据本公开的一个实施例,顶点表示对象数据;边表示对象之间的关系数据。
[0049]根据本公开的一个实施例,每个存储节点为能够进行独立运算的计算设备,并且每个存储节点能够响应于客户端的请求对所存储的图执行并行运算。
[0050]上述处理系统的实施例可以实现与对应的处理方法相同或类似的效果,为简明起见,省略对其重复说明。
[0051]通过以上描述和相关附图中所给出的教导,这里所给出的本公开的许多修改形式和其它实施方式将被本公开相关领域的技术人员所意识到。因此,所要理解的是,本公开的实施方式并不局限于所公开的【具体实施方式】,并且修改形式和其它实施方式意在包括在本公开的范围之内。此外,虽然以上描述和相关附图在单元和/或功能的某些示例组合形式的背景下对示例实施方式进行了描述,但是应当意识到的是,可以由备选实施方式提供单元和/或功能的不同组合形式而并不背离本公开的范围。就这点而言,例如,与以上明确描述的有所不同的单元和/或功能的其它组合形式也被预期处于本公开的范围之内。虽然这里采用了具体术语,但是它们仅以一般且描述性的含义所使用而并非意在进行限制。
【主权项】
1.一种数据结构的处理方法,其中,所述数据结构以图表征,所述图包括多个顶点和连接顶点的多条边,其中以所述顶点和所述边的属性来定义数据,所述方法包括: 将所述多个顶点分割成多组; 将每组顶点存储在对应的存储节点中;以及 生成表不每个顶点与对应的存储节点之间关系的存储路由表。
2.根据权利要求1所述的处理方法,其中将所述多个顶点分割成多组包括: 统计所述多个顶点的数目;并且 将所述多个顶点分成与存储节点数目对应的多组。
3.根据权利要求2所述的处理方法,其中将所述多个顶点分割成多组包括: 确定所述多组中的每组中的边; 确定与每组中的边相关联的顶点;以及 以边不冗余、而与所述边相关联的顶点冗余的方式,将所述多个顶点分割成多组。
4.根据权利要求2所述的处理方法,其中将所述多个顶点分割成多组包括: 确定所述多组中的每组中的顶点; 确定与每组中的顶点相关联的边;以及 以顶点不冗余、而与所述顶点相关联的边冗余的方式,将所述多个顶点分割成多组。
5.根据权利要求4所述的处理方法,其中生成表示每个顶点与对应的存储节点之间关系的存储路由表包括: 生成表不每个边与对应的存储节点之间关系的存储路由表。
6.根据权利要求1-5中任一项所述的处理方法,其中所述顶点表示对象数据,所述边表示对象之间的关系数据。
7.根据权利要求1-5中任一项所述的处理方法,其中每个存储节点包括能够进行独立运算的计算设备,并且每个存储节点能够响应于客户端的请求对所存储的图执行并行运笪并ο
8.一种数据结构的处理系统,其中,所述数据结构以图表征,所述图包括多个顶点和连接顶点的多条边,其中以所述顶点和所述边的属性来定义数据,所述系统包括: 分割装置,配置成将所述多个顶点分割成多组; 存储装置,配置成将每组顶点存储在对应的存储节点中;以及 路由表生成装置,配置成生成表示每个顶点与对应的存储节点之间关系的存储路由表。
9.根据权利要求8所述的处理系统,其中所述分割装置配置成统计所述多个顶点的数目并且将所述多个顶点分成与存储节点数目对应的多组。
10.根据权利要求9所述的处理系统,其中所述分割装置还包括: 边确定部件,配置成确定所述多组中的每组中的边; 顶点确定部件,配置成确定与每组中的边相关联的顶点;以及第一分割部件,配置成以边不冗余、而与所述边相关联的顶点冗余的方式,将所述多个顶点分割成多组。
11.根据权利要求9所述的处理系统,其中所述分割装置还包括: 顶点确定部件,配置成确定所述多组中的每组中的顶点; 边确定部件,配置成确定与每组中的顶点相关联的边;以及 第二分割部件,配置成以顶点不冗余、而与所述顶点相关联的边冗余的方式,将所述多个顶点分割成多组。
12.根据权利要求11所述的处理系统,其中所述路由表生成装置还包括: 边路由表生成部件,配置成生成表示每个边与对应的存储节点之间关系的存储路由表。
13.根据权利要求8-12中任一项所述的处理系统,其中所述顶点表示对象数据;所述边表示所述对象之间的关系数据。
14.根据权利要求8-12中任一项所述的处理系统,其中每个存储节点包括能够进行独立运算的计算设备,并且每个存储节点能够响应于客户端的请求对所存储的图执行并行运笪并ο
【专利摘要】本公开的实施例涉及数据结构的处理方法和处理系统,其中,所述数据结构以图表征。所述图包括多个顶点和连接顶点的多条边,其中以顶点和边的属性来定义数据。所述方法包括:将多个顶点分割成多组;将每组顶点存储在对应的存储节点中;以及生成表示每个顶点与对应的存储节点之间关系的存储路由表。根据本公开的实施例的处理方法和处理系统,以成本低的方式实现了图的存储与图的快速计算。
【IPC分类】G06F17-30
【公开号】CN104809249
【申请号】CN201510254644
【发明人】董旭, 于潇
【申请人】北京嘀嘀无限科技发展有限公司
【公开日】2015年7月29日
【申请日】2015年5月18日
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1