成边数据的源节点和目的节点。10.一种处理图数据的装置，其特征在于，包括: 获取单元，用于获取图数据中的边数据和对所述图数据进行图计算的计算算法； 确定单元，用于根据所述计算算法，确定对所述图数据中的边数据进行分割的分割算法，所述分割算法为根据构成边数据的节点对所述图数据中的边数据进行分割的算法，所述构成边数据的节点为构成边数据的源节点和/或目的节点； 分割单元，用于根据所述分割算法和本地内存的内存容量，将所述图数据中的边数据分割为N个初始边数据块，所述N个初始边数据块中的每个初始边数据块的数据量均小于所述内存容量，I，N为整数； 排列单元，用于将所述N个初始边数据块中的每个初始边数据块中的边数据按照所述构成边数据的节点进行排列，得到N个目标边数据块。11.根据权利要求10所述的装置，其特征在于，所述计算算法在对所述图数据中的一个节点的节点数据进行计算的过程中，不需要使用该节点的出边数据，对应同一目的节点的全部边数据在一个初始边数据块中，所述构成边数据的节点为构成边数据的目的节点； 所述排列单元具体用于:将所述N个初始边数据块中的每个初始边数据块中的对应同一目的节点的全部边数据连续排列，得到N个目标边数据块。12.根据权利要求11所述的装置，其特征在于，所述排列单元还用于: 将所述N个初始边数据块中的每个初始边数据块中的对应同一目的节点的全部边数据按照该全部边数据的源节点由小至大或由大至小顺序排列，得到N个目标边数据块。13.根据权利要求10所述的装置，其特征在于，所述计算算法在对所述图数据中的一个节点的节点数据进行计算的过程中，不需要使用该节点的入边数据，对应同一源节点的全部边数据在一个初始边数据块中，所述构成边数据的节点为构成边数据的源节点； 所述排列单元具体用于:将所述N个初始边数据块中的每个初始边数据块中的对应同一源节点的全部边数据连续排列，得到N个目标边数据块。14.根据权利要求13所述的装置，其特征在于，所述排列单元还用于: 将所述N个初始边数据块中的每个初始边数据块中的对应同一源节点的全部边数据按照该全部边数据的目的节点由小至大或由大至小顺序排列，得到N个目标边数据块。15.根据权利要求11或12所述的装置，其特征在于，所述装置还包括计算单元，用于: 从所述N个目标边数据块中的第I个目标边数据块开始，循环执行SI 1-S13，直至所述N个目标边数据块中的每个目的节点的节点数据均计算完成； S11:将所述N个目标边数据块中的第M个目标边数据块读入所述本地内存，I < M < N，M为整数； S12:依次对所述第M个目标边数据块中的每个目的节点的节点数据进行计算，并根据计算结果更新该目的节点对应的第一目标数据，一个目的节点对应的第一目标数据为该目的节点的节点数据或者该目的节点的节点数据以及与该目的节点相连的全部边的权值；S13:将咖； 在对所述N个目标边数据块中的每个目的节点的节点数据均计算完成后，执行下述装置: 判断所述N个目标边数据块中的每个目的节点对应的第一目标数据中的数据是否均收敛； 若所述N个目标边数据块中的每个目的节点对应的第一目标数据中的数据均收敛，则结束计算过程； 若所述N个目标边数据块中的任意一个目的节点对应的第一目标数据中的任意一个数据不收敛，则继续从所述N个目标边数据块中的第I个目标边数据块开始，循环执行Sll-S13，直至所述N个目标边数据块中的每个目的节点对应的第一目标数据中的数据均收敛。16.根据权利要求13或14所述的装置，其特征在于，所述装置还包括计算单元，用于: 从所述N个目标边数据块中的第I个目标边数据块开始，循环执行S21-S23，直至所述N个目标边数据块中的每个源节点的节点数据均计算完成； S21:将所述N个目标边数据块中的第M个目标边数据块读入所述本地内存，I <M<N,M为整数； S22:依次对所述第M个目标边数据块中的每个源节点的节点数据进行计算，并根据计算结果更新该源节点对应的第二目标数据，一个源节点对应的第二目标数据为该源节点的节点数据或者该源节点的节点数据以及与该源节点相连的全部边的权值； S23:将咖； 在对所述N个目标边数据块中的每个源节点的节点数据均计算完成后，执行下述装置: 判断所述N个目标边数据块中的每个源节点对应的第二目标数据中的数据是否均收敛； 若所述N个目标边数据块中的每个源节点对应的第二目标数据中的数据均收敛，则结束计算过程； 若所述N个目标边数据块中的任意一个源节点对应的第二目标数据中的任意一个数据不收敛，则继续从所述N个目标边数据块中的第I个目标边数据块开始，循环执行S21-S23，直至所述N个目标边数据块中的每个源节点对应的第二目标数据中的数据均收敛。17.根据权利要求10-16任一项所述的装置，其特征在于，所述图数据中的全部节点的节点数据存储在所述本地内存中，当一个节点的节点数据变化时，在所述本地内存中更新该节点的节点数据。18.根据权利要求10所述的装置，其特征在于，所述计算算法在对所述图数据中的一个节点的节点数据进行计算的过程中，既需要使用该节点的入边数据，也需要使用该节点的出边数据，所述构成边数据的节点为构成边数据的源节点和目的节点。19.一种处理图数据的装置，其特征在于，包括:存储器和处理器，所述存储器中用于存储一组代码，所述处理器根据该代码执行以下动作: 获取图数据中的边数据和对所述图数据进行图计算的计算算法； 根据所述计算算法，确定对所述图数据中的边数据进行分割的分割算法，所述分割算法为根据构成边数据的节点对所述图数据中的边数据进行分割的算法，所述构成边数据的节点为构成边数据的源节点和/或目的节点； 根据所述分割算法和本地内存的内存容量，将所述图数据中的边数据分割为N个初始边数据块，所述N个初始边数据块中的每个初始边数据块的数据量均小于所述内存容量，N>I，N为整数； 将所述N个初始边数据块中的每个初始边数据块中的边数据按照所述构成边数据的节点进行排列，得到N个目标边数据块。20.根据权利要求19所述的装置，其特征在于，所述计算算法在对所述图数据中的一个节点的节点数据进行计算的过程中，不需要使用该节点的出边数据，对应同一目的节点的全部边数据在一个初始边数据块中，所述构成边数据的节点为构成边数据的目的节点； 所述处理器具体用于:将所述N个初始边数据块中的每个初始边数据块中的对应同一目的节点的全部边数据连续排列，得到N个目标边数据块。21.根据权利要求20所述的装置，其特征在于，所述处理器还用于: 将所述N个初始边数据块中的每个初始边数据块中的对应同一目的节点的全部边数据按照该全部边数据的源节点由小至大或由大至小顺序排列，得到N个目标边数据块。22.根据权利要求19所述的装置，其特征在于，所述计算算法在对所述图数据中的一个节点的节点数据进行计算的过程中，不需要使用该节点的入边数据，对应同一源节点的全部边数据在一个初始边数据块中，所述构成边数据的节点为构成边数据的源节点； 所述处理器具体用于:将所述N个初始边数据块中的每个初始边数据块中的对应同一源节点的全部边数据连续排列，得到N个目标边数据块。23.根据权利要求22所述的装置，其特征在于，所述处理器还用于: 将所述N个初始边数据块中的每个初始边数据块中的对应同一源节点的全部边数据按照该全部边数据的目的节点由小至大或由大至小顺序排列，得到N个目标边数据块。24.根据权利要求20或21所述的装置，其特征在于，所述处理器还用于: 从所述N个目标边数据块中的第I个目标边数据块开始，循环执行SI 1-S13，直至所述N个目标边数据块中的每个目的节点的节点数据均计算完成； S11:将所述N个目标边数据块中的第M个目标边数据块读入所述本地内存，I < M < N，M为整数； S12:依次对所述第M个目标边数据块中的每个目的节点的节点数据进行计算，并根据计算结果更新该目的节点对应的第一目标数据，一个目的节点对应的第一目标数据为该目的节点的节点数据或者该目的节点的节点数据以及与该目的节点相连的全部边的权值；S13:将咖； 在对所述N个目标边数据块中的每个目的节点的节点数据均计算完成后，执行下述装置: 判断所述N个目标边数据块中的每个目的节点对应的第一目标数据中的数据是否均收敛； 若所述N个目标边数据块中的每个目的节点对应的第一目标数据中的数据均收敛，则结束计算过程； 若所述N个目标边数据块中的任意一个目的节点对应的第一目标数据中的任意一个数据不收敛，则继续从所述N个目标边数据块中的第I个目标边数据块开始，循环执行Sll-S13，直至所述N个目标边数据块中的每个目的节点对应的第一目标数据中的数据均收敛。25.根据权利要求22或23所述的装置，其特征在于，所述处理器还用于: 从所述N个目标边数据块中的第I个目标边数据块开始，循环执行S21-S23，直至所述N个目标边数据块中的每个源节点的节点数据均计算完成； S21:将所述N个目标边数据块中的第M个目标边数据块读入所述本地内存，I <M<N,M为整数； S22:依次对所述第M个目标边数据块中的每个源节点的节点数据进行计算，并根据计算结果更新该源节点对应的第二目标数据，一个源节点对应的第二目标数据为该源节点的节点数据或者该源节点的节点数据以及与该源节点相连的全部边的权值； S23:将咖； 在对所述N个目标边数据块中的每个源节点的节点数据均计算完成后，执行下述装置: 判断所述N个目标边数据块中的每个源节点对应的第二目标数据中的数据是否均收敛； 若所述N个目标边数据块中的每个源节点对应的第二目标数据中的数据均收敛，则结束计算过程； 若所述N个目标边数据块中的任意一个源节点对应的第二目标数据中的任意一个数据不收敛，则继续从所述N个目标边数据块中的第I个目标边数据块开始，循环执行S21-S23，直至所述N个目标边数据块中的每个源节点对应的第二目标数据中的数据均收敛。26.根据权利要求19-25任一项所述的装置，其特征在于，所述图数据中的全部节点的节点数据存储在所述本地内存中，当一个节点的节点数据变化时，在所述本地内存中更新该节点的节点数据。27.根据权利要求19所述的装置，其特征在于，所述计算算法在对所述图数据中的一个节点的节点数据进行计算的过程中，既需要使用该节点的入边数据，也需要使用该节点的出边数据，所述构成边数据的节点为构成边数据的源节点和目的节点。
【专利摘要】本发明实施例公开了一种处理图数据的方法及装置，涉及数据挖掘技术领域，用于提高图计算的效率。该方法包括：获取图数据中的边数据和对图数据进行图计算的计算算法；根据计算算法，确定对图数据中的边数据进行分割的分割算法，分割算法为根据构成边数据的节点对图数据中的边数据进行分割的算法，构成边数据的节点为构成边数据的源节点和/或目的节点；根据分割算法和本地内存的内存容量，将图数据中的边数据分割为N个初始边数据块，N个初始边数据块中的每个初始边数据块的数据量均小于内存容量，N≥1，N为整数；将N个初始边数据块中的每个初始边数据块中的边数据按照构成边数据的节点进行排列，得到N个目标边数据块。
【IPC分类】G06F17/30
【公开号】CN105677755
【申请号】CN201511020272
【发明人】陈凯, 周异
【申请人】杭州华为数字技术有限公司
【公开日】2016年6月15日
【申请日】2015年12月30日