专利名称：一种矩阵数据元素标识连续化方法和系统的制作方法
技术领域：
本发明涉及计算机领域，特别是涉及一种矩阵数据元素标识连续化方法和系统。
背景技术：
在大规模并行计算中，很重要一类计算是矩阵或向量的计算。通常描述矩阵采用(Rowkey, colkey, value)的三元组(其中Rowkey, colkey分别为行标、列标，value为实际存储的数据内容)，这样可以采用稀疏的存储方式，从而减少存储空间。用户再将矩阵按照行(Rowkey)或者列(colkey)进行划分，将数据散布到多个计算结点(也即计算服务器)上，从而达到并行计算的目的。通常为了唯一标识矩阵中每个数据元素，输入的Rowkey和colkey采用位数较多(64位，128位)的签名。而在实际的计算过程中，Rowkey和colkey仅作为一个下标，并不需要很多的位数。因此为了减少节点内存存储空间，并且方便计算时顺序访问，常常要对key和colkey进行连续的id化，即将Rowkey和colkey都转换为连续的O-N的整数列。现有技术中，存在一种对矩阵数据的的存储标识进行id化的方法是串行id化方法，即采用一个计算节点，逐个获取矩阵中的数据元素将其行标和列标进行id化，但是该种方法处理效率低，时间长。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种矩阵数据元素标识连续化装置和相应的一种矩阵数据元素标识连续化方法。依据本发明的一个方面，提供了一种矩阵数据元素标识连续化方法，包括针对N个计算节点，每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素；每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识；每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识；每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点。可选的，所述每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素包括每个参与计算的计算节点读取矩阵数据中按行分块的数据元素，或者按列分块的数据元素。可选的，所述每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点包括
每个参与计算的计算节点根据阈值的列标识散步规则，将所读取的数据元素中的列标识保留在本地或者发送到相应的计算节点；并接收其他N-1个计算节点发送的列标识。可选的，所述每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识包括每个参与计算的计算节点根据本地的行标识生成行标识向量,并对行标识向量进行连续化，获得与每个行标识相应的第一行标识；每个参与计算的计算节点对本地的列标识进行去重并生成列标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识。可选的，所述每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点包括每个参与计算的计算节点根据第一列标识与原列标识的对应关系，将第一列标识通知给其他计算节点。可选的，所述每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点包括每个参与计算的计算节点根据阈值的行标识散步规则，将所读取的数据元素中的行标识保留在本地或者发送到相应的计算节点；并接收其他计算节点发送的行标识。可选的，所述每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识包括每个参与计算的计算节点根据本地的列标识生成行标识向量,并对列标识向量进行连续化，获得与每个列标识相应的第一列标识；每个参与计算的计算节点对本地的行标识进行去重并生成行标识向量,并对行标识向量进行连续化，获得与每个行标识相应的第一行标识。可选的，所述每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点包括每个参与计算的计算节点根据第一行标识与原行标识的对应关系，将第一行标识通知给其他计算节点。可选的,所述对向量进行连续化包括每个参与计算的计算节点i统计待计算的标识总数Ni，并将所述总数通知给其他计算节点；每个参与计算的计算节点根据各计算节点待计算的标识总数Ni，计算本节点起始的第一标识；每个参与计算的计算节点根据本节点的起始的第一标识,对本节点的标识向量进行连续化，获得相应的第一标识。依据本发明的另一个方面，提供一种矩阵数据元素标识连续化系统，包括N个计算节点；所述每个参与计算的计算节点包括数据读取模块，适于每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素；
散步和接收模块，适于每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识；连续化模块，适于每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识；通知模块，适于每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点。可选的，所述数据读取模块进一步适于每个参与计算的计算节点读取矩阵数据中按行分块的数据元素，或者按列分块的数据元素。可选的，当每个参与计算的计算节点读取矩阵数据中按行分块的数据元素时，所述散步和接收模块包括列散步和接收模块，适于每个参与计算的计算节点根据阈值的列标识散步规则，将所读取的数据元素中的列标识保留在本地或者发送到相应的计算节点；并接收其他N-1个计算节点发送的列标识。 可选的，所述连续化模块包括第一行连续化模块，适于每个参与计算的计算节点根据本地的行标识生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识；第一列连续化模块，适于每个参与计算的计算节点对本地的列标识进行去重并生成列标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识。可选的，所述通知模块包括第一通知模块，适于每个参与计算的计算节点根据第一列标识与原列标识的对应关系，将第一列标识通知给其他计算节点。可选的，当每个参与计算的计算节点读取矩阵数据中按列分块的数据元素时，所述散步和接收模块包括行散步和接收模块，适于每个参与计算的计算节点根据阈值的行标识散步规则，将所读取的数据元素中的行标识保留在本地或者发送到相应的计算节点；并接收其他计算节点发送的行标识。可选的，所述连续化模块包括第二列续化模块，适于每个参与计算的计算节点根据本地的列标识生成行标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识；第二行续化模块，适于每个参与计算的计算节点对本地的行标识进行去重并生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识。可选的，所述通知模块包括第二通知模块，适于每个参与计算的计算节点根据第一行标识与原行标识的对应关系，将第一行标识通知给其他计算节点。可选的，所述第一列续化模块、第一行续化模块、第二列续化模块、第二行续化模块包括统计模块，适于每个参与计算的计算节点i统计待计算的标识总数Ni，并将所述总数通知给其他计算节点；起始标识计算模块，适于每个参与计算的计算节点根据各计算节点待计算的标识总数Ni,计算本节点起始的第一标识；向量连续化模块，适于每个参与计算的计算节点根据本节点的起始的第一标识，对本节点的标识向量进行连续化，获得相应的第一标识。与现有技术相比，本发明包括以下优点本发明每个参与计算的计算节点从存储矩阵数据元素的服务器中读取相应矩阵分块的数据元素，然后根据数据标识的散步规则，将数据元素中的数据标识发送至相应的计算该类数据标识的计算节点中，然后每个参与计算的计算节点将得到的各数据标识生成数据标识向量，对该数据标识向量中每个分量(也即数据标识)进行连续化，获得与每个分量对应的第一标识；然后每个参与计算的计算节点再将本地计算得到的数据标识与第一标识的对应关系通知给其他计算节点，那么其他计算节点即可获知本地需要进行计算的数据元素的连续化后的第一标识。在这个过程中，对于大规模的矩阵数据，可以通过各个计算节点并行的进行连续化，加快了连续化的速度，提高了数据处理效率。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式
。
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中图1示出了根据本发明一个实施例的一种矩阵数据元素标识连续化方法实施例一的流程示意图；图2示出了根据本发明一个实施例的矩阵数据存储逻辑示意图；图3根据本发明一个实施例的一种矩阵数据元素标识连续化方法实施例二的流程不意图；图4示出了根据本发明实施例的一种数据标识广播逻辑示意图；图5根据本发明一个实施例的一种矩阵数据元素标识连续化方法实施例三的流程不意图；图6根据本发明一个实施例的一种矩阵数据元素标识连续化系统实施例一的结构示意图；图7示出了根据本发明一个实施例的一种矩阵数据元素标识连续化系统实施例二的结构示意图；以及图8示出了根据本发明一个实施例的一种矩阵数据元素标识连续化系统实施例三的结构示意图。
具体实施例方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。参照图1，示出了本发明一种矩阵数据元素标识连续化方法实施例一的流程示意图，具体可以包括步骤110,针对N个计算节点,每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素；在本发明实施例中，矩阵数据存储在指定的数据服务器中，比如日志数据，其存储的逻辑方式可为矩阵的形式。如图2所示，value为实际的数据内容，比如日志数据，
ColKeyi (i = 1、2......M)为相应 value 的列标,RowKeyi (i = 1、2......N)为相应 value
的行标。其中在该稀疏矩阵中，每行没列可能存在一定数量的非零元素(即实际数据)，和大量的零元素(零元素没有数据，不进行存储)。那么对于用于计算的N个计算节点来说(也即N个计算服务器)，首先需要预先将图1的矩阵数据进行分块，比如按行分为N块(N小于等于行数，一般情况下计算节点的个数远远小于矩阵的行数和列数)，然后分别将N指定给一个计算节点，由该计算节点进行处理。那么在进行实际计算之前，各个计算节点需要根据预先指定的矩阵分块，读取相应矩阵分块的数据。比如当前存在10个计算节点，10000行*10000列矩阵的矩阵数据，其中第I 1000行的数据分配给计算节点1，第1001 2000行的数据分配给计算节点
2，......第9001 10000行的数据分配给计算节点10，那么计算节点I至10则分别读取
相应1000行的数据。步骤120，每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识；本发明实施例为了将矩阵数据的数据标识利用各计算节点进行并行的连续化(也即id化)，可将各节点的矩阵数据按某个规则将具有同一属性的数据标识集中发送到某个计算节点进行处理。也即每个参与计算的计算节点，将将当前读取的每个数据元素的数据标识，根据预置的数据标识散步规则进行计算，根据计算结果见数据标识发送给与计算结果相对应的计算节点。同时，每个参与计算的计算节点也接收其他计算节点发送到本节点数据标识。那么最终，每个参与计算的计算节点则保存了未发送出去的数据标识和其他计算节点发送到本节点数据标识。如此每个参与计算的计算节点只处理一部分数据标识，并且各个计算节点处理的数据标识两两互不相同。在本申请实施例中，各计算节点之间的通信通过MPI (Message PassingInterface,讯息传递接口 ；一种消息传递编程接口，同时提供了实现其一系列接口的多语言函数库)进行。即每个参与计算的计算节点根据预置的数据标识散步规则，通过MPI将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识。
步骤130，每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识；如前所述，每个参与计算的计算节点最终保存了未发送出去的数据标识和其他计算节点发送到本节点数据标识，那么每个参与计算的计算节点基于上述最终数据标识，进行连续化。其中，进行连续化时，每个参与计算的计算节点根据所述最终数据标识，生成数据标识向量并进行向量连续化，获得与每个数据标识相应的第一标识。步骤140，每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点。由于对数据标识进行连续化是在进程中进行，而为了使其他计算节点的进程也能知道同步知道，需要每个参与计算的计算节点将当前id化得到的数据标识与第一标识的对应关系通知给其他计算节点，以使整个计算系统全局均知道数据标识与第一标识的对应关系，以使后续计算过程可以使各进程方便将相应矩阵分块的数据以第一标识存储于内存中。本步骤中，每个参与计算的计算节点通过MPI将第一标识与原数据标识的对应关系通知给其他计算节点。参照图3，示出了本发明一种矩阵数据元素标识连续化方法实施例二的流程示意图，具体可以包括步骤210，针对N个计算节点，每个参与计算的计算节点读取矩阵数据中按行分块的数据元素。即图2中的矩阵数据按行分成N个行块，并将N个行块分别分配给一个计算节点进行计算。那么每个参与计算的计算节点则读取分配给该计算节点的若干行的数据元素。即计算节点按行标读取矩阵元素，直至在其范围内的行标的矩阵元素读取完毕。步骤220，每个参与计算的计算节点根据阈值的列标识散步规则，将所读取的数据元素中的列标识保留在本地或者发送到相应的计算节点；并接收其他N-1个计算节点发送的列标识。在本发明实施例中，首先可定义全局的列标(Colkey)的散步规则，将每个数据元素的列标散步到相应计算节点，比如规则R— (RANK = COLKEY % NODES)公式(I)上述公式为对ColKey针对计算节点总数Nodes取余,每种余数对应一个计算节点R0比如总共4个计算节点A、B、C、D，余数为0，1，2，3，那么余数O可对应计算节点A，余数I可对应计算节点B,余数2可对应计算节点C,余数3可对应计算节点D。那么计算节点将当前读取的矩阵元素，也即(Rowkey, colkey, value),将其中的colkey采用公式(I)进行计算,根据计算结果与计算节点的对应关系,将colkey发送至相应计算节点。每个参与计算的计算节点也接收其他计算节点根据公式(I)对colkey进行计算然后发送到本节点colkey。步骤230，每个参与计算的计算节点根据本地的行标识生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识；
步骤240，每个参与计算的计算节点对本地的列标识进行去重并生成列标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识。在步骤230，中，还包括对相同的列标进行合并。即保证每个colkey只有一份。由步骤230和240，经过计算节点之间的第一次通信过后，每个参与计算的计算节点保存了一部分列标(colkey)和本节点当前被分配进行处理行矩阵块的行标(rowkey)。那么即可针对该节点保存的rowkey生成行向量，colkey生成列向量,然后进行连续化(id化)，得到行标识和第一行标识(连续化后的标识)的对应关系，和列标识和第一列标识(连续化后的标识)的对应关系，也即(RowKey- > RowId)和(ColKey- > ColId)。其中，针对行向量和列向量的连续化，其采用方法包括步骤S11，每个参与计算的计算节点i统计待计算的标识总数Ni,并将所述总数通知给其他计算节点；步骤S12,每个参与计算的计算节点根据各计算节点待计算的标识总数Ni,计算本节点起始的第一标识；步骤S13,每个参与计算的计算节点根据本节点的起始的第一标识，对本节点的标识向量进行连续化，获得相应的第一标识。下面以列向量为例进行说明
1、针对N个计算节点，每个参与计算的计算节点统计其列向量中分量的数目Ni ；2、每个计算节i点调用MPI_Allgather函数将本节点的分量数目Ni广播给其他N-1计算节点，并接收其他N-1个计算节点广播的分量数目，获得每个参与计算的计算节点i计算的分量数目；3、每个参与计算的计算节点i,根据如下公式(2)计算本节点的起始(第一列标识)ID编号:
权利要求
1.一种矩阵数据元素标识连续化方法，其特征在于，包括 针对N个计算节点，每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素； 每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识； 每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识； 每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点。
2.根据权利要求1所述的方法，其特征在于，所述每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素包括 每个参与计算的计算节点读取矩阵数据中按行分块的数据元素，或者按列分块的数据元素。
3.根据权利要求2所述的方法，其特征在于，所述每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点包括 每个参与计算的计算节点根据阈值的列标识散步规则，将所读取的数据元素中的列标识保留在本地或者发送到相应的计算节点；并接收其他N-1个计算节点发送的列标识。
4.根据权利要求3所述的方法，其特征在于，所述每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识包括 每个参与计算的计算节点根据本地的行标识生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识； 每个参与计算的计算节点对本地的列标识进行去重并生成列标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识。
5.根据权利要求4所述的方法，其特征在于，所述每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点包括 每个参与计算的计算节点根据第一列标识与原列标识的对应关系，将第一列标识通知给其他计算节点。
6.根据权利要求2所述的方法，其特征在于，所述每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点包括 每个参与计算的计算节点根据阈值的行标识散步规则，将所读取的数据元素中的行标识保留在本地或者发送到相应的计算节点；并接收其他计算节点发送的行标识。
7.根据权利要求6所述的方法，其特征在于，所述每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识包括 每个参与计算的计算节点根据本地的列标识生成行标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识； 每个参与计算的计算节点对本地的行标识进行去重并生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识。
8.根据权利要求7所述的方法，其特征在于，所述每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点包括 每个参与计算的计算节点根据第一行标识与原行标识的对应关系，将第一行标识通知给其他计算节点。
9.根据权利要求4或7所述的方法，其特征在于，所述对向量进行连续化包括 每个参与计算的计算节点i统计待计算的标识总数Ni，并将所述总数通知给其他计算节点； 每个参与计算的计算节点根据各计算节点待计算的标识总数Ni，计算本节点起始的第一标识； 每个参与计算的计算节点根据本节点的起始的第一标识，对本节点的标识向量进行连续化，获得相应的第一标识。
10.一种矩阵数据元素标识连续化系统，其特征在于，包括 N个计算节点； 所述每个参与计算的计算节点包括 数据读取模块，适于每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素； 散步和接收模块，适于每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识； 连续化模块，适于每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识； 通知模块，适于每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点。
11.根据权利要求10所述的系统，其特征在于，所述数据读取模块进一步适于 每个参与计算的计算节点读取矩阵数据中按行分块的数据元素，或者按列分块的数据元素。
12.根据权利要求11所述的系统，其特征在于， 当每个参与计算的计算节点读取矩阵数据中按行分块的数据元素时，所述散步和接收模块包括 列散步和接收模块，适于每个参与计算的计算节点根据阈值的列标识散步规则，将所读取的数据元素中的列标识保留在本地或者发送到相应的计算节点；并接收其他N-1个计算节点发送的列标识。
13.根据权利要求12所述的系统，其特征在于，所述连续化模块包括 第一行连续化模块，适于每个参与计算的计算节点根据本地的行标识生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识； 第一列连续化模块，适于每个参与计算的计算节点对本地的列标识进行去重并生成列标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识。
14.根据权利要求13所述的系统，其特征在于，所述通知模块包括 第一通知模块，适于每个参与计算的计算节点根据第一列标识与原列标识的对应关系，将第一列标识通知给其他计算节点。
15.根据权利要求11所述的系统，其特征在于， 当每个参与计算的计算节点读取矩阵数据中按列分块的数据元素时，所述散步和接收模块包括 行散步和接收模块，适于每个参与计算的计算节点根据阈值的行标识散步规则，将所读取的数据元素中的行标识保留在本地或者发送到相应的计算节点；并接收其他计算节点发送的行标识。
16.根据权利要求15所述的系统，其特征在于，所述连续化模块包括 第二列续化模块，适于每个参与计算的计算节点根据本地的列标识生成行标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识； 第二行续化模块，适于每个参与计算的计算节点对本地的行标识进行去重并生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识。
17.根据权利要求16所述的系统，其特征在于，所述通知模块包括 第二通知模块，适于每个参与计算的计算节点根据第一行标识与原行标识的对应关系，将第一行标识通知给其他计算节点。
18.根据权利要求14或16所述的系统，其特征在于，所述第一列续化模块、第一行续化模块、第二列续化模块、第二行续化模块包括 统计模块，适于每个参与计算的计算节点i统计待计算的标识总数Ni，并将所述总数通知给其他计算节点； 起始标识计算模块，适于每个参与计算的计算节点根据各计算节点待计算的标识总数Ni,计算本节点起始的第一标识； 向量连续化模块，适于每个参与计算的计算节点根据本节点的起始的第一标识，对本节点的标识向量进行连续化，获得相应的第一标识。
全文摘要
本发明公开了一种矩阵数据元素标识连续化方法和系统，涉及计算机领域。所述方法包括针对N个计算节点，每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素；每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识；每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识；每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点。对于大规模的矩阵数据，可以通过各个计算节点并行的进行连续化，加快了连续化的速度，提高了数据处理效率。
文档编号G06F9/38GK103049246SQ20121051857
公开日2013年4月17日 申请日期2012年12月5日 优先权日2012年12月5日
发明者齐路, 何锐邦, 唐会军 申请人:北京奇虎科技有限公司, 奇智软件(北京)有限公司