一种数据处理方法及装置与流程

文档序号:11133945阅读:来源:国知局

技术特征:

1.一种数据处理方法,其特征在于,包括:

第一处理节点接收至少一个第二处理节点发送的数据信息,其中,所述数据信息中包含第一数据集合和所述第一数据集合对应的索引信息,所述索引信息用于表征所述第一数据集合中包含的待处理数据的公共特征向量;

所述第一处理节点根据所述数据信息中包含的所述索引信息,从所述第一处理节点的数据集合库中,查找到与所述索引信息不相同的至少一个第二数据集合;

所述第一处理节点在确定所述第一数据集合与至少一个所述第二数据集合中包含至少一个相同的待处理数据时,将所述第一数据集合与至少一个所述第二数据集合聚合为一个数据集合。

2.如权利要求1所述的数据处理方法,其特征在于,所述数据信息中还包含所述第一数据集合中的每一个待处理数据在所述第一数据集合中的位置信息;

所述第一处理节点在确定所述第一数据集合与至少一个所述第二数据集合中包含至少一个相同的待处理数据时,将所述第一数据集合与至少一个所述第二数据集合聚合为一个数据集合,包括:

所述第一处理节点在确定所述第一数据集合与至少一个所述第二数据集合中包含至少一个相同的待处理数据时,确定所述至少一个相同的待处理数据在所述第一数据集合中的位置信息;

所述第一处理节点根据确定的所述位置信息,将所述第一数据集合与至少一个所述第二数据集合聚合为一个数据集合。

3.如权利要求2所述的数据处理方法,其特征在于,所述第一处理节点根据确定的所述位置信息,将所述第一数据集合与至少一个所述第二数据集合聚合为一个数据集合,包括:

若所述第一数据集合对应第一树且至少一个所述第二数据集合对应第二树,那么所述第一处理节点根据确定的所述位置信息,将所述第一树与所述第二树聚合为一棵分布式树。

4.如权利要求1至3任一项所述的数据处理方法,其特征在于,所述方法还包括:

所述第一处理节点根据所述数据信息中包含的所述索引信息,从所述第一处理节点的数据集合库中,查找到与所述索引信息相同的至少一个第三数据集合;

所述第一处理节点将所述第一数据集合与至少一个所述第三数据集合进行合并,生成所述索引信息对应的树。

5.如权利要求1所述的数据处理方法,其特征在于,所述第一处理节点在接收至少一个第二处理节点发送的数据信息之前,所述方法还包括:

所述第一处理节点获取至少两个待处理数据,并确定每一个所述待处理数据的特征集合,其中,所述特征集合中包含至少一个特征向量;

所述第一处理节点以所述特征向量为划分粒度,将包含相同特征向量的至少一个待处理数据划分得到一个数据集合。

6.如权利要求5所述的数据处理方法,其特征在于,所述第一处理节点以所述特征向量为划分粒度,将包含相同特征向量的至少一个待处理数据划分得到一个数据集合,包括:

所述第一处理节点确定一个所述特征向量;

所述第一处理节点从获取到的所述至少两个待处理数据中,查找出包含确定的所述特征向量的的待处理数据;

所述第一处理节点将查找到的所述待处理数据组合得到一个数据集合。

7.如权利要求5或6所述的数据处理方法,其特征在于,所述方法还包括:

所述第一处理节点在得到一个数据集合时,确定所述数据集合的索引信 息,其中,所述索引信息为用于表征所述数据集合中包含的待处理数据的公共特征向量。

8.如权利要求7所述的数据处理方法,其特征在于,所述第一处理节点将查找到的所述待处理数据组合得到一个数据集合,包括:

所述第一处理节点按照查找所述待处理数据的顺序,生成一棵树,并将所述树视为一个数据集合,其中,所述树的每一个节点对应一个待处理数据。

9.如权利要求8所述的数据处理方法,其特征在于,所述方法还包括:

所述第一处理节点将得到的所述数据集合存储至所述第一处理节点的数据集合库中。

10.一种数据处理装置,其特征在于,包括:

接收单元,用于接收至少一个第二处理节点发送的数据信息,其中,所述数据信息中包含第一数据集合和所述第一数据集合对应的索引信息,所述索引信息用于表征所述第一数据集合中包含的待处理数据的公共特征向量;

查找单元,用于根据所述数据信息中包含的所述索引信息,从第一处理节点的数据集合库中,查找到与所述索引信息不相同的至少一个第二数据集合;

聚合单元,用于在确定所述第一数据集合与至少一个所述第二数据集合中包含至少一个相同的待处理数据时,将所述第一数据集合与至少一个所述第二数据集合聚合为一个数据集合。

11.如权利要求10所述的数据处理装置,其特征在于,所述数据信息中还包含所述第一数据集合中的每一个待处理数据在所述第一数据集合中的位置信息;

所述聚合单元,具体用于在确定所述第一数据集合与至少一个所述第二数据集合中包含至少一个相同的待处理数据时,确定所述至少一个相同的待处理数据在所述第一数据集合中的位置信息;

根据确定的所述位置信息,将所述第一数据集合与至少一个所述第二数据集合聚合为一个数据集合。

12.如权利要求11所述的数据处理装置,其特征在于,

所述聚合单元,具体用于若所述第一数据集合对应第一树且至少一个所述第二数据集合对应第二树,那么所述第一处理节点根据确定的所述位置信息,将所述第一树与所述第二树聚合为一棵分布式树。

13.如权利要求10至12任一项所述的数据处理装置,其特征在于,所述数据处理装置还包括:合并单元,其中:

所述合并单元,用于根据所述数据信息中包含的所述索引信息,从所述第一处理节点的数据集合库中,查找到与所述索引信息相同的至少一个第三数据集合;

将所述第一数据集合与至少一个所述第三数据集合进行合并,生成所述索引信息对应的树。

14.如权利要求13所述的数据处理装置,其特征在于,所述数据处理装置还包括:分类单元,其中:

所述分类单元,用于在接收至少一个第二处理节点发送的数据信息之前,获取至少两个待处理数据,并确定每一个所述待处理数据的特征集合,其中,所述特征集合中包含至少一个特征向量;以所述特征向量为划分粒度,将包含相同特征向量的至少一个待处理数据划分得到一个数据集合。

15.如权利要求14所述的数据处理装置,其特征在于,

所述分类单元,具体用于确定一个所述特征向量;从获取到的所述至少两个待处理数据中,查找出包含确定的所述特征向量的的待处理数据;将查找到的所述待处理数据组合得到一个数据集合。

16.如权利要求14或15所述的数据处理装置,其特征在于,所述数据处理装置还包括:确定单元,其中:

所述确定单元,用于在得到一个数据集合时,确定所述数据集合的索引信息,其中,所述索引信息为用于表征所述数据集合中包含的待处理数据的公共特征向量。

17.如权利要求16所述的数据处理装置,其特征在于,所述分类单元将查找到的所述待处理数据组合得到一个数据集合,具体包括:

按照查找所述待处理数据的顺序,生成一棵树,并将所述树视为一个数据集合,其中,所述树的每一个节点对应一个待处理数据。

18.如权利要求17所述的数据处理装置,其特征在于,所述数据处理装置还包括:存储单元,其中:

所述存储单元,用于将得到的所述数据集合存储至所述第一处理节点的数据集合库中。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1