持久混洗系统的制作方法

文档序号:13744330阅读:来源:国知局
技术特征:

1.一种通过数据处理装置执行的计算机实现的方法,所述方法包括:

响应于接收到对数据流执行混洗操作的请求,所述混洗操作是通过键对所述数据流中设键的记录进行聚组的操作:

接收所述数据流的至少一部分,所述数据流包括多个记录,每个记录包括键,并且所述数据流从一个或多个写入器被接收;

在来自持久储存器位置的集合中的持久储存器位置中存储所述多个记录中的每一个,每个持久储存器位置被指派至键范围,所述键范围对应于被包括在所述多个记录中的键,每个记录的所述持久储存器位置至少部分基于该特定记录的键被选择;

从消耗者接收对于包括键的范围的所述多个记录的子集的请求;以及

在从所述消耗者接收到所述请求之后,从所述一个或多个持久储存器位置提供包括键的所述范围的所述多个记录的所述子集。

2.根据权利要求1所述的方法,进一步包括在所述混洗操作期间通过键将所述多个记录排序。

3.根据权利要求1所述的方法,进一步包括从所述消耗者接收数据消耗模式选择,所述数据消耗模式指示包括键的所述范围的所述多个记录的所述子集应该被提供至所述消耗者的方式。

4.根据权利要求3所述的方法,其中,从所述消耗者接收所述数据消耗模式选择包括:接收流模式选择,所述流模式选择指示包括键的所述范围的所述多个记录应该立即被提供至所述消耗者。

5.根据权利要求3所述的方法,其中,所述从所述消耗者接收所述数据消耗模式选择包括:接收碎片模式选择,所述碎片模式选择指\t示只有在包括键的所述范围的所述多个记录被存储在所述一个或多个持久储存器位置中之后,包括键的所述范围的所述多个记录才应该被提供至所述消耗者。

6.根据权利要求3所述的方法,其中,所述从所述消耗者接收所述数据消耗模式选择包括:接收经排序的模式选择,所述经排序的模式选择指示包括键的所述范围的所述多个记录应该以通过键被聚组并被排序的方式被提供至所述消耗者。

7.根据权利要求1所述的方法,进一步包括将与所述混洗操作相关联的元数据存储在所述一个或多个持久储存器位置中,其中,所述元数据包括与所述多个记录相关联的索引。

8.根据权利要求1所述的方法,进一步包括:

接收删除所述混洗操作的请求;以及

在接收到删除所述混洗操作的所述请求之后,从所述一个或多个持久储存器位置中删除所述多个记录中的每个。

9.根据权利要求1所述的方法,其中,在持久储存器位置中存储所述多个记录中的每一个包括:将该特定记录附加至所述持久储存器位置中存储的顺序文件的结尾。

10.根据权利要求9所述的方法,进一步包括:追踪所述顺序文件中的一个或多个下一个读取位置,所述一个或多个下一个读取位置中的每个指示将交付至一个或多个读取器中的一个的下一个记录。

11.一种编码有指令的有形的非暂时性计算机可读介质,所述指令用于使得一个或多个处理器执行操作,所述操作包括:

响应于接收到对数据流执行混洗操作的请求,所述混洗操作是通过键对所述数据流中设键的记录进行聚组的操作:

接收所述数据流的至少一部分,所述数据流包括多个记录,每个记录包括键,并且所述数据流从一个或多个写入器被接收;

在来自持久储存器位置的集合中的持久储存器位置中存储所述多个记录中的每一个,每个持久储存器位置被指派至键范围,所述键范围对应于被包括在所述多个记录中的键,每个记录的所述持久储存器位置至少部分基于该特定记录的键被选择;

从消耗者接收对于包括键的范围的所述多个记录的子集的请求;以及

在从所述消耗者接收到所述请求之后,从所述一个或多个持久储存器位置提供包括键的所述范围的所述多个记录的所述子集。

12.根据权利要求11所述的计算机可读介质,进一步包括在所述混洗操作期间通过键将所述多个记录排序。

13.根据权利要求11所述的计算机可读介质,进一步包括从所述消耗者接收数据消耗模式选择,所述数据消耗模式指示包括键的所述范围的所述多个记录的所述子集应该被提供至所述消耗者的方式。

14.根据权利要求13所述的计算机可读介质,其中,从所述消耗者接收所述数据消耗模式选择包括:接收流模式选择,所述流模式选择指示包括键的所述范围的所述多个记录应该立即被提供至所述消耗者。

15.根据权利要求13所述的计算机可读介质,其中,所述从所述消耗者接收所述数据消耗模式选择包括:接收碎片模式选择,所述碎片模式选择指示只有在包括键的所述范围的所述多个记录被存储在所述一个或多个持久储存器位置中之后,包括键的所述范围的所述多个记录才应该被提供至所述消耗者。

16.根据权利要求13所述的计算机可读介质,其中,所述从所述\t消耗者接收所述数据消耗模式选择包括:接收经排序的模式选择,所述经排序的模式选择指示包括键的所述范围的所述多个记录应该以通过键被聚组并被排序的方式被提供至所述消耗者。

17.根据权利要求11所述的计算机可读介质,所述操作进一步包括将与所述混洗操作相关联的元数据存储在所述一个或多个持久储存器位置中,其中,所述元数据包括与所述多个记录相关联的索引。

18.根据权利要求11所述的计算机可读介质,所述操作进一步包括:

接收删除所述混洗操作的请求;以及

在接收到删除所述混洗操作的所述请求之后,从所述一个或多个持久储存器位置中删除所述多个记录中的每个。

19.根据权利要求11所述的计算机可读介质,其中,在持久储存器位置中存储所述多个记录中的每一个包括:将该特定记录附加至所述持久储存器位置中存储的顺序文件的结尾。

20.一种系统,包括:

用于存储数据的存储器;以及

可操作以执行操作的一个或多个处理器,所述操作包括:

响应于接收到对数据流执行混洗操作的请求,所述混洗操作是通过键对所述数据流中设键的记录进行聚组的操作:

接收所述数据流的至少一部分,所述数据流包括多个记录,每个记录包括键,并且所述数据流从一个或多个写入器被接收;

在来自持久储存器位置的集合中的持久储存器位置中存储所述多个记录中的每一个,每个持久储存器位置被指派至键范围,所述键范围对应于被包括在所述多个记录中的键,每个记录的所述持久储存器位置至少部分基于该特定记录的键被选择;

从消耗者接收对于包括键的范围的所述多个记录的子集的请\t求;以及

在从所述消耗者接收到所述请求之后,从所述一个或多个持久储存器位置提供包括键的所述范围的所述多个记录的所述子集。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1