一种日志数据流处理方法与流程

文档序号:12666464阅读:来源:国知局

技术特征:

1.一种日志数据流处理方法,其特征在于,所述方法用于多节点数据流处理系统中,所述系统包括一个主控节点和多个计算节点,其中所述主控节点用于根据接收到的数据流向各个计算节点分配任务,各个计算节点用于对所接收到的分配任务并行地进行计算;该方法包括如下步骤:

(1)主控节点接收日志数据流,并对日志数据流进行一次时序分组,一次时序分组后将日志数据流分为实时数据流和历史数据文件;

(2)主控节点分别对实时数据流和历史数据流进行二次时序分组,二次时序分组后将日志数据流分为n个子实时数据流和m个子历史数据文件;

(3)主控节点监控各个计算节点的实时计算能力并按实时计算能力从高到低将多个计算节点进行排队,实时计算能力由计算节点当前单位时间内处理的数据量来衡量;

(4)主控节点选择实时计算能力排序高的前n个计算节点作为子实时数据流计算节点,从选择完n个子实时数据流计算节点后的排序队列中再按从高到低顺序选择前m个计算节点作为子历史数据文件计算节点;

(5)主控节点将n个子实时数据流任务实时分配给n个子实时数据流计算节点,将m个子历史数据文件任务发送给m个子历史数据文件计算节点;

(6)各个子实时数据流计算节点根据接收的子实时数据流任务中用于指示进行该子实时数据流任务的目标逻辑任务的接收速率,以及所述目标逻辑任务的处理速率,确定执行所述子实时数据流任务的并行度,所述并行度为并行执行所述子实时数据流任务的线程数量,所述逻辑任务是主控节点根据子实时数据流任务分配的,用于指示待处理子实时数据流任务以及所述待处理子实时数据流任务所需进行的操作;各个子历史数据文件计算节点根据接收的子历史数据文件任务中用于指示进行该子历史数据文件任务的目标逻辑任务的接收速率,以及所述目标逻辑任务的处理速率,确定执行所述子历史数据文件任务的并行度,所述并行度为并行执行所述子历史数据文件任务的线程数量,所述逻辑任务是主控节点根据子历史数据文件任务分配的,用于指示待处理子历史数据文件任务以及所述待处理子历史数据文件任务所需进行的操作;

(7)各个子实时数据流计算节点根据所述子实时数据流任务的并行度,对所述子实时数据流任务的目标逻辑任务进行整合得到至少一个子实时物理任务,所述子实时物理任务的数量与所述并行度相同;各个子历史数据文件计算节点根据所述子历史数据流的并行度,对所述子历史数据文件任务的目标逻辑任务进行整合得到至少一个子历史物理任务,所述子历史物理任务的数量与所述并行度相同;

(8)各个子实时数据流计算节点执行所述至少一个子实时物理任务;并行地,各个子实时数据流计算节点执行所述至少一个子历史物理任务;

(9)各个子实时数据流计算节点和各个子实时数据流计算节点将各自并行处理完的结果发送到主控节点,主控节点对上述结果进行整合并输出。

2.根据权利要求1所述的日志数据流处理方法,其特征在于,所述多节点处于分布式系统中。

3.根据权利要求1所述的日志数据流处理方法,其特征在于,所述多节点处于云系统中。

4.根据权利要求1所述的日志数据流处理方法,其特征在于,所述主控节点对目标逻辑任务的接收速率以及处理速率进行监控,当监控到所述目标逻辑任务的接收速率发生变化时,根据所述目标逻辑任务的接收速率和处理速率,按照第一策略调整并行度;当监控到所述目标逻辑任务的处理速率发生变化时,根据所述目标逻辑任务的接收速率和所述目标逻辑任务的处理速率,按照第二策略调整所述并行度。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1