采集器控制方法及装置与流程

文档序号:18161311发布日期:2019-07-13 09:20阅读:237来源:国知局
采集器控制方法及装置与流程

本发明涉及数据处理领域,具体地,涉及一种采集器控制方法及装置。



背景技术:

采集器,是根据监控需要,对采集对象进行与采集指标相应的数据采集的工具。其中,采集对象可以是数据库、中间件、等等。

目前,通常采用集群方式对采集对象进行数据采集。在搭建采集器集群时,为每个采集器设定与其连接的采集对象。各采集器分别对各自的采集对象进行数据采集。

然而,为采集器设置固定的采集对象,容易出现采集器采集能力不足的问题。



技术实现要素:

本发明的目的是提供一种采集器控制方法及装置,以实现均衡各采集器的采集压力,避免采集器采集能力不足的问题。

本发明实施例的一个方面中,提供了一种采集器控制方法。该方法包括:在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间,其中,所述多个采集器的采集周期相同;根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器,其中,所述剩余时间容量等于采集器周期与已分配给所述采集器的采集对象完成采集处理所需的时间之差;在完成重新分配之后的采集周期内,所述多个采集器按照重新分配的采集对象进行采集处理。

可选地,所述根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器包括:针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期;在大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期;将被剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器。

可选地,所述根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器包括:计算所述多个采集器所有采集对象完成采集处理所需的时间之和;将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数;针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器;在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数;针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

可选地,所述根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器包括:计算所述多个采集器所有采集对象完成采集处理所需的时间之和;计算所述多个采集器的个数与采集周期之积;在所述多个采集器所有采集对象完成采集处理所需的时间之和,小于所述多个采集器的个数与采集周期之积的情况下,针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期;在大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期;将被剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器;在所述多个采集器所有采集对象完成采集处理所需的时间之和,大于所述多个采集器的个数与采集周期之积的情况下,将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数;针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器;在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数;针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

可选地,所述方法还包括:在已添加的采集器的个数不足的情况下,根据预设通知策略发送通知以便人工添加采集器,或者,使所述通知触发服务器自动添加采集器。

可选地,所述根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器包括:将无法在当前采集周期内完成采集处理的采集对象,按照完成采集处理所需的时间大小排序;每次重新分配时,选择完成采集处理所需的时间最大的采集对象,分配给剩余时间容量最大的采集器。

本发明实施例的另一个方面中,提供了一种采集器控制装置。该装置包括:时间记录模块,被配置为在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间,其中,所述多个采集器的采集周期相同。分配模块,被配置为根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器,其中,所述剩余时间容量等于采集器周期与已分配给所述采集器的采集对象完成采集处理所需的时间之差。采集模块,被配置为在完成重新分配之后的采集周期内,所述多个采集器按照重新分配的采集对象进行采集处理。

可选地,所述分配模块包括:第一判断子模块,被配置为针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期。分配剔除子模块,被配置为所述第一判断子模块判定为大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期。第一分配调整子模块,被配置为将被所述分配剔除子模块剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器。

可选地,所述分配模块包括:时间和计算子模块,被配置为计算所述多个采集器所有采集对象完成采集处理所需的时间之和。第一数量计算子模块,被配置为将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数。第二分配调整子模块,被配置为针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。第二数量计算子模块,被配置为在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数。第三分配调整子模块,被配置为针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

可选地,所述分配模块包括:时间和计算子模块,被配置为计算所述多个采集器所有采集对象完成采集处理所需的时间之和。求积计算子模块,被配置为计算所述多个采集器的个数与采集周期之积。第一判断子模块,被配置为在所述多个采集器所有采集对象完成采集处理所需的时间之和,小于所述多个采集器的个数与采集周期之积的情况下,针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期。分配剔除子模块,被配置为在所述第一判断子模块判定大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期。第一分配调整子模块,被配置将被剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器。第一数量计算子模块,被配置为在所述多个采集器所有采集对象完成采集处理所需的时间之和,大于所述多个采集器的个数与采集周期之积的情况下,将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数。第二分配调整子模块,被配置为针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。第二数量计算子模块,被配置为在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数。第三分配调整子模块,被配置为针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

可选地,所述装置还包括:通知模块,被配置为在已添加的采集器的个数不足的情况下,根据预设通知策略发送通知以便人工添加采集器,或者,使所述通知触发服务器自动添加采集器。

可选地,所述分配模块包括:排序子模块,被配置为将无法在当前采集周期内完成采集处理的采集对象,按照完成采集处理所需的时间大小排序。选择分配子模块,被配置为每次重新分配时,选择完成采集处理所需的时间最大的采集对象,分配给剩余时间容量最大的采集器。

通过上述技术方案,由于在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间,根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器,从而将采集器的时间容量作为采集能力,将对采集对象完成采集所需时间作为对采集能力的消耗,将采集对象动态地分配给采集能力足够的采集器,均衡了各采集器的采集压力,实现了避免采集器采集能力不足的目的。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:

图1是根据一示例性实施例示出的实施环境示意图。

图2是根据本发明的一示例性实施例示出的一种采集器控制方法的流程图。

图3是根据本发明的另一示例性实施例示出的一种采集器控制方法的流程图。

图4是根据本发明的又一示例性实施例示出的一种采集器控制方法的流程图。

图5是根据本发明的再一示例性实施例示出的一种采集器控制方法的流程图。

图6是根据本发明的一示例性实施例示出的一种采集器控制装置600的框图。

图7是根据本发明的另一示例性实施例示出的一种采集器控制装置的框图。

图8是根据本发明的又一示例性实施例示出的一种采集器控制装置的框图。

图9是根据本发明的再一示例性实施例示出的一种采集器控制装置的框图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。

图1是根据一示例性实施例示出的实施环境示意图。在该实施环境中,采用集群方式对采集对象进行数据采集。采集器与分配给该采集器的采集对象连接,还与服务器连接。其中,不同的采集对象可以处于相同或不同的设备中。采集对象例如可以包括数据库、中间件、等等。不同的采集对象与采集器,通过不同的线程建立不同的数据传输通道。其中,各个采集器的采集周期相同。相同类型的不同采集对象的采集指标可以相同,也可以不同。在相同类型的不同采集对象的采集指标不同的情况下,可以通过对采集器进行采集指标配置,使采集器按照配置的采集指标进行采集处理。

可以理解的是,图1所示实施环境仅用于示意本发明实施例提供的方法,并不构成对本发明实施例的限制。

图2是根据本发明的一示例性实施例示出的一种采集器控制方法的流程图。该方法可以应用于图1所示服务器。该方法可以包括:

在步骤210中,在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间。

需要说明的是,各个采集器在每一采集周期初始时,分别对应各自的采集对象,启动相应数量的线程来并行进行采集处理。如若一个采集周期结束,该采集周期的线程仍未完成采集处理,则该线程继续进行采集处理,同时下一采集周期又启动新的线程进行下一采集周期的采集处理。因此,无论采集器是否能够在一个采集周期内完成某一采集对象的采集处理,都可以记录得到该采集对象完成采集处理所需的时间。其中,采集处理可以包括数据采集以及数据上报。

需要说明的是,每个采集对象完成采集处理所需的时间,可以根据一个或多个采集器周期所记录的、每个采集对象完成采集处理实际使用的时间来获得。例如,每个采集对象完成采集处理所需的时间可以根据多个采集器周期所记录的时间的平均值获得。

在步骤220中,根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器,其中,所述剩余时间容量等于采集器周期与已分配给所述采集器的采集对象完成采集处理所需的时间之差。

例如,一种可能的实施方式中,为了减少采集器的容量碎片的产生,该步骤可以将无法在当前采集周期内完成采集处理的采集对象,按照完成采集处理所需的时间大小排序,每次重新分配时,在还未重新分配的采集对象中,选择完成采集处理所需的时间最大的采集对象,分配给剩余时间容量最大的采集器。

在步骤230中,在完成重新分配之后的采集周期内,所述多个采集器按照重新分配的采集对象进行采集处理。

可以理解的是,在多个采集器按照重新分配的采集对象进行采集处理时,可以继续多个采集器按照重新分配的采集对象进行采集处理,从而对多个采集器是否具有足够的采集能力对重新分配的采集对象完成采集处理进行评估,依次循环,从而实现将采集对象动态地分配给采集能力足够的采集器的目的。

可见,由于本发明实施例将采集器的时间容量作为采集能力,将对采集对象完成采集所需时间作为对采集能力的消耗,将采集对象动态地分配给采集能力足够的采集器,均衡了各采集器的采集压力,实现了避免采集器采集能力不足的目的。

图3是根据本发明的另一示例性实施例示出的一种采集器控制方法的流程图。该方法可以应用于图1所示服务器。该方法可以包括:

在步骤310中,在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间。

在步骤320中,针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期。

在步骤321中,在大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期。

例如,在选择剔除出的部分采集对象时,可以将其转化为0/1背包问题。即,按动态规划算法来选择剔除出的部分采集对象,从而保证最大化采集器的采集能力,剔除掉所述部分采集对象的时间消耗。

在步骤322中,将被剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器。

例如,在选择剩余时间容量足够的采集器时,可以采用贪心算法,将选择出的采集对象按照时间消耗最大分配给剩余时间容量最大的采集器。

在步骤330中,在完成重新分配之后的采集周期内,所述多个采集器按照重新分配的采集对象进行采集处理。

在该实施例中,针对每个采集器,进行该采集器是否具有足够采集能力来完成其采集对象的采集处理的判断,从而可以仅针对不具有足够采集能力的采集器,进行重新分配,重新分配效率较高。

图4是根据本发明的又一示例性实施例示出的一种采集器控制方法的流程图。该方法可以应用于图1所示服务器。该方法可以包括:

在步骤410中,在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间。

在步骤420中,计算所述多个采集器所有采集对象完成采集处理所需的时间之和。

在步骤421中,将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数。

在步骤422中,针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

例如,一种可能的实施方式中,为了减少采集器的容量碎片的产生,该步骤可以将所述多个采集器的所有采集对象,按照完成采集处理所需的时间大小排序,每次重新分配时,在还未重新分配的采集对象中,选择完成采集处理所需的时间最大的采集对象,分配给N+1个采集器中剩余时间容量最大的采集器。

在步骤423中,在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数。

在步骤424中,针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

例如,一种可能的实施方式中,为了减少采集器的容量碎片的产生,该步骤可以将所有还未重新分配的采集对象,按照完成采集处理所需的时间大小排序,每次重新分配时,在还未重新分配的采集对象中,选择完成采集处理所需的时间最大的采集对象,分配给M+1个采集器中剩余时间容量最大的采集器。

在步骤430中,在完成重新分配之后的采集周期内,所述多个采集器按照重新分配的采集对象进行采集处理。

在该实施例中,考虑到在一个采集周期内,各个分别对不同采集对象进行采集处理的线程,是按CPU分片进行的,可知计算资源最差的情况下,所有线程可能顺序执行才能完成采集处理,因此,可以通过将多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,预估出计算资源最差的情况下所需要的最少采集器个数,因此,通过将所有采集对象重新分配到预估个数的采集器中,可以充分均衡各采集器的采集压力,避免采集器采集能力不足,避免采集能力过剩。

图5是根据本发明的再一示例性实施例示出的一种采集器控制方法的流程图。该方法可以应用于图1所示服务器。该方法可以包括:

在步骤510中,在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间。

例如,在初始状态下,可以将所有采集对象平均分配到各个采集器,在第一个采集周期内按照平均分配的采集对象进行采集处理,并分别记录每个采集对象完成采集处理的时间。

在步骤520中,计算所述多个采集器所有采集对象完成采集处理所需的时间之和。

在步骤521中,计算所述多个采集器的个数与采集周期之积。

在步骤522中,在所述多个采集器所有采集对象完成采集处理所需的时间之和,小于所述多个采集器的个数与采集周期之积的情况下,针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期。

在步骤523中,在大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期。

在步骤524中,将被剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器。

在步骤525中,在所述多个采集器所有采集对象完成采集处理所需的时间之和,大于所述多个采集器的个数与采集周期之积的情况下,将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数。

在步骤526中,针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器;

在步骤527中,在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数。

在步骤528中,针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

其中,在已添加的采集器的个数不足的情况下,还可以根据预设通知策略发送通知以便人工添加采集器,或者,使所述通知触发服务器自动添加采集器。其中,预设通知策略可以为人工添加或者服务器自动添加。在人工添加的情况下,预设通知策略中还可以包括联系人姓名、联系方式等。

可以理解的是,在重新分配之后,一个或多个采集器所分配的采集对象会发生变化,因此,需要对采集器与分配给其的采集对象之间的对应关系进行记录,以便在重新分配之后的下一采集周期,继续对采集器是否具有足够采集能力来对分配给其的采集对象进行评估。

在步骤530中,在完成重新分配之后的采集周期内,所述多个采集器按照重新分配的采集对象进行采集处理。

在该实施例中,通过将多个采集器所有采集对象完成采集处理所需的时间之和与采集周期比对,从而既能够在确定已有采集器采集能力总和足以完成所有采集对象的采集处理时,仅针对不具有足够采集能力的采集器,进行重新分配,提高重新分配效率,又能够在确定已有采集器采集能力肯定不足以完成所有采集对象的采集处理时,预估出足够的采集器来进行所有采集对象的重新分配,从而可以充分均衡各采集器的采集压力,避免采集器采集能力不足。

图6是根据本发明的一示例性实施例示出的一种采集器控制装置600的框图。该装置可以配置于图1所示服务器。该装置可以包括:时间记录模块610、分配模块620以及采集模块630。

该时间记录模块610,可以被配置为在多个采集器对各自的采集对象进行当前采集周期的采集处理时,分别记录每个采集对象完成采集处理所需的时间。

该分配模块620,可以被配置为根据每个采集对象完成采集处理所需的时间,将无法在当前采集周期内完成采集处理的采集对象,重新分配给剩余时间容量足够所述采集对象完成采集处理的采集器,其中,所述剩余时间容量等于采集器周期与已分配给所述采集器的采集对象完成采集处理所需的时间之差。

该采集模块630,可以被配置为在完成重新分配之后的采集周期内,所述多个采集器按照重新分配的采集对象进行采集处理。

可见,由于本发明实施例将采集器的时间容量作为采集能力,将对采集对象完成采集所需时间作为对采集能力的消耗,将采集对象动态地分配给采集能力足够的采集器,均衡了各采集器的采集压力,实现了避免采集器采集能力不足的目的。

一种可能的实施方式中,可以仅针对不具有足够采集能力的采集器,进行重新分配,重新分配效率较高。具体地,参见图7,图7是根据本发明的另一示例性实施例示出的一种采集器控制装置的框图。该装置可以配置于图1所示服务器。该实施方式中,分配模块620可以包括:第一判断子模块621,可以被配置为针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期。分配剔除子模块622,可以被配置为所述第一判断子模块判定为大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期。第一分配调整子模块623,可以被配置为将被所述分配剔除子模块剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器。

另一种可能的实施方式中,考虑到在一个采集周期内,各个分别对不同采集对象进行采集处理的线程,是按CPU分片进行的,可知计算资源最差的情况下,所有线程顺序执行才能完成采集处理,因此,可以通过将多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,预估出计算资源最差的情况下所需要的最少采集器个数,通过将所有采集对象重新分配到预估个数的采集器中,可以充分均衡各采集器的采集压力,避免采集器采集能力不足,避免采集能力过剩。具体地,参见图8,图8是根据本发明的又一示例性实施例示出的一种采集器控制装置的框图。该装置可以配置于图1所示服务器。该实施方式中,所述分配模块620包括:时间和计算子模块624,可以被配置为计算所述多个采集器所有采集对象完成采集处理所需的时间之和。第一数量计算子模块625,可以被配置为将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数。第二分配调整子模块626,可以被配置为针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。第二数量计算子模块627,可以被配置为在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数。第三分配调整子模块628,可以被配置为针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

结合上述两种可能的实施方式,既能够在确定已有采集器采集能力总和足以完成所有采集对象的采集处理时,仅针对不具有足够采集能力的采集器,进行重新分配,提高重新分配效率,又能够在确定已有采集器采集能力肯定不足以完成所有采集对象的采集处理时,预估出足够的采集器来进行所有采集对象的重新分配。具体地,参见图9,图9是根据本发明的再一示例性实施例示出的一种采集器控制装置的框图。该装置可以配置于图1所示服务器。该实施方式中,所述分配模块620可以包括:时间和计算子模块624,被配置为计算所述多个采集器所有采集对象完成采集处理所需的时间之和。求积计算子模块6241,被配置为计算所述多个采集器的个数与采集周期之积。第一判断子模块621,被配置为在所述多个采集器所有采集对象完成采集处理所需的时间之和,小于所述多个采集器的个数与采集周期之积的情况下,针对每个采集器,判断分配给该采集器的所有采集对象完成采集处理所需的时间之和,是否大于采集周期。分配剔除子模块622,被配置为在所述第一判断子模块判定大于采集周期的情况下,从该采集器的采集对象中剔除出部分采集对象,使该采集器的剩余采集对象完成采集处理所需的时间之和小于采集周期。第一分配调整子模块623,被配置将被剔除出的所述部分采集对象重新分配给剩余时间容量足够所述部分采集对象完成采集的采集器。第一数量计算子模块625,被配置为在所述多个采集器所有采集对象完成采集处理所需的时间之和,大于所述多个采集器的个数与采集周期之积的情况下,将所述多个采集器所有采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数N,N为正整数。第二分配调整子模块626,被配置为针对所述多个采集器的每个采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给N+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。第二数量计算子模块627,被配置为在还存在未重新分配的采集对象的情况下,将还未重新分配的采集对象完成采集处理所需的时间之和除以采集周期,得到预估的采集器个数M,M为正整数。第三分配调整子模块628,被配置为针对每个还未重新分配的采集对象,根据该采集对象完成采集处理所需的时间,将该采集对象重新分配给M+1个采集器中,剩余时间容量足够该采集对象完成采集的采集器。

为了在采集器不足时及时添加采集器,如图9所示,该装置还可以包括:通知模块640,被配置为在已添加的采集器的个数不足的情况下,根据预设通知策略发送通知以便人工添加采集器,或者,使所述通知触发服务器自动添加采集器。

为了减少采集器的容量碎片的产生,如图9所示,所述分配模块620可以包括:排序子模块6201,可以被配置为将无法在当前采集周期内完成采集处理的采集对象,按照完成采集处理所需的时间大小排序。选择分配子模块6202,被配置为每次重新分配时,选择完成采集处理所需的时间最大的采集对象,分配给剩余时间容量最大的采集器。

以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。

此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1