动态部署下载机方法和动态部署下载机装置的制造方法
【技术领域】
[0001]本发明涉及计算机技术领域，具体而言，涉及一种动态部署下载机方法和一种动态部署下载机装置。
【背景技术】
[0002]随着互联网的出现，人们的工作和生活方式也随之发生了越来越多的改变。今天，丰富而实时的网络新闻与各种博客、论坛、微博等新兴媒介，正随时随地带给人们以海量的资讯与信息。正因如此，及时准确地获取及分析这些信息更为重要。
[0003]若想准确地采集和分析这些广泛而实时更新的信息，目前普遍采用的策略是分布式系统。这种系统主要部分包括调度、下载、解析等部分，其中在部署下载机时，采用固定部署方式用于抓取页面信息。这样的部署网络下载机所付出的巨大代价就是需要更多的物理设备、消耗更多的电能和管理成本。
【发明内容】
[0004]考虑到相关技术中出现的技术问题，本发明提供了一种下载机部署技术，可根据信息量、下载任务情况动态部署下载机。
[0005]根据本发明的一个方面，提供了一种动态部署下载机方法，包括:监测下载任务状态；根据所述下载任务状态控制分布式系统中的下载机的开关状态。
[0006]分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。
[0007]在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。
[0008]在上述技术方案中，优选的，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。
[0009]任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。
[0010]在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。
[0011]在上述任一技术方案中，优选的，监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量；在不满足所述下载量时，开启处于关机状态的下载机。
[0012]当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否贝U，可选择开启合适的下载机。
[0013]根据本发明的另一方面，还提供了一种动态部署下载机装置，包括:监测单元，连接至控制单元，用于监测下载任务状态；所述控制单元，用于根据所述下载任务状态控制分布式系统中的下载机的开关状态。
[0014]分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。
[0015]在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。
[0016]在上述技术方案中，优选的，所述控制单元包括:判断单元，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。
[0017]任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。
[0018]在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。
[0019]在上述技术方案中，优选的，所述监测单元还用于监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；
[0020]所述控制单元还用于判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量，在不满足所述下载量时，开启处于关机状态的下载机。
[0021]当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否贝U，可选择开启合适的下载机。
[0022]本发明提供的基于分布式采集系统及动态部署下载机的方法及系统能够充分根据总控系统对当前待下载任务的数量、落地文件数量的多少、每天不同时间段对网络信息频繁发生的情况、动态系统实时刷新出来的任务数量等，来开启和关闭整个分布式系统中所需要的下载机，达到动态分布和管理的最佳实效，最大限度的节约资源与人工成本，使处于分布式的系统更加具有实用性和节能效果。
【附图说明】
[0023]图1示出了根据本发明的实施例的动态部署下载机方法的示意流程图；
[0024]图2示出了根据本发明的实施例的动态部署下载机装置的示意框图；
[0025]图3示出了根据本发明的实施例的动态部署下载机系统的处理过程示意图。
【具体实施方式】
[0026]为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和【具体实施方式】对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0027]在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
[0028]图1示出了根据本发明的实施例的动态部署下载机方法的示意流程图。
[0029]如图1所示，根据本发明的实施例的动态部署下载机方法，可以包括以下步骤:步骤102，监测下载任务状态；步骤104，根据下载任务状态控制分布式系统中的下载机的开关状态。
[0030]分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。
[0031]在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。
[0032]在上述技术方案中，优选的，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。
[0033]任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。
[0034]在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。
[0035]在上述任一技术方案中，优选的，监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量；在不满足所述下载量时，开启处于关机状态的下载机。
[0036]当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否贝U，可选择开启合适的下载机。
[0037]图2示出了根据本发明的实施例的动态部署下载机装置的示意框图。
[0038]如图2所示，根据本发明的实施例的动态部署下载机装置200，包括:监测单元202，连接至控制单元204，用于监测下载任务状态；所述控制单元204，用于根据所述下载任务状态控制分布式系统中的下载机的开关状态。
[0039]分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他