一种CDN网络中调度节点服务器的业务的方法和系统与流程

本发明涉及互联网
技术领域：
，尤其涉及一种cdn网络中调度节点服务器的业务的方法及系统。
背景技术：
：随着各大cdn服务商的相继降价，cdn行业的激烈竞争拉开序幕，这不仅从很大程度上推动cdn行业的价格透明化，同时也降低了用户对cdn服务的采购成本，对所有用户来说是个重大利好。对cdn厂商来说，需要拥抱价格透明化这一大趋势，通过不断的技术和商业模式创新才能得以继续生存。具体来说，现有cdn服务商通过将从运营商大规模采购的带宽资源整合后，利用全局负载均衡系统将用户的访问流量合理分配到分布在各地的cdn边缘节点，这一系统需要尽量降低用户访问cdn节点的延迟，保证良好的用户体验，随着用户量的增加，以及不断出现的富媒体和流媒体市场的各种需要，cdn厂商在成本有所控制的基础上保持稳定的服务质量成为当务之急。这就需要优化节点服务器带宽资源的利用。技术实现要素：为了解决现有技术中调度节点服务器的业务中的问题，提出了一种调度节点服务器的业务的方法和系统。根据本发明的一个方面，提供了一种cdn网络中节点服务器带宽资源的调度方法，所述方法包括：确定调入节点服务器，生成调入节点服务器集合；选择所述调入节点服务器集合中一调入节点服务器，将待调度业务调度到所选择的调入节点服务器。其中，确定调入节点服务器包括基于下述方式中至少一种确定调入节点服务器：方式一，预测各节点服务器的未来使用带宽，若一节点服务器在一时间点或时间段的使用带宽小于所述节点服务器的最小计费带宽，则确定所述节点服务器在所述时间点或时间段为调入节点服务器；方式二，若判断一节点服务器存在免费计费时间段，则确定所述节点服务器为调入节点服务器。其中，通过下述操作选择基于所述方式一的调入节点服务器：获取各调入节点服务器在所述时间点或时间段的使用带宽与最小计费带宽之间的带宽差，选择最大带宽差对应的调入节点服务器。其中，通过下述操作中之一选择基于所述方式二的调入节点服务器：(1)获取各调入节点服务器在本计费周期已产生计费时间段的带宽超过所述最优使用带宽的时长总和，并计算所述时长总和与总免费时长之间的时长差，选择最大时长差对应的调入节点服务器；(2)获取所述待调度业务对应的调入带宽值和调入时间点或时间段，预测各调入节点服务器在所述调入时间点或时间段的使用带宽，计算各调入节点服务器最大可达带宽减去相应使用带宽与相应调入带宽值后的差值，选择最小差值对应的调入节点服务器。其中，基于所述方式二确定调入节点服务器包括：获取一节点服务器本计费周期已产生计费时间段的带宽超过所述最优使用带宽的时长总和，若所述节点服务器的总免费时长大于所述时长总和，则判断所述节点服务器存在免费计费时间段。其中，所述方法还包括：获取待调度业务的特征信息，并预测待调度业务对应的调入带宽值的变化函数；选择所述调入节点服务器集合中一调入节点服务器还包括：基于所述特征信息筛选调入节点服务器，预测所筛选的调入节点服务器的使用带宽的变化函数，针对各筛选的调入节点服务器，计算所述调入带宽值的变化函数与所述使用带宽的变化函数的负相关系数，选择最大负相关系数对应的调入节点服务器。根据本发明的另一方面，提供了一种cdn网络中节点服务器带宽资源的调度系统，所述系统包括：确定模块，用于确定调入节点服务器；生成模块，用于生成调入节点服务器集合；选择模块，用于选择所述调入节点服务器集合中一调入节点服务器；调度模块，用于将待调度业务调度到所选择的调入节点服务器。其中，所述确定模块用于基于下述方式中至少一种确定调入节点服务器：方式一，预测各节点服务器的未来使用带宽，若一节点服务器在一时间点或时间段的使用带宽小于所述节点服务器的最小计费带宽，则确定所述节点服务器在所述时间点或时间段为调入节点服务器；方式二，若判断一节点服务器存在免费计费时间段，则确定所述节点服务器为调入节点服务器。其中，所述选择模块用于通过下述操作选择基于所述方式一的调入节点服务器：获取各调入节点服务器在所述时间点或时间段的使用带宽与最小计费带宽之间的带宽差，选择最大带宽差对应的调入节点服务器。其中，所述选择模块用于通过下述操作中之一选择基于所述方式二的调入节点服务器：(1)获取各调入节点服务器在本计费周期已产生计费时间段的带宽超过所述最优使用带宽的时长总和，并计算所述时长总和与总免费时长之间的时长差，选择最大时长差对应的调入节点服务器；(2)获取所述待调度业务对应的调入带宽值和调入时间点或时间段，预测各调入节点服务器在所述调入时间点或时间段的使用带宽，计算各调入节点服务器最大可达带宽减去相应使用带宽与相应调入带宽值后的差值，选择最小差值对应的调入节点服务器。其中，所述确定模块用于通过下述来判断一节点服务器存在免费计费时间段：获取一节点服务器本计费周期已产生计费时间段的带宽超过所述最优使用带宽的时长总和，若所述节点服务器的总免费时长大于所述时长总和，则判断所述节点服务器存在免费计费时间段。其中，所述系统还包括：获取模块，用于获取待调度业务的特征信息；预测模块，用于预测待调度业务对应的调入带宽值的变化函数；所述选择模块还用于：基于所述特征信息筛选调入节点服务器，预测所筛选的调入节点服务器的使用带宽的变化函数，针对各筛选的调入节点服务器，计算所述调入带宽值的变化函数与所述使用带宽的变化函数的负相关系数，选择最大负相关系数对应的调入节点服务器。本发明中的调度节点服务器带宽资源的调度方法和系统，通过将业务调度到其带宽资源未被充分利用的节点服务器，来最大限度优化节点服务器带宽资源的利用。在本发明中特点，利用免费计费时长，帮助企业以更有效的成本控制、更灵活的方式构建cdn网络系统，从而在cdn厂商成本一定的情况下，最大限度地提高对用户服务的质量。附图说明构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1是根据本发明的调度节点服务器的业务的方法的流程图；图2是根据本发明的调度节点服务器的业务的系统的模块图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。本发明提供了一种cdn网络中节点服务器带宽资源的调度方法，如图1所示，该方法包括：步骤101，确定调入节点服务器，生成调入节点服务器集合；步骤102，选择调入节点服务器集合中一调入节点服务器，将待调度业务调度到所选择的调入节点服务器。步骤101中，确定调入节点服务器包括基于下述方式中至少一种确定调入节点服务器：方式一，预测各节点服务器的未来使用带宽，若一节点服务器在一时间点或时间段的使用带宽小于节点服务器的最小计费带宽，则确定节点服务器在该时间点或时间段为调入节点服务器；方式二，若判断一节点服务器存在免费计费时间段，则确定节点服务器为调入节点服务器。在方式一中，预测各节点服务器的未来使用带宽需要获取各节点服务器的历史使用带宽，并基于历史使用带宽来对未来使用带宽进行预测。若在未来或当前一时间点或时间段的使用带宽小于该节点服务器的最小计费带宽，则认为该节点服务器的带宽资源没有被充分利用，则可以选择该节点服务器为调入节点服务器。其中，最大可达带宽即一节点服务器的建设带宽的90％，为该节点服务器的可用带宽的上限；最小计费带宽即一节点服务器的保底带宽(从运营商处购买的基本带宽)，最优使用带宽即一节点服务器的规划带宽。这里的规划带宽是按照计费规则，去掉前5％个计费点的最高带宽后，剩下的95％个计费点中的最大带宽。带宽的预测可以采用下述方法：首先，获取该节点服务器的历史使用带宽，例如采用最近一个月的使用带宽来进行当天的带宽预测。其次，在上述最近一个月的使用带宽数据中筛选具有相同日期特征的数据进行预测。例如，当天是周二，因此筛选最近一个月中所有周二的使用带宽，生成样本数据集合。再次，提取样本数据集合中各时刻的使用带宽，采用各时刻的使用带宽进行当天对应时刻的使用带宽的预测。例如，可以通过下述方式：(1)计算最近一个月几个周二中对应时刻的使用带宽的平均值，作为当天该时刻的预测的使用带宽；(2)计算最近一个月几个周二中对应时刻的使用带宽的平均值，基于该平均值和设定增长率预测当天该时刻的预测的使用带宽；(3)对最近一个月几个周二中对应时刻的使用带宽进行差值分析，得到当天该时刻的预测的使用带宽。对带宽预测后，还可以对预测的带宽进行实时修正。例如，在如上述预测当天各时刻的使用带宽后，对该预测的使用带宽进行实时监控，将实时监控的数值与预测值之间的偏离值与设定的偏离阈值相比较，若偏离值大于偏离阈值，则进行下述方式的修正：(1)取一时间段(例如一天)的偏离值的平均值，作为修正值，修正之后预测的各时间点的带宽。(2)取一时间段(例如一天)的偏离值的差值比例，作为修正值，修正之后预测的各时间点的带宽。需要说明的是，当选择当前时间段或未来时间段的调入节点服务器时，可以通过取该时间段的等效使用带宽的方式作为其使用带宽进行判断。这里的节点服务器在一时间段的等效使用带宽可以通过各种算术方法对该时间段内各时间点上的使用带宽进行计算求得，只要求得的等效使用带宽能够较佳地拟合节点服务器在该时间段内带宽使用情况即可。在方式二中，通过利用节点服务器的免费计费时间段来优化带宽资源的使用。目前，cdn服务商一般与运营商采用峰值计费规则跟运营商按自然月结算带宽费用。在一个自然月内，按账户取每5分钟有效带宽值进行降序排列，然后把带宽数值最高的5％的点去掉，剩下的最高带宽就是峰值计费值。以一月30天为例，默认均为有效取值点，则每5分钟1个带宽取值点，每小时12个取值点，每月取值点数为12*24*30＝8640个；将所有的点按带宽数值降序排列，去掉前5％的点8640*5％＝432个点，即第433个点为计费点，该计费点的带宽即为最优使用带宽，也称为规划带宽。根据这一计费规则可以看出，对于cdn服务商来说，有效利用排序在带宽计费峰值之前的“闲置带宽”，可以在控制成本的基础上最大程度保证服务质量。步骤102中，可以通过下述操作选择基于方式一的调入节点服务器：获取各调入节点服务器在该时间点或时间段的使用带宽与最小计费带宽之间的带宽差，选择最大带宽差对应的调入节点服务器。基于上述选择的调入节点服务器的可调入带宽最大。步骤102中，可以通过下述操作中之一选择基于方式二的调入节点服务器：(1)获取各调入节点服务器在本计费周期已产生计费时间段的带宽超过所述最优使用带宽的时长总和，并计算所述时长总和与总免费时长之间的时长差，选择最大时长差对应的调入节点服务器；(2)获取所述待调度业务对应的调入带宽值和调入时间点或时间段，预测各调入节点服务器在所述调入时间点或时间段的使用带宽，计算各调入节点服务器最大可达带宽减去相应使用带宽与相应调入带宽值后的差值，选择最小差值对应的调入节点服务器。这里的计费周期可以是一个月，通常根据实际需要来设定。在第一种操作中，若已产生的计费时间段的带宽超过最优使用带宽，则将该计费时间段作为已使用的免费时长，选择剩余免费时长最大的调入节点服务器。在第二种操作中，基于待调入业务对应的调入带宽值选择调入节点服务器，目的是使得调入该业务后，调入节点的使用带宽最大限度地接近其最大可达带宽，这样就可以最大限度地利用调入节点服务器的免费时长。上述两种选择操作可以择一进行。另外，也可以两种操作组合进行，即综合考虑时长差较大以及带宽差值较小的条件，进行调入节点服务器的选择。需要说明的是，这里在进行节点服务器选择时使用的最优使用带宽，即规划带宽，应该是一节点服务器在本计费周期的最优使用带宽，由于还无法得到该节点服务器本计费周期真实的最优使用带宽，因此这里使用的最优使用带宽是通过预测方式得到的。即利用预测的一节点服务器在本计费周期各计费点的使用带宽，得到预测的最优使用带宽。为了获得最好的调度效果，在从调入节点服务器集合中选择一个调入节点服务器时，基于上述操作选择优选的调入节点服务器。例如，选择使用带宽与最优使用带宽之差较大的节点服务器，或者选择剩余免费时长较大的节点服务器，或者选择调入业务后节点服务器的使用带宽最接近其最大可达带宽的节点服务器，再或者选择综合考虑剩余免费时长较大且调入业务后节点服务器的使用带宽较接近其最大可达带宽两种情况的节点服务器。其中，基于方式二确定调入节点服务器包括：获取一节点服务器本计费周期已产生计费时间段的带宽超过最优使用带宽的时长总和，若节点服务器的总免费时长大于时长总和，则判断节点服务器存在免费计费时间段。同样地，如上所述，这里采用的最优使用带宽也是通过预测方式得到的。这里，当未将节点服务器的总免费时长使用完时，则认为该节点服务器可以做为调入节点服务器。如前所述，前432个计费点为免费计费点，每个计费点涉及的时间段长度为5分钟，因此计算得到的总免费时长为432*5＝2160分钟，为36个小时。另外，上述方法还包括：获取待调度业务的特征信息，并预测待调度业务对应的调入带宽值的变化函数。这里的待调度业务的特征信息包括待调度业务是否为跨时区业务，待调度业务的负载大小，即上传或下载的文件是大文件还是小文件，等等。这里，待调度业务对应的调入带宽值的变化函数，是随时间的变化函数，例如该待调度业务对应一个域名下的业务，基于该域名下的业务在历史上的带宽值可以预测其在未来的带宽值的变化函数，或变化趋势。步骤102中，选择所述调入节点服务器集合中一调入节点服务器还包括：基于所述特征信息筛选调入节点服务器，预测所筛选的调入节点服务器的使用带宽的变化函数，针对各筛选的调入节点服务器，计算所述调入带宽值的变化函数与所述使用带宽的变化函数的负相关系数，选择最大负相关系数对应的调入节点服务器。首先针对待调度业务的特征信息，例如一天中的带宽变化趋势存在明显的波峰波谷、需要处理的多为小文件或者多为大文件等，来筛选合适的调入节点服务器。如当待调度业务白天存在带宽高峰，夜晚存在带宽波谷，即白天为业务的忙时，夜晚为业务的闲时，由于本地节点服务器的忙时可能对应跨时区调入节点服务器的闲时，本地节点服务器的闲时可能对应跨时区调入节点服务器的忙时，则优选将本地业务忙时部分调度到跨时区调入节点服务器。当待调度业务需要集中处理小文件容易引起磁盘io负载过高时，则优选将小文件业务部分调度到的集中处理大文件的磁盘io负载较低的调入节点服务器；反之亦然。其次，预测所筛选的调入节点服务器的使用带宽随时间的变化函数。当一调入节点服务器的预测的使用带宽的变化函数与待调入业务的调入带宽值的变化函数之间的负相关系数(负相关度)最大时，即当调入带宽值增加，而调入节点的预测使用带宽减小，就能最佳地利用该调入节点服务器的带宽资源。需要说明的是，这里两个函数之间的负相关系数可以通过现有的数学方法进行计算，在此不再赘述。下面详细描述根据本发明的具体实施例，该具体实施例中，资源池包括节点服务器a、b、c、d，假设当前时间为1月10日，包括下述步骤：步骤一，获取各节点服务器截止到当前时刻的本月已产生计费时间段的带宽超过所述最优使用带宽的时长总和，节点服务器a为1065分钟，节点服务器b为345分钟，节点服务器c为1845分钟，节点服务器d为2160分钟。步骤二，由于总免费时长为2160分钟，因此判断节点服务器a、b、c存在免费计费时间段，则将节点服务器a、b、c确定为调入节点服务器。步骤三，生成调入节点服务器集合，该集合包括节点服务器a、b、c。步骤四，计算各调入节点服务器的剩余可用免费时长，节点服务器a为1095分钟，节点服务器b为1815分钟，节点服务器c为315分钟，因此选择调入节点服务器a，将待调度业务调度到调入节点服务器a。另外，也可以基于一待调度业务的具体调入带宽值来选择调入节点服务器，则还包括下述步骤：步骤五，获取待调度业务对应的调入带宽值和调入时间点，为2g和1月15日9:00，则可以得到表1，表1节点服务器带宽情况最大可达带宽预测使用带宽调入带宽值差值节点服务器a72g50g2g20g节点服务器b72g67g2g3g节点服务器c27g20g2g5g其中，调入节点服务器b对应的差值最小，因此选择调入节点服务器a，将待调度业务调度到调入节点服务器a。本发明还提供了一种cdn网络中节点服务器带宽资源的调度系统，所述系统包括：确定模块201，用于确定调入节点服务器；生成模块202，用于生成调入节点服务器集合；选择模块203，用于选择所述调入节点服务器集合中一调入节点服务器；调度模块204，用于将待调度业务调度到所选择的调入节点服务器。其中，所述确定模块201用于基于下述方式中至少一种确定调入节点服务器：方式一，预测各节点服务器的未来使用带宽，若一节点服务器在一时间点或时间段的使用带宽小于所述节点服务器的最小计费带宽，则确定所述节点服务器在所述时间点或时间段为调入节点服务器；方式二，若判断一节点服务器存在免费计费时间段，则确定所述节点服务器为调入节点服务器。其中，所述选择模块203用于通过下述操作选择基于所述方式一的调入节点服务器：获取各调入节点服务器在所述时间点或时间段的使用带宽与最小计费带宽之间的带宽差，选择最大带宽差对应的调入节点服务器。其中，所述选择模块203用于通过下述操作中之一选择基于所述方式二的调入节点服务器：(1)获取各调入节点服务器在本计费周期已产生计费时间段的带宽超过所述最优使用带宽的时长总和，并计算所述时长总和与总免费时长之间的时长差，选择最大时长差对应的调入节点服务器；(2)获取所述待调度业务对应的调入带宽值和调入时间点或时间段，预测各调入节点服务器在所述调入时间点或时间段的使用带宽，计算各调入节点服务器最大可达带宽减去相应使用带宽与相应调入带宽值后的差值，选择最小差值对应的调入节点服务器。其中，所述确定模块201用于通过下述来判断一节点服务器存在免费计费时间段：获取一节点服务器本计费周期已产生计费时间段的带宽超过所述最优使用带宽的时长总和，若所述节点服务器的总免费时长大于所述时长总和，则判断所述节点服务器存在免费计费时间段。其中，所述系统还包括：获取模块，用于获取待调度业务的特征信息；预测模块，用于预测待调度业务对应的调入带宽值的变化函数；所述选择模块203还用于：基于所述特征信息筛选调入节点服务器，预测所筛选的调入节点服务器的使用带宽的变化函数，针对各筛选的调入节点服务器，计算所述调入带宽值的变化函数与所述使用带宽的变化函数的负相关系数，选择最大负相关系数对应的调入节点服务器。本发明中的调度节点服务器带宽资源的调度方法和系统，通过将业务调度到其带宽资源未被充分利用的节点服务器，来最大限度优化节点服务器带宽资源的利用。在本发明中特点，利用免费计费时长，帮助企业以更有效的成本控制、更灵活的方式构建cdn网络系统，从而在cdn厂商成本一定的情况下，最大限度地提高对用户服务的质量。上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。当前第1页12