基于动态平衡的互联网资源获取方法及系统与流程

1.本技术涉及互联网技术领域，尤其是涉及一种基于动态平衡的互联网资源获取方法及系统。


背景技术：

2.随着互联网的发展，用户数和访问量越来越大，应用服务器和数据库服务器的计算量也越来越多。而服务器资源以及能接受的请求次数都是有限的，因此，为了提供尽可能大的吞吐量，互联网缓存系统应用而生。
3.互联网缓存系统与宽带运营商的出口相连，可以从缓存中直接获取互联网资源并返回用户，对于未缓存的互联网资源，则向源站抓取并返回用户。
4.但是，互联网缓存系统的回源和用户访问往往使用同样的出口，因此如果超过固定带宽一般会对回源进行强制限速，导致下载队列出现排队，影响用户访问互联网的体验；而为了要提高用户体验，往往会购买出口带宽，增加出口成本。


技术实现要素：

5.为了实现运营商出口带宽的最优化利用，本技术提供一种基于动态平衡的 互联网资源获取方法及系统。
6.第一方面，本技术提供一种基于动态平衡的互联网资源获取方法，采用如下的技术方案：一种基于动态平衡的互联网资源获取方法，包括：监控服务器监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器中，则将所述资源获取请求发送到热度统计服务器；所述热度统计服务器获取所述服务器地址，计算所述服务器地址所属的运营商出口，获取所述运营商出口对于所述互联网资源的热度统计值，若所述热度统计值达到当前热度阈值，则将包含下载地址和所述服务器地址的回源任务发送到所述缓存服务器；所述缓存服务器根据所述回源任务下载所述互联网资源，并将回源任务信息发送到管理服务器，所述回源任务信息包括回源速率和所述回源地址；所述管理服务器根据所述回源地址计算出所述回源地址所属的运营商出口，然后每间隔预设时间段根据所述运营商出口的用户占比、回源占比和最高速率确定所述运营商出口的热度阈值修正值，将所述热度阈值修正值发送到所述热度统计服务器；所述热度统计服务器根据所述热度阈值修正值调整所述运营商出口的当前热度阈值。
7.通过采用上述技术方案，根据运营商出口的用户访问量、回源量以及最高速率对当前热度阈值进行动态调整，即得到合适的回源量，可以最大限度地利用运营商出口带宽，节约运营商出口带宽，以实现出口带宽的最优化利用；并且，在限制回源时，可以优先下载
最热门的资源。
8.可选的，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和小于h1，则将所述热度阈值修正值设置为负数；其中，h1的取值区间为[68%,72%]，所述第一预设时间段的回源占比f1=d1/b，所述第一预设时间段的用户占比g1=e1/b，b为所述运营商出口配置的最高速率，d1为所述第一预设时间段的所述运营商出口的回源速率，e1为所述第一预设时间段的用户速率，e1=c1
‑
d1，c1为所述第一预设时间段的所述运营商出口的当前速率。
[0009]
可选的，当所述第一预设时间段的所述回源占比与用户占比之和小于h1时，若回源占比小于h2，则将所述热度阈值修正值设置为第一负数，否则将所述热度阈值修正值设置为第二负数；其中，h2的取值区间为[18%,22%]，所述第一负数的绝对值大于所述第二负数的绝对值。
[0010]
可选的，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和大于h3，则将所述热度阈值修正值设置为正数；其中，h3的取值区间为[93%,97%]，所述第一预设时间段的回源占比f1=d1/b，所述第一预设时间段的用户占比g1=e1/b，b为所述运营商出口配置的最高速率，d1为所述第一预设时间段的所述运营商出口的回源速率，e1为所述第一预设时间段的用户速率，e1=c1
‑
d1，c1为所述第一预设时间段的所述运营商出口的当前速率。
[0011]
可选的，当所述第一预设时间段的所述回源占比与用户占比之和小于h3时，若回源占比大于h4，则将所述热度阈值修正值设置为第一正数，否则将所述热度阈值修正值设置为第二正数；其中，h4的取值区间为[48%,52%]，所述第一正数大于所述第二正数。
[0012]
可选的，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和不小于h1且不大于h3，则分别获取与所述第一预设时间段依次相邻的第二预设时间段和第三预设时间段的回源占比和用户占比，其中，所述第二预设时间段、所述第三预设时间段的回源占比依次为f2=d2/b、f3=d3/b，用户占比依次为g2=e2/b、g3=e3/b，回源速率依次为d2、d3，用户速率依次为e2、e3，e2=c2
‑
d2、e3=c3
‑
d3，所述运营商出口的当前速率依次为c2、c3；若f1+g1>f2+g2<f3+g3或者f1+g1<f2+g2>f3+g3，则将所述热度阈值修正值设置为零；若f1+g1≤f2+g2≤f3+g3且f1+g1≤h5，则将所述热度阈值修正值设置为第三负数；若f1+g1≤f2+g2≤f3+g3且f1+g1>h5，则将所述热度阈值修正值设置为零；若f1+g1>f2+g2>f3+g3且g1/g2>h6且g2/g3>h6，则将所述热度阈值修正值设置为
第三正数；若f1+g1>f2+g2>f3+g3且h7<g1/g2≤h6且h7<g2/g3≤h6，则将所述热度阈值修正值设置为第四正数；若f1+g1>f2+g2>f3+g3且f1+g1≥h5，则将所述热度阈值修正值设置为零；若f1+g1>f2+g2>f3+g3且h8≤f1+g1<h5，则将所述热度阈值修正值设置为第四负数；否则将所述热度阈值修正值设置为第五负数；其中，h5、h6、h7和h8的取值区间依次为[88%,92%]、[108%,112%]、[103%,107%]、[78%,82%]；其中，所述第一正数和第四正数均小于第三正数。
[0013]
通过采用上述技术方案，根据用户访问量和回源量之间的关系实时调整当前热度阈值，在用户的下载热度未达到当前热度阈值之前，减小当前热度阈值，增加回源量，为用户提供更多下载服务；而在用户的下载热度开始升高之后，放弃下载热度较低的资源，只下载热度高的互联网资源，最大化地利用运营商出口带宽。
[0014]
可选的，还包括：若检测到所述待获取的互联网资源缓存于所述缓存服务器中，则所述监控服务器将所述资源获取请求重定向到所述缓存服务器，从所述缓存服务器获取所述互联网资源。
[0015]
可选的，还包括：在完成所述回源任务后，所述缓存服务器将缓存指示信息发送至所述监控服务器，所述缓存指示信息用于指示所述缓存服务器已缓存所述互联网资源。
[0016]
通过采用上述技术方案，监控服务器自动更新缓存服务器的互联网资源下载信息，用户在发送资源获取请求时，监控服务器无需向缓存服务器请求，即可快速查询到缓存服务器中是否存在待获取的互联网资源。
[0017]
第二方面，本技术提供一种基于动态平衡的互联网资源获取系统，采用如下的技术方案：一种基于动态平衡的互联网资源获取系统，包括：监控服务器、热度统计服务器、缓存服务器和管理服务器；监控服务器用于监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器中，则将所述资源获取请求发送到热度统计服务器；所述热度统计服务器用于获取所述服务器地址，计算所述服务器地址所属的运营商出口，获取所述运营商出口对于所述互联网资源的热度统计值，若所述热度统计值达到当前热度阈值，则将包含下载地址和所述服务器地址的回源任务发送到所述缓存服务器；所述缓存服务器用于根据所述回源任务下载所述互联网资源，并将回源任务信息发送到管理服务器，所述回源任务信息包括回源速率和所述回源地址；所述管理服务器用于根据所述回源地址计算出所述回源地址所属的运营商出口，然后每间隔预设时间段根据所述运营商出口的用户占比、回源占比和最高速率确定所述运营商出口的热度阈值修正值，将所述热度阈值修正值发送到所述热度统计服务器；所述热度统计服务器还用于根据所述热度阈值修正值调整所述运营商出口的当
前热度阈值。
[0018]
通过采用上述技术方案，根据运营商出口的用户访问量、回源量以及最高速率对当前热度阈值进行动态调整，即得到合适的回源量，可以最大限度地利用运营商出口带宽，节约运营商出口带宽，以实现出口带宽的最优化利用；并且，在限制回源时，可以优先下载最热门的资源。
附图说明
[0019]
图1是本技术实施例的基于动态平衡的互联网资源获取系统的结构框图。
[0020]
图2是本技术的实施例的一种应用于基于动态平衡的互联网资源获取系统的基于动态平衡的互联网资源获取方法的流程示意图。
具体实施方式
[0021]
以下结合附图对本技术作进一步详细说明。
[0022]
本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护。
[0023]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0024]
下面结合说明书附图对本技术实施例作进一步详细描述。
[0025]
图1为本实施例提供的一种基于动态平衡的互联网资源获取系统的结构框图。
[0026]
如图1所示，基于动态平衡的互联网资源获取系统包括监控服务器101、热度统计服务器102、缓存服务器103和管理服务器104。监控服务器101设置于运营商出口，并与热度统计服务器102相连接，热度统计服务器102分别与缓存服务器103和管理服务器104相连接，缓存服务器103分别与监控服务器102和管理服务器104连接。
[0027]
监控服务器101采用旁路方式监控所有运营商出口流量，分析用户的协议请求类型，获取用户终端发送的包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器103中，则将资源获取请求发送到热度统计服务器102；若检测到待获取的互联网资源缓存于缓存服务器103中，则该资源获取请满足重定向请求的报文，则伪装服务器向用户终端发送重定向报文，使用户和内网的其他用户与缓存服务器103进行交换数据。
[0028]
本实施例中，用户终端包括但不限于智能手机、平板电脑、pc机和台式机，对此本实施例不做具体限定。
[0029]
热度统计服务器102用于获取服务器地址，计算服务器地址所属的运营商出口，获取服务器地址所属的运营商出口的热度统计值，若运营商出口的热度达到当前热度阈值，则将包含下载地址和服务器地址的回源任务发送到缓存服务器103。
[0030]
对于本实施例中的热度统计值，当用户a获取互联网资源b时，监控服务器104检测到缓存服务器103中没有缓存互联网资源b，热度统计服务器102就记录互联网资源b的热度
统计值为1，假如此时没有达到当前热度阈值，则先不去下载，等待；当有用户c获取互联网资源b时，热度统计服务器102记录互联网资源b的热度值变为2，直到记录的热度统计值达到当前热度阈值时，才去执行回源任务。
[0031]
缓存服务器103用于根据回源任务下载互联网资源，并在缓存结束后将回源任务信息发送到管理服务器104，回源任务信息包括回源速率和回源地址。
[0032]
管理服务器104用于根据回源地址计算出回源地址所属的运营商出口，然后每间隔预设时间段根据运营商出口的当前速率、回源速率和最高速率计算运营商出口的热度阈值修正值，将热度阈值修正值发送到热度统计服务器102，热度统计服务器102根据热度阈值修正值实时调整运营商出口的热度阈值。
[0033]
图2为本实施例提供的一种应用于基于动态平衡的互联网资源获取系统的基于动态平衡的互联网资源获取方法的流程示意图。如图2所示，该方法的主要流程描述如下（步骤s201～s205）：步骤s201，监控服务器101监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器102中，则将资源获取请求发送到热度统计服务器103；若检测到待获取的互联网资源缓存于缓存服务器102中，则将资源获取请求重定向到缓存服务器102，从缓存服务器102获取互联网资源。
[0034]
步骤s202，热度统计服务器103获取服务器地址，计算服务器地址所属的运营商出口，获取服务器地址所属的运营商出口的热度统计值，若运营商出口的热度达到当前热度阈值，则将包含下载地址和服务器地址的回源任务发送到缓存服务器102；步骤s203，缓存服务器102根据回源任务下载互联网资源，并将回源任务信息发送到管理服务器104，回源任务信息包括回源速率和回源地址；在完成回源任务后，缓存服务器103将缓存指示信息发送至监控服务器104。缓存指示信息是指缓存服务器根据回源任务下载互联网资源完成后产生的，其用于指示缓存服务器103已缓存互联网资源。
[0035]
步骤s204，管理服务器104根据回源地址计算出回源地址所属的运营商出口，然后每间隔预设时间段根据运营商出口的用户占比、回源占比和最高速率运营商出口的热度阈值修正值，将热度阈值修正值发送到热度统计服务器102。
[0036]
对于步骤s202中的当前热度阈值，需要根据用户访问量以及回源量之间的关系来对其进行动态修正，以得到最合适的当前热度阈值，使运营商出口宽带得到最优化的利用。
[0037]
可选的，先通过运营商出口的当前速率回源速率和最高速率计算得到与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和，再根据计算结果所处的区间来对当前热度阈值进行相应修正。
[0038]
其中，第一预设时间段的回源占比f1=d1/b，第一预设时间段的用户占比g1=e1/b，b为运营商出口配置的最高速率，d1为第一预设时间段的运营商出口的回源速率，d1通过管理服务器采集可得，e1为第一预设时间段的用户速率，e1=c1
‑
d1，c1为第一预设时间段的运营商出口的当前速率，c1通过管理服务器采集可得。
[0039]
下面分别以h1至h8作为区间临界值来对热度阈值修正值的取值进行具体说明。
[0040]
（1）若f1+g1<h1，则将热度阈值修正值设置为负数；
其中，h1的取值区间为[68%,72%]，优选值为70%。
[0041]
进一步地，还需要根据第一预设时间段的回源占比f1的大小，来对负数的绝对值进行进一步限定。
[0042]
若f1<h2，则将热度阈值修正值设置为第一负数，否则将热度阈值修正值设置为第二负数。
[0043]
其中，h2的取值区间为[18%,22%]，优选值为20%，第一负数的绝对值大于第二负数的绝对值，f1<h2时，回源占比低，可以进一步提高下载任务量，第一负数的优选值为
‑
2，第二负数的优选值为
‑
1。
[0044]
（2）若f1+g1>h3，则将热度阈值修正值设置为正数；其中，h3的取值区间为[93%,97%]，优选值为95%。
[0045]
进一步地，还需要根据第一预设时间段的回源占比f1的大小，来对负数的绝对值进行进一步限定。
[0046]
若f1>h4，则将热度阈值修正值设置为第一正数，否则将热度阈值修正值设置为第二正数。
[0047]
其中，h4的取值区间为[48%,52%]，优选值为50%，第一正数大于第二正数。f1>h4时，回源占比较高，需要进一步降低回源，第一正数的优选值为2，第二正数的优选值为1。
[0048]
（3）若h1≤f1+g1≤h3，则分别获取与第一预设时间段依次相邻的第二预设时间段和第三预设时间段的回源占比和用户占比，然后根据与第一预设时间段依次相邻的第二预设时间段和第三预设时间段的回源占比和用户占比。
[0049]
本实施例中，第三预设时间段、第二预设时间段、第一预设时间段和当前预设时间段依次相邻。
[0050]
其中，第二预设时间段、第三预设时间段的回源占比依次为f2=d2/b、f3=d3/b，用户占比依次为g2=e2/b、g3=e3/b，回源速率依次为d2、d3，用户速率依次为e2、e3，e2=c2
‑
d2、e3=c3
‑
d3，运营商出口的当前速率依次为c2、c3。
[0051]
需要说明的是，第二预设时间段和、第三预设时间段的运营商出口的回源速率和当前速率的计算方式与第一预设时间段的运营商出口的回源速率和当前速率的计算方式相同，此处不再赘述。
[0052]
若f1+g1>f2+g2<f3+g3或者f1+g1<f2+g2>f3+g3，视为运营商的出口流量产生波动，则将热度阈值修正值设置为零，暂时不对当前热度阈值进行修正。
[0053]
当f1+g1≤f2+g2≤f3+g3且f1+g1≤h5时，h5的取值区间为[88%,92%]，其中h5的优选值为90%，运营商的出口流量下降，从而为服务更多用户，选择降低热度阈值，将热度阈值修正值设置为第三负数，第三负数的优选值为
‑
2。
[0054]
当f1+g1≤f2+g2≤f3+g3且f1+g1>h5时，运营商的出口流量下降，但仍然处于较高状态，从而将热度阈值修正值设置为零，暂时不做调整。
[0055]
当f1+g1>f2+g2>f3+g3且g1/g2>h6且g2/g3>h6时，h6的取值区间为[108%,112%]，其中h6的优选值为110%，当出现这种状况时，表示用户的资源获取请求突然到达高峰期，未来用户占比将逐步提高，因此需要提前提高热度阈值，保证获取资源请求高的互联网资源有限下载，从而将热度阈值修正值设置为第三正数，第三正数大于第一正数，第三正
数的优选值为4。
[0056]
当f1+g1>f2+g2>f3+g3且h7<g1/g2≤h6且h7<g2/g3≤h6时，h7的取值区间为[103%,107%]，当出现这种状况时，表示用户的资源获取请求到达高峰期，因此需要提高热度阈值，保证获取资源请求高的互联网资源有限下载，从而将热度阈值修正值设置为第四正数，第四正数小于第三正数，第四正数的优选值为2。
[0057]
当1+g1>f2+g2>f3+g3且f1+g1≥h5，表示当前运营商的出口流量仍然处于运营商的出口的最高速率范围之内，暂时不需要对热度阈值做出调整，从而将热度阈值修正值设置为零。
[0058]
当f1+g1>f2+g2>f3+g3且h8≤f1+g1<h5时，运营商的出口流量平稳上升并且在运营商的出口的最高速率范围之内，继续降低热度阈值为更多的用户提供服务，从而将热度阈值修正值设置为第四负数，第四负数的优选值为
‑
1。
[0059]
当处于其他情况时，将热度阈值修正值设置为第五负数，第五负数的优选值为
‑
1。
[0060]
步骤s205，热度统计服务器102根据热度阈值修正值调整运营商出口的当前热度阈值。
[0061]
本实施例中，根据运营商出口的用户访问量、回源量以及最高速率对当前热度阈值进行动态调整，即得到合适的回源量并且根据用户访问量和回源量之间的关系实时调整当前热度阈值，在用户的下载热度未达到当前热度阈值之前，减小当前热度阈值，增加回源量，为用户提供更多下载服务；而在用户的下载热度开始升高之后，放弃下载热度较低的资源，只下载热度高的互联网资源，可以最大限度地利用运营商出口带宽，节约运营商出口带宽，以实现出口带宽的最优化利用。运营商出口的热度阈值初始值与热度阈值修正值均需要根据实际需求进行配置。