缓存系统的白名单更新方法、采集分析装置及缓存系统与流程

本发明涉及互联网技术领域，尤其涉及一种缓存系统的白名单更新方法、采集分析装置及缓存系统。

背景技术：

经济全球化进一步加强互联网全球化的特征，成为一种超越国界与国家主权的、在全世界范围内所展现的沟通与联系、交流与互动的趋势。为顺应这一趋势，各国大型电信运营商都尝试在全球拓展业务，实现内容资源的共享以及网络覆盖的延伸，一方面为国内用户提供通达全球的通信服务，同时发展海外客户增强自身的竞争力。面对日益拥塞的国际链路和大规模的入境流量，最有效的方法就是建立互联网缓存平台，通过本地缓存互联网内容降低入境流量，缓解国际链路拥塞度的不断上升问题。从技术上解决由于网络带宽拥塞、链路流量大而利用高等原因影响的访问互联网的用户体验问题，可以增强用户的数据业务体验；同时也可以降低因网间流量产生的结算费用。

缓存系统在现有的IP网络中部署，存储互联网中的热点或者特定内容，并引导用户的访问请求转发到缓存服务器。目前重定向子系统根据域名的白名单对符合目标返回缓存系统的调度服务器的IP地址，其中白名单主要是基于缓存系统的日志进行分析，获取一段时间内的热点网站排名，然后手工更新白名单列表。这种方法只适用于网站访问度集中、用户行为较稳定的国内互联网访问的缓存部署。对于国际互联网场景下，由于国际互联网域名量大，访问集中度不高，往往热点网站需要配置几十万甚至几百万条，且变动频繁。使用该方法将导致白名单配置的数量较多、更新滞后、命中率低等问题，无法高效地节省国际带宽资源，提升国际互联网访问质量。因此，需要随着用户需求和网络环境自 适应调整白名单，动态感知访问质量，实现网页内容的智能缓存。

技术实现要素：

有鉴于此，本发明要解决的一个技术问题是提供一种缓存系统的白名单更新方法、采集分析装置及缓存系统，能够生成用户群的热点域名列表。

一种缓存系统的白名单更新方法，包括：实时获取网络访问量以及用户信息；基于所述网络访问量以及用户信息确定与用户群对应的热点网络域名，生成用户群的热点域名列表；将所述用户群的热点域名列表增加到白名单中。

根据本发明的一个实施例，进一步的，包括：实时获取网络链路质量信息；当判断与所述用户热点网络域名对应的网络链路发生拥堵或出现故障时，基于调整策略调整所述白名单中的所述用户群的热点域名列表；其中，所述策略包括：高等级的用户优先保证。

根据本发明的一个实施例，进一步的，包括：当判断网络链路发生拥堵或出现故障、并且与此网络链路对应的网路域名不在所述白名单中时，将此网络域名增加到所述白名单中；所述网络链路包括：国际互联网链路。

根据本发明的一个实施例，进一步的，包括：重定向服务器接收客户端发送的域名系统DNS解析请求，从所述DNS解析请求中解析出请求访问的域名；当判断所述域名在所述白名单中时，获取与所述域名对应的缓存服务器，判断所述缓存服务器是否可用，如果是，则将所述缓存服务器的IP地址发送给所述客户端；当判断所述域名不在白名单中时，则丢弃所述DNS解析请求。

根据本发明的一个实施例，进一步的，所述判断所述缓存服务器是否可用包括：所述重定向服务器按预设的时间间隔周期性地向所述缓存服务器发送SNMP请求报文；所述重定向服务器接收所述缓存服务器返回的SNMP响应报文，解析所述SNMP响应报文获取所述负载信息；其中，所述负载信息包括：CPU利用率、内存利用率、存储资源使用率。

根据本发明的一个实施例，进一步的，包括：所述重定向服务器基于获取的所述缓存服务器的负载能力以及所述缓存服务器的状态，调整重定向策略并对所述缓存服务器重新分配白名单；如果所述域名对应的处于可用状态的所述缓存服务器的数量为一个，则所述重定向服务器获取此缓存服务器的IP地址并发送给所述客户端；如果所述域名对应的处于可用状态的所述缓存服务器的数量为多个，则所述重定向服务器基于所述重定向策略选择一个缓存服务器，获取其IP地址并发送给所述客户端。

根据本发明的一个实施例，进一步的，包括：所述缓存服务器接收到所述客户端发送的数据请求消息，如果保存有与所述数据请求消息对应的数据，则将保存的与所述数据请求消息对应的数据发送给所述客户端；所述缓存服务器如果没有保存与所述数据请求消息对应的数据，则向源服务器发送查询数据请求，将所述源服务器返回的所述数据保存并发送给所述客户端。

一种白名单采集分析装置，包括：访问采集单元，用于实时获取网络访问量以及用户信息；热点分析单元，用于基于所述网络访问量以及用户信息确定与用户群对应的热点网络域名，生成用户群的热点域名列表；白名单下发单元，用于将所述用户群的热点域名列表增加到白名单中。

根据本发明的一个实施例，进一步的，链路检测单元，用于实时获取网络链路质量信息；白名单调整单元，用于当判断与所述用户热点网络域名对应的网络链路发生拥堵或出现故障时，基于调整策略调整所述白名单中的所述用户群的热点域名列表；其中，所述调整策略包括：高等级的用户优先保证。

根据本发明的一个实施例，进一步的，所述白名单调整单元，用于当判断网络链路发生拥堵或出现故障、并且与此网络链路对应的网路域名不在所述白名单中时，将此网络域名增加到所述白名单中；所述网络链路包括：国际互联网链路。

一种网络缓存系统，包括：如上所述的白名单采集分析装置；重定 向服务器，包括：DNS请求接收单元，用于接收客户端发送的域名系统DNS解析请求，从所述DNS解析请求中解析出请求访问的域名；缓存服务器分配单元，用于当判断所述域名在所述白名单中时，获取与所述域名对应的缓存服务器，判断所述缓存服务器是否可用，如果是，则将所述缓存服务器的IP地址发送给所述客户端；当判断所述域名不在白名单中时，则丢弃所述DNS解析请求。

根据本发明的一个实施例，进一步的，所述重定向服务器，还包括：状态检测单元，用于按预设的时间间隔周期性地向所述缓存服务器发送SNMP请求报文；接收所述缓存服务器返回的SNMP响应报文，解析所述SNMP响应报文获取所述负载信息；其中，所述负载信息包括：CPU利用率、内存利用率、存储资源使用率。

根据本发明的一个实施例，进一步的，所述缓存服务器分配单元，还用于基于获取的所述缓存服务器的负载能力以及所述缓存服务器的状态，调整重定向策略并对所述缓存服务器重新分配白名单；如果所述域名对应的处于可用状态的所述缓存服务器的数量为一个，则重定向服务器获取此缓存服务器的IP地址并发送给所述客户端；如果所述域名对应的处于可用状态的所述缓存服务器的数量为多个，则重定向服务器基于所述重定向策略选择一个缓存服务器，获取其IP地址并发送给所述客户端。

本发明的缓存系统的白名单更新方法、采集分析装置及缓存系统，通过动态感知互联网业务质量，实现动态更新热点网站，通过基于链路资源情况及用户群信息生成针对不同用户群的白名单列表，能够提升缓存系统效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图 获得其他的附图。

图1为根据本发明的缓存系统的白名单更新方法的一个实施例的流程示意图；

图2为根据本发明的网络缓存系统的一个实施例的拓扑示意图；

图3为根据本发明的白名单采集分析装置的一个实施例的示意图；

图4为根据本发明的网络缓存系统的一个实施例中的重定向服务器的示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合各个图和实施例对本发明的技术方案进行多方面的描述。

图1为根据本发明的缓存系统的白名单更新方法的一个实施例的流程示意图，如图1所示：

步骤101，实时获取网络访问量以及用户信息。

步骤102，基于网络访问量以及用户信息确定与用户群对应的热点网络域名，生成用户群的热点域名列表。

步骤103，将用户群的热点域名列表增加到白名单中。

白名单中保存的域名可以为热点网络和/或签约网络的域名。热点网络是指特定时间内访问量达到特定次数的网络，签约网络是指与该DNS重定向系统存在服务关系的网络。

实时获取网络链路质量信息，当判断与用户热点网络域名对应的网络链路发生拥堵或出现故障时，基于调整策略调整白名单中的用户群的热点域名列表，策略包括：高等级的用户优先保证等。当判断网络链路发生拥堵或出现故障、并且与此网络链路对应的网路域名不在白名单中 时，将此网络域名增加到白名单中，网络链路包括：国际互联网链路、国内互联网链路等。

上述实施例中的缓存系统的白名单更新方法，提出了“感知回馈、自动调整”的白名单更新方式，在对热点网站的互联网质量测试结果、国际链路资源情况、用户群等信息进行采集和分析的基础上，结合分析结果和用户保障需求，动态优化白名单调整策略，从而提高互联网业务访问质量。

如图2所示，网络中集中部署采集分析装置21，采集分析装置21通过SNMP、OSS等实时获取网络资源情况、用户信息、互联网质量信息等。质量测试系统通过国内探针测试国际互联网网站库及白名单热点网站的实时访问质量。

将测试结果与历史经验值进行比较，当测试结果普遍裂化时，采集分析平台将根据网际链路利用率、网站流量和用户群信息，针对不同用户群需求和热点网站信息实时更新白名单。结合缓存系统服务能力，调整不同用户的白名单域名列表，将热点网站及重要用户的域名进行保证。当测试结果部分裂化时，有可能裂化的网站域名并不在白名单列表中，这时可以调整白名单列表，将该部分裂化的域名添加到白名单，或者针对特定用户的白名单进行调整。

在一个实施例中，重定向服务器接收客户端发送的域名系统DNS解析请求，从DNS解析请求中解析出请求访问的域名。当判断域名在白名单中时，获取与域名对应的缓存服务器，判断缓存服务器是否可用，如果是，则将缓存服务器的IP地址发送给客户端。当判断域名不在白名单中时，则丢弃DNS解析请求。在白名单中保存了热点网络域名或签约网络的域名，在白名单中保存的域名，表示该域名对应的内容被缓存服务器缓存了，客户端可以直接到缓存服务器中去获取相应的数据。

判断缓存服务器是否可用可以有多种方法。按预设的时间间隔周期性地向缓存服务器发送心跳请求，接收缓存服务器返回的心跳请求答复，如果在预设的时间阈值内没有接收到心跳请求答复，则判断缓存服务器的状态为不可用。也可以按预设的时间间隔周期性地向缓存服务器 发送ICMP报文并检测缓存服务器的TCP/UDP端口，判断缓存服务器的状态是否为可用状态。

接收缓存服务器发送的状态信息，状态信息包括缓存服务器的IP地址及缓存服务器的负载信息，基于负载信息判断判断缓存服务器的状态是否为可用状态。状态信息可以通过多种协议进行发送，例如telnet、snmp等等。例如，按预设的时间间隔周期性地向缓存服务器发送SNMP请求报文，接收缓存服务器返回的SNMP响应报文，解析SNMP响应报文获取负载信息。负载信息包括：CPU利用率、内存利用率、存储资源使用率等。

基于获取的缓存服务器的负载能力以及缓存服务器的状态，调整重定向策略并对缓存服务器重新分配白名单。重定向策略包括：高等级的用户优先保证、减少白名单数量等。重定向系统根据收集的信息对缓存服务器集群的服务能力进行量化评估，设为α。根据α，输入训练得到的经验模型获得有效的白名单数量，然后综合考虑用户群、热点网站等信息对白名单进行优化调整，保证重定向域名数量与缓存服务能力匹配。

如果域名对应的处于可用状态的缓存服务器的数量为一个，则获取此缓存服务器的IP地址并发送给客户端。如果域名对应的处于可用状态的缓存服务器的数量为多个，则基于重定向策略选择一个缓存服务器，获取其IP地址并发送给客户端。重定向策略包括：客户的等级、缓存服务器响应时间、网络状况等等。

缓存服务器接收到客户端发送的数据请求消息，如果保存有与数据请求消息对应的数据，则将保存的与数据请求消息对应的数据发送给客户端。缓存服务器如果没有保存与数据请求消息对应的数据，则向源服务器发送查询数据请求，将源服务器返回的数据保存并发送给客户端。

在国际入境流量中，浏览类、下载类和流媒体类的比重高达70％以上，Web Cache缓存系统支持对Web浏览、文件下载、视频播放等基于HTTP协议的互联网内容进行缓存，而且对于本地存储的文件格式、音视频及文件编码方式均没有特定要求，各类互联网音频、视频、图像、文 本等文件均可通过系统实现缓存。

在国际出口北京、广州、上海部署缓存系统，并在全国集中部署采集分析平台。分析平台通过SNMP采集链路流量，并收集质量测试系统的测试数据及用户信息。采集分析装置与重定向系统间建立接口，用于获取与更新白名单列表。采集分析平台根据各国际网站的质量情况，向重定向系统动态下发更新的白名单。如果质量普遍裂化，说明网络拥塞或存在故障，在此情况下，将热点并重要的网站加入白名单列表，或根据不同用户群的定制策略进行调整；当某些国际网站的质量劣化时，有可能局部网络问题或网站自身服务能力受限，此时将劣化网站加入白名单，以提高用户感知。

如图3所示，本发明提供一种白名单采集分析装置。访问采集单元311实时获取网络访问量以及用户信息。热点分析单元312基于网络访问量以及用户信息确定与用户群对应的热点网络域名，生成用户群的热点域名列表。白名单下发单元313将用户群的热点域名列表增加到白名单中。

链路检测单元314实时获取网络链路质量信息。白名单调整单元315当判断与用户热点网络域名对应的网络链路发生拥堵或出现故障时，基于调整策略调整白名单中的用户群的热点域名列表，调整策略包括：高等级的用户优先保证等。当判断网络链路发生拥堵或出现故障、并且与此网络链路对应的网路域名不在白名单中时，白名单调整单元315将此网络域名增加到白名单中；网络链路包括：国际互联网链路。

本发明提供一种网络缓存系统，包括：如上的白名单采集分析装置和重定向服务器。如图4所示，DNS请求接收单元421接收客户端发送的域名系统DNS解析请求，从DNS解析请求中解析出请求访问的域名。缓存服务器分配单元422当判断域名在白名单中时，获取与域名对应的缓存服务器，判断缓存服务器是否可用，如果是，则将缓存服务器的IP地址发送给客户端。当判断域名不在白名单中时，则丢弃DNS解析请求。

状态检测单元422按预设的时间间隔周期性地向缓存服务器发送 SNMP请求报文。接收缓存服务器返回的SNMP响应报文，解析SNMP响应报文获取负载信息，负载信息包括：CPU利用率、内存利用率、存储资源使用率等。

缓存服务器分配单元422基于获取的缓存服务器的负载能力以及缓存服务器的状态，调整重定向策略并对缓存服务器重新分配白名单。如果域名对应的处于可用状态的缓存服务器的数量为一个，则重定向服务器获取此缓存服务器的IP地址并发送给客户端。如果域名对应的处于可用状态的缓存服务器的数量为多个，则重定向服务器基于重定向策略选择一个缓存服务器，获取其IP地址并发送给客户端。

上述实施例提供的缓存系统的白名单更新方法、采集分析装置及缓存系统，可以弥补基于日志分析获取热点网站更新白名单方法的不足，通过动态感知互联网业务质量，实现动态更新热点网站，提高命中率。可以弥补仅依据热点网站生成白名单方法的不足，通过基于链路资源情况及用户群信息生成针对不同用户群的白名单列表，提升缓存系统效率，改善用户体验。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。