Web数据缓存处理方法、装置和系统的制作方法
【专利摘要】本发明提供了一种Web数据缓存处理方法、装置和系统。Web数据缓存处理方法，包括：获取目标服务器传递回来的数据；根据数据的协议类型判定该数据是否为需要缓存的数据，如果是，则将数据缓存至数据缓存区，否则不缓存。由于本发明采用预判技术，根据协议类型来预先过滤掉非缓存应用数据，因此，达到了不影响非缓存应用数据转发的目的。
【专利说明】Web数据缓存处理方法、装置和系统
【技术领域】
[0001] 本发明涉及web数据处理领域，特别涉及一种Web数据缓存处理方法、装置和系 统。
【背景技术】
[0002] 现有技术中的Web缓存是对所有的数据进行缓存，没有判断过程，影响非缓存应 用数据的转发。
【发明内容】
[0003] 本发明提供了一种不影响非缓存应用数据转发的Web数据缓存处理方法、装置和 系统。
[0004] 为解决上述问题，作为本发明的第一个方面，提供了一种Web数据缓存处理方法， 包括：获取目标服务器传递回来的数据；根据数据的协议类型判定该数据是否为需要缓存 的数据，如果是，则将数据缓存至数据缓存区，否则不缓存。
[0005] 进一步地，方法还包括：获取来自用户的访问请求；读取访问请求中的目标文件 名，并判断目标文件名所对应的数据是否已经被缓存在数据缓存区；如果已经被缓存，则将 访问请求中的URL重定向到数据缓存区内的与目标文件名所对应的数据，并将该数据直接 发送给用户；否则，使用户与相应的目标服务器重新链接。
[0006] 进一步地，方法还包括：获取来自目标服务器的分片数据并将分片数据缓存到数 据缓存区，对分片数据进行重组以形成完整的数据。
[0007] 进一步地，方法还包括：获取来自目标服务器的分片数据并将分片数据缓存到数 据缓存区；获取用户拖动视频进度而形成的分片数据访问请求，判断分片数据访问请求所 对应的数据是否已经被缓存在数据缓存区；如果已经被缓存，则将分片数据访问请求中的 URL重定向到数据缓存区内的与分片数据访问请求所对应的数据，并将该数据直接发送给 用户。
[0008] 进一步地，方法还包括：自动下载分片数据访问请求之前的时间段所对应的数据， 并缓存在数据缓存区内。
[0009] 进一步地，将自动下载得到的数据与已经缓存在数据缓存区内的分片数据重新组 合成完整数据。
[0010] 作为本发明的第二个方面，提供了一种Web数据缓存处理装置，包括：接收模块， 获取目标服务器传递回来的数据；缓存模块，根据数据的协议类型判定该数据是否为需要 缓存的数据，如果是，则将数据缓存至数据缓存区，否则不缓存。
[0011] 进一步地，还包括：分片数据重组模块，将已缓存到数据缓存区内的分片数据进行 重组以形成完整的数据。
[0012] 作为本发明的第三个方面，提供了一种Web数据缓存处理系统，其特征在于，包 括：客户端；Web数据缓存处理装置，其是上述的Web数据缓存处理装置，Web数据缓存处理 装置包括WAN 口和LAN 口；WAN 口与客户端连接；主交换机，与LAN 口连接。
[0013] 由于本发明采用预判技术，根据协议类型来预先过滤掉非缓存应用数据，因此，达 到了不影响非缓存应用数据转发的目的。
【专利附图】
【附图说明】
[0014] 图1示意性地示出了本发明中的Web数据缓存处理方法的原理图；
[0015] 图2示意性地示出了一个实施例中的缓存处理过程示意图；
[0016] 图3示意性地示出了握手过程示意图；
[0017] 图4示意性地示出了另一个实施例中的缓存处理过程示意图；以及
[0018] 图5示意性地示出了 Web数据缓存处理系统的框架图。
【具体实施方式】
[0019] 以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定 和覆盖的多种不同方式实施。
[0020] 作为本发明的第一方面，提供了一种Web数据缓存处理方法，包括：获取目标服务 器传递回来的数据；根据数据的协议类型判定该数据是否为需要缓存的数据，如果是，则将 数据缓存至数据缓存区，否则不缓存。
[0021] 请参考图1，当内网访问外网的目标服务器，外网的目标服务器把数据发送回来 时，本发明会先根据数据协议类型（例如http协议等）来判定该类数据是否为需要缓存的 数据。如果需要缓存，采用动态读取镜像技术把需要缓存的数据存放在数据缓存区（例如： 缓存用的硬盘缓存服务器中的硬盘）中。由于本发明采用预判技术，根据协议类型来预先 过滤掉非缓存应用数据，因此，达到了不影响非缓存应用数据转发的目的。
[0022] 另外，本发明可用于基于对web的视频、网页、图片进行缓存，以便用户再次访问 相同内容时，不占用外网带宽，直接从数据缓存区（例如缓存服务器等）中提取相关文件。
[0023] 优选地，该方法还包括：获取来自用户的访问请求；读取访问请求中的目标文件 名，并判断目标文件名所对应的数据是否已经被缓存在数据缓存区；如果已经被缓存，则将 访问请求中的URL重定向到数据缓存区内与目标文件名所对应的数据，并将该数据直接发 送给用户；否则，使用户与相应的目标服务器重新链接。
[0024] 请参考图2,当用户访问网络的时候，数据会如图2所示进行处理。用户发出的get 数据包会先与Web数据缓存处理方法中使用的squid建立链接，于是Web缓存读取数据包 中get的目标文件名，然后到缓存数据区中进行查询。
[0025] 如果查询到用户访问的数据是已经被缓存过的（即缓存数据区中有存放该数 据），那么squid会把用户的get包的URL重定向到数据缓存区中目标文件所在的文件位 置，并把文件数据直接发送给终端用户。
[0026] 请参考图3,用户以http方式访问网络的时候，都会先与服务器通过三次握手的 方式建立链接。然后才是数据互相传输。
[0027] 如果squid对get报文中的目标文件名查询不到缓存数据时，squid会根据该条 会话链接中3次握手的目标重新进行虚拟3次握手连接，然后让终端用户与目标服务器重 新链接起来。这时用户的数据会直接从外网服务器中读取。读回来的数据如果满足缓存要 求，那么squid会对这些数据进行缓存。由于这部分对用户来说是透明的，所以这些数据操 作是不会影响用户的任何上网行为的。
[0028] 互联网中数据格式的日新月异发展，现有技术中的主流数据格式会让传统的缓存 服务器束手无策，即现有技术中的web缓存无法缓存目前主流的web视频。
[0029] 本发明还通过以下的方式解决了现有技术中无法缓存目前主流非缓存格式的文 件的技术问题。
[0030] 优选地，该方法还包括：获取来自目标服务器的分片数据并将分片数据缓存到数 据缓存区，对分片数据进行重组以形成完整的数据。由于现有技术中有很多视频文件是分 片下载格式的，针对这样的非缓存格式文件，本发明采用了上述分片重组技术。
[0031] 请参考图4,当发现数据包是分片下载格式的文件，web缓存会把这些分片数据包 缓存下来，然后采用分片重组技术按照文件片段的序列号对这些文件片段进行分片重组， 使之成为完整的视频文件。
[0032] 针对由于终端用户拖动视频进度而造成的非缓存文件，本发明会先把这些数据转 化成分片数据，然后进行缓存，最后再采用分片重组技术对这些数据进行重组。为此，优选 地，该方法还包括：获取来自目标服务器的分片数据并将分片数据缓存到数据缓存区；获 取用户拖动视频进度而形成的分片数据访问请求，判断分片数据访问请求所对应的数据是 否已经被缓存在数据缓存区；如果已经被缓存，则将分片数据访问请求中的URL重定向到 数据缓存区内的与分片数据访问请求所对应的数据，并将该数据直接发送给用户。
[0033] 优选地，该方法还包括：自动下载分片数据访问请求之前的时间段所对应的数据， 并缓存在数据缓存区内。优选地，将自动下载得到的数据与已经缓存在数据缓存区内的分 片数据重新组合成完整数据。
[0034] 如图4,如果缓存服务器中只缓存了 31-70这部分数据，当用户在观看A这个文件 视频时，从开始直接拖动到31-40处开始观看，那么web缓存会把31-70这段先重定向到用 户的链接上，让用户先加载这部分视频文件。然后服务器会自动链接到原文件服务器上去 下载0-30这部分的数据，然后把所有的分片数据整合起来存放在缓存服务器中，以便下次 其它终端访问时加载完整数据。
[0035] 特别地，本发明将这些属于同一视频但不同文件名的视频，采用URL跳转关联性 技术进行缓存，缓存命中率能达到90%以上。
[0036] 作为本发明的第二方面，提供了一种Web数据缓存处理装置，其特征在于，包括： 接收模块，获取目标服务器传递回来的数据；缓存模块，根据数据的协议类型判定该数据是 否为需要缓存的数据，如果是，则将数据缓存至数据缓存区，否则不缓存。
[0037] 优选地，还包括：分片数据重组模块，将已缓存到数据缓存区内的分片数据进行重 组以形成完整的数据。
[0038] 作为本发明的第三方面，提供了一种Web数据缓存处理系统，其特征在于，包括： 客户端；Web数据缓存处理装置，其是上述的Web数据缓存处理装置，Web数据缓存处理装置 包括WAN 口和LAN 口；WAN 口与客户端连接；主交换机，与LAN 口连接。
[0039] 请参考图5,本发明中的Web数据缓存处理装置部署在路由器和主交换机中间，用 桥接的模式进行部署。即是把Web数据缓存处理装置架设在路由器和主交换机之间。如果 把WAN 口和LAN 口接反了，Web数据缓存处理装置是不会影响整个网络运行的，只是没有缓 存效果而已。
[0040] 本发明在现有技术中的web缓存技术上进行二次开发，加入了 URL关联性跳转、分 片下载重组、转分片重组等缓存方式。主要针对非缓存格式和非主流格式web视频以及网 页文件、图片进行缓存处理，使得本发明能正确的缓存主流的web视频。
[0041] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1. 一种Web数据缓存处理方法，其特征在于，包括： 获取目标服务器传递回来的数据； 根据所述数据的协议类型判定该数据是否为需要缓存的数据，如果是，则将所述数据 缓存至数据缓存区，否则不缓存。
2. 根据权利要求1所述的Web数据缓存处理方法，其特征在于，所述方法还包括： 获取来自用户的访问请求； 读取所述访问请求中的目标文件名，并判断所述目标文件名所对应的数据是否已经被 缓存在所述数据缓存区； 如果已经被缓存，则将所述访问请求中的URL重定向到所述数据缓存区内的与所述目 标文件名所对应的数据，并将该数据直接发送给所述用户； 否则，使所述用户与相应的目标服务器重新链接。
3. 根据权利要求1所述的Web数据缓存处理方法，其特征在于，所述方法还包括： 获取来自目标服务器的分片数据并将所述分片数据缓存到所述数据缓存区，对所述分 片数据进行重组以形成完整的数据。
4. 根据权利要求1所述的Web数据缓存处理方法，其特征在于，所述方法还包括： 获取来自目标服务器的分片数据并将所述分片数据缓存到所述数据缓存区； 获取用户拖动视频进度而形成的分片数据访问请求，判断所述分片数据访问请求所对 应的数据是否已经被缓存在所述数据缓存区； 如果已经被缓存，则将所述分片数据访问请求中的URL重定向到所述数据缓存区内的 与所述分片数据访问请求所对应的数据，并将该数据直接发送给所述用户。
5. 根据权利要求4所述的Web数据缓存处理方法，其特征在于，所述方法还包括： 自动下载所述分片数据访问请求之前的时间段所对应的数据，并缓存在所述数据缓存 区内。
6. 根据权利要求5所述的Web数据缓存处理方法，其特征在于，将所述自动下载得到的 数据与已经缓存在所述数据缓存区内的分片数据重新组合成完整数据。
7. -种Web数据缓存处理装置，其特征在于，包括： 接收模块，获取目标服务器传递回来的数据； 缓存模块，根据所述数据的协议类型判定该数据是否为需要缓存的数据，如果是，则将 所述数据缓存至数据缓存区，否则不缓存。
8. 根据权利要求7所述的Web数据缓存处理装置，其特征在于，还包括： 分片数据重组模块，将已缓存到所述数据缓存区内的分片数据进行重组以形成完整的 数据。
9. 一种Web数据缓存处理系统，其特征在于，包括： 客户端； Web数据缓存处理装置，其是权利要求7或8中所述的Web数据缓存处理装置，所述Web 数据缓存处理装置包括WAN 口和LAN 口；所述WAN 口与所述客户端连接； 主交换机，与所述LAN 口连接。
【文档编号】H04L29/08GK104104698SQ201310115413
【公开日】2014年10月15日 申请日期:2013年4月1日 优先权日:2013年4月1日
【发明者】蹇浩林 申请人:深圳维盟科技有限公司