络接入标识在预设时间段内、对所述互联网的访问内 容。2. 根据权利要求1所述的方法，其特征在于，所述获取应用层日志和网络接入标识间 的对应关系包括： 从所述互联网中的AAA服务器中获取承载层日志，所述承载层日志中包括以下字段： 网络接入标识、本次承载层会话中所述网络接入标识使用的IP地址、本次承载层会话开始 的时间戳和本次承载层会话结束的时间戳； 从所述Web代理服务器集群获取应用层日志，所述应用层日志中包括以下字段：本次 应用层请求结束的时间戳、发起此次应用层请求的IP地址、响应此次应用层请求使用的传 输层流量和本次应用层请求的URL ; 当所述发起此次应用层请求的IP地址与所述本次承载层会话中所述网络接入标识使 用的IP地址匹配、且所述本次应用层请求结束的时间戳位于所述本次承载层会话开始的 时间戳和本次承载层会话结束的时间戳之间时，确定所述应用层日志与所述网络接入标识 间存在对应关系。3. 根据权利要求1所述的方法，其特征在于，所述获取应用层日志和网络接入标识间 的对应关系包括： 从所述互联网中的AAA服务器中获取承载层日志，所述承载层日志中包括以下字段： 网络接入标识、本次承载层会话中所述网络接入标识使用的原始接入IP地址、本次承载层 会话开始的时间戳和本次承载层会话结束的时间戳； 获取地址转换日志，所述地址转换日志中包括以下字段：原始接入IP地址、所述原始 接入IP地址对应的端口号、由所述原始接入IP地址转换得到的访问IP地址、所述访问IP 地址对应的端口号和地址转换时间； 从所述Web代理服务器集群获取应用层日志，所述应用层日志中包括以下字段：本 次应用层请求结束的时间戳、发起此次应用层请求的IP地址、所述IP地址对应的访问端 口号、内容响应成功时间戳、响应此次应用层请求使用的传输层流量和本次应用层请求的 URL ； 当所述应用层日志中的发起此次应用层请求的IP地址与所述地址转换日志中的由所 述原始接入IP地址转换得到的访问IP地址相同、所述应用层日志中的所述IP地址对应的 访问端口号与所述地址转换日志中的所述访问IP地址对应的端口号相同、以及，所述应用 层日志中的内容响应成功时间戳在所述地址转换日志中的地址转换时间的间隔内，则确定 所述应用层日志中的发起此次应用层请求的IP地址与所述地址转换日志中的原始接入IP 地址对应； 如果所述承载成日志中的本次承载层会话中所述网络接入标识使用的原始接入IP地 址与所述原始接入IP地址相同，获取所述承载层日志中与本次承载层会话中所述网络接 入标识使用的原始接入IP地址对应的网络接入标识； 建立所述网络接入标识与所述应用层日志的对应关系。4. 根据权利要求1所述的方法，其特征在于，所述获取应用层日志和网络接入标识间 的对应关系包括： 依据获取的应用日志，确定所述应用层日志和网络接入标识间的对应关系，所述应用 层日志中包括所述网络接入标识。5. -种采集互联网访问内容的方法，其特征在于，应用于Web代理服务器集群，所述 Web代理服务器集群设置在所述电信运营商的IP承载网络内满足预设条件的节点上，所述 方法包括： 接收终端访问URL的内容请求报文，所述内容请求报文通过路由转发至所述Web代理 服务器集群； 通过响应所述内容请求报文生成应用层日志，所述应用层日志用于获取所述应用层日 志和网络接入标识间的对应关系，所述对应关系用于采集所述网络接入标识在预设时间段 内、对所述互联网的访问内容，所述终端使用所述网络接入标识。6. 根据权利要求5所述的方法，其特征在于，所述Web代理服务器集群具有互联网内容 缓存功能。7. 根据权利要求5或6所述的方法，其特征在于，还包括： 如果所述内容请求报文中携带所述网络接入标识，将所述网络接入标识记录在所述应 用层日志中。8. -种采集互联网访问内容的方法，其特征在于，包括： 所述互联网中的转发重定向系统将所述网络接入标识访问URL的内容请求报文路由 转发至Web代理服务器集群，所述Web代理服务器集群设置在所述电信运营商的IP承载网 络内满足预设条件的节点上； 所述Web代理服务器集群通过响应所述网络接入标识访问URL的内容请求报文生成应 用层日志； 互联网数据采集系统获取所述应用层日志和网络接入标识间的对应关系，并依据所述 对应关系，采集所述网络接入标识在预设时间段内、对所述互联网的访问内容。9. 根据权利要求8所述的方法，其特征在于，所述预设条件包括： 连通互联网数据采集系统与电信运营商的认证授权记账系统间的通信； 当终端与所述Web代理服务器集群间存在IP地址的转换时，在地址转换设备上保存有 地址转换的日志； 以及，连接在所述节点上设备在时间上同步。10. -种互联网数据采集系统，其特征在于，包括： 获取模块，用于获取应用层日志和网络接入标识间的对应关系，所述应用层日志通过 响应终端访问URL的内容请求报文生成，所述内容请求报文通过路由转发至所述Web代理 服务器集群，所述Web代理服务器集群设置在所述电信运营商的IP承载网络内满足预设条 件的节点上，所述终端使用所述网络接入标识； 采集模块，用于依据所述对应关系，采集所述网络接入标识在预设时间段内、对所述互 联网的访问内容。11. 根据权利要求10所述的互联网数据采集系统，其特征在于，所述获取模块包括： 第一获取单元，用于从所述互联网中的AAA服务器中获取承载层日志，所述承载层日 志中包括以下字段：网络接入标识、本次承载层会话中所述网络接入标识使用的IP地址、 本次承载层会话开始的时间戳和本次承载层会话结束的时间戳； 第二获取单元，用于从所述Web代理服务器集群获取应用层日志，所述应用层日志中 包括以下字段：本次应用层请求结束的时间戳、发起此次应用层请求的IP地址、响应此次 应用层请求使用的传输层流量和本次应用层请求的URL ; 第一确定单元，用于当所述发起此次应用层请求的IP地址与所述本次承载层会话中 所述网络接入标识使用的IP地址匹配、且所述本次应用层请求结束的时间戳位于所述本 次承载层会话开始的时间戳和本次承载层会话结束的时间戳之间时，确定所述应用层日志 与所述网络接入标识间存在对应关系。12. 根据权利要求10所述的互联网数据采集系统，其特征在于，所述获取模块包括： 第一获取单元，用于从所述互联网中的AAA服务器中获取承载层日志，所述承载层日 志中包括以下字段：网络接入标识、本次承载层会话中所述网络接入标识使用的原始接入 IP地址、本次承载层会话开始的时间戳和本次承载层会话结束的时间戳； 第三获取单元，用于获取地址转换日志，所述地址转换日志中包括以下字段：原始接入 IP地址、所述原始接入IP地址对应的端口号、由所述原始接入IP地址转换得到的访问IP 地址、所述访问IP地址对应的端口号和地址转换时间； 第二获取单元，用于从所述Web代理服务器集群获取应用层日志，所述应用层日志中 包括以下字段：本次应用层请求结束的时间戳、发起此次应用层请求的IP地址、所述IP地 址对应的访问端口号、内容响应成功时间戳、响应此次应用层请求使用的传输层流量和本 次应用层请求的URL ; 对应关系建立单元，用于当所述应用层日志中的发起此次应用层请求的IP地址与所 述地址转换日志中的由所述原始接入IP地址转换得到的访问IP地址相同、所述应用层日 志中的所述IP地址对应的访问端口号与所述地址转换日志中的所述访问IP地址对应的端 口号相同、以及，所述应用层日志中的内容响应成功时间戳在所述地址转换日志中的地址 转换时间的间隔内，则确定所述应用层日志中的发起此次应用层请求的IP地址与所述地 址转换日志中的原始接入IP地址对应；如果所述承载成日志中的本次承载层会话中所述 网络接入标识使用的原始接入IP地址与所述原始接入IP地址相同，获取所述承载层日志 中与本次承载层会话中所述网络接入标识使用的原始接入IP地址对应的网络接入标识， 并建立所述网络接入标识与所述应用层日志的对应关系。13. 根据权利要求10所述的互联网数据采集系统，其特征在于，所述获取模块包括： 第二确定单元，用于依据获取的应用日志，确定所述应用层日志和网络接入标识间的 对应关系，所述应用层日志中包括所述网络接入标识。14. 一种Web代理服务器集群，其特征在于，所述Web代理服务器集群设置在所述电信 运营商的IP承载网络内满足预设条件的节点上，包括： 接收模块，用于接收终端访问URL的内容请求报文，所述内容请求报文通过路由转发 至所述Web代理服务器集群； 生成模块，用于通过响应所述内容请求报文生成应用层日志，所述应用层日志用于获 取所述应用层日志和网络接入标识间的对应关系，所述对应关系用于采集所述网络接入标 识在预设时间段内、对所述互联网的访问内容，所述终端使用所述网络接入标识。15. 根据权利要求14所述的Web代理服务器集群，其特征在于，所述Web代理服务器集 群具有互联网内容缓存功能。16. 根据权利要求14或15所述的Web代理服务器集群，其特征在于，还包括： 记录模块，用于如果所述内容请求报文中携带所述网络接入标识，将所述网络接入标 识记录在所述应用层日志中。17. -种采集互联网访问内容的装置，其特征在于，包括： 转发重定向系统，用于将所述网络接入标识访问URL的内容请求报文路由转发至Web 代理服务器集群，所述Web代理服务器集群设置在所述电信运营商的IP承载网络内满足预 设条件的节点上； 所述Web代理服务器集群用于，通过响应所述网络接入标识访问URL的内容请求报文 生成应用层日志； 互联网数据采集系统，用于获取所述应用层日志和网络接入标识间的对应关系，并依 据所述对应关系，采集所述网络接入标识在预设时间段内、对所述互联网的访问内容。
【专利摘要】本发明实施例提供了一种采集互联网访问数据的方法及装置，在电信运营商的IP承载网络内满足预设条件的节点上设置Web代理服务器集群，互联网中的转发重定向系统将网络接入标识访问URL的内容请求报文路由转发至Web代理服务器集群，Web代理服务器集群通过响应所述内容请求报文而生成应用层日志，数据采集系统获取应用层日志和网络接入标识间的对应关系，并依据所述对应关系，采集所述网络接入标识在预设时间段内、对所述互联网的访问内容，可见，本发明实施例所述的采集互联网访问数据的方法及装置，无需DPI设备的参与，从而降低采集互联网访问内容的成本。
【IPC分类】H04L29/06
【公开号】CN105100015
【申请号】CN201410208321
【发明人】林琳
【申请人】林琳
【公开日】2015年11月25日
【申请日】2014年5月16日