一种IDC机房流量采样监测分析的方法与流程

本发明公开了一种对IDC机房流量最优的流量监测分析方法，该方法实现的系统采用旁路的方式部署在IDC机房，对机房内的回向流量进行采样监测，通过加长采样时间达到非采样监控同等的效果。

背景技术：

随着信息技术的发展和互联网管理技术手段的进步，互联网综合管理平台采集、处理、积累的数据越来越多，数据量增速也越来越快。互联网数据中心(简称IDC)在信息安全监控方面有着重要的地位，加强对互联网站的监管力度，这是一个制高点，根据信息安全管理系统的要求，需要在监管机房部署探针设备实现对互联网流量数据的监测、管控、分析等信息。由于全国IDC机房的流量巨大，并且每年以指数级的速度进行带宽扩容，这样在实施和部署管控系统和技术方面要投入非常大的成本，并且要根据带宽的增长不断的投入新的设备进行全面监控，成本巨大。

本发明的目的在于提供一种IDC机房出向流量中，对数据流进行周期性调整监控不同采样比的情况下，模拟并发固定次数的访问IDC机房内网站靶点关键字等内容，并记录下靶点内容在不同时间范围内被发现的概率值，从而分析推断出该机房环境下最佳的采样比和投入比，减少投入成本达到最佳的监控效果。

技术实现要素：

本发明公开了一种对IDC机房流量最优的流量监测分析方法。本发明方法在某IDC机房出向流量中，对数据流进行周期性调整监控不同采样比的情况下，模拟并发固定次数的访问IDC机房内网站靶点关键字等内容，并记录下靶点内容在不同时间范围内被发现的概率值，从而分析推断出该机房环境下最佳的采样比和投入比，减少投入成本达到最佳的监控效果。本方法适用于所有IDC机房网站内容监控匹配的应用。

本发明具有以下特征：

1、通过降低覆盖机房链路的采样率，减少投入管控设备，达到降低成本的效果；

2、在加长采样时间前提下，降低采样率，关键字内容的匹配和发现效果不受影响；

3、在实际的网络背景环境，通过搭建的模拟测试环境，能够快速的确定不同数据、不同业务环境下的IDC机房的最佳采样比。

附图说明

图1一种IDC机房流量采样监测分析的机房测试拓扑示意图。

图2域名、IP地址及对应访问量的上报和存储的示意图。

图3 IP规则下自动关联分类示意图。

图4 IDC机房网站分级管控示意图。

图5、图6互联网用户访问控制流程图。

具体实施方式

现网数据测试是在IDC机房数据环境下，流控设备分别设置10％、15％、20％、30％的抽样率时，IDC系统的发现网站页面功能、关键字监测功能分别达到怎样的效果。将测试数据进行对比，得出不同时间段、不同背景流量、不同抽样率下系统性能指标的一组数据。

计划测试周期为3天，将每天分为3个时间片段进行测试。分别为每天的10:00-13:00、15:00-18:00、19:00-22:00。每个时间片段内，再分出抽样比10％、15％、20％、30％这四种情况。通过模拟客户访问网站的方式，分别在不同的抽样比下，20个并发访问请求，测试所有靶点URL(1000个)，页面及关键字被系统发现的时间、针对靶点页面内容的关键字监测的准确率。

按照测试流程可以划分为12个任务，分别是任务P-1-1、P-1-2、P-1-3、P-1-4，P-2-1、P-2-2、P-2-3、P-2-4，P-3-1、P-3-2、P-3-3、P-3-4。其中P代表本项测试计划，中间的数字代表一天中的第一个测试时间段，最后一位数字代表4个抽样率条件。这12个任务将按照时间顺序依次执行下面所有步骤。

任务P-1-1开始测试之前依次执行以下步骤：

1、首次测试本项时，将模拟终端访问的启动时间设置好；

2、测试人员和技术支持人员确定测试环境已经被还原到初始状态，相关模块不存在上次测试产生的数据；

3、登陆测试系统，下发监测指令；

4、测试人员在表中记录启动时间；

任务P-1-1测试期间依次执行以下步骤：

1、测试人员确保模拟终端访问正常运行；

任务P-1-1测试结束后依次执行以下步骤：

1、本项测试结束之后，测试人员将本次测试结果转存到指定文件路径下；

2、本项测试结束后立即通知技术支持人员，让他在现场执行脚本清除本项测试在EU端产生的数据；

3、测试人员导出发现数据之后，执行脚本清除本项测试中产生的数据；

4、循环顺序执行其他任务。