一种抗噪音干扰的城域网数据核验装置的制作方法

本发明涉及信息技术领域，特别是信息安全技术领域。

背景技术：

dpi是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性。dpi设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用p2p的控制等功能。

xdr数据是指基于全量数据进行处理后，生成的供信令监测平台和信令类应用使用的信令及业务的详细记录。

通过dpi设备和城域网核心路由分光及部署点，能够对城域网核心路由流量数据具有采集能力。通过dpi设备进行采集流量数据，可形成xdr流量数据。但目前大部分dpi采集点设备不能或不能准确的判断向域内、向域外流向，而且现在的采集数据中由于各种原因，大量dpi设备中存在数据噪音，影响后期研判。

目前，各个省市的通信行业相关部门及企业，通过在省市内的全部企业运营商处部署eu活跃流量采集设备，eu设备可以按照国家互联网监管的要求将采集到的流量中的http、https、ftp、pop3、smtp等等数据上报，以便国家通信监管部门进行数据监管，数据分析。但由于缺乏有效的核验方法，导致流量存在大量漏报情况。特别是针对链路在专线网络链路和特殊网络的漏覆盖检测，无法通过互联网通用手段或现行的监测系统方案去发现及核验，而城域网数据参与核验是一个比较有效的补充手段。

本发明的一种抗噪音干扰的城域网数据核验装置能够将目前dpi设备采集的城域网dpi流量数据进行多重去噪音处理，分析获取域内数据，并对eu采集的数据提供核验依据，发现eu设备采集数据的错漏情况。

技术实现要素：

鉴于现有技术的不足，本发明提供的一种抗噪音干扰的城域网数据核验装置由xdr数据采集器、重复数据剥离器、第一次降噪模块、第三方ip地址数据接口、流量归类模块、第二次降噪模块和ip地址归类模块组成；

xdr数据采集器负责通过分光设备采集城域网设备产生的xdr数据，并在所采集的xdr数据中添加通过ip包分析得到的源mac地址和目的mac地址，生成包括源mac地址和目的mac地址的xdr数据；

重复数据剥离器负责将包括源mac地址和目的mac地址的xdr数据进行查重处理，并将所有重复的包括源mac地址和目的mac地址的xdr数据执行保留一条包括源mac地址和目的mac地址的xdr数据去除重复的包括源mac地址和目的mac地址的xdr数据的操作，生成去重的xdr数据；

第一次降噪模块对去重的xdr数据进行降噪处理，包括：1）去掉缺失源ip地址的去重的xdr数据，去掉缺失目的ip地址的去重的xdr数据；2）源mac地址与目的mac地址重复的数据；3）源ip地址与目的ip地址相同的数据；生成第一次降噪的xdr数据；

由第三方ip地址数据接口获取ip地址及所在地对应数据提供方所提供的ip地址及所在地对应数据，常见的ip地址及所在地对应数据提供方包括：百度接口、新浪接口、腾讯接口、ipipnet；

由流量归类模块根据ip地址及所在地对应数据将第一次降噪的xdr数据补充源ip地址所在地和目的ip地址所在地，生成包含ip地址归属地的xdr数据；由流量归类模块根据ip地址所在地将ip地址划分为域内ip地址和域外ip地址，域内指城域网所在地范围内，域外指城域网所在地范围外；由流量归类模块将域内ip地址对应的mac地址划分为域内mac地址，将域外ip地址对应的mac地址划分为域外mac地址；

由第二次降噪模块去除包含ip地址归属地的xdr数据中的源ip地址与目的ip地址同时为域内ip地址的数据，去除包含ip地址归属地的xdr数据中的源ip地址与目的ip地址同时为域外ip地址的数据，生成第二次降噪的xdr数据；

由ip地址归类模块读取第二次降噪的xdr数据中的域内mac地址和域外mac地址；由ip地址归类模块读取重复数据剥离器生成的去重的xdr数据，对比第三方ip地址数据接口获取的ip地址及所在地对应数据，找出去重的xdr数据中未包含在ip地址及所在地对应数据中的源ip地址和目的ip地址，生成待归类的ip地址；由ip地址归类模块根据靠近域内mac地址对应的域内ip地址的待归类ip地址为域内ip地址的规则提取再发现的域内ip地址，由ip地址归类模块根据靠近域外mac地址对应的域外ip地址的待归类ip地址为域外ip地址的规则提取再发现的域外ip地址；

由ip地址归类模块将再发现的域内ip地址与再发现的域外ip地址组成提供给eu查漏报用的ip数据。

有益效果

业内dpi设备采集的城域网数据虽然是高价值数据，但是由于数据噪音和无法有效低成本的分离有效数据，导致城域网高价值的流量数据不能更有效的使用在数据监管中。通过抽离出有效数据，包括区域内外流向，可以更有效的利用流量数据对监管系统的数据覆盖度进行核验。

本专利可降低噪音数据在数据漏报发现中的影响。本专利接受一定范围的噪音可以某种程度上降低采集dpi设备成本及后期处理性能成本，并通过采用低成本处理方式，可对常见的噪音一直处在抗干扰状态。

通过分析获得的dpi流量采集数据中的域内ip地址，能够有效的比对并发现目前管局idc监管系统中漏覆盖的省内ip地址，能够有效的提升各省管局属地化管理本省数据。

附图说明

图1是本发明的系统结构图。

具体实施方式

参看图1实现本发明提供的一种抗噪音干扰的城域网数据核验装置由xdr数据采集器1、重复数据剥离器2、第一次降噪模块3、第三方ip地址数据接口4、流量归类模块5、第二次降噪模块6和ip地址归类模块7组成；

xdr数据采集器1负责通过分光设备采集城域网设备产生的xdr数据，并在所采集的xdr数据中添加通过ip包分析得到的源mac地址和目的mac地址，生成包括源mac地址和目的mac地址的xdr数据；

重复数据剥离器2负责将包括源mac地址和目的mac地址的xdr数据进行查重处理，并将所有重复的包括源mac地址和目的mac地址的xdr数据执行保留一条包括源mac地址和目的mac地址的xdr数据去除重复的包括源mac地址和目的mac地址的xdr数据的操作，生成去重的xdr数据；

第一次降噪模块3对去重的xdr数据进行降噪处理，包括：1）去掉缺失源ip地址的去重的xdr数据，去掉缺失目的ip地址的去重的xdr数据；2）源mac地址与目的mac地址重复的数据；3）源ip地址与目的ip地址相同的数据；生成第一次降噪的xdr数据；

由第三方ip地址数据接口4获取ip地址及所在地对应数据提供方所提供的ip地址及所在地对应数据，常见的ip地址及所在地对应数据提供方包括：百度接口、新浪接口、腾讯接口、ipipnet；

由流量归类模块5根据ip地址及所在地对应数据将第一次降噪的xdr数据补充源ip地址所在地和目的ip地址所在地，生成包含ip地址归属地的xdr数据；由流量归类模块5根据ip地址所在地将ip地址划分为域内ip地址和域外ip地址，域内指城域网所在地范围内，域外指城域网所在地范围外；由流量归类模块5将域内ip地址对应的mac地址划分为域内mac地址，将域外ip地址对应的mac地址划分为域外mac地址；

由第二次降噪模块6去除包含ip地址归属地的xdr数据中的源ip地址与目的ip地址同时为域内ip地址的数据，去除包含ip地址归属地的xdr数据中的源ip地址与目的ip地址同时为域外ip地址的数据，生成第二次降噪的xdr数据；

由ip地址归类模块7读取第二次降噪的xdr数据中的域内mac地址和域外mac地址；由ip地址归类模块7读取重复数据剥离器2生成的去重的xdr数据，对比第三方ip地址数据接口4获取的ip地址及所在地对应数据，找出去重的xdr数据中未包含在ip地址及所在地对应数据中的源ip地址和目的ip地址，生成待归类的ip地址；由ip地址归类模块7根据靠近域内mac地址对应的域内ip地址的待归类ip地址为域内ip地址的规则提取再发现的域内ip地址，由ip地址归类模块7根据靠近域外mac地址对应的域外ip地址的待归类ip地址为域外ip地址的规则提取再发现的域外ip地址；

由ip地址归类模块7将再发现的域内ip地址与再发现的域外ip地址组成提供给eu查漏报用的ip数据71。