本实用新型涉及互联网领域，尤其涉及一种互联网大数据管理装置。
背景技术：
随着互联网业务的迅猛发展，激增的网络用户、信息数量和网络资源刺激着网络的不断升级与开拓。呈指数级增长的广大用户、信息与资源数量要求运营商提供不断升级的高品质服务，网络带宽与速度升级都迫在眉睫。从整体来看，以上这些目标的实现依赖于基础设施建设的升级，从战略上来看，通过对互联网流量流向决策分析及合理调度，也可达到高效利用当前基础设施实现升级的目标，更好的保障服务的实现与品质提升。
目前，庞大的用户数量以及随之而来庞大的网络应用需求推动着互联网硬件设施和软件设备的升级，网络流量十分庞大。采用海量的硬件投入来达成基础设施升级明显是不可取的；庞大的网络流量也需要分析和控制。因此，通过探索一条合理控制网络流量流向达到高效利用当前基础设施实现升级的目标，更好的保障服务的实现与品质升级，显得必要且具有重大意义。
技术实现要素：
有鉴于此，本实用新型提供一种互联网大数据管理装置，以解决上述技术问题。
本实用新型提供的互联网大数据管理装置，包括服务器、告警模块、数据存储模块、用于采集DNS日志的数据采集模块和对所述DNS日志进行处理的处理器；
所述数据采集模块的输入端与服务器的输出端连接，所述数据采集模块的输出端与数据存储模块的输入端连接，所述数据采集模块的输出端与处理器的输入端连接，所述处理器与告警模块连接。
本实用新型的有益效果：本实用新型中的互联网大数据管理装置，通过对DNS系统解析日志进行采集并存储，可以定期分析互联网热点资源，提升用户感知，并达到提升流量本网率和降低运营成本的效果，根据时间，请求的IP和请求的域名，在原始海量日志中过滤出符合条件的日志，便于分析排查；本实用新型可以更好的保障互联网服务的实现与品质升级。
进一步，所述服务器包括用于生成DNS日志的日志服务器，所述日志服务器的数量为多个。通过采集日志服务器的DNS日志，可以便于对流量调度存在偏差的部分进行优化调度。
进一步，所述服务器还包括用于进行权限管理的鉴权服务器。管理员可为不同用户、不同角色、不同组织机构设置不同操作权限，通过权限控制，做到信息保密。
进一步，还包括预处理模块，所述预处理模块分别与服务器和数据处理模块连接。预处理通过日志过滤，可根据时间，请求的IP和请求的域名，在原始海量日志中过滤出符合条件的日志，便于以表格形式导出，便于分析排查。
进一步，所述存储模块包括用于存储IP段归属基础库模块。通过对不同IP段的划分，能准确的判断DNS日志中用户的上网方式和用户访问的最终服务器地址。
进一步，还包括终端设备，所述终端设备分别与鉴权服务器和数据处理模块连接。通过终端设备可以展现手机用户分析、互联网用户分析、全网用户分析、综合告警、各服务厂家质量评估、辅助工具、综合分析、系统管理以及报表制定。
进一步，所述终端设备为安装有相应控制程序的智能手机或平板电脑。便于用户进行查看。
进一步，还包括通信模块，所述终端设备通过通信模块分别与鉴权服务器和处理器连接，通过通信模块使终端设备与鉴权服务器和处理器之间建立无线连接，进行远程数据交换。
附图说明
下面结合附图和实施例对本实用新型作进一步描述：
图1是本实用新型的原理示意图。
具体实施方式
下面结合附图和实施例对本实用新型作进一步描述：图1是本实用新型的原理示意图。
如图1所示，本实施例中的互联网大数据管理装置，包括服务器、告警模块、数据存储模块、用于采集DNS日志的DNS日志数据采集模块和对所述DNS日志进行处理的处理器；
所述数据采集模块的输入端与服务器的输出端连接，所述数据采集模块的输出端与数据存储模块的输入端连接，所述数据采集模块的输出端与处理器的输入端连接，所述处理器与告警模块连接。
在本实施例中，数据采集模块用来获取DNS日志，通过数据采集模块可以设置DNS日志获取服务器日志上传的间隔和DNS日志服务器的IP地址目录等信息。本实施例数据采集模块通过FTP的方式获取DNS日志，通过外部注入的方式导入外部IP库信息，通过外部注入的方式导入移动内部IP地址库信息，通过扫描的方式获取域名的备案信息。通过告警模块对流量调度的异常进行告警，便于及时查找流量异常的原因。本实施例中的告警模块提供针对不同业务类型的告警数据展示功能，包含并不限于：手机2G、WLAN、手机3G、手机4G。提供针对不同维度的告警，包含公司流量异常，域流量异常，域名流量异常三个部分。提供针对不同指标的告警，包含公司点击率异常(变大或变小)，出网率异常(变大或变小)，出网次数异常(变大或变小)。在本实施例中，处理器可以采用CPU，主要负责对采集的DNS日志进行处理。
在本实施例中，服务器包括日志服务器和鉴权服务器，所述日志服务器的数量为多个，优选地，DNS日志通过数据采集模块以FTP方式上传到采集分析服务器，采集分析服务器将DNS日志发送至处理器进行过滤处理，通过请求的IP地址在海量日志中过滤出符合设置条件的日志，再通过调度服务器进行相应地调度操作。
在本实施例中，服务器还包括用于进行权限管理的，管理员可为不同用户、不同角色、不同组织机构设置不同操作权限，通过权限控制，做到信息保密。
在本实施例中，还包括用于对DNS日志进行筛选处理的预处理模块，所述预处理模块分别与数据采集模块和处理器连接。由于数据采集模块获取到的原始的DNS解析日志数量庞大，并且存在很多解析失败、域名不合格的情况，所以我们要对原始的DNS解析日志进行筛选，合并等处理，在本实施例中，通过上述处理后最终形成一个文件，再将处理后的文件传送给处理器进行处理。下面详细介绍DNS日志处理模块对DNS日志的预处理内容：在Local DNS日志中，用户IP的信息对于本系统的流量流向分析也是不重要的，因为流量流向分析主要观察的是流量的“去向”，而非流量的“来源”。本实施例对这一部分的信息进行了筛除，分为移动用户、互联网用户，全网用户为移动用户、互联网用户的合集。DNS规定，域名中的标号都有英文字母和数字组成，每一个标号不超过63个字符，也不区分大小写字母。标号中除连字符展览开幕(-)外不能使用其他的标点符号。级别最低的域名写在最左边，而级别最高的域名写在最右边。由多个标号组成的完整域名总共不超过255个字符。所以，凡不符合上述规范的请求域名被认为是不合格的域名，对这部分的日志进行了筛除。另外对用户请求的相同的域名和相同的目的IP在同一时间段内进行合并，统计相同的目的IP并记录次数。在此之上再统计相同域名的合并次数，即为该域名的请求次数，并记录改值。本领域技术人员可以知晓，上述预处理过程通过现有技术中的处理模块均可实现，在此不再赘述。
在本实施例中，存储模块包括用于存储IP段归属的基础库模块。IP地址库为运营商网内IP段和国内IP段，根据DNS流量流向分析系统的具体需求，将运营商网内IP段按用户端分为手机用户IP端和互联网用户IP段，按服务端分为：Web Cache缓存服务器IP段、CDN引入IP地址段、直连引入IP地址段铁通引入IP地址段、移动引入等。通过对不同IP段的划分，能准确的判断DNS日志中用户的上网方式和用户访问的最终服务器地址。
在本实施例中，还包括用于对分析结果进行界面展示的终端设备。本实施例中的中终端设备可以分析内容角度区分，主要包含：手机用户分析、互联网用户分析、全网用户分析、综合分析、系统管理以及报表制定，本实施例中的终端设备可以采用PC，也可以采用安装有相应APP的智能手机或平板电脑，汇总短设备通过通信模块与鉴权服务器及其他模块连接，通信模块可以采用GPRS、3G或4G模块。
最后说明的是，以上实施例仅用以说明本实用新型的技术方案而非限制，尽管参照较佳实施例对本实用新型进行了详细说明，本领域的普通技术人员应当理解，可以对本实用新型的技术方案进行修改或者等同替换，而不脱离本实用新型技术方案的宗旨和范围，其均应涵盖在本实用新型的权利要求范围当中。