一种WIFI无线数据实时解析的方法与流程

本发明涉及数据解析技术，尤其涉及一种wifi无线数据实时解析的方。

背景技术：

随着it技术的发展，智能手机，iot，大数据的概念离我们的生活越来越近，这一切的发展都离不开互联网的高速发展。互联网给我们的日常生活带来极大的便利同时也带来了日益恶化的网络环境。

而无线wifi已成为企业办公和家庭生活不必可少的一部分。但是由于无线网络的特点，无线网络中安全问题显得尤为突出。为了实时跟踪企业及家庭无线网络中各种流量，我们推出了一种新的流量解析方法。

目前普遍采用的流量分析法是：

按照i)数据包个数ii)时间间隔来抓包，将数据包保存为不同的文件。

然后再定时解析每个数据文件。

由于采用了这种方法，造成下面的问题

实时性差。

数据丢失严重(该解析的数据没能解析出来)。

对cpu内存等硬件要求高。

针对上述问题，我们提出了一种新的解决实时解析流量的方法。

技术实现要素：

鉴于上述现有技术存在的问题，本发明提供一种wifi无线数据实时解析的方法。

本发明解决技术问题采用如下技术方案：一种wifi无线数据实时解析的方法，包括从内网抓取tcp/udp数据包；读取解析规则，匹配协议特征及判断协议类型；使用多线程实时解析数据包；以及解析完毕后，将解析后的内容存入数据库。

可选的，所述读取解析规则，匹配协议特征及判断协议类型步骤之前包括：初始化配置，读取配置文件，读取设定的参数，获取需要解析的协议；根据配置文件的指定参数，主线程创建一个用来解析数据包的线程池，创建及初始化数据库连接池，并创建一个全局的哈希表；以及主线程监听网卡上数据包，当接收到数据包后，主线程将数据包提交给线程池处理，线程池指定一个空闲的线程来解析接收到的数据包。

可选的，所述线程池指定一个空闲的线程来解析接收到的数据包包括如下步骤：判断是否为新会话？若为新会话，则负责解析的线程根据数据包中的端口号，ip，mac地址，端口创建一个哈希索引，若不是新会话，则把新的数据附加到该哈希表对应的值中。

可选的，所述步骤还包括：根据数据包判断协议类型，根据协议类型读取协议特征；根据不同服务的类型的协议特征来判断这个会话是否完成，如果该会话已经完成，则入库，如果该会话未完成，则返回线程池继续等待处理。

可选的，所述入库之前的步骤还包括：匹配协议特征，判断协议类型；使用多线程并行实时解析数据包。

可选的，所述使用多线程并行实时解析数据包的步骤包括但不限于：解析ftp、解析telnet及解析http。

本发明具有如下有益效果：

实时解析网络数据，不丢失数据(成功做到该解析的数据都解析)，降低了对cpu内存的要求，定制性强，可以针对用户需求，深度定制不同协议需要解析的内容。

附图说明

图1为本发明的所述一种wifi无线数据实时解析的方法的实施例示意图；

图2为本发明基于图1的所述一种wifi无线数据实时解析的方法的实施例示意图。

具体实施方式

下面结合实施例及附图对本发明的技术方案作进一步阐述。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

实施例1

本实施例提供了一种wifi无线数据实时解析的方法。参见图1所示为本申请中wifi无线数据实时解析的方法的具体实施例，本实施例中步骤包括：

步骤101：从内网抓取tcp/udp数据包；

步骤102：读取解析规则，匹配协议特征及判断协议类型；

步骤103：使用多线程实时解析数据包；以及

步骤104：解析完毕后，将解析后的内容存入数据库。

实施例2

为了使本发明描述更明确和详细，同时便于技术人员理解，本实施例对图2所示的方法作了进一步说明。参见图2所示为本申请wifi无线数据实时解析的方法的具体实施例，图1中所述的使用多线程实时解析数据包包括：

步骤201：初始化配置，读取配置文件，读取设定的参数，获取需要解析的协议；

步骤202：根据配置文件的指定参数，主线程创建一个用来解析数据包的线程池；

步骤203：创建及初始化数据库连接池，并创建一个全局的哈希表；：

步骤204：主线程监听网卡上数据包，当接收到数据包后，主线程将数据包提交给线程池处理，线程池指定一个空闲的线程来解析接收到的数据包；

步骤205：判断是否为新会话？

步骤206：若不是新会话，则把新的数据附加到该哈希表对应的值中。

步骤207：若为新会话，则负责解析的线程根据数据包中的端口号，ip，mac地址，端口创建一个哈希索引；

步骤208：根据数据包判断协议类型，根据协议类型读取协议特征；

步骤209：根据不同服务的类型的协议特征来判断这个会话是否完成；

步骤210：如果该会话未完成，则返回线程池继续等待处理；

步骤211：如果该会话已经完成，则匹配协议特征，判断协议类型；

步骤212：使用多线程并行实时解析数据包，包括但不限于：解析ftp、telnet、http、pop3及stmp；

步骤213：将数据存入数据库。

为了更全面理解本发明，现将本发明的具体应用举例介绍如下：

企业网络——员工上网行为

现状分析：

1、很多员工把自己的平板电脑，手机连接到企业网的wifi中。

2、目前在互联网上有很多钓鱼网站，这些网站含有恶意病毒软件。如果员工不小心下载/安装了这些恶意软件，则相当于把大门打开了。可能造成企业机密泄露，或者遭到恶意勒索。

解决方案：

1、部署配置本发明，员工无感知上网。

2、通过本发明进行上网记录解析。

3、网络安全工程师可根据本发明的分析结果来调整网络边界策略。

预期效果：

1、员工无感知上网。

2、网络安全工程师根据上网行为调整网络边界策略。

企业网络——应急响应团队溯源

现状分析：

目前存在一批针对企业高层管理者的攻击，恶意黑客会搜索这些管理者个人信息，然后根据他们的个人信息制作一个钓鱼网站。通过这个网站来诱导管理者输入重要的用户名密码(如邮箱)。然后利用获取的用户名密码进一步渗透，获取企业机密。

解决方案：

1、部署配置本发明后，无感知上网。

2、通过本发明进行上网解析。

3、应急响应团队可以根据记录的网站来对恶意攻击行为进行溯源。

预期效果：

应急响应团队根据上网记录分析来溯源。

家庭网络——家长上网行为管理

现状分析：

1、智能手机，平板电脑等电子产品越来越普及。

2、互联网上充斥着不良信息网站。

3、儿童对于不良信息辨识能力差。

解决方案：

1、部署本发明后，全家人都可以正常上网。

2、通过本发明进行上网行为解析。

3、家长根据上网记录调整路由器策略来屏蔽不良网站。

预期效果：

杜绝不良网站对青少年的身心健康造成影响。

以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。