一种上网行为数据采集方法及其系统的制作方法
【技术领域】
[0001]本发明涉及无线网络技术领域，具体涉及一种上网行为数据采集方法及其系统。
【背景技术】
[0002]当前无线覆盖越来越多，使用手机等移动终端设备也越来越多，通过WiFi上网成为当前的主流方式，相比有线覆盖而言，流量的突发性和网络延迟有很大的不同，其数据量大，突发性强，人流量快带来了新的问题，如何解决无线覆盖区域的用户上网行为数据采集和上传是一个新的课题。
【发明内容】
[0003]本发明的目的在于提供一种上网行为数据采集方法及其系统，通过无线覆盖区域内的若干无线热点收集用户通过移动终端上网的数据，然后汇总压缩后上传到云端服务器，有效的解决了用户上网行为的数据收集和上传功能，并优化了上传性能，增强了安全性，为大数据应用奠定了技术基础。
[0004]为了达到上述目的，本发明通过以下技术方案实现:一种上网行为数据采集方法，其特点是，包含以下步骤:
51、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
52、对符合预设条件的上行数据包进行处理；
53、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
[0005]所述的步骤S2包含对符合预设条件的上行数据包进行加密及压缩处理后保存。
[0006]所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
[0007]所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。
[0008]一种上网行为数据采集系统，其特点是，包含:
若干个监听单元，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
处理单元，分别与若干个监听单元连接，用于对监听单元采集的符合预设条件的上行数据包进行处理；
存储单元，与所述处理单元连接，用于存储经处理单元处理后的上行数据包；
上传单元，与所述存储单元连接，用于将存储单元中的上行数据包上传至云服务器。
[0009]所述的处理单元包含依次连接的加密模块及压缩模块，所述加密模块与所述监听单元连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密；所述压缩模块与所述存储单元连接，用于对加密后的上行数据包采用预设压缩算法进行压缩。
[0010]所述的上网行为数据采集系统还包含一计时单元，分别与所述存储单元及上传单元连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元将上行数据包上传至云服务器。
[0011]所述的上网行为数据采集系统还包含包含一文件大小判断单元，分别与所述存储单元及上传单元连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元将上行数据包上传至云服务器。
[0012]所述的预设加密算法为采用AES-128位进行加密。
[0013]所述的预设压缩算法为使用gzip工具进行压缩。
[0014]本发明一种上网行为数据采集方法及其系统与现有技术相比具有以下优点:采用预设上传条件，有效保证数据的完整性和一定的实时性问题，并且解决了上传数据至云服务器时的并发问题，同时上传数据会对云服务器造成负载压力，分散时间上传，减少上传并发量，减轻云服务器负载压力；通过对要进行上传得上行数据包进行压缩，减少对宽带的占用率，节约宽带资源；采用AES-128位进行加密，有效保证上传数据的安全性。
【附图说明】
[0015]图1为本发明一种上网行为数据采集系统的结构框图；
图2为本发明一种上网行为数据采集方法的流程图。
【具体实施方式】
[0016]以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
[0017]本发明主要是通过无线覆盖区域内的若干无线热点(AP)收集用户通过移动终端(如手机)上网的数据，然后汇总压缩后上传到云端服务器。由于某一区域的无线覆盖是通过若干AP的无线信号相互重叠形成的Mesh网络实现，而用户通过WiFi使用手机等移动终端上网必须接入某一个AP，这样就可以通过每一个AP监控上网的行为并采集所需要的上网行为数据，然后通过压缩利用FTP协议上传到指定的云服务器，从而完成整个上网行为的数据采集和上传。解决了在无线覆盖的商户，超市或企业等区域如何通过无线热点(Access Point)有效的收集用户上网行为的数据，并且将数据进行加密和压缩上传云端服务器的过程。
[0018]如图1所示，本发明公开一种上网行为数据采集系统用于实现对上网行为数据的收集，包含:若干个监听单元101，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；处理单元102，分别与若干个监听单元101连接，用于对监听单元101采集的符合预设条件的上行数据包进行处理；存储单元103，与所述处理单元102连接，用于存储经处理单元102处理后的上行数据包；上传单元104，与所述存储单元103连接，用于将存储单元103中的上行数据包上传至云服务器。
[0019]优选地，所述的处理单元102包含依次连接的加密模块1021及压缩模块1022，所述加密模块1021与所述监听单元101连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密，例如采用AES-128位进行加密；所述压缩模块1022与所述存储单元103连接，用于对加密后的上行数据包采用预设压缩算法进行压缩，例如使用gzip工具进行压缩。
[0020]在本发明的较佳实施例中，上网行为数据采集系统还包含一计时单元105，分别与所述存储单元103及上传单元104连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元104将上行数据包上传至云服