一种端口扫描ip网址活跃度统计系统及方法
【技术领域】
[0001]本发明涉及计算机网络技术领域，更具体地，涉及一种端口扫描ip网址活跃度统计系统及方法，端口 ip地址访问活跃度的统计主要用以发现潜在用户。
【背景技术】
[0002]随着计算机网络的发展，网络数据的数量已近数以亿计，庞大的信息、便捷的访问，人们习惯了从互联网中搜索自己需要的资料。
[0003]对于企业网站来说，最关心的是网站推广效果、顾客转化率。在关注访问量增长的同时，网站的用户行文指标也是重要的参考数据。如果一个网站的独立IP访问数量增长很快，但回访人数、停留时间、网页浏览数都很低，则说明网站虽然推广力度很大，但网站本身对于用户的黏着度不够，留不住用户。如果网站访问量增长很快，但注册用户数量和销售量并无相应的增长幅度，也说明网站推广或网站运营中存在一定的问题，需要网站运营者找出不足。
[0004]虽然现在存在很多可以统计用户访问量的软件，但是这些软件不足以满足统计某一阶段内的用户访问数量，以及趋势图。对这些都没有一个完整的体现，无法概括整个网站运营的好坏，得益于长时间的营销数据分析的帮助，本发明提出了一种活跃度分析方法，称之为活跃度模型。
【发明内容】
[0005]为解决上述现有技术中存在的问题，本发明提出一种端口扫描IP网址活跃度统计方法和装置，用于通过在端口扫描进行IP网址的采集。
[0006]根据本发明一方面，提供了一种端口扫描IP网址活跃度统计系统，其包括:
[0007]IP网址采集模块，其用于采集各端口的IP网址数据，并将采集到的IP网址数据存储到数据存储服务器中；
[0008]数据预处理模块，其用于从数据存储服务器上读取所述IP网址数据，并解析过滤得到HTTP协议数据，并从中解析出IP网址记录，将其存储至数据库服务器中；
[0009]IP网址活跃度统计模块，其用于从所述数据库服务器中读取IP网址记录的详细信息并进行统计，在web页面中展示IP网址记录的统计结果。
[0010]其中，所述IP网址数据采集模块包括:
[00?1 ]报文抓取模块，其用于实现对开源库1 i bpcap的封装，调用1 i bpcap接口进行网络抓包，并将所抓取的网络包存储到存储队列中；
[0012]协议解析模块，其从所述存储队列中读取网络包，并进行协议分析，过滤出HTTP报文，进而从所述HTTP报文中得到IP网络地址。
[0013]其中，所述报文抓取模块通过启动单线程将网络包存储至所述存储队列，抓包参数采用配置文件进行配置;所述协议解析模块通过开启多线程从所述存储队列读取网络包，且所述存储队列通过读写加锁方式进行访问。
[0014]其中，所述统计结果包括IP网址记录活跃度，且所述IP网址记录活跃度倒序排序。
[0015]其中，所述IP网址活跃度统计系统采用分层结构设计，且基于η层的J2EE架构设计实现。
[0016]根据本发明另一方面，提供了一种端口扫描IP网址活跃度统计方法，其包括:
[0017]IP网址采集步骤，用于采集各端口的IP网址数据，并将采集到的IP网址数据存储到数据存储服务器中；
[0018]数据预处理步骤，用于从数据存储服务器上读取所述IP网址数据，并解析过滤得到HTTP协议数据，并从中解析出IP网址记录，将其存储至数据库服务器中；
[0019]IP网址活跃度统计步骤，用于从所述数据库服务器中读取IP网址记录的详细信息并进行统计，在web页面中展示IP网址记录的统计结果。
[0020]其中，所述IP网址数据采集步骤具体包括:
[0021]报文抓取步骤，用于封装开源库libpcap，调用libpcap接口进行网络抓包，并将所抓取的网络包存储到存储队列中；
[0022]协议解析步骤，用于从所述存储队列中读取网络包，并进行协议分析，过滤出HTTP报文，进而从所述HTTP报文中得到IP网络地址。
[0023]其中，所述报文抓取步骤中通过启动单线程将网络包存储至所述存储队列，抓包参数采用配置文件进行配置;所述协议解析步骤中通过开启多线程从所述存储队列读取网络包，且所述存储队列通过读写加锁方式进行访问。
[0024]其中，所述统计结果包括IP网址记录活跃度，且所述IP网址记录活跃度倒序排序。
[0025]所述方法还包括:根据所述统计结果将网站会员进行等级划分。
[0026]本发明提出的上述方案通过将IP网址采集系统、预处理服务器、数据存储服务器和数据库服务器模块结合，实现实时、高效和准确地定位IP地址活跃度数功能，通过排名发现潜在用户。通过本发明提出的上述方案，可以分析概括整个网站运营的好坏，发现潜在用户群，防止用户流失。
【附图说明】
[0027]图1为本发明中端口扫描IP网址活跃度统计系统总架构示意图；
[0028]图2A为本发明中IP网址活跃度统计系统的设计架构示意图；
[0029]图2B为本发明中IP网址活跃度统计系统的实现架构示意图；
[0030]图3为本发明中端口扫描IP网址活跃度统计方法流程图。
图4为本发明中IP网址系统采集IP网址数据的流程图。
【具体实施方式】
[0031]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。根据本发明的实施例程，能够清晰展示该发明下的端口扫描IP网址活跃度统计功能。
[0032]本发明提出了一种端口扫描IP网址活跃度统计系统。该系统一方面基于IP网址数据采集、解析和存储技术，不停获取端口扫描IP网址资源;另一方面通过IP网址将IP网址活跃度进行统计，并以web页面展示。
[0033]如图1所示，本发明提出的端口扫描IP网址活跃度统计系统，包括:
[0034]IP网址采集模块，其用于实现采集局域网内各端口的IP网址数据，并将采集到的IP网址数据存储到数据存储服务器中；
[0035]数据预处理模块，其用于从数据存储服务器上读取所述IP网址数据，并解析过滤得到HTTP协议数据，并从中解析出IP网址记录，将其存储至数据库服务器中；
[0036]IP网址活跃度统计模块，其用于从所述数据库服务器中读取IP网址记录的详细信息并进行统计，在web页面中展示IP网址记录的统计结果。
[0037]其中，数据存储服务器，用于存储IP网址采集系统采集到的IP网址数据;数据库服务器，其用于存储IP网址记录的详细信息，供web页面展示和定期更新IP网址记录的详细信息。其中，所述IP网址数据采集模块包括:
[0038]报文抓取模块packet_capture，其用于实现对开源库1 ibpcap的封装，调用libpcap接口进行网络抓包。由于抓包速度很快，因此可以采用单线程抓包存储到队列NetWork Packet中。抓包参数的设置采用配置文件，可以提高系统的灵活性。
[0039]协议解析模块Http_resolve，其通过开启多线程从队列NetWork Packet中读取网络包，并进行协议分析，过滤出HTTP报文，进而从所述HTTP报文中获取IP网络地址。其中，队列NetWork Packet必须加锁，因为报文抓取模块packet_capture和多线程的协议解析模块Http_resolve需要互斥的访问队列NetWork Packet，加锁方式则采用经典的读写锁技术，这样可以多个Http_resolve线程之间并发读取队列NetWork Packet，以提高处理性能。解析后的http报文存储到链式队列中。
[0040]对于IP网址的获取，是通过采用多个终端来进行数据采集，最后汇集到主服务器统一处理的思想，通过多个终端设备来采集IP地址相关信息，然后存储到数据存储服务器中，数据存储服务器对收集的所有数据进行比较与筛选，检索异常记录，做可行性分析。[0041 ]按照以上思路，将报文抓取、协议解析、数据分析与统计、数据存储分解成模块，每类模块可以并发执行，以提高系统的并发度。
[0042]基于网络运营商的优势，将IP网址采集系统部署在大型ISP互联口上，这样就可以采集到海量数据，为IP网址活跃度统计提供给了充足的IP网址数据量。另外，IP网址数据采集技术采用高性能刀片服务器大规模采集网络数据，例如我们可以将IP网址采集程序部署在16个高性能刀片中，每个刀片独立采集数据，这样可以避免刀片间系统异常的相互干扰，提高了采集系统的稳定性和安全性。16台刀片采集的数据汇总到数据预处理服务器上，由数据预处理模块统一处理采集到的网络包，采集刀片和数据预处理服务器的网卡至少是千兆网卡，以提高数据传输速率和处理效率。
[0043]本发明提出的IP网址活跃度统计系统，采用