一种基于分析http请求的网络爬虫快速识别装置
技术领域
1.本发明涉及信息技术领域。
背景技术：
2.很多在线交易网站在互联网提供查询、预订、下单等服务，例如：携程、12306、淘宝、京东等官网有大量正常用户访问的同时，也存在大量爬虫。爬虫消耗了系统资源，但是却没有转化成销量，导致系统资源虚耗，严重时会造成系统波动，影响正常用户访问。通过系统日志分析等，发现官网访问中存在大量爬虫，且通过大量的 ip 进行伪装。
3.大量热门、特价商品吸引正常用户访问官网的同时，也存在大量恶意占座的非法代理。通过不断的下单但不支付，利用这些虚占的进行非法盈利，通过系统日志分析等，发现官网存在大量的非法占座会员及非会员手机号用户。
4.为了限制伪装技术越来越强的爬虫访问和恶意占座行为，需要开发大数据防爬工具,反爬虫的工具必须具有时效性，所以选择的开发底层框架必须要支持流式计算。
5.传统的网络爬虫识别技术是通过对系统日志的分析达成，属于事后发现，本发明的优势是利用流计算技术实时发现网络爬虫进行封堵。
现有技术
6.spark是一种基于内存技术，具有快速、通用、可扩展特性，支持流式计算的大数据计算引擎。spark streaming是spark平台上针对实时数据进行流式计算的组件，提供丰富的，易操作的流式处理api。由于单台计算处理速度有限，通过搭建spark集群，并且配置zookeeper集群，使master节点高可用，当master节点出现故障，由备用master节点提供服务，保证作业可用继续执行。
7.页面埋点用户行为分析是一个大系统，一个典型的数据平台。由用户数据采集，用户行为建模分析，可视化报表展示几个模块构成。现有的埋点采集方案可以大致被分为三种，手动埋点，可视化埋点，无埋点。
8.手动代码埋点比较常见，需要调用埋点的业务方在需要采集数据的地方调用埋点的方法。优点是流量可控，业务方可以根据需要在任意地点任意场景进行数据采集，采集信息也完全由业务方来控制。这样的有点也带来了一些弊端，需要业务方来写死方法，如果采集方案变了，业务方也需要重新修改代码，重新发布。
9.可是化埋点是近今年的埋点趋势，很多大厂自己的数据埋点部门也都开始做这块。优点是业务方工作量少，缺点则是技术上推广和实现起来有点难。阿里的活动页很多都是运营通过可视化的界面拖拽配置实现，这些活动控件元素都带有唯一标识。通过埋点配置后台，将元素与要采集事件关联起来，可以自动生成埋点代码嵌入到页面中。
10.无埋点则是前端自动采集全部事件，上报埋点数据，由后端来过滤和计算出有用的数据，优点是前端只要加载埋点脚本。缺点是流量和采集的数据过于庞大，服务器性能压
力山大，主流的 growingio 就是这种实现方案。
11.kafka是由apache软件基金会开发的一个开源流处理平台，由scala和java编写。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
技术实现要素：
12.鉴于现有技术的不足，本发明提供的一种基于分析http请求的网络爬虫快速识别装置由关键页面设定器、访问请求捕捉器、流计算引擎模块和爬虫判定器组成；流计算引擎模块由单位时间设定器、每ip权重访问量统计器、每ip总访问量统计器、每ip关键页面总访问量统计器、每ip使用浏览器种类总量统计器、每ip低于最小时间间隔访问次数统计器和每ip查询不同行程的次数统计器组成；关键页面设定器负责标记网站的关键页面，并在关键页面根据活动控件元素带有唯一标识的特点进行自动埋点，埋点的过程是在关键页面的活动控件元素处添加引用采集脚本的script 脚本来实现；访问请求捕捉器用来生成采集脚本，采集脚本用来采集http请求，并且将http请求数据传送目标设定为访问请求捕捉器；访问请求捕捉器解析http请求，得到该http请求的请求时间，url地址，请求参数，源ip，访问用的浏览器种类；访问请求捕捉器把解析http请求得到的数据封装成一个字符串，通过kafka发送给流计算引擎模块；流计算引擎模块由spark对数据进行流式处理；由流式处理api编辑构成单位时间设定器、每ip权重访问量统计器、每ip总访问量统计器、每ip关键页面总访问量统计器、每ip使用浏览器种类总量统计器、每ip低于最小时间间隔访问次数统计器和每ip查询不同行程的次数统计器；单位时间设定器设定进行网络爬虫快速识别时所采用的时间段的长度，命名为单位时间，默认的单位时间为1分钟；每ip权重访问量统计器用来列举单位时间一个源ip访问不同目的的访问量，并将一个源ip访问不同目的的访问量中的前两位访问量相加，得到每ip权重访问量；每ip权重访问量统计器设定每ip权重访问量的阈值为100，权重为0.2；当每ip权重访问量大于阈值时，每ip权重访问量统计器将每ip权重访问量乘以0.2发送给爬虫判定器；每ip总访问量统计器用来统计单位时间一个源ip所有的访问量之和，得到每ip总访问量；每ip总访问量统计器设定每ip总访问量的阈值为80，权重为0.2；当每ip总访问量大于阈值时，每ip总访问量统计器将每ip总访问量乘以0.2发送给爬虫判定器；每ip关键页面总访问量统计器用来统计单位时间一个源ip访问所有关键页面的访问量之和，得到每ip关键页面总访问量；每ip关键页面总访问量统计器设定每ip关键页面总访问量的阈值为50，权重为0.2；当每ip关键页面总访问量大于阈值时，每ip关键页面总访问量统计器将每ip关键页面总访问量乘以0.2发送给爬虫判定器；每ip使用浏览器种类总量统计器用来统计单位时间一个源ip使用的浏览器种类，得到每ip使用浏览器种类总量；每ip使用浏览器种类总量统计器设定每ip使用浏览器种类总量的阈值为3，权重为0.1；当每ip使用浏览器种类总量大于阈值时，每ip使用浏览器种类总量统计器将每ip使用浏览器种类总量乘以0.1发送给爬虫判定器；
每ip低于最小时间间隔访问次数统计器设定最小时间间隔为3秒，每ip低于最小时间间隔访问次数统计器用来统计单位时间同一源ip对外发起http请求的间隔时间小于最小时间间隔的所有http请求，得到每ip低于最小时间间隔访问次数；每ip低于最小时间间隔访问次数统计器设定每ip低于最小时间间隔访问次数的阈值为25，权重为0.2；当每ip低于最小时间间隔访问次数大于阈值时，每ip低于最小时间间隔访问次数统计器将每ip低于最小时间间隔访问次数乘以0.2发送给爬虫判定器；每ip查询不同行程的次数统计器用来统计单位时间一个源ip 进行不同行程查询的总次数，得到每ip查询不同行程的次数；每ip查询不同行程的次数对于没有行程规划的网站没有意义；每ip查询不同行程的次数统计器设定每ip查询不同行程的次数的阈值为12，权重为0.1；当每ip查询不同行程的次数大于阈值时，每ip查询不同行程的次数统计器将每ip查询不同行程的次数乘以0.1发送给爬虫判定器；爬虫判定器根据综合评分决定源ip是否为爬虫所在ip，当综合评分大于0.6则判定源ip为爬虫所在ip；综合评分=将每ip权重访问量乘以0.2+每ip总访问量乘以0.2+每ip关键页面总访问量乘以0.2+每ip使用浏览器种类总量乘以0.1+每ip低于最小时间间隔访问次数乘以0.2+每ip查询不同行程的次数乘以0.1。
13.有益效果本发明可以实时判断网络爬虫，有助于实时采取阻断措施。
附图说明
14.图1是本发明的系统结构图。
具体实施方式
15.实施例一参看图1，本发明提供的一种基于分析http请求的网络爬虫快速识别装置由关键页面设定器1、访问请求捕捉器2、流计算引擎模块3和爬虫判定器4组成；流计算引擎模块3由单位时间设定器30、每ip权重访问量统计器31、每ip总访问量统计器32、每ip关键页面总访问量统计器33、每ip使用浏览器种类总量统计器34、每ip低于最小时间间隔访问次数统计器35和每ip查询不同行程的次数统计器36组成；关键页面设定器1负责标记网站的关键页面，并在关键页面根据活动控件元素带有唯一标识的特点进行自动埋点，埋点的过程是在关键页面的活动控件元素处添加引用采集脚本的script 脚本来实现；访问请求捕捉器2用来生成采集脚本，采集脚本用来采集http请求，并且将http请求数据传送目标设定为访问请求捕捉器2；访问请求捕捉器2解析http请求，得到该http请求的请求时间，url地址，请求参数，源ip，访问用的浏览器种类；访问请求捕捉器把解析http请求得到的数据封装成一个字符串，通过kafka发送给流计算引擎模块3；流计算引擎模块3由spark对数据进行流式处理；由流式处理api编辑构成单位时间设定器30、每ip权重访问量统计器31、每ip总访问量统计器32、每ip关键页面总访问量统计器33、每ip使用浏览器种类总量统计器34、每ip低于最小时间间隔访问次数统计器35和每ip查询不同行程的次数统计器36；
单位时间设定器30设定进行网络爬虫快速识别时所采用的时间段的长度，命名为单位时间，默认的单位时间为1分钟；每ip权重访问量统计器31用来列举单位时间一个源ip访问不同目的的访问量，并将一个源ip访问不同目的的访问量中的前两位访问量相加，得到每ip权重访问量；每ip权重访问量统计器31设定每ip权重访问量的阈值为100，权重为0.2；当每ip权重访问量大于阈值时，每ip权重访问量统计器31将每ip权重访问量乘以0.2发送给爬虫判定器；每ip总访问量统计器32用来统计单位时间一个源ip所有的访问量之和，得到每ip总访问量；每ip总访问量统计器32设定每ip总访问量的阈值为80，权重为0.2；当每ip总访问量大于阈值时，每ip总访问量统计器32将每ip总访问量乘以0.2发送给爬虫判定器；每ip关键页面总访问量统计器33用来统计单位时间一个源ip访问所有关键页面的访问量之和，得到每ip关键页面总访问量；每ip关键页面总访问量统计器33设定每ip关键页面总访问量的阈值为50，权重为0.2；当每ip关键页面总访问量大于阈值时，每ip关键页面总访问量统计器33将每ip关键页面总访问量乘以0.2发送给爬虫判定器；每ip使用浏览器种类总量统计器34用来统计单位时间一个源ip使用的浏览器种类，得到每ip使用浏览器种类总量；每ip使用浏览器种类总量统计器34设定每ip使用浏览器种类总量的阈值为3，权重为0.1；当每ip使用浏览器种类总量大于阈值时，每ip使用浏览器种类总量统计器34将每ip使用浏览器种类总量乘以0.1发送给爬虫判定器；每ip低于最小时间间隔访问次数统计器35设定最小时间间隔为3秒，每ip低于最小时间间隔访问次数统计器35用来统计单位时间同一源ip对外发起http请求的间隔时间小于最小时间间隔的所有http请求，得到每ip低于最小时间间隔访问次数；每ip低于最小时间间隔访问次数统计器35设定每ip低于最小时间间隔访问次数的阈值为25，权重为0.2；当每ip低于最小时间间隔访问次数大于阈值时，每ip低于最小时间间隔访问次数统计器将每ip低于最小时间间隔访问次数乘以0.2发送给爬虫判定器；每ip查询不同行程的次数统计器36用来统计单位时间一个源ip 进行不同行程查询的总次数，得到每ip查询不同行程的次数；每ip查询不同行程的次数对于没有行程规划的网站没有意义；每ip查询不同行程的次数统计器36设定每ip查询不同行程的次数的阈值为12，权重为0.1；当每ip查询不同行程的次数大于阈值时，每ip查询不同行程的次数统计器36将每ip查询不同行程的次数乘以0.1发送给爬虫判定器；爬虫判定器4根据综合评分决定源ip是否为爬虫所在ip，当综合评分大于0.6则判定源ip为爬虫所在ip；综合评分=将每ip权重访问量乘以0.2+每ip总访问量乘以0.2+每ip关键页面总访问量乘以0.2+每ip使用浏览器种类总量乘以0.1+每ip低于最小时间间隔访问次数乘以0.2+每ip查询不同行程的次数乘以0.1。