一种基于大数据分析的撞库预警方法与流程

本发明涉及信息技术领域，特别是信息安全防护领域的用户信息撞库保护。

背景技术：

随着互联网技术的不断发展，网络日益融入人们的生活，人们更多的将自身信息存储于网络，在某种程度上的确方便日常生活，但用户数据的安全性问题也逐渐成为焦点，例如之前新闻报道的华住酒店数据泄露，菜鸟驿站数据被盗等，致使上亿条用户信息记录在暗网售卖，一旦不法分子获取到此种数据，可能进一步实施诈骗，给受害人经济上带来损失。

黑客入侵有价值的网络站点，把注册用户的资料数据库全部盗走的行为称为拖库，因为谐音，也经常被称作“脱裤”。在取得大量的用户数据之后，黑客会通过一系列的技术手段和黑色产业链将有价值的用户数据变现，这通常也被称作“洗库”。最后黑客将得到的数据在其它网站上进行尝试登陆，叫做“撞库”。

撞库存在的原因，不一定在于某个网站本身安全性不够高，也可能是在其它安全性较低的网站上获取到用户数据后，然后尝试在本网站登陆成功。所以一方面是由于普通网民习惯在不同网站上使用相同的密码，另一方面是某些小型网站未注重安全性，导致数据库泄露。

现有技术一般无法做到预防或检测撞库行为，只能采用被动的机制，当遭受到异常访问时，例如登陆地址异常，登陆次数异常时，限制用户登录，当访问频率较低时，此方法有时并不能准确区分某些撞库行为和正常登录行为。本发明技术可运用在各省通信管理局，在基于大数据分析的实时结果，对相关网站进行主动预警，从而在一定程度上达到诈骗事件发生提前预防的效果。

共有技术说明

apachecarbondata是一种新的高性能数据存储格式，针对当前大数据领域分析场景需求各异而导致的存储冗余问题，carbondata提供了一种新的融合数据存储方案，以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景，并通过多级索引、字典编码、列存等特性提升了io扫描和计算性能，实现百亿数据级秒级响应。

dpi物理探针设备，此网络旁路设备可实时获取移动网络或固网的访问流量，而不影响用户的正常请求。

技术实现要素：

基于现有技术的不足实现本发明的一种基于大数据分析的撞库预警方法所必需的模块包括：dpi物理探针设备、流量过滤器、carbondata大数据集群、特征匹配分析器；其中流量过滤器由post参数表过滤器和响应参数过滤器组成；特征匹配分析器由特定ip大量访问探测器、访问行为探测器、时间特征探测器、目标特征探测器、代理ip探测器、用户行为探测器组成；

实现一种基于大数据分析的撞库预警方法的基本步骤包括：

1）部署dpi物理探针设备

在移动、联通、电信三大运营商的机房部署dpi物理探针设备，此网络旁路设备可实时获取移动网络或固网的访问流量，而不影响用户的正常请求，然后将流量统一上报至管局服务器机房的流量过滤器；

2）流量过滤

①流量过滤器将符合post参数表过滤器流量通过规则和符合响应参数过滤器的数据传递给carbondata大数据集群；

②post参数表过滤器流量通过规则为在不区分大小写的情况下允许post请求中url地址包含特定字符串一且post参数名称包含特定字符串二的流量通过；特定字符串一包含：reg、register、login、sign_in、auth、user、signin；特定字符串二包括：account、userid、user_id、username、user_name、un；

③响应参数过滤器流量通过规则为在不区分大小写的情况下允许post请求中url地址包含特定字符串一且responseheaders头部包含set-cookie参数的流量通过；特定字符串一包含：reg、register、login、sign_in、auth、user、signin；

3）特征匹配分析

①特征匹配分析器对carbondata大数据集群中的数据进行特征匹配分析，特征匹配分析器具有六种分析模块，分别是特定ip大量访问探测器、访问行为探测器、时间特征探测器、目标特征探测器、代理ip探测器、用户行为探测器；同时满足两种及两种以上分析模块确定特征的流量认定为疑似撞库流量，将疑似撞库流量存储在管局信息安全管理系统的数据库中；

②特定ip大量访问探测器探测特定ip在时间窗口10min内访问量突增10倍以上的情况；

③访问行为探测器探测下列两种行为：a.特定ip使用多个用户名密码组合进行访问，b.特定ip多次尝试注册url；

④时间特征探测器探测下列两种行为：a.发生时间一般与正常访问时间不一样，b.非正常访问时间段内访问量突增；正常访问时间根据网站类别不同设置有所差别，一般网站正常访问时间是8点到22点，直播平台正常访问时间是18点到23点；

⑤目标特征探测器探测流量是否属于重点网站的流量，重点网站分类包含：金融，论坛，游戏类型网站；

⑥代理ip探测器探测流量是否来自于代理服务器的访问，识别流量来自于代理服务器访问的依据包括：a.通过网络中公开的恶意ip库识别，b.目标网站的访问频率突增，c.目标网站登录失败频率突增，d.目标网站用户的ip地域发生变化，e.目标网站的访问时间特征发生变化；

⑦用户行为探测器探测特殊用户行为的流量，特殊用户行为的识别依据包括：a.被大量idc、cdn、ircs的ip访问的行为，b.缺少用户行为，包括直接访问登录接口而不访问登录页面，c.用户在不正常的时间登录，d.成功登陆后缺少后续行为，e.头文件与正常访问不一样，包括ua，refer，cookie不正常。

有益效果

实施本发明不同于网站自身的防范措施，通信管理局可依据大数据分析的实时结果，对所有省内接入的网站进行管控，例如使用电话或邮箱警示网站相关负责人进行处理，或直接对有问题的网站做弹窗或封堵策略，预防范围更广，效果更佳。

附图说明

图1是本发明的流程及组成结构图。

具体实施方式

参看图1实现本发明的一种基于大数据分析的撞库预警方法所必需的模块包括：dpi物理探针设备a、流量过滤器b、carbondata大数据集群c、特征匹配分析器d；其中流量过滤器b由post参数表过滤器21和响应参数过滤器22组成；特征匹配分析器d由特定ip大量访问探测器41、访问行为探测器42、时间特征探测器43、目标特征探测器44、代理ip探测器45、用户行为探测器组成46；

实现一种基于大数据分析的撞库预警方法的基本步骤包括：

1）部署dpi物理探针设备a

在移动、联通、电信三大运营商的机房部署dpi物理探针设备a，此网络旁路设备可实时获取移动网络或固网的访问流量，而不影响用户的正常请求，然后将流量统一上报至管局服务器机房的流量过滤器；

2）流量过滤

①流量过滤器b将符合post参数表过滤器21流量通过规则和符合响应参数过滤器22的数据传递给carbondata大数据集群c；

②post参数表过滤器21流量通过规则为在不区分大小写的情况下允许post请求中url地址包含特定字符串一且post参数名称包含特定字符串二的流量通过；特定字符串一包含：reg、register、login、sign_in、auth、user、signin；特定字符串二包括：account、userid、user_id、username、user_name、un；

③响应参数过滤器22流量通过规则为在不区分大小写的情况下允许post请求中url地址包含特定字符串一且responseheaders头部包含set-cookie参数的流量通过；特定字符串一包含：reg、register、login、sign_in、auth、user、signin；

3）特征匹配分析

①特征匹配分析器d对carbondata大数据集群c中的数据进行特征匹配分析，特征匹配分析器d具有六种分析模块，分别是特定ip大量访问探测器41、访问行为探测器42、时间特征探测器43、目标特征探测器44、代理ip探测器45、用户行为探测器46；同时满足两种及两种以上分析模块确定特征的流量认定为疑似撞库流量，将疑似撞库流量存储在管局信息安全管理系统的数据库中；

②特定ip大量访问探测器41探测特定ip在时间窗口10min内访问量突增10倍以上的情况；符合确定为特征流量；

③访问行为探测器42探测下列两种行为：a.特定ip使用多个用户名密码组合进行访问，b.特定ip多次尝试注册url；符合确定为特征流量；

④时间特征探测器43探测下列两种行为：a.发生时间一般与正常访问时间不一样，b.非正常访问时间段内访问量突增；正常访问时间根据网站类别不同设置有所差别，一般网站正常访问时间是8点到22点，直播平台正常访问时间是18点到23点；符合确定为特征流量；

⑤目标特征探测器44探测流量是否属于重点网站的流量，重点网站分类包含：金融，论坛，游戏类型网站；属于重点网站的流量确定为特征流量；

⑥代理ip探测器45探测流量是否来自于代理服务器的访问，识别流量来自于代理服务器访问的依据包括：a.通过网络中公开的恶意ip库识别，b.目标网站的访问频率突增，c.目标网站登录失败频率突增，d.目标网站用户的ip地域发生变化，e.目标网站的访问时间特征发生变化；来自于代理服务器的访问确定为特征流量；

⑦用户行为探测器46探测特殊用户行为的流量，特殊用户行为的识别依据包括：a.被大量idc、cdn、ircs的ip访问的行为，b.缺少用户行为，包括直接访问登录接口而不访问登录页面，c.用户在不正常的时间登录，d.成功登陆后缺少后续行为，e.头文件与正常访问不一样，包括ua，refer，cookie不正常；特殊用户行为的流量确定为特征流量。