一种基于令牌的电子资源服务中非正常访问的处理方法与流程

1.本发明属于网络安全技术领域，涉及电子资源反批量爬取的相关主动防御技术，尤其涉及一种基于令牌的电子资源服务中非正常访问的处理方法。


背景技术：

2.随着数字化信息资源建设和互联网的飞速发展，电子资源被非正常访问的风险越来越严重。特别是在数字出版行业，电子资源是公司的命脉，识别非正常访问行为并采取措施进行保护具有非常重要的意义。同时，用于提供电子资源服务的负载能力非常昂贵且有限，大量的非正常访问挤占了大量服务资源，导致服务成本的提高和服务质量的下降。
3.很多高校、科研院所等机构从运营商那里购买云服务为单位内部人员提供电子资源服务。通常相同单位的读者们会使用同一个机构账号，通过ip自动登录方式使用电子资源服务。因个别读者的非正常访问导致机构账号或ip被封的情况时有发生。
4.非正常访问电子资源的行为大多数来自运行在机器上的网络爬虫程序或脚本。防止爬取的方法很多，比如配置robots协议、限制ip、智能验证码等等，防爬与爬取就是一个不断进化的攻防博弈过程。


技术实现要素：

5.为解决上述技术问题，本发明的目的是提供一种基于令牌的电子资源服务中非正常访问的处理方法。
6.本发明的目的通过以下的技术方案来实现：
7.一种基于令牌的电子资源服务中非正常访问的处理方法，包括：
8.a、接收产品服务端发起的校验用户访问是否正常的请求；
9.b、根据三个维度的访问控制列表判断是否存在非正常访问；
10.c、存在非正常访问情况，则进入相关业务处理；
11.d、记录用户访问日志；
12.e、更新三个维度的访问控制列表；
13.f、返回产品服务请求处理结果。
14.与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
15.基于三个维度的访问控制列表，组合搭配后可以适应更多的业务场景；特别是基于登录令牌访问控制列表，可以识别机构单位内部非正常访问的用户个体，并进行限制；
16.可有效应对网络爬取技术的迭代更新导致的相关主动防御技术失效的问题。
附图说明
17.图1是基于令牌的电子资源服务中的非正常访问的处理方法流程图；
18.图2是根据三个维度的访问控制列表判断是否存在非正常访问流程图；
19.图3是更新三个维度的访问控制列表流程图；
20.图4是更新登录令牌访问控制列表流程图；
21.图5是更新ip访问控制列表流程图；
22.图6是更新账号访问控制列表流程图。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
24.如图1所示，为基于令牌的电子资源服务中的非正常访问的处理方法，包括：
25.步骤10接收产品服务端发起的校验用户访问是否正常的请求；
26.接收产品服务端发起的校验用户访问是否正常的请求，是本解决方案最终提供的服务形式，也是最主要的数据输入通道。请求内容包含登录令牌、用户ip、操作类型、操作对象四种信息。其中，登录令牌是用户登录系统后获取的通行码，通过登录令牌能够获取登录所使用的账号信息；用户ip是用户终端设备的ip；操作类型可以是浏览、下载、在线阅读等针对电子资源的操作；操作对象是指文献、图书、视频等具体的电子资源。
27.步骤20根据三个维度的访问控制列表判断是否存在非正常访问；
28.三个维度的访问控制列表包含登录令牌访问控制列表、ip访问控制列表、账号访问控制列表，由系统根据规则算法对用户访问日志进行分析得出,分别保存了存在非正常访问情况的登录令牌、ip和账号，以及非正常访问的异常信息代码。所述异常信息代码是将所有非正常访问情况穷举后进行的编码。
29.如图2所示，为根据三个维度的访问控制列表判断是否存在非正常访问流程图，具体包括：
30.第一步：本次登录是否存在非正常访问。根据登录令牌查询登录令牌访问控制列表，若存在，进入限制登录令牌使用的处理过程。
31.第二步：使用ip是否存在非正常访问。首先，判断ip是否存在于ip白名单中，若存在，直接进入下一步。其次，考虑到多个账号共用一个ip访问的情况，可将账号和ip组合起来作为ip访问控制列表的主键；根据登录令牌查询账号与登录令牌的关联关系获取账号，根据账号ip的组合查询ip访问控制列表，若存在，进入限制ip使用的处理过程。
32.第三步：使用账号是否存在非正常访问。首先，判断账号是否存在于账号白名单中，若存在，直接进入下一步。其次，根据登录令牌查询账号与登录令牌的关联关系获取账号，根据账号查询账号访问控制列表，若存在，进入限制账户使用的处理过程。
33.第四步：上述三步均通过，则返回正常访问。
34.步骤30若存在非正常访问情况时，进入相关业务处理流程；
35.当用户存在非正常访问情况，针对登录令牌、ip和账号三个维度的不同情况，根据规则对用户访问采取相应的限制措施。所述方法包括：
36.(1)登录令牌存在非正常访问时，限制登录令牌的使用。限制手段主要是导入人机校验过程，通过让用户输入验证码的方式，阻断机器行为的访问。当用户n次输入验证码后，非正常访问的情况依然存在，则直接令登录令牌失效，用户需要重新登录。所述参数n，可定期的通过历史用户日志数据的正负样本集训练或直接统计得出，允许业务人员修改设定。
37.(2)ip存在非正常访问时，限制ip的使用。
38.根据登录令牌分析出来的非正常访问ip，以及根据每次操作都重新登录的情况分析出来的非正常访问ip，只针对相关账号在使用该ip的过程中导入人机校验过程。当某个账号m次输入验证码后，非正常访问的情况依然存在，则直接禁止该账号通过该ip使用服务n个小时。所述参数m、n，可定期的通过历史用户日志数据的正负样本集训练或直接统计得出，允许业务人员修改设定。
39.根据单个ip使用账号数量和操作次数确定出来的非正常访问ip，直接禁止该ip使用服务n个小时。所述参数n，可定期的通过历史用户日志数据的正负样本集训练或直接统计得出，允许业务人员修改设定。
40.(3)账号存在非正常访问时，禁止账号使用服务n个小时。所述参数n，可定期的通过历史用户日志数据的正负样本集训练或直接统计得出，允许业务人员修改设定。
41.步骤40记录用户访问日志；
42.记录的用户访问日志内容包括登录令牌、账号、用户ip、操作类型、操作对象、操作时间；其中账号通过登录令牌查询关联关系得到，操作时间取系统时间，登录令牌、用户ip、操作类型、操作对象从接收产品服务端发起的校验用户访问是否正常的请求中获取。
43.步骤50更新三个维度的访问控制列表；
44.首先通过规则算法分析用户访问日志，得出非正常访问的登录令牌并存入登录令牌访问控制列表；然后基于用户ip、账号与令牌的关系，进而根据规则算法分析，得出非正常访问的ip和账号，并存入ip访问控制列表和账号访问控制列表。由于该过程计算较多，系统应通过离线服务计算并更新三个维度的访问控制列表。
45.如图3所示，为更新三个维度的访问控制列表流程图，具体包括：
46.第一步：更新登录令牌访问控制列表。
47.如图4所示，为更新登录令牌访问控制列表流程图，所述方法包括：
48.(1)根据登录令牌和操作类型聚合当日用户访问日志，得到包含登录令牌、操作类型、操作次数、最早操作时间、最晚操作时间、操作频率的当日登录令牌访问统计表。所述操作频率计算公式如下：
[0049][0050]
其中，f是登录令牌的操作频率，单位是次/秒；operatetimes是登录令牌当日某操作的操作次数；maxtime是登录令牌当日最晚操作时间；mintime是登录令牌当日最早操作时间。
[0051]
(2)根据操作频率筛选存在非正常访问的登录令牌。设定n组阈值，每组阈值包含操作m次且平均时间间隔最大t秒，阈值要定期的通过历史用户日志数据的正负样本集训练或直接统计得出并允许业务人员修改设定；分析当日登录令牌访问统计表，做出n组计算，将达到每组阈值的登录令牌和非正常访问的异常信息代码保存到非正常访问登录令牌临时列表中。
[0052]
(3)根据操作次数筛选存在非正常访问的登录令牌。设定一个阈值，代表登录令牌当日最大操作次数，可定期的通过历史用户日志数据的正负样本集训练或直接统计得出并允许业务人员修改设定；分析当日登录令牌访问统计表，将达到阈值的登录令牌和非正常访问的异常信息代码保存到非正常访问登录令牌临时列表中。
[0053]
(4)根据登录令牌对以上临时列表进行排重后，更新登录令牌访问控制列表。排重时，针对多条登录令牌的数据，保留操作次数最多的记录。
[0054]
第二步：更新ip访问控制列表。
[0055]
如图5所示，为更新ip访问控制列表流程图，所述方法包括：
[0056]
(1)根据非正常访问登录令牌临时列表对当日用户访问日志进行过滤，得到用户非正常访问日志数据。
[0057]
(2)对用户非正常访问日志数据进行统计分析，获得包含ip、账号、操作类型、非正常访问登录令牌数量、总操作次数、平均操作次数、最早操作时间、最晚操作时间、最高操作频率、平均操作频率的当日ip非正常访问统计表。
[0058]
(3)根据非正常访问登录令牌数量筛选确定非正常访问的ip和账号。首先，设定一个阈值，代表允许一个账号使用单个ip产生的最大非正常访问令牌数量，可定期的通过历史用户日志数据的正负样本集训练或直接统计得出并允许业务人员修改设定。其次，分析当日ip非正常访问统计表，将达到阈值的ip、账号和非正常访问的异常信息代码保存到当日非正常访问ip临时列表中。
[0059]
(4)分析每次操作都重新登录的情况，筛选确定非正常访问的ip和账号。该步骤可以弥补通过登录令牌分析无法有限涵盖每次操作都重新登录的不足。首先，统计当日用户访问日志，得到包含ip、账号、p1、p2的列表；其中p1指登录令牌仅操作1次的数量；p2指登录令牌仅操作1次的情况占比，等于p1除以该账号使用ip的总操作次数。其次，设定一组阈值，即p1和p2的最大值，可定期的通过历史用户日志数据的正负样本集训练或直接统计得出并允许业务人员修改设定。最后，分析列表，将达到阈值的ip、账号和非正常访问的异常信息代码保存到当日非正常访问ip临时列表中。
[0060]
(5)根据单个ip使用账号数量和操作次数确定非正常访问的ip。该步骤可以针对通过若干ip使用账号列表进行非正常访问的情况进行加强防御。首先，统计当日用户访问日志，得到ip、账号数量、操作次数的列表。其次，设定一组阈值，即单个ip最大使用账号数量m和单个账号使用单个ip当日最大操作次数n，m、n可定期的通过历史用户日志数据的正负样本集训练或直接统计得出并允许业务人员修改设定。最后，分析列表，将达到阈值的ip和非正常访问的异常信息代码保存到当日非正常访问ip临时列表中。
[0061]
(6)若ip和账号存在非正常访问情况时，通过手机短信或邮箱通知相关人员；所述相关人员是通过系统配置的和账号相关的业务人员或客户联系人。
[0062]
(7)系统设立ip白名单，白名单中的ip不受ip访问控制列表的限制，由业务人员根据业务需要进行管理。本过程主要内容是转移已经过期的ip白名单记录到历史记录中。
[0063]
(8)根据当日非正常访问ip临时列表进行排重后更新ip访问控制列表。排重时，针对多ip、账号的数据，保留操作次数最多的记录。
[0064]
第三步：更新账号访问控制列表。
[0065]
如图6所示，为更新账号访问控制列表流程图，所述方法包括：
[0066]
(1)根据登录令牌访问控制列表和ip访问控制列表，统计分析出包含账号、非正常访问ip数量、非正常访问登录令牌数量、非正常访问操作次数、最早非正常访问操作时间、最晚非正常访问操作时间、最高非正常访问操作频率、平均非正常访问操作频率的当日账号非正常访问统计表。
[0067]
(2)设定一组阈值，即允许账号最大非正常访问ip个数m以及允许账号最大非正常访问登录令牌个数n，m、n可定期的通过历史用户日志数据的正负样本集训练或直接统计得出并允许业务人员修改设定。
[0068]
(3)分析当日账号非正常访问统计表，筛选出达到阈值的账号和非正常访问的异常信息代码更新到账号访问控制列表中。
[0069]
(4)若账号存在非正常访问情况时，通过手机短信或邮箱通知相关人员；所述相关人员是通过系统配置的和账号相关的业务人员或客户联系人。
[0070]
(5)系统设立账号白名单，白名单中的账号不受账号访问控制列表的限制，由业务人员根据业务需要进行管理。本过程主要内容是转移已经过期的账号白名单记录到历史记录中。
[0071]
步骤60返回产品服务请求处理结果；
[0072]
返回产品服务请求的处理结果包含是否存在非正常使用以及非正常使用的信息代码；所述信息代码是将所有非正常使用情况穷举后进行的编码。
[0073]
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。