一种连续时间约束下的独立用户数量计算方法及装置与流程

本发明属于大数据处理领域，尤其涉及一种连续时间约束下的独立用户数量计算方法及装置。

背景技术：

1、在大数据的背景下，客户资源有时被恶意访问，流量被盗刷。为了防止资源被恶意访问，流量被盗刷，需要满足客户时间戳防盗链需求，而这样的需求需要支持高qps的内存数据库作为临时存储的中间件，数据处理存在高并发的竞争关系。现有技术中，如何防止客户资源被而已访问和流量被盗刷是当前亟待解决的技术问题。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种连续时间约束下的独立用户数量计算方法及装置，防止客户的资源被恶意访问，以及流量被盗刷。

2、本发明的第一方面，提出了一种连续时间约束下的独立用户数量计算方法，包括：

3、采集日志数据，将需要进行防盗链赋能的日志发送到内容分发网络cdn的数据处理中心队列；

4、所述数据处理中心对客户互联网协议ip信息进行分析，将需要上报的记录发送到上报队列；

5、数据上报程序将所述上报队列上报到控制台；

6、所述控制台对上报的记录进行解析，对白名单列表进行业务解析，对于非白名单内的ip信息进行封禁。

7、进一步地，采集日志数据包括：

8、日志采集器采集边缘日志文件，并将日志数据按照生成时间的先后顺序，封装为一个超文本传输协议http请求，发送到所配置的边缘日志接入集群的负载均衡器。

9、进一步地，将需要进行防盗链赋能的日志发送到cdn的数据处理中心队列包括：

10、由所述处理中心的分流程序将需要进行防盗链赋能的日志发送到cdn数据处理中心队列，若发送失败并按照预定策略重试直到发送成功。

11、进一步地，数据处理中心对客户互联网协议ip信息进行分析包括：

12、对统一资源定位url进行拆分，分为用户认证标识和客户唯一标识；

13、根据拆分的维度统计客户ip和业务时间拼接的数量；

14、对拆分纬度根据md5运算为32位的字符串，作为一组关键字储存值存储到数据库redis，在存储时进行上锁的操作，当获取锁时，从数据库中查询是否存在相同的关键字；

15、若不存在该关键字，则将这个关键字对应的值进行数据解析转换，将聚合纬度组成这条记录的关键字，将客户ip和业务时间拼接组装成一个对象集合，对该集合进行排序和截取，当该集合的大小大于预定长度时只截取预定长度存入数据库，否则将整个集合存入数据库；

16、若存在该关键字，则取出该关键字对应的值，将聚合纬度组成这条记录的关键字，将客户ip和业务时间拼接组装成一个对象集合，与数据库中的集合进行并集，并进行排序和截取，当该集合的大小大于预定长度时只截取预定长度存入数据库，否则将整个集合存入数据库；

17、其中聚合维度包括以下之一或者组合：ip地址，端口，资源地址，

18、用户认证信息和限制次数。

19、进一步的，还包括：当白名单集合长度大于或者等于预定长度时，则将数据发送到上报库的消息队列中，并且保存至数据库，如果白名单集合长度小于预定长度时，只保存到数据库。

20、进一步的，数据上报程序将所述上报队列上报到控制台包括：

21、数据上报程序订阅上报队列，将统计分析程序上报的记录打包成http请求，往控制台进行上报；

22、其中当满足批次大小条件或者间隔时间条件时，触发打包发送请求。

23、进一步的，控制台对上报的记录进行解析，对白名单列表进行业务解析，对于非白名单内的ip信息进行封禁包括：

24、控制台收到所述上报程序打包的上报记录时，对所述上报记录进行解析，对白名单列表进行业务解析，对于网关进行白名单登记，其中封禁时长由上报记录中的过期时间戳expirets决定；

25、对不在白名单列表中的记录给予请求拒绝。

26、本发明的第二方面，提出了一种连续时间约束下的独立用户数量计算装置，包括：

27、日志模块，被配置用于采集日志数据，将需要进行防盗链赋能的日志发送到内容分发网络cdn的数据处理中心队列；

28、数据处理中心，被配置用于对客户互联网协议ip信息进行分析，将需要上报的记录发送到上报队列；

29、上报模块，被配置用于将所述上报队列上报到控制台；

30、控制台，被配置用于对上报的记录进行解析，对白名单列表进行业务解析，对于网关进行白名单登记。

31、第三方面，本申请实施例还提供一种连续时间约束下的独立用户数量计算装置，包括：存储器、处理器和用户接口；

32、所述存储器，用于存储计算机程序；

33、所述用户接口，用于与用户实现交互；

34、所述处理器，用于读取所述存储器中的计算机程序，所述处理器执行所述计算机程序时，实现本发明提供的连续时间约束下的独立用户数量计算方法。

35、第四方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现本发明提供的连续时间约束下的独立用户数量计算方法。

36、本发明有益效果如下：

37、本发明所述的方法和装置，通过使用高可用的大数据分析组件,保证数据采集的稳定性和性能，提升数据的消费能力，防止数据的积压。

技术特征：

1.一种连续时间约束下的独立用户数量计算方法，其特征在于，包括：

2.根据权利要求1所述的一种连续时间约束下的独立用户数量计算方法，其特征在于，所述采集日志数据包括：

3.根据权利要求1所述的一种连续时间约束下的独立用户数量计算方法，其特征在于，所述将需要进行防盗链赋能的日志发送到cdn的数据处理中心队列包括：

4.根据权利要求1所述的一种连续时间约束下的独立用户数量计算方法，其特征在于，所述数据处理中心对客户互联网协议ip信息进行分析包括：

5.根据权利要求4所述的一种连续时间约束下的独立用户数量计算方法，其特征在于，还包括：

6.根据权利要求1所述的一种连续时间约束下的独立用户数量计算方法，其特征在于，所述数据上报程序将所述上报队列上报到控制台包括：

7.根据权利要求6所述的一种连续时间约束下的独立用户数量计算方法，其特征在于，所述控制台对上报的记录进行解析，对白名单列表进行业务解析，对于非白名单内的ip信息进行封禁包括：

8.一种连续时间约束下的独立用户数量计算装置，其特征在于，所述装置包括：

9.一种连续时间约束下的独立用户数量计算装置，其特征在于，包括存储器、处理器和用户接口；

10.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7之一所述的连续时间约束下的独立用户数量计算方法。

技术总结
本发明涉及一种连续时间约束下的独立用户数量计算方法及装置，属于大数据技术领域，该方法包括：将需要进行防盗链赋能的日志发送到内容分发网络CDN的数据处理中心队列，数据处理中心对客户互联网协议IP信息进行分析，将需要上报的记录发送到上报队列，数据上报程序将上报队列上报到控制台，控制台对上报的记录进行解析，对白名单列表进行业务解析，对于非白名单内的IP信息进行封禁。本发明还提供了连续时间约束下的独立用户数量计算装置和存储介质。

技术研发人员：谢德梓,陈伟松,郑飞虎
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/4/17