数据处理方法、装置、电子设备及存储介质与流程

本公开涉及数据处理，尤其涉及数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着移动互联网的飞速发展，用户的设备上报数据的规模在不断增长。在数据量以pb(petabyte，拍字节)为单位的今天，对云服务厂商提供的设备也有着更高的要求。在高流量的场景下，频繁的网络请求和磁盘读写会占用大量的资源，增加云厂商的设备成本。

2、相关技术，通常采用redis处理高并发场景中无需发起的网络请求，以减少后续磁盘的读写。而redis在面对数据量较大的场景中，会引发系统的不稳定，导致存在维护成本高的问题。

技术实现思路

1、本公开提供了一种数据处理方法、装置、电子设备及存储介质。

2、根据本公开的一方面，提供了一种数据处理方法，所述方法包括：

3、接收到用户请求，所述用户请求携带用户的第一信息；

4、基于本地缓存中预先构建的布隆过滤器和数据分发服务端存储的位图结构数据，确定所述用户的第一信息对应的状态信息；

5、基于所述状态信息对所述用户请求进行过滤处理。

6、根据本公开的另一方面，提供了一种数据处理装置，所述装置包括：

7、请求接收模块，用于接收到用户请求，所述用户请求携带用户的第一信息；

8、状态信息确定模块，用于基于本地缓存中预先构建的布隆过滤器和数据分发服务端存储的位图结构数据，确定所述用户的第一信息对应的状态信息；

9、数据过滤模块，用于基于所述状态信息对所述用户请求进行过滤处理。

10、根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

11、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开的上述方法。

12、本公开实施例提供的数据处理方法、装置、电子设备及存储介质，在接收到用户请求的情况下，可以基于本地缓存中预先构建的布隆过滤器和数据服务端存储的位图结构数据，确定用户请求中用户的第一信息对应的状态信息，并基于该状态信息对用户请求进行过滤处理。这样通过在本地缓存中建立的布隆过滤器对用户请求进行过滤，在出现大规模的数据处理时，可以提高数据处理效率。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述全量数据写入消息队列kafka系统，包括：

4.根据权利要求1所述的方法，其特征在于，所述确定所述用户的第一信息对应的状态信息，包括：

5.根据权利要求4所述的方法，其特征在于，所述状态信息包括认证用户或者未认证用户；所述基于所述状态信息对所述用户请求进行过滤处理，包括：

6.根据权利要求1～5任一所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述布隆过滤器文件包括配置段和数据段，所述数据段包括多个数据位，所述数据位的值通过采用映射函数集合对数据元素集合中的多个数据元素进行映射来确定，所述配置段存储有所述多个数据位的数量和用于确定所述映射函数集合的配置信息。

8.一种数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-7中任一项所述的方法。

技术总结
本公开涉及数据处理方法、装置、电子设备及存储介质，上述方法包括:接收到用户请求，所述用户请求携带用户的第一信息；基于本地缓存中预先构建的布隆过滤器和数据分发服务端存储的位图结构数据，确定所述用户的第一信息对应的状态信息；基于所述状态信息对所述用户请求进行过滤处理。这样通过在本地缓存中建立的布隆过滤器对用户请求进行过滤，在出现大规模的数据处理时，可以提高数据处理效率。

技术研发人员：罗诗菡,王剑,田华
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/1/15