一种数据处理方法、装置、电子设备和存储介质与流程

本发明涉及数据处理，具体涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术：

1、随着云技术的快速发展，各类服务常常运用云端技术进行数据的存储、计算、读取等。例如，针对于设备的数据上报，云端服务器中常常运行多种不同的统计服务以满足各项需求。

2、目前，在各类服务在获取自己需要的数据时采取的主要方法是，通过懒加载的方式，在需要进行数据拉取的时候在进行相应的计算统计。但采用这种方案，会给云端服务接口增添负担，在高并发的换环境下，大规模、跨度大的统计要求更有可能导致接口响应过慢等接口问题。

技术实现思路

1、本发明实施例提供一种数据处理方法、装置、电子设备和存储介质，可以减少降低云端服务接口的响应时间，缓解数据计算压力，提升数据调用方的调用效率，改善数据调用体验。

2、本发明实施例提供一种数据处理方法，包括：

3、通过消息队列获取业务上报数据，将所述业务上报数据存储到预设的缓存中；

4、基于所述业务上报数据，向所述消息队列推送临时存储数据；

5、当接收到所述业务上报数据对应的数据读取请求时，从所述消息队列中读取所述临时存储数据；

6、根据所述数据读取请求对应的目标统计处理服务，对所述临时存储数据进行统计处理，得到目标读取数据；

7、将所述目标读取数据存储到预设的业务数据库中。

8、相应的，本发明实施例提供一种数据处理装置，包括：

9、数据缓存单元，用于通过消息队列获取业务上报数据，将所述业务上报数据存储到预设的缓存中；

10、数据推送单元，用于基于所述业务上报数据，向所述消息队列推送临时存储数据；

11、数据读取单元，用于当接收到所述业务上报数据对应的数据读取请求时，从所述消息队列中读取所述临时存储数据；

12、统计处理单元，用于根据所述数据读取请求对应的目标统计处理服务，对所述临时存储数据进行统计处理，得到目标读取数据；

13、数据存储单元，用于将所述目标读取数据存储到预设的业务数据库中。

14、在一些可选的实施例中，所述业务数据库设置有至少一个数据存储模块，不同的数据存储模块中存储的数据所对应的数据属性信息不同；

15、所述数据存储单元，用于获取所述目标读取数据的目标数据属性信息；

16、根据所述目标数据属性信息，将所述目标读取数据存储到所述业务数据库中所述数据属性信息与所述目标数据属性信息相同的目标数据存储模块。

17、在一些可选的实施例中，本发明实施例提供的数据处理装置还包括数据调用单元，用于接收数据调用请求，所述数据调用请求包括要调用的数据的参考数据属性信息；

18、根据所述参考数据属性信息，在所述业务数据库中对所述目标读取数据进行检索，得到目标调用数据；

19、向发送所述数据调用请求的调用设备发送所述目标调用数据。

20、在一些可选的实施例中，所述数据调用单元，用于向转发所述数据调用请求的数据调用接口发送所述目标调用数据，通过所述数据调用接口对所述目标调用数据进行封装，得到封装后调用数据；

21、通过所述数据调用接口将所述封装后调用数据发送给所述数据调用请求的调用设备。

22、在一些可选的实施例中，所述缓存设置有至少一个数据缓存模块，不同的数据缓存模块中存储的数据所对应的数据属性信息不同；

23、所述数据缓存单元，用于获取所述目标读取数据的目标数据属性信息；

24、根据所述目标数据属性信息，将所述目标读取数据存储到预设的缓存中所述数据属性信息与所述目标数据属性信息相同的目标数据缓存模块。

25、在一些可选的实施例中，所述数据推送单元，用于基于所述业务上报数据，确定数据推送时间；

26、在当前时间满足所述数据推送时间时，向所述消息队列推送临时存储数据。

27、在一些可选的实施例中，所述数据推送单元，用于对所述缓存中的所述业务上报数据进行初始数据处理，得到临时存储数据；

28、向所述消息队列推送所述临时存储数据。

29、相应的，本发明实施例还提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行本发明实施例所提供的任一种数据处理方法中的步骤。

30、相应的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种数据处理方法中的步骤。

31、此外，本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本发明实施例所提供的任一种数据处理方法中的步骤。

32、采用本发明实施例的方案，可以通过消息队列获取业务上报数据，将所述业务上报数据存储到预设的缓存中，基于所述业务上报数据，向所述消息队列推送临时存储数据，当接收到所述业务上报数据对应的数据读取请求时，从所述消息队列中读取所述临时存储数据，根据所述数据读取请求对应的目标统计处理服务，对所述临时存储数据进行统计处理，得到目标读取数据，将所述目标读取数据存储到预设的业务数据库中；由于在本发明实施例中，对上报的数据进行缓存处理，并通过消息推送的方式将数据推送到相应的数据库中，同时在推送之前预先针对数据进行处理，无需在调用数据时通过接口实时对数据进行处理，因此，可以减少降低云端服务接口的响应时间，缓解数据计算压力，提升数据调用方的调用效率，改善数据调用体验。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的一种数据处理方法，其特征在于，所述业务数据库设置有至少一个数据存储模块，不同的数据存储模块中存储的数据所对应的数据属性信息不同；

3.根据权利要求2所述的一种数据处理方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的一种数据处理方法，其特征在于，所述向发送所述数据调用请求的调用设备发送所述目标调用数据，包括：

5.根据权利要求1所述的一种数据处理方法，其特征在于，所述缓存设置有至少一个数据缓存模块，不同的数据缓存模块中存储的数据所对应的数据属性信息不同；

6.根据权利要求1所述的一种数据处理方法，其特征在于，所述基于所述业务上报数据，向所述消息队列推送临时存储数据，包括：

7.根据权利要求1所述的一种数据处理方法，其特征在于，所述基于所述业务上报数据，向所述消息队列推送临时存储数据，包括：

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至7任一项所述的数据处理方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的数据处理方法中的步骤。

技术总结
本发明实施例公开了一种数据处理方法、装置、电子设备和存储介质；在本发明实施例中，可以通过消息队列获取业务上报数据，将所述业务上报数据存储到预设的缓存中，基于所述业务上报数据，向所述消息队列推送临时存储数据，当接收到所述业务上报数据对应的数据读取请求时，从所述消息队列中读取所述临时存储数据，根据所述数据读取请求对应的目标统计处理服务，对所述临时存储数据进行统计处理，得到目标读取数据，将所述目标读取数据存储到预设的业务数据库中；通过本发明实施例可以无需在调用数据时通过接口实时对数据进行处理，减少降低云端服务接口的响应时间，缓解数据计算压力，提升数据调用方的调用效率，改善数据调用体验。

技术研发人员：请求不公布姓名
受保护的技术使用者：深圳TCL新技术有限公司
技术研发日：
技术公布日：2024/1/22