数据处理方法、装置、电子设备及存储介质与流程

本申请涉及物联网数据分析，具体涉及数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着科学技术的发展，各种电子设备的应用越来越广泛，对于电子设备的数据分析处理需求也越来越多。例如，针对空调、冰箱等物联网设备，通过对设备上报的消息进行数据分析、数据统计等处理可以确定电子设备的耗电量等信息，从而为用户更好地展示电子设备的实际运行情况。

2、目前，针对物联网设备上报的大量消息，通常通过多个处理进程直接进行并行处理，从而根据消息处理获得的数据进行统计分析。但直接使用并行处理的方式时可能会出现同一消息被不同处理进程处理的情况(即重复处理)，不利于提高数据处理的效率。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、电子设备及存储介质，用于解决直接使用多个处理进程对物联网消息进行并行处理的方案中容易出现消息重复处理，不利于提高数据处理效率的技术问题，有利于提高数据处理的效率。

2、本申请实施例第一方面提供一种数据处理方法，上述方法包括：

3、从目标设备的运行情况消息队列拉取待处理的运行情况消息；

4、确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程；

5、通过上述目标进程，从上述待处理的运行情况消息中确定目标消息；

6、通过上述目标进程处理上述目标消息以得到上述目标设备的运行情况数据，释放上述分布式锁；

7、返回执行上述确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程的步骤。本申请实施例第二方面提供一种数据处理装置，上述装置包括：

8、消息获取模块，用于从目标设备的运行情况消息队列拉取待处理的运行情况消息；

9、目标进程确定模块，用于确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程；

10、目标消息确定模块，用于通过上述目标进程，从上述待处理的运行情况消息中确定目标消息；

11、消息处理模块，用于通过上述目标进程处理上述目标消息以得到上述目标设备的运行情况数据，释放上述分布式锁；

12、进程控制模块，用于返回触发上述目标进程确定模块确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程。

13、在一些可选的实施例中，上述消息处理模块具体用于：

14、通过上述目标进程根据上述目标消息的消息采集时间，以及已被处理过的运行情况消息的消息采集时间，确定上述目标消息是否为待处理消息；

15、若上述目标消息为待处理消息，则通过上述目标进程处理上述目标消息以得到上述目标设备的运行情况数据。

16、在一些可选的实施例中，上述消息处理模块还具体用于：

17、通过上述目标进程对上述目标消息的消息采集时间和已被处理过的运行情况消息的消息采集时间进行比较；

18、若上述目标消息的消息采集时间晚于所有已被处理过的运行情况消息的消息采集时间，则确定上述目标消息为待处理消息。

19、在一些可选的实施例中，上述消息处理模块还具体用于：

20、通过上述目标进程获取当前时间，以及所有已被处理过的运行情况消息的消息处理时间；

21、通过上述目标进程对上述目标消息的消息采集时间和已被处理过的运行情况消息的消息采集时间进行比较；

22、通过上述目标进程对上述当前时间和已被处理过的运行情况消息的消息处理时间进行比较；

23、若上述目标消息的消息采集时间晚于所有已被处理过的运行情况消息的消息采集时间，且上述当前时间晚于所有已被处理过的运行情况消息的消息处理时间，则确定上述目标消息为待处理消息。

24、在一些可选的实施例中，上述装置还包括：

25、数据存储模块，用于将上述运行情况数据以及上述运行情况数据对应的消息采集时间存入上述目标设备对应的目标数据库，其中，上述已被处理过的运行情况消息的消息采集时间包括上述目标数据库中存储的所有消息采集时间。

26、在一些可选的实施例中，上述装置还包括：

27、数据统计模块，用于若检测到数据统计事件被触发，则根据上述运行情况数据对上述目标设备进行运行情况统计。

28、在一些可选的实施例中，上述数据统计模块具体用于：

29、检测到上述数据统计事件被触发时，根据上述数据统计事件确定数据统计时间范围；

30、根据上述数据统计时间范围和上述目标数据库中各上述运行情况数据对应的消息采集时间，从上述目标数据库中确定目标运行情况数据；

31、根据上述目标运行情况数据及其对应的消息采集时间，生成上述目标设备在上述数据统计时间范围内的运行情况统计图表。

32、本申请实施例第三方面提供一种电子设备，包括存储器和处理器，上述存储器存储有多条指令；上述处理器从上述存储器中加载指令，以执行本申请实施例第一方面提供的数据处理方法中的步骤。

33、本申请实施例第四方面提供一种计算机可读存储介质，上述计算机可读存储介质存储有多条指令，上述指令适于处理器进行加载，以执行本申请实施例第一方面提供的数据处理方法中的步骤。

34、采用本申请实施例的方案，可以从目标设备的运行情况消息队列拉取待处理的运行情况消息；确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程；通过上述目标进程，从上述待处理的运行情况消息中确定目标消息；通过上述目标进程处理上述目标消息以得到上述目标设备的运行情况数据，释放上述分布式锁；返回执行上述确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程的步骤。

35、由于在本申请实施例中，在数据处理过程中，并不是由多个处理进程直接对消息进行并行处理，而是基于分布式锁，由多个处理进程中抢占到分布式锁的目标进程处理未被处理过的运行情况消息，能够避免同一运行情况消息被不同的处理进程处理，从而避免消息的重复处理，有利于提高数据处理效率。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述通过所述目标进程处理所述目标消息以得到所述目标设备的运行情况数据，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述通过所述目标进程根据所述目标消息的消息采集时间，以及已被处理过的运行情况消息的消息采集时间，确定所述目标消息是否为待处理消息，包括：

4.根据权利要求2所述的数据处理方法，其特征在于，所述通过所述目标进程根据所述目标消息的消息采集时间，以及已被处理过的运行情况消息的消息采集时间，确定所述目标消息是否为待处理消息，包括：

5.根据权利要求2所述的数据处理方法，其特征在于，在通过所述目标进程处理所述目标消息以得到所述目标设备的运行情况数据之后，所述方法还包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的数据处理方法，其特征在于，所述若检测到数据统计事件被触发，则根据所述运行情况数据对所述目标设备进行运行情况统计，包括：

8.一种数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至7任一项所述的数据处理方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的数据处理方法中的步骤。

技术总结
本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质。方法包括：从目标设备的运行情况消息队列拉取待处理的运行情况消息；确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程；通过上述目标进程，从上述待处理的运行情况消息中确定目标消息；通过上述目标进程处理上述目标消息以得到上述目标设备的运行情况数据，释放上述分布式锁；返回执行上述确定处理上述目标设备的运行情况消息的多个处理进程中抢占到分布式锁的目标进程的步骤。如此，基于分布式锁，由抢占到分布式锁的目标进程处理未被处理过的运行情况消息，避免同一消息被不同的处理进程处理，从而避免消息的重复处理，有利于提高数据处理效率。

技术研发人员：请求不公布姓名
受保护的技术使用者：深圳TCL新技术有限公司
技术研发日：
技术公布日：2024/4/17