数据处理方法、装置、电子设备和计算机可读存储介质与流程

文档序号:25543537发布日期:2021-06-18 20:40

技术特征:

1.一种数据处理方法,其特征在于,包括:

将当前消息写入对应的数据存储表中;

使用一个处理线程或多个处理线程将所述数据存储表中的消息进行处理,并将处理得到的已处理数据存入所述数据存储表中;

通过消费线程按照身份标识的优先级从高到低,从所述数据存储表获取已处理数据;

在所述消费线程读取成功所述已处理数据后,将读取成功的所述已处理数据标记成已消费数据。

2.根据权利要求1所述的数据处理方法,其特征在于,所述将当前消息写入对应的数据存储表中,包括:

根据当前消息的当前消息身份标识确定出所述当前消息所属的第一消息分区;

将所述当前消息身份标识写入第一身份标识表中所述第一消息分区对应的位置;

将所述当前消息写入所述第一消息分区对应的数据存储表中。

3.根据权利要求2所述的数据处理方法,其特征在于,所述使用一个处理线程或多个处理线程将所述数据存储表中的消息进行处理,并将处理得到的已处理数据存入所述数据存储表中,包括:

从所述第一身份标识表中获取待处理身份标识;

根据所述待处理身份标识,确定出所述待处理身份标识对应的第二消息分区;

从所述数据存储表中所述第二消息分区对应的位置中获取所述待处理身份标识对应的待处理消息;

对所述待处理消息按照设定处理逻辑进行处理;

若对所述待处理数据处理成功,则基于所述待处理身份标识对第二身份标识表进行更新,并将所述待处理身份标识对应的已处理数据写入所述第二消息分区对应的数据存储表中。

4.根据权利要求3所述的数据处理方法,其特征在于,所述通过消费线程按照身份标识的优先级从高到低,从所述数据存储表获取已处理数据,包括:

使用目标消息分区对应的目标消费线程,从所述第二身份标识表中获取所述目标消息分区的当前身份标识;

根据所述当前身份标识从所述数据存储表中的所述目标消息分区对应的位置确定出所述目标消息分区的所有已处理数据;

确定出所述目标消息分区的所有已消费数据;

根据所述目标消息分区的所有已处理数据,确定出所述目标消息分区的所有已处理数据中优先级最高的身份标识;

根据所述目标消息分区的所有已消费数据、所述目标消息分区的当前身份标识以及所述目标消息分区的所有已处理数据中优先级最高的身份标识,确定出所述目标消息分区中的可消费数据;

从所述目标消息分区对应的数据存储表中,按照身份标识的优先级从高到低获取所述可消费数据。

5.根据权利要求3所述的数据处理方法,其特征在于,所述方法还包括:

若对所述待处理数据处理失败,则将所述待处理身份标识写入所述第一身份标识表。

6.根据权利要求3所述的数据处理方法,其特征在于,所述方法还包括:

若一处理线程从所述第一身份标识表中第三消息分区对应的子表中未获取到身份标识,则判断所述第二身份标识表中第三消息分区对应的身份标识中记录的身份标识是否为已处理数据中可消费数据的优先级最低的身份标识;

若所述第二身份标识表中第三消息分区对应的身份标识中记录的身份标识不是已处理数据中可消费数据的最大身份标识,则将所述第二身份标识表中第三消息分区对应的身份标识更新为所述可消费数据中身份标识优先级最高的身份标识最大身份标识。

7.根据权利要求1所述的数据处理方法,其特征在于,所述在所述消费线程读取成功所述已处理数据后,将读取成功的所述已处理数据标记为已消费数据,包括:

在所述消费线程读取成功所述已处理数据后,根据当前获取的已处理数据的身份标识对第三身份标识表进行更新,所述第三身份标识表中的身份标识对应的数据为已消费数据;

将所述第三身份标识表中记录的身份标识对应的已消费数据从所述数据存储表中删除。

8.一种数据处理装置,其特征在于,包括:

第一写入模块,用于将当前消息写入对应的数据存储表中;

处理模块,用于使用一个处理线程或多个处理线程将所述数据存储表中的消息进行处理,并将处理得到的已处理数据存入所述数据存储表中;

获取模块,用于通过消费线程按照身份标识的优先级从高到低,从所述数据存储表获取已处理数据;

标记模块,用于在所述消费线程读取成功所述已处理数据后,将读取成功的所述已处理数据标记成已消费数据。

9.一种电子设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。


技术总结
本申请提供了一种数据处理方法、装置、电子设备和计算机可读存储介质,其中,该方法包括:将当前消息写入对应的数据存储表中;使用一个处理线程或多个处理线程将该数据存储表中的消息进行处理;通过消费线程按照身份标识的优先级从高到低,从该数据存储表获取已处理数据;在该消费线程读取成功该已处理数据后,将读取成功的该已处理数据标记成已消费数据。能够在保持数据的顺序消费的情况下,还能够提高数据处理效率。

技术研发人员:陈佛林;高斌
受保护的技术使用者:成都新希望金融信息有限公司
技术研发日:2021.05.08
技术公布日:2021.06.18
再多了解一些
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1