一种数据处理方法和设备与流程

文档序号:12363910阅读:来源:国知局

技术特征:

1.一种数据处理方法,其特征在于,应用于包括数据持久化设备和多个通道处理设备的系统中,所述多个通道处理设备之间相互独立,该方法包括:

通道处理设备接收数据持久化设备转发的待处理的数据,其中每条数据都设置有时间点位;

所述通道处理设备处理所述数据,并记录处理完成的数据的时间点位;

当达到预设上报条件时,所述通道处理设备向所述数据持久化设备上报所处理的数据的时间点位。

2.如权利要求1所述的方法,其特征在于,所述当达到预设上报条件时,所述通道处理设备向所述数据持久化设备上报所处理的数据的时间点位,具体包括:

所述通道处理设备设置定时器;

当所述定时器超时时,所述通道处理设备获取在当前时间之前的预定时间长度内所处理的数据的时间点位;

所述通道处理设备确定获取的时间点位中时间最早的时间点位;

所述通道处理设备向所述数据持久化设备上报所述时间最早的时间点位;或

所述通道处理设备统计处理的数据;

当处理的数据的数据量超过阈值时,所述通道处理设备获取在当前时间之前的预定时间长度内所处理的数据的时间点位;

所述通道处理设备确定获取的时间点位中时间最早的时间点位;

所述通道处理设备向所述数据持久化设备上报所述时间最早的时间点位。

3.一种数据处理方法,其特征在于,应用于包括数据持久化设备和多个通道处理设备的系统中,该方法包括:

数据持久化设备接收待处理的数据,并将所述数据发送给通道处理设备, 其中,每条数据都设置有时间点位;

所述数据持久化设备接收所述通道处理设备返回的时间点位;

所述数据持久化设备确定返回的时间点位中时间最早的时间点位,并将时间最早的时间点位持久化到数据库中。

4.如权利要求1所述的方法,其特征在于,所述数据持久化设备接收待处理的数据,并将所述数据发送给通道处理设备,具体包括:

所述数据持久化设备接收待处理的数据,并对所述数据进行hash计算,以确定每条数据所对应的通道处理设备;

所述数据持久化设备基于hash计算的结果将所述数据分配到对应的通道处理设备。

5.如权利要求1所述的方法,其特征在于,所述数据持久化设备确定返回的时间点位中时间最早的时间点位,并将时间最早的时间点位持久化到数据库中,具体包括:

所述数据持久化设备确定接收到的时间点位所对应的时间;

所述数据持久化设备获取所述时间中最早的时间,并确定所述最早的时间所对应的时间点;

所述数据持久化设备将所述最早的时间所对应的时间点位存储到数据库中。

6.一种通道处理设备,其特征在于,包括:

接收模块,用于接收数据持久化设备转发的待处理的数据,其中每条数据都设置有时间点位;

处理模块,用于处理所述数据,并记录处理完成的数据的时间点位;

上报模块,用于当达到预设上报条件时,向所述数据持久化设备上报所处理的数据的时间点位。

7.如权利要求6所述的设备,其特征在于,所述上报模块,具体用于:

设备设置定时器;

当所述定时器超时时,获取在当前时间之前的预定时间长度内所处理的数据的时间点位;

确定获取的时间点位中时间最早的时间点位;

向所述数据持久化设备上报所述时间最早的时间点位;或

统计处理的数据;

当处理的数据的数据量超过阈值时,获取在当前时间之前的预定时间长度内所处理的数据的时间点位;

确定获取的时间点位中时间最早的时间点位;

向所述数据持久化设备上报所述时间最早的时间点位。

8.一种数据持久化设备,其特征在于,包括:

转发模块,用于接收待处理的数据,并将所述数据发送给通道处理设备,其中,每条数据都设置有时间点位;

接收模块,用于接收所述通道处理设备返回的时间点位;

持久化模块,用于确定返回的时间点位中时间最早的时间点位,并将时间最早的时间点位持久化到数据库中。

9.如权利要求8所述的设备,其特征在于,所述转发模块,具体用于:

接收待处理的数据,并对所述数据进行hash计算,以确定每条数据所对应的通道处理设备;

基于hash计算的结果将所述数据分配到对应的通道处理设备。

10.如权利要求8所述的设备,其特征在于,所述持久化模块,具体用于:

确定接收到的时间点位所对应的时间;

获取所述时间中最早的时间,并确定所述最早的时间所对应的时间点;

将所述最早的时间所对应的时间点位存储到数据库中。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1