一种远程数据同步的方法和装置与流程

文档序号:12666850阅读:来源:国知局

技术特征:

1.一种远程数据同步方法,其特征在于,包括:

服务器获取日志文件中的M条数据记录;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;其中,所述M为大于等于2的整数;

所述服务器根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;

所述服务器针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录;其中,所述N为大于等于2、且小于等于M的整数;

所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端;其中,所述K为大于等于1、且小于等于M的整数。

2.如权利要求1所述的方法,其特征在于,所述从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录,包括:

从所述M条数据记录中,将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。

3.如权利要求1所述的方法,其特征在于,所述服务器获取日志文件中的M条数据记录,包括:

所述服务器获取事件流格式的日志文件;

所述服务器解析所述事件流格式的日志文件,得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。

4.如权利要求2所述的方法,其特征在于,所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端,包括:

通过L个调度进程将所述K条数据记录中转换成L个工作对象流;其中,所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;

所述服务器将转换得到的L个工作对象流发送给所述终端。

5.如权利要求4所述的方法,其特征在于,所述服务器将转换得到的L个工作对象流发送给所述终端,包括:

所述服务器对得到的L个工作对象流中的每个工作对象流进行序列化;

所述服务器对序列化后的每个工作对象流进行压缩和加密,将得到的压缩和加密之后的每个工作对象流发送给所述终端。

6.一种远程数据同步方法,其特征在于,包括:

终端接收服务器发送的所述M条数据记录中的K条数据记录;其中,所述K为大于等于1、且小于等于M的整数;所述M为大于等于2的整数;

所述终端将所述K条数据记录发送至数据库;

其中,所述K条数据记录是所述服务器获取日志文件中的M条数据记录;根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;所述N为大于等于2、且小于等于M的整数。

7.如权利要求6所述的方法,其特征在于,所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录,包括:

所述终端接收所述服务器发送的序列化、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流;其中,所述L个工作对象流为所述K条数据记录通过L个调度进程转换得到的;所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;

所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录之后,将所述K条数据记录发送至数据库之前,还包括:

所述终端将所述每个工作对象流进行解密和解压缩,并对所述解密和解压缩后的每个工作对象流进行反序列化,得到K条数据记录。

8.如权利要求7所述的方法,其特征在于,所述终端将所述K条数据记录发送至数据库,包括:

所述终端通过N个线程将所述K条数据记录中并行发送至所述数据库;

其中,所述N个线程中的每个线程对应发送所述K条数据记录中的至少一条数据记录;其中,所述N为大于等于1的整数。

9.一种用于远程数据同步的服务器,其特征在于,包括:

获取单元,用于获取日志文件中的M条数据记录;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;其中,所述M为大于等于2的整数;

处理单元,用于根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录;其中,所述N为大于等于2、且小于等于M的整数;

发送单元,用于所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端;其中,所述K为大于等于1、且小于等于M的整数。

10.如权利要求9所述的服务器,其特征在于,所述处理单元,用于:

从所述M条数据记录中,将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。

11.如权利要求9所述的服务器,其特征在于,所述获取单元,用于:

获取事件流格式的日志文件;

所述处理单元,用于:

解析所述事件流格式的日志文件,得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。

12.如权利要求10所述的服务器,其特征在于,所述处理单元,用于:

通过L个调度进程将所述K条数据记录中转换成L个工作对象流;其中,所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;

发送单元,用于:

将转换得到的L个工作对象流发送给所述终端。

13.如权利要求12所述的服务器,其特征在于,所述处理单元,用于:

对得到的L个工作对象流中的每个工作对象流进行序列化;对序列化后的每个工作对象流进行压缩和加密;

所述发送单元,用于:

将得到的压缩和加密之后的每个工作对象流发送给所述终端。

14.一种用于远程数据同步的终端,其特征在于,包括:

接收单元,用于接收服务器发送的所述M条数据记录中的K条数据记录;其中,所述K为大于等于1、且小于等于M的整数;所述M为大于等于2的整数;

发送单元,用于将所述K条数据记录发送至数据库;

其中,所述K条数据记录是所述服务器获取日志文件中的M条数据记录;根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;所述N为大于等于2、且小于等于M的整数。

15.如权利要求14所述的终端,其特征在于,所述接收单元,用于:

接收所述服务器发送的序列化、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流;其中,所述L个工作对象流为所述K条数据记录通过L个调度进程转换得到的;所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;

所述终端还包括处理单元,用于:

将所述每个工作对象流进行解密和解压缩,并对所述解密和解压缩后的每个工作对象流进行反序列化,得到K条数据记录。

16.如权利要求15所述的终端,其特征在于,所述终端将所述K条数据记录发送至数据库,包括:

所述发送单元,用于通过N个线程将所述K条数据记录中并行发送至所述数据库;

其中,所述N个线程中的每个线程对应发送所述K条数据记录中的至少一条数据记录;其中,所述N为大于等于1的整数。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1