1.一种远程数据同步方法,其特征在于,包括:
服务器获取日志文件中的M条数据记录;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;其中,所述M为大于等于2的整数;
所述服务器根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;
所述服务器针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录;其中,所述N为大于等于2、且小于等于M的整数;
所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端;其中,所述K为大于等于1、且小于等于M的整数。
2.如权利要求1所述的方法,其特征在于,所述从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录,包括:
从所述M条数据记录中,将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。
3.如权利要求1所述的方法,其特征在于,所述服务器获取日志文件中的M条数据记录,包括:
所述服务器获取事件流格式的日志文件;
所述服务器解析所述事件流格式的日志文件,得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。
4.如权利要求2所述的方法,其特征在于,所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端,包括:
通过L个调度进程将所述K条数据记录中转换成L个工作对象流;其中,所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;
所述服务器将转换得到的L个工作对象流发送给所述终端。
5.如权利要求4所述的方法,其特征在于,所述服务器将转换得到的L个工作对象流发送给所述终端,包括:
所述服务器对得到的L个工作对象流中的每个工作对象流进行序列化;
所述服务器对序列化后的每个工作对象流进行压缩和加密,将得到的压缩和加密之后的每个工作对象流发送给所述终端。
6.一种远程数据同步方法,其特征在于,包括:
终端接收服务器发送的所述M条数据记录中的K条数据记录;其中,所述K为大于等于1、且小于等于M的整数;所述M为大于等于2的整数;
所述终端将所述K条数据记录发送至数据库;
其中,所述K条数据记录是所述服务器获取日志文件中的M条数据记录;根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;所述N为大于等于2、且小于等于M的整数。
7.如权利要求6所述的方法,其特征在于,所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录,包括:
所述终端接收所述服务器发送的序列化、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流;其中,所述L个工作对象流为所述K条数据记录通过L个调度进程转换得到的;所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;
所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录之后,将所述K条数据记录发送至数据库之前,还包括:
所述终端将所述每个工作对象流进行解密和解压缩,并对所述解密和解压缩后的每个工作对象流进行反序列化,得到K条数据记录。
8.如权利要求7所述的方法,其特征在于,所述终端将所述K条数据记录发送至数据库,包括:
所述终端通过N个线程将所述K条数据记录中并行发送至所述数据库;
其中,所述N个线程中的每个线程对应发送所述K条数据记录中的至少一条数据记录;其中,所述N为大于等于1的整数。
9.一种用于远程数据同步的服务器,其特征在于,包括:
获取单元,用于获取日志文件中的M条数据记录;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;其中,所述M为大于等于2的整数;
处理单元,用于根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录;其中,所述N为大于等于2、且小于等于M的整数;
发送单元,用于所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端;其中,所述K为大于等于1、且小于等于M的整数。
10.如权利要求9所述的服务器,其特征在于,所述处理单元,用于:
从所述M条数据记录中,将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。
11.如权利要求9所述的服务器,其特征在于,所述获取单元,用于:
获取事件流格式的日志文件;
所述处理单元,用于:
解析所述事件流格式的日志文件,得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。
12.如权利要求10所述的服务器,其特征在于,所述处理单元,用于:
通过L个调度进程将所述K条数据记录中转换成L个工作对象流;其中,所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;
发送单元,用于:
将转换得到的L个工作对象流发送给所述终端。
13.如权利要求12所述的服务器,其特征在于,所述处理单元,用于:
对得到的L个工作对象流中的每个工作对象流进行序列化;对序列化后的每个工作对象流进行压缩和加密;
所述发送单元,用于:
将得到的压缩和加密之后的每个工作对象流发送给所述终端。
14.一种用于远程数据同步的终端,其特征在于,包括:
接收单元,用于接收服务器发送的所述M条数据记录中的K条数据记录;其中,所述K为大于等于1、且小于等于M的整数;所述M为大于等于2的整数;
发送单元,用于将所述K条数据记录发送至数据库;
其中,所述K条数据记录是所述服务器获取日志文件中的M条数据记录;根据所述M条数据记录中每条数据记录中的预设字段对应的信息,确定出所述M条数据记录中每条数据记录的主键;针对所述M条数据记录对应的所有主键中的每个主键,在确定存在N条数据记录的主键为该主键的情况下,从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的;其中,所述M条数据记录中每条数据记录中包括预设字段对应的信息;所述N为大于等于2、且小于等于M的整数。
15.如权利要求14所述的终端,其特征在于,所述接收单元,用于:
接收所述服务器发送的序列化、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流;其中,所述L个工作对象流为所述K条数据记录通过L个调度进程转换得到的;所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录;其中,所述L为大于等于1的整数;
所述终端还包括处理单元,用于:
将所述每个工作对象流进行解密和解压缩,并对所述解密和解压缩后的每个工作对象流进行反序列化,得到K条数据记录。
16.如权利要求15所述的终端,其特征在于,所述终端将所述K条数据记录发送至数据库,包括:
所述发送单元,用于通过N个线程将所述K条数据记录中并行发送至所述数据库;
其中,所述N个线程中的每个线程对应发送所述K条数据记录中的至少一条数据记录;其中,所述N为大于等于1的整数。