基于数据库为平台的数据同步系统及方法与流程

本发明涉及数据传输技术领域，具体为基于数据库为平台的数据同步系统及方法。

背景技术：

随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术包括：大规模并行处理数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。

随着科技的快速发展，现有的数据同步系统中存在不止一种数据库平台，每个数据库平台中的数据在不断的更新和增加，如果不及时进行数据同步，会产生信息误差，现有的数据同步系统在进行数据同步时，容易产生数据传输错误，使得数据库平台上的信息不一致，为此，我们提出基于数据库为平台的数据同步系统及方法。

技术实现要素：

本发明的目的在于提供基于数据库为平台的数据同步系统及方法，通过设置子服务器、同步文件生产系统、同步文件接收系统和目标服务器，利用同步文件生产系统和同步文件接收系统将子服务器内产生或者改变的数据及时的传递到目标服务器中，以便随时更新目标服务器内的内容。

为实现上述目的，本发明提供如下技术方案：基于数据库为平台的数据同步系统及方法，包括子服务器、同步文件生产系统、同步文件接收系统和目标服务器；

所述子服务器内包括源数据库，且源数据库设置有多组；

所述同步文件生产系统，用于获取所述子服务器内的同步数据，根据所述同步数据生成结构化查询语言sql数据文件；

所述同步文件接收系统，用于接收同步文件生产系统产生的同步数据，并将同步数据传输到目标服务器中，所述同步文件接收系统包括接收单元、审判单元和处理发送单元；

所述目标服务器，用于接收同步文件接收系统内经过处理后的同步数据，并进行存储更新。

优选的，所述同步文件接收系统，还用于对接收的同步数据进行一致性判断。

优选的，所述同步文件接收系统的接收单元，用于接收同步文件生产系统传输的同步数据。

优选的，所述同步文件接收系统的审判单元，用于判断sql数据文件与所述接收单元接收到的sql数据文件是否一致。

优选的，所述处理发送单元，用于将同步数据sql数据文件发送到目标服务器中。

优选的，所述审判单元内设有警告模块。

基于数据库为平台的数据同步系统的方法，步骤如下：

s1、所述子服务器内的多组源数据库中的一组源数据库产生新数据或者数据发生变化时，同步文件生产系统将新的数据进行同步复制；

s2、同步文件生产系统对同步复制的数据对解析，解析结束后对同步复制的数据过滤、映射、转换生成可执行sql数据文件；

s3、将经过转换生成的sql数据文件发送到同步文件接收系统中；

s4、同步文件接收系统内的接收单元接收同步文件生产系统的sql数据文件；

s5、同步文件接收系统内文件接收完成后，审判单元对接收单元接收的sql数据文件进行判断，判断sql数据文件与接收单元接收到的sql数据文件是否一致；

s6、当结果一致时，将该组sql数据文件通过处理发送单元发送到目标服务器内；

s7、当结果不一致时，审判单元的警告模块产生警告信息，并将该警告信息传输回同步文件生产系统，继续执行步骤s1、s2、s3、s4和s5，直到结果一致。

本发明提供了基于数据库为平台的数据同步系统及方法，具备以下有益效果：

（1）本发明通过设置子服务器、同步文件生产系统、同步文件接收系统和目标服务器，利用同步文件生产系统和同步文件接收系统将子服务器内产生或者改变的数据及时的传递到目标服务器中，以便随时更新目标服务器内的内容。

（2）本发明的数据同步系统的方法，通过对接收到的同步数据进行审查对比，当对比校验通过后，如果校验不合格，会重复执行传输步骤，直至对比校验结果通过，从而保证数据的实时更新，也保证更新数据的准确性。

附图说明

图1为本发明的系统结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1：

如图1所示，本发明提供一种技术方案：基于数据库为平台的数据同步系统及方法，包括子服务器、同步文件生产系统、同步文件接收系统和目标服务器；

所述子服务器内包括源数据库，且源数据库设置有多组；

所述同步文件生产系统，用于获取所述子服务器内的同步数据，根据所述同步数据生成结构化查询语言sql数据文件；

所述同步文件接收系统，用于接收同步文件生产系统产生的同步数据，并将同步数据传输到目标服务器中，所述同步文件接收系统包括接收单元、审判单元和处理发送单元；

所述目标服务器，用于接收同步文件接收系统内经过处理后的同步数据，并进行存储更新。

优选的，所述同步文件接收系统，还用于对接收的同步数据进行一致性判断。

优选的，所述同步文件接收系统的接收单元，用于接收同步文件生产系统传输的同步数据。

优选的，所述同步文件接收系统的审判单元，用于判断sql数据文件与所述接收单元接收到的sql数据文件是否一致。

优选的，所述处理发送单元，用于将同步数据sql数据文件发送到目标服务器中。

优选的，所述审判单元内设有警告模块。

本发明通过设置子服务器、同步文件生产系统、同步文件接收系统和目标服务器，利用同步文件生产系统和同步文件接收系统将子服务器内产生或者改变的数据及时的传递到目标服务器中，以便随时更新目标服务器内的内容

实施例2：

s1、同步文件生产系统检测到子服务器内的某个源数据库存入新的数据时，将该组新数据进行同步复制；

s2、同步复制的新数据进入同步文件生产系统后，同步文件生产系统对同步复制的数据对解析，解析结束后对同步复制的同步数据进行过滤、映射、转换，最后生成可执行sql数据文件；

s3、将经过转换生成的sql数据文件发送到同步文件接收系统中；

s4、同步文件接收系统内的接收单元接收同步文件生产系统的sql数据文件；

s5、同步文件接收系统内文件接收完成后，审判单元立即对接收单元接收的sql数据文件进行判断，判断接收的sql数据文件的验证信息与同步文件生产系统内sql数据文件的验证信息是否一致；

s6、当结果一致时，将该组sql数据文件通过处理发送单元发送到目标服务器内；

s7、当结果不一致时，审判单元的警告模块产生警告信息，并将该警告信息传输回同步文件生产系统；

返回步骤s1中，续执行步骤s2、s3、s4和s5，直到验证结果一致。

实施例3：

s1、同步文件生产系统检测到子服务器内的某个源数据库存发生数据更新时，将该组新数据进行同步复制；

s2、同步复制的新数据进入同步文件生产系统后，同步文件生产系统对同步复制的数据对解析，解析结束后对同步复制的同步数据进行过滤、映射、转换，最后生成可执行sql数据文件；

s3、将经过转换生成的sql数据文件发送到同步文件接收系统中；

s4、同步文件接收系统内的接收单元接收同步文件生产系统的sql数据文件；

s5、同步文件接收系统内文件接收完成后，审判单元立即对接收单元接收的sql数据文件进行判断，判断接收的sql数据文件的验证信息与同步文件生产系统内sql数据文件的验证信息是否一致；

s6、当结果一致时，将该组sql数据文件通过处理发送单元发送到目标服务器内；

s7、当结果不一致时，审判单元的警告模块产生警告信息，并将该警告信息传输回同步文件生产系统；

返回步骤s1中，续执行步骤s2、s3、s4和s5，直到验证结果一致。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。