用于数据库的数据集成分发方法和数据集成分发装置的制造方法
【技术领域】
[0001]本发明属于计算机通信领域，具体涉及一种用于数据库的数据集成分发方法和数据集成分发装置。
【背景技术】
[0002]随着国家经济技术的发展和人们生活水平的提高，通过数据的共享、利用数据库的数据集成和分发技术已经应用到信息与通信领域的各个方面，成为了人们日常生活中必不可少的部分。
[0003]目前，现有的在各行业内的应用计算机系统拥有多种数据源，数据源的分布位于不同应用环境且彼此独立运行，数据源采用的数据库软件基础平台也各式各样，既有应用于结构化的数据库，也有应用于非结构化数据GIS信息的数据库，还有应用于MPP并行调度任务的分布式数据库;这些数据源在生产运行过程中会产生各种数据集成与分发需求，有的需求需要跨多个数据源之间进行数据归集、汇总、复杂查询等。
[0004]在计算机技术还没有高度发展时，一般采用人工的方法进行数据的分发:使用人将需要分发的数据在数据源计算机中的数据库进行查询、复制和导出，然后采用移动存储器等方式将数据人工带到目标计算机上，再在目标计算机上操作数据库进行数据的复制、导入和更新。如此的数据分发方法，不仅费时费力，而且数据安全性能极差，极易引起关键数据的错误、数据的丢失或者数据的同步滞后导致数据不完整，信息不一致。
[0005]现在，已有的数据集成分发技术看似解决了上述的问题:传统方法采用托管代理Manager-Agent的体系结构;Agent是指安装在被管理的数据源计算机系统上的一个或是多个代理程序，它负责采集数据源计算机上的一系列数据查询信息，并把查询状态和查询结果传递给Manager—端。尽管现有的解决方案宣称这些代理程序Agent将以较低的优先级和较少的资源消耗运作，还是该种解决方案依然无法避免这样一个问题:那就是当业务连续性要求高的生产应用系统发生性能危机或长事务类型等复杂的数据查询计算时，运维人员无法排除代理软件Agent对生产系统的影响。管理软件代理程序的存在，干扰了运维人员对生产系统的维护和性能问题的诊断，造成数据集成分发过程容易被代理程序故障导致任务中断且不可逆;而且现有的Manager-Agent体系结构，一定需要在数据源计算机上安装代理程序Agent，这为数据源计算机和数据源计算机所在的系统带来了安全隐患;而且代理程序Agent在数据的集成与分发个过程中，其势必会要占用部分的数据源计算机的硬件和软件资源，从而导致数据的集成和分发速率较慢。
【发明内容】
[0006]本发明的目的之一在于提供一种数据集成与分发速率快、数据安全性好、不占用数据源计算机和目标计算机系统任何硬件和软件资源的用于数据库的数据集成分发方法。
[0007]本发明的目的之二在于提供一种承载所述的用于数据库的数据集成分发方法的数据集成分发装置。
[0008]本发明提供的这种用于数据库的数据集成分发方法，包括如下步骤:
51.数据集成分发装置根据数据源计算机的IP地址及管理员权限，连接、识别并定位数据源计算机的数据库实例；
52.数据集成分发装置读取数据源计算机的在线日志或归档日志并解析，提取导致数据库中数据变化的操作记录，并获取数据源计算机的数据源和相应的操作记录；
53.数据集成分发装置将步骤S2获取的数据源和相应的操作记录存储到自身的集成式数据库中；
54.数据集成分发装置将步骤S3存储的数据源发送到目标计算机，同时将操作记录作为指令发送到目标计算机并执行；
55.当目标计算机接受数据并执行完相应的操作记录后，数据集成分发完成。
[0009]步骤SI所述的连接，为Socket或JDBC连接。
[0010]步骤S2还包括如下步骤:
数据集成分发装置在每次读取数据源计算机的在线日志或归档日志并解析时、以及获取数据源计算机的数据源时，均标记检查点，记录当前的日志位置和数据源位置，用于数据集成分发装置的断点续传功能。
[0011 ]步骤S3所述的集成式数据库，为采用开源数据库PostgreSQL实现。
[0012]步骤S4所述的将操作记录作为指令发送到目标计算机并执行，具体为数据集成分发装置读取数据变化并按照日志反映的DML操作创建对应的SQL语句，并将SQL语句作为指令发送到目标计算机并执行。
[0013]步骤S4所述的执行，为通过目标计算机的本地接口执行。
[0014]步骤S5还包括如下步骤:
数据集成分发装置更新步骤S2所述的检查点，记录已经完成数据集成与分发的位置。
[0015]本发明提供的这种用于承载数据集成分发方法的用于数据库的数据集成分发装置，包括主板、CPU、内存、机械硬盘、网络接口、输入设备和输出设备，还包括NGFF接口的固态硬盘；固态硬盘通过NGFF接口与主板连接，用于作为数据集成分发装置缓存模块的快速存储器。
[0016]所述的用于数据库的数据集成分发装置还包括串口调试模块；串口调试模块与主板连接，数据集成分发装置的管理人员通过串口调试模块对数据集成分发装置进行调试和管理。
[0017]所述的网络接口为聚合网络通讯接口；聚合网络通讯接口与主板连接，每个聚合网络通讯接口包括两个千兆以太网端口，两个端口采用符合IEEE802.3ad标准的动态LACP端口聚合方式进行聚合。
[0018]用于数据库的数据集成分发装置，由于采用了NGFF接口的固态硬盘与工业主板连接，因此能够实现数据继承与分发中的海量数据暂存功能，既实现了数据的快速存储又满足了数据快速存储的时效要求;本发明还提供了所述用于数据库的数据集成分发装置的数据集成与分发方法，该方法通过获取数据源计算机的数据和相应的数据操作记录，缓存到数据集成分发装置自身的数据库并进行初步标记和处理，然后再统一分发到目标计算机；因此使用本发明提供的数据集成分发装置和数据集成分发方法进行数据的集成和分发时，数据源计算机和目标计算机均不需要安装任何软件或代理程序，所有的数据存储、数据集成和数据分发过程均由数据集成分发装置完成，因此本发明数据集成与分发速率快、数据安全性好、不占用数据源计算机和目标计算机系统任何硬件和软件资源。
【附图说明】
[0019]图1为本发明的系统结构示意图。
[0020]图2为本发明的用于数据库的数据集成分发方法流程图。
[0021]图3为本发明的用于数据库的数据集成分发装置的功能模块图。
【具体实施方式】
[0022]如图1所示为本发明的系统结构示意图:图中数据源即为数据源计算机，数据源计算机可能采用各种类型的数据库，如OraclhSQLServer或WebGIS等等;数据集成分发装置通过数据源计算机的IP地址及管理员权限，连接、识别并定位数据源计算机的数据库实例，再通过日志解析、数据捕获等功能将数据源计算机的数据和相应的数据操作集成到自身的集成式数据库中；然后再通过投递进程和数据分发功能，将自身集成式数据库中的数据和数据操作分发目标计算机；目标计算机可以采用结构化的数据库，也可采用非结构化的数据库。
[0023]本发明提供的这种数据集成分发装置，能够连接、识别和定位各种类型的数据库，并获取数据，然后将数据按照目标计算机的数据库的要求进行分发。因此本发明提供的这种数据集成分发装置，完全自主运行，不需要数据源计算机