本发明涉及数据库之间数据同步技术领域，具体地说是一种跨网闸数据同步方法。
背景技术
随着信息技术的飞速发展，企事业单位信息化建设的不断深入，使得企事业单位业务系统数量不断增加。这时，各业务系统之间数据交互，各子业务系统与核心业务系统之间数据交互，诸如此类场景的应用需求不断出现。因此，部门应对此类需求的压力越来越大。比较突出的问题，主要有实时性与性能的冲突，数据交互方案的安全性与健壮性、跨网络等。关于数据同步主要有两个层面的同步，一是通过后台程序编码实现数据同步，二是直接作用于数据库，在数据库层面实现数据的同步。通过程序编码实现数据同步，其主要的实现思路是有就更新，无则新增，其他情况日志记录。数据库层面的数据库同步主要有以下几种方式：通过发布/订阅的方式实现同步；通过sqljob方式实现数据同步；通过servicebroker消息队列的方式实现数据同步；采用挖掘数据库日志的方式实现数据同步；采用相关软件在存储级进行复制。
目前成熟的数据数据同步工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。如果拥有很多不同类型的数据库/文件系统(mysql/oracle/rac/hive/other…)，并且经常需要在它们之间导入导出数据，那么就需要开发/维护/学习使用一批这样的工具(jdbcdump/dbloader/multithread//mysqldumper…)。而且以后每增加一种库类型，需要的工具数目将线性增长。这些工具有些使用文件中转数据，有些使用管道，不同程度的为数据中转带来额外开销，效率差别很非常大。很多工具也无法满足数据同步任务工作中常见的需求，比如日期格式转化，特性字符的转化，编码转换等。
技术实现要素：
本发明的技术任务是提供一种跨网闸数据同步方法。
本发明的技术任务是按以下方式实现的：
一种跨网闸数据同步方法，该方法操作步骤如下：
步骤1）公司idi工具部署，部署在源端和目标端；
步骤2）源端和目标端idi工具数据源配置；
步骤3）在源端etl工具建立增量数据监测和抽取作业；
步骤4）网闸目录配置；
步骤5）增量文件解析入库；
步骤6）日志记录。
所述的步骤1）中idi工具包括转换模块和作业模块；
所述的转换模块是针对护具的基础转换；
所述的作业模块是完成整个工作流的控制。
所述的步骤1）中idi工具部署步骤如下：
1）安装jdk，要求1.6版本以上，64位操作系统要求安装64位jdk；
2）建立idi资源库，执行资源库建表文件：创建资源库.sql；
3）修改idi登录配置文件：将配好的资源库信息按照格式填写到repositories.xml文件中；
4）解压idi-designer后，运行idi.bat进入登录界面；选择上一步配置好的资源库名称，输入登录密码：admin，点击确认按钮；此时idi的运行环境和配置都已完成，可以正常使用。
所述的步骤2）中源端和目标端idi工具数据源配置，包括：根据数据库类型选择连接类型，填写数据库服务器ip地址、数据库名称、端口号、数据库用户名和密码，填写完成后点击测试，提示测试成功后点击保存。
所述的步骤3）中在源端etl工具建立增量数据监测和抽取作业，操作步骤如下：
1）将要同步的数据库表建立修改时间戳或同步标志位字段，用于标识和监测需要同步的增量数据；
2）点击idi工具左侧的转换按钮创转换，选择增加表输入控件，选择数据源，根据实际情况编写sql语句用于查询需要同步的数据；
3）选择增加文本文件输出控件，并通过etl跳接线将表输入和文本文件输出两个控件连接起来，将增量数据流输出到文本文件；
4）如果需要同步多张表，需要按照以上步骤创建多个转换；
5）所有转换创建完成后，点击作业按钮新建数据同步增量数据抽取作业，填写作业名称、任务文件名参数，并将已定义的转换引入到所述的作业中。
所述的根据实际情况编写sql语句，包括：点击预览可以查看sql语句效果，如正常则点击保存。
多个所述的转换通过跳接线连接，同时根据实际情况，设置所述的作业执行周期。
所述的步骤4）中网闸目录配置，包括：配置源端增量数据文件目录和目标端接收文件目录，开启网闸sftc功能对源目录进行监听，发现文件后能够实时将文件移动至目标端接收目录中。
所述的步骤5）中增量文件解析入库，包括：在目标端idi工具设置接收目录监听作业，监听目标数据库增量数据目录，发现增量数据文件后根据文件名称自动匹配对应解析转换并通过文本文件输入、表输出组件插入或更新至目标数据库对应表中；根据业务需求设定作业执行周期，可按分钟、天、周、月设定执行时间间隔。
所述的步骤6）中日志记录，包括：利用idi工具日志输出功能，记录数据同步作业运行状态，以便查看运行情况和问题原因分析。
本发明的一种跨网闸数据同步方法和现有技术相比，具有可异构、灵活性好、通用性强、安全性高的特点，支持各种增量文件类型，如excel、txt、cube等；能够满足网络间存在网闸隔离且不允运行协议通信环境下数据同步需求，并在实际环境中进行使用。
具体实施方式
实施例1：
一种跨网闸数据同步方法，该方法操作步骤如下：
步骤1）公司idi工具部署，部署在源端和目标端；
步骤2）源端和目标端idi工具数据源配置；
步骤3）在源端etl工具建立增量数据监测和抽取作业；
步骤4）网闸目录配置；
步骤5）增量文件解析入库；
步骤6）日志记录。
实施例2：
一种跨网闸数据同步方法，该方法操作步骤如下：
步骤1）公司idi工具部署，部署在源端和目标端；所述的idi工具包括转换模块和作业模块；所述的转换模块是针对护具的基础转换；所述的作业模块是完成整个工作流的控制。
所述的idi工具部署步骤如下：
1）安装jdk，要求1.6版本以上，64位操作系统要求安装64位jdk；
2）建立idi资源库，执行资源库建表文件：创建资源库.sql；
3）修改idi登录配置文件：将配好的资源库信息按照格式填写到repositories.xml文件中；
4）解压idi-designer后，运行idi.bat进入登录界面；选择上一步配置好的资源库名称，输入登录密码：admin，点击确认按钮；此时idi的运行环境和配置都已完成，可以正常使用。
步骤2）源端和目标端idi工具数据源配置；根据数据库类型选择连接类型，填写数据库服务器ip地址、数据库名称、端口号、数据库用户名和密码，填写完成后点击测试，提示测试成功后点击保存。
步骤3）在源端etl工具建立增量数据监测和抽取作业；操作步骤如下：
1）将要同步的数据库表建立修改时间戳或同步标志位字段，用于标识和监测需要同步的增量数据；
2）点击idi工具左侧的转换按钮创转换，选择增加表输入控件，选择数据源，根据实际情况编写sql语句用于查询需要同步的数据；如果采用标识位方法，语句类似于“select*from表名where标识位=1”；点击预览可以查看sql语句效果，如正常则点击保存；
3）选择增加文本文件输出控件，并通过etl跳接线将表输入和文本文件输出两个控件连接起来，将增量数据流输出到文本文件；本步骤需要指定输出文件名、扩展名、分隔符、封闭符、编码等文件内容属性。文件命名采用“incre_表_年月日_时分秒”命名，以保证文件名唯一和能够区分文件生成的先后顺序；
4）如果需要同步多张表，需要按照以上步骤创建多个转换；
5）所有转换创建完成后，点击作业按钮新建数据同步增量数据抽取作业，填写作业名称、任务文件名参数，并将已定义的转换引入到所述的作业中；多个所述的转换通过跳接线连接，同时根据实际情况，设置所述的作业执行周期。
步骤4）网闸目录配置；配置源端增量数据文件目录和目标端接收文件目录，开启网闸sftc功能对源目录进行监听，发现文件后能够实时将文件移动至目标端接收目录中。
步骤5）增量文件解析入库；在目标端idi工具设置接收目录监听作业，监听目标数据库增量数据目录，发现增量数据文件后根据文件名称自动匹配对应解析转换并通过文本文件输入、表输出组件插入或更新至目标数据库对应表中；根据业务需求设定作业执行周期，可按分钟、天、周、月设定执行时间间隔。
步骤6）日志记录。利用idi工具日志输出功能，记录数据同步作业运行状态，以便查看运行情况和问题原因分析。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。