本发明属于档案数据自动化处理领域，具体涉及一种基于kettle实现档案数据自动上传同步的方法。
背景技术：
自国家电网公司成立以来，认真贯彻国家节能减排政策，深化线损管控，积极推进“四分”管理（分区、分压、分元件、分台区），节能降损工作取得显著成效。同期线损系统为保证“四分”线损计算的准确性，基础档案信息需要与源端系统（pms、营销、gis等系统）保持一致，而源端数据档案数据表多，数据量大，且更新异动频繁，这就需要同期线损系统做到及时同步、上传源端系统档案，此前这项工作需要安排专人触发同步、上传操作，操作过程繁琐，且耗费时间。为了节省人力成本，提高工作效率，对源端系统档案数据自动同步、自动上传机制进行深化研究，实现档案数据同步、上传的自动化是很有必要的。
基础档案数据量大，更新频率快，传统的人工处理方法弊端日益明显，在利用现有服务器资源情况下，结合kettle、数据库等技术可以实现基础档案数据的自动同步与更新。
技术实现要素：
本发明的目的是提供一种基于kettle实现档案数据自动上传同步的方法。
本发明采用以下技术方案：一种基于kettle实现档案数据自动上传同步的方法，其特征在于：包括以下步骤：步骤s1：基于kettle工具将某类档案的明细数据进行抽取，配置smtp服务实现明细数据定时以excel的形式输出；步骤s2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。
在本发明一实施例中，步骤s1中还包括以下步骤：将同步日志和数据发送至指定邮箱。
进一步的，步骤s1包括以下具体步骤：步骤s11：在kettle中配置按规则获取时间节点；步骤s12：当kettle同步档案后，配置输出已同步档案明细文件；步骤s13：在kettle配置添加输出文件到结果文件中；步骤s14：在kettle邮件设置中指定邮件收或发件人信息；步骤s15：设置smtp邮件服务器及用户验证信息；步骤s16：设置需要发送的邮件内容和附件；步骤s17：将已编辑好的kettle程序上传至目标系统的服务器，编写脚本调用kettle；步骤s18：设置crontab定时任务，定时执行已编辑好的脚本。
在本发明一实施例中，步骤s2包括以下步骤：步骤s21：通过pl/sql配置定时任务，每天凌晨调用执行存储过程，清除无需上传的数据；步骤s22：在kettle中配置job，设定需要上传的档案类别，将需上传的数据抽取至数据中心；步骤s23：按规则条件抽取对应档案数据；步骤s24：将档案抽取程序上传至服务器端，在服务器端通过定时任务调用执行程序；编写档案抽取脚本，执行档案抽取命令；定时调用档案抽取脚本；步骤s25：将档案上传程序上传至服务器端，在服务器端通过定时任务调用；步骤s26：编写档案上传脚本，执行档案上传操作；定时调用档案上传脚本，实现定时自动上传基础档案。
与现有技术相比，本发明具有以下优点：在利用现有服务器资源的基础上，结合kettle、数据库等技术手段实现定时自动同步和上传基础数据档案，保障数据更新的及时性，解放了生产力，改变人工操作的现状，提升了工作效率。
附图说明
图1是本发明的分析流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面将结合附图，进一步阐述本发明。
本发明提供一种基于kettle实现档案数据自动上传同步的方法，其包括以下步骤：步骤s1：基于kettle工具将某类档案的明细数据进行抽取，配置smtp服务实现明细数据定时以excel的形式输出；步骤s2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。
在本发明一实施例中，步骤s1中还包括以下步骤：将同步日志和数据发送至指定邮箱。
进一步的，步骤s1包括以下具体步骤：步骤s11：在kettle中配置按规则获取时间节点；步骤s12：当kettle同步档案后，配置输出已同步档案明细文件；步骤s13：在kettle配置添加输出文件到结果文件中；步骤s14：在kettle邮件设置中指定邮件收或发件人信息；步骤s15：设置smtp邮件服务器及用户验证信息；步骤s16：设置需要发送的邮件内容和附件；步骤s17：将已编辑好的kettle程序上传至目标系统的服务器，编写脚本调用kettle；步骤s18：设置crontab定时任务，定时执行已编辑好的脚本。
在本发明一实施例中，步骤s2包括以下步骤：步骤s21：通过pl/sql配置定时任务，每天凌晨调用执行存储过程，清除无需上传的数据；步骤s22：在kettle中配置job，设定需要上传的档案类别，将需上传的数据抽取至数据中心；步骤s23：按规则条件抽取对应档案数据；步骤s24：将档案抽取程序上传至服务器端，在服务器端通过定时任务调用执行程序；编写档案抽取脚本，执行档案抽取命令；定时调用档案抽取脚本；步骤s25：将档案上传程序上传至服务器端，在服务器端通过定时任务调用；步骤s26：编写档案上传脚本，执行档案上传操作；定时调用档案上传脚本，实现定时自动上传基础档案。
本发明是在总结人工上传处理基础数据的基础上，提出了利用kettle实现基础数据自动化上传同步的方法，整体流程如图1所示。
第一部分：通过kettle实现自动化同步基础档案数据，并可以用邮件通知结果，具体的实现步骤如下：
a.在kettle中配置按规则获取时间节点；
b.当kettle同步档案后，配置输出已同步档案明细文件；
c.在kettle配置添加输出文件到结果文件中；
d.在kettle邮件设置中指定邮件收/发件人信息；
e.设置smtp邮件服务器及用户验证信息；
f.设置需要发送的邮件内容和附件；
h.将已编辑好的kettle程序上传至服务器，编写脚本调用kettle；
i.设置crontab定时任务，定时执行已编辑好的脚本；
第二部分：在kettle实现自动化同步数据的前提下，自动化上传配网及以下增量数据档案。
a.编写存储过程定时清理数据中心的相关数据，保证只上传增量数据；
b.通过pl/sql配置定时任务，每天凌晨调用执行该存储过程，清除无需上传的数据；
c.在kettle中配置job，设定需要上传的档案类别，将需上传的数据抽取至数据中心；
d.按规则条件抽取对应档案数据；
e.将程序上传至服务器，在服务器端通过定时任务调用执行程序。编写脚本，执行档案抽取命令；
f.定时调用档案抽取脚本；
g.将档案上传程序上传至服务器，在服务器端通过定时任务调用；
h.编写脚本，执行档案上传操作；
i.定时调用档案上传脚本，实现定时自动上传基础档案。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。