一种基于visio批量配置infa映射的方法与流程

文档序号:16209038发布日期:2018-12-08 07:29阅读:938来源:国知局
本发明涉及数据仓库
技术领域
:,特别是一种基于visio批量配置infa映射的方法。
背景技术
:按照《国家电网公司关于印发公司全业务统一数据中心建设方案的通知》(国家电网信通〔2016〕509号)、《国家电网公司关于印发2016年信息通信新技术创新发展行动计划实施意见的通知》(国家电网信通〔2016〕89号)相关要求,为加快落实全业务统一数据中心建设工作内容,丰富数据分析域数据,进一步提升业务和数据应用水平,全面支撑各领域分析应用建设。经过前期调研业务系统数据现状,明确数据接入范围,包括业务系统基础信息和数据接入信息。业务系统基础信息主要梳理收集业务系统访问信息、数据量现状等,业务系统数据接入信息主要梳理收集业务系统接入的数据表、数据频度等。informatica用于访问和集成几乎任何业务系统、任何格式的数据,它可以用于企业内数据交付,具有高性能、高可扩展性、高可用性的特点。利用informaticapowercenter工具中的各个组件,合理的设计mapping、设计源数据库的结构,目标数据库的结构,然后把源数据抽取到目标数据库中,以此企业用户能够实现广泛的数据连接、清洗、转换,包括结构化、半结构化、非结构化的数据。informaticapowercenter组件数据源可以是数据库、文本文件、xml文件、sap等应用系统、hadoop、mq等。informatica9.6.1支持对hadoop接口能力,主要支持hdfs、hive、hbase和pivotalhdhawq;运用powercenter开发mapping和session的优势之一是不需要懂开发语言,通过图形化拖拽即可实现快速开发。但若所接入的表数量较多,则需完成mapping和session设计的工作量也会变得庞大,并且在拖拽的过程中易出现失误,甚至后续可能会花费大量时间对其进行修改。技术实现要素:有鉴于此,本发明的目的是提出一种基于visio批量配置infa映射的方法,能够利用visio和powercenterdesigner的接口实现快速批量开发。本发明采用以下方案实现:一种基于visio批量配置infa映射的方法,具体包括以下步骤:步骤s1:基于informatica建立mapping并导出xml文件;步骤s2:使用visio工具,基于映射xml创建模板,导入mapping文件,并配置各个元件属性;步骤s3:发布模板,新建source.xml与target.xml两个文件,编辑后缀为param的文件;步骤s4:在designer中导入映射模板,选择编辑好的文件,完成最终的工作流的生成。进一步地,步骤s1中,源表与目标表连接采用自动连接的方式。进一步地,步骤s3中,在源端和目标端各选择一张表来创建所述source.xml与target.xml两个文件。与现有技术相比,本发明有以下有益效果:人工配置mapping时,平均效率为2min/每个,本发明采用批量生成mapping的平均效率为20min/150个,大大减少了重复开发设计所需的工作量和时间,提升工作效率,同时避免了拖拽的过程中手误的风险。附图说明图1是本发明实施例的mapping的自动连接示意图;图2是本发明实施例的导出mapping的xml文件示意图;图3是本发明实施例的mapping导出示意图;图4是本发明实施例的$source_table$属性配置示意图;图5是本发明实施例的sq_$source_table$属性配置示意图;图6是本发明实施例的$target_table$属性配置示意图;图7是本发明实施例的链接线属性配置示意图;图8是本发明实施例的文件生成示意图;图9是本发明实施例的源端表信息导出示意图;图10是本发明实施例的映射模板导入示意图;图11是本发明实施例的映射生成情况示意图;图12是本发明实施例的连接对象及前缀选择示意图。图13是本发明实施例的工作流完成示意图。具体实施方式下面结合附图及实施例对本发明做进一步说明。本实施例提供了一种基于visio批量配置infa映射的方法,具体包括以下步骤:步骤s1:基于informatica建立mapping并导出xml文件;步骤s2:使用visio工具,基于映射xml创建模板,导入mapping文件,并配置各个元件属性;步骤s3:发布模板,新建source.xml与target.xml两个文件,编辑后缀为param的文件;步骤s4:在designer中导入映射模板,选择编辑好的文件,完成最终的工作流的生成。在本实施例中,步骤s1中,源表与目标表连接采用自动连接的方式。在本实施例中,步骤s3中,在源端和目标端各选择一张表来创建所述source.xml与target.xml两个文件。特别的,本实施例的具体步骤如下:步骤1:创建一个简单的mapping,源表与目标表连接可采用自动连接的方式,如图1。步骤2:导出该mapping的xml文件,保存该文件在客户端安装路径下,之后再运行中搜索visio(其中:本机需要提前安装visio,如果没有安装visio需要先卸载客户端再安装informatica所有功能,默认会安装powercentermappingarchitectforvisio工具),如图2。步骤3:打开visio,在左上角中基于映射xml创建模板,导入刚刚导出的mapping,如图3。步骤4:配置各个元件的属性:(1)双击$source_table$配置属性,如图4;(2)双击sq_$source_table$配置属性,如图5;(3)双击$target_table$配置属性,如图6;(4)双击两条链接线,定义链接规则,先点击全部删除,再点击新建,选择全部端口,默认是全部端口。如图7。步骤5:在左上角选择发布模板,将发布的模板保存在客户端路径下,文件路径会默认生成两个文件,如图8,需新建两个文件source.xml与target.xml。可在源端和目标端各选择一张表来创建这两个文件:(1)导出源端表信息来进行【source.xml】(根据模板源端属性命名)文件创建,路径必须在指定路径下(注意:以后每一次操作都可在导出文件时选择该文件覆盖即可),如图9;(2)导出源端表信息来进行【target.xml】(根据模板源端属性命名)文件创建,创建方法同上。步骤6:编辑图8中后缀为param的文件,复制粘贴xml字符串,字符串可根据execl进行语句拼接批量处理(其中:从excel中粘贴出来的拼接语句两边都带有“”,可以先将excel中的语句粘贴到word中再从word中粘贴如param文件中)。步骤7:在designer中选择导入映射模板,如图10,导入刚刚创建的模板,即图8中infa_test.xml文件,再选择使用现有参数文件,使用图8中编辑好的param文件,点击确定。步骤8:点击下一步后,在弹出的提示中点击“是”,会提示生成成功或者失败的的映射(具体错误请具体排查),勾选下面的选项(默认勾选)点击下一步,如图11。步骤9:工作流生成中点击下一步,选择对应的连接对象以及填入对应的前缀点击下一步至第四步,如图12。步骤10:日志信息会提示生成成功的工作流点击完成,如图13。以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1