专利名称：通过Excel对系统之间数据治理的方法
通过Excel对系统之间数据治理的方法技术领域 本发明涉及一种通过Excel对系统之间数据治理的方法。
背景技术：
随着国内信息化的高速发展，企业的应用系统越来越多，各个系统间的数据格 式、编码都不一致，导致系统之间数据的转换变得异常的困难，在转换的过程中，容易 产生编码出错、正确率低、工作效率低下。
发明内容
本发明的目的就是提出一种可以降低大量相似数据的整理工作量，并进一步高 效、快速提高数据质量的通过Excel对系统之间数据治理的方法。本发明的通过Excel对系统之间数据治理的方法，以Excel插件的方式提供一个 自动化的转换过程，来解决用户在系统之间数据的转换异常困难的问题，
具体方法涉及访问Excel表、源系统以及其中待治理的源数据、目标系统以及符合其 要求的目标数据。它包括五个流程导出数据、载入模板、数据转换、数据校验、格式 化，具体步骤如下
步骤a 用户先从源系统中按照系统规则格式将待治理的源数据导出到Excel文件 中，对于包含这些源数据的Excel文件，以下我们简称为源Excel文件；
步骤b:建立一个Excel插件，此插件功能是提供一个模板参数配置表，在这个模板 参数表中配置源Excel文件名、源Excel文件中各个工作簿的名称、源文件列字段、目标 文件列字段、语义转换规则、以及校验规则，将此Excel插件装载到普通的Excel表中； 对于包含插件并配置完成模板参数配置表的Excel文件，以下我们简称为模板Excel文 件；
步骤c:根据上一步配置的源Excel文件名等规则，将源数据从源Excel文件中载入 到模板Excel文件中；
步骤d:对于源系统和目标系统中各个列字段的数据语义，按照语义转换规则参数 表中的语义转化规则进行转换，以适应目标系统中的语义规则；
步骤e:按照校验规则对转换的数据进行长度、类型、字段的精确度、准确度以及唯 一性进行校验；
步骤f:将校验产生的数据进行目标系统的格式化，如去掉字体等Excel自带的文本 属性，然后将符合目标系统的目标数据导入到目标系统中。本发明的通过Excel对系统之间数据治理的方法，它具有以下优点
1、简单易用采用Excel的电子表单的作为操作基本界面，最终用户可以快速掌握 系统操作，而无须太多培训；
2、普适性最终用户可以灵活设置数据匹配、语意转换、数据校验、规范格式等规 贝U，针对不同的应用情况，重新设置相应规则，而不需重新开发代码；3、高效数据整理转换过程只需配置相应的参数即可，可以大幅提高数据整理的准 确率和工作效率。
具体实施方式
一种通过Excel对系统之间数据治理的方法，具体步骤 名称解释
VSTO Visual Studio Tools for Office ； Extraction @Source 数据抽取； Transformation 数据转换； Verify 数据校验； Loading @Destination 载入源系统；
本发明包含了系统数据转换的四个过程从源数据Excel表中抽取有用的字段；通 过转换规则对数据中的编码进行转换；对转换的数据进行校验；产生新的目标数据。用 如下形式表示完成的功能和应用模块之间的关系 在Excel数据治理场景转换中定义如下基本操作
F=(Swp,Mer,Split,Sort,Rep,Fact,Dist,Check)转换函数是这几类函数的集合。其中，
Swp是交换函数，属一元操作；Mer是合并操作，将实体&和％进行合并，并产生； Split是分割操作，是Mer函数的逆操作；Rep是替代函数，将实体&替代为& ； Fact是 因式分解操作，将&实体分解出、Dist是归并操作，是Fact的逆操作函数；Check是检 查操作将检查出不符合规则的数据。第一部分数据抽取(Extraction@Source)
通过Mer、Split操作在参数表中设定相关参数，将数据从源数据表通过合并和拆分 源数据将数据抽取到目标表格中。第二部分数据转换(Transformation)
通过Swap、Rep操作对抽取的数据进行转换。转换被标识为属性、输入参数和输 出参数列表以及返回值的集合。一个函数转换可看作形如[元素名Fun值]的布尔表达 式，其中，约束包含对属性值及被转换目标数据源的内容等限定，需要映射属性名、转 换数据的值以及转换相应的操作。对一个实体的操作语义，可以用表达式FOutputO InputO ;Expression;Mapping。其中，每一个函数作用产生的活动实体的变迁称为一个状态 转换。第三部分数据校验(Verify)
按照设定的Check操作对数据进行校验。目前的校验规则为精确度、准确度校验， 可以根据需要添加。第四部分载入源系统Loading @Destination
将数据清除校验记录然后将数据装载到目标系统当中。
权利要求
1. 一种通过Excel对系统之间数据治理的方法，其特征在于它包括以下步骤 步骤a:用户先从源系统中按照系统规则格式将待治理的源数据导出到Excel文件 中，对于包含这些源数据的Excel文件，以下我们简称为源Excel文件；步骤b:建立一个Excel插件，此插件功能是提供一个模板参数配置表，在这个模板 参数表中配置源Excel文件名、源Excel文件中各个工作簿的名称、源文件列字段、目标 文件列字段、语义转换规则、以及校验规则，将此Excel插件装载到普通的Excel表中； 对于包含插件并配置完成模板参数配置表的Excel文件，以下我们简称为模板Excel文 件；步骤c:根据上一步配置的源Excel文件名等规则，将源数据从源Excel文件中载入 到模板Excel文件中；步骤d:对于源系统和目标系统中各个列字段的数据语义，按照语义转换规则参数 表中的语义转化规则进行转换，以适应目标系统中的语义规则；步骤e:按照校验规则对转换的数据进行长度、类型、字段的精确度、准确度以及唯 一性进行校验；步骤f:将校验产生的数据进行目标系统的格式化，如去掉字体等Excel自带的文本 属性，然后将符合目标系统的目标数据导入到目标系统中。
全文摘要
一种通过Excel对系统之间数据治理的方法，它是利用配置参数表的方法包含对源系统导出来的Excel文件按照参数表规则进行各种可配置的数据抓取，并通过编码规则对数据进行编码转换，然后通过校验规则对数据进行校验，从而实现用户从源系统数据到目标系统格式数据的治理，它可以降低大量相似数据的整理工作量，并进一步高效、快速提高数据质量。
文档编号G06F17/30GK102012935SQ20101057460
公开日2011年4月13日 申请日期2010年12月6日 优先权日2010年12月6日
发明者周宇, 梁良, 陶振文, 马勇 申请人:江西省电力公司信息通信中心