骤S2的具体流程示意图。
[0022] 图3显示为本发明的基于元数据的ETL实现方法中步骤S3的具体流程示意图。
[0023] 图4显示为本发明的基于元数据的ETL实现方法中步骤S4的具体流程示意图。
[0024] 图5显示为本发明的ETL元数据模型到配置文件的转换流程示意图。
[0025] 图6显示为本发明的基于元数据的ETL实现系统的原理结构示意图。
[0026] 元件标号说明
[0027] 1 基于元数据的ETL实现系统
[0028] 11 编写模块
[0029] 12 创建模块
[0030] 13 获取模块
[0031] 14 ETL元数据形成模块
[0032] 15 数据导入模块
[0033] 16 配置文件生成模块
[0034] 17 编译模块
[0035] Sl ~S5 步骤
【具体实施方式】
[0036] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书 所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实 施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离 本发明的精神下进行各种修饰或改变。
[0037] 请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明 的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形 状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布 局型态也可能更为复杂。
[0038] 下面结合实施例和附图对本发明进行详细说明。
[0039] 本实施例提供一种基于元数据的ETL实现方法，请参阅图1，显示为基于元数据的 ETL实现方法流程示意图。首先需要对需求对象进行描述，在本实施例中，以统计某产品各 品牌月销量为需求对象。所述需求对象包括三项内容，即产品每日销量，品牌规格代码、及 各品牌月销量。所述产品每日销量由表1描述，所述品牌规格代码由表2描述，所述各品牌 月销量由表3描述。
[0040] 表1 :产品每日销量
[0041]
【主权项】
1. 一种基于元数据的ETL实现方法，其特征在于，包括： 获取预先编写的ETL需求； 令所述ETL需求按照元数据转换规则形成ETL元数据； 将所述ETL元数据导入预创建的ETL元数据模型以存储所述ETL元数据； 根据所述ETL元数据生成ETL配置文件； 将生成的ETL配置文件编译成可执行ETLJOB。
2. 根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：所述ETL需求包 括需处理的数据源信息、处理后的数据结果样式、及数据处理方式。
3. 根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：所述ETL元数据 包括ETL过程元数据和ETL过程明细元数据； 其中，所述ETL过程元数据用于实现数据抽取、代码映射、数据清洗、数据转换、数据聚 合、及数据加载； 所述ETL过程明细元数据用于存储数据抽取明细元数据、代码映射明细元数据、数据 清洗明细元数据、数据转换明细元数据、数据聚合明细元数据、及数据加载明细元数据。
4. 根据权利要求3所述的基于元数据的ETL实现方法，其特征在于：令所述ETL需求 按照元数据转换规则形成ETL元数据的步骤包括： 根据所述ETL需求形成至少一个ETL单元； 根据所述ETL单元形成所述ETL过程元数据； 根据所述ETL过程元数据形成所述ETL过程明细元数据。
5. 根据权利要求1或3所述的基于元数据的ETL实现方法，其特征在于：预先创建的 ETL元数据模型包括多种数据模型，即包括ETL过程元数据模型、数据抽取元数据模型、代 码映射元数据模型、数据清洗元数据模型、数据转换元数据模型、数据聚合元数据模型、以 及数据加载元数据模型。
6. 根据权利要求5所述的基于元数据的ETL实现方法，其特征在于：根据所述ETL元 数据生成ETL配置文件的步骤包括： 分别根据所述ETL元数据模型中包含的多种数据模型中每一种数据模型的所述ETL元 数据生成相应的ETL配置信息； 根据每一种数据模型中生成的所述ETL配置信息形成所述ETL配置文件。
7. 根据权利要求1或3所述的基于元数据的ETL实现方法，其特征在于：预先创建的 ETL元数据模型的具体内容包括：所属ETL名称、ETL元数据代码、ETL流程顺序、及所述ETL 过程明细元数据。
8. 根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：将所述ETL元数 据导入预先创建的ETL元数据模型以存储所述ETL元数据的步骤包括： 标准化所述ETL元数据； 将标准化后的所述ETL元数据导入预先创建的ETL元数据模型。
9. 根据权利要求1所述的基于元数据的ETL实现方法，其特征在于：将生成的ETL配 置文件编译成可执行ETLJOB的步骤包括： 编译所述ETL配置文件； 根据编译后所述ETL配置文件生成可执行的ETLJOB。
10. -种基于元数据的ETL实现系统，其特征在于，包括： 编写模块，用于预先编写ETL需求； 创建模块，用于预创建ETL元数据模型； 与所述编写模块连接的获取模块，用于从所述编写模块中获取预先编写的ETL需求； 与所述获取模块连接的ETL元数据形成模块，用于令所述ETL需求按照元数据转换规 则形成ETL元数据； 分别与所述创建模块和所述ETL元数据形成模块连接的数据导入模块，用于将所述ETL元数据导入预创建的ETL元数据模型以存储所述ETL元数据； 与所述数据导入模块连接的配置文件生成模块，用于根据所述ETL元数据生成ETL配 置文件； 与所述配置文件生成模块的编译模块，用于将生成的ETL配置文件编译成可执行ETL JOB。
【专利摘要】本发明提供一种基于元数据的ETL实现方法，包括：获取预先编写的ETL需求；令所述ETL需求按照数据转换规则形成ETL元数据；将所述ETL元数据导入预创建的ETL元数据模型以存储所述ETL元数据；根据所述ETL元数据生成ETL配置文件；将生成的ETL配置文件编译成可执行ETL JOB。本发明大大提高了ETL管理效率，为数据仓库的发展和使用提供了方便；有效地解决了使用ETL工具时只能完全开发之后才能查错的技术缺陷；规范化的元数据模型可以很清晰地展现ETL过程，方便开发人员梳理与检查当前拟定的ETL流程，加深开发人员对ETL需求的理解，帮助开发人员找到最优的ETL设计方案，确保最终得到的ETL Job执行准确且高效。
【IPC分类】G06F17-30
【公开号】CN104778236
【申请号】CN201510155483
【发明人】栾晓宇, 陈德莉, 周佳杰
【申请人】上海烟草集团有限责任公司
【公开日】2015年7月15日
【申请日】2015年4月2日