文件，其还能够获取用户配置文件与源数据文件，继而形成数据血统附属表。所述配置文件是指系统在运行之初用户设置的信息文件，其中包含用户希望对数据进行哪些血统管理和查询，其用于自定义数据血统表，可以减少和装置的运作时间。
[0039]请参见图2所示，其为本发明所示数据血统获取单元结构图。
[0040]所述数据血统获取单元21包括一操作信息获取子单元211、一字段信息获取子单元212、一控制子单元213 ；
[0041]其中，所述操作信息获取子单元211、所述字段信息获取子单元212、所述控制子单元213顺序相连，所述操作信息获取子单元211能够获取一系列操作的操作号和相应的SQL语言(Structured Query Language语言，即结构式查询语言)，其能够检验脚本段中的脚本，筛选其中的SQL语言，并将其记录下来。字段信息获取子单元212，能够通过所述操作信息获取子单元211获取一次操作得到的字段。
[0042]控制子单元213能够读取所述操作信息获取子单元211所获取的操作号与SQL语言与所述字段信息获取子单元212获取的一次操作所得到的字段，根据一次操作的SQL语言和所述操作得到的字段判断所述操作对每个字段的行为结果。所述具体行为包括增行，减行，添加，删除，更新，修改元数据，查询。增行，该字段插入行；减行；该字段删除行；添加，添加该字段；删除，删除该字段；更新，更新该字段；修改元数据；修改该字段元数据。
[0043]所述控制子单元213，能够对当前操作信息进行实时监控，若当前操作出错中止，则在表中对应的位置写“操作出错”并结束写表。
[0044]本发明所述ETL数据血统查询系统通过下述方法进行运行:
[0045]S1:用户填写配置文件，所述配置文件由数据血统获取单元获取；
[0046]本系统可以实现订制化数据血统查询，在数据血统查询之前，用户可以填写配置文件，包括用户想看哪些字段的信息、哪一种处理信息等，通过订制化配置文件，可以减少系统给的运算时间。
[0047]S2:操作划分单元获取ETL任务脚本并对其处理，生成带有操作信息的任务脚本文件；
[0048]S3:所述脚本运行单元获取带有操作信息的任务脚本文件进行处理，生成脚本运行文件；
[0049]S4:数据血统获取单元获取脚本运行文件、源数据文件进行分析，获取数据血统；
[0050]操作信息获取子单元211根据配置文件获取一些列的操作的操作号与SQL语言，字段信息获取子单元212获取一次操作所得到的字段，所属字段信息获取子单元所获取的字段长度根据所述配置文件决定，不会超过源数据长度。
[0051]S5:所述数据血统获取单元将数据血统写入数据血统表与数据血统附属表；
[0052]所述数据血统表为一关系表，表征字段名与操作号之间的联系，表述上述的操作对上述实例字段的行为结果；数据血统附属表为一关系表，记录操作号与其对应的SQL语言。
[0053]S6:所述数据血统获取单元将数据血统表与数据血统附属表存入数据血统存储单
J L.ο
[0054]所述数据血统表与数据血统附属表存入数据血统存储单元，供用户随时查询、调用、查看。
[0055]以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变和修改，甚至等效，但都将落入本发明的保护范围内。
【主权项】
1.一种ETL数据血统查询系统，其特征在于，包括一运行模块与一数据血统管理模块， 所述运行模块能够运行任务脚本、并且能够划分任务形成带有操作信息的任务脚本文件，并将所述带有操作信息的任务划分文件传送至所述数据血统管理模块； 所述数据血统管理模块能够接受用户配置文件，收集源数据文件、带有操作信息的任务脚本文件，对数据血统信息进行存储。2.如权利要求1所述的ETL数据血统查询系统，其特征在于，所述运行模块包括: 一操作划分单元，用于对任务脚本进行划分、形成带有操作信息的任务脚本文件； 一脚本运行单元:获取源数据与运行带有操作信息的任务划分文件，运行任务；3.如权利要求1所述的ETL数据血统查询系统，其特征在于，所述数据血统管理模块包括: 一数据血统获取单元，能够发送和接受用户配置文件、获取操作信息的任务脚本文件，将数据血统写入数据血统表与数据血统附属表； 一数据血统存储单元，用于存储所述数据血统表与数据血统附属表。4.如权利要求3所述的ETL数据血统查询系统，其特征在于，所述数据血统获取单元包括: 一操作信息获取子单元，用于获取用户配置文件、带有操作信息的任务脚本文件与任务源文件； 一字段信息获取子单元，用于获取一次操作的字段信息； 一控制子单元，用于根据所述操作信息获取子单元与所述字段信息获取子单元获取的数据进行判断，确定对应操作对每个字段的行为结果。5.如权利要求4所述的ETL数据血统查询系统，其特征在于，所述控制子单元能够对当前运行任务进行监控。6.如权利要求4所述的ETL数据血统查询系统，其特征在于，所述行为结果包括:增行，减行，添加，删除，更新，修改元数据，查询。7.—种应用权利要求1至6中任一项所述系统的ETL数据血统查询方法，其特征在于，包括步骤: 51:用户填写配置文件，所述配置文件由数据血统获取单元获取； 52:操作划分单元获取ETL任务脚本并对其处理，生成带有操作信息的任务脚本文件； 53:所述脚本运行单元获取带有操作信息的任务脚本文件进行处理，生成脚本运行文件； 54:数据血统获取单元获取脚本运行文件、源数据文件进行分析，获取数据血统； 55:所述数据血统获取单元将数据血统写入数据血统表与数据血统附属表； 56:所述数据血统获取单元将数据血统表与数据血统附属表存入数据血统存储单元。8.如权利要求7所述的ETL数据血统查询方法，其特征在于，所述步骤S4具体为: 操作信息获取子单元根据配置文件获取一些列的操作的操作号与SQL语言，字段信息获取子单元获取一次操作所得到的字段。
【专利摘要】本发明涉及一种ETL数据血统查询系统，其特征在于，包括一运行模块与一数据血统管理模块，所述运行模块能够运行任务脚本、并且能够划分任务形成带有操作信息的任务脚本文件，并将所述带有操作信息的任务划分文件传送至所述数据血统管理模块；所述数据血统管理模块能够接受用户配置文件，收集源数据文件、带有操作信息的任务脚本文件，对数据血统信息进行存储。
【IPC分类】G06F17/30
【公开号】CN104915390
【申请号】CN201510272289
【发明人】许飞月, 李青海, 简宋全, 侯大勇, 邹立斌
【申请人】广州精点计算机科技有限公司
【公开日】2015年9月16日
【申请日】2015年5月25日