一种面向企业的MES数据抽取和清洗方法与流程

本发明属于企业管理数据技术领域，特别是涉及一种面向企业的mes数据抽取和清洗方法。

背景技术：

随着社会经济的快速发展，人们对生活高质量的追求和对物质高品位的需求越来越高，产品质量关乎企业的生命。信息化是当今时代发展的大趋势，代表着先进生产力。

mes系统(manufacturingexecutionsystem，制造执行系统)作为一种高效智能的制造系统已广泛应用于生产加工领域，旨在加强生产计划的执行功能。

基于mes系统的生产过程产生大量的质量数据，这些质量数据对涉及人员、设备、零件、检验、质量、工艺、制造和管理等各个方面。由于数据类型多种多样，相互关联性明显且来源繁多，传统的质量管理依赖专家的经验，存在以下的缺点：

1、质量检验结果以数据记录，不合格项反馈为主，各检验环节对质检数据的系统性统计与分析工作很少，不能对生产过程产生预防性指导；

2、分析过程严重依赖主观经验，效率低下，分析流程不规范，理论依据不充足，分析结果难以重现。

因此，如何对质量数据进行有效清洗，提高管理效率是目前有待解决的技术问题。

技术实现要素：

本发明的目的在于提供一种面向企业的mes数据抽取和清洗方法，通过在企业数据源内添加触发器采集原始企业数据，对原始企业数据进行预处理，并建立相应的数据抽取逻辑和清洗方法，解决了现有的企业管理效率低、数据清洗不到位的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种面向企业的mes数据抽取和清洗方法，包括如下步骤：

步骤s1：向企业内部数据源添加数据库触发器；

步骤s2：数据库触发器中复制更新数据，生成原始企业数据；

步骤s3：对原始企业数据进行预处理；

步骤s4：将预处理后的数据生成数据抽取队列；

步骤s5：建立数据抽取逻辑模型信息，以获取模型关联关系信息；

步骤s6：根据模型关联信息生成数据抽取配置信息；

步骤s7：根据数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本；

步骤s8：对全量抽取脚本进行迭代运算以确定全量抽取脚本调度的依赖关系并生成调度文件；

步骤s9：根据调度文件并行调度全量抽取脚本抽取数据抽取队列；

步骤s10：对抽取的数据进行清洗获取有效数据。

优选地，所述步骤s1中，数据库触发器部署在企业管理数据库中；所述数据库触发器用于在企业管理数据库的数据发生变更时，记录数据变更信息发送至内部大数据平台，或者依据设定的时间间隔从企业管理数据库中抽取更新数据，发送至大数据平台。

优选地，所述步骤s3中，预处理包括数据抽取、数据转换和数据加载；

所述数据抽取，用于将原始企业数据对应的各个数据源抽取到预设的临时存储区域，获取数据抽取数据，所述数据抽取数据包括全量抽取和增量抽取数据；

所述数据转换，用于将数据抽取数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位，获取数据转换数据；

所述数据加载，用于按预设物理和逻辑模型定义从预设临时存储区域加载到预设目标数据库，获取数据加载数据。

优选地，所述步骤s5中，建立数据抽取逻辑模型时，需要先查找符合预定规则的模型主题，并根据符合预定规则的模型主题获取相应的物理表。

优选地，所述步骤s6中，模型关联关系信息生成样本数据抽取配置信息包括：根据所述的模型关联关系信息对业务实体进行分类；根据分类的业务实体分别生成样本数据抽取配置信息。

优选地，所述步骤s7中，根据所述的样本数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本包括：根据预先设置的抽取参数确定物理表的样本抽取逻辑；结合样本数据抽取配置信息和物理表的样本抽取逻辑生成全量抽取脚本。

优选地，所述步骤s8中，若全量抽取脚本数据失败，则记录失败的信息，并根据失败信息重新生成全量抽取脚本，对重新生成的全量抽取脚本进行迭代运算以确定新的依赖关系；根据新的依赖关系生成基于有向图数据结构的新调度文件；根据新调度文件并行调度重新生成的全量抽取脚本以重新获取样本数据。

优选地，所述步骤s9中，通过大数据的分析技术根据预设的清洗策略对不同类型的企业数据进行清洗，并将清洗后的数据导出并存储；所述大数据的分析技术包括数据清洗模块、清洗数据导出模块和清洗数据存储模块；所述数据清洗模块，用于预设的清洗策略对不同类型的企业数据进行数据清洗，得到经数据清洗后的企业数据；所述清洗数据导出模块，连接数据清洗模块，用于提供给用户导出清洗后的企业数据；所述清洗数据存储模块，连接数据清洗模块，用于存储清洗后的企业数据。

本发明具有以下有益效果：

本发明通过在企业数据源内添加触发器采集原始企业数据，对原始企业数据进行预处理生成数据抽取队列，并建立相应的数据抽取逻辑模型来根据抽取配置信息生成全量抽取脚本来抽取数据抽取队列，最后对抽取的数据进行清洗，提高了企业的数据管理效率，降低了企业管理成本。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种面向企业的mes数据抽取和清洗方法步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种面向企业的mes数据抽取和清洗方法，包括如下步骤：

步骤s1：向企业内部数据源添加数据库触发器；

步骤s2：数据库触发器中复制更新数据，生成原始企业数据；

步骤s3：对原始企业数据进行预处理；

步骤s4：将预处理后的数据生成数据抽取队列；

步骤s5：建立数据抽取逻辑模型信息，以获取模型关联关系信息；

步骤s6：根据模型关联信息生成数据抽取配置信息；

步骤s7：根据数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本；

步骤s8：对全量抽取脚本进行迭代运算以确定全量抽取脚本调度的依赖关系并生成调度文件；

步骤s9：根据调度文件并行调度全量抽取脚本抽取数据抽取队列；

步骤s10：对抽取的数据进行清洗获取有效数据。

其中，步骤s1中，数据库触发器部署在企业管理数据库中；数据库触发器用于在企业管理数据库的数据发生变更时，记录数据变更信息发送至内部大数据平台，或者依据设定的时间间隔从企业管理数据库中抽取更新数据，发送至大数据平台。

其中，步骤s3中，预处理包括数据抽取、数据转换和数据加载；

数据抽取，用于将原始企业数据对应的各个数据源抽取到预设的临时存储区域，获取数据抽取数据，数据抽取数据包括全量抽取和增量抽取数据；

数据转换，用于将数据抽取数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位，获取数据转换数据；

数据加载，用于按预设物理和逻辑模型定义从预设临时存储区域加载到预设目标数据库，获取数据加载数据。

其中，步骤s5中，建立数据抽取逻辑模型时，需要先查找符合预定规则的模型主题，并根据符合预定规则的模型主题获取相应的物理表。

其中，步骤s6中，模型关联关系信息生成样本数据抽取配置信息包括：根据的模型关联关系信息对业务实体进行分类；根据分类的业务实体分别生成样本数据抽取配置信息。

其中，步骤s7中，根据的样本数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本包括：根据预先设置的抽取参数确定物理表的样本抽取逻辑；结合样本数据抽取配置信息和物理表的样本抽取逻辑生成全量抽取脚本。

其中，步骤s8中，若全量抽取脚本数据失败，则记录失败的信息，并根据失败信息重新生成全量抽取脚本，对重新生成的全量抽取脚本进行迭代运算以确定新的依赖关系；根据新的依赖关系生成基于有向图数据结构的新调度文件；根据新调度文件并行调度重新生成的全量抽取脚本以重新获取样本数据。

其中，步骤s9中，通过大数据的分析技术根据预设的清洗策略对不同类型的企业数据进行清洗，并将清洗后的数据导出并存储；大数据的分析技术包括数据清洗模块、清洗数据导出模块和清洗数据存储模块；数据清洗模块，用于预设的清洗策略对不同类型的企业数据进行数据清洗，得到经数据清洗后的企业数据；清洗数据导出模块，连接数据清洗模块，用于提供给用户导出清洗后的企业数据；清洗数据存储模块，连接数据清洗模块，用于存储清洗后的企业数据。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。