一种面向企业的MES数据抽取和清洗方法与流程

文档序号:26102405发布日期:2021-07-30 18:13阅读:来源:国知局

技术特征:

1.一种面向企业的mes数据抽取和清洗方法,其特征在于,包括如下步骤:

步骤s1:向企业内部数据源添加数据库触发器;

步骤s2:数据库触发器中复制更新数据,生成原始企业数据;

步骤s3:对原始企业数据进行预处理;

步骤s4:将预处理后的数据生成数据抽取队列;

步骤s5:建立数据抽取逻辑模型信息,以获取模型关联关系信息;

步骤s6:根据模型关联信息生成数据抽取配置信息;

步骤s7:根据数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本;

步骤s8:对全量抽取脚本进行迭代运算以确定全量抽取脚本调度的依赖关系并生成调度文件;

步骤s9:根据调度文件并行调度全量抽取脚本抽取数据抽取队列;

步骤s10:对抽取的数据进行清洗获取有效数据。

2.根据权利要求1所述的一种面向企业的mes数据抽取和清洗方法,其特征在于,所述步骤s1中,数据库触发器部署在企业管理数据库中;所述数据库触发器用于在企业管理数据库的数据发生变更时,记录数据变更信息发送至内部大数据平台,或者依据设定的时间间隔从企业管理数据库中抽取更新数据,发送至大数据平台。

3.根据权利要求1所述的一种面向企业的mes数据抽取和清洗方法,其特征在于,所述步骤s3中,预处理包括数据抽取、数据转换和数据加载;

所述数据抽取,用于将原始企业数据对应的各个数据源抽取到预设的临时存储区域,获取数据抽取数据,所述数据抽取数据包括全量抽取和增量抽取数据;

所述数据转换,用于将数据抽取数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位,获取数据转换数据;

所述数据加载,用于按预设物理和逻辑模型定义从预设临时存储区域加载到预设目标数据库,获取数据加载数据。

4.根据权利要求1所述的一种面向企业的mes数据抽取和清洗方法,其特征在于,所述步骤s5中,建立数据抽取逻辑模型时,需要先查找符合预定规则的模型主题,并根据符合预定规则的模型主题获取相应的物理表。

5.根据权利要求1所述的一种面向企业的mes数据抽取和清洗方法,其特征在于,所述步骤s6中,模型关联关系信息生成样本数据抽取配置信息包括:根据所述的模型关联关系信息对业务实体进行分类;根据分类的业务实体分别生成样本数据抽取配置信息。

6.根据权利要求1所述的一种面向企业的mes数据抽取和清洗方法,其特征在于,所述步骤s7中,根据所述的样本数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本包括:根据预先设置的抽取参数确定物理表的样本抽取逻辑;结合样本数据抽取配置信息和物理表的样本抽取逻辑生成全量抽取脚本。

7.根据权利要求1所述的一种面向企业的mes数据抽取和清洗方法,其特征在于,所述步骤s8中,若全量抽取脚本数据失败,则记录失败的信息,并根据失败信息重新生成全量抽取脚本,对重新生成的全量抽取脚本进行迭代运算以确定新的依赖关系;根据新的依赖关系生成基于有向图数据结构的新调度文件;根据新调度文件并行调度重新生成的全量抽取脚本以重新获取样本数据。

8.根据权利要求1所述的一种面向企业的mes数据抽取和清洗方法,其特征在于,所述步骤s9中,通过大数据的分析技术根据预设的清洗策略对不同类型的企业数据进行清洗,并将清洗后的数据导出并存储;所述大数据的分析技术包括数据清洗模块、清洗数据导出模块和清洗数据存储模块;所述数据清洗模块,用于预设的清洗策略对不同类型的企业数据进行数据清洗,得到经数据清洗后的企业数据;所述清洗数据导出模块,连接数据清洗模块,用于提供给用户导出清洗后的企业数据;所述清洗数据存储模块,连接数据清洗模块,用于存储清洗后的企业数据。


技术总结
本发明公开了一种面向企业的MES数据抽取和清洗方法,涉及企业数据管理技术领域。本发明包括如下步骤:向企业内部数据源添加数据库触发器;数据库触发器中复制更新数据,生成原始企业数据;对原始企业数据进行预处理;将预处理后的数据生成数据抽取队列;建立数据抽取逻辑模型信息,以获取模型关联关系信息;根据模型关联信息生成数据抽取配置信息;根据数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本;对全量抽取脚本进行迭代运算以确定全量抽取脚本调度的依赖关系并生成调度文件;根据调度文件并行调度全量抽取脚本抽取数据抽取队列;对抽取的数据进行清洗获取有效数据。本发明提高了企业的数据管理效率,降低了企业管理成本。

技术研发人员:岳建平;郑周军;薛勇;张弛;龙伟;魏鸿飞;鲁鑫;刘华国;黄衍;杨磊;靳小林
受保护的技术使用者:重庆高新技术产业研究院有限责任公司;成都中创一佳科技有限公司
技术研发日:2021.05.26
技术公布日:2021.07.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1