一种油料数据链映射清洗的方法与流程

文档序号:22313661发布日期:2020-09-23 01:34阅读:来源:国知局

技术特征:

1.一种油料数据链映射清洗的方法,其特征在于,包括:

根据数据映射规则配置对获取的数据源进行数据转换;

对转换后的数据按照配置的数据清洗规则进行数据的清洗;

结合数据总线传输过程中的异常数据,建立目标数据库。

2.如权利要求1所述的一种油料数据链映射清洗的方法,其特征在于,所述方法还包括:

根据数据映射规则和数据清洗规则对油料数据链进行配置,并根据实时获取的数据源类型进行自动适配连接后,根据数据的读取规则进行自动数据的抽取。

3.如权利要求2所述的一种油料数据链映射清洗的方法,其特征在于,所述根据数据映射规则配置对获取的数据源进行数据转换,包括:

根据所述数据源对应的应用系统代码配置、所述数据源与目标数据表的映射关系配置和所述数据源项与目标数据表字段以及对应的类型映射关系配置,将所述数据源转换为所述目标数据表的对应字段信息。

4.如权利要求3所述的一种油料数据链映射清洗的方法,其特征在于,所述对转换后的数据按照配置的数据清洗规则进行数据的清洗,包括:

根据获取的数据清洗规则,删除转换后的数据中的重复数据和空值后,判断数据是否缺少数值,并将缺值数据标记后进行数据类型的转换。

5.如权利要求4所述的一种油料数据链映射清洗的方法,其特征在于,所述对转换后的数据按照配置的数据清洗规则进行数据的清洗,还包括:

根据获取的数据格式对转换后的数据类型进行规范后,对字符编码进行转换,并进行关联性验证。

6.如权利要求5所述的一种油料数据链映射清洗的方法,其特征在于,所述结合数据总线传输过程中的异常数据,建立目标数据库,包括:

根据设定的数据格式利用数据总线进行数据的传输,并对传输过程中的异常数据进行记录和保存,并对所述异常数据进行重放,建立目标数据库。


技术总结
本发明公开了一种油料数据链映射清洗的方法,首先根据数据映射规则和数据清洗规则对油料数据链进行配置,配置完成后,根据实时获取的数据源类型进行自动数据的抽取;然后根据数据映射规则配置将获取的数据源转换为所述目标数据表的对应字段信息;并对转换后的数据按照配置的数据清洗规则进行数据的清洗;根据设定的数据格式利用数据总线进行数据的传输,并对传输过程中的异常数据进行记录和保存,并对所述异常数据进行重放,建立目标数据库,能够对各个设备厂商的数据进行通用化处理。

技术研发人员:杨云涛;谭文斌;郭江丽
受保护的技术使用者:智强通达科技(北京)有限公司
技术研发日:2020.05.25
技术公布日:2020.09.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1