一种油料数据链映射清洗的方法与流程

本发明涉及数据转换清洗技术领域，尤其涉及一种油料数据链映射清洗的方法。

背景技术：

由于油料监测设备（如：液位计、温度计、流量计等）生产厂商众多，各个厂商的设备对外提供的数据格式和内容均存在不统一的情况，现有的信息采集系统在进行信息采集时，都需要针对各个厂商的不同数据格式和内容进行单独的定制，无法做到通用化的处理。因此，提供一种能够适配各个油料监测设备厂商的油料数据链映射清洗方法就很有必要。

技术实现要素：

本发明的目的在于提供一种油料数据链映射清洗的方法，能够对各个设备厂商的数据进行通用化处理。

为实现上述目的，本发明提供了一种油料数据链映射清洗的方法，包括：

根据数据映射规则配置对获取的数据源进行数据转换；

对转换后的数据按照配置的数据清洗规则进行数据的清洗；

结合数据总线传输过程中的异常数据，建立目标数据库。

其中，所述方法还包括：

根据数据映射规则和数据清洗规则对油料数据链进行配置，并根据实时获取的数据源类型进行自动适配连接后，根据数据的读取规则进行自动数据的抽取。

其中，所述根据数据映射规则配置对获取的数据源进行数据转换，包括：

根据所述数据源对应的应用系统代码配置、所述数据源与目标数据表的映射关系配置和所述数据源项与目标数据表字段以及对应的类型映射关系配置，将所述数据源转换为所述目标数据表的对应字段信息。

其中，所述对转换后的数据按照配置的数据清洗规则进行数据的清洗，包括：

根据获取的数据清洗规则，删除转换后的数据中的重复数据和空值后，判断数据是否缺少数值，并将缺值数据标记后进行数据类型的转换。

其中，所述对转换后的数据按照配置的数据清洗规则进行数据的清洗，还包括：

根据获取的数据格式对转换后的数据类型进行规范后，对字符编码进行转换，并进行关联性验证。

其中，所述结合数据总线传输过程中的异常数据，建立目标数据库，包括：

根据设定的数据格式利用数据总线进行数据的传输，并对传输过程中的异常数据进行记录和保存，并对所述异常数据进行重放，建立目标数据库。

本发明的一种油料数据链映射清洗的方法，首先根据数据映射规则和数据清洗规则对油料数据链进行配置，配置完成后，根据实时获取的数据源类型进行自动数据的抽取；然后根据数据映射规则配置将获取的数据源转换为所述目标数据表的对应字段信息；并对转换后的数据按照配置的数据清洗规则进行数据的清洗；根据设定的数据格式利用数据总线进行数据的传输，并对传输过程中的异常数据进行记录和保存，并对所述异常数据进行重放，建立目标数据库，能够对各个设备厂商的数据进行通用化处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种油料数据链映射清洗的方法的步骤示意图。

图2是本发明提供的一种油料数据链映射清洗的方法的流程图。

图3是本发明提供的数据清洗流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供一种油料数据链映射清洗的方法，包括：

s101、根据数据映射规则配置对获取的数据源进行数据转换。

具体的，根据数据映射规则和数据清洗规则对油料数据链进行配置，在进行数据收集前进行数据映射规则配置和数据清洗规则配置，为了在进行数据转换和数据处理过程中自动进行数据转换，而不需要进行人工干预，提高数据转换和清洗的速度，并根据实时获取的数据源类型进行自动适配连接后，根据数据的读取规则进行自动数据的抽取，其中，所述数据源可以为储油监测数据和第三方数据。在数据映射规则和数据清洗规则配置完成后，通过配置实现对数据源的数据进行实时的收集，在进行配置时无需进行编码，只需要配置源数据类型和对应的读写规则。该方法能够读取的数据源包括单不限于：关系型数据库（如：oracle、sqlserver、mysql等）、非关系型数据库（hbase、mongodb等）、office办公文件、格式化文本（xml文件、csv文件，json格式文件等）。

然后根据所述数据源对应的应用系统代码配置、所述数据源与目标数据表的映射关系配置和所述数据源项与目标数据表字段以及对应的类型映射关系配置，即根据数据映射规则配置自动将所述数据源转换为所述目标数据表的对应字段信息，按照设定的数据映射规则进行数据的转换，可以将各个设备厂商的数据转换为统一的数据格式，方便进行通用化处理。

s102、对转换后的数据按照配置的数据清洗规则进行数据的清洗。

具体的，根据获取的数据清洗规则，如图3所示，删除转换后的数据中的重复数据和空值后，判断数据是否缺少数值，并将缺值数据标记后进行数据类型的转换，可以有效减少错误数据的影响，并且将缺值数据进行标记，可以方便后续对所述缺值数据的查找和修改，并将所有的数据类型转换为统一类型，方便后续的数据格式的统一；然后根据获取的数据格式对转换后的数据类型进行规范后，对字符编码进行转换，并进行关联性验证以及异常数据检测与处理，能够有效保证唯一准确的数据进入目标数据库，方便进行通用化处理。

s103、结合数据总线传输过程中的异常数据，建立目标数据库。

具体的，根据设定的数据格式利用数据总线进行数据的传输，其中在数据收集、映射转换以及清理处理过程中，每个处理过程的数据通过数据总线传递至下一处理过程，数据总线会记录未处理过的数据，若在数据收集、映射转换以及清理处理过程中的任何一个或多个处理过程出现异常，均不会影响未被处理过的数据。数据总线中传输的数据统一使用专有的数据格式进行封装，各个处理过程接收到数据总线中的数据后，按照专有数据格式的进行解析，保证传输数据的唯一性，便于进行通用化处理。

当数据收集、映射转换以及清理处理过程中的任何一个处理过程出现异常时，会通过各种方式对系统管理人员进行提示，以便及时发现问题和解决问题，并对传输过程中的异常数据以及正在处理的数据进行记录和保存，系统管理人员可根据处理异常记录中记录的数据进行分析后，调整相关的数据映射或数据清洗规则，并对所述异常数据进行重放，建立目标数据库，可以有效避免出现数据遗漏，保证数据的完整，并且能够针对各个设备厂商的数据进行快速实施部署。

如图2所提供的油料数据链映射清洗的方法的流程示意图所示，在进行数据收集前，先进行元数据映射配置和数据清洗规则配置，当配置完成后，对储油监测数据和第三方数据进行实时的数据收集，然后根据数据映射配置对收集的数据进行数据转换，得到目标数据库对应的数据表格式的数据；然后，根据数据清洗规则配置对完成数据转换的数据进行数据清洗和过滤等处理来保证数据的完整性、全面性、合法性和唯一性，将唯一准确的数据导入到建立的目标数据库中，并且在数据收集、数据转换和数据清洗过程中，每个处理过程的数据通过数据总线传递至下一处理过程，能够对各个设备厂商的数据进行通用化处理和快速实施部署。

本发明的一种油料数据链映射清洗的方法，首先根据数据映射规则和数据清洗规则对油料数据链进行配置，配置完成后，根据实时获取的数据源类型进行自动数据的抽取；然后根据数据映射规则配置将获取的数据源转换为目标数据表的对应字段信息；并对转换后的数据按照配置的数据清洗规则进行数据的清洗；根据设定的数据格式利用数据总线进行数据的传输，并对传输过程中的异常数据进行记录和保存，并对所述异常数据进行重放，建立目标数据库，能够对各个设备厂商的数据进行通用化处理。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。