一种基于历史数据集的工业实时数据仓库及其构建方法与流程

本发明属于数据处理，具体涉及一种基于历史数据集的工业实时数据仓库及其构建方法。

背景技术：

1、已有的工业数据仓库的构建过程，由于不同行业、生产模式、管理模式存在差异，会导致在数据仓库建模与数据抽取、转换、加载的研发过程中需要做大量工作。同时，由于工业生产的需要，工业产品的追溯也需要大量的历史数据支撑，这类历史数据如何生成、保存，通常也需要针对不同的数据结构做不同的设计，导致需要做大量工作。

技术实现思路

1、本发明提供一种基于历史数据集的工业实时数据仓库及其构建方法，能够高效的构建数据仓库的模型，并提供对数据仓库的数据进行异构与加载的方法。

2、本发明通过下述技术方案实现：

3、一方面，本发明提供一种基于历史数据集的工业实时数据仓库构建方法，包括以下步骤：对历史数据集进行定义；基于历史数据集定义，构建工业数据仓库原始数据层；基于历史数据集定义，构建dv模型的数据仓库明细数据层；基于历史数据集定义，生成数据仓库原始数据层到数据仓库明细数据层的实时数据装载数据流。

4、在其中一些实施例中，对历史数据集进行定义包括：定义历史数据集的唯一标识；唯一标识为通用唯一识别码uuid类型；定义级别标识，用于确定不同历史数据在历史数据集中的级别；定义业务表名，用于将业务功能与表名对应；定义业务主键，定义业务表的业务唯一属性；定义业务关联键，定义业务表中不同级别建关联；定义初始化标记，用于标记基于历史数据集生成的实例是否需要进行初始化数据加载的信息；定义排除属性，用于在数据采集中，排除一组业务中不需要的属性；定义数据来源，用于指定历史数据集来源的系统和/或服务；定义拓展数据，用于提供数据仓库明细数据层建模的字段。

5、在其中一些实施例中，基于历史数据集定义，构建工业数据仓库原始数据层包括：在业务处理过程中，对业务处理的数据对象进行数据获取；根据获取的数据，判断业务处理的类型，针对不同类型拆分出业务处理的表名，基于该表名，在历史数据集定义中查询；当该表名存在历史数据集定义，则结合历史数据集定义与操作类型，封装生成变更数据，并保存至变更数据暂存区。在业务执行结束时，判断执行结果；当执行结果为执行成功时，通知变更数据暂存区将保存的变更数据发送至数据仓库原始数据层。数据仓库原始数据层将变更数据暂存区发送过来的变更数据进行存储。

6、在其中一些实施例中，数据仓库原始数据层存储数据的方法包括：更新历史数据，用最新的记录数据对相同定义id的数据进行覆盖；记录本次操作数据，对本次操作历史数据与历史数据最新记录数据进行对比，产生差异数据后，保存为本次操作历史数据。

7、在其中一些实施例中，数据仓库原始数据层存储数据的方法中，采用json格式进行数据的记录，记录的数据内容包括属性名与值的键值对结构。

8、在其中一些实施例中，在在业务执行结束时，判断执行结果之后，还包括以下步骤：当执行结果为失败时，将变更数据暂存区保存的变更数据清除。

9、在其中一些实施例中，基于历史数据集定义，构建dv模型的数据仓库明细数据层包括：基于历史数据集定义，构建中心表；基于历史数据集定义，构建链接表；基于历史数据集定义，构建附属表；得到数据仓库明细数据层。

10、在其中一些实施例中，基于历史数据集定义，生成数据仓库原始数据层到数据仓库明细数据层的实时数据装载数据流，包括：获取数据仓库原始数据层中新增的操作历史记录行；将获取记录行的操作记录经过处理，转换为json格式；将经处理后的操作记录发送到数据仓库明细数据层中。

11、在其中一些实施例中，捕获数据仓库原始数据层中新增的操作历史记录行包括：将数据仓库原始数据层中的操作历史数据结构与历史数据最新记录数据结构，结合实时数据捕获，捕获数据仓库原始数据层中新增的操作历史记录行；其中，实时数据捕获可采用canal，databus，debezium中的一种或多种。

12、另一方面，本申请提供一种基于历史数据集的工业实时数据仓库，基于上述实施例中任一项的基于历史数据集的工业实时数据仓库构建方法构建而成的。

13、本发明与现有技术相比，具有以下优点及有益效果：

14、1.本发明通过历史数据集定义，统一工业产品历史数据的存储格式，简化数据仓库原始数据层的数据结构设计；

15、2.本发明通过结合历史数据集定义与数据仓库原始数据层中的统一数据结构，可直接转化为有规则的基于dv模型的数据仓库数据仓库明细数据层；

16、3.本发明提供一种方法，使以上通过历史数据集定义构建的规范的数据仓库原始数据层与数据仓库明细数据层之间，可以按规则生成实时数据装载数据流；

17、4.本发明通过历史数据来构建工业数据仓库的方法可以极大提高工业数据仓库的构建和工业产品的追溯工作的效率。

技术特征：

1.一种基于历史数据集的工业实时数据仓库构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，所述对历史数据集进行定义包括：

3.根据权利要求2所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，所述基于历史数据集定义，构建工业数据仓库原始数据层包括：

4.根据权利要求3所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，所述数据仓库原始数据层存储数据的方法包括：

5.根据权利要求4所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，所述数据仓库原始数据层存储数据的方法中，采用json格式进行数据的记录，记录的数据内容包括属性名与值的键值对结构。

6.根据权利要求3所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，在所述在业务执行结束时，判断执行结果之后，还包括以下步骤：

7.根据权利要求2所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，所述基于历史数据集定义，构建dv模型的数据仓库明细数据层包括：

8.根据权利要求2所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，所述基于历史数据集定义，生成数据仓库原始数据层到数据仓库明细数据层的实时数据装载数据流，包括：

9.根据权利要求2所述的基于历史数据集的工业实时数据仓库构建方法，其特征在于，所述捕获数据仓库原始数据层中新增的操作历史记录行包括：将数据仓库原始数据层中的操作历史数据结构与历史数据最新记录数据结构，结合实时数据捕获，捕获数据仓库原始数据层中新增的操作历史记录行；其中，实时数据捕获可采用canal，databus，debezium中的一种或多种。

10.一种基于历史数据集的工业实时数据仓库，其特征在于，基于权利要求1至9任一项所述的基于历史数据集的工业实时数据仓库构建方法构建而成的。

技术总结
本发明公开了一种基于历史数据集的工业实时数据仓库及其构建方法，属于数据处理技术领域，能够高效的构建数据仓库的模型，并提供对数据仓库的数据进行异构与加载的方法。一种基于历史数据集的工业实时数据仓库构建方法，包括以下步骤：对历史数据集进行定义；基于历史数据集定义，构建工业数据仓库原始数据层；基于历史数据集定义，构建DV模型的数据仓库明细数据层；基于历史数据集定义，生成数据仓库原始数据层到数据仓库明细数据层的实时数据装载数据流。本发明通过历史数据集定义，统一工业产品历史数据的存储格式，简化数据仓库原始数据层的数据结构设计。

技术研发人员：张思俊,陈欣,黄勇,陈吉鑫,华越
受保护的技术使用者：中电九天智能科技有限公司
技术研发日：
技术公布日：2024/1/13