一种基于Flink的工业实时数据仓库系统的制作方法

本发明属于工业互联网，尤其涉及一种基于flink的工业实时数据仓库系统。

背景技术：

1、伴随着工业互联网的快速发展，在工业领域，对于数据仓库的使用也变得较为普遍。通过数据仓库，可以对各个业务系统的海量数据进行有效存储，以备后续使用。

2、但是，随着工业互联网的发展，工业领域的业务变得越来越复杂，在实时数据方面的诉求也越来越紧迫。因此，如何快速有效地获取有价值、稳定的实时数据，以帮助业务更好地进行产品迭代和支持运营及策略调整，变得越来越重要和紧迫。然而，传统的数据仓库却能只支持结构化数据，而且缺乏实时分析能力。

3、因此，怎样解决传统数据仓库数据时效性低，数据难以利用的问题，成为当前亟待解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明提供了一种基于flink的工业实时数据仓库系统，可以解决传统数据仓库数据时效性低，数据难以利用的问题。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、一种基于flink的工业实时数据仓库系统，包括数据接入层、数据仓库层、数据集市层和数据应用层；

4、数据接入层包括数据接入单元和预处理单元；接入单元用于通过flink实时接入外部数据；预处理单元用于对接入的外部数据进行预处理，得到仓储数据；数据仓库层用于存储仓储数据；

5、数据集市层包括组织单元和查询单元，组织单元用于按照预设的主题的数据组织方式组织仓储数据，建立对应的数据模型；查询单元用于按照主题进行数据查询；

6、数据应用层包括分析处理单元、应用存储单元和应用发布单元；分析处理单元用于按照预设的数据处理方式对对应的仓储数据进行分析处理，得到对应的应用数据；应用存储单元用于存储应用数据；应用发布单元用于通过api的形式对外发布应用数据。

7、基础方案原理及有益效果：

8、使用本系统，数据接入单元的接入单元通过flink实时接入外部数据后，预处理单元会对接入的外部数据进行预处理（如清洗、转换等）后，将得到的仓储单元存储在数据仓库层中。与其他技术相比，flink具有快速、分布式、高吞吐量及高可用等特点，可以保证外部数据接入的有效性及效率性。

9、之后，数据集市层的组织单元会按照预设的主题组织仓储数据，建立对应的数据模型。当工作人员需要知晓某个主题的数据时，便可以通过查询单元进行相应的查询。

10、除此，数据应用层的分析处理单元还会按照预设的数据处理方式对对应的仓储数据进行分析处理，得到对应的应用数据，并由应用存储单元进行存储，由应用发布单元通过api的形式对外发布应用数据。这样，工作人员只需要根据需求设置好对应的数据处理方式，后续便可以直接获取到对应的应用数据。

11、通过这样的范式，可以实现工业数据的实时接入和分析，提升工业数据的使用效果，如实时分析、实时数据看板、实时业务监测等，指导高效生产。

12、综上，本发明可以解决传统数据仓库数据时效性低，数据难以利用的问题。

13、优选地，数据应用层还包括处理设置单元，用于根据需求设置对应的数据处理模型；分析处理单元还用于根据设置的数据处理模型，使用对应的仓储数据进行处理，得到对应的应用数据。

14、这样，在系统的使用过程中，工作人员可以根据当前的实际需求设置对应的数据处理模型，以得到需要的应用数据，从而更好的发挥数据仓库系统中仓储数据的作用。

15、优选地，所述数据仓库层包括多个存储单元；每个存储单元对应一种预设的存储类别，用于存储对应的仓储数据。

16、这样，可以对仓储数据进行更好的存储管理，同时也可以使数据集市层以及数据应用层对更加方便准确的使用需要的仓储数据。

17、优选地，数据集市层还包括数据主题设置单元，用于根据需求设置相应的主题及对应的数据组织方式。

18、这样，当出现新的数据主题需求时，工作人员可以快速完成相应的设置，后续能够实时得到对应主题的数据模型，以便工作人员进行查询使用。

19、优选地，所述接入的外部数据包括业务数据、生产数据和日志数据。

20、这样，可以保证后续仓储数据的完整充分性，从而保证数据集市层以及数据应用层的存储数据处理结果的有效性。

21、优选地，预处理单元对接入的外部数据进行预处理时，所述预处理包括数据清洗及格式转换。

22、这样，可以保证仓储数据的有效性，同时便于保证数据集市层以及数据应用层的处理处理。

技术特征：

1.一种基于flink的工业实时数据仓库系统，其特征在于：包括数据接入层、数据仓库层、数据集市层和数据应用层；

2.如权利要求1所述的基于flink的工业实时数据仓库系统，其特征在于：数据应用层还包括处理设置单元，用于根据需求设置对应的数据处理模型；分析处理单元还用于根据设置的数据处理模型，使用对应的仓储数据进行处理，得到对应的应用数据。

3.如权利要求2所述的基于flink的工业实时数据仓库系统，其特征在于：所述数据仓库层包括多个存储单元；每个存储单元对应一种预设的存储类别，用于存储对应的仓储数据。

4.如权利要求3所述的基于flink的工业实时数据仓库系统，其特征在于：数据集市层还包括数据主题设置单元，用于根据需求设置相应的主题及对应的数据组织方式。

5.如权利要求1所述的基于flink的工业实时数据仓库系统，其特征在于：所述接入的外部数据包括业务数据、生产数据和日志数据。

6.如权利要求1所述的基于flink的工业实时数据仓库系统，其特征在于：预处理单元对接入的外部数据进行预处理时，所述预处理包括数据清洗及格式转换。

技术总结
本发明属于工业互联网技术领域，尤其涉及一种基于Flink的工业实时数据仓库系统，包括数据接入层、数据仓库层、数据集市层和数据应用层；数据接入层包括数据接入单元和预处理单元；接入单元用于通过Flink实时接入外部数据；预处理单元用于对接入的外部数据进行预处理，得到仓储数据；数据仓库层用于存储仓储数据；数据集市层包括组织单元和查询单元，组织单元用于按照预设的主题的数据组织方式组织仓储数据，建立对应的数据模型；查询单元用于按照主题进行数据查询；数据应用层包括分析处理单元，分析处理单元用于按照预设的数据处理方式对对应的仓储数据进行分析处理。本发明可以解决传统数据仓库数据时效性低，数据难以利用的问题。

技术研发人员：吕庆,卢仁谦,王立东,江虹锋,张芷馨
受保护的技术使用者：重庆忽米网络科技有限公司
技术研发日：
技术公布日：2024/2/1