多源工业大数据管理方法及系统与流程

1.本发明涉及大数据管理技术领域，具体地，涉及多源工业大数据管理方法及系统，更为具体地，涉及多源工业大数据管理的设计方法及实现。


背景技术：

2.专利文献cn110266533a(申请号：201910527509.4)公开了一种大数据平台管理系统，包括大数据收集处理模块、应用支撑服务模块、云基础设施模块和平台管理模块，通过对各个数据中心的数据进行汇总、建模、分析和呈现，并针对大数据分析处理平台做出综合评估并定制的各类视图，为用户直观展现所关心各类指标，实现各个数据中心的互联互通和信息交互，实现大数据的自动化汇总、建模、分析和呈现，充分展示了大数据信息。该专利的这种主被切换式应用服务保障方法，其虽然能够支持切换后业务持续进行，但却不能保障切换过程当中业务请求不丢失。
3.目前众多实时性的业务应用交易量和交易速度非常快，当故障发生时，在应用服务器切换动作过程当中，这个时间窗口内持续的业务交易请求往往得不到处理。也就是说，这种双机热备或者其他冗余方式，在切换过程当中不可避免地会丢失一部分业务的处理，导致业务失败，以及应用服务后台对此进行的弥补处理。


技术实现要素：

4.针对现有技术中的缺陷，本发明的目的是提供一种多源工业大数据管理方法及系统。
5.根据本发明提供的一种多源工业大数据管理方法，包括：
6.步骤s1：通过统一的管理页面中配置不同类型的数据源及相关的详细信息实现对多源数据进行统一管理并通过统一接口访问；
7.步骤s2：将不同类型数据源的数据进行组合及封装，并对外提供统一的访问接口。
8.优选地，所述管理页面包括：机组信息配置页面和字段配置页面；
9.在机组信息配置页面中配置包括时序型数据和关系型数据不同类型的数据源；并在统一管理页面中对不同类型的数据源进行增删改查的操作；
10.所述字段配置页面是对数据源中预设字段进行配置，实现更精细化配置。
11.优选地，时序型数据和关系型数据均需配置机组号、数据源连接地址、用户名以及密码；同时，时序型数据和关系型数据根据每类数据源的特性，存在不同的配置项。
12.所述机组号表示数据源在当前机组下使用，视为数据源的标识；
13.优选地，通过机组信息配置页面利用机组号对数据源进行过滤。
14.优选地，所述字段配置页面采用：
15.步骤s3：通过机组号少选并锁定具体的数据源；
16.步骤s4：根据锁定的数据源配置数据源字段的映射关系。
17.优选地，在所述字段映射关系中：支持从外部导入excel文件生成，同时支持将配
置好的字段映射关系导出为excel文件，且支持在客户端中重复使用。
18.优选地，所述步骤s2中，构建能够融合不同类型数据源数据的数据模型，实现多源数据建模；
19.多源数据建模采用：配置模板目录、模板、模板属性、对象目录、对象、对象属性以及对象数据源；
20.所述对象是模板的实例化；所述模板是提取一类对象的共有特征；所述模板目录是对模板进行归档。
21.优选地，所述步骤s2采用：
22.步骤s2.1：配置模板目录，通过模板目录对模板进行归档；
23.步骤s2.2：根据模板目录中的节点，配置当前节点下的模板，当模板配置完成后，配置当前模板下的模板属性；
24.步骤s2.3：配置对象目录，选择目录节点并根据目录节点选择模板创建对象；
25.步骤s2.4：配置多种类型的数据源；
26.步骤s2.5：根据对象所绑定模板的模板属性生成对应的对象属性，且对象属性名称、对象属性点类型与对应模板属性的模板属性名称、模板属性字段类型相同，而对象属性点名、数据源名称、查询参数则自行配置；
27.所述模板属性包括模板属性名称、模板属性描述以及模板属性字段类型。
28.优选地，所述步骤s2.4采用：配置包括实时性数据、关系型数据以及时序性数据的数据源；
29.配置对象属性时，当属性绑定的数据源是实时型数据源时，则需要在对象属性中选择tag点；当数据源是关系型数据时，则需要在对象属性中配置sql语句，以确定当前属性绑定的关系型数据表的字段；当数据源是时序型数据，则需要在对象属性中选择当前属性绑定的时序型数据表的字段。
30.根据本发明提供的一种多源工业大数据管理系统，包括：
31.模块m1：通过统一的管理页面中配置不同类型的数据源及相关的详细信息实现对多源数据进行统一管理并通过统一接口访问；
32.模块m2：将不同类型数据源的数据进行组合及封装，并对外提供统一的访问接口。
33.与现有技术相比，本发明具有如下的有益效果：
34.1、本发明通过将不同源数据的共同特性提炼出来，将他们的配置界面融合在一起，解决了不同类型数据源的配置效率低的问题；
35.2、本发明通过支持配置多源数据的具体字段映射关系，在不改变原始数据源结构的前提下，加强了数据源的可扩展性，扩大了数据源的适用范围，增加了数据源的使用场景；
36.3、本发明在真实的工业生产环境中，边缘端的数据来源很多，类型也各不相同，但在实际使用这些数据时，往往需要的不是单一类型、单一来源的数据，而是组合使用，通过支持在同一个模型中绑定多种不同类型的工业数据，解决了数据模型使用场景单一，适用面窄的问题。
附图说明
37.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
38.图1为多源数据配置流程图。
39.图2为配置字段映射关系流程图。
40.图3为多源数据建模流程图。
具体实施方式
41.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
42.实施例1
43.根据本发明提供的一种多源工业大数据管理方法，如图1至3所示，包括：
44.步骤s1：通过统一的管理页面中配置不同类型的数据源及相关的详细信息实现对多源数据进行统一管理并通过统一接口访问；
45.步骤s2：将不同类型数据源的数据进行组合及封装，并对外提供统一的访问接口。
46.具体地，所述管理页面包括：机组信息配置页面和字段配置页面；
47.在机组信息配置页面中配置包括时序型数据和关系型数据不同类型的数据源；并在统一管理页面中对不同类型的数据源进行增删改查的操作；
48.所述字段配置页面是对数据源中预设字段进行配置，实现更精细化配置。
49.具体地，时序型数据和关系型数据均需配置机组号、数据源连接地址、用户名以及密码；同时，时序型数据和关系型数据根据每类数据源的特性，存在不同的配置项。
50.所述机组号表示数据源在当前机组下使用，视为数据源的标识；
51.具体地，通过机组信息配置页面利用机组号对数据源进行过滤。
52.具体地，所述字段配置页面采用：
53.步骤s3：通过机组号筛选并锁定具体的数据源；
54.步骤s4：根据锁定的数据源配置数据源字段的映射关系。
55.具体地，在所述字段映射关系中：支持从外部导入excel文件生成，同时支持将配置好的字段映射关系导出为excel文件，且支持在客户端中重复使用。
56.具体地，所述步骤s2中，构建能够融合不同类型数据源数据的数据模型，实现多源数据建模；
57.多源数据建模采用：配置模板目录、模板、模板属性、对象目录、对象、对象属性以及对象数据源；
58.所述对象是模板的实例化；所述模板是提取一类对象的共有特征；所述模板目录是对模板进行归档。
59.具体地，所述步骤s2采用：
60.步骤s2.1：配置模板目录，通过模板目录对模板进行归档；
61.步骤s2.2：根据模板目录中的节点，配置当前节点下的模板，当模板配置完成后，
配置当前模板下的模板属性；
62.步骤s2.3：配置对象目录，选择目录节点并根据目录节点选择模板创建对象；
63.步骤s2.4：配置多种类型的数据源；
64.步骤s2.5：根据对象所绑定模板的模板属性生成对应的对象属性，且对象属性名称、对象属性点类型与对应模板属性的模板属性名称、模板属性字段类型相同，而对象属性点名、数据源名称、查询参数则自行配置；
65.所述模板属性包括模板属性名称、模板属性描述以及模板属性字段类型。
66.具体地，所述步骤s2.4采用：配置包括实时性数据、关系型数据以及时序性数据的数据源；
67.配置对象属性时，当属性绑定的数据源是实时型数据源时，则需要在对象属性中选择tag点；当数据源是关系型数据时，则需要在对象属性中配置sql语句，以确定当前属性绑定的关系型数据表的字段；当数据源是时序型数据，则需要在对象属性中选择当前属性绑定的时序型数据表的字段。
68.根据本发明提供的一种多源工业大数据管理系统，包括：
69.模块m1：通过统一的管理页面中配置不同类型的数据源及相关的详细信息实现对多源数据进行统一管理并通过统一接口访问；
70.模块m2：将不同类型数据源的数据进行组合及封装，并对外提供统一的访问接口。
71.实施例2
72.实施例2是实施例1的优选例
73.本发明提供了一种多源工业大数据的管理方法及其具体实现。通过在统一的页面中配置多种不同类型数据源的相关信息，使用户能够在同一个平台中对多源数据进行统一的管理并通过统一的接口访问；同时，通过构建模型的方式将这些不同类型数据源的数据组合、封装起来，并对外提供统一的访问接口。
74.本发明提供的一种多源工业大数据管理的设计系统，包括多源数据配置模块和多源数据建模模块。模块功能的实现主要依托于自主研发的工业互联网平台，平台的实现则是基于自主封装的java框架。
75.多源数据配置模块：
76.主要实现了在统一的管理页面中配置不同类型的数据源及其相关的详细信息。
77.管理页面包括包括机组信息配置页面和字段配置页面；
78.机组信息配置页面允许用户配置时序型数据(influxdb)和关系型数据(db2)两种不同类型的数据源，可以对这两种类型的数据源进行增删改查的操作。时序型数据源和关系型数据源均需配置机组号、数据源连接地址、用户名、密码，但也存在不同的配置项，这是由每类数据源的特性决定的。此处的机组号表示数据源在当前机组下使用，可视作数据源的标识。
79.此配置页面还支持通过机组号对数据源进行过滤。通常而言，不同的数据源类型在结构、需要的配置项上差别较大，所以会有各自的配置页面，但当前模块提取了不同源数据的共同特性，将他们的配置界面融合在一起，提高了数据源的配置效率，这一点在系统内工业数据源较多、类型差异化较大时尤为明显。
80.字段配置页面允许用户对数据源中的特殊字段进行配置，做到了针对每一个数据
源进行更精细化的配置。在字段配置页面中，首先，用户能够通过机组号筛选并锁定具体的数据源，之后能够配置数据源(已经细化到了具体的数据表)字段的映射关系。字段映射关系除了常规的手动新增，还支持从外部导入excel文件来生成，同时，支持将配置好的字段映射关系导出为excel文件，在其他的客户端中重复使用，这些功能点大大提高了字段映射关系的配置效率。配置字段映射关系的主要目的在于，通过统一的数据访问接口访问数据源相关数据时，用户请求的字段参数不需要与数据源数据表中的实际字段一致，在不改变数据表原始结构的前提下，只需要提前配置好映射关系，就能够使用统一的数据源接口访问多源数据的配置信息。这一功能加强了数据源的可扩展性，使其能够在更多的场景下被访问。
81.多源数据建模模块：
82.主要实现了能够融合不同类型数据源数据的数据模型，并提供统一的模型访问接口。
83.多源数据建模需要用户配置模板目录、模板、模板属性、对象目录、对象、对象属性、对象数据源，总共七块内容。此处的模板为整合了一类对象的共有特征的一个对象模板，使用同一个模板的对象均拥有模板中包含的属性。对象可以看做是模板的实例化，一个模板提取了一类对象的共有特征。首先进行模板目录的配置，模板目录的主要作用是对模板进行归档。选中了模板目录中的具体节点后，可以配置该节点下的模板，而模板配置完成后，又可以配置该模板下的模板属性。模板属性的配置项包括模板属性名称、模板属性描述、模板属性字段类型。虽然对象是模板的实例化，但是它并不等同于模板，所以对象目录并不能沿用模板目录，对象需要自己的归档方式。在配置完对象目录后，需要选择目录节点并创建对象，因为对象是某一个模板的实例化，所以创建对象时需要选择模板。当对象创建完毕后，会根据对象所绑定模板的模板属性来生成对应的对象属性，且对象属性名称、对象属性点类型与对应模板属性的模板属性名称、模板属性字段类型相同。而对象属性点名、数据源名称、查询参数则需要自行配置。配置对象属性之前，需要先配置数据源，此处的数据源，支持实时型数据、关系型数据、时序型数据三种类型。配置对象属性时，如果该属性绑定的数据源是实时型数据源，则需要在对象属性点名一栏中选择tag点；若数据源是关系型数据，则需要在对象属性点名一栏配置sql语句，以确定该属性绑定的关系型数据表的字段(此处配置sql语句而不是直接选择字段名是因为sql语句的扩展性更好，等于给绑定的数据增加了筛选条件)；若数据源是时序型数据，则需要在对象属性点名一栏中选择该属性绑定的时序型数据表的字段。
84.查询参数则是起到了一个增加对象属性绑定数据查询条件的作用，以缩小绑定数据的范围，使得数据更为精准。为了提高对象属性的配置效率，除了手动配置对象属性，还支持从外部导入excel文件来生成，同时，支持将配置好的对象属性导出为excel文件，在其他的客户端中重复使用，这些功能点大大提高了对象属性的配置效率。
85.数据建模，赋予了数据实际的含义，因此可以运用于工业领域的各个场景中。对比普通的数据建模，多源数据的建模支持在同一个模型中绑定多种不同类型的数据。在真实的工业生产环境中，边缘端的数据来源很多，类型也各不相同，但在实际使用这些数据时，往往需要的不是单一类型、单一来源的数据，而是组合使用，多源数据建模就能够支持这一点，使得模型在实际生产中更具有意义，适用面也更广。
86.其中，客户端采用的是b/s架构，配置页面统一使用jsp和javascript语言来实现。服务器端使用java语言来实现。客户端和服务器端的通信是通过客户端发送相应的http请求到服务器端来完成，同时客户端和服务器端采用了统一的数据交换格式。模块产生的配置数据存储到指定的关系型数据库中，关系型数据库是可配置的，其相关信息存放在服务器端的一个配置文件中。
87.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
88.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。