基于工业互联网行业的有效数据集成管理方法与流程

【】本发明涉及数据集成管理的，特别是基于工业互联网行业的有效数据集成管理方法的。

背景技术

0、
背景技术：

1、工业互联网(industrial internet)是新一代信息通信技术与工业经济深度融合的新型基础设施、应用模式和工业生态，通过对人、机、物和系统等的全面连接以构建起覆盖全产业链、全价值链的全新制造和服务体系，为工业乃至产业数字化、网络化、智能化发展提供了实现途径。

2、在工业互联网行业之中，对于很多企业而言，其在业务经营期间经常需要打通各个业务系统以及第三方系统，从而实现链接各个孤岛系统，整合企业多方数据源，形成统一的数据集成平台，为决策者提供有效数据支撑，赋能企业产业转型升级。

3、为此，目前多数企业是按需接入，零散而杂乱，业务系统间耦合重，更多通过api方式以单一线路串接业务系统数据，牵一发而动全身，不能形成体系、数据不完整且业务间耦合性高。具体而言，工业互联网行业的数据集成管理的现有技术存在以下缺陷：

4、1)单一api方式不适合满足各种复杂业务场景需求且效率低下；

5、2)缺乏统一的数据集成平台用于数据交换及数据处理；

6、3)难以处理不同类型业务系统数据对接，其底层技术实现方式存在差异；

7、4)业务系统间数据对接耦合重；

8、5)开发人员技术能力差异，人力成本大，耗时耗力；

9、6)运行维护成本高；

10、7)排错难度大。

技术实现思路

0、
技术实现要素：

1、本发明的目的就是解决现有技术中的问题，提出基于工业互联网行业的有效数据集成管理方法，可优化并提升现有数据集成场景中实施流程，兼容多数据源、多版本、多场景、多任务和多目的地的数据集成，统一管控，从而实现有效的数据集成管理方法，能够应对企业大多数数据集成场景，简化数据集成场景开发流程，统一底层技术实现方式，降低开发难度，形成统一数据集成平台，同时节省人力成本、提升效率，进而提升企业效益。

2、为实现上述目的，本发明提出了基于工业互联网行业的有效数据集成管理方法，包括如下步骤：

3、s0.开始项目；

4、s1.初始化项目；

5、s2.实现支持n种数据链路集成方案；

6、s3.判断需求是否在已实现的n种数据链路集成方案之内；若是，则执行步骤s4；若否，则执行步骤s14；

7、s4.启动工程；

8、s5.配置数据源信息；

9、s6.配置目的地信息；

10、s7.配置新增数据集成任务；

11、s8.连接数据源节点到目的地节点；

12、s9.保存或修改数据集成任务并确保配置信息正确；

13、s10.判断配置信息是否正确；若是，则执行步骤s11；若否，则执行步骤s9；

14、s11.发布数据集成任务；

15、s12.判断数据集成任务是否发布成功；若是，则执行步骤s13；若否，则执行步骤s9；

16、s13.结束任务；

17、s14.在项目中增添支持新数据链路集成功能。

18、作为优选，在所述步骤s5中，数据源信息包括数据源名称、数据源类型、数据库类型、数据库驱动、数据库地址、用户名和密码中的一种或几种的组合。

19、作为优选，在所述步骤s6中，目的地信息包括目的地名称、目的地类型和目的地连接信息中的一种或几种的组合。

20、作为优选，在所述步骤s7中，新增数据集成任务包括任务名称、数据源节点信息和目的地节点信息中的一种或几种的组合。

21、作为优选，所述数据源节点信息包括节点名称、选择数据源、数据库、选择表、选择字段映射字段及新字段信息和数据摄入类型及频率中的一种或几种的组合。

22、作为优选，所述目的地节点信息包括节点名称、选择目的地和目的地连接信息中的一种或几种的组合。

23、作为优选，在步骤s4之后还包括步骤s15和步骤s16且步骤s15和步骤s16的具体过程如下：

24、s15.定时遍历所有数据集成任务并判断是否存在异常任务；若是，则执行步骤s16；若否，则执行步骤s15；

25、s16.统计告警通知并处理，再执行步骤s13。

26、本发明的有益效果：

27、1)本发明对于开发人员而言简单实用，易于扩展推广，有益于提升工业互联网行业数据集成管理工作效率，降低开发人员人力成本，提升企业效益；

28、2)本发明能够形成统一数据集成平台，兼容大多数的数据集成场景，统一企业数据集成工作，并可对异常数据集成任务进行告警；

29、3)本发明能够应对工业互联网行业下各种复杂的异构数据源数据集成工作，从而为工业互联网行业下多种复杂的数据集成场景提供了一种很好的解决方案。

30、本发明的特征及优点将通过实施例结合附图进行详细说明。

技术特征：

1.基于工业互联网行业的有效数据集成管理方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于工业互联网行业的有效数据集成管理方法，其特征在于：在所述步骤s5中，数据源信息包括数据源名称、数据源类型、数据库类型、数据库驱动、数据库地址、用户名和密码中的一种或几种的组合。

3.如权利要求1所述的基于工业互联网行业的有效数据集成管理方法，其特征在于：在所述步骤s6中，目的地信息包括目的地名称、目的地类型和目的地连接信息中的一种或几种的组合。

4.如权利要求1所述的基于工业互联网行业的有效数据集成管理方法，其特征在于：在所述步骤s7中，新增数据集成任务包括任务名称、数据源节点信息和目的地节点信息中的一种或几种的组合。

5.如权利要求4所述的基于工业互联网行业的有效数据集成管理方法，其特征在于：所述数据源节点信息包括节点名称、选择数据源、数据库、选择表、选择字段映射字段及新字段信息和数据摄入类型及频率中的一种或几种的组合。

6.如权利要求4所述的基于工业互联网行业的有效数据集成管理方法，其特征在于：所述目的地节点信息包括节点名称、选择目的地和目的地连接信息中的一种或几种的组合。

7.如权利要求1至6中任一项所述的基于工业互联网行业的有效数据集成管理方法，其特征在于，在步骤s4之后还包括步骤s15和步骤s16且步骤s15和步骤s16的具体过程如下：

技术总结
本发明公开了基于工业互联网行业的有效数据集成管理方法，包括S0开始项目、S1初始化项目、S2实现支持N种数据链路集成方案、S3判断需求是否在已实现的N种数据链路集成方案之内、S4启动工程、S5配置数据源信息、S6配置目的地信息、S7配置新增数据集成任务、S8连接数据源节点到目的地节点、S9保存或修改数据集成任务并确保配置信息正确、S10判断配置信息是否正确、S11发布数据集成任、S12判断数据集成任务是否发布成功以及S13结束任务。本发明可兼容多数据源、多版本、多场景、多任务和多目的地的数据集成，能够应对企业大多数数据集成场景，简化数据集成场景开发流程，统一底层技术实现方式，降低开发难度，形成统一数据集成平台。

技术研发人员：聂清,黎冬生
受保护的技术使用者：杭州玖欣物联科技有限公司
技术研发日：
技术公布日：2024/1/15