工业数据共享系统

1.本公开涉及工业自动化技术领域，尤其涉及一种工业数据共享系统。


背景技术：

2.随着工厂自动化、信息化的发展，企业的数据获取相对更加容易。在实际应用中，企业内部的数据来源于多源异构设备、割裂的信息系统/模块、不同的开发工具以及安装部署平台等，由于缺乏统一的数据采集和汇总系统，不同的业务部门采集的数据之间无法实现对接和协同，从而形成大量的数据孤岛，造成数据流通、共享与应用不畅。这些问题阻碍了数据的共享与交易，限制了数据应用于业务优化与提升，企业数据资源很难转化为数据资产。如何让数据在工厂各个部门之间安全可信的充分共享、流通与应用，推进数据在企业内部价值链实现汇集、应用与价值创造，是当前数据驱动企业发展背景下亟需解决的问题。


技术实现要素：

3.鉴于上述问题，本发明提供了一种工业数据共享系统，以至少部分解决上述技术问题。
4.本公开的一个方面提供了一种工业数据共享系统，包括：多个工业数据源，用于产生多源异构数据；数据湖，用于接入所述多个工业数据源，并存储所述多源异构数据；跨部门数据共享调用模块，用于当所述多源异构数据的数据提供方通过数据请求方的跨部门数据请求后，从所述数据湖调用与所述跨部门数据请求对应的数据，并将所述数据提供给所述数据请求方；其中，跨部门数据共享调用模块进行数据共享调用时，通过区块链将本次数据共享的信息向各所述数据提供方进行广播。
5.可选地，所述跨部门数据共享调用模块包括：数据目录模块，用于向所述数据请求方提供数据目录，以供所述数据请求方选择跨部门数据；区块链网络，用于部署所述数据请求方和所述数据提供方，以使所述数据请求方通过区块链向所述数据提供方发起跨部门数据请求，通过区块链实现数据共享；数据调用约束模块，用于通过智能合约约束所述数据请求方和所述数据提供方之间的数据调用条件。
6.可选地，所述智能合约用于当所述数据请求方向所述数据提供方请求n种数据时，限制所述数据提供方向所述数据请求方提供m种数据的秘钥，以供所述数据请求方从所述数据湖获取所述m种数据，m≤n；当所述数据请求方反馈能应用所述m种数据时，使所述数据提供方向所述数据请求方提供剩余种类数据的秘钥，以供所述数据请求方获取剩余数据。
7.可选地，所述智能合约还用于将数据共享的信息储存到所述区块链网络的区块链账本上，并广播给所述区块链网络的各个节点。
8.可选地，在所述区块链网络中，各所述数据请求方、数据提供方内部结构为联盟链，所述联盟链节点包括管理人员系统、数据产生部门系统、数据应用部门系统中的至少一种；各所述联盟链节点通过身份验证后在所述联盟链内广播，并存储于所述区块链网络中。
9.可选地，还包括：数据共享应用模块，用于根据所述应用请求方获取的数据，实现
跨部门数据的应用；数据计算模块，部署于容器中，用于执行所述数据共享应用模块应用跨部门数据时的计算。
10.可选地，所述数据湖包括：数据存储模块，用于存储所述多源异构数据；数据管理模块，用于对所述多源异构数据进行分类集成、添加标签和/或规范化处理中的至少一个。
11.可选地，还包括：数据预处理模块，用于将所述数据湖中的数据进行加密，并构建数据目录；以及用于将所述多源异构数据数据转换为所述数据请求方适用的数据类型后，发送给所述数据请求方。
12.可选地，所述数据湖基于mongodb构建。
13.可选地，还包括：实时数据显示模块，用于实时显示所述数据湖内存储的多源异构数据。
14.在本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：
15.本公开实施例提供的工业数据共享系统，通过kubernetes和docker构建工业互联网架构的paas平台，以支撑大数据模块、跨部门数据共享调用模块的便捷接入，使多源异构的自动化设备弹性接入以进行工业大数据采集，实现底层数据与上层应用的贯通，使工业数据安全可信流动起来，让数据在工厂各个部门之间充分共享、流通与应用，推进数据在企业内部价值链实现汇集、应用与价值创造，让数据的生产方、共享方、使用方、监督方都有具体的技术方案和产品选型可依；保障数据的归属权、应用过程安全可控，推进合规应用，提升应用效能，促进创新开发，实现数据要素的产业价值最大化，可以实现制造业企业应用数据促进业务发展的水平和能力。
附图说明
16.为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
17.图1示意性示出了本公开实施例提供的一种工业数据共享系统的示意图。
具体实施方式
18.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
19.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
20.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
21.附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以
创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
22.因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。
23.本公开的第一个示例性实施例提供了一种工业数据共享系统。
24.图1示意性示出了本公开实施例提供的一种工业数据共享系统的示意图。
25.如图1所示，本公开的工业数据共享系统包括：多个工业数据源、数据湖和跨部门数据共享调用模块。
26.工业数据源为用于工业生产制造的设备，包括异构数控机床等。工业数据源产生的多源异构数据主要包括异构数控机床的生产运行状态数据信息和安装在异构数控机床上的传感器采集的数据，通过工业以太网、无线网络，使用profinet/modbus/ethercat、opc ua、websocket等主流工业现场协议和网络通讯协议，将数据采集、存储到实时数据库和分布式存储数据库中。
27.工业多源异构数据可以划分为物理数据、知识数据、经营数据、运营数据、成本数据几大类，其中每类包含若干个数据工业数据源。具体的，物理数据包括生产装备、传感器、辅助生产设备等产生的数据；知识数据包括员工行为、生产经验数据、知识沉淀数据等；经营数据包括研发、市场、人员工况、财务等；运营数据包括订单、售后服务、产品生命周期等；成本数据包括物流、原材料、能源数据等。数据被传送至部署于paas(platform-as-a-service)层上的数据湖汇集、分类、创建目录、数据加密、数据转换等管理。其中，数据转换、数据加密、数据目录的提供可以在收到数据请求时进行。
28.数据湖部署在私有云paas平台模块上的，用于接入工业数据源，并存储其产生的多源异构数据。其中，基于工业互联网的技术架构私有云paas平台模块通过kubernetes和docker构建，支撑大数据模块、跨部门数据共享调用模块的便捷接入，通过opc ua、tcp/ip支撑多源异构的自动化设备弹性接入和工业大数据采集。
29.跨部门数据共享调用模块基于工业互联网架构的paas构建。跨部门数据共享调用模块将企业内部跨部门的数据提供方和数据请求方关联起来。当多源异构数据的数据提供方通过数据请求方的跨部门数据请求后，从数据湖调用与跨部门数据请求对应的数据，并将数据提供给数据请求方；其中，跨部门数据共享调用模块进行数据共享调用时，通过区块链将本次数据共享的信息向各数据提供方进行广播。基于用户请求，从数据湖调用多源异构数据，以实现企业内部跨部门的数据共享。
30.paas层与跨部门数据共享调用模块对接。数据湖的数据管理模块向区块链上的数据请求方提供数据目录，使数据请求方快速选取需求数据，并基于区块链向数据提供方发起数据请求；区块链上的数据提供方响应于数据请求方的请求，基于区块链的智能合约，向数据请求方提供数据秘钥，使数据请求方从数据湖获取数据；智能合约将此次数据共享过程中的所有信息交互内容储存到区块中，并将此区块储存在区块链账本上证，将数据共享
信息广播给网络中的其他节点，包括企业高层管理人员、企业其他业务部门。其中，数据请求方获取的数据可以为数据管理模块根据需求处理得到的，利用预设的计算容器，实现数据模型的优化和数据计算。此外，智能合约中还可以设计对于数据使用方和数据提供方双方的kpi参数，对于合约完成中的双方kpi记录，以供工作业绩统计，激励数据的应用与供给，调动业务人员通过数据创造价值的积极性。
31.基于跨部门数据共享调用模块，各数据请求方可获取到跨部门的多源异构数据，基于该数据实施app开发、运营优化、工艺改造等，应用数据提升制造业企业的生产、运营、研发、销售的质量与创新力度。例如，对于销售及售后服务，销售人员通过对销售数据的统计分析来充分了解市场信息，积累和挖掘该行业消费数据来制定有针对性的营销方案和营销战略。对于产品开发部门，根据消费者的消费行为、价值取向来改进和创新产品，研判产品开发方向、量化产品价值。通过跟踪分析不同原材料、零配件加工、组装成的产品生命周期，优化原材料和零部件选型，提升产品品质和降低生产成本。
32.根据本公开实施例提供的工业数据共享系统，基于数据湖和区块链的部署，利用区块链在安全、合约、共识、激励等方面的机制，从技术上推进数据共享，使数据安全可信流动起来，打破数据孤岛，从而可以实现企业内部工业互联网中数据采集、管理、共享的优化。
33.如图1所示，本公开的跨部门数据共享调用模块包括：数据目录模块、区块链网络和数据调用约束模块。
34.数据目录模块用于向数据请求方提供数据目录，以供数据请求方选择跨部门数据。
35.区块链网络，用于部署数据请求方和数据提供方，以使数据请求方通过区块链向数据提供方发起跨部门数据请求，通过区块链实现数据共享。
36.数据调用约束模块，用于通过智能合约约束数据请求方和数据提供方之间的数据调用条件。
37.在本公开实施例中，数据请求方、数据提供方均可以为工业生产制造企业、研发应用单位、工业发展调控单位内部的各个部门。当数据请求方通过区块链向数据提供方发起数据请求，且数据需求与供给的数据共享交易达成时，数据提供方基于区块链向数据请求方提供数据秘钥，以使数据请求方能从数据湖获取相应的多源异构数据。
38.智能合约为数据请求方和数据提供方达成共享交易时生成的数据调用约束，设定调用历史数据的量级标记与限制提供数据的历史周期范围数据种类范围等。智能合约用于将多源异构数据共享过程中的交互内容储存到跨部门数据共享调用模块的区块链账本上，并广播给跨部门数据共享调用模块的其他节点。
39.在本公开其中一个实施例中，数据提供方对数据需求进行审核，一旦数据需求与供给的数据共享交易达成，采用分层次的数据需求与供给方案。当数据请求方需要n种数据时，数据提供方可以通过智能合约先选择性提供m种数据(n≥m)的密码，让数据请求方获得该m种数据。如果数据请求方能够应用数据取得初步价值，或者验证能正常使用该m种数据，数据提供方可提供更多数据使用方需求的数据。智能合约将数据请求方对数据的应用方式与目标进行记录，并广播到区块网络节点，写入区块链。智能合约部署在区块链中，智能合约将此次数据共享过程中的所有信息交互内容储存到区块中，并将此区块储存在区块链账本上证，将数据共享信息广播给网络中的其他节点，包括企业高层管理人员、企业其他业务
部门。
40.进一步的，数据请求方、数据提供方各自内部结构为联盟链。通过联盟链将应用数据的相关部门与人员接入区块链，进行数据共享的行为标记。企业内部所有部门构成联盟链节点成员，包括企业高级管理人员、数据产生部门、数据应用部门等，每个成员都需要利用密钥进行身份验证，其身份标识在联盟链进行广播，并存储到区块链中。
41.在联盟链的技术选型上，可以使用hyperledger fabric，hyperledger fabric能够支持更短的延迟进行扩展的区块链架构。通过将联盟区块链hyperledger部署在kubernetes集群的容器中，kubernetes能够实现灵活、快捷对于容器化的app模块调度和管理，支撑弹性横向扩展和app模块的插拔。以工业互联网架构构建的kubernetes的paas增强了联盟区块链系统部署和维护的灵活性，便于其支撑不同需求的业务系统。
42.如图1所示，本公开实施例中的数据湖包括：数据存储模块和数据管理模块。
43.在本公开实施例中，以对原始数据的使用，全面、系统、灵活的使用数据为出发点，构建企业级数据湖。其中，数据存储模块用于存储多源异构数据；数据管理模块用于对多源异构数据进行分类集成、添加标签和/或规范化处理中的至少一个。数据湖基于mongodb构建
44.其中，mongodb支持json数据结构，支持广泛的非结构化数据。mongodb适合微服务/rest api，其分片结构可以支撑海量数据，能够随着数据量或并发量增加自动扩展，横向扩展能力，数据量或并发量增加时候可以自动扩展。工业场景下，很多传感器的数据结构是半结构化，不同厂家提供的传感器没有标准的数据模型，传感器之间具有不同的数据类型和属性，利用mongodb对json数据的支持，能够很好的拓展企业数据湖的承载力。同时，工业生产中的现场数据更新频次达到毫米级，大量数据不断的进入到数据存储系统中，mongodb使用分片能力支撑高并发海量数据，通过rest api与企业内部或外部的数据系统进行集成。通过以mongodb为核心，结合kafka消息队列、flink实时数据处理等组件，将数据汇集到mongodb数据库中，构建企业级数据湖系统。将企业的多源异构数据统一存储到大数据层，在该层保证数据唯一、共享，消除信息孤岛。
45.在本公开实施例中，系统还包括数据预处理模块，用于将所述数据湖中的数据进行加密，并构建数据目录；用于将所述多源异构数据数据转换为所述数据请求方适用的数据类型后，发送给所述数据请求方。
46.当多源异构数据进入数据湖后，数据管理模块将数据湖中的数据按照来源与应用类别分类，可以实现数据的采集、数据清洗及规范化的处理。数据需求者通过查看数据目录获取数据信息概览，如数据符合目标需求，提出使用数据申请，并记录到区块链上。把数据的存储与计算应用分开，同样的数据依据业务需求可以进行不同的分析应用。mongodb支持弹性调整存储大小和计算规模缩放，支持各种数据资产的自助集成，数据的管理和目录的生成，比如产品生命数据系统、客户管理系统上面是统一的数据api，支持实时访问和批处理。
47.数据管理模块还可以针对业务需求对数据进行处理，以使数据更加符合需求。传统的数仓，因为模型范式的要求，业务不能随便的变迁，变迁涉及到底层数据的各种变化。数据管理模块的计算引擎根据不同应用场景读写数据湖中存储的数据，通过结合mysql、elasticsearch支撑saas模块开发和数据搜索的需求，应用端对数据进行分析和处理时能
获得更加全面的原始数据信息。数据管理模块相比于传统的数仓，能实现多源异构数据的灵活、高效的变化和应用，能更快速的适应数据支撑下app开发与迭代。
48.如图1所示，本公开实施例的系统还包括数据共享应用模块和数据计算模块。数据共享应用模块用于根据所述应用请求方获取的数据，实现跨部门数据的应用；数据计算模块用于执行所述数据共享应用模块应用跨部门数据时的计算。
49.数据共享应用模块可以根据企业不同业务的需求和应用场景调用实时数据、历史数据，应用数据提升制造业企业的生产、运营、研发、销售的质量与创新力度。对于销售及售后服务，销售人员通过对销售数据的统计分析来充分了解市场信息，积累和挖掘该行业消费数据来制定有针对性的营销方案和营销战略。对于产品开发部门，根据消费者的消费行为、价值取向来改进和创新产品，研判产品开发方向、量化产品价值。通过跟踪分析不同原材料、零配件加工、组装成的产品生命周期，优化原材料和零部件选型，提升产品品质和降低生产成本。
50.数据计算模块部署于容器中，以保障多源异构数据被数据管理模块处理过程中的安全。数据计算模块对数据的处理中可能依赖预设模型，在系统建模和历史数据分析方面需要大量的历史数据，通过划分出物理机层面的计算单元来构建计算容器，远程将计算模型或app以docker容器形式部署在构建的计算容器中，通过计算容器调用历史数据，数据是物理存储于企业的idc中，保障了物理层面的隔离安全。数据使用方将获得解密后授权的数据调取到被分配的计算容器中，开展运算，数据使用方不能直接拷贝数据，但能够看到计算的进程，到的预期的结果。
51.本公开实施例中的数据湖还可以包括：查询组件，用于响应于跨部门数据共享调用模块内的用户请求，提供多源异构数据的数据查询。
52.在本公开实施例中，跨部门数据共享调用模块上部署由多个数据请求方，数据需求者通过查看由数据管理模块部创建的数据目录获取数据信息概览，从中选取符合目标需求的数据，并提出基于数据目录向数据湖提交数据申请。查询组件为数据请求方提供了概览接口，可以提高数据获取效率。
53.如图1所示，本公开实施例的工业数据共享系统还包括：实时数据显示模块。
54.实时数据显示模块可以部署于跨部门数据共享调用模块的区块链上，通过区块链向数据湖发起数据请求，以从数据湖获取数据，实时显示数据湖内存储的多源异构数据。
55.可选地，实时数据显示模块可部署于各数据提供方和数据请求方，基于数据提供方和数据请求方的显示需求，或针对生产车间和控制中心关心的设备运行状况、订单处理进程、原材料管理、产品质量等数据进行实时显示，可选用echart等工具与业务密切关联的实时数据和分析结果以曲线、图表的形式直观呈现出来。
56.根据本公开实施例提供的工业数据共享系统，通过kubernetes和docker构建工业互联网架构的paas平台，支持app的快速部署、扩展和管理。paas层支撑大数据模块、跨部门数据共享调用模块的便捷接入，通过opc ua、tcp/ip支撑多源异构的自动化设备弹性接入和工业大数据采集，实现底层数据与上层应用的贯通，使工业数据安全可信流动起来，让数据在工厂各个部门之间充分共享、流通与应用，推进数据在企业内部价值链实现汇集、应用与价值创造，让数据的生产方、共享方、使用方、监督方都有具体的技术方案和产品选型可依；保障数据的归属权、应用过程安全可控，推进合规应用，提升应用效能，促进创新开发，
实现数据要素的产业价值最大化，可以实现制造业企业应用数据促进业务发展的水平和能力。
57.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
58.尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。