工业互联网大数据服务系统数据传输方法与数据聚合解析装置与流程

本专利申请一般地涉及大数据传输技术，更具体地涉及一种工业互联网大数据服务系统数据传输方法与数据聚合解析装置。

背景技术：

于企业而言，工业生意链条长，从原材料供应、采购入库到生产检验，再到销售环节，需要多方协作，而通过传统方式进行管理效率低、易出错，因此很多工业企业有建设互联网体系，优化链条实现信息化协同的需求。

企业的工业变革方兴未艾。从解决工业企业自身的问题和需求出发，通过“连接”缩短企业与供应端、管理端、生产端、销售端等各个节点之间以及各个节点内部的沟通成本，减少出错率，提升沟通效率等。通过打造企业网，可对企业内部生态进行整体规划管理，有效推动企业体系内上、中、下游，管理、研发、采购、生产、质检、决策等不同板块的协同作业，让企业内部生态体系联系更为紧密，产业链条更加优化。

在工业领域中合理地运用大数据技术能有效促进企业信息化发展，提升企业生产运行效率、加速生产信息在制造过程中的流动、助力企业升级转型并形成全新的智能制造模式。

由于超低成本的传感器、连接与数据存储等新基础设施的出现，叠加物联网、大数据、人工智能，云计算，5g，芯片技术等新技术的发展，应用和升级，工业部门的服务与商业模式也逐渐进化，工业物联网是整个科技，工业进步背景下的必然结晶。

工业互联网是新一代信息通信技术与现代工业技术深度融合的产物，是制造业数字化、网络化、智能化的重要载体，也是全球新一轮产业竞争的制高点。工业互联网通过构建连接机器、物料、人、信息系统的基础网络，实现工业数据的全面感知、动态传输、实时分析，形成科学决策与智能控制，提高制造资源配置效率，正成为领军企业竞争的新赛道、全球产业布局的新方向、制造大国竞争的新焦点。作为工业互联网三大要素，工业互联网平台是工业全要素链接的枢纽，是工业资源配置的核心，对于振兴我国实体经济、推动制造业向中高端迈进具有重要意义。工业互联网平台是面向制造业数字化、网络化、智能化需求，构建基于海量数据采集、汇聚、分析的服务体系，支撑制造资源泛在连接、弹性供给、高效配置的工业云平台。其本质是通过构建精准、实时、高效的数据采集互联体系，建立面向工业大数据存储、集成、访问、分析、管理的开发环境，实现工业技术、经验、知识的模型化、标准化、软件化、复用化，不断优化研发设计、生产制造、运营管理等资源配置效率，形成资源富集、多方参与、合作共赢、协同演进的制造业新生态。

工业互联网平台已成为企业智能化转型重要抓手。即可帮助企业实现智能化生产和管理。通过对生产现场“人机料法环”各类数据的全面采集和深度分析，能够发现导致生产瓶颈与产品缺陷的深层次原因，不断提高生产效率及产品质量。基于现场数据与企业计划资源、运营管理等数据的综合分析，能够实现更精准的供应链管理和财务管理，降低企业运营成本。又能帮助企业实现生产方式和商业模式创新。企业通过平台可以实现对产品售后使用环节的数据打通，提供设备健康管理、产品增值服务等新型业务模式，实现从卖产品到卖服务的转变，实现价值提升。基于平台还可以与用户进行更加充分的交互，了解用户个性化需求，并有效组织生产资源，依靠个性化产品实现更高利润水平。此外，不同企业还可以基于平台开展信息交互，实现跨企业、跨区域、跨行业的资源和能力集聚，打造更高效的协同设计、协同制造，协同服务体系。

但工业互联网的底层采集中，对不同类型的数据采集往往笼统地采用统一或相近的采集设备，对采集数据未有先期的甄别和区分，且在数据传输过程中，不能够精确地对采集数据的处理对象参数类型、采集命令和控制消息类型、不同类型的采集组合进行判定和区分，从而不能精确和有效地进行大数据多用户多对象的采集任务，导致数据传输、处理格式一致性问题，且无法有效管理传输数据，降低大数据系统管理效能。

技术实现要素：

本申请涉及一种工业互联网大数据服务系统的数据传输方法，包括采用系统的数据聚合解析装置，完成数据采集对象编组、采集器编组、匹配采集、聚合与解析；采用系统的数据处理映像指标装置，完成数据与文件的快速处理与吞吐；采用系统的结果集装置，进行大数据处理结果集抽取与应用，并提供对使用部署的计费规则；其中：

数据聚合解析装置包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器，中心控制部件为被采集设备进行6位采集id设置，并依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组；

所述中心控制部件将具有相同采集id的多个被采集设备编为一组，分配与其编组相适配的数据采集器，组成采集组集合，以精细化采集数据，防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误，数据聚合部件，聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件；

数据解析部件，对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置，并进行数据解析，获得分析对象数据。

其中所述聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件，具体为：

封装所述数据报头为fe数据报头，所述fe数据报头至少包含以下字段：

前隔绝字段：使用该字段用以隔绝上层包头；

标记字段：使用该字段用以提示fe数据报头的起始位置；

fe设备字段：使用该字段用以区分fe被采集设备及其类型；

底层响应字段：使用该字段用以判断底层所述采集组集合的具体标识；

fe类型码字段：使用该字段用以确定数据消息的具体类型；

后隔绝字段：使用该字段用以隔绝数据包负载；以及fe数据报头校验字段。

在另一方面，本申请提供了一种工业互联网大数据服务系统的数据聚合解析装置，所述系统包括数据聚合解析装置，完成数据采集对象编组、采集器编组、匹配采集、聚合与解析；数据处理映像指标装置，完成数据与文件的快速处理与吞吐；结果集装置，进行大数据处理结果集抽取与应用，并提供对使用部署的计费规则；其中：

数据聚合解析装置包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器，中心控制部件为被采集设备进行6位采集id设置，并依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组；

所述中心控制部件将具有相同采集id的多个被采集设备编为一组，分配与其编组相适配的数据采集器，组成采集组集合，以精细化采集数据，防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误，

数据聚合部件，聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件；

数据解析部件，对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置，并进行数据解析，获得分析对象数据。

其中所述数据聚合部件，聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件，具体为：

所述数据报头为fe数据报头，所述fe数据报头至少包含以下字段：

前隔绝字段：使用该字段用以隔绝上层包头；

标记字段：使用该字段用以提示fe数据报头的起始位置；

fe设备字段：使用该字段用以区分fe被采集设备及其类型；

底层响应字段：使用该字段用以判断底层所述采集组集合的具体标识；

fe类型码字段：使用该字段用以确定数据消息的具体类型；

后隔绝字段：使用该字段用以隔绝数据包负载；

fe数据报头校验字段。

本发明所提供的业互联网大数据服务系统数据传输方法与数据聚合解析装置，开创性地在数据传输过程中引入了fe数据报头，用以设置和管理fe工业控制互联网大数据服务系统和平台，其中，使用前隔绝字段、标记字段、fe设备字段、底层响应字段、fe类型码字段、后隔绝字段以及fe数据报头校验字段组成fe数据报头，通过其中的标记字段、fe设备字段、底层响应字段、fe类型码字段精确地对采集数据的处理对象参数类型、采集命令和控制消息类型、不同类型的采集组合进行判定和区分，并通过前隔绝字段后隔绝字段以及fe数据报头校验字段对该从fe数据报头进行精确控制和错误校验，从而能够方便、有效地进行大数据多用户多对象的采集任务，解决数据传输、处理格式一致性问题，有效管理传输数据并提升大数据系统管理效能。

附图说明

图1示出了工业互联网大数据服务系统的数据传输方法中包含fe数据报头的数据传输方向示意图。

图2示出了工业互联网大数据服务系统的数据传输方法中最基本的传输数据包格式。

图3示出了工业互联网大数据服务系统的数据传输方法中fe数据报头的基本组成格式。

图4示出了工业互联网大数据服务系统的数据传输方法中fe类型码字段的基本组成格式。

具体实施例描述

为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明：

现在详细说明本专利申请关于工业互联网大数据服务系统数据传输方法与数据聚合解析装置的优选实施例，还在以下描述中提供了多个示例。虽然详细描述了本专利申请公开的系统和方法，但是为了清楚起见，显然，对于本领域技术人员理解该系统和方法非特别重要的一些功能部件可能不被示出。

此外，应该理解的是，本专利申请中公开的系统和方法不限于如下描述的确切实施例，其可以由本领域技术人员在不脱离其精神或请求保护范围的情况下实现各种改变和修改。例如，在本公开的范围内，不同的示例性实施例的元件和/或功能部件可以彼此结合和/或相互替换。

图1示出了根据本专利申请一种工业互联网大数据服务系统的数据传输方法中包含fe数据报头的数据传输方向示意图。图2示出了工业互联网大数据服务系统的数据传输方法中最基本的传输数据包格式。图3示出了工业互联网大数据服务系统的数据传输方法中fe数据报头的基本组成格式。参照图1和图2、图3，该工业互联网大数据服务系统的数据传输方法，包括采用系统的数据聚合解析装置，完成数据采集对象编组、采集器编组、匹配采集、聚合与解析；采用系统的数据处理映像指标装置，完成数据与文件的快速处理与吞吐；采用系统的结果集装置，进行大数据处理结果集抽取与应用，并提供对使用部署的计费规则；其中：数据聚合解析装置包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器，中心控制部件为被采集设备进行6位采集id设置，并依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组；所述中心控制部件将具有相同采集id的多个被采集设备编为一组，分配与其编组相适配的数据采集器，组成采集组集合，以精细化采集数据，防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误，

中心控制部件依据被采集设备的生产厂商设置采集id第1-2位；依据被采集设备类型设置采集id第3-5位；依据被采集设备的系统接口类型设置采集id第6位。随后中心控制部件分配采集id至平台系统中的各个被采集设备。

维护一被采集设备id分配表，其中确定了每一位id分配的原则和具体方式，例如，对于需求厂商“香港堡狮龙”，本专利设置其采集id的第1-2位厂商识别代码为01，“海尔集团”为02等等。中心控制部件从被采集设备id分配表查询与设备特性相应的各位采集id，在获得每一位采集id后，依据一定的组合方式组合成6位采集id。

例如当被采集设备为工业生产设备时，设置采集id第3位为1，当被采集设备为家用设备时，设置采集id第3位为2，当被采集设备为工业控制设备时，设置采集id第3位为3；当被采集设备为手动设备时，设置采集id第4位为1，当被采集设备为自动设备时，设置采集id第4位为2，当被采集设备为智能ai设备时，设置采集id第4位为3；当被采集设备为虚拟化设备时，设置采集id第5位为1，当被采集设备为物理设备时，设置采集id第5位为2。

依据被采集设备id分配表，为被采集设备分配6位id。

数据聚合部件，聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件；数据解析部件，对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置，并进行数据解析，获得分析对象数据。

参考图1，在本专利申请一种工业互联网大数据服务系统数据传输方法与数据聚合解析装置中，所述聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件，具体为：封装所述数据报头为fe数据报头，所述fe数据报头至少包含以下字段：前隔绝字段：使用该字段用以隔绝上层包头；

标记字段：使用该字段用以提示fe数据报头的起始位置；

fe设备字段：使用该字段用以区分fe被采集设备及其类型；

底层响应字段：使用该字段用以判断底层所述采集组集合的具体标识；

fe类型码字段：使用该字段用以确定数据消息的具体类型；

后隔绝字段：使用该字段用以隔绝数据包负载；

fe数据报头校验字段。

在一个实施例中，优选的，基于fe数据报头之前的其它类型数据报头，按照一定算法与排列顺序生成所述前隔绝字段。该步骤具体为：将fe数据报头之前的其它类型数据报头进行截断，当fe数据报头之前的其它类型数据报头为奇数位且位数大于8位时，保留中间的8+1＝9位，将所截取的9位中的奇数位取反，并与原9位中的偶数位按照原顺序组成隔绝字段；当fe数据报头之前的其它类型数据报头为偶数位且位数不小于8位时，保留中间的8位，将所截取的8位中的奇数位取反，并与原8位中的偶数位按照原顺序组成隔绝字段；当fe数据报头之前的其它类型数据报头位数小于8位时，保留所有数据位，将其中的奇数位取反，并与原数据中的偶数位按照原顺序组合，后接该组合位的复制，从第一位起截断为8位，组成隔绝字段。

在另一个实施例中，优选的，基于fe数据包负载，按照一定算法与排列顺序生成所述后隔绝字段。该步骤具体为：将fe数据包负载进行截断，当fe数据包负载为奇数位且位数大于8位时，保留中间的8+1＝9位，将所截取的9位中的奇数位取反，并与原9位中的偶数位按照原顺序组成隔绝字段；当fe数据包负载为偶数位且位数不小于8位时，保留中间的8位，将所截取的8位中的奇数位取反，并与原8位中的偶数位按照原顺序组成隔绝字段；当fe数据包负载位数小于8位时，保留所有数据位，将其中的奇数位取反，并与原数据中的偶数位按照原顺序组合，后接该组合位的复制，从第一位起截断为8位，组成隔绝字段。

在另一个实施例中，例如，所述标记字段具体为：将该设备处理批次标识转化为二进制数据，并接续11111110，得到fe数据报头的标记字段。

请注意，在该示例中，标记字段中用作接续的11111110实际上为十六进制字符“fe”的二进制表示，为fe工业互联网系统研发过程中用作标记用途。

在另一个实施例中，优选的，所述fe设备字段共6位，具体为：依据被采集设备的生产厂商设置设备字段第1-2位；依据被采集设备类型设置设备字段第3-5位；依据被采集设备的系统接口类型设置设备字段第6位。

通过对数据采集进行特殊设置，对采集对象分为三个迥异字段设置6位采集id，并依据采集对象的采集id差异对其进行分组，同时，对相应的采集器按照种类进行编组，再将相应编组的采集器与相应id编组的采集对象设备进行一一匹配，便捷、确切且有针对性地解决了因采集对象属性不同导致的采集器适配问题。

在另一个实施例中，优选的，所述fe底层响应字段，具体设置方法为：使用采集组中同一类型采集设备的设备标识的二进制代码作为fe底层响应字段，用以判断具体的底层采集组集合。

采集组中同一类型采集设备的设备标识，应该设计为同一值。例如，对于被采集对象采集id为022312的采集组集合，可将其转化为二进制后进行极化编码，使其获得接近信道容量的传输效能，将极化编码结果与被采集对象采集id为022312进行二进制与计算后，得到该类型采集设备的设备标识；

或，在系统初始化时设置对某一类型被采集设备进行采集的相应采集器设备标识，从而得到该类型采集设备的设备标识。

图4示出了工业互联网大数据服务系统的数据传输方法中fe类型码字段的基本组成格式。在另一个实施例中，例如，所述fe类型码字段为可选字段，具体为：

wro：用以表示该消息传输存在错误，需进行消息重传；

upd：用以请求或响应与采集器更新数据有关的消息；

def：用以告知该消息为获取指定采集数据有关数据的消息；

del：用以进行采集组集合或采集组集合中特定采集器的删除的消息；

pat：用以告知由采集器组一直到解析部件的某处传输路径错误的消息；

test：用以测试采集组集合的消息。

在另一方面，本申请提供了一种工业互联网大数据服务系统的数据聚合解析装置，该装置所处的系统包括数据聚合解析装置，完成数据采集对象编组、采集器编组、匹配采集、聚合与解析；数据处理映像指标装置，完成数据与文件的快速处理与吞吐；结果集装置，进行大数据处理结果集抽取与应用，并提供对使用部署的计费规则；其中：数据聚合解析装置包含中心控制部件、数据聚合部件、数据解析部件与至少一个采集器，中心控制部件为被采集设备进行6位采集id设置，并依据适配采集对象厂商类型、适配采集对象设备类型、适配采集对象系统接口类型为采集器进行编组；所述中心控制部件将具有相同采集id的多个被采集设备编为一组，分配与其编组相适配的数据采集器，组成采集组集合，以精细化采集数据，防止因采集设备类型、接口类型不一导致的采集器与被采集设备数据识别错误和采集错误，数据聚合部件，聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件；数据解析部件，对所述数据聚合部件发来的聚合数据格式数据进行解封装、解密、逆转置，并进行数据解析，获得分析对象数据。

其中所述数据聚合部件，聚合各个采集组集合的采集数据，采用特定格式的数据报头对数据进行封装处理，组成统一的聚合数据格式，发往数据解析部件，具体为：

所述数据报头为fe数据报头，所述fe数据报头至少包含以下字段：

前隔绝字段：使用该字段用以隔绝上层包头；

标记字段：使用该字段用以提示fe数据报头的起始位置；

fe设备字段：使用该字段用以区分fe被采集设备及其类型；

底层响应字段：使用该字段用以判断底层所述采集组集合的具体标识；

fe类型码字段：使用该字段用以确定数据消息的具体类型；

后隔绝字段：使用该字段用以隔绝数据包负载；

fe数据报头校验字段。

其中所述前隔绝字段具体为：基于fe数据报头之前的其它类型数据报头，按照一定算法与排列顺序生成所述前隔绝字段。

其中所述基于fe数据报头之前的其它类型数据报头，按照一定算法与排列顺序生成所述前隔绝字段，具体为：

将fe数据报头之前的其它类型数据报头进行截断，当fe数据报头之前的其它类型数据报头为奇数位且位数大于8位时，保留中间的8+1＝9位，将所截取的9位中的奇数位取反，并与原9位中的偶数位按照原顺序组成隔绝字段；

当fe数据报头之前的其它类型数据报头为偶数位且位数不小于8位时，保留中间的8位，将所截取的8位中的奇数位取反，并与原8位中的偶数位按照原顺序组成隔绝字段；

当fe数据报头之前的其它类型数据报头位数小于8位时，保留所有数据位，将其中的奇数位取反，并与原数据中的偶数位按照原顺序组合，后接该组合位的复制，从第一位起截断为8位，组成隔绝字段。

其中所述后隔绝字段具体为：基于fe数据包负载，按照一定算法与排列顺序生成所述后隔绝字段。

其中所述基于fe数据包负载，按照一定算法与排列顺序生成所述后隔绝字段具体为：

将fe数据包负载进行截断，当fe数据包负载为奇数位且位数大于8位时，保留中间的8+1＝9位，将所截取的9位中的奇数位取反，并与原9位中的偶数位按照原顺序组成隔绝字段；

当fe数据包负载为偶数位且位数不小于8位时，保留中间的8位，将所截取的8位中的奇数位取反，并与原8位中的偶数位按照原顺序组成隔绝字段；

当fe数据包负载位数小于8位时，保留所有数据位，将其中的奇数位取反，并与原数据中的偶数位按照原顺序组合，后接该组合位的复制，从第一位起截断为8位，组成隔绝字段。

其中所述标记字段具体为：将该设备处理批次标识转化为二进制数据，并接续11111110，得到fe数据报头的标记字段。

其中所述fe设备字段共6位，具体为：

依据被采集设备的生产厂商设置设备字段第1-2位；

依据被采集设备类型设置设备字段第3-5位；

依据被采集设备的系统接口类型设置设备字段第6位。

其中所述fe底层响应字段，具体为：使用采集组中同一类型采集设备的设备标识的二进制代码作为fe底层响应字段，用以判断具体的底层采集组集合。

其中所述fe类型码字段为可选字段，具体为：

wro：用以表示该消息传输存在错误，需进行消息重传；

upd：用以请求或响应与采集器更新数据有关的消息；

def：用以告知该消息为获取指定采集数据有关数据的消息；

del：用以进行采集组集合或采集组集合中特定采集器的删除的消息；

pat：用以告知由采集器组一直到解析部件的某处传输路径错误的消息；

test：用以测试采集组集合的消息。

在另一个实施例中，该服务平台系统还包括数据处理映像指标层，包含：第一接口，用于与数据库连接，处理数据库初始化过程，建立逻辑数据表、数据表关联、数据主键、数据内含项，定义数据查询和数据修改原则；第二接口，与用户连接，用于用户访问数据处理映像指标层，查询和修改分析对象数据，设置数据查询和修改原则；第一数据映像指标生成部件，用以在数据处理映像指标层处理并存储数据时建立数据存储网格，并同时建立数据映像指标网格，其中，数据映像指标网格与数据存储网格结构一一对应，在平台底层存储介质生成数据存储网格结构时，映像指标网格也在生成；第一数据映像指标操作部件，用于根据用户操作获取对应的处理任务，根据处理任务数据获取相应映像指标网格节点，从而依据映像指标网格与数据存储网格的对应关系获取相应数据存储网格结构节点，并对任务分片，交由相应存储网格结构节点处理并返回处理结果数据。

另，该服务平台系统还包括结果集层，包含第一数据抽取部件，所述第一数据抽取部件包含处理结果探测装置，探测由存储网格结构节点处理完成的结果数据集，并依据存储网格结构对结果数据集进行分类；第一服务提供部件，用于以服务部署方式，将所述第一数据抽取部件抽取出的结果数据集依据其分类，经负载均衡后分发给相应类别的服务提供部件。

以及第一计费服务部件，用于以服务时间(s)*服务单元(u)*服务权重系数方式对服务被提供方进行计费，其中服务权重系数由采集组集合相同的采集id经加权计算而得。

在所有上述实施方式中，为实现一些特殊的读/写功能的要求，中心控制部件、数据聚合部件、数据解析部件与至少一个采集器、数据处理映像指标层部件以及第一数据抽取部件、第一服务提供部件、第一计费服务部件可以增加硬件、引脚连接或存储器差异来扩展功能。

虽然本专利申请已经示出并以特定参考描述多个实施例，但应注意的是，在不脱离本发明的范围下，可以进行各种其他的改变或修改。