一种基于边缘计算技术的高速数采系统及方法与流程

1.本发明属于工业物联网及边缘计算领域，特别涉及一种基于边缘计算技术的高速数采系统及方法。


背景技术：

2.随着互联网技术、信息数字技术、人工智能技术的迅速进步，物联网及智能制造已经获得大范围推广。我国发布《工业物联网白皮书》指出，通过工业资源的网络互联、数据互通和系统互操作，实现制造过程的按需执行、制造工艺的合理优化，达到资源的高效利用，从而构建服务驱动型的新工业生态体系。边缘计算是一种面向物联网的分布式计算基础设施，可将计算能力和数据分析应用扩展至网络“边缘”，它使客户能够在本地分析和管理数据，从而通过联接获得即时的见解。
3.现今生产车间卷烟机分为低中速卷烟机pt70/pt1-8，速度分别是7000/8500支/每分钟，与高速卷烟机pt2-2/m5/m8，速度分别是16000/15000/20000支/每分钟。高速卷烟机的数据采集单位时间内数据量十分庞大，传统的数据采集方法大多只对整批次烟支进行抽样检测或只采集烟支的平均值，无法精细到单支烟的数据采集，且采集速度与上传速度不能满足实时智能控制的需要。


技术实现要素：

4.本发明的目的是提供一种利用边缘计算技术，实现数据上传的全自动化、无需人工检测系统数据上传失败问题、数据传输效率高、解决高速卷烟机智能控制过程中数据采集质量、数据的真实性与实时性问题，进而提高卷烟工艺质量的一种基于边缘计算技术的高速数采系统及方法。
5.为实现上述目的，本发明采用的技术方案如下：一种基于边缘计算技术的高速数采系统，包括卷烟机共享文件、边缘侧上位机系统、物联网平台、数据库；其特征在于：所述卷烟机共享文件，用于卷烟机烟支实时数据的录入；所述边缘侧上位机系统，用于获取所述卷烟机共享文件中的烟支实时数据，通过数据推送，上传失败数据的自动处理，并对推送的数据进行清洗规范、审计跟踪、数据拆分与整合后，将数据通过自定义协议上传至所述物联网平台；所述物联网平台将烟支实时数据进行实例化，并将数据保存到数据库中；所述数据库，用于提供数据存储服务；所述边缘侧上位机系统包括高速缓存模块、数据推送模块、边缘存储模块、失败数据处理模块、边缘数据处理模块、边缘数据整合模块、数据安全模块；所述高速缓存模块，与所述卷烟机共享文件连接，用于读取卷烟机共享文件中的数据；所述数据推送模块，与所述高速缓存模块连接，用于当高速缓存达到阈值时，数据推送模块会触发推送任务，向所述边缘数据处理模块推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至所述边缘存储模块；
所述边缘存储模块，与所述数据推送模块连接，用于分类记录所述数据推送模块上传的数据并储存在本地数据库中；所述失败数据处理模块，与所述边缘存储模块、所述数据推送模块连接，用于轮询检测所述边缘存储模块保存的推送失败的数据，并将推送失败数据再次上传至所述数据推送模块；所述边缘数据处理模块，通过边缘数据接口与所述数据推送模块连接，用于将所述数据推送模块推送的实时数据，根据既定的处理规则进行数据规范、数据解析、清洗与审计跟踪；所述边缘数据处理模块靠近设备端，能以毫秒级的速度处理数据；所述边缘数据整合模块，与所述边缘数据处理模块连接，用于对所述边缘数据处理模块处理后的数据按照设备状态、产品信息、工艺质量、工艺规范进行整合和拆分；所述数据安全模块，分别与所述高速缓存模块、所述数据推送模块、所述边缘存储模块、所述失败数据处理模块、所述边缘数据处理模块、所述边缘数据整合模块连接，用于提供数据的加密、解密、分层控制访问权限、身份认证、日志管理服务。
6.优选的，所述边缘存储模块，可以批量插入数据，并且分为：未上传数据、上传成功数据、上传失败数据三种状态保存；所述边缘存储模块，可以批量修改所述三种状态。
7.优选的，所述自定义协议，采用websocket通信协议。
8.一种基于边缘计算技术的高速数采方法，基于上述的一种基于边缘计算技术的高速数采系统，其特征在于，包括以下步骤：步骤1：边缘侧上位机系统中的高速缓存模块从卷烟机共享文件中读取卷烟机的16000支/分的单支烟毫秒级烟支实时数据；步骤2：当高速缓存达到阈值时，数据推送模块会触发推送任务，向边缘数据处理模块推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至边缘存储模块；边缘存储模块，可以批量插入数据，并且分为：未上传数据、上传成功数据、上传失败数据三种状态保存；边缘存储模块，可以批量修改所述三种状态；步骤3：失败数据处理模块通过轮询检测判断边缘存储模块标记的上传失败数据，查询定量的上传失败数据，并将推送失败数据再次上传至数据推送模块，经边缘数据接口传输至边缘数据处理模块，若数据上传成功，则删除已上传的数据；若数据上传失败，则将错误记录写入错误日志，等待设定时间，轮询查询数据并再次上传；步骤4：边缘数据处理模块通过边缘数据接口与数据推送模块连接，获取数据推送模块推送的实时数据，并根据既定的处理规则进行数据规范、数据解析、清洗与审计跟踪；对烟支于源数据中时间、数值、字符，字段格式约束定义，依据业务需求对多源异构数据进行分解，实现无效数据、缺失数据的替换，对异常数据进行标记，实时追踪；步骤5：边缘数据整合模块对边缘数据处理模块处理后的数据按照设备状态、产品信息、工艺质量、工艺规范进行整合和拆分，并将处理后的数据通过自定义协议传输至物联网平台；步骤6：物联网平台将烟支实时数据进行实例化，将卷烟机运行数据、烟支工艺质量数据、质量检测数据、设备校正数据等信息整合为一个整体，以卷烟机设备为中心围绕着工艺参数进行数字建模，按照工艺流程、业务逻辑关系对数据信息进行整理，数据与边缘数据整
合模块对应，并将数据保存到数据库中。
9.优选的，步骤1所述边缘侧上位机系统中的高速缓存模块从卷烟机共享文件中读取卷烟机的16000支/分的单支烟毫秒级烟支实时数据，包括：高速缓存模块建立对卷烟机共享文件的监听，通过打开最新的数据文件并开始读取数据，将文件中新数据加入待上传队列，自上次上传后数据累计时间超过一秒后，将整批次数据上传并清空待上传队列；当未从文件中读取到新数据时，首先检查并上传待上传队列之前累积的数据；上传过程中实时监测文件中新数据的生成，若无新数据生成，等待100毫秒再去读取数据并继续作后续循环判断。
10.优选的，步骤1所述边缘侧上位机系统中包括数据安全模块，所述数据安全模块，分别与所述高速缓存模块、所述数据推送模块、所述边缘存储模块、所述失败数据处理模块、所述边缘数据处理模块、所述边缘数据整合模块连接，用于提供数据的加密、解密、分层控制访问权限、身份认证、日志管理服务。
11.优选的，所述数据安全模块，包括：边缘数据安全：使用tee可信执行环境，提供底层数据库sha安全管理令牌与ssl传输加密，在软件、硬件上相结合，使得数据无论在储存还是传输方面具有安全、可靠性；身份认证：边缘侧设备中包含了很多功能模块，身份认证功能提供不同的信任域之间模块的相互验证，包括单一域内的身份认证问题，用于解决每个功能模块的身份分配问题；访问控制：模块基于业务逻辑对资源的访问过程进行实时控制，设定模块与模块之间读、写、更新、执行服务等权限，且支持不同模块之间细粒度划分；安全日志：支持边缘侧设备中各个模块、数据库以及各种应用服务等产生的日志，并对系统事件进行安全等级划分与管理。
12.本发明的有益效果是：依托高速缓存模块的读取速度，能够采集到整批次中具体单支烟的工艺质量数据；利用边缘计算技术，通过实时数据推送、边缘数据存储、处理及失败数据再上传等业务融为一体，实现数据上传的全自动化，无需人工检测系统数据上传失败问题，提高数据传输效率。
13.边缘数据处理模块定义了很多针对烟支特点建立的数据处理规则，提供规范数据格式，多源异构数据进行解析，并且能以毫秒级的速度处理数据，在数据处理方面具有实时性的优势，从而能够更好的支撑本地业务实时处理与执行。
14.边缘数据整合模块对卷烟产品工艺质量、业务逻辑进行整合和拆分。边缘侧整合数据能够减缓海量数据和网络流量的压力，从而达到从设备到物联网平台毫秒级别的传输。
15.解决智能控制过程中数据采集质量，数据的真实性与实时性问题，进而提高卷烟工艺质量。
附图说明
16.图1为本发明的基于边缘计算技术的高速数采系统结构图；图2为本发明的数据推送机制示意图；图3为本发明的高速读取流程图。
具体实施方式
17.下面结合附图和实施例，对本发明做进一步描述：实施例1如图1、2、3所示，本发明提供一种基于边缘计算技术的高速数采系统，包括卷烟机共享文件1、边缘侧上位机系统2、物联网平台3、数据库4；边缘侧上位机系统2包括高速缓存模块5、数据推送模块6、边缘存储模块8、失败数据处理模块7、边缘数据处理模块10、边缘数据整合模块11、数据安全模块12；卷烟机共享文件1，用于卷烟机烟支实时数据的录入；高速缓存模块5与卷烟机共享文件1连接，用于读取卷烟机共享文件1中的数据；数据推送模块6与高速缓存模块5连接，用于当高速缓存达到阈值时，数据推送模块6会触发推送任务，向边缘数据处理模块10推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至边缘存储模块8；边缘存储模块8与数据推送模块6连接，用于分类记录数据推送模块6上传的数据并储存在本地数据库中；边缘存储模块8，可以批量插入数据，并且分为：未上传数据、上传成功数据、上传失败数据三种状态保存；边缘存储模块8，可以批量修改所述三种状态。
18.失败数据处理模块7与边缘存储模块8、数据推送模块6连接，用于轮询检测边缘存储模块8保存的推送失败的数据，并将推送失败数据再次上传至数据推送模块6；边缘数据处理模块10，通过边缘数据接口9与数据推送模块6连接，用于将数据推送模块6推送的实时数据，根据既定的处理规则进行数据规范、数据解析、清洗与审计跟踪；边缘数据处理模块10靠近设备端，能以毫秒级的速度处理数据，使得模块在数据处理方面有实时性的优势，从而能够更好的支撑本地业务实时处理与执行。
19.边缘数据整合模块11与边缘数据处理模块10连接，用于对边缘数据处理模块10处理后的数据按照设备状态、产品信息、工艺质量、工艺规范进行整合和拆分；使得数据模型高聚合、低耦合，烟支数据采集更高效，业务逻辑更清晰；运用边缘节点进行数据整合，减缓海量数据和网络流量的压力，从而达到从设备到物联网平台毫秒级别的传输。
20.数据安全模块12分别与高速缓存模块5、数据推送模块6、边缘存储模块8、失败数据处理模块7、边缘数据处理模块10、边缘数据整合模块11连接，用于提供数据的加密、解密、分层控制访问权限、身份认证、日志管理服务。
21.物联网平台3通过自定义协议13与边缘数据整合模块11连接，将获取的烟支实时数据进行实例化，构建卷烟机的具象化模型，卷烟机具像化模型将卷烟机运行数据、烟支工艺质量数据、质量检测数据、设备校正数据等信息聚为一个整体，以卷烟机设备为中心围绕着工艺参数进行数字建模，按照工艺流程、业务逻辑关系对数据信息进行整理，数据与边缘数据整合模块一一对应；具象化模型与实际生产中卷烟机的状态保持一致，通过数字建模的方式对卷烟机的智能控制提供数据支持。同时物联网平台3将数据通过dse persistence provider保存到dse数据库4中。自定义协议13，采用websocket通信协议。
22.数据库4，主要是提供数据存储服务，为了保证连续可用性和线性可扩展性，以及跨多台商用服务器而不会出现故障点，采用cassandra (非开源代码/社区版本) 的 datastax enterprise（dse） 版本，cassandra是可扩展nosql数据库，由6个dse节点组成的分布式架构，烟支数据分片段存储，可以从任一节点读取或写入，且读取时从任意两个备份
做读取校验，对于卷烟机产生的海量数据可以实现灵活的快速的响应时间，系统同时还关联了制造执行系统（manufacturing
ꢁ
execution
ꢁ
system，mes）数据。
23.另一方面，本发明提供一种基于边缘计算技术的高速数采方法，基于上述的一种基于边缘计算技术的高速数采系统，包括以下步骤：步骤1：边缘侧上位机系统2中的高速缓存模块5从卷烟机共享文件1中读取卷烟机的16000支/分的单支烟毫秒级烟支实时数据；包括：高速缓存模块5建立对卷烟机共享文件1的监听，通过打开最新的数据文件并开始读取数据，将文件中新数据加入待上传队列，自上次上传后数据累计时间超过一秒后，将整批次数据上传并清空待上传队列；当未从文件中读取到新数据时，首先检查并上传待上传队列之前累积的数据；上传过程中实时监测文件中新数据的生成，若无新数据生成，等待100毫秒再去读取数据并继续作后续循环判断。
24.步骤2：当高速缓存达到阈值时，数据推送模块6会触发推送任务，向边缘数据处理模块10推送烟支实时数据，若数据上传成功，则标定数据上传成功；若数据上传失败，则标定数据上传失败，进而触发数据本地保存任务，将数据上传至边缘存储模块8；边缘存储模块8，可以批量插入数据，并且分为：未上传数据、上传成功数据、上传失败数据三种状态保存；边缘存储模块，可以批量修改所述三种状态；步骤3：失败数据处理模块7通过轮询检测判断边缘存储模块8标记的上传失败数据，查询定量的上传失败数据，并将推送失败数据再次上传至数据推送模块6，经边缘数据接口9传输至边缘数据处理模块10，若数据上传成功，则删除已上传的数据；若数据上传失败，则将错误记录写入错误日志，等待设定时间，轮询查询数据并再次上传；步骤4：边缘数据处理模块10通过边缘数据接口9与数据推送模块6连接，获取数据推送模块6推送的实时数据，边缘数据处理模块10定义了很多针对烟支特点建立的数据处理规则，并会自动根据规则进行数据规范、数据解析、清洗与审计跟踪；对烟支于源数据中时间、数值、字符，字段格式约束定义，依据业务需求对多源异构数据进行分解，实现无效数据、缺失数据的替换，对异常数据进行标记，实时追踪；步骤5：边缘数据整合模块11对边缘数据处理模块10处理后的数据按照设备状态、产品信息、工艺质量、工艺规范进行整合和拆分，并将处理后的数据通过自定义协议13传输至物联网平台3；自定义协议13，采用websocket通信协议。
25.步骤6：物联网平台3将烟支实时数据进行实例化，构建卷烟机的具象化模型，卷烟机具像化模型将卷烟机运行数据、烟支工艺质量数据、质量检测数据、设备校正数据等信息聚为一个整体，以卷烟机设备为中心围绕着工艺参数进行数字建模，按照工艺流程、业务逻辑关系对数据信息进行整理，数据与边缘数据整合模块10一一对应；具象化模型与实际生产中卷烟机的状态保持一致，通过数字建模的方式对卷烟机的智能控制提供数据支持。同时物联网平台3将数据通过dse persistence provider保存到dse数据库4中。
26.边缘计算设备通常处于靠近用户侧，或者传输路径上，具有更高的被潜攻击者入侵的可能性，因此，在边缘侧上位机系统2中还包括数据安全模块12，数据安全模块12分别与高速缓存模块5、数据推送模块6、边缘存储模块8、失败数据处理模块7、边缘数据处理模块10、边缘数据整合模块11连接，用于提供数据的加密、解密、分层控制访问权限、身份认证、日志管理服务。
27.数据安全模块12，包括：
边缘数据安全：使用tee可信执行环境，提供底层数据库sha安全管理令牌与ssl传输加密，在软件、硬件上相结合，使得数据无论在储存还是传输方面具有安全、可靠性；身份认证：边缘侧设备中包含了很多功能模块，身份认证功能提供不同的信任域之间模块的相互验证，包括单一域内的身份认证问题，用于解决每个功能模块的身份分配问题；访问控制：模块基于业务逻辑对资源的访问过程进行实时控制，设定模块与模块之间读、写、更新、执行服务等权限，且支持不同模块之间细粒度划分；安全日志：支持边缘侧设备中各个模块、数据库以及各种应用服务等产生的日志，并对系统事件进行安全等级划分与管理。
28.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。