一种用于包装码垛生产线的物联网数据采集分析系统的制作方法

本发明属于工业智能控制领域，特别涉及一种用于包装码垛生产线的物联网数据采集分析系统。

背景技术：

广西的支柱性产业制糖业以及食品行业等行业生产过程中，最终的套袋式内外袋(简称套装袋，这种包装袋的内袋为塑料类薄膜，外袋为编织袋，内袋与外袋可分离套装在外袋内，内袋比外袋长度长出约100mm)广泛应用于制糖、饲料、化肥、淀粉、化工、纳米碳酸钙等传统产业，其成本比复合袋成本低，具有不可替代性。在制糖、淀粉等食品行业中应用能避免细菌进入，保证食品卫生安全；在饲料、化肥等行业应用能避免因潮湿空气进入导致物料变性；在有色金属、碳酸钙等行业应用可以有效防止包装物外泄，污染环境。

在该产品研发之前，以广西千亿元产业——制糖产业为例，糖厂几乎全部使用套装袋，包装无一例外依靠手工，码垛大部分糖厂也是依靠人拉肩扛，这种生产方式需要大量的人工，用工难、用工贵等矛盾非常突出。曾有企业寻求日本、意大利、德国价格昂贵的复合袋包装生产线(需每年增加200-300万元定制袋费用)，而复合袋包装生产线通常是将内袋和外袋一起缝合，缝纫处存在着100多个针孔，外界潮湿的空气、微生物、细菌进入包装袋内部，物料外泄、受潮、结块、细菌超标等状况经常出现，严重影响产品品质和国家相关卫生安全标准。一些企业因使用这些设备代替人工包装发生产品批量受潮结块的质量事故，对企业造成了极其恶劣的影响。

因此引入全自动包装码垛生产线，大致分为上袋、撑袋、称重、灌装、热融合、线缝合、印码、码垛等八个步骤。由于全自动包装码垛生产线的执行效率要求极高，而临时存储的数据少。因此，所有的动作均由plc控制器控制，数据存储于plc控制器的存储区中。

套装袋全自动包装码垛生产线中最重要环节是内袋热融合后，将内袋塞入外袋中。之前采用传统的做法，提高电机控制的精度，达到了错误率为千分之一。由于包装码垛机流水线操作，每天近2万个包装袋，也就是意味着至少有20袋包装出现问题。每次处理包装袋的时间，从1分钟到15分钟不等，对于流程行业大大的影响了工厂的产量。另外，套装袋全自动包装码垛生产线大部分用于食品行业，食品行业的卫生环境问题是重中之重，一旦出现问题后果不堪设想。生产线位于包装车间中，包装车间进入必须经过几个工序，第一个就是要穿戴专用的衣帽鞋进入。例如白色的帽子、白色的大褂、白色的网鞋。有些员工有时候直接便装进入，为了杜绝这种情况，厂家安装了很多摄像头，但是摄像头只能是值班人员抽检，不能总是盯着摄像头查看谁违反了规定。同时包装码垛机流水线的数据保存在本机的数据库中，若本机存在故障，则会造成数据的丢失等问题，同时，若包装码垛机流水线出现相关故障，则需停机人工去检修，费时费力。

技术实现要素：

本发明的目的在于提供一种用于包装码垛生产线的物联网数据采集分析系统，从而克服现有包装码垛机流水线作业未能及时监控的缺陷。

为实现上述目的，本发明提供了一种用于包装码垛生产线的物联网数据采集分析系统，包括：

位置检测传感器，其设于码垛生产线上，用于检测到所述码垛生产线上经过该位置检测传感器的包装袋时发送触发信号至第一录像设备；

第一录像设备，用于当接收到触发信号时拍摄包装袋照片发送至工业智能网关；

工业智能网关，用于接收所述包装袋照片，基于卷积神经算法识别所述包装袋照片中包装袋的内袋是否已经正确的缝合；

智能网关，多个所述智能网关分别无线连接包装码垛生产线的各个plc控制器及工业智能网关，用于周期性抓取包装码垛生产线的数据参数；其中，将多个所述智能网关分别部署为一个区块链节点以组建区块链网络，每个所述区块链节点用于传输、存储所述包装码垛生产线的实时数据参数；

云数据平台，其与多个所述智能网关通过互联网连接，用于收集所述包装码垛生产线的实时数据参数，其中，该云数据平台还包括：

预测评估模块，用于根据采集的包装码垛生产线的数据参数训练lstm预测模型，并采用训练后的所述lstm预测模型对所述包装码垛生产线的数据参数进行故障预测；

边界统计模块，用于根据包装码垛生产线的数据参数的产出数据生成产出参数图。

优选的，上述技术方案中，还包括：

第二录像设备，用于拍摄码垛生产线车间的员工穿戴照片；

识别控制系统，用于获取所述员工穿戴照片，基于卷积神经算法识别所述员工穿戴照片中员工的穿戴是否已经正确，并将识别数据发送至所述智能网关。

优选的，上述技术方案中，基于卷积神经算法识别所述包装袋照片中包装袋的内袋是否已经正确的缝合的步骤为：

1)采集多张所述包装袋照片，将多张所述包装袋照片分为有问题包装袋照片和无问题包装袋照片；

2)建立卷积神经网络分类模型，将有问题包装袋照片送入所述卷积神经网络分类模型学习训练；

3)采用学习训练后的所述卷积神经网络分类模型进行预测包装袋的内袋是否已经正确的缝合。

优选的，上述技术方案中，基于卷积神经算法识别所述员工穿戴照片中员工的穿戴是否已经正确的步骤为：

1)采集多张所述员工穿戴照片，分为穿戴正确的员工穿戴照片和穿戴错误的员工穿戴照片；

2)建立卷积神经网络分类模型，将穿戴错误的员工穿戴照片送入所述卷积神经网络分类模型学习训练；

3)采用学习训练后的所述卷积神经网络分类模型进行预测员工穿戴是否正确。

优选的，上述技术方案中，还包括：

剔除装置，其设于所述码垛生产线上，用于当所述工业智能网关检测到未正确缝合的包装袋时从所述码垛生产线上剔除；

门禁系统，用于当所述识别控制系统检测到未穿戴正确的员工时禁止员工通行。

优选的，上述技术方案中，所述智能网关还用于对读取的数据进行汇聚、对齐及剔除脏数据。

优选的，上述技术方案中，还包括与智能网关连接的显示模块，所述智能网关还通过读取包装码垛生产线的plc控制器中寄存器地址的值判断当前的设备状态，若为故障状态时则根据地址数据在显示模块上显示故障状态内容。

优选的，上述技术方案中，根据采集的包装码垛生产线的数据参数训练lstm预测模型，并采用训练后的所述lstm预测模型进行故障预测的步骤具体如下：

s1，在每个时间点采集到大量的包装码垛生产线的数据参数，每个数据参数的权重进行归一化处理，即α1+α2+α3+···+αn＝1；

s2，获取t时间下采集的数据参数的健康特征值：

其中，α为权重，x为数据参数的值，f(x,α)的结果即为当前采集数据的健康特征值，通过f(x,α)在不同时间点，计算出基于时间序列的设备的健康特征值数据集；

s3，根据不同时间下采集的数据参数及对应的健康特征值建立时间预测曲线；

s4，若实时采集的数据参数在某时间段内多次偏离所述时间预测曲线，则可认定为将出现故障问题。

优选的，上述技术方案中，还包括手机app端，所述手机app端与智能网关无线连接，用于设置包装码垛生产线的相关参数。

与现有的技术相比，本发明具有如下有益效果：

1.本发明中的应用于包装码垛机流水线的物联网数据采集分析系统，引入作业包装袋监控剔除装置，可实时剔除缝合错误的包装袋并上报数据。同时采用无线传输的方式收集数据，避免复杂的布线要求，采用区块链技术存储相关数据，不易丢失，同时利用lstm预测模型对包装码垛机流水线故障状态进行预测，以能够快速获取故障信息，从而及时维修修复，提高工作效率，并能够实时通过产出数据得到产生参数图。

2.本发明还可监控员工日常穿戴是否正确，按作业要求穿戴。

附图说明

图1是根据本发明物联网数据采集分析系统的结构图。

图2是根据本发明包装封袋人工智能图像识别系统的流程图。

图3是根据本发明员工穿戴识别系统的流程图。

图4是根据本发明merkletree的结构图。

图5是根据本发明传感器可视化示意图，每一个点是时间点上采集的n个x的值根据公式计算的靶点，所以，x轴对应的是数量(固定每秒采集n个参数)，y轴是根据公式计算的靶点。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1所示，该实施例中的应用于包装码垛生产线的物联网数据采集分析系统，包括：包装封袋人工智能图像识别系统、场地员工穿戴识别系统、智能网关、云数据平台、预测评估模块、边界统计模块、显示模块及手机app端。

如图2所示，该实施例的包装封袋人工智能图像识别系统包括位置检测传感器、第一录像设备、工业智能网关及剔除装置，第一录像设备采用高曝光高速工业相机。

位置检测传感器设于码垛生产线上，用于检测到码垛生产线上经过该位置检测传感器的包装袋时发送触发信号至第一录像设备，具体方法为：当位置检测传感器检测到包装袋在融合结束后静止的那一秒钟，启动高曝光高速工业相机，该相机能够解决拖影问题，15张/秒速度，拍摄15张照片。

第一录像设备用于当接收到触发信号时拍摄包装袋照片发送至工业智能网关。

工业智能网关用于接收包装袋照片，基于卷积神经算法(cnn是卷积神经网络的简称，)识别包装袋照片中包装袋的内袋是否已经正确的缝合，以及内袋是否完全塞入外袋。具体为：

基于卷积神经算法识别所述包装袋照片中包装袋的内袋是否已经正确的缝合的步骤为：

(1)采集多张包装袋照片，当采集到1.2万张样本之后，通过对采集到的图像进行cnn分类，将多张所述包装袋照片分为有问题包装袋照片和无问题包装袋照片，简单的说，就是把内袋缝在外面的图片作为一个分类，正确缝合的作为一个分类。

(2)建立卷积神经网络分类模型，筛选出有问题包装袋照片送入所述卷积神经网络分类模型学习训练，经过106次卷积，21次池化，1次归一化等操作后，上述操作经过10万次迭代后，保存特征向量数据权重文件。

(3)采用学习训练后的卷积神经网络分类模型进行预测包装袋的内袋是否已经正确的缝合，经过模型学习后，自动在拍照的时候进行识别，并提供最大可能性数据。

剔除装置设于所述码垛生产线上，用于当工业智能网关检测到未正确缝合的包装袋时从码垛生产线上剔除，剔除装置可为机械手等设备。

包装封袋工艺经过人工智能识别的改造之后，包装袋的错误率从千分之一，降低到了万分之四，整整降低了一个数量级，效果很好，得到了厂家的高度认可。

进一步的，如图3所示，场地员工穿戴识别系统包括第二录像设备、识别控制系统、门禁系统。

第二录像设备(即摄像头)用于拍摄码垛生产线车间的员工穿戴照片，识别是否着装符合标准，主要安装在门禁部分。

识别控制系统用于获取员工穿戴照片，基于卷积神经算法识别员工穿戴照片中员工的穿戴是否已经正确，并将识别数据发送至智能网关。

基于卷积神经算法识别员工穿戴照片中员工的穿戴是否已经正确的步骤为：

1)采集多张员工穿戴照片，针对佩戴的帽子、衣服、鞋子，采集2000多张样本，采用labelimg标记工具，对照片上的帽子、衣服、鞋子，分别进行标记。分为穿戴正确的员工穿戴照片和穿戴错误的员工穿戴照片，穿戴错误的员工穿戴照片主要为戴歪的帽子、未扣扣子的衣服、不系携带的鞋子。

2)建立卷积神经网络分类模型，将穿戴错误的员工穿戴照片送入卷积神经网络分类模型学习训练。

3)采用学习训练后的卷积神经网络分类模型进行预测员工穿戴是否正确，先识别是否有佩戴白色帽子、穿戴白色大褂、还有工作白色布鞋，进一步检测帽子、大褂、鞋子佩戴是否整齐，是否不符合着装要求。

门禁系统用于当识别控制系统检测到未穿戴正确的员工时禁止员工通行。根据提示结果，提示：帽子未佩戴或未佩戴整齐、衣服未穿戴或穿戴整齐等提示。相反，以上条件均符合的，门禁系统自动开启。

采用fast-rcnn配合cnn针对帽子、衣服、鞋子的着装进行人工智能识别，无需人工监控，监控效率较高，杜绝了各种便服随意进出包装车间，其次，包装车间现有监控中安装了17个摄像头，改进后降低到了8个。再次，包装车间去掉了4个门的门卫及岗亭，经济效益显著。通过识别着装，降低了日常细菌的携带，大大降低了卫生安全事故的发生率。

多个智能网关分别无线连接(即gprs/wifi/bluetooth)包装码垛生产线的各个plc控制器及工业智能网关，出于安全稳定的原则，一台工业设备/工业流水线，分别配置一台智能网关，用于周期性抓取包装码垛生产线的数据参数，即以0.1秒作为循环周期，工业智能网关抓取plc控制器967个参数中的217个关键数据。对读取后的数据进行汇聚及对齐操作,剔除脏数据(工业脏数据处理是个复杂的事情，部分参数0.1秒读取，1个周期内是10条数据，部分数据是0.5秒读取，一个周期内是2条数据，按照时间点序列对数据进行排序后，转变为“空窗”原始数据集，这个原始数据集无法直接使用在人工智能的深度学习上。因此需要根据上下时间线中的内容，对当前时间点中的空数据进行补齐，冗余数据进行剔除；其中，将多个智能网关分别部署为一个区块链节点以组建区块链网络，每个区块链节点用于传输、存储所述包装码垛生产线的实时数据参数；任意一个智能网关损坏时，可从相邻智能网关中恢复已经损坏的智能网关的所有数据。

工业智能网关具备网络完全、边界计算、脏数据筛选，由于工业智能网关自身存在一定的计算能力。企业级多个工业智能网关可部署成为区块链的对等节点。每一条采集到的工业数据，作为区块体数据写入区块链中，并通知相邻节点及物联云数据平台。

把区块链节点模块部署在工业智能网关。网关启动后自动注册到云数据平台，工业智能网关硬件唯一标识hash(工业智能网关各个组成部件的设备原始id，汇总后经过sha256算法生成唯一标识)作为工业智能网关属性一起提交至云数据平台。云数据平台接收到工业智能网关的注册后，采用区块链发块算法进行出块，该区块链的区块结构如表1下：

表1区块链结构表

工业智能网关接收到采集的数据后，采用区块链技术保存采集数据：

把工业数据参数插入collections字段，生成一条新的datalist数据集。然后计算整个collections字段所有数据节点的merkletree(默克尔树)根节点hash，用于采集数据的正确性校验。

merkletree结构如图4所示，需要注意的是由于merkletree必须是偶数节点，当datalist个数为奇数时，最末的节点使用自身hash两次计算生成上一层hash。插入数据并更新merkletreeroothash成功后，向所有的在线区块节点公告节点中增加的数据。所有接收到消息的节点(通网的工业智能网关节点/上层云平台数据中心节点)使用pbft(practicalbyzantinefaulttolerance实用拜占庭容错算法)验证消息的合法性后，更新链上相应节点的采集信息。

使用区块链保存工业数据的好处显而易见。将传感器收集的数据写入区块链，成为无法篡改的电子证据，可以提升各方主体造假抵赖的成本，更进一步地厘清数据的责任边界，同时还能通过区块链链式的结构追本溯源，及时了解当前工业设备运行的最新情况。数据与硬件完全解耦，不管硬件的状态如何，都能通过在线节点恢复采集的数据链。甚至根据实时搜集的数据，采取必要的措施(例如，环境过热，可以立即采取措施，检查问题原因)，增强多方协作的可能。

云数据平台与多个智能网关通过互联网连接，用于收集所述包装码垛生产线的实时数据参数，其中，该云数据平台还包括：预测评估模块、边界统计模块、显示模块。

预测评估模块用于根据采集的包装码垛生产线的数据参数训练lstm预测模型，并采用训练后的lstm预测模型对包装码垛生产线的数据参数进行故障预测；其中，lstm(longshort-termmemory是rnn(循环神经网络)中的一种特殊长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中的事件)，针对按照时间序列采集上来的工业设备运行过程中的关键参数，进行深度学习预测设备在运行过程中出现的问题。

lstm是在rnn的隐藏层中，增加了一个包含三个门的cell单元。三个门分别是输入、有用、遗弃。简单说，cell通过判断上一次时间序列的信息，从而判断这一次的输入是有用还是无用。针对lstm的特点，项目针对设备的运行状态进行预测评估。设备在运行过程中，尤其是工业生产环境，设备工作电压电流参数，均能让设备的运行出现状态偏移，使用lstm找出各个关联部件之间存在的联系。这些联系通过lstm预测，并函数拟合成为可以量化的曲线，从而对设备的维护保养提出指导意见。

步骤具体如下：

s1，在每个时间点采集到大量的包装码垛生产线的数据参数，每个数据参数的权重进行归一化处理，即α1+α2+α3+···+αn＝1，αi(i＝1,2,3···n)为数据参数。

s2，获取t时间下采集的数据参数的健康特征值：

其中，α为权重，并且α是归一化参数，所有的权重的和值为1。x为数据参数的值，f(x,α)的结果即为当前采集数据的健康特征值，通过f(x,α)在不同时间点，计算出基于时间序列的设备的健康特征值数据集，如图5所示。

s3，根据不同时间下采集的数据参数及对应的健康特征值建立时间预测曲线；

s4，若实时采集的数据参数在某时间段内多次偏离所述时间预测曲线(脱靶概率变大)，则可认定为将出现故障问题。

根据健康特征值数据集，与采用历史数据应用lstm深度学习模型训练好权重向量，对健康特征的实际值与预测值进行对比，并对整个值的变化趋势进行可视化重绘，成为一个坐标系中的不规则时间曲线。如果实际值没有落在预测曲线附近，判断健康特征值的变化趋势与数据落点，计算时间区间内的脱靶率，超出一定范围的情况下，则可认为设备的某些状态，在多种未知因素影响的情况下，出现了改变。如果连续多次偏离预测曲线，则可认定即将出现故障问题。数据的样本越多，则预测的曲线越接近实际曲线。

例如，生产线的多个步进电机转速，在某些状态影响下出现转速抖动，抖动幅度有可能保持在正常值中。多个电机同时出现了抖动，该过程逐步加重，抖动导致了局部/整体动平衡失衡，从而影响加工精度，甚至报废加工零部件。

从实时的仪表上看，可能数据都基于正常值之间，使用了深度学习拟合曲线之后，采集的数据通过计算，在很轻微抖动的时候，就已经发现该数据逐渐连续多次偏离拟合曲线。说明设备逐步出现较大误差。

通常情况下加工出现了废品才开始找原因，处理问题。通过深度学习的模型判断，在轻微抖动的前夕便发现了特征值逐步偏离拟合的曲线。从而提前发现问题，启动针对性预案，减少或者不出现加工产品报废的情况，对于高附加值的加工产品来说，能节省大量的成本。

智能网关还连接一显示模块，智能网关还通过读取包装码垛生产线的plc控制器中寄存器地址的值判断当前的设备状态，若为故障状态时则根据地址数据在显示模块上显示故障状态内容。

具体的，工业智能网关通过读取全自动包装码垛生产线plc控制器中d402地址的值判断当前的设备状态。根据地址数据在外设显示模块上显示错误代码及相关的预案内容。

例如：读取到的值为21，则意味着主伺服驱动设备出现了问题，影响了整条生产线的运行，工业智能网关除了在显示模块出现错误的提醒外，还显示了错误应对的操作，并自动倒计时是否在30秒内自动停机检测。

工业智能网关对所有的错误都有相应的处理预案，并提示在显示模块上，供现场操作人员作为操作的参考内容。

如果读取到的值为11，则设备处于手动单步调试状态，工业智能网关进入调试应急预案。在该预案下，调试的过程中每一步调试的操作、操作形成的结果、每个元器件/驱动轴的状态等整条生产线的967个状态值，均被完整的记录供事后进行建模数字化。从而为设备打造分析、优化的“数字双胞胎”模型。

如果读取到的值为：997～999，这3个值分别代表了电压过限、电流过限、漏电，则马上启动“紧急停机”预案。从工业智能网关通过mqtt消息总线发送停机数据到plc控制单元，plc控制单元接收到信号后，给plc控制单元的1、5号io端口持续发送高电平，接通光栅继电器，从而控制生产线总电源开关继电器断开。这种利用弱电控制强电的机制，既可以让整条流水线瞬间断开供电，紧急停机，保护整条流水线，又做到了远离强电控制安全可靠，保护了生产线的设备，保护了现场操作人员的安全。

该实施例中进一步的，边界统计模块用于根据包装码垛生产线的数据参数的产出数据生成产出参数图。

具体为：工业智能网关读取包装码垛生产线的plc控制器的地址d1000、d1002、d1004、d1006、d1008、d1010、d1012，这7个地址分别是：季度总产出、甲班总产出、当前甲班产出、乙班总产出、乙班当前产出、丙班总产出、丙班当前产出。并从区块链中读取周/月/季度历史相关产出数据，从而计算生成：

a.当周/月/季度甲、乙、丙班的产出曲线图；

b.当日甲乙丙三班的产出对比柱状图；

c.当前甲乙丙三班与昨日产出对比追赶图；

d.周/月/季度计划与实际产出对比饼状图；

上述图形均显示在显示模块上，最终计算的结果通过互联网并入物联网大数据智能云服务平台。

另外，手机app端与智能网关无线连接，用于设置包装码垛生产线的相关参数。作为通用性极强的工业智能网关，内部集成了plc的通讯协议，上位设置管理界面。可以通过平板、手机等访问网关提供的web界面，对plc控制的参数进行设置。前端手机web界面采用vuejs+vux开发，平板采用vuejs+iview开发。

工业智能网关开机后，同时启动plc连接服务、web控制服务、控制消息服务，手机/平板通过web服务提供移动页面访问，数据提交至消息服务后，由工业智能网关把操作写入plc控制器地址中，以便随时更改设备的运行参数。

以捡袋高度为例，通过手机打开设置app，第一次使用时，输入工业智能网关的识别id，绑定的识别码之后，即可绑定这台全自动包装码垛生产线设备。

在参数设置界面，找到捡袋高度设置，在输入框输入：15(单位mm)，点击保存。工业智能网关把数据写入plc控制器中的d3400地址，生产线设备在运行中，通过读取d3400地址的值，控制步进电机把捡袋支撑由基准点抬高至15mm的高度。

综上所述，工业智能网关作为生产线plc控制器的上位机，主要作为plc控制器运行的旁听监护角色，守护整套包装码垛生产线的正常运行，以辅助设备的形式为包装码垛生产线提供日志记录、无人值守复位、数据汇总分析、紧急情况介入、健康指数生成等工作，为整条全自动包装码垛生产线的运行提供强力的支持。

本系统应用融合机器人技术、机器视觉技术、数控技术、网络技术、区块链技术、底层协议解构技术，面向制糖行业等多行业，满足制糖、化肥、饲料、纳米碳酸钙等领域需求的跨行业产品，全面取代人力进行内袋的热融合，外袋的线缝合。开发了一套工业智能网关数据采集监控系统配合全自动包装码垛生产线，具备视频监控、简易操作、自我诊断、区块链数据保存、远程控制维护等功能。

值得说明的是，部分行业如食品、化工行业，包装车间对环境要求极高，引入与智能网关连接的控制采集单元，作为温度、湿度、粉尘介电、风机转速、进风检测、空气固体颗粒等外围模块进行数据采集，并传输到工业智能网关中，最终并入物联网大数据智能云服务平台，提供一体化的环境监测，成为工业智能网关的有益补充。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。