一种叠堆过程的监控系统及方法与流程

本发明涉及自动叠堆机监控技术领域，尤其涉及一种叠堆过程的监控系统及方法。

背景技术：

自动叠堆机是储能电池产品生产线上的重要组成部分，当产品在生产组装的过程中对物料品质及组装工序具有较高要求时，利用自动叠堆机可实现对物料预制件的自动化叠堆生产过程，从而减少人工作业的劳动强度，生产时只需要根据组装工序提前将叠堆物料预制好，再通过自动叠堆机进行叠堆生产并对过程进行监控，就可以进一步提升产品的组装效率与组装质量。

但是，自动叠堆机在生产的过程中仍存在叠堆物料没有被吸盘吸附、叠堆物料面部缺陷无法自动识别、异常工况无法自动暂停生产、以及叠堆物料在物料台上顺序和物料正反错误放置而造成自动叠堆机组装工序错误等问题。

技术实现要素：

为了克服现有技术的不足，本发明所解决的技术问题是提供一种叠堆过程的监控系统及方法，其可以对叠堆机的叠堆过程进行实时检测，且能够快速、准确地对进行叠堆的产品图像进行分类及缺陷识别。

为解决上述技术问题，本发明所采用的技术方案内容具体如下：

一种叠堆过程的监控系统，包括叠堆机、图像采集模块、检测机、状态机以及pc用户端，所述图像采集模块用于采集所述叠堆机的工作图像，所述检测机包括用于建立图像视觉诊断模型的图像运算单元、以及用于根据图像视觉诊断模型对工作图像进行工作状态识别的图像识别单元，所述pc用户端用于将所述图像识别单元的识别结果传输至所述状态机，所述状态机用于根据识别结果控制叠堆机的工作，所述pc用户端还包括用于显示所述图像识别单元的识别结果、预警信息以及叠堆进度的图像显示单元。

进一步地，所述pc用户端还设置有数据存储单元，所述数据存储单元用于存储所述图像采集模块采集的工作图像和所述图像识别单元的识别结果。

进一步地，所述图像采集模块包括两个摄像机，并且两个所述摄像机分别设置在所述叠堆机的叠堆平台支架的上下两侧。

进一步地，所述图像运算单元基于图像标注结果、并利用caffe卷积神经网络技术建立图像视觉诊断模型。

进一步地，所述状态机还包括中断控制单元，所述中断控制单元用于根据所述图像识别单元的识别结果生成控制指令，并将控制指令传输至所述叠堆机以控制所述叠堆机的工作。

进一步地，所述pc用户端还包括用于统计异常信息的信息统计单元、用于查询监测日志的数据查询单元以及用于设定管理权限的权限管理单元。

优选地，所述状态机还包括预警单元，当所述图像识别单元的识别结果为异常时，所述预警单元工作。

本发明还公开了一种叠堆过程的监控方法，其包括如下步骤，

s1：图像运算单元基于图像标注结果，采用caffe卷积神经网络技术，对网络进行训练以建立图像视觉诊断模型；

s2：图像采集模块采集叠堆机的工作图像，并将采集的图像传输至图像识别单元；

s3：图像识别单元根据图像视觉诊断模型对步骤s2中采集工作图像进行工作状态识别，并将识别结果传输至状态机；

s4：所述状态机的中断控制单元根据图像识别单元的识别结果生成控制指令，并将控制指令传输至所述叠堆机以控制所述叠堆机的工作，同时，pc用户端的图像显示单元对识别结果、预警信息和叠堆进度进行显示。

相对于现有技术，本发明的有益效果在于：

本发明公开了的叠堆过程的监控系统，其包括叠堆机、图像采集模块、检测机、状态机以及pc用户端，所述图像采集模块用于采集所述叠堆机的工作图像，所述检测机包括用于建立图像视觉诊断模型的图像运算单元、以及用于根据图像视觉诊断模型对工作图像进行工作状态识别的图像识别单元，所述pc用户端用于将所述图像识别单元的识别结果传输至所述状态机，所述状态机用于根据识别结果控制叠堆机的工作，所述pc用户端还包括用于显示所述图像识别单元的识别结果、预警信息以及叠堆进度的图像显示单元，其不仅可以对叠堆机的叠堆过程进行实时检测，而且能够快速、准确地对进行叠堆的产品图像进行分类及缺陷进行识别。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为本发明所述的叠堆过程的监控系统的结构示意图；

图2为caffe卷积神经网络模型图；

其中，图1中的附图标记为：

1、叠堆机；2、图像采集模块；3、检测机；4、状态机；5、pc用户端；6、数据存储单元。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下：

如图1所示的本发明公开的叠堆过程的监控系统，其包括叠堆机1、图像采集模块2、检测机3、状态机4以及pc用户端5，所述图像采集模块2用于采集所述叠堆机1的工作图像，所述检测机3包括用于建立图像视觉诊断模型的图像运算单元、以及用于根据图像视觉诊断模型对工作图像进行工作状态识别的图像识别单元，所述pc用户端5用于将所述图像识别单元的识别结果传输至所述状态机4，所述状态机4用于根据识别结果控制所述叠堆机1的工作，所述pc用户端5还包括用于显示所述图像识别单元的识别结果、预警信息以及叠堆进度的图像显示单元。

需要说明的是，在本发明中，所述工作图像包括叠堆物料图像、叠堆机图像以及布置场景图像。所述图像识别单元的识别范围包括识别物料是否被吸盘吸附、识别叠堆工序是否符合既定组装工序、识别物料的正反两面以及识别物料是否具有明显缺陷。而且，当所述叠堆机1的工作状态为正常时，所述状态机4显示绿色“正常”，当所述叠堆机1的工作状态为异常时，所述状态机4显示红色“异常”以及异常原因或异常坐标。而且，当所述图像识别单元的识别结果为正常时，所述状态机4还用于显示所述叠堆机1当前叠堆工序的工作图像，而当所述图像识别单元的识别结果为异常时，所述状态机4显示出异常图像并标注出异常位置。

本发明中，所述叠堆机1包括放料区、叠堆区以及吸盘，并且所述图像采集模块2包括两个摄像机，并且两个所述摄像机分别设置在所述叠堆机1的叠堆平台支架的上下两侧，并通过usb接口通信连接所述检测机3。另外，所述检测机3通过modbustcp协议与所述状态机4连接，再通过网线与pc用户端5连接。

具体连接时，位于所述叠堆平台支架上侧的高清摄像机安装于顶部横梁轨道上，此时该摄像机通过延长杆从顶部下探约25cm并距离物料检查平台约120cm的距离时，可以完整拍下待检测物料且不会发生遮挡；位于所述叠堆平台支架下侧的高清摄像机安装于地面轨道上并通过底座连接支撑杆将摄像机抬高至待检测物料平面，两侧光源通过强磁吸附，通过调整光源照明角度，该摄像机距离被拍摄物料约80cm；而且，两个所述摄像机均可在同一平面内横向或纵向移动。

所述pc用户端5还设置有数据存储单元6，所述数据存储单元6用于存储所述图像采集模块2采集的工作图像和所述图像识别单元的识别结果，从而通过所述数据存储单元6就可以方便操作人员查询、调阅历史记录等。

在本发明中，为了能够实现稳定的图像识别输出，同时避免环境光照强度和物料位置变化等的影响，所述图像运算单元基于图像标注结果、并利用caffe深度学习网络框架及卷积神经网络技术，采用迁移学习方法构建与训练网络以对图像进行准确的分类并保持图像特征的平移旋转不变性，从而建立图像视觉诊断模型。

如图2所示的是caffe卷积神经网络模型图，caffe是一个清晰、可读性高、快速的深度学习框架，其基于c++/cuda架构可以在cpu和gpu直接无缝切换，采用百万级图像预训练过的成熟网络进行调整和优化，通过训练固化卷积神经网络中各隐层网络的参数，形成推理模型，以适应叠堆部件图像的自动分类和识别，从而实现叠堆过程检测。

需要说明的是，在本发明中，图像的标注为手工分类标注，分别将叠堆机1中的待检测物料c1～c8及空共9类图像分别放置于文件夹中，然后将上述9个文件夹打包处理并传输至caffe卷积神经网络中。

为了使得所述监控系统能够在叠堆过程出现异常时能够及时控制所述叠堆机1停止工作，所述状态4还包括中断控制单元，所述中断控制单元用于根据所述图像识别单元的识别结果生成控制指令，并将控制指令传输至所述叠堆机1以控制所述叠堆机1的工作，具体在本发明中，所述中断控制单元包括人工中断控制单元和自动中断控制单元。

在其他的一些实施例中，所述pc用户端5还包括用于统计异常信息的信息统计单元、用于查询监测日志的数据查询单元以及用于设定管理权限的权限管理单元。

另外，所述状态机4还包括预警单元，当所述图像识别单元的识别结果为异常时，所述预警单元工作，从而使得操作人员能够及时知悉异常情况。

本发明还公开了一种叠堆过程的监控方法，其包括如下步骤，

s1：图像运算单元基于图像标注结果，采用caffe卷积神经网络技术，对网络进行训练以建立图像视觉诊断模型。

具体为：首先采用高清摄像机采集图像，然后采用手工分类的方法对采集的图像进行标注，然后将分类信息和图像采用caffe卷积神经网络中进行模型训练，以生成识别算法，即完成图像视觉诊断模型的建立，在本发明中，具体是分别将叠堆物料c1～c8及空共9类图像分别放置于文件夹中，然后将上述9个文件夹打包处理并传输至卷积神经网络进行训练。

s2：图像采集模块2采集叠堆机1的工作图像，并将采集的图像传输至图像识别单元。

s3：图像识别单元根据图像视觉诊断模型对步骤s2中采集工作图像进行工作状态识别，并将识别结果传输至状态机。

具体为：所述图像识别单元对叠堆机1的工作状态和叠堆物料的类别进行识别，并识别物料为c1～c8以及物料的正反面等；同时，所述图像采集模块2采集的图像被分为c1～c8及空，当所述图像识别单元识别的物料的类别为空时，表示叠堆机没有抓取到物料，所述状态机控制所述叠堆机1的吸盘返回到指定物料上方重新抓取。

s4：所述状态机4的中断控制单元根据图像识别单元的识别结果生成控制指令，并将控制指令传输至所述叠堆机1以控制所述叠堆机1的工作，同时，pc用户端5的图像显示单元对识别结果、预警信息和叠堆进度进行显示。

根据所述检测机3与所述叠堆机1的通讯规约设计，所述叠堆机1开机时，其寄存器初始化赋值为0，控制柜将寄存器赋值为10，相机识别软件点击开始按钮，寄存器值被修改为45，控制柜读到值45后修改为10，吸盘开始抓取样本，移动到检测位置1停下；控制柜将寄存器赋值为20，相机识别软件读到值20时触发拍照，完成拍照后将值改为21，控制柜读到寄存器值21后修改为10，吸盘继续移动到检测位置2停下；控制柜将寄存器赋值为30，相机识别软件读到值30后触发拍照，完成拍照后将值修改为31，控制柜读到寄存器值31后修改为10，吸盘继续移动，放下样品后移动到检测位置3停下；控制柜将寄存器赋值为40，相机识别软件读到值40后触发拍照，完成拍照后将值修改为41，控制柜读到寄存器值41后修改为10，吸盘继续运动，相机识别软件识别出正常则将寄存器赋值为45，异常则赋值为11，吸盘移动到样品抓取位置时检测寄存器的值，若为10则等待识别结果，若为45则继续抓取样品进入下一个循环，若为11，则停止系统；

上述技术方案中，查准率>90％，召回率>95％，检测机3响应时间<2s，工作温度与存储温度范围分别为0～40℃与0～50℃，工作湿度与存储湿度均为0～70％。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。