一种基于多相机网络的箱缺条检测装置及方法
【专利摘要】本发明公开了一种基于多相机网络的箱缺条检测装置及方法，包括照射包装箱内烟条码垛的红外光源、获取红外图像的相机以及获取烟条码垛状态信息的PLC，还包括通过IO控制板控制相机快门、红外光源和PLC的工控机，当烟条码垛推入包装箱后，工控机获取PLC的码垛状态并控制相机快门动作获取图像，相机通过有线或无线网络发送给工控机。本发明在现有箱缺条检测系统和装置的基础上，针对现有的烟条包封箱过程中资源消耗大，生产成本高，自动化程度低等问题，着眼于整个车间多条流水线同时工作的需求，发明的一种基于多相机网络的箱缺条检测系统及检测方法，在正确判断缺条或者缺垛烟箱的同时，确保每台相机能够协调同步工作。
【专利说明】—种基于多相机网络的箱缺条检测装置及方法
【技术领域】
[0001]本发明涉及一种基于多相机网络的箱缺条检测装置及方法，属于烟草生产检验领域。
【背景技术】
[0002]长期以来，在卷烟厂装封箱机生产过程中，对箱缺条的检测一直备受卷烟厂的关注，传统的检测方法已难以适应现代化、自动化、高速度、高效率的需求。机器视觉技术的引入，解决了传统称重式、射线式、端部扫描式检测方法的弊端，为箱缺条的检测带来了新的解决方案。
[0003]申请号为200920041260.8，实用新型名称为“装封箱机烟箱缺条检测装置”，该检测装置包括CXD相机、红外线闪光光源、PC主机和报警装置。该检测装置利用红外光源发射的红外线将推送方向的烟垛影像发射给CCD相机，随后CCD相机将采集的烟垛图片传递给主机进行处理分析，当主机检查有烟条缺失情况时，控制报警器提示操作人员。该装置有以下几点缺陷:
[0004](I)PC机由于功能较多，启动运行速度慢，成本较高，不适于工业应用；
[0005](2)该装置是一套完整的设备系统，对于拥有多条流水线的卷烟厂来说，需要为每条流水线配备一套该装置，大大增加了企业的生产成本和资源消耗；不仅占据比较大的空间，同时由于设备的复杂性，还不利于维护管理。
【发明内容】
[0006]发明目的:本发明提出一种基于多相机网络的箱缺条检测装置及方法，同时适用于多条流水线，高速完成烟条码垛的装箱。
[0007]技术方案:本发明采用的技术方案为一种基于多相机网络的箱缺条检测方法，包括以下步骤:
[0008]I)机器视觉检测软件开启，为相机网络中每台设备创建独立的工作线程，分配独立的资源；
[0009]2)根据相机设备滤波器中的相机配置参数枚举相机网络中的相机设备并设置在线相机参数；
[0010]3)当某条流水线上的烟垛进箱时，该组的1控制板接收到推杆到位信号，转换成对应相机采集图像的触发信号，同时驱动该组中的光源进行频闪；
[0011]4)相机接收到采集图像的触发信号后开始图像采集，并将采集的图像数据通过千兆以太网线传送到检测软件中的图像处理单元，同时更新人机交互界面上的图像数据；
[0012]5)图像处理单元根据检测系统保存的参数对图像进行处理，将处理的结果标签贴在人机交互界面中的图像上。一旦检测到当前烟箱缺条或者缺垛时，工控机通过RS485与1控制板通信，发出缺条或者缺垛的消息。图像处理单元对图像进行处理的具体过程如下:
[0013]6) 1控制板得到缺条或者缺垛消息后，与PLC通信，发出报警并停止封箱机工作的命令；
[0014]7)PLC接收到1控制板发出的报警并停止封箱机工作的命令后，执行相关的动作，等待操作人员进行处理；
[0015]8)用机器视觉检测软件控制相机；
[0016]9)机器视觉检测软件增加相机接入或者移出相机网络自适应算法；
[0017]10)对相机掉线事件进行处理。
[0018]优选地，所述步骤I)中还包括:
[0019]I)从检测软件目录下读取相机网络中相机的参数配置文件；
[0020]2)将读取的相机配置参数压入到相机设备滤波器中；
[0021]3)循环为每台相机设备创建一个线程，专门为相机服务。
[0022]优选地，所述步骤2)中还包括:
[0023]I)根据检测系统需要的图像来源是灰度图还是彩色图，设置像素格式；
[0024]2)设置图像大小；
[0025]3)设置网络数据包大小以及传输过程中包与包之间的时间间隔；
[0026]4)关闭自动触发图像采集模式；
[0027]5)将图像获取模式设置为连续获取；
[0028]6)读取相机设备中缓存大小；
[0029]7)将图像数据流缓存的最大值设置为相机设备中缓存的大小；
[0030]8)注册缓存循环队列，用于保存图像数据。
[0031 ]优选地，所述步骤5)中还包括:
[0032]I)中值滤波，在保持图像原有清晰轮廓的同时，去除椒盐噪声；
[0033]2)线性平滑滤波；
[0034]3)图像增强，调整图像对比度；
[0035]4)多次腐蚀；
[0036]5)图像增强；
[0037]6) 二值化；
[0038]7)标记结果；
[0039]8)对标记的结果进行筛选。
[0040]优选地，所述步骤8)中还包括:
[0041]I)对于相机网络中不在线的相机设备，循环执行枚举动作；
[0042]2)对于相机网络中已在线的相机设备，等待相机触发信号的到来，执行图像获取动作；
[0043]3)对于相机网路中的相机设备由在线状态变为不在线状态，检测软件首先接收该掉线相机的掉线事件消息，然后进行掉线事件处理，最后循环执行查找该相机动作；
[0044]4)对于相机网络中相机设备由不在线状态变为在线状态，检测软件先进行对应相机的参数配置以及分配相应的资源，然后等待相机触发信号的到来，执行图像获取动作。
[0045]优选地，所述步骤9)中还包括:
[0046]I)当检测软件启动后，若在相机网络中枚举到相机在线，则为每台在线相机分别注册一个用于处理相机掉线事件的回调函数；若在相机网络中有不在线的相机设备，则用于控制该相机的线程一直循环枚举相机设备，直到相机设备又一次在线；
[0047]2)当相机网络中有相机设备移出网络时，则检测软件自动进入用于处理该相机掉线的回调函数中；
[0048]3)在回调函数中，进行相机掉线事件处理，相机资源的释放以及回收。
[0049]优选地,所述步骤10)中还包括:
[0050]I)清相机在线标志；
[0051]2)取消相机抓捕图像的命令；
[0052]3)将已经缓存的图像数据保存；
[0053]4)注销用于保存图像数据的缓存；
[0054]5)完成图像抓捕；
[0055]6)关闭用于传输图像数据的流通道；
[0056]7)注销用于处理相机掉线的回调函数；
[0057]8)关闭相机设备接口 ；
[0058]9)销毁相机设备接口 ；
[0059]10)清空存储器。
[0060]一种基于多相机网络的箱缺条检测装置，包括照射包装箱内烟条码垛的红外光源、获取红外图像的相机以及获取烟条码垛状态信息的PLC，还包括通过1控制板控制相机快门、红外光源和PLC的工控机，当烟条码垛推入包装箱后，工控机获取PLC的码垛状态并控制相机快门动作获取图像，相机通过有线或无线网络发送给工控机。
[0061]优选地，所述1控制板和相机分别通过RS485串口服务器和以太网交换机连接到工控机。所述1控制板通过RS485转换器以及两级以太网交换机与工控机连接，所述相机通过两级以太网交换机与工控机连接。
[0062]有益效果:本发明在现有箱缺条检测系统和装置的基础上，针对现有的烟条包封箱过程中资源消耗大，生产成本高，自动化程度低等问题，着眼于整个车间多条流水线同时工作的需求，发明的一种基于多相机网络的箱缺条检测系统及检测方法，在正确判断缺条或者缺垛烟箱的同时，确保每台相机能够协调同步工作。
【专利附图】
【附图说明】
[0063]图1为本发明的结构框图；
[0064]图2为本发明实施例1的结构示意图；
[0065]图3为本发明实施例2的结构示意图；
[0066]图4为本发明实施例1中检测方法的流程图。
【具体实施方式】
[0067]下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改均落于本申请所附权利要求所限定的范围。
[0068]实施例1:如图1和图2所示，本检测装置包括安装在每台装封箱机内的红外光源I，该红外光源I由多块红外LED照明板组成，工作在800-900nm波长段，其从包装箱的两侧打光。借助于红外光源，位于每条流水线码垛区前方的GigEVis1n相机2获取烟条码垛的图像。每个相机2都通过千兆以太网交换机3接入网络，因此多条流水线的情况下就会形成一个相机网络。由该相机网络通过一台千兆以太网交换机3将其所获取的图像发送至工控机5。工控机5对烟垛图像进行图像处理，分析是否存在缺少烟条的情况。对烟垛的检查应当在烟垛被推入包装箱后，因为此时的图像为烟垛包装的真实情况，因此相机2应当被合适的控制。工控机5通过1控制板4从安装在装封箱机内的PLC6处获得装封箱机的实时工作状态，PLC6则是通过装封箱机内的传感器获取装封箱机实时的工作状态。当烟垛被推入包装箱后，工控机5立刻通过1控制板让相机2拍照以获取图像。所述1控制板4也是每台装封箱机配置一块，1控制板4采用ARM解决方案，其接收来自工控机5的控制信号，再分别控制红外光源I的电源开关和相机2的快门。而工控机5则是通过RS485串口服务器7与各个1控制板4连接。对于每条不同的流水线，都配置各自的相机2、PLC6、1控制板4、红外光源I ;不同流水线共享的设备有:千兆以太网交换机3、RS485串口服务器7、工控机5。由于每台相机采用独立的线程控制，因此相机网络中的某一个相机2的工作状态不影响其他流水线上相机2的正常运转。
[0069]一种基于多相机网络的箱缺条检测方法，如图4所示，其具体实施步骤如下:
[0070]步骤I)、机器视觉检测软件开启，利用windows多线程编程，为相机网络中每台设备创建独立的工作线程，分配独立的资源，保证线程间相互对立，互不影响，实现每台相机设备同步工作，具体线程设计如下:
[0071](I)从检测软件目录下读取相机网络中相机的参数配置文件；
[0072](2)将读取的相机配置参数压入到相机设备滤波器中；
[0073](3)循环为每台相机设备创建一个线程，专门为相机服务。
[0074]步骤2)、根据相机设备滤波器中的相机配置参数枚举相机网络中的相机设备并设置在线相机参数，其具体参数设置如下:
[0075]I)根据检测系统需要的图像来源是灰度图还是彩色图，设置像素格式；
[0076]2)设置图像大小；
[0077]3)设置网络数据包大小以及传输过程中包与包之间的时间间隔；
[0078]4)关闭自动触发图像采集模式；
[0079]5)将图像获取模式设置为连续获取；
[0080]6)读取相机设备中缓存大小；
[0081]7)将图像数据流缓存的最大值设置为相机设备中缓存的大小；
[0082]8)注册缓存循环队列，用于保存图像数据。
[0083]步骤3)、当某条流水线上的烟垛进箱时，该组的1控制板接收到推杆到位信号，转换成对应相机采集图像的触发信号，同时驱动该组中的光源进行频闪；
[0084]步骤4)、相机接收到采集图像的触发信号后开始图像采集，并将采集的图像数据通过千兆以太网线传送到检测软件中的图像处理单元，同时更新人机交互界面上的图像数据；
[0085]步骤5)、图像处理单元根据检测系统保存的参数对图像进行处理，将处理的结果标签贴在人机交互界面中的图像上。一旦检测到当前烟箱缺条或者缺垛时，工控机通过RS485与1控制板通信，发出缺条或者缺垛的消息。图像处理单元对图像进行处理的具体过程如下:
[0086]I)中值滤波，在保持图像原有清晰轮廓的同时，去除椒盐噪声；
[0087]2)线性平滑滤波；
[0088]3)图像增强，调整图像对比度；
[0089]4)多次腐蚀；
[0090]5)图像增强；
[0091]6) 二值化；
[0092]7)标记结果；
[0093]8)对标记的结果进行筛选。
[0094]步骤6)、1控制板得到缺条或者缺垛消息后，与PLC通信，发出报警并停止封箱机工作的命令；
[0095]步骤7)、PLC接收到1控制板发出的报警并停止封箱机工作的命令后，执行相关的动作，等待操作人员进行处理；
[0096]步骤8)、机器视觉检测软件用于控制相机事件的具体方法为:
[0097](I)对于相机网络中不在线的相机设备，循环执行枚举动作；
[0098](2)对于相机网络中已在线的相机设备，等待相机触发信号的到来，执行图像获取动作；
[0099](3)对于相机网路中的相机设备由在线状态变为不在线状态，检测软件首先接收该掉线相机的掉线事件消息，然后进行掉线事件处理，最后循环执行查找该相机动作；
[0100](4)对于相机网络中相机设备由不在线状态变为在线状态，检测软件先进行对应相机的参数配置以及分配相应的资源，然后等待相机触发信号的到来，执行图像获取动作。
[0101]步骤9)、机器视觉检测软件增加了相机接入或者移出相机网络自适应算法，其具体方法为:
[0102](I)当检测软件启动后，若在相机网络中枚举到相机在线，则为每台在线相机分别注册一个用于处理相机掉线事件的回调函数；若在相机网络中有不在线的相机设备，则用于控制该相机的线程一直循环枚举相机设备，直到相机设备又一次在线；
[0103](2)当相机网络中有相机设备移出网络时，则检测软件自动进入用于处理该相机掉线的回调函数中；
[0104](3)在回调函数中，进行相机掉线事件处理，相机资源的释放以及回收；
[0105]步骤10)、如图4所示，相机掉线事件处理具体方法为:
[0106](I)清相机在线标志；
[0107](2)取消相机抓捕图像的命令；
[0108](3)将已经缓存的图像数据保存；
[0109](4)注销用于保存图像数据的缓存；
[0110]⑶完成图像抓捕；
[0111](6)关闭用于传输图像数据的流通道；
[0112](7)注销用于处理相机掉线的回调函数；
[0113](8)关闭相机设备接口 ；
[0114](9)销毁相机设备接口 ；
[0115](10)清空存储器。
[0116]本发明能够完全自动化的实现每台相机独立控制和独立工作，提高了系统的集成度，同时该检测系统和方法具有良好的可扩展性、兼容性等特点。
[0117]实施例2:如图1和图3所示，本检测装置包括安装在每台装封箱机内的红外光源1，该红外光源I由多块红外LED照明板组成，从包装箱的两侧打光。借助于红外光源，位于每条流水线码垛区前方的GigE Vis1n相机2获取烟条码垛的图像。每台装封箱机配置一台千兆以太网交换机3，每个相机2都通过千兆以太网交换机3接入网络，因此多条流水线的情况下就会形成一个相机网络。由该相机网络再通过一台千兆以太网交换机3将其所获取的图像发送至工控机5。工控机5对烟垛图像进行图像处理，分析是否存在缺少烟条的情况。对烟垛的检查应当在烟垛被推入包装箱后，因为此时的图像为烟垛包装的真实情况，因此相机2应当被合适的控制。工控机5通过1控制板4从安装在装封箱机内的PLC6处获得装封箱机的实时工作状态，当烟垛被推入包装箱后，工控机5立刻通过1控制板让相机2拍照以获取图像。所述1控制板4也是每台装封箱机配置一块，1控制板4接收来自工控机5的控制信号，再分别控制红外光源I的电源开关和相机2的快门。而工控机5同时也通过两级千兆以太网交换机3和RS485转换器8与各个1控制板4连接。对于每条不同的流水线，都配置各自的相机2、PLC6、1控制板4、红外光源I ;不同流水线共享的设备有:千兆以太网交换机3、RS485串口服务器7、工控机5。由于每台相机采用独立的线程控制，因此相机网络中的某一个相机2的工作状态不影响其他流水线上相机2的正常运转。
[0118]本实施例的其他部分与实施例1相同。
【权利要求】
1.一种基于多相机网络的箱缺条检测方法，其特征在于，包括以下步骤: 1)机器视觉检测软件开启，为相机网络中每台设备创建独立的工作线程，分配独立的资源； 2)根据相机设备滤波器中的相机配置参数枚举相机网络中的相机设备并设置在线相机参数； 3)当某条流水线上的烟垛进箱时，该组的1控制板接收到推杆到位信号，转换成对应相机采集图像的触发信号，同时驱动该组中的光源进行频闪； 4)相机接收到采集图像的触发信号后开始图像采集，并将采集的图像数据通过千兆以太网线传送到检测软件中的图像处理单元，同时更新人机交互界面上的图像数据； 5)图像处理单元根据检测系统保存的参数对图像进行处理，将处理的结果标签贴在人机交互界面中的图像上。一旦检测到当前烟箱缺条或者缺垛时，工控机通过RS485与1控制板通信，发出缺条或者缺垛的消息。图像处理单元对图像进行处理的具体过程如下: 6)1控制板得到缺条或者缺垛消息后，与PLC通信，发出报警并停止封箱机工作的命令； 7)PLC接收到1控制板发出的报警并停止封箱机工作的命令后，执行相关的动作，等待操作人员进行处理； 8)用机器视觉检测软件控制相机； 9)机器视觉检测软件增加相机接入或者移出相机网络自适应算法； 10)对相机掉线事件进行处理。
2.根据权利要求1所述的基于多相机网络的箱缺条检测方法，，其特征在于，所述步骤1)中还包括: 1)从检测软件目录下读取相机网络中相机的参数配置文件； 2)将读取的相机配置参数压入到相机设备滤波器中； 3)循环为每台相机设备创建一个线程，专门为相机服务。
3.根据权利要求1所述的基于多相机网络的箱缺条检测方法，，其特征在于，所述步骤2)中还包括: 1)根据检测系统需要的图像来源是灰度图还是彩色图，设置像素格式； 2)设置图像大小； 3)设置网络数据包大小以及传输过程中包与包之间的时间间隔； 4)关闭自动触发图像采集模式； 5)将图像获取模式设置为连续获取； 6)读取相机设备中缓存大小； 7)将图像数据流缓存的最大值设置为相机设备中缓存的大小； 8)注册缓存循环队列，用于保存图像数据。
4.根据权利要求1所述的基于多相机网络的箱缺条检测方法，，其特征在于，所述步骤5)中还包括: 1)中值滤波，在保持图像原有清晰轮廓的同时，去除椒盐噪声； 2)线性平滑滤波； 3)图像增强，调整图像对比度； 4)多次腐蚀； 5)图像增强； 6)二值化； 7)标记结果； 8)对标记的结果进行筛选。
5.根据权利要求1所述的基于多相机网络的箱缺条检测方法，，其特征在于，所述步骤8)中还包括: 1)对于相机网络中不在线的相机设备，循环执行枚举动作； 2)对于相机网络中已在线的相机设备，等待相机触发信号的到来，执行图像获取动作； 3)对于相机网路中的相机设备由在线状态变为不在线状态，检测软件首先接收该掉线相机的掉线事件消息，然后进行掉线事件处理，最后循环执行查找该相机动作； 4)对于相机网络中相机设备由不在线状态变为在线状态，检测软件先进行对应相机的参数配置以及分配相应的资源，然后等待相机触发信号的到来，执行图像获取动作。
6.根据权利要求1所述的基于多相机网络的箱缺条检测方法，，其特征在于，所述步骤9)中还包括: 1)当检测软件启动后，若在相机网络中枚举到相机在线，则为每台在线相机分别注册一个用于处理相机掉线事件的回调函数；若在相机网络中有不在线的相机设备，则用于控制该相机的线程一直循环枚举相机设备，直到相机设备又一次在线； 2)当相机网络中有相机设备移出网络时，则检测软件自动进入用于处理该相机掉线的回调函数中； 3)在回调函数中，进行相机掉线事件处理，相机资源的释放以及回收。
7.根据权利要求1所述的基于多相机网络的箱缺条检测方法，，其特征在于，所述步骤10)中还包括: 1)清相机在线标志； 2)取消相机抓捕图像的命令； 3)将已经缓存的图像数据保存； 4)注销用于保存图像数据的缓存； 5)完成图像抓捕； 6)关闭用于传输图像数据的流通道； 7)注销用于处理相机掉线的回调函数； 8)关闭相机设备接口； 9)销毁相机设备接口； 10)清空存储器。
8.一种基于多相机网络的箱缺条检测装置，其特征在于，包括照射包装箱内烟条码垛的红外光源、获取红外图像的相机以及获取烟条码垛状态信息的PLC，还包括通过1控制板控制相机快门、红外光源和PLC的工控机，当烟条码垛推入包装箱后，工控机获取PLC的码垛状态并控制相机快门动作获取图像，相机通过有线或无线网络发送给工控机。
9.根据权利要求8所述的基于多相机网络的箱缺条检测装置，其特征在于，所述1控制板和相机分别通过RS485串口服务器和以太网交换机连接到工控机。
10.根据权利要求8所述的基于多相机网络的箱缺条检测装置，其特征在于，所述1控制板通过RS485转换器以及两级以太网交换机与工控机连接，所述相机通过两级以太网交换机与工控机连接。
【文档编号】B65B57/14GK104192371SQ201410419798
【公开日】2014年12月10日 申请日期:2014年8月22日 优先权日:2014年8月22日
【发明者】叶莉华, 彭佩红, 杭建军, 薛扣粉, 崔一平 申请人:东南大学