基于专家规则的机器视觉快门自整定智能控制方法与流程

本发明属于一种面向高速流水线的机器视觉技术领域，特别是提供了一种基于专家规则的机器视觉快门自整定智能控制方法。

背景技术：

随着技术的不断进步，对于高质量产品的工业生产要求越来越高，工业生产中必须寻求快速、准确的检测方法，在高速流水线中运动的产品检测识别更是难上加难。现有检测普遍采用人工判断，其缺点是工作量大，检测难度大。近年来机器视觉技术不断地成熟，在工业生产中的应用也越来越广。面向高速流水线的机器视觉检测，首先要解决的难题就是如何精确抓拍目标。目前国内外针对精确抓拍地研究主要采用快门控制器来控制快门，通过相机触发传感器触发，设定固定的快门延迟时间，控制工业相机拍照。但此方法的缺陷是：由于高速流水线的轻微抖动，线速度会发生微小改变，固定的快门延迟时间不能抓拍到所有完整的待检测目标图像。本发明采用基于专家控制技术和图像特征的智能方法来实现快门自整定控制，解决了高速流水线下对目标抓拍不完整或者抓拍不到的问题。当相机触发传感器检测到目标，控制单元排除众多干扰，计算出相机快门的准确延迟时间，控制工业相机的快门开启，使得待检测目标完整地成像于工业相机的视场中心，完成对待检测目标图像抓拍的任务。

相机触发传感器触发到工业相机快门按下有一定的延迟时间，如果流水线速度保持恒定，采用固定的延迟时间是有效的。本发明解决的是流水线速度有微弱波动时，采用固定的延迟时间会导致抓拍不精确问题。而且采用相机触发传感器触发方式，没有反馈信号，无法判定抓拍的图像是否有效。本发明采用图像处理技术获取图像位置特征，得到快门延迟时间和待检测目标位置偏移量的映射关系；同时通过专家规则来不断地调整快门延迟时间，改变目标位置偏移量，获取待检测目标的正确位置。本发明的算法具有高速、高精度、高稳定性特点。

技术实现要素：

发明目的：本发明的目的是为了解决现有技术中的不足，提供一种基于专家规则的机器视觉快门自整定智能控制方法，能够根据现场工况采用图像特征和专家控制技术不断地改变快门延迟时间，来改变目标位置偏移量，获取待检测目标的正确位置，提高了工业相机快门控制精度。

技术方案：本发明所述的一种基于专家规则的机器视觉快门自整定智能控制方法，其特征在于包括如下步骤：

第一、初始化：用于完成工业相机初始参数设定；

第二、图像采集：

获取灰度图像

把工业相机附加到工业流水线待检测目标的上方，用专用光源对待检测目标进行照明，根据相机触发传感器与待检测目标的距离，计算出快门延迟时间，当相机触发传感器启动后，经过设定的快门延迟时间后自动触发工业相机快门并采集灰度图像；

第三、图像预处理：

截取图像：采用工业相机中的感兴趣区域即roi功能，在相机传感器分辨范围内定义一个或多个roi的窗口区域，仅对这些窗口内的图像信息进行读出，只获取该局部区域的图像，设定较小的roi区域可以减少相机传送及计算机需要处理的图像信息量，并提高相机的采集帧率，设定的开始坐标(x,y)，终止坐标为(x1,y1)，截取的图像尺寸长为(x1-x)，宽为(y1-y)；

第四、提取待检测目标在图像中的位置偏移量特征参数：

采用线搜索的方法获取待检测目标的成像区域，具体线搜索步骤如下：

1)若采集的灰度图像尺寸为width×height；width：灰度图像的长，height：灰度图像的宽；以长为坐标横轴x，宽为坐标纵轴y建立二维坐标系；

2)灰度图像左上顶点为原点(0，0)，确定一条平行于x轴的直线为此直线上的点的灰度值为数组x+△x的取值范围为0～width；

3)当满足背景是浅色，待检测目标区域是有强区分灰度信息情况下，通过线搜索方法从左右两边扫描非目标区域时，由于非目标区域基本接近白色，其灰度值很大，且其阈值大于θ时，则可通过线扫描判断连续点的灰度差值的变化量判断出目标区域；若单边检测到连续的几个像素灰度值不满足大于θ则说明单边没有拍到视场里，则直接按照±100％偏差输出；若通过线搜索方法从非目标区域扫描到目标区域时，其边界点的灰度差值突然变大，且灰度差值为β时，则说明寻找到目标区域成像边界坐标同样在图像右边也用此方法搜索，确定另一边界成像坐标根据获得坐标得到目标成像中点坐标

4)根据获得目标区域的灰度图像，采用线搜索的方法，通过两边同时搜索通过得到待检测目标到中点坐标距离，从而确定待检测目标的位置偏移量：

如果从左向右搜索比从右向左灰度差值先发生很大变化，即灰度差值大于△θ，则说明向左偏，位置偏移量为其中a为待检测目标到中点坐标的距离，b为中点横坐标到左边界横坐标距离；

如果从右向左搜索比从左向右灰度差值先发生很大变化，即灰度差值大于△θ，则说明向右偏，位置偏移量为其中a为待检测目标到中点坐标的距离，b为中点横坐标到右边界横坐标距离；提取所需得待检测目标在图像中的物理位置特征，得到待检测物体的位置偏移量；

第五、快门自整定专家系统：由视觉控制器完成对目标区域灰度图像处理，确定专家知识库，建立快门自整定专家系统，包括专家规则地建立；

第六、输出待检测目标位置偏移量：输出待检测目标位置偏移量，并调整按下快门延迟时间。

进一步的，截取的目标区域灰度图像中由于目标区域和非目标区域边界处灰度值差别很大，采用线搜索的方法，从左右和两边同时搜索，当搜索到目标区域和非目标边界时，灰度值发生很大改变，即能确定所要获得目标区域。

进一步的，所述专家知识库包括快门延迟时间知识库、位置偏移量知识库、控制规则知识库、特征识别知识库、信息处理知识库、推理机知识库和操作经验知识库。

进一步的，所述专家系统是由高性能数据处理芯片组成的智能控制系统，专家系统的控制过程为：将采集到的触发快门信号和位置偏移量信号，依次经过特征辨识信息处理、推理机和控制规则库，其中推理机和控制规则库是基于知识库而建立，最后输出控制信号给相机快门，从而调整当前触发相机快门信号。

进一步的，所述专家规则是通过历史给定的快门延迟时间，判断待检测目标在图像中位置偏移量；通过不断调整快门延迟时间，矫正在流水线速度微动情况下待检测目标在图像中的位置。

进一步的，所述的专家系统是一个具有大量的专门知识与经验的程序系统，充分考虑了训练样本数及其类别信息，获得了较好的识别结果，为快门控制提供了一种有效的途径。

有益效果：本发明的优点在于不受流水线运动速度和噪声的影响，在保证工业相机正常采集图像情况下，又能够精确检测到运动目标，实现工业相机拍照最佳，为图像处理奠定良好基础，创造了最佳生产效益。

本发明还有如下优点和积极效果：

1、本发明添加了机器视觉技术，能够更准确判断待检测目标。

2、本发明引用了智能控制技术——专家控制系统，其中专家控制系统是一个具有大量的专门知识与经验的程序系统，充分考虑了训练样本数及其类别信息，获得了较好的识别结果，为快门控制提供了一种有效的途径。

3、本发明提出一种快门自整定智能控制方法，能够自适应屏蔽工业流水线中的各种干扰信号，在高速环境下精确控制快门，拍摄出完整图像。

4、本发明采用图像技术和专家控制系统相融合方法，并不是取代已具备较强功能和达到相当高水平的经典方法和传统程序，而是利用其现有的成果，着重处理目前尚难于解决的部分问题。

附图说明

图1为本发明的智能控制方法流程图；

图2为本发明一个实施例的高速流水线生产机器视觉检测流程图；

图3为采集的香烟爆珠滤棒原始灰度图像；

图4为截取后的香烟爆珠滤棒图像；

图5为要提取的香烟爆珠成像区域；

图6为本发明线搜索的原理图；

图7为本发明智能控制算法流程示意图；

图8为本发明知识库结构示意图；

图9为本发明爆珠在工业生产中三种情况；

图10为本发明爆珠位置偏移量100％的实物图；

图11为本发明爆珠位置偏移量50％的实物图；

图12为本发明爆珠位置偏移量20％的实物图。

具体实施方式

下面结合附图和具体实施案例对本发明进行详细说明。

如图1所示的智能控制方法流程图，本发明以检测爆珠香烟滤棒为实例来说明此发明：

如图2所示，在高速流水线上传送带1由安装在机架上的伺服电机驱动，且用于传输以等距方式加入且含有爆珠5的香烟滤棒2，爆珠添加装置包括相互电连接的爆珠传感器3和爆珠挤压装置4，爆珠挤压装置4设在传送带上方，爆珠传感器3触发后，爆珠挤压装置4就会发出信号挤压爆珠到两支滤棒的空隙里，重复此种动作，完成爆珠添加。

此实施例改进的高速流水线还包括机器视觉装置，机器视觉装置用于清晰拍摄完整爆珠的图像，包括工业相机6、条形光源7、相机触发传感器8和固定支架9，所述相机触发传感器8安装于固定支架9的侧部位置，并固定于支架9上，用于目标区域触发，产生触发信号，控制工业相机6拍照，相机触发传感器8的输出信号通过触发线与工业相机6电连接；相机触发传感器8采用光纤介质，其检测速度为微秒即便是微小的目标物也可以快速检测到，即响应时间快。所述的相机触发传感器8上安装了清扫灰尘的设备，每隔一段时间，清扫装置就会打开，使传感器更加灵敏。条形光源7由高密度贴片式led阵列组成，并且采用多角度条形光源。所述工业相机6还设有专家控制装置，能自适应调整快门延迟时间，确保流水线速度波动时，能动态调整快门延迟时间，完整的抓拍目标。

视觉控制器装置10是系统控制总站，其输入端与工业相机6输出端连接，根据香烟爆珠滤棒视觉信息，通过千兆以太网实现对实时图像信息的处理，通过串口实现控制命令的发送。

由于传送带微弱波动，速度不稳定，或者挤压不及时抖动影响，在两支香烟滤棒之间就会不添加或者多添加爆珠，导致产品不合格。

本发明利用图像和专家规则相结合的方法来检测爆珠香烟滤棒，在挤压装置左边安装工业相机和传感器，设定起始按下快门延迟时间，当传感器触及到所要检测的区域，就会产生高脉冲，按下相机快门拍照。若香烟滤棒之间含有一个爆珠且爆珠完整的在图像检测区域内则检测合格，若香烟滤棒图像中无爆珠、无完整爆珠或者多个爆珠则检测为不合格。若给定的快门延迟时间偏少，爆珠在图像中就未被抓拍到或者向左偏，若给定的快门时间偏多，爆珠在图像中就未被抓拍到或者向右偏，本发明以爆珠香烟滤棒为例，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施案例。

本发明提供的基于专家规则的机器视觉快门自整定智能控制方法，如图1所示，该方法包括以下步骤：

第一、初始化：用于完成该系统的初始工业相机参数设定。

第二、图像采集：

获取香烟爆珠滤棒灰度图像

把工业相机附加到自动化生产线爆珠香烟滤棒的上方，用专用光源对爆珠香烟滤棒照明，根据相机触发传感器与爆珠香烟滤棒的距离，计算出快门延迟时间。相机触发传感器启动后，经过设定的快门延迟时间后自动按下工业相机快门并采集香烟爆珠滤棒灰度图像。如图3为采集的香烟爆珠滤棒原始灰度图像；在实际生产中此图像是在相机视野中的成像，并不采集输出。

第三、图像预处理：

截取香烟爆珠滤棒图像

本发明采用工业相机中的感兴趣区域即roi功能，在相机传感器分辨范围内定义一个roi窗口区域，仅对这个窗口内的图像信息进行读出，只获取该局部区域的图像。设定较小的roi区域可以减少相机传送及计算机需要处理的图像信息量，并提高相机的采集帧率。本实施例采集的爆珠原始灰度图像尺寸为396×365，其中396为图像的长，365为图像的宽；设定的感兴趣区域的起始坐标(0，134),终止坐标为(368，230)，截取的爆珠灰度图像尺寸长为368，宽为96；如图4为截取后的香烟爆珠滤棒图像；

第四、提取香烟爆珠在图像中的位置偏移量特征参数：

本发明采用线搜索的方法获取香烟爆珠成像区域。灰度图像中爆珠区域和滤棒区域灰度值差别很大，本发明采用从左右和两边同时搜索，当搜索到爆珠区域和滤棒边界时，灰度值发生很大改变，即能确定所要获得爆珠成像区域。如图5为要提取的香烟爆珠成像区域；具体线搜索步骤如下：

1)若采集的灰度图像尺寸为368×96；368为灰度图像的长，96为灰度图像的宽；以长为坐标横轴x，宽为坐标纵轴y建立二维坐标系；

2)灰度图像左上顶点为(0，0)，确定一条平行于长的直线为y＝48，此直线上的点的灰度值为数组g(x+△x,48)，x+△x的取值范围为0～368；

3)香烟爆珠滤棒灰度图像满足背景是淡色，香烟爆珠成像区域是强区分灰度信息图像，通过线搜索方法从左右和两边扫描香烟滤棒区域时，由于香烟滤棒区域基本接近白色，其灰度值很大，且其阈值大于240时，则可通过线扫描判断连续点的灰度差值的变化量判断出爆珠区域；若单边检测到连续的几个像素灰度值不满足大于240则说明单边没有拍到视场里，则直接按照±100％偏差输出。若通过线搜索方法从香烟滤棒区域扫描到爆珠区域时，其两个区域边界点的灰度差值△g(x,48)＝g(x+△x,48)-g(x,48)突然变大，灰度差值范围在100到210之内；则说明寻找到目标区域成像边界坐标(x+△x,48)，同样在图像右边也用此方法搜索，确定另一边界成像坐标(368-△x,48)，根据获得坐标得到香烟爆珠成像中点坐标图6为本发明线搜索的原理图；根据获得香烟爆珠的灰度图像，采用线搜索的方法，通过两边同时搜索可以通过得到香烟爆珠到中点坐标距离，从而确定香烟爆珠的位置偏移量。如果从左向右搜索比从右向左灰度差值先发生很大变化，即灰度差值大于55到100，则说明向左偏，位置偏移量为a：香烟爆珠到中点坐标的距离；b：中点横坐标到香烟滤棒左边界横坐标距离；如果从右向左搜索比从左向右灰度差值先发生很大变化，即灰度差值大于55到100，则说明向右偏，位置偏移量为a：香烟爆珠到中点坐标的距离；b：中点横坐标到香烟滤棒右边界横坐标距离；提取所需得香烟爆珠在图像中的物理位置特征，得到香烟爆珠的位置偏移量；

第五、快门自整定专家系统：由控制器完成灰度图像的处理，确定专家知识库，建立快门自整定专家系统，包括专家规则地建立。专家规则：通过历史给定按下快门的时间，判断爆珠在图像中位置偏移量；通过不断调整快门延迟时间，调整爆珠在图像中位置的变化。

如图7所示，专家规则具体控制步骤如下：

1)给定历史快门延迟时间t3(历史快门延迟时间t3：相机触发传感器启动后到按下快门之间的第3个历史时间)，通过采集到的图像，判断香烟爆珠历史位置偏移量s3是向左偏还是向右偏移。

2)若1)中的向左偏且偏移量s3，则给定的历史时间t3偏小，需增加时间；若向右偏且偏移量是s3，则给定的历史时间t3偏大，则要减少时间。

3)无论2)中是增加或减少时间，在给定的时间t2中，对采集到的图像判断香烟爆珠历史位置偏移量s2是向左偏还是向右偏移。

4)若3)中向左偏且偏移量是s2，则给定的历史时间t2偏小，需增加时间；若s2向右偏且偏移量是s2，则给定的历史时间t2偏大，则要减少时间。

5)对2)中所给的时间t2，判断历史位置偏移量s2响应，香烟爆珠位置改变多少。

6)无论4)中是增加或减少时间，在给定的时间t1中，对采集到的图像判断香烟爆珠历史位置偏移量s1是向左偏移还是向右偏移。

7)若6)中向左偏且偏移量是s1，则给定的历史时间t1偏小，需增加时间；若向右偏且偏移量是s1，则给定的历史时间t1偏大，则要减少时间。

8)对4)中所给的时间t1，判断历史偏移量s1的响应，香烟爆珠的位置改变多少。

9)比较5)和8)的两次响应变化，预估当前快门延迟时间t。

本发明实施实例的智能控制方法中涉及的专家规则表示例如下：

表1专家规则表

表1可以看出，采用专家控制系统后，可以合理控制快门延迟时间，在保证能够准确采集到所需图像，位置准确无偏差，对历史值采用收敛的方式不断改变快门延迟时间，能够有效预估当前工业相机快门延迟时间。

如图7所示的基于专家规则的机器视觉快门自整定智能控制方法流程图，专家控制系统是由计算机组成的智能控制系统，专家控制系统控制过程为：将采集到的触发快门信号和香烟爆珠位置偏移量信号，依次经过特征辨识信息处理、推理机和控制规则库，其中推理机和控制规则库是基于知识库而建立，最后输出控制信号给相机快门，从而调整当前触发相机快门信号。

如图8所示，知识库包括快门延迟时间知识库、香烟爆珠位置偏移量知识库、控制规则知识库、特征识别知识库、信息处理知识库、推理机知识库和操作经验知识库；其中快门延迟时间知识库包括第一历史时间、第二历史时间、第三历史时间；香烟爆珠位置偏移量知识库包括第一历史位置偏移量、第二历史位置偏移量、第三历史位置偏移量。

当前香烟爆珠位置偏移量与历史的三对值(历史时间和历史位置偏移量)和传送带运行速度等因素密切相关。因此，在改变相机快门延迟时间时，根据知识库中对应的香烟爆珠位置偏移量数据，不断控制快门延迟时间，调整香烟爆珠位置偏移量，保证快速准确定位拍照。

第六、输出香烟爆珠位置偏移量：输出香烟爆珠位置偏移量，并调整按下快门延迟时间；

第七、在获得完整香烟爆珠图像基础上，通过香烟爆珠滤棒图像处理系统，在线判断香烟爆珠是否合格，香烟爆珠滤棒图像处理系统向香烟爆珠滤棒剔除单元输出剔除控制信号，启动工件剔除单元，打开电磁阀，香烟爆珠滤棒剔除单元不合格的不合格工件，完成不合格香烟爆珠滤棒剔除。

所述的剔除装置为接收视觉控制器给出的剔除信号，并通过高压气喷枪完成剔除动作，剔除装置包括剔除控制单元11、空气压缩机12、气体传输管线13、电磁阀14、香烟爆珠滤棒吹嘴15和不合格香烟滤棒收集箱16。空气压缩机12通过气体传输管线13与香烟爆珠滤棒吹嘴15连通，所述香烟爆珠滤棒吹嘴15还电连接有电磁阀14，以便电磁阀14打开时有高压气流从香烟爆珠滤棒吹嘴15吹出，将不合格的香烟爆珠滤棒剔除。所述不合格香烟滤棒收集箱16安装于传送带的侧面，用于接收不合格的香烟滤棒。

将步骤中得到的香烟爆珠位置偏移量输入到快门自整定专家系统中，与专家系统规则库中存储的位置偏移量进行对比，经过专家系统中推理机的推理，专家系统将推理结果输出。

图9所示的为香烟爆珠在工业生产中的三种情况，图9(a)为含有两个爆珠，图9(b)为含有一个爆珠，图9(c)为香烟滤棒中不含有爆珠。不加机器视觉装置时，就很难判断爆珠状态，传统工业相机不具备控制功能，当流水线速度波动时，会出现图10、图11、图12中的几种情况，导致拍照具有不确定性，当爆珠不在图像中央区域时，则会影响爆珠特征提取，导致数量检测失败。本发明增加的机器视觉装置采用了专家控制策略，能够确保完整准确地拍摄出动态香烟爆珠滤棒图像，确保后续的爆珠数量检测准确性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。