一种基于视觉的缺陷竹块检测分拣装置及方法与流程

本发明涉及工业自动检测技术领域，特别涉及一种基于视觉的缺陷竹块检测分拣装置及方法。

背景技术：

我国竹资源丰富，是世界上最主要的竹产国。竹块是竹资源有效利用的重要组成部分，其制作过程有竹材选料、切割、胚胎成型、打孔、打磨去头青、蒸煮漂白、竹块精选等工艺流程，其中任何一个环节出现问题，都会造成竹块在不同方面、不同程度上的缺陷。在竹块缺陷检测方面，目前仍是基于人工目测的方式进行竹块缺陷检测，需要加工厂支付巨额的人力成本，而且人工只能检出其中80％的残次品，严重影响后续的加工与产品质量。

国内外在工件缺陷检测、分类方面已经进行了比较多的研究，并将其研究成果用于实际生产加工中。随着工业自动化及机器视觉的发展，对竹块缺陷的研究逐渐展开，并取得相应的进展。宋树祥等提出了一种基于视觉的竹块在线检测方法及系统，实现了竹块的自动化输送及自动翻面，通过图像处理分析实现了轮廓、白斑及棕斑缺陷的检测。欧阳亮等公开了一种自动完成麻将凉席竹块分拣的分拣装置。目前竹块分拣设备多采用振动盘实现单个竹块上料，单个缺陷检测，检测效率低。竹块检测系统存在硬件系统冗余繁杂、单个竹块检测以致速度较慢、表面划痕等细小缺陷检测准确率不高等问题。对于色差缺陷，未进行过行之有效的研究。在调研过程中发现由于现有软硬件系统准确性、可靠性差、成本高等不足，特别是检测效率低难以满足生产需求，鲜有用于实际生产检测，仍是通过人眼辨别的方式进行竹块缺陷检测。实现竹块高效准确的缺陷检测以及快速分拣剔除，具有重要的实际应用价值，同时也是一项紧迫且具有挑战性的工作。

技术实现要素：

为了克服上述现有技术的缺点，本发明的目的在于提出一种基于视觉的缺陷竹块检测分拣装置及方法，装置上料简单、速度快，分拣速度快；方法准确率高，效率高。

为了达到上述目的，本发明采取的技术方案为：

一种基于视觉的缺陷竹块检测分拣装置，包括工件槽1，工件槽1上设有带有卡槽的第一传送带2，第一传送带2下端置于工件槽1中并倾斜固定，第一传送带2顶端略高于水平设置的第二传送带3，在第二传送带3输送的方向依次设有挡板4与第一门型可调支架7，第一门型可调支架7固定在第二传送带3两侧，第一门型可调支架7上连接有第一矩形无影光源5及第一相机6，第二传送带3输送方向的末端设有第一delta机器人8，第一delta机器人8的侧边放置有第一废料箱10，第二传送带3下方和第一摩擦轮12保持接触，第一摩擦轮12与第一编码器11同轴连接；

第二传送带3的末端和第三传送带9的首端在输送方向相互平行并保持一定间隙，配合形成竹块翻面结构，第三传送带9下方和第二摩擦轮14保持接触，第二摩擦轮14与第二编码器13同轴连接，在第三传送带9输送的方向设有第二delta机器人20和第二门型可调支架18，第二门型可调支架18固定在第三传送带9两侧，第二门型可调支架18连接有第二矩形无影光源17及第二相机19，第二delta机器人20固定在第三传送带9输送方向的末端，第二delta机器人20侧边放置有第二废料箱15，第三传送带9传输方向最末端的下方设有合格箱16。

所述的第一矩形无影光源5、第一相机6、第一delta机器人8、第一编码器11、第二编码器13、第二矩形无影光源17、第二相机19、第二delta机器人20和工控机连接。

通过水平测量仪、标靶图像矩形对边相等的方式保证第一相机6、第二相机19分别平行第二传送带3、第三传送带9。

调整第一矩形无影光源5、第二矩形无影光源17中每个矩形光源的角度避开反光区。

所述的一种基于视觉的缺陷竹块检测分拣装置的方法，包括以下步骤：

步骤一，在运行之前，首先分别对第一相机6、第二相机19内外参数标定，对第一相机6与第一delta机器人8、第二相机19与第二delta机器人20手眼标定；第一相机6与第一delta机器人8手眼标定以第二传送带3为中介，先标定第一相机6与第二传送带3，再标定第二传送带3与第一delta机器人8；第二相机19与第二delta机器人20手眼标定同理；

步骤二：竹块上料，带有卡槽的第一传送带2将工件槽1中的竹块输送到第二传送带3上，通过挡板4隔挡形成单层多目标工件；

步骤三，第二传送带3移动时带动第一摩擦轮12转动，通过第一编码器11记录第二传送带3的位置；当有竹块输送上第二传送带3时，第一编码器11触发第一相机6采集图像及并记录当前位置；第一编码器11通过stm32将数值实时传到工控机上进行反馈；第一矩形无影光源5打光，第一相机6采集图像，识别正反面并检测缺陷，结合第一编码器11定位缺陷的位置，将缺陷目标的位置传给工控机；工控机控制第一delta机器人8运动，将缺陷竹块分拣到第一废料箱10；

步骤四：竹块翻转，在检测完一面之后，第二传送带3和第三传送带9形成竹块翻面结构，利用第二传送带3和第三传送带9之间的缝隙实现夹紧竹块，经翻面检测竹块另外一面；

步骤五：竹块反面视觉检测，第三传送带9与第二摩擦轮14、第二编码器13的工作过程同步骤二中第二传送带3、第一摩擦轮12、第一编码器11的工作过程相同，经翻面后，竹块由传第三送带9输送过来，第二矩形无影光源17打光，第二相机19采集图像，并触发第二编码器13，识别正反面并检测缺陷，结合第二编码器13的值定位缺陷目标的位置，将缺陷目标的位置传给工控机，工控机控制第二delta机器人20运动，将缺陷竹块分拣到第二废料箱15；

步骤六：经过竹块正反面的视觉缺陷检测后，合格竹块落到合格箱16中，完整整个分拣过程；

步骤七：取s为小于相机视场的某一固定距离，第一编码器11、第二编码器13分别记录距离长度s之后触发第一相机6、第二相机19采集图像，重复步骤三～步骤六。

所述的相机视觉检测方法，包括以下步骤：

步骤一，采集彩色图像，对其进行中值滤波、转灰度图；

步骤二，定位竹块位姿，首先采用基于标记的分水岭算法分割图像中粘连的竹块；然后检测图像中轮廓的闭合边缘，定位竹块；提取轮廓周长，设定阈值滤除噪声轮廓；

步骤三，通过判断目标中心距离相机视场边缘的距离，检测竹块是否完整在相机视场内，对于不完整在相机视场内的竹块不进行缺陷检测；

步骤四，当检测竹块完全在视场内时，提取目标竹块的面积、对称度、紧密度，合格的竹块面积在12000～13000像素之间，对称度大于0.9，紧密度大于0.87，若三个特征不同时满足要求，则被判定是轮廓缺陷竹块，记录轮廓缺陷竹块的位置；

步骤五，在竹块轮廓检测合格后，对于色差缺陷，通过将rgb图像转换为hsi图像，选取s阈值检测色差缺陷，记录色差缺陷竹块的位置；

步骤六，针对没有色差缺陷的竹块，求竹块的灰度均值并与设定的阈值相比区分竹块正反面；

步骤七：针对反面竹块，通过二值化后，判断缺陷面积占竹块面积的比例判别是否为缺陷竹块；当反面竹块存在缺陷时，记录缺陷竹块的位置；

步骤八：针对正面划痕、裂缝、斑点等纹理缺陷检测，提取并融合了局部二值模式与灰度共生矩阵的多位特征，使用svm分类器判断纹理缺陷竹块；当正面存在纹理缺陷时，记录缺陷竹块的位置；

步骤九：在检测到竹块有缺陷时，提取目标竹块的中心。

所述的步骤二基于标记的分水岭算法为：对相机视场内的目标竹块先进行距离变换，以距离变换的图像作为分水岭算法的标记，作为先验知识；针对粘连竹块通过基于距离变换的分水岭算法来进行分割，对分离的竹块缺陷检测。

所述的步骤四中对称度的计算方法为：先求轮廓的中心，近似将最小外接矩形的中心为竹块中心，在竹块边缘检测之后，将边缘从全局坐标系转化为以竹块中心为原点的局部坐标系下，

式中，(x，y)为以图像左上角为原点的坐标，(x，y)为以竹块中心为原点的坐标，θ为旋转角度，(cx,cy)为竹块的中心坐标；

竹块本身的加工精度以及坐标转化过程中近似代替，只要转化后的左右边缘相加之和控制在6个像素内，即认为是对称的，对称度是左右轮廓对称点数与单边边缘像素点数的比值。

所述的步骤五中s阈值的选取方法为：统计50片合格竹块在s空间内的灰度均值，50片有色差竹块的灰度均值，得出相应的s阈值。

所述的步骤八针对正面划痕、裂缝、斑点等纹理缺陷检测的具体方法为：

1)采集图像大小为1600*1200像素，提取每个竹块区域内像素点的lbp，将目标区域映射成大小为128*64像素；每个点的lbp是通过对比中心像素值与3*3的圆形邻域像素值，若此像素点小于等于中心像素值，则该像素被记为1，否则记为0；采用了基于uniform的旋转不变lbp模式，建立查找表，通过映射的方式找到对应的模式值；cell取32*32，将每个cell的统计直方图进行连接成为一个特征向量，则每个竹块区域生成9*4*2＝72维特征；使用主成分分析法(pca)对lbp特征进行降维，方差百分比设置为0.95，维数降低到44维；

2)提取竹块区域的水平及竖直方向的灰度共生矩阵(glcm)的特征值，包括熵、能量、对比度、相关性，总计8维特征；结合lbp的44维特征与灰度共生矩阵的8维特征形成52维特征，分别采集300张合格竹块的图像，500张纹理缺陷图片，其中表面划痕、裂缝各100张，斑点缺陷300张；

3)读取图片并提取上述52维特征输入svm分类器进行训练得到分类器，在进行纹理缺陷检测时，只需要加载模型。

与现有技术相比，本发明的有益效果为：

本发明装置通过带有卡槽的传送带上料，带有挡板的过滤，保证相机成像及机器人分拣是单层多目标，使相机对多个目标竹块同时进行检测，可以大大提高识别分拣效率，并降低成本；采用基于距离变换的分水岭算法，将相机图像内的竹块分割成单目标；在缺陷检测方法上，对于轮廓缺陷，采用面积、对称度、紧密度串行判别的方式有效保证了合格竹块；对于色差缺陷，通过将rgb图像转换为hsi图像，选取s阈值检测过度染色的图像；对于斑点缺陷，提取纹理特征和统计特征，并对纹理特征降维后进行融合形成多维向量，能够有效提高准确率及检测效率。本发明通过融合多种特征，对竹块的多种缺陷进行检测，有利于提高系统的稳定性和鲁棒性，效率更高更智能化。

附图说明

图1为本发明基于视觉的缺陷竹块检测分拣装置的示意图。

图2为本发明相机视觉检测方法流程图。

图3为竹块完整性检测示意图。

具体实施方式

下面结合附图和实施例对本发明作详细描述。

如图1所示，一种基于视觉的缺陷竹块检测分拣装置，包括工件槽1，工件槽1上设有带有卡槽的第一传送带2，第一传送带2下端置于工件槽1中并倾斜固定，第一传送带2顶端略高于水平设置的第二传送带3，在第二传送带3输送的方向依次设有挡板4与第一门型可调支架7，第一门型可调支架7固定在第二传送带3两侧，第一门型可调支架7上连接有第一矩形无影光源5及第一相机6，第二传送带3输送方向的末端设有第一delta机器人8，第一delta机器人8的侧边放置有第一废料箱10，第二传送带3下方和第一摩擦轮12保持接触，第一摩擦轮12与第一编码器11同轴连接；

第二传送带3的末端和第三传送带9的首端在输送方向相互平行并保持一定间隙，配合形成竹块翻面结构，第三传送带9下方和第二摩擦轮14保持接触，第二摩擦轮14与第二编码器13同轴连接，在第三传送带9输送的方向设有第二delta机器人20和第二门型可调支架18，第二门型可调支架18固定在第三传送带9两侧，第二门型可调支架18连接有第二矩形无影光源17及第二相机19，第二delta机器人20固定在第三传送带9输送方向的末端，第二delta机器人20侧边放置有第二废料箱15，第三传送带9传输方向最末端的下方设有合格箱16。

所述的第一矩形无影光源5、第一相机6、第一delta机器人8、第一编码器11、第二编码器13、第二矩形无影光源17、第二相机19、第二delta机器人20和工控机连接。

所述的第一传送带2的卡槽之间的宽度为50mm，高度为10mm。为避免过度堆积以及对第二传送带3本身的划伤，第一传送带2的上料速度与的检测速度相匹配。第二传送带3和第三传送带9运行速度同步。其中竹块的高度为5.2mm。挡板4设置为可调，其垂直距离第二传送带3的范围在7mm～9mm之间。通过水平测量仪、标靶图像矩形对边相等的方式保证第一相机6、第二相机19分别平行第二传送带3、第三传送带9，调整第一矩形无影光源5、第二矩形无影光源17中每个矩形光源的角度有效避开反光区。

所述的一种基于视觉的缺陷竹块检测分拣装置的方法，包括以下步骤：

步骤一，在运行之前，首先分别对第一相机6、第二相机19内外参数标定，对第一相机6与第一delta机器人8、第二相机19与第二delta机器人20手眼标定；第一相机6与第一delta机器人8手眼标定以第二传送带3为中介，先标定第一相机6与第二传送带3，再标定第二传送带3与第一delta机器人8；第二相机19与第二delta机器人20手眼标定同理；

步骤二：竹块上料，带有卡槽的第一传送带2将工件槽1中的竹块输送到第二传送带3上，通过挡板4隔挡形成单层多目标工件；

步骤三，第二传送带3移动时带动第一摩擦轮12转动，通过第一编码器11记录第二传送带3的位置；当有竹块输送上第二传送带3时，第一编码器11触发第一相机6采集图像及并记录当前位置；第一编码器11通过stm32将数值实时传到工控机上进行反馈；第一矩形无影光源5打光，第一相机6采集图像，识别正反面并检测缺陷，结合第一编码器11定位缺陷的位置，将缺陷目标的位置传给工控机；工控机控制第一delta机器人8运动，将缺陷竹块分拣到第一废料箱10；

步骤四：竹块翻转，在检测完一面之后，第二传送带3和第三传送带9形成竹块翻面结构，间距为3mm，利用第二传送带3和第三传送带9之间的缝隙实现夹紧竹块，经翻面检测竹块另外一面；

步骤五：竹块反面视觉检测，第三传送带9与第二摩擦轮14、第二编码器13的工作过程同步骤二中第二传送带3、第一摩擦轮12、第一编码器11的工作过程相同，经翻面后，竹块由传第三送带9输送过来，第二矩形无影光源17打光，第二相机19采集图像，并触发第二编码器13，识别正反面并检测缺陷，结合第二编码器13的值定位缺陷目标的位置，将缺陷目标的位置传给工控机，工控机控制第二delta机器人20运动，将缺陷竹块分拣到第二废料箱15；

步骤六：经过竹块正反面的视觉缺陷检测后，合格竹块落到合格箱16中，完整整个分拣过程；

步骤七：取s为小于相机视场的某一固定距离，第一编码器11、第二编码器13分别记录距离长度s之后触发第一相机6、第二相机19采集图像，重复步骤三～步骤六。

如图2所示，所述的相机视觉检测方法，包括以下步骤：

步骤一，采集彩色图像，对其进行中值滤波、转灰度图；

步骤二，定位竹块位姿，首先采用基于标记的分水岭算法分割图像中粘连的竹块；然后检测图像中轮廓的闭合边缘，定位竹块；提取轮廓周长，设定阈值滤除噪声轮廓；

基于标记的分水岭算法为：对相机视场内的目标竹块先进行距离变换，以距离变换的图像作为分水岭算法的标记，作为先验知识；针对粘连竹块通过基于距离变换的分水岭算法来进行分割，对分离的竹块缺陷检测；

步骤三，检测竹块是否完整在相机视场内,如图3所示，l表示最小外接矩形对角线的长度，a代表最小外接矩形中心点距左边缘的距离，b代表最小外接矩形中心距离右边缘的位置，若a或b的值小于l/2，说明该目标没有完全进入相机视场或已经出相机视场，不再对其进行缺陷检测；

步骤四，当检测竹块完全在相机视场内时，检测轮廓缺陷竹块，随机选取100块合格和100块具有轮廓缺陷的竹块，分别计算其面积、对称度、紧密度，统计发现，合格的竹块面积在12000～13000像素之间，对称度大于0.9，紧密度大于0.87；在检测竹块对三个形状特征串行使用，在不同时满足这三个特征阈值时，则被判定为轮廓不合格竹块；其中竹块面积统计的是在图像二值化之后像素点的个数总和；对称度是竹块轮廓边缘关于中轴线的对称性；由于竹块边缘缺陷只会出现在纵向边缘，所以只需要计算纵向边缘的对称度；紧密度是竹块本身的面积与最小外接矩形面积的比值；

对称度的计算是先求轮廓的中心，由于竹块形状近似于矩阵，为提高计算速度，近似将最小外接矩形的中心为竹块中心；在竹块边缘检测之后，将边缘从全局坐标系转化为以竹块中心为原点的局部坐标系下，

式中，(x，y)为以图像左上角为原点的坐标，(x，y)为以竹块中心为原点的坐标，θ为旋转角度，(cx,cy)为竹块的中心坐标；

由于竹块本身的加工精度以及坐标转化过程中近似代替，只要转化后的左右边缘相加之和控制在6个像素内，即认为是对称的；对称度是左右轮廓对称点数与单边边缘像素点数的比值；

步骤五，在竹块轮廓检测合格后，对于色差缺陷，通常表现为过度染色，统计颜色空间的hsi特征值，统计50片合格竹块在s空间内的灰度均值，50片有色差竹块的灰度均值，选取相应的阈值即可区分缺陷竹块；

步骤六，针对没有色差缺陷的竹块，由于竹块的缺陷主要集中在正面且正面直接影响成品的质量效果，通过正面的缺陷检测即可识别出大部分缺陷竹块；求竹块的灰度均值并与设定的阈值相比即可区分出正反面；

步骤七：针对反面竹块，通过二值化后，判断缺陷面积占竹块面积的比例判别是否为缺陷竹块；当反面竹块存在缺陷时，记录缺陷竹块的位置；

步骤八：正面划痕、裂缝、斑点等纹理缺陷检测，

1)采集图像大小为1600*1200像素，提取每个竹块区域内像素点的lbp，为提高效率将目标区域映射成大小为128*64像素；每个点的lbp是通过对比中心像素值与3*3的圆形邻域像素值，若此像素点小于等于中心像素值，则该像素被记为1，否则记为0；为了降低维度，提高特征提取效率，采用了基于uniform的旋转不变lbp模式，建立查找表，通过映射的方式找到对应的模式值；cell取32*32，将每个cell的统计直方图进行连接成为一个特征向量，则每个竹块区域生成9*4*2＝72维特征；为减少冗余，增强特征的鲁棒性，使用主成分分析法(pca)对lbp特征进行降维，方差百分比设置为0.95，维数降低到44维；

2)提取竹块区域的水平及竖直方向的灰度共生矩阵(glcm)的特征值，包括熵、能量、对比度、相关性，总计8维特征；结合lbp的44维特征与灰度共生矩阵的8维特征形成52维特征，分别采集300张合格竹块的图像，500张斑点缺陷图片，包括表面划痕、裂缝各100张，斑点缺陷(包括棕斑、白斑)300张；

3)读取图片并提取上述52维特征输入svm分类器进行训练得到分类器，在进行纹理缺陷检测时，只需要加载模型即可；

步骤九：在检测到竹块有缺陷时，提取目标竹块的中心。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。