一种基于视觉引导的香肠智能分拣方法与流程

本发明涉及一种香肠分拣方法，特别是一种基于视觉引导的香肠智能分拣方法。

背景技术：

自动分拣是产品制造过程中常见的工序，分拣的效率与准确率直接影响产品的产量与质量。在香肠生产过程中，自动分拣主要是为了将香肠依次放置烘盘内，以便于将香肠送至烘干箱内进行烘干。

目前，香肠自动分拣方法有致力于机器人自动化解决方案研发的德国robomotion有限公司为某企业所设计的香肠全自动化生产线，其主要通过相机拍摄生产线上散乱的香肠，利用图像处理算法后对香肠进行识别与定位，从而引导工业机器人对流水线上的香肠进行自动分拣。然而，该自动分拣系统存在产品适应性较弱、漏检率较高、定位精度较低、机器人误抓取率较高等诸多问题，影响香肠的产量。产生此类问题的主要原因是其图像处理算法无法对流水线上的香肠进行高精度识别与定位。

技术实现要素：

本发明所要解决的技术问题是提供一种基于视觉引导的香肠智能分拣方法，实现对流水线上香肠的高精度识别定位。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于视觉引导的香肠智能分拣方法，其特征在于包含以下步骤：

步骤一：使用固定的阈值将香肠图像二值化；

步骤二：提取二值图像中香肠长轴中线；

步骤三：利用hough变换香肠长轴中线的直线段，排除重复直线；

步骤四：搜索香肠两端截止位置，计算香肠的偏向角度与香肠的中心坐标；

步骤五：滤除无效香肠。

进一步地，所述步骤一中香肠图像通过工业相机抓取，其抓取过程为传送带以一定速度传输香肠，光源方向面向传送带上的香肠，工控机控制控制器向工业相机发送频闪信号，触发相机对香肠进行拍照获取香肠图像。

进一步地，所述步骤一具体为相机采集图像后，采用固定阈值对香肠图像进行二值化，在二值化图像中，香肠前景目标为黑色，背景部分为白色，二值化阈值设置为125。

进一步地，所述步骤二具体为前景线段进行水平和垂直两方向扫描，若该线段长度位于[0.8×dstandard,1.5×dstandard]区间内，提取该线段的中心点作为垂直中心的候选点，dstandard为香肠标准直径，由于所设定的线段长度区间是以单倍香肠直径为准则，中线标记点即为单根香肠的中轴标记线，因此不能提取两根或多根香肠并排粘连在一起时的中轴标记线，在简单粘连处亦会出现中轴标记线断裂的现象，为了提升长轴中线的连通性，对标记点进行膨胀运算。

进一步地，所述步骤三具体为利用概率hough直线检测，提取至少香肠长度的四分之一长度的香肠长轴中线的直线段，即为潜在的香肠长轴中线，同一根香肠的长轴中线容易检测出多条直线，均为潜在的香肠中轴线，每次以某条直线搜索两端至截止位置前，均需判别该条直线是否与早前已成功搜索至截止位置的直线重复，若判别为位于同一根香肠，即放弃搜索当前直线。

进一步地，所述判别该条直线是否与早前已成功搜索至截止位置的直线重复过程为

条件1：当前直线段中心点与已检测香肠中心点的距离小于标准香肠的半个斜对角线长度；

条件2：当前直线段中心点与已检测香肠中心点连线的倾斜角与已检测直线倾斜角度之差小于30度；

如果同时满足以上两个条件，则判别当前直线段所处的香肠已被搜索过两端截止位置，不再重复搜索，直接舍弃当前直线。

进一步地，所述步骤四具体为香肠中间部分较为饱满粗壮，沿中间向两端会收腰变细，通过中轴线向两端搜索截止位置，进而准确定位出香肠的中心坐标，两端均须搜索到截止位置，方可视为一根完整的香肠；若中轴线上延长点为背景色，则此根香肠视为部分香肠，即仅有部分香肠位于视场内，所计算的香肠中心未能体现此根香肠的真正中心，因此舍弃此根香肠，沿中轴线上以一定步长向两端延伸搜索，根据轴线点及与轴线垂直的径向点是否为前景像素或背景像素，来判别香肠两端的截止位置。

进一步地，所述判别箱涵两端的截止位置的过程为

定义轴线点a、四分径点b、内径点c、外径点d；

轴线点a为中轴线上自直线段端点处以一定步长向两端延伸的点；

四分径点b为轴向点a处的径线上自轴向点a处与点a有点a四分之一个直径的距离点；

内径点c为轴向点a处的径线上自轴向点a处与点a有0.8个半径的距离点；

外径点d为轴向点a处的径线上自轴向点a处与点a有1.25个半径的点；

其中，径线上有两个四分径点b、两个内径点c、两个外径点d，四分径点b主要用于判别轴向粘连的情况，外径点d主要用于判别t字粘连的情况；

判断香肠两端截止位置的条件为：

条件1：轴线点a与两个内径点c中有两个点为背景色；

条件2：某端处两个四分径点b中任一点b为背景色；

条件3：两个外径点d均为前景色；

轴线点或径线点仅需满足上述任一条件，即被视为已搜索到此端处的截止位置，由香肠的两端截止位置可计算出香肠的偏向角度与中心坐标，进而计算出香肠的长度，若此长度结果满足长度阈值，即被视为在视场中搜索到一根香肠。

进一步地，所述步骤五具体为设置边距boundary参数与间隔margin参数以判别无效香肠，判别条件为：

条件1：已识别的香肠中心横坐标与视场左右两侧的距离小于boundary；

条件2：已识别的香肠长轴边沿距离间隔margin范围内有其他香肠，即以香肠半径为步长辐射，检查辐射距离处沿长轴方向的夹爪长度范围内是否存在两个或以上像素点为前景像素点。

本发明与现有技术相比，具有以下优点和效果：本发明的基于视觉引导的香肠自动分拣方法具有更强的产品适应性、更高的香肠识别定位精度及更低的漏拣率，因而能够更有效地提升企业的香肠生产效率。

附图说明

图1是本发明的一种基于视觉引导的香肠智能分拣方法的分拣系统示意图。

图2是本发明的香肠样本图像。

图3是本发明的二值化图像。

图4是本发明的香肠长轴中线标记图。

图5是本发明的香肠长轴中线图。

图6是本发明的搜索香肠两端截止位置示意图。

图7是本发明的香肠定位结果图。

图8是本发明的边距boundary与间隔margin参数示意图。

图9是本发明的滤除结果图。

具体实施方式

下面通过具体实施例来对本发明做进一步的说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

如图1所示，本发明的香肠自动分拣系统由工控机1、控制器2、工业机器人3、工业相机4、光源5以及传送带6组成，工业机器人3位于传送带6上方，工业相机4固定在工业机器人3抓取位置的上游及传送带6正上方，工业相机4正下方放置一个环形光源5用于保持香肠受到均匀光照。系统的工作原理是：传送带以一定速度传输香肠，光源方向面向传送带上的香肠，工控机控制控制器向工业相机发送频闪信号，触发相机对香肠进行拍照获取香肠图像，香肠图像传输至工控机后对图像进行处理，获得香肠的偏向角度与香肠的垂直中轴线坐标，工控机结合已进行手眼标定的工业相机与工业机器人的标定数据以及传送带的运动速度，利用香肠的偏向角度与香肠的垂直中轴线坐标计算出工业机器人机械手的运动位置及抓取姿态，从而通过控制器控制工业机器人对传送带上的香肠进行抓取。

从上述系统工作原理可以看出，视觉部分的处理效果直接影响整个分拣系统的性能，当视觉部分对传送带上的香肠识别定位错误或甚至失效时，工业机器人均无法对香肠进行抓取。

本发明的一种基于视觉引导的香肠智能分拣方法，包含五个步骤：

步骤一：使用固定的阈值将香肠图像二值化；

香肠在成像图像中的质量直接影响着其识别定位的精度，通过优化调整光源亮度与相机曝光时间可极大地提升香肠的成像质量。相机采集图像后，采用固定阈值对香肠图像(如图2所示)进行二值化，在二值化图像(如图3所示)中，确定香肠前景目标为黑色，背景部分为白色。由于传送带为白色，易受沾污，为减小背景区域对前景目标的影响，二值化阈值通常设置为125。

步骤二：提取二值图像中香肠长轴中线；

由于香肠呈长条形状，具有较好的直线性，因此通过提取长轴中线即可实现对香肠的定位。前景线段进行水平和垂直两方向扫描，若该线段长度位于合适区间内，提取该线段的中心点作为垂直中心的候选点。以香肠标准直径dstandard为基准，当香肠呈±45°倾斜时，水平或垂直方向的线段长度会变长为1.414×dstandard。当香肠弯曲时，弯曲折角部分的线段长度约为0.8×dstandard，因此，设定线段长度区间为：[0.8×dstandard,1.5×dstandard]。图4为香肠长轴中线标记图，红线标记为水平扫描获得的中线点，绿色标记则为垂直扫描获得的中线点，黑白图像中颜色较亮的为绿色标记。由于所设定的线段长度区间是以单倍香肠直径为准则，中线标记点即为单根香肠的中轴标记线，因此不能提取两根或多根香肠并排粘连在一起时的中轴标记线，在简单粘连处亦会出现中轴标记线断裂的现象。为了提升长轴中线的连通性，对标记点进行膨胀运算。

步骤三：利用hough变换香肠长轴中线的直线段，排除重复直线；

利用概率hough直线检测，提取满足一定长度的香肠长轴中线的直线段，即为潜在的香肠长轴中线，长轴中线的长度阈值为至少香肠长度的四分之一，在图5中，紫色线条标记(颜色较亮的线条标记)即为利用概率hough直线检测提取得到的香肠长轴中线。同一根香肠的长轴中线容易检测出多条直线，均为潜在的香肠中轴线。每次以某条直线搜索两端至截止位置前，均需判别该条直线是否与早前已成功搜索至截止位置的直线重复。

若判别为位于同一根香肠，即放弃搜索当前直线。其中，判别重复直线的条件为：

①当前直线段中心点与已检测香肠中心点的距离小于标准香肠的半个斜对角线长度；

②当前直线段中心点与已检测香肠中心点连线的倾斜角与已检测直线倾斜角度之差小于30度。

如果同时满足以上两个条件，则判别当前直线段所处的香肠已被搜索过两端截止位置，不应再重复搜索，直接舍弃当前直线。

步骤四：搜索香肠两端截止位置，计算香肠的偏向角度与香肠的中心坐标；

利用hough变换搜索到直线段后，可进一步搜索香肠中轴线两端的截止位置。香肠中间部分较为饱满粗壮，沿中间向两端会收腰变细，因此通过中轴线向两端搜索截止位置，进而才能准确定位出香肠的中心坐标。两端均须搜索到截止位置，方可视为一根完整的香肠。若中轴线上延长点(中分点)为背景色，则此根香肠视为部分香肠，即仅有部分香肠位于视场内，所计算的香肠中心未能体现此根香肠的真正中心，因此舍弃此根香肠。图6所示为搜索香肠两端截止位置示意图，沿中轴线上以一定步长向两端延伸搜索，根据轴线点及与轴线垂直的径向点是否为前景像素或背景像素，来判别香肠两端的截止位置。

定义轴线点a、四分径点b、内径点c、外径点d：

轴线点a为中轴线上自直线段端点处以一定步长向两端延伸的点；

四分径点b为轴向点a处的径线(或称为垂直分线)上自轴向点a处与点a有点a四分之一个直径的距离点；

内径点c为轴向点a处的径线上自轴向点a处与点a有0.8个半径的距离点；

外径点d为轴向点a处的径线上自轴向点a处与点a有1.25个半径的。

其中，径线(垂直分线)上有两个四分径点b、两个内径点c、两个外径点d，四分径点b主要用于判别轴向粘连的情况，外径点d主要用于判别t字粘连的情况。

判断香肠两端截止位置的条件为：

①轴线点a与两个内径点c中有两个点为背景色；

②某端处两个四分径点b中任一点b为背景色

③两个外径点d均为前景色。

轴线点或径线点仅需满足上述任一条件，即被视为已搜索到此端处的截止位置。由香肠的两端截止位置可计算出香肠的偏向角度与中心坐标，进而可计算出香肠的长度，若此长度结果满足长度阈值，即被视为在视场中搜索到一根香肠。

样本图像中有四根香肠，从香肠定位结果(如图7所示)可以看出，成功定位出1号、2号、3号三根香肠，4号香肠未完全进入视场被过滤掉。1号香肠单独存在，使用条件①即可定位出1号香肠的两端截止位置。2号、3号香肠为t字型粘连在一起。使用条件①可定位2号香肠的左端截止位置，使用条件②定位出2号、3号香肠的右端截止位置，使用条件①定位出3号香肠的左端截止位置。

步骤五：滤除无效香肠。

使用夹爪来夹取香肠，为了保证夹取香肠时不受干扰，靠近传送带边缘的香肠及附件的其他香肠被视为无效香肠。设置边距boundary参数与间隔margin参数(相应的示意图见图8)以判别无效香肠，详细的判别条件为：①已识别的香肠中心横坐标与视场左右两侧的距离小于boundary；②已识别的香肠长轴边沿距离间隔margin范围内有其他香肠，即以香肠半径为步长辐射，检查辐射距离处沿长轴方向的夹爪长度范围内是否存在两个或以上像素点为前景像素点。图9所示为滤除结果，绿色细线标识的1、2、4号香肠由于附近有香肠干扰不能被夹爪抓取，而紫色粗框的4号香肠能被夹爪抓取。

与现有的德国robomotion有限公司所提出的香肠自动分拣方案相比，本发明提出的基于视觉引导的香肠自动分拣方法具有更强的产品适应性、更高的香肠识别定位精度及更低的漏拣率，因而能够更有效地提升企业的香肠生产效率。

本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。