基于机器视觉和深度分割网络的平面物体边缘提取方法

本发明涉及了一种平面物体边缘提取方法，涉及机器视觉检测，具体涉及一种基于机器视觉和深度分割网络的平面物体边缘提取方法。

背景技术：

1、随着机器视觉技术的不断发展和进步，越来越多的领域采用了图像检测技术，其中就包括了生产制造领域。在生产制造的过程中，往往需要去检测产品的位置信息以进行下一步操作，传统方法是采用大量人工来挨个检查以确保位置准确，避免劣质产品的出现，这种方法既耗费人力，时间，效率也较为低下。而采用机器视觉检测技术，在节省人力物力的同时，还能够大大提高检测效率，使得产品的生产质量大大提高。因此，机器视觉检测技术在生产领域显得十分重要。

2、在一些产品生产制造过程中总会碰到诸如点胶、点焊及缝合等工序，尤其是在服装制造生产领域。如泳衣、泳裤等服装在生产制造时往往需要多层布料进行缝制在一起，这往往需要先对布料的边缘轮廓进行定位才能进行缝合操作，以往都是依靠工作人员手动放置然后进行操作，这种方法虽然可行，但也有缺点：一方面人工手动放置的精度不高，另一方面手动操作也会使得生产效率降低。此外，如果采用传统的机器视觉技术来进行物体边缘轮廓的提取和定位操作，虽然能够大大提高准确率和效率，但是其对生产环境要求较高。在实际的生产过程中，经常会在采集布料图像时碰到背光板发光不均匀，某侧灯光暗淡、背光板长时间使用导致灰尘堆积、某些材质的布料较为薄，容易透光等环境问题，这些问题都会导致处理采集图像时出现无法识别或误识别的情况，在这种情况下机器视觉技术无法对物体的边缘轮廓进行准确提取，进而影响到产品的生产。然而目前市场上还没有针对此类问题提出过较为可行的解决方法或者系统。

技术实现思路

1、为了解决背景技术中存在的问题，本发明所提供一种基于机器视觉和深度分割网络的平面物体边缘提取方法。能够针对不同环境影响下采集的平面物体图像进行边缘提取。

2、本发明采用的技术方案是：

3、本发明的基于机器视觉和深度分割网络的平面物体边缘提取方法包括如下步骤：

4、s1、利用工业相机采集若干不同的平面物体的高清图像并依次进行数据增强处理和标注后建立平面物体增强标注图像数据集。

5、s2、将平面物体增强标注图像数据集依次输入卷积神经网络构建的图像分割网络模型和预测模型中进行训练，获得训练完成的图像分割网络模型和预测模型；具体为将平面物体增强标注图像数据集划分为训练集和测试集进行训练和测试，利用测试集进行模型泛化性测试，验证其普适性。

6、s3、利用工业相机采集待提取的平面物体的高清图像，依次输入训练完成的图像分割网络模型和预测模型中，训练完成的预测模型输出预测分割结果。

7、s4、将预测分割结果进行形态学图像处理后获得待提取的平面物体的分割膨胀区域。

8、s5、根据预设阈值对待提取的平面物体的分割膨胀区域进行阈值分割后进行闭运算，提取出待提取的平面物体的边缘轮廓。

9、采集图像时使用平面物体边缘提取系统，包括构建的高清图像数据集、卷积神经网络分割模型、图像分割预测模型和图像处理模块；还包括工业相机、控制器、物品摆放台、运动滑台、背光源；工业相机架设在三轴运动滑台上，用于采集摆放在平台上的平面物体的高清图像。控制器用于收集采集图像并处理图像得到边缘轮廓，同时控制滑台进行拍摄作业；运动滑台用于架设工业相机并通过控制器运动到指定位置来对平面物体进行图像采集。

10、所述的步骤s1中，采集的不同的平面物体的高清图像具体为不同背光条件下的不同厚度、形状及材质的平面物体的高清图像。

11、不同背光条件具体为正常背光、部分背光区域暗淡及背光区域灰尘较多情况，图像采集的环境为背光源加上工业相机。背光源采用的是50x50cm的外侧导光板，正常情况下光源充足，发光面纯白且无杂质。但是由于长期的使用，导光板内侧的光源会逐渐老化，导致背光源出现部分发光区域光亮不足的情况，与正常背光源相比，有明显灰色暗淡区域；此外，长期在生产环境中使用还会导致灰尘堆积在背光板上，使得原本发亮通透的背光面出现大小不一的灰色不规则区域，以上两种情况都会导致工业相机采集的图像背景出现不规则形状，影响后续的图像处理。

12、所述的步骤s1中，采集若干不同的平面物体的高清图像并依次进行数据增强处理和标注后建立平面物体增强标注图像数据集，针对每张平面物体的高清图像，首先进行数据增强处理，将平面物体的高清图像进行拉伸、翻转、增强对比度及增加噪声等中的一种和几种方法进行处理后获得若干张增强图像，将各张平面物体的高清图像及其各张增强图像构建为增强图像数据集，将增强图像数据集中的每张图像中的平面物体进行边缘轮廓标注获得训练标签，从而获得增强标注图像，各张增强标注图像构建为增强标注图像数据集。

13、所述的步骤s2中，将平面物体增强标注图像数据集依次输入卷积神经网络u-net构建的图像分割网络模型和预测模型中进行训练，直至达到预设训练次数或者卷积神经网络构建的图像分割网络模型和预测模型的损失率趋近于一个定值后，选取出模型的最佳训练参数，获得训练完成的图像分割网络模型和预测模型。

14、所述的步骤s4中，将预测分割结果进行形态学图像处理后获得待提取的平面物体的分割膨胀区域，具体如下：

15、首先将预测分割结果转换为灰度图，再进行二值化处理获得分割区域，然后根据预设大小的卷积核对分割区域进行膨胀操作，获得待提取的平面物体的分割膨胀区域，分割膨胀区域比平面物体面积稍大，通过膨胀处理将分割区域扩大之后，分割区域能够完全将平面物体覆盖。

16、所述的步骤s5中，根据预设阈值对待提取的平面物体的分割膨胀区域进行阈值分割后进行闭运算，具体如下：

17、根据预设阈值对待提取的平面物体的分割膨胀区域进行阈值分割后获得分割膨胀区域和平面物体的实际区域之间的边缘轮廓区域，然后利用形态学图像处理方法，先将边缘轮廓区域转换为灰度图，然后根据预设大小的卷积核进行先腐蚀后膨胀的闭运算操作，由阈值分割提取出的区域存在许多毛刺及孔洞，使用闭运算操作来填充孔洞及消除毛刺，以得到更加平滑和饱满的图像，然后通过比较面积大小找出分割膨胀区域内面积最大的部分，将其作为最终提取区域，将最终提取区域的边缘轮廓逐次提取出来并将周长最小的轮廓确定为平面物体的实际轮廓，最终提取准确的平面物体边缘轮廓，实现平面物体边缘提取。

18、阈值分割时首先设定好阈值，由于膨胀区域包含的不同的平面物体其材料厚度不一，所得图像也大有差别，阈值区间较大，不好提取，因此将外层的包含平面物体边缘轮廓的区域单独提取出来，该区域由分割区域二值化后膨胀得到，阈值固定，更容易提取得到，适用于各种平面物体图像。

19、由于边缘轮廓区域存在内外轮廓，通过判别轮廓周长后提取里层轮廓并将其绘制到原图上。

20、本发明的有益效果是：

21、1、本发明基于不同光源条件多种材质不同厚度的平面物体图像训练卷积神经网络模型，充分考虑实际生产环境的影响因素，模型泛化能力强，能适用于不同的应用场景。

22、2、本发明基于卷积神经网络和图像分割技术分析平面物体图片，能够准确的将平面物体给分割出来，识别精度高，能够适用于不同采集条件下的平面物体图像，避免出现误识别的情况。