一种基于机器视觉的金属工件表面缺陷识别方法及装置与流程
本发明涉及工件缺陷识别技术领域，具体涉及一种基于机器视觉的金属工件表面缺陷识别方法及装置。
背景技术：
在机械制造企业中，生产企业大多采用人工检查方式对金属加工工件表面质量进行检测，但是针对铁屑、工件装夹不当、物理碰撞等因素导致的金属工件表面缺陷问题，生产企业采用的人工检查方式无法及时发现并加以控制。人工检查的方式以人的主观判断为标准，因此其存在准确性低的问题，当缺陷件未被筛除且与正常件混合在一起后，需耗费大量的人力劳力成本将其重新分离。此外，人工检查的方式不仅存在投入成本高，还存在效率低的问题。因此，生产企业迫切需要一种具有高准确度、高效率、低成本，且能够实现缺陷件与正常件的分离方法。
针对上述问题，公开号为cn107328781a的中国专利公开了一种基于机器视觉的柱状产品表面缺陷检测方法及装置，该方法包括：获取产品表面图像，对图像进行去噪等预处理；确定感兴趣的区域(roi)，缩小检测范围，增快检测速度；采用阈值分割的灰度分析法进行图像检测以检测表面缺陷。该方法避免了人工主观判断，提升了检测结果的准确性，实现更快更精确地进行柱状产品质量的检测。
上述方法能实现柱状产品的质量检测，但机械加工的金属工件的表面形状更为复杂，且金属工件表面经加工处理后受光线、工件表面毛刺等干扰因素的影响，使得缺陷特征不明显、不突出。若把上述缺陷检测方法直接应用到金属工件表面的缺陷检测，其会存在以下问题：该方法中的灰度分析法受限于灰度，针对少数不同类别物体彼此灰度相差很大时，能够进行有效的分割；但面对表面形状复杂的金属工件时，其图像中不存在明显灰度差异或较大的灰度值范围重叠，从而难以得到准确的分割结果，分割后得到的图像也不能很好的显示图像的细节，使得金属工件表面缺陷识别的效果不好。
技术实现要素：
本发明的目的在于提供一种基于机器视觉的金属工件表面缺陷识别方法及装置,以更好的帮助优化金属工件表面缺陷的识别效果。
本发明提供的基础方案为：一种基于机器视觉的金属工件表面缺陷识别方法，包括以下步骤：
s1：获取金属工件的表面图像，通过图像预处理，将金属工件的表面图像转换成具有边缘特征的灰度图像；
s2：通过图像增强处理，增强具有边缘特征的灰度图像的图像特征；
s3：通过图像分割处理，提取增强处理后的具有边缘特征的灰度图像的特征图像数据；
s4：获取金属工件的特征图像数据，将特征图像数据输入经过预先训练的金属工件缺陷识别模型中，输出金属工件的缺陷识别结果。
这样，通过图像预处理将表面图像转换成具有边缘特征的灰度图像，然后通过图像增强处理和图像分割处理增强并提取图像特征数据，最后将图像特征数据输入预先训练的金属工件缺陷识别模型完成缺陷先识别。本方案中首先进行图像增强处理，能够突出灰度图像中的缺陷特征，增强缺陷检测的准确性，以便在图像分割处理时，能够准确地分割提取出图像特征，从而避免缺陷识别效果不准确的问题。此外，本方案通过预先训练的金属工件缺陷识别模型完成金属工件的缺陷识别，避免了人工检测劳动强度大、受人工经验和主观因素影响和检测准确度低的问题。本方案能更好的帮助优化金属工件表面缺陷的识别效果。
进一步，步骤s2中所述的图像增强处理，是通过全局二值化增强算法对预处理后的灰度图像进行增强处理。
这样，通过全局二值化算法增强图像特征，节省了处理空间和处理时间，还能更好地突出缺陷特征，有利于增强对金属工件识别的准确性。
进一步，步骤s3中所述的图像分割处理，是通过基于边缘检测的图像分割算法对增强处理后的灰度图像进行分割处理。
这样，通过基于边缘检测的图像分割算法，对灰度图像中的大小端面以及环形槽进行分割并提取感兴趣区域，这有利于更好地分割和提取图像特征数据。
进一步，步骤s4中所述金属工件缺陷识别模型，其预先训练包括以下步骤：
s401：获取金属工件的表面缺陷图像数据，根据表面缺陷图像数据构建金属工件的表面缺陷样本集；
s402：通过扩展处理，扩展金属工件的表面缺陷样本集；
s403：通过图像预处理，将扩展后的表面缺陷样本集更新为新的样本集；
s404：构建基于深度卷积神经网络的金属工件缺陷识别模型，并获取金属工件缺陷识别模型的模型参数和新的样本集；
s405：通过交叉验证法，训练金属工件缺陷识别模型直到金属工件缺陷识别模型的性能指标达到预期设定。
这样，首先通过扩展处理，扩充了表面缺陷样本集，能为模型训练提供更多的训练数据，从而提升模型的识别效果；然后对表面缺陷样本集进行预处理，这有利于提升模型的训练效果；最后通过交叉验证法训练模型，有利于得到更稳定、更可靠的模型。
进一步，步骤s1中所述的图像预处理，包括图像灰度转换处理、图像去噪处理和图像边缘检测处理。
这样，通过图像灰度转换处理得到灰度图像，有利于改善环境光照不均匀对图像的影响；通过图像去噪处理，有利于减少图像中因为光照产生的噪音点；通过图像边缘检测处理，有利于减少不相关区域的特征识别，从而更突出缺陷区域的特征，减少了识别所需的时间。
进一步，步骤s1中所述的图像灰度转换处理，是通过加权平均法，将采集的金属工件表面图像数据转换成灰度图像；
加权平均法的公式为i(x,y)＝0.3*i_r(x,y)+0.59*i_g(x,y)+0.11*i_b(x,y)，式中0.3、0.59和0.11均为标准化参数，i(x,y)是转换后的灰度图像像素点的坐标像素值，i_r(x,y))是r通道像素点的坐标像素值，i_g(x,y)是g通道像素点的坐标像素值，i_b(x,y)是b通道像素点的坐标像素值。
这样，通过加权平均法进行图像灰度转换处理，能节省处理空间和处理时间，还能增强缺陷检测的实时性，且得到的灰度图像较之彩色图像更便于分析。
进一步，步骤s1中所述的图像去噪处理，是获取预存的加权的均值滤波器模板，将灰度图像中的噪声点替换为均值滤波器模板窗口内的像素的平均灰度值以进行图像去噪；
均值滤波器的公式为
这样，通过加权的均值滤波器模板进行去噪，有利于解决光照变化、粉尘等因素对图像的影响。
进一步，步骤s1中所述的图像边缘检测处理，是通过边缘检测算法，检测灰度图像的边缘并连接边缘构成边界，根据各个边界生成大小端面区域和环形槽区域。
这样，通过边缘检测算法能够检测并连接边界，有利于准确地分割提取出图像特征。
本发明还公开了一种基于机器视觉的金属工件表面缺陷识别装置，包括：
机械手，用于夹取金属工件；
升降式料仓，用于放置金属工件，所述升降式料仓由隔板分割成缺陷件料仓和正常件料仓两个部分；
图像采集设备，用于采集金属工件的表面图像；
中央处理模块，用于获取金属工件的表面图像并进行缺陷识别，通过缺陷识别结果生成分选控制指令，根据分选控制指令控制机械手动作。
这样，通过图像采集设备采集金属工件的表面图像，通过中央处理模块识别图像并生成分选控制指令，中央处理模块通过分选控制指令控制机械手夹持金属件并将金属工件放置到升降式料仓内对应的料仓内。本发明通过软件和硬件的结合，实现了金属工件缺陷的实时和在线识别，避免了人工检测劳动强度大、受人工经验和主观因素影响的问题，因而，本方案具有降低检测成本、检测准确度高和实时性高的特点。
进一步，所述中央处理模块还包括：
图像预处理单元，用于获取金属工件的表面图像，通过图像预处理，将金属工件的表面图像转换成具有边缘特征的灰度图像；
图像增强和分割单元，用于获取预处理后的具有边缘特征的灰度图像，通过图像增强处理，增强预处理后的具有边缘特征的灰度图像的图像特征，再通过图像分割处理，提取增强处理后的具有边缘特征的灰度图像的特征图像数据；
缺陷识别单元，用于获取金属工件的特征图像数据，根据特征图像数据进行金属工件进行识别缺陷，生成金属工件的缺陷识别结果，并根据缺陷识别结果生成分选控制指令；
机械手控制单元，用于接收分选控制指令，根据分选控制指令控制机械手动作。
这样，通过图像预处理单元将表面图像转换成灰度图像，再通过图像增强和分割单元增强并提取图像特征数据，然后通过缺陷识别单元进行缺陷识别，最后通过机械手控制单元控制机械手动作。本方案能够准确地分割提取出图像特征，从而避免缺陷识别效果不准确的问题，还能避免人工检测劳动强度大、受人工经验和主观因素影响和检测准确度低的问题。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为实施例一中基于机器视觉的金属工件表面缺陷识别方法的逻辑框图；
图2为实施例一中齿轮工件的表面图像；
图3为实施例一中步骤s1的图像预处理的逻辑框图；
图4为实施例一中步骤s1的sobel边缘检测算法处理后的齿轮工件的灰度图像；
图5为实施例一中步骤s1的全局二值化处理后的齿轮工件的灰度图像；
图6为实施例一中步骤s3的图像分割处理的逻辑框图；
图7为实施例一中步骤s4训练金属工件缺陷识别模型的逻辑框图；
图8为实施例一中步骤s4训练金属工件缺陷识别模型的流程图；
图9为实施例二中基于机器视觉的金属工件表面缺陷识别装置的结构示意图；
图10为实施例二中的中央处理模块的逻辑框图。
说明书附图中的附图标记包括：金属工件101、机械手1、升降式料仓2、工业相机3、可调式支架4、报警器5。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例一：
如图1所示，一种基于机器视觉的金属工件表面缺陷识别方法，包括以下步骤：
s1：获取金属工件的表面图像，通过图像预处理，将金属工件的表面图像转换成具有边缘特征的灰度图像。
s2：通过图像增强处理，增强预处理后的具有边缘特征的灰度图像的图像特征。
s3：通过图像分割处理，提取增强处理后的具有边缘特征的灰度图像的特征图像数据。
s4：获取金属工件的特征图像数据，将特征图像数据输入经过预先训练的金属工件缺陷识别模型中，输出金属工件的缺陷识别结果。
具体的，本实施例以齿轮工件为例，继续介绍基于机器视觉的金属工件表面缺陷识别方法，包括：
一、步骤s1
获取齿轮工件的表面图像，通过图像预处理，将齿轮工件的表面图像转换成灰度图像。其中，齿轮工件的表面图像由工业相机进行采集，采集图像时，齿轮工件的端面正对工业摄像机，齿轮工件的表面图像如图2所示。图像预处理包括图像灰度转换处理、图像去噪处理和图像边缘检测处理。
具体的，如图3所示：图像预处理包括：
s101：通过加权平均法，将采集的齿轮工件表面图像数据转换成灰度图像。其中，加权平均法的公式为：i(x,y)＝0.3*i_r(x,y)+0.59*i_g(x,y)+0.11*i_b(x,y)，式中加权系数0.3、0.59和0.11是根据人的亮度感知系统调节的参数，是广泛使用的标准化参数；i(x,y)是转换后的灰度图像像素点的坐标像素值，i_r(x,y))是r通道像素点的坐标像素值，i_g(x,y)是g通道像素点的坐标像素值，i_b(x,y)是b通道像素点的坐标像素值。
s102：获取预存的加权的均值滤波器模板，通过将灰度图像中的噪声点替换为均值滤波器模板窗口内的像素的平均灰度值以进行图像去噪。其中，均值滤波器的公式为：
s103：通过sobel边缘检测算法，检测灰度图像的边缘并连接所述边缘构成边界，根据各个边界生成大小端面区域和环形槽区域。sobel边缘检测算法处理后的齿轮工件的灰度图像如图4所示。其中，sobel卷积因子如下：
该卷积因子包含两组3x3的矩阵，分别为横向矩阵及纵向矩阵，将该卷积因子与齿轮工件的灰度图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，平面卷积的公式为：gx＝gx*a和gy＝gy*a，式中a表示原始图像的该像素点的值，而gx和gy分别表示经横向及纵向边缘检测的图像灰度值。根据gx和gy计算出该点的像素值，像素值的计算公式为：
二、步骤s2
通过图像增强处理，增强预处理后的灰度图像的图像特征。其中，图像增强处理时通过otsu's全局二值化增强算法对预处理后的灰度图像进行增强处理。全局二值化处理后的齿轮工件的灰度图像如图5所示。
三、步骤s3
通过图像分割处理，提取增强处理后的灰度图像的特征图像数据。其中，图像分割处理时通过基于边缘检测的图像分割算法对大小端面以及环形槽进行分割，并提取大小端面为感兴趣区域。具体的，如图6所示：图像分割处理包括：
s301：从经sobel边缘检测法处理后的齿轮工件表面图像中指定大小端面的两个类环形区域作为roi，提取和描述roi特征。
s302：对其它齿轮工件表面图像运用sobel边缘检测，生成包含边缘的类环形区域作为roi检索区域。
s303：运用已记录的roi特征与其它齿轮工件表面图像中的roi检索区域进行自适应匹配，得到相似度较大的区域为roi，完成齿轮大小端面区域的自适应提取。
四、步骤s4
获取齿轮工件的特征图像数据，将特征图像数据输入经过预先训练的齿轮工件缺陷识别模型中，输出齿轮工件的缺陷识别结果。其中，齿轮工件缺陷识别模型已经过预先训练。如图7和图8所示：齿轮工件缺陷识别模型的预先训练，包括：
s401：获取齿轮工件的表面缺陷图像数据，根据表面缺陷图像数据构建齿轮工件的表面缺陷样本集。
s402：通过扩展处理，扩展齿轮工件的表面缺陷样本集。其中，扩展是指：采集的齿轮工件的表面缺陷图像数据的基础上利用旋转、平移、翻转、调整对比度、高斯噪声、颜色变换等方式实现样本容量的扩展。
s403：通过图像预处理，将扩展后的表面缺陷样本集更新为新的样本集。其中，图像预处理包含图像灰度转换处理、图像去噪处理、图像边缘检测处理、图像增强处理和图像分割处理。
s404：构建基于深度卷积神经网络的齿轮工件缺陷识别模型，并获取齿轮工件缺陷识别模型的模型参数和新的样本集。其中，模型参数包括卷积神经网络层数、卷积核大小和滑动步长、优化算法、激活函数和dropoutlayer，具体的：经图像预处理后的图像复杂度较低，结合模型的训练以及识别效率，将卷积的网络层数设置为3层；选用较小的卷积核来表示其特征，卷积核选择为3个3*3的卷积核，滑动步长设置为1；使用adam优化算法利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，使学习率在每一次更新的时候都有一个固定范围的步长，让参数更新时保持稳定；激活函数采用relu，作为非线性单元relu函数能够增加卷积神经网络的非线性；为了防止过拟合，在训练过程中引入dropoutlayer，设置随机采样概率为0.5。
s405：通过交叉验证法，训练齿轮工件缺陷识别模型直到齿轮工件缺陷识别模型的性能指标达到预期设定。其中，交叉验证法k折交叉验证法，运用k折交叉验证法将新的样本集均分为成k组，将每个子集数据分别做一次测试集，其余的k-1组子集数据作为训练集，训练集用于训练工件表面缺陷识别模型，测试集用于验证训练出的工件表面缺陷识别模型，这样会得到k个模型，用这k个模型最终的验证集的分类准确率的平均数作为建立的缺陷识别模型的性能指标，这里选择k＝10(作为一个经验参数)。若模型的性能指标未满足设定的要求，修正权值，重新训练模型，直到达到预期设定为止。训练测试完成后保存模型参数，完成缺陷识别模型的训练。
本实施例中还包括步骤s5和步骤s6，用于完成齿轮工件的夹取和放置。
五、步骤s5
根据齿轮工件的缺陷识别结果生成分选控制指令，通过分选控制指令控制预设的机械手夹取、放置齿轮工件。
六、步骤s6
当齿轮工件的缺陷识别结果为有缺陷时生成报警指令，通过报警指令控制预设的报警器发出报警信号。
实施例二：
本实施例中公开了一种基于机器视觉的金属工件101表面缺陷识别装置。
如图9所示：基于机器视觉的金属工件101表面缺陷识别装置包括
机械手1，用于夹取金属工件101。
报警器5，用于发出报警信号。
升降式料仓2，用于放置金属工件101，所述升降式料仓2由隔板分割成缺陷件料仓和正常件料仓两个部分。
图像采集设备，用于采集金属工件101的表面图像。所述图像采集设备包括工业相机3和可调式支架4，其中，工业相机3固定于可调式支架4上，可调式支架4放置于机械手1的正对面。
中央处理模块，用于获取金属工件101的表面图像并进行缺陷识别，通过缺陷识别结果生成控制指令，根据控制指令控制机械手1夹取放置金属工件101。中央处理模块通过lan接口与机械手1通信；中央处理模块通过usb、rj45网络接口与工业相机3通信；中央处理模块通过usb接口与报警器5通信。
如图10所示：中央处理模块包括：
图像采集单元，用于发出采集控制指令，并接收图像采集设备采集的金属工件101的表面图像。
图像预处理单元，用于获取金属工件101的表面图像，通过图像预处理，将金属工件101的表面图像转换成具有边缘特征的灰度图像。其中，图像预处理包括图像灰度转换处理、图像去噪处理和图像边缘检测处理；通过加权平均法，将采集的齿轮工件表面图像数据转换成灰度图像；获取预存的加权的均值滤波器模板，通过将灰度图像中的噪声点替换为均值滤波器模板窗口内的像素的平均灰度值以进行图像去噪；通过sobel边缘检测算法，检测灰度图像的边缘并连接所述边缘构成边界，根据各个边界生成大小端面区域和环形槽区域。
图像增强和分割单元，用于获取预处理后的灰度图像，通过图像增强处理，增强预处理后的具有边缘特征的灰度图像的图像特征，再通过图像分割处理，提取增强处理后的具有边缘特征的灰度图像的特征图像数据。其中，通过otsu's全局二值化增强算法对预处理后的灰度图像进行增强处理；通过基于边缘检测的图像分割算法对大小端面以及环形槽进行分割
缺陷识别单元，用于获取金属工件101的特征图像数据，根据特征图像数据对金属工件101进行识别缺陷，生成金属工件101的缺陷识别结果，根据缺陷识别结果生成分选控制指令，若缺陷结果为有缺陷，还生成报警指令。其中，通过预先训练的金属工件101缺陷识别模型完成金属工件101的缺陷识别。
机械手控制单元，用于接收采集控制指令和分选控制指令，根据采集控制指令或分选控制指令控制机械手1动作。
报警单元，用于获取报警指令，根据报警指令控制报警器5工作。
本实施例的工作过程：
1)图像采集单元发出采集控制指令，机械手控制单元根据采集控制指令控制机械手1夹持金属工件101，移动金属工件101至工业摄像机正对面，由工业摄像机采集金属工件101的表面图像。
2)通过图像预处理单元、图像增强和分割单元和缺陷识别单元对金属工件101的表面图像进行预处理、增强处理、分割处理和缺陷识别，得到缺陷识别结果。
3)根据缺陷识别结果生成分选控制指令，机械手1根据分选控制指令控制机械手1将金属工件101夹取、放置到升降式料仓2中对应的料仓内。
4)若金属工件101的缺陷结果为有缺陷，生成报警指令，报警单元根据报警指令控制报警器5发出报警信号。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
- 还没有人留言评论。精彩留言会获得点赞！