零部件表面缺陷的识别方法和装置与流程

文档序号:14478913阅读:275来源:国知局

本发明涉及机械部件检测技术领域,特别是涉及一种零部件表面缺陷的识别方法和装置。



背景技术:

在生产施工中,往往需要对大批量的机械零部件进行检测,以快速地从众多零部件中剔除不符合生产要求、质量不合格的零部件。例如,快速剔除存在表面缺陷的零部件。

目前,为了快速地识别零部件表面缺陷,现有方法大多是采集零部件图像,通过检测灰度阈值的方法将零部件的图像进行二值化处理,再将上述二值化处理后的图像与模板进行比对,以确定零部件的表面质量情况。但是,由于上述检测灰度阈值的方法本身相对比较简单,分辨率相对较低,导致具体实施时,识别零部件表面缺陷的准确度不高。并且,现有方法在实施的过程中通常对于光照环境的要求较高。在光照环境较弱的情况下,现有方法往往无法有效地识别出缺陷。综上可知,现有方法具体实施时,往往存在无法准确地识别零部件表面缺陷的技术问题。

针对上述问题,目前尚未提出有效的解决方案。



技术实现要素:

本申请实施方式提供了一种零部件表面缺陷的识别方法和装置,以解决有方法中存在的无法准确地识别零部件表面缺陷的技术问题。

本申请实施例提供了一种零部件表面缺陷的识别方法,包括:

获取多个样品图像,其中,所述多个样品图像包括:多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像;

根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络;

获取待检测的零部件图像;

根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

在一个实施方式中,所述零部件包括以下至少之一:轴承、螺钉、齿轮、气动元件、密封件、紧固件。

在一个实施方式中,根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络,包括:

根据所述多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像,建立第一训练集和第一测试集;

利用所述第一训练集和所述第一测试集进行训练,以建立零部件缺陷识别网络,并将所述零部件缺陷识别网络作为所述用于识别表面缺陷的卷积神经网络。

在一个实施方式中,所述多个有缺陷零部件的样品图像包括多种零部件缺陷类型图像。

在一个实施方式中,所述多种零部件缺陷类型图像包括:裂纹类型图像、划痕类型图像、孔洞类型图像、斑迹类型图像。

在一个实施方式中,所述根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络,包括:

根据所述多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像,建立第一训练集和第一测试集;

利用所述第一训练集和所述第一测试集进行训练,以建立所述零部件缺陷识别网络;

根据所述多种零部件缺陷类型图像,建立第二训练集和第二测试集;

利用所述第二训练集和所述第二测试集进行训练,以建立缺陷类型分类网络;

将所述零部件缺陷识别网络和所述缺陷类型分类网络作为所述用于识别表面缺陷的卷积神经网络。

在一个实施方式中,根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷,包括:

利用所述零部件缺陷识别网络对所述待检测的零部件图像进行识别,以确定所述待检测的零部件是否存在表面缺陷;

在确定所述待检测的零部件存在表面缺陷的情况下,利用所述缺陷类型分类网络确定所述待检测的零部件表面缺陷的类型。

在一个实施方式中,在获取多个样品图像后,所述方法还包括:

对所述多个样品图像进行图像处理,得到处理后的多个样品图像,其中,所述图像处理包括以下至少之一:旋转处理、镜像处理和灰度调节处理;

相应的,根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络,包括:

根据所述处理后的多个样品图像,建立所述用于识别表面缺陷的卷积神经网络。

在一个实施方式中,在获取待检测的零部件图像后,所述方法还包括:

对所述待检测的零部件图像进行高斯滤波,得到去噪后的待检测的零部件图像;

相应的,根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷,包括:

根据所述去噪后的待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

本申请实施例还提供了一种零部件表面缺陷的识别装置,包括:

第一获取模块,用于获取多个样品图像,其中,所述多个样品图像包括:多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像;

建立模块,用于根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络;

第二获取模块,用于获取待检测的零部件图像;

确定模块,用于根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

在本申请实施例中,通过利用多个样品图像建立用于识别表面缺陷的卷积神经网络,再利用上述用于识别表面缺陷的卷积神经网络对待检测的零部件图像进行识别,以确定待检测的零部件表面缺陷,从而解决了现有方法中存在的无法准确地识别零部件表面缺陷的技术问题,达到了可以在光照较差的环境中快速、准确地识别零部件表面缺陷的技术效果。

附图说明

下面将以明确易懂的方式,结合附图说明优选实施方式,对本发明的基于图形编码在物理隔离终端间的单向数据传输方法和系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是根据本申请实施方式提供的零部件表面缺陷的识别方法的处理流程图;

图2是根据本申请实施方式提供的零部件表面缺陷的识别装置的组成结构图;

图3所示的基于本申请实施方式提供的零部件表面缺陷的识别方法的电子设备组成结构图;

图4是在一个场景示例中应用本申请实施例提供的零部件表面缺陷的识别方法和装置对某批待检测轴承进行表面缺陷识别的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

考虑到现有的零部件表面缺陷的识别方法,往往是根据通过检测灰度阈值方法获得的二值化图像识别零部件的表面是否存在缺陷。由于上述二值化的图像本身分辨率相对不高,并且上述方法对实施环境中的光照要求很高。导致现有方法具体实施时,往往无法准确地识别出零部件表面缺陷,尤其是在光照环境相对较差的情况下,识别误差相对较大。针对产生上述技术问题的根本原因,本申请考虑到卷积神经网络在图像处理和图像识别方面优势,提出可以不需要通过检测灰度阈值方法获得的二值化图像来识别表面缺陷,而是可以利用多个样品图像先建立用于识别表面缺陷的卷积神经网络,再利用卷积神经网络识别零部件表面缺陷,从而解决了现有方法中存在的无法准确地识别零部件表面缺陷的技术问题,达到了可以在光照较差的环境中快速、准确地识别零部件表面缺陷的技术效果。

基于上述思考思路,本申请实施方式提供了一种零部件表面缺陷的识别方法。具体请参阅图1所示的根据本申请实施方式提供的零部件表面缺陷的识别方法的处理流程图。本申请实施方式提供的零部件表面缺陷的识别方法,具体实施时,可以包括以下步骤。

S11:获取多个样品图像,其中,所述多个样品图像包括:多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像。

在一个实施方式中,具体实施时,可以通过CCD工业照相机拍摄多个样品零部件,以获得上述多个样品图像。其中,上述多个样品零部件具体可以包括多个无缺陷的零部件和多个有缺陷的零部件。其中,上述CCD(Charge Coupled Device,感光耦合组件)为数字相机中用于记录光线变化的半导体部件。

在一个实施方式中,上述多个样品图像的总数具体可以大于等于500张。其中,多个无缺陷零部件的样品图像的总数可以大于等于250张,多个有缺陷零部件的样品图像的总数可以大于等于250张。如此,可以获得较为丰富的样本,以便后续可以建立出识别精度相对更高的用于识别表面缺陷的卷积神经网络。

在本实施方式中,上述样品图像的尺寸具体可以要求为512*512。当然,具体实施时,也可以获取其他尺寸的样品图像,再对获得的样品图像进行相应的图像处理,以得到符合要求的尺寸为512*512图像。

在一个实施方式中,上述零部件具体可以是指机械零部件。其中,上述零部件具体可以包括但不限于以下至少之一:轴承、螺钉、齿轮、气动元件、密封件、紧固件等。当然,需要说明的是,上述所列举的多中零部件只是为了更好地说明本申请实施方式。具体实施时,也可以根据具体情况和施工要求,选择对除上述所列举的零部件以外的其他类型的零部件进行相应的表面缺陷的识别。此外,上述零部件具体还可以是某项目工程中所涉及的机械零部件。具体的,例如,可以是工业互联网综合测试床项目中所涉及到的零部件。

S12:根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络。

在一个实施方式中,为了建立识别表面缺陷精度相对较高的卷积神经网络,具体实施时,可以按照以下步骤执行:

S12-1:根据所述多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像,建立第一训练集和第一测试集;

S12-2:利用所述第一训练集和所述第一测试集进行训练,以建立零部件缺陷识别网络,并将所述零部件缺陷识别网络作为所述用于识别表面缺陷的卷积神经网络。

在本实施方式中,上述卷积神经网络具体可以是一种前馈神经网络,其中,该神经网络中的人工神经元可以响应周围的单元。通常卷积神经网络具体可以包括卷积层和池化层等。此外,卷积神经网络在图像处理、图像识别等方面具有相对较高的精度。

在本实施方式中,需要具体说明的是,上述卷积神经网络是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。在本专利的两种卷积神经网络中,具体实施时,可以将输入层当做二维矩阵排列的神经元。与常规的神经网络类似,输入层的神经元需要和隐藏层的神经元连接。但是这里不是将每一个输入神经元都与每一个隐藏神经元连接,而是仅仅在一个图像的局部区域创建连接。例如,可以以大小为28x28的图像为例,假如第一个隐藏层的神经元与输入层的一个5x5的区域连接,这个 5x5的区域就可以称为局部感知域。其中,该局部感知域的25个神经元与第一个隐藏层的同一个神经元连接,每个连接上又有一个权重参数,因此上述局部感知域共有5x5个权重。如果将局部感知域沿着从左往右,从上往下的顺序滑动,就会得对应隐藏层中不同的神经元。通过上述方法可以得到的第一隐藏层中的24x24个神经元,这些神经元都使用同样的5x5个权重。其中,第j个隐藏层中第k个神经元的输出具体可以表示为:

其中,这里σ是神经元的sigmoid激励函数;b是该感知域连接的共享偏差;ωl,m是个5x5共享权重矩阵;ax,y代表在输入层的x,y处的输入值。为了做轴承的图像识别,一个完整的卷积层需要包含若干个到几十个不同的特征映射。紧随卷积层之后的是max-pooling池化层,其作用是简化卷积层的输出。池化层中的每一个神经元可以简单地将前一层2x2的输入域中的最大值输出。网络中的最后一层是一个全连接层,即该层的每个神经元都与最后一个 Max-pooling层的每个神经元连接。将上述结构多重搭配,再加上一个输出层,就得到一个完整的卷积神经网络。

S13:获取待检测的零部件图像。

在本实施方式中,具体实施时,可以通过CCD工业照相机拍摄待检测的零部件,以获取上述待检测的零部件图像。

在本实施方式中,具体实施时,在获取上述待检测的零部件图像后,可以对所获取的待检测零部件图像进行图像处理,得到符合要求的尺寸为 512*512的待检测的零部件图像。

S14:根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

在本实施方式中,具体实施时,可以利用所建立的用于识别表面缺陷的卷积神经网络对上述待检测的零部件图像进行分析、处理,以确定上述待检测的零部件图像所对应的零部件是否存在表面缺陷。

在本实施方式中,需要说明的是,由于上述实施过程中是利用卷积神经网络对于待检测的零部件图像进行具体的分析、处理,因此不同于传统的检测方法,不会受到光照环境的影响,及时在光照环境较差的情况下,依然具有较高的精确度。

在本申请实施例中,相较于现有技术,充分利用了卷积神经网络在图像处理和图像识别方面的优势,通过利用多个样品图像建立用于识别表面缺陷的卷积神经网络,再利用上述用于识别表面缺陷的卷积神经网络对待检测的零部件图像进行识别,以确定待检测的零部件表面缺陷,从而解决了现有方法中存在的无法准确地识别零部件表面缺陷的技术问题,达到了可以在光照较差的环境中快速、准确地识别零部件表面缺陷的技术效果。

在一个实施方式中,在获取多个样品图像后,为了能够获得更加庞大的样本数据,以便建立更为精准的用于识别表面缺陷的卷积神经网络,具体实施时,在获取多个样品图像后,上述方法具体还可以包括以下内容:对所述多个样品图像进行图像处理,得到处理后的多个样品图像,其中,所述图像处理包括以下至少之一:旋转处理、镜像处理和灰度调节处理。

相应的,上述根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络,具体可以包括:根据所述处理后的多个样品图像,建立所述用于识别表面缺陷的卷积神经网络。

在本实施方式中,需要说明的是,通过上述图像处理可以获得更多的样品图像,以增加样本数量。具体的,例如,可以对500张样品图像进行旋转处理,可以到新的500张样品图像。再对原来的500张样品图像进行镜像处理,又可以另外的500张样品图像。接着对圆脸的500张样品图像进行灰度调节处理,再可以得到额外的500张样品图像。如此,对上述250张样品图像分别进行旋转处理、镜像处理和灰度调节处理后,最终可以得到2000张样品图像,从而可以有效地扩大原有的样品空间,以便后续可以建立出识别效果相对更好的用于识别表面缺陷的卷积神经网络。

在一个实施方式中,为了能减低待检测的零部件图像,在获取待检测的零部件图像后,所述方法具体实施时,还可以包括以下内容:对所述待检测的零部件图像进行高斯滤波,得到去噪后的待检测的零部件图像;相应的,根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷,具体可以包括:根据所述去噪后的待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

如此,可以较为有效地去除待检测的零部件图像中的高斯噪声,提高待检测的零部件图像的分辨率和识别精度,以便后续可以更加准确地识别出待检测的零部件是否存在表面缺陷。

在一个实施方式中,在准确识别零部件表面缺陷的基础上为能够准确地识别出零部件表面缺陷的具体类型,具体实施时可以获取多种零部件缺陷类型的图像作为上述多个有缺陷零部件的样品图像,再针对上述有缺陷零部件的样品图像中的具体的多种零部件缺陷类型图像进行训练、学习,已建立出能够识别缺陷类型的卷积神经网络。

在一个实施方式中,上述多个有缺陷零部件的样品图像具体可以包括多种零部件缺陷类型图像。其中,上述多种零部件缺陷类型图像具体可以包括以下所列举中的两种或多种:裂纹类型图像、划痕类型图像、孔洞类型图像、斑迹类型图像等。当然,需要说明的是,上述所列举的多种零部件缺陷图像只是为了更好地说明本申请实施方式。具体实施时,也可以根据具体情况和施工要求引入除上述所列举的零部件缺陷类型图像以外的其他零部件缺陷类型图像。对此,本申请不作限定。

在一个实施方式中,为了能够建立不但能够识别出零部件表面缺陷,还能准确地确定出表面缺陷的具体缺陷类型的卷积神经网络,所述根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络,具体实施时可以包括以下内容:

S1:根据所述多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像,建立第一训练集和第一测试集;

S2:利用所述第一训练集和所述第一测试集进行训练,以建立所述零部件缺陷识别网络;

S3:根据所述多种零部件缺陷类型图像,建立第二训练集和第二测试集;

S4:利用所述第二训练集和所述第二测试集进行训练,以建立缺陷类型分类网络;并将所述零部件缺陷识别网络和所述缺陷类型分类网络作为所述用于识别表面缺陷的卷积神经网络。

在一个实施方式中,具体实施时,上述多张样品图像具体可以包括多张有缺陷零部件的样品图像和多张无缺陷零部件的样品图像。其中,上述多张有缺陷零部件的样品图像的张数与无缺陷零部件的样品图像的张数相同或者差值小于阈值。

在本实施方式中,具体实施时,上述多张样品图像为500张样品图像,其中,包括250张有缺陷零部件的样品图像和250张无缺陷零部件的样品图像。进一步的,上述有缺陷零部件样品图像具体又可以包括多种零部件缺陷类型图像,例如可以包括50张裂纹类型图像、50张划痕类型图像、50张孔洞类型图像、50张斑迹类型图像、50张其他缺陷类型图像。再对上述多张样品图像分别进行包括旋转处理、镜像处理和灰度调节处理的图像处理后,可以获得 1000张无缺陷零部件的样品图像、200张裂纹类型图像、200张划痕类型图像、 200张孔洞类型图像、200张斑迹类型图像、200张其他缺陷类型图像,即1000 张有缺陷零部件的样品图像。

在本实施方式中,为了建立得到效果相对较好的第一训练集和第一测试集,具体实施时,可以从1000张无缺陷零部件的样品图像中抽取800张无缺陷的样品图像,从1000张有缺陷零部件的样品图像中抽取800张有缺陷的样品图像,将上述800张无缺陷的样品图像和800张有缺陷的样品图像进行组合以获得第一训练集。将剩下的200张有缺陷的样品图像和200张无缺陷的样品图像进行组合以获得第一测试集。

在本实施方式中,为了建立得到效果相对较好的第二训练集和第二测试集,具体实施时,可以从200张裂纹类型图像、200张划痕类型图像、200张孔洞类型图像、200张斑迹类型图像、200张其他缺陷类型图像分别抽取160张裂纹类型图像、160张划痕类型图像、160张孔洞类型图像、160张斑迹类型图像、160张其他缺陷类型图像进行组合,以建立第二训练集。将剩下的40张裂纹类型图像、40张划痕类型图像、40张孔洞类型图像、40张斑迹类型图像、 40张其他缺陷类型图像进行组合,得到第二测试集。

在一个实施方式中,为了能够准确地识别出待检测的零部件表面缺陷的具体缺陷类型,上述根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷,具体实施时可以包括以下内容:

S1:利用所述零部件缺陷识别网络对所述待检测的零部件图像进行识别,以确定所述待检测的零部件是否存在表面缺陷;

S2:在确定所述待检测的零部件存在表面缺陷的情况下,利用所述缺陷类型分类网络确定所述待检测的零部件表面缺陷的类型。

在一个实施方式中,为了能够高效地从大批的零部件中识别并确定出零部件表面缺陷,具体实施时,可以通过利用GPU对先利用所述零部件缺陷识别网络对所述待检测的零部件图像进行识别,以确定所述待检测的零部件是否存在表面缺陷;再在确定所述待检测的零部件存在表面缺陷的情况下,利用所述缺陷类型分类网络确定所述待检测的零部件表面缺陷的类型。

在本实施方式中,上述GPU(Graphics Processing Unit,图像处理器)又称显示核心、视觉处理器、显示芯片或者加速卡,是一种专门应用于在脑、工作站、部分移动设备(如平板电脑、智能手机等)上进行图像运算工作的微处理器。

在一个实施方式中,为了进一步提高识别零部件表面缺陷的速率,具体实施时,可以将两片GPU即GPU1和GPU2集成在一个服务器中,具体实施时,可以通过GPU1利用所述零部件缺陷识别网络对所述待检测的零部件图像进行识别,以确定所述待检测的零部件是否存在表面缺陷;通过GPU2在确定所述待检测的零部件存在表面缺陷的情况下,利用所述缺陷类型分类网络确定所述待检测的零部件表面缺陷的类型。从而可以达到分工合作,多线程运行,进一步提高处理效率的技术效果。

在一个实施方式中,上述GPU具体可以是Teslap40GPU,该型号的GPU处理速率相对较高,精度相对较好。当然,具体实施时,也可以根据具体情况和施工要求选用其他的型号的GPU.

在一个实施方式中,所述零部件具体可以包括但不限于以下所列举的零部件:轴承、螺钉、齿轮、气动元件、密封件、紧固件等。当然,需要说明的是,具体实施时,也可以根据具体情况和施工要求,选择除上述所列举的零部件类型以外的其他零部件进行表面缺陷的识别。

从以上的描述中,可以看出,本申请实施方式提供的零部件表面缺陷的识别方法,由于充分利用了卷积神经网络在图像处理和图像识别方面的优势,通过利用多个样品图像建立用于识别表面缺陷的卷积神经网络,再利用上述用于识别表面缺陷的卷积神经网络对待检测的零部件图像进行识别,以确定待检测的零部件表面缺陷,从而解决了现有方法中存在的无法准确地识别零部件表面缺陷的技术问题,达到了可以在光照较差的环境中快速、准确地识别零部件表面缺陷的技术效果;又通过利用多个样品图像分别建立零部件缺陷识别网络和缺陷类型分类网络作为所述用于识别表面缺陷的卷积神经网络,如此,可以利用零部件缺陷识别网络确定出零部件是否存在表面缺陷,再利用缺陷类型分类网络确定出表面缺陷的具体类型,达到可以精确地识别出零部件表面缺陷的缺陷类型的技术效果。

基于同一发明构思,本发明实施方式中还提供了一种零部件表面缺陷的识别装置,如下面的实施方式所述。由于零部件表面缺陷的识别装置解决问题的原理与零部件表面缺陷的识别方法相似,因此零部件表面缺陷的识别装置的具体实施可以参见零部件表面缺陷的识别方法的具体实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/ 或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。请参阅图2,是本申请实施方式的零部件表面缺陷的识别装置的一种组成结构图,该装置可以包括:第一获取模块21、建立模块22、第二获取模块23、确定模块24,下面对该结构进行具体说明。

第一获取模块21,具体可以用于获取多个样品图像,其中,所述多个样品图像包括:多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像。

建立模块22,具体可以用于根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络。

第二获取模块23,具体可以用于获取待检测的零部件图像。

确定模块24,具体可以用于根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

在一个实施方式中,所述零部件具体可以包括以下至少之一:轴承、螺钉、齿轮、气动元件、密封件、紧固件等。当然,需要说明的是,上述所列举的多种零部件类型只是为了更好地说明本申请实施方式,具体实施时,也可以根据具体情况和施工要求引入除上述所列举的零部件以外其他类型的零部件进行相应的表面缺陷的识别。

在一个实施方式中,为了能够根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络,上述建立模块22具体可以包括以下结构单元:

第一建立单元,具体可以用于根据所述多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像,建立第一训练集和第一测试集;

第二建立单元,具体可以用于利用所述第一训练集和所述第一测试集进行训练,以建立零部件缺陷识别网络,并将所述零部件缺陷识别网络作为所述用于识别表面缺陷的卷积神经网络。

在一个实施方式中,所述多个有缺陷零部件的样品图像具体可以包括多种零部件缺陷类型图像。

在一个实施方式中,所述多种零部件缺陷类型图像具体可以包括:裂纹类型图像、划痕类型图像、孔洞类型图像、斑迹类型图像等。当然,需要说明的是,上述所列举的零部件缺陷类型图像只是为了更好地说明本申请实施方式,具体实施时,也可以根据具体情况和施工要求引入除上述所列举的缺陷类型图像以外的其他类型的缺陷类型图像。

在一个实施方式中,在所述多个有缺陷零部件的样品图像包括多种零部件缺陷类型图像的情况下,为了能够根据所述多个样品图像,建立更加准确,可以识别具体表面缺陷类型的用于识别表面缺陷的卷积神经网络,上述建立模块22具体可以包括以下结构单元:

第一建立单元,具体可以用于根据所述多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像,建立第一训练集和第一测试集;

第二建立单元,具体可以用于利用所述第一训练集和所述第一测试集进行训练,以建立所述零部件缺陷识别网络;

第三建立单元,具体可以用于根据所述多种零部件缺陷类型图像,建立第二训练集和第二测试集;

第四建立单元,具体可以用于利用所述第二训练集和所述第二测试集进行训练,以建立缺陷类型分类网络;并将所述零部件缺陷识别网络和所述缺陷类型分类网络作为所述用于识别表面缺陷的卷积神经网络。

在一个实施方式中,为了能够根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷,上述确定模块24具体可以包括以下结构单元:

识别单元,具体可以用于利用所述零部件缺陷识别网络对所述待检测的零部件图像进行识别,以确定所述待检测的零部件是否存在表面缺陷;

确定单元,具体可以用于在确定所述待检测的零部件存在表面缺陷的情况下,利用所述缺陷类型分类网络确定所述待检测的零部件表面缺陷的类型。

在一个实施方式中,上述装置具体还可以包括图像处理模块,具体可以用于在获取多个样品图像后,对所述多个样品图像进行图像处理,得到处理后的多个样品图像,其中,所述图像处理包括以下至少之一:旋转处理、镜像处理和灰度调节处理。当然,需要说明的是,上述所列举的多种图像处理方式只是为了更好地说明本申请实施方式,具体实施时,也可以根据具体情况和施工要求引入除上述所列举的图像处理方式以外其他类型的图像处理。对此,本申请不作限定。

相应的,上述建立模块22具体实施时可以用于根据所述处理后的多个样品图像,建立所述用于识别表面缺陷的卷积神经网络。

在一个实施方式中,上述装置具体还可以包括去噪模块,具体可以用于在获取待检测的零部件图像后,对所述待检测的零部件图像进行高斯滤波,得到去噪后的待检测的零部件图像。

相应的,上述确定模块24具体实施时,可以根据所述去噪后的待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

需要说明的是,上述实施方式阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,在本说明书中,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

此外,在本说明书中,诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分,而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下,参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个,而可以是元素、部件、或步骤中的一个或多个等。

从以上的描述中,可以看出,本申请实施方式提供的零部件表面缺陷的识别装置,由于充分利用了卷积神经网络在图像处理和图像识别方面的优势,通过建立模块利用多个样品图像建立用于识别表面缺陷的卷积神经网络,再通过确定模块利用上述用于识别表面缺陷的卷积神经网络对待检测的零部件图像进行识别,以确定待检测的零部件表面缺陷,从而解决了现有方法中存在的无法准确地识别零部件表面缺陷的技术问题,达到了可以在光照较差的环境中快速、准确地识别零部件表面缺陷的技术效果;又具体通过建立模块利用多个样品图像分别建立零部件缺陷识别网络和缺陷类型分类网络作为所述用于识别表面缺陷的卷积神经网络,如此,可以利用零部件缺陷识别网络确定出零部件是否存在表面缺陷,再利用缺陷类型分类网络确定出表面缺陷的具体类型,达到可以精确地识别出零部件表面缺陷的缺陷类型的技术效果。

本申请实施方式还提供了一种电子设备,具体可以参阅图3所示的基于本申请实施方式提供的零部件表面缺陷的识别方法的电子设备组成结构图,所述电子设备具体可以包括输入设备31、处理器32、存储器33。其中,所述输入设备31具体可以用于输入多个样品图像,其中,所述多个样品图像包括:多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像,以及待检测的零部件图像。所述处理器32具体可以用于根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络;并根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。所述存储器33具体可以用于存储由处理器32建立的用于识别表面缺陷的卷积神经网络。

在本实施方式中,所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等;输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如,处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器包括很多层次,在数字系统中,只要能保存二进制数据的都可以是存储器;在集成电路中,一个没有实物形式的具有存储功能的电路也叫存储器,如RAM、FIFO等;在系统中,具有实物形式的存储设备也叫存储器,如内存条、TF卡等。

在本实施方式中,该电子设备具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。

本说申请实施方式中还提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序指令,在所述计算机程序指令被执行时实现:获取多个样品图像,其中,所述多个样品图像包括:多个无缺陷零部件的样品图像和多个有缺陷零部件的样品图像;根据所述多个样品图像,建立用于识别表面缺陷的卷积神经网络;获取待检测的零部件图像;根据所述待检测的零部件图像和所述用于识别表面缺陷的卷积神经网络,确定待检测的零部件是否存在表面缺陷。

在本实施方式中,上述存储介质包括但不限于随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard Disk Drive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的,用于进行网络连接通信的接口。

在本实施方式中,该计算机存储介质存储的程序指令具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。

在一个具体实施场景示例中,应用本申请提供的零部件表面缺陷的识别方法和装置对某批待检测轴承的表面缺陷进行识别确定。具体实施过程可以参阅以下内容执行。

具体实施时请参阅图4所示的在一个场景示例中应用本申请实施例提供的零部件表面缺陷的识别方法和装置对某批待检测轴承进行表面缺陷识别的流程示意图。

S1:实施准备,包括:获取神经网络的训练数据及其参数,并建立轴承表面识别网络(即零部件缺陷识别网络)和缺陷分类网络(即缺陷类型分类网络)。具体实施时,可以包括以下内容:

S1-1:首先是图像(即样品图像)的获取,具体可以采用CCD工业照相机拍摄目标样品的图像,并将图像的尺寸大小统一转换为常用的512x512的尺寸。

在本实施方式中,通过上述图像获取,具体可以获得无缺陷轴承的250张图像(即无缺陷零部件的样品图像)、有缺陷轴承的250张图像(即有缺陷零部件的图像),其中,缺陷轴承图像具体包含有裂纹50张(即裂纹类型图像)、划痕50张(即划痕类型图像)、孔洞50张(即孔洞类型图像)、斑迹50张(即斑迹类型图像)和其它种类缺陷50张(即其他缺陷类型图像)。

S1-2:可以通过使用图像处理的方法,扩大采集的图片数据集(即扩大样本空间)。具体实施时,可以分别进行旋转、镜像和灰度调节,使无缺陷轴承图像扩为1000张、有缺陷轴承图像扩为1000张。

S1-3:设计两个卷积神经网络(即建立用于识别表面缺陷的卷积神经网络):轴承表面识别网络(即零部件缺陷识别网络)和缺陷分类网络(即缺陷类型分类网络)以进行轴承表面缺陷的识别和具体缺陷类型的确定。

S1-3-1:具体实施时,可以使用无缺陷轴承800张和有缺陷轴承800张图像作为训练集(即第一训练集),其它400张作为测试集(即第一测试集),通过训练学习得到轴承表面识别网络;

S1-3-2:使用轴承含有裂纹160张、划痕160张、孔洞160张、斑迹160张和其它种类缺陷160张图像作为训练集(即第二训练集),其它取200张作为测试集(即第二测试集),通过训练学习得到包含有物种缺陷类型的缺陷分类网络;

S2:识别待检测零部件表面缺陷,包括:通过轴承表面识别网络(即零部件缺陷识别网络)确定待检测轴承是否存在表面缺陷和通过缺陷分类网络 (即缺陷类型分类网络)确定表面缺陷的具体缺陷类型。

S2-1:首先是图像(待检测零部件的图像)的获取,具体可以采用CCD 工业照相机拍摄目标(即待检测零部件)图像,并将该图像的大小统一转换为常用的512x512的尺寸。

S2-2:为提高后续神经网络对输入图像的识别准确率,具体实施时,可以采用高斯滤波方法对图像进行滤波,以去除高斯噪声,得到滤波后的图像。

S2-3:为了满足工业生产场景中,对实时性的要求,具体实施时可以将2 块Teslap40GPU加速计算卡集成在服务器中,相应的,可以通过加速计算卡 GPU1使用轴承表面识别网络对滤波后的图像进行识别,此网络会给出是否为有缺陷轴承的结果,以确定待检测的轴承是否存在表面缺陷;在输出的结果为有缺陷轴承的情况下,进一步通过加速计算卡GPU2使用离线训练好的缺陷分类网络,对图像进行分类,此网络会给出属于哪一类或多类的概率,进而可以准确地确定出表面缺陷的具体缺陷类型。

通过上述场景示例,验证了本申请实施方式提供的零部件表面缺陷的识别方法和装置,通过利用多个样品图像建立用于识别表面缺陷的卷积神经网络,再利用上述用于识别表面缺陷的卷积神经网络对待检测的零部件图像进行识别,以确定待检测的零部件表面缺陷,确实解决了现有方法中存在的无法准确地识别零部件表面缺陷的技术问题,确实达到了可以在光照较差的环境中快速、准确地识别零部件表面缺陷的技术效果。

尽管本申请内容中提到不同的具体实施方式,但是,本申请并不局限于必须是行业标准或实施例所描述的情况等,某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、处理、输出、判断方式等的实施例,仍然可以属于本申请的可选实施方案范围之内。

本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

虽然通过实施例描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的实施方式包括这些变形和变化而不脱离本申请。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1