一种基于深度学习的零件实例分割识别方法与流程

文档序号:16470749发布日期:2019-01-02 23:04阅读:567来源:国知局

本发明涉及机械加工技术领域,具体来说涉及一种基于深度学习的零件分割识别的实施例。



背景技术:

个性化定制的需求的旺盛使得多品种小批量成为当今制造业发展趋势,制造企业需要对不同需求的市场做出快速响应,来提升自身竞争力,这对制造企业的自动化水平提出了更高要求。

工业生产过程中存在大量的零件识别定位,零件识别技术已经成为提高产品生产质量和效率的重要一环,现有零件识别技术主要方法是利用相关图像处理算法对采集得到的零件图像进行特征提取,然后对提取到的特征进行分类,得到零件的具体类别,从而进行下一步工序。传统零件识别需要人工选择算法对零件图像特征进行提取,人工选取特征提取算法的好坏决定了零件识别的准确率。

因此,需要一种更加准确有效的零件识别分割方法。



技术实现要素:

本发明的目的在于克服上述缺点而提供的一种识别准确度高,识别效率高的基于深度学习的零件图像分割识别方法。

本发明的一种基于深度学习的零件图像分割识别方法,包括以下步骤:

(1)利用工业ccd相机对零件图像采集;

(2)图像预处理:将图像归一化,利用标记软件对图像中的零件进行标记;

(3)对数据集进行数据增强、划分k折(k=5)交叉验证;数据增强是对数据集中的图像进行比对度改变、随机剪裁、添加椒盐噪声;

(4)加载maskr-cnn模型,进行权重的初始化和超参数设置;动量设为0.9,学习率设为0.001,学习率衰减系数设为0.001,最大迭代次数为50个时期(epoch),每周期迭代次数为50。

(5)将图像送入卷积神经网络进行特征提取得特征图;

(6)将步骤(5)得到的特征图送入rpn网络生成一系列的感兴趣区域,。其中锚点设置为尺寸8*6像素,16*6像素,32*6像素,64*6像素,128*6,(0.5,1,2)3种不同比例,生成15个候选窗口,使用roialign策略将生成感兴趣区域像素点重新对齐;

(7)进行最大池化,固定特征图大小;

(8)将步骤(7)生成的特征向量送入maskr-cnn网络框架,分类器生成待识别零件的类别和位置信息,全卷积网络对特征图做4次卷积操作,生成14*14大小的掩码特征图,生成零件图像分割掩码,完成识别;

(9)根据步骤(8)maskr-cnn网络输出结果,判定识别是否成功,若成功进行下一次识别,否则发出蜂鸣警告。

上述步骤(1)中使用labelme图像标注工具进行图像的标注。步骤(6)中将产生的锚点和真实目标窗口的交并比作为判别依据,iou>0.5时判别为正样本,iou<0.3时判定为负样本,其余样本不参与训练。

上述基于深度学习的零件实例分割识别方法,其中:步骤(5)的特征提取网络选用resnet101和fpn网络,采用3*3的卷积核进行卷积操作。

上述基于深度学习的零件实例分割识别方法,其中步骤(8)的maskr-cnn网络框架输出识别结果,包括以下几个方面:

a、将固定好的特征图输入全连接层,输出分类和位置信息;

b、将特征图输入全卷积神经网络生成分割掩码,根据阈值判定是否成功。

本发明与现有技术相比,具有明显的有益效果,从以上技术方案可知:本发明通过基于深度学习的方法对零件进行识别检测,使用卷积神经网络自动提取零件特征,通过maskr-cnn网络进行零件的分类识别、位置回归和掩码分割,可以达到较高的准确率,并且可以对零件图形进行实例分割,有效的提高了零件识别的效率,提升生产过程自动化水平。

以下通过具体实施方式,进一步说明本发明的有益效果。

附图说明

图1为本发明的流程图;

图2为本发明采用的maskr-cnn框架;

图3为rpn网络框架。

具体实施方式

下面结合附图以及较佳实施例进一步说明本发明的技术方案。

参见图1,本发明的基于深度学习的零件实例分割识别方法,包括以下步骤:

(1)利用工业ccd相机对零件图像采集;

(2)图像预处理:将图像归一化为长度为1280,宽度为960(单位:像素)的大小,利用标记软件labelme对图像中的零件进行标记;

(3)对数据增强是对数据集中的图像进行比对度改变、随机剪裁、添加椒盐噪声进行数据增强、划分k折(k=5)交叉验证;

(4)加载maskr-cnn模型(见图2),进行权重的初始化和超参数设置;动量设为0.9,学习率设为0.001,学习率衰减系数设为0.001,最大迭代次数为50个时期(epoch),每周期迭代次数为50。

(5)将图像送入卷积神经网络进行特征提取得特征图;

(6)将步骤(5)得到的特征图送入rpn网络(见图3)生成一系列的感兴趣区域。其中锚点设置为(8*6,16*6,32*6,64*6,128*6)5种尺寸,(0.5,1,2)3种不同比例,生成15个候选窗口,将产生的锚点和真实目标窗口的交并比作为判别依据。iou>0.5时判别为正样本,iou<0.3时判定为负样本,其余样本不参与训练。使用roialign策略将生成感兴趣区域像素点重新对齐;

(7)进行最大池化,固定特征图大小;

(8)将步骤(7)生成的固定好特征向量送入maskr-cnn网络框架的全连接层,生成待识别零件的类别和位置信息;同时全卷积网络对步骤(7)生成特征图做4次卷积操作,生成14*14大小的掩码特征图,通过上采样操作生成零件图像分割掩码,完成识别;

(9)根据输出结果,设置识别阈值为90%,若零件识别概率大于90%则判定识别成功,继续进行下一次识别,否则发出蜂鸣警告。

实验例:

1实验平台搭建

搭建实验平台,利用工业ccd相机对零件图像进行采集。实验以螺母为对象,采集图像200张。实验用的计算机的配置为:操作系统ubuntu16.04,amdryzen71800xeight-core处理器,主频3.6ghz,16gb内存,gpu选用geforcegtx1080。

2数据集与实验设计

采集到的数据情景包括:螺母正面、侧面、一对螺母的组合。由于采集图像样本中的情景类别较少,为增加样本的多样性,使用数据增强方法对采集到的数据集进行扩充,使模型更加健壮。数据增强可以增加样本的多样性,减少过拟合的风险。对增强后的数据使用labelme软件对训练样本进行标记,标记后的文件会自动添加背景并将背景默认为一类。对训练样本划分k折(k=5)交叉验证,分别输入训练模型,进行训练。

2.2系统性能测试实验

为了测试系统性能,设计了两个实验:

实验1:以螺母为检测对象,对maskr-cnn网络模型进行训练,训练使用深度学习框架tensorflow和keras,实验为了测试方法的有效性和模型的的鲁棒性。

实验2:以选用相似度较高的三个零件为检测对象,对采集的得到数据进行与实验1相同处理;对模型进行训练,测试模型在相似度较高的零件下的鲁棒性。动量设为0.9,学习率设为0.001,学习率衰减系数设为0.001,最大迭代次数为50个时期(epoch),每周期迭代次数为50次,loss值在20次迭代后趋于稳定。

3测试结果

随机选取实验1中测试集图像进行检测,测试结果表明本发明对单个零件和配合组件上的零件均有较好的识别效果。在配合组件中,算法不仅可以识别出紧固在螺栓上的螺母,还可以将对螺母进行实例分割,将螺母与螺栓进行实例分割,应用不同颜色将图像中的零件分割出来。

对选取的三个相似度较高的零件进行测试,重新采集图像200张,数据集的处理方式同上,随机选取测试集零件进行测试。为增加实验可靠性,选取设置阈值为90%,零件识别率为大于90%则判定为识别正确,否则判定为识别错误。随机选取30张包含待识别零件的图像进行识别,实验证明本发明对零件有较好的识别效果,满足工业中对零件的识别要求

综上所述,本发明可通过基于深度学习的方法对零件进行检测,通过卷积神经网络对零件图像特征进行提取。通过maskr-cnn网络框架对零件进行实例分割,可以达到较高的识别准确度,有效的提升了零件的识别效率,为生产过程中零件识别后的其他工序提供了保障。

以上所述,仅是本发明的较佳实施例而已,并非对本发明做任何形式上的限制,任何未脱离本发明的技术方案内容,依据本发明的技术实质对以上实例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1