一种机器视觉神经网络的训练方法、设备及存储介质与流程

本发明涉及机器视觉神经网络技术，尤其涉及针对深度卷积类的机器视觉神经网络的训练方法、设备及存储介质。
背景技术：
：人工神经网络(artificialneuralnetwork，即ann)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。而随着人工智能的发展，为了能够更智能的做出各种判断及反馈，并辅助工业生产，神经网络已经被广泛的运用于机器视觉识别领域，而其中为了提高识别率，神经网络的深度学习方法已是目前机器视觉领域的主要发展方向之一。faster-rcnn是一个基于深度卷积神经网络，目前被广泛应用于运动的目标检测，且faster-rcnn可以在很短的时间内实现对运动目标的检测，极大地满足实时性的检测需求，且准确度也相对较高。然而采用现有神经网络训练技术的该faster-rcnn神经网络，在识别同类工件堆叠状态时，还具有一定局限性，其准确性及识别率还不够高，这是由于现有神经网络训练数据的采样方式通常采用对单体工件进行多角度采样的方式建立识别训练基准，因此在实际运用中此类训练方式很容易造成模型的过拟合，反而降低了识别率，因此目前该问题一直困扰着本领域技术人员。技术实现要素：本发明专利提出了一种机器视觉神经网络的训练方法，用于提高机器视觉神经网络判断堆叠情况下的工件能否被机械臂抓取的准确率。为了实现上述目的，根据本发明的一个方面，提供了一种机器视觉神经网络的训练方法，其步骤包括：s1设定训练数据采样，以随机堆叠工件为训练样本；s2设定最上层工件的实际状态定义数据标签；s3定义其余堆叠工件为图像中加入的随机噪声；s4进行前端特征提取网络训练及整体网络训练。在优选实施方案中，该训练样本中出现的随机堆叠工件的数量ci＝1+ii∈[0，6]。在优选实施方案中，该机器视觉神经网络的训练方法还包括步骤：s2.1对具有数据标签的所述训练样本图像进行包括：缩放，反转，色彩通道变换在内至少一种处理。在优选实施方案中，该定义数据标签的步骤包括：根据训练样本中最上层工件的实际状态定义可抓取/不可抓取标签，并至少对可抓取工件标识出特征框。在优选实施方案中，该前端特征提取网络训练步骤包括：s4.1对所述前端特征提取网络使用迁移学习后，再采用所述训练样本进行再训练。在优选实施方案中，该整体网络训练步骤包括：s4.2设定超参数中，batch-size＝4，epoch＝25，learningrate＝1e-5，maxiterations＝410，dropoutprob＝0.5，stepsizeforexponentialdecay＝7，normalizationforinputpreprocessing中：mean为(r，g，b)＝(0.485，0.456，0.406)，standarddeviation为(r，g，b)＝(0.229，0.224，0.225)在优选实施方案中，该整体网络训练步骤包括：s4.2设定超参数中，weight-decayforregularization＝0.0005，maxepoch＝20至10，maxiterationperepoch＝2517，batchsizeperiteration＝1，learningrate＝0.001，momentum＝0.9，fg_fraction＝0.25至0.5，batchsizeforrpn[positiveandnegativesamples]＝256，nmsthresholdfortrain＝0.7，gammaforreducingthelearningrate＝0.1，stepsizeforreducingthelearningrate＝10000。为了实现上述目的，根据本发明的另一方面，提供了一种自动加工设备，其包括：计算机视觉装置，用于识别被加工工件，其中该计算机视觉装置采用了上述任一优选实施方案中的机器视觉神经网络的训练方法。为了实现上述目的，根据本发明的另一方面，提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述任一项优选实施方案中的机器视觉神经网络的训练方法。通过本发明提供的该机器视觉神经网络的训练方法、设备及存储介质，能够起到的有益效果包括；1.能够提高机器视觉神经网络判断堆叠情况下的工件能否被抓取的准确率。2.提高了采用该机器视觉神经网络的训练方法的自动加工设备的加工效率和自动化程度，降低了生产成本，提高了生产效率。3.能够兼容和改进现有的机器视觉神经网络，使得采用现有技术的机器视觉神经网络能够经济的升级，以提高判断准确率。附图说明构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1是现有技术的fasterrcnn框架示意图；图2是本发明的机器视觉神经网络的训练方法中3个训练样本的图像示例图；图3是本发明的机器视觉神经网络的训练方法中九宫格训练样本的图像示例图；图4是本发明的机器视觉神经网络的训练方法训练结果图像示例图；图5是采用本发明的机器视觉神经网络的训练方法训练后实际使用效果示例图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。为了使本领域的技术人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护范围。需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“s1”、“s2”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。本发明主要用于改进现有采用fasterrcnn为框架的机器视觉神经网络，在优选实施方式下，以摄像头为输入采集800x600分辨率的rgb三通道图像为基准，输出图像中可抓取/不可抓取的工件的特征框及其判断概率。其中由图1所示，本实施例为vgg特征提取网络，其中包括前端的输入图像1及前端骨干网络2，其中该前端股干网络2优选采用vgg16的conv1_1～pool5层进行前端输入图像1的特征提取，而后端为处理部分3，其中处理部分3最后的两路输出为每个标记框可以抓取与不可以抓取的概率以及每个框的回归系数。而在现有技术中，为了在该网络框架下进行识别训练，通常采用以单体工件进行多角度采样来进行训练，但在实际使用中，发明人却仔细的发现，此类采样的训练时常会造成模型的过拟合现象发生，因而造成识别率始终无法有效提高的问题。因此，为了另辟蹊径解决该问题，本实施例采用了一种新的采样方法，即本发明的一种机器视觉神经网络的训练方法，其使用工件小堆叠采样方式，使样本之间的相关性降低，从理论上来说，该采样样本相对实际工件的造型或单体工件多角度采样的模型数据来说，其完整度、精确度是有所不及并明显下降的，但在实际检测结果中却出乎意料的优于单体工件进行多角度采样的方案。具体来说，该机器视觉神经网络的训练方法，其步骤主要包括：s1设定训练数据采样，以随机堆叠工件为训练样本；s2设定最上层工件的实际状态定义数据标签；s3定义其余堆叠工件为图像中加入的随机噪声；s4进行前端特征提取网络训练及整体网络训练。其中该训练样本即样本图像中需加入一定的噪声或者做各种线性变换，从而有助于加强模型的鲁棒性，但值得一提的是，本实施例中该噪声优选采用以人为的在单体工件样本中加入若干随机摆放的工件，并且以最上层的一个工件的实际状态定义此数据的标签，其中该定义数据标签的步骤包括：根据训练样本中最上层工件的实际状态定义可抓取/不可抓取标签，并对可抓取/不可抓取的工件标识出特征框。具体的，如图2所示其中该3个训练样本图像从左至右依次为不可抓，可抓，可抓，虽然我们无法知道下部工件排布在像素值层面上属于什么分布的噪声。但是正因为如此，模型的鲁棒性反而会得到增强。而在本实施例的优选实施方式下，优选定义每幅训练样本图象中最多出现7个工件，即该训练样本中出现的随机堆叠工件的数量ci＝1+ii∈[0，6]。则在该采样方式，若不改变下部堆叠状态，理论上我们能够得到53*10*6*2＝3180个样本，即首先对单体工件样本在53个不同的角度进行采样，其中算式中的‘2’为训练集和验证集，虽然实际情况下验证集不需要这么多，但是考虑到有些样本的相似性，本实施例中为了证明实施效果，最后采样样本数为1767x2个。进一步来说，该训练样本在堆叠采样后，还需对具有数据标签的该训练样本图像进行包括：缩放，反转，色彩通道变换在内至少一种处理，如图2最右侧图片的示意，在优选实施方式中，该定义过数据标签的该训练样本图像优选以九宫格形式放入一张大图中，如图3所示。并且标注groundtruth，保证每个格子至少一个类别的物体可抓/不可抓。当定义好该训练数据采样后，在具体训练过程中，本实施例下的该fasterrcnn的训练步骤主要分为两部分，1前端特征提取网络的训练及2整体网络的训练，其中具体训练步骤包括：首先在vgg16的conv1_1～pool5层采用标准数据集完成训练，本实施例中该标准数据集优选为imagenet；其次在随机初始化的全连接层，即hiddenlayers(4096unitperlayer)，outputlayer(2units)上采用本实施例下的训练样本再进行训练。具体来说，该训练过程优选通过现有技术的方式对该前端特征提取网络进行初步训练后，再使用迁移学习方式来采用本实施例下的训练样本进行训练，即将初步训练好的通用数据库的模型用我们的训练样本再训练，以进一步提升针对本训练样本下的工件的特征分辨率后，再采用本实施例下的带有数据标签的该训练样本对整体网络进行再训练，结果如图4所示，该训练过程中，针对采集的训练样本，进行学习训练后会在训练样本上标识可抓取/不可抓取的特状框，以供进行训练结果的判断及作为调试依据，在通过本实施例下的调试后，在实际使用中该判断结果如图5所示，能够在大量堆叠的工件上准确的获取能否被抓取的特征框，从而为机器视觉的后续应用打下基础。此外在具体训练过程中，优选采用极小的学习率进行训练，如优选实施方式下，该前端特征提取网络训练的超参数的选取，如表1所示。表1该整体网络的训练的超参数的选取，如表2所示：表2通过采用上述训练样本的采样方式及训练方法并配合相关超参数的选取，最终训练结果如下：该前端特征提取网络训练后的精度为下表(前端vgg网络的精度)：classaccuracycatchable95.38％uncatchable96.70％average96.04％该整体网络训练后的精度为下表：籍此印证根据上述本发明的该机器视觉神经网络的训练方法，即可整体提升现有技术的机器视觉神经网络的特征提取及判断准确率。此外根据本发明的另一方面，还提供了一种自动加工设备，其包括：计算机视觉装置，用于识别被加工工件，其中该计算机视觉装置采用了上述任一优选实施方案中的机器视觉神经网络的训练方法，从而可提高了采用该机器视觉神经网络的训练方法的自动加工设备的加工效率和自动化程度，降低了生产成本，提高了生产效率。此外根据本发明的另一方面，还提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述任一项优选实施方案中的机器视觉神经网络的训练方法，籍此能够兼容和改进现有的机器视觉神经网络，使得采用现有技术的机器视觉神经网络能够经济的升级，以提高判断准确率。以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属
技术领域：
技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。当前第1页12