一种工业机器人工业产品缺陷图像数据增广方法

1.本发明涉及自动化设备，更具体地说，涉及一种工业机器人工业产品缺陷图像数据增广方法。


背景技术：

2.目前工业机器人在视觉检测技术里面得到了广泛的应用，一来由于图像识别技术的不断创新，二来是硬件算力成本的不断降低，使得视觉识别不再是工业智能生产流水线中一直缺失的一个环节。视觉检测在定位、分选、标识等多个功能环节起到了至关重要的作用，而在视觉机器人中应用较多的一个环节即是工业品质检环节，由于工业品本身多种多样，一般对工业产品的缺陷都是通过人为进行识别，而人为识别本身具有不确定容易导致错误，同时，人为识别基于经验认知，难以对工业生产线中出现的影响良率的情况和环节进行分析，所以机器人视觉技术在质检环节得到了广泛的应用；
3.而机器人视觉技术在识别工业品表面缺陷时，一般是通过特征识别、缩放、调整焦距这三个步骤实现缺陷图像的采集，但是存在以下两个问题，通过特征识别进行缩放，采集区域的缩放，缩放比例是根据特征大小进行的，但是实际会出现实际缺陷较大的情况，导致缩放后采集图像可能只能呈现部分缺陷，第二个问题是呈现的采用一致性焦距可能出现边缘不清晰的情况，这两种情况都会导致采集的缺陷图像呈现不清晰，导致后续成因分析难以进行。


技术实现要素：

4.有鉴于此，本发明目的是提供一种工业机器人工业产品缺陷图像数据增广方法。
5.为了解决上述技术问题，本发明的技术方案是：
6.一种工业机器人工业产品缺陷图像数据增广方法，其特征在于：
7.步骤s1、实时获取工业品远景图像，并通过预设的缺陷特征神经网络识别工业品远景图像的缺陷特征；
8.步骤s2、以缺陷特征于远景图像的位置为中心通过放大倍比放大工业品远景图像以获取特征识别获得工业品近景图像，同时自动对焦并获取调焦参数；
9.步骤s3、通过预设的丢失判断策略根据缺陷特征判断所述工业品近景图像的损失信息，并将所述缺陷特征作为索引从预设的特征重构数据库中获取特征重构条件；
10.步骤s4、通过所述特征重构条件从工业品远景图像中获取特征重构信息；
11.步骤s5、将特征重构信息带入预设的特征增广模型中以得到重构特征图像；
12.步骤s6、将重构特征图像和所述工业品近景图像进行拼接以得到缺陷增广图像；
13.步骤s7、将得到的缺陷增广图像和工业品远景图像比对以计算图像相似值，当图像相似值大于上限阈值时，执行正反馈调节策略，当图像相似值小于下限阈值时，执行负反馈调节策略。
14.进一步的：所述丢失判断策略
15.步骤s3-1、根据缺陷特征计算工业品近景图像中每一像点的最大卷积值；
16.步骤s3-2、根据最大卷积值的分布确定上限匹配值以及下限匹配值；
17.步骤s3-3、将最大卷积值高于上限匹配值的像点标记为缺陷像点，将最大卷积值于上限匹配值和下限匹配值之间的像点标记为重构像点，将最大卷积值低于下限匹配值的像点标记为冗余像点，将分布方式满足中心分布条件的缺陷像点划分为中心图区；
18.步骤s3-4、确定与中心图区距离小于预设的冗余距离值的重构像点为临接像点集，临接数据集中分布方式满足损失分布条件的重构像点划分为损失图区，临接数据集中位于工业品近景图像边缘的像点确定为损失边缘；
19.步骤s3-5、根据损失图区和损失边缘的位置生成所述的损失信息。
20.进一步的：所述步骤s4中包括：
21.步骤s4-1、通过损失信息在所述工业品远景图像中确定起始坐标；
22.步骤s4-2、通过特征重构条件中的轮廓识别基准从工业品远景图像中确定重构轮廓；
23.步骤s4-3、通过特征重构条件中的重构基准在所述重构轮廓中确定若干重构特征，根据重构特征生成所述的重构特征信息。
24.进一步的：所述的特征增广模型包括重构神经网络，所述重构神经网络中的每个节点对应有卷积核数据集，所述卷积核数据集中包括有若干个反卷积核，每一反卷积核对应有卷积优先值，所述重构神经网络的节点之间通过递进索引向量关联。
25.进一步的：所述步骤s5中包括
26.步骤s5-1、根据重构特征生成若干重构路径以使重构路径覆盖所述的重构轮廓；
27.步骤s5-2、重构路径将与缺陷像点距离最小的重构像点确定为重构路径的起点，根据重构路径对应的重构特征从所述重构神经网络中确定起始节点并确定匹配关系；
28.步骤s5-3、在匹配关系中，以卷积优先值为顺序通过预设的卷积拟合算法计算每一反卷积核与该像点的卷积匹配值，直至卷积匹配值达到重构子条件；
29.步骤s5-4、通过预设的路径索引算法计算每一下级节点的索引值，所述递进索引值与递进索引向量的模长正相关，根据索引值确定下级节点并与重构路径中的下一像点确定匹配关系，并重新执行步骤s5-3直至在重构神经网络中完成重构路径中所有像点的匹配；
30.步骤s5-5、完成所有重构路径的反卷积以生成所述的重构特征图像。
31.进一步的：所述卷积拟合算法为
[0032][0033]
其中，a为卷积匹配值，b为预设的权重目的参数，α为通过缺陷特征计算的目前像点反卷积后的最大卷积值，k1为丢失判断策略中确定的上限匹配值，u为反卷积核中像点数，u当前像点与上一像点在反卷积算法中的重合像点数；c为当前像点在重构序列中的序列值；β1为通过缺陷特征重新计算的上一像点的最大卷积值；β2为上一次计算得到的上一像点的最大卷积值。
[0034]
进一步的：所述路径索引算法为
[0035][0036]
其中，b为该节点对应的索引值，ε1、ε2、ε3分别为预设的索引权重参数，有ε1+ε2+ε3＝1，x为索引向量的模长，y1索引路径在当前像点的轨迹角度，y2为重构神经网络中特征数据集的匹配角，z为对应节点的信息素。
[0037]
进一步的：所述步骤s5-4中还包括比例生成算法，所述比例生成算法为
[0038]
其中，tn为索引比例值，m为下级节点的数量，bn为第n个下级节点，bm为第m个下级节点；
[0039]
所述步骤s5-4中还包括根据索引比例值为每一下级节点配置索引数值范围，并生成随机数，根据随机数落入索引数据范围确定对应的下级节点建立所述的匹配关系。
[0040]
进一步的：还包括信息素衰减策略，所述信息素衰减策略为重构神经网络中的每一节点配置信息素，当任意节点建立匹配关系时，其对应的信息素增加预设的补强值，位于同一层级的其他节点信息素减少预设的衰减值。
[0041]
进一步的：所述的正反馈调节策略为将所述重构神经网络中对应的递进索引向量的模长增加正调节值，所述正调节值与图像相似值与上限阈值的差值成正比；所述的负反馈调节策略为将所述重构神经网络中对应的递进索引向量的模长减少负调节值，所述负调节值与图像相似值与下限阈值的差值成正比。
[0042]
本发明技术效果主要体现在以下方面：通过特征识别时缓存的工业品远景图像得到对应的工业品近景图像后，保留工业品远景图像，通过过工业品近景图像得到的部分清晰的特征判断缺失部分，通过提取远景关键信息，从工业品远景图像中提取特征重构信息，将提取到的特征重构信息输入到特征增广模型中得到重构特征图像，然后进行图像拼接，然后再通过深度学习算法进行学习，提高处理速度和准确性。
附图说明
[0043]
图1：本发明一种工业机器人工业产品缺陷图像数据增广方法流程图；
[0044]
图2：本发明方法的步骤s3流程原理图；
[0045]
图3：本发明方法的步骤s4流程原理图；
[0046]
图4：本发明方法的步骤s5流程原理图。
具体实施方式
[0047]
以下结合附图，对本发明的具体实施方式作进一步详述，以使本发明技术方案更易于理解和掌握。
[0048]
一种工业机器人工业产品缺陷图像数据增广方法，
[0049]
步骤s1、实时获取工业品远景图像，并通过预设的缺陷特征神经网络识别工业品远景图像的缺陷特征；视觉机器人识别缺陷特征神经网络目前在工业品缺陷识别中已经有了较多应用，本发明在于识别缺陷特征的逻辑，而随着缺陷图像数据增广方法的精确度的优化，缺陷特征识别条件可以相应降低，此处的缺陷特征是神经网络中的一个个节点，并不
是说工业品远景图像中存在一个缺陷特征就说明工业品远景图像中存在缺陷，是工业品远景图像的缺陷特征满足神经网络中触发缺陷的条件，将这个图像此处的图区判断为缺陷，而具体可以是刮痕、上色不均等情况，再此不做赘述。
[0050]
步骤s2、以缺陷特征于远景图像的位置为中心通过放大倍比放大工业品远景图像以获取特征识别获得工业品近景图像，同时自动对焦并获取调焦参数；通过缺陷特征所在的位置和分布可以确定中心点，同时以固定的放大倍比放大工业品远景图像就可以得到工业品近景图像，而此处的目的是为了得到的工业品近景图像的大小一致，方便存储和数据处理，同时也是根据缺陷特征的位置进行调焦处理，使得对应的工业品近景图像中的缺陷特征分布较多的点成像清晰；自动调焦和自动放大图像是视觉机器人目前已经具备的硬件技术，再此不做赘述，但需要说明的是，这样设计虽然可以得到清晰的近景图像，但是会出现背景技术中存在的问题，可能缺失部分较大或不清晰，而如果以往的技术而言，可能需要重新调节放大倍比和焦距，获得若干个新的图像，进行图像拼接，但是这样一来，工业视觉机器人需要更多的时间，因为首先要进行缺失运算，得到结果之后然后重新通过缺陷特征神经网络在不同的放大倍比下寻找周围的缺陷部分，然后再次调焦，这个过程需要视觉机器人的视角一直在该工业品上，更重要的是，如果工业品在这个过程中也是出于移动状态，光影、成像效果都有所差别，导致识别结果也会出现误差，这样的时间浪费是不符合流水线质检的设计需求。所以本发明基于特征识别时刻完成的远景图像与近景图像直接进行拼接，尽可能增加近景图像中的数据饱和度和数据清晰度，完成缺陷图像数据增广：
[0051]
步骤s3、通过预设的丢失判断策略根据缺陷特征判断所述工业品近景图像的损失信息，首先获取到的近景图像进行缺失信息的判断述丢失判断策略
[0052]
步骤s3-1、根据缺陷特征计算工业品近景图像中每一像点的最大卷积值；由于近景图像相比与远景图像的清晰度更高，所以首先通过卷积算法计算每个像点和缺陷特征匹配度，这里同样会用到缺陷特征神经网络，通过缺陷特征神经网络中的卷积核对每一像点进行卷积运算获取每一像点的最大卷积值，最大卷积值标识该缺陷特征神经网络中与像点的匹配程度，这个最大卷积值是通过缺陷特征神经网络中的卷积核对应每一像点做卷积运算，得到的矩阵的结果值是该像点的卷积值，理论上最大卷积值趋近于1说明该像点和缺陷图像中的样本匹配度较高。
[0053]
步骤s3-2、根据最大卷积值的分布确定上限匹配值以及下限匹配值；计算完每一图像的最大卷积值后，会存在以下几种情况，1、由于成像不清晰导致实际是缺陷像点，但是卷积后最大卷积值变低；2、由于成像不清晰导致实际是正常像点，卷积后导致最大卷积值变高；3、由于像点实际是缺陷像点，处在近景图像的边缘导致卷积时最大卷积值变低，4、由于成像带来的误差。针对以上几种情况，所以通过上限匹配值和下限匹配值将像点类型划分为三类，而上限匹配值和下限匹配值优选根据固定的放大倍比和动态生成的调焦参数，理论上调焦变化越大，上限匹配值越高，下限匹配值越低，这样可以消除成像误差。
[0054]
步骤s3-3、将最大卷积值高于上限匹配值的像点标记为缺陷像点，将最大卷积值于上限匹配值和下限匹配值之间的像点标记为重构像点，将最大卷积值低于下限匹配值的像点标记为冗余像点，将分布方式满足中心分布条件的缺陷像点划分为中心图区；根据上述情况将整个近景图像的像点氛围三类进行标记，利用像点集中分布的规律，例如除了处在边缘位置的像点以外缺陷像点、重构像点、冗余像点单独分布判断为误判信息可以予以
筛出，而根据像点的分布情况可以确定分布位置，由于缺陷像点对应的位置应该是最清晰的，所以通过缺陷像点的分布可以确定缺陷像点的区域，形成中心图区；
[0055]
步骤s3-4、确定与中心图区距离小于预设的冗余距离值的重构像点为临接像点集，临接数据集中分布方式满足损失分布条件的重构像点划分为损失图区，临接数据集中位于工业品近景图像边缘的像点确定为损失边缘；形成中心图区后，就可以以与中心图区的距离判断重构像点的关系，例如距离较远的重构像点的高密度区，与缺陷像点关系不大，应该被识别为不同的缺陷或者是误差，在此处也可以筛出，选择重构像点密集且离缺陷像点较近的区域确定的损失图区，也就是成像不清晰导致的区域，同时判断位于近景图像边缘的位置为损失边缘。
[0056]
步骤s3-5、根据损失图区和损失边缘的位置生成所述的损失信息。就可以根据以上位置生成损失信息，然后步骤s3中还包括，并将所述缺陷特征作为索引从预设的特征重构数据库中获取特征重构条件；特征重构数据库预先设置，其反映在缺失条件下，基于已知的缺陷特征为分类，判断需要从远景图像中获取的信息，例如缺陷特征的集合判断为1类磨损，则对应的特征重构数据库就可以导出1类磨损在重构时需要提取的轮廓识别基准以及重构基准，轮廓识别基准反映从远景图像中提取轮廓的依据，例如轮廓两侧的色彩差值，轮廓线本身的颜色等信息，而重构基准则是提取内部特征，例如从内部找到若干平行或近乎平行的刮痕线，这样就可以通过远景图像找到该损失图区的部分信息，例如边缘轮廓的形状以及内部的线索，例如轮廓形状为椭圆形，内部存在三条刮痕线分别在什么位置，但是由于清晰度的问题，是无法直接获得到清晰度与近景图像中中心图区相同的清晰度的，但是通过以上信息也是能够重构图像的。具体为：
[0057]
步骤s4、通过所述特征重构条件从工业品远景图像中获取特征重构信息；首先获得重构条件后，所述步骤s4中包括：
[0058]
步骤s4-1、通过损失信息在所述工业品远景图像中确定起始坐标；根据工业品近景图像和远景图像的位置关系和放大比例可以确定对应的起始坐标，如果是缺失边缘，则以重构像点的位置为起始坐标，而如果是缺失图区，则以图区最靠近中心图区的坐标为起始坐标。
[0059]
步骤s4-2、通过特征重构条件中的轮廓识别基准从工业品远景图像中确定重构轮廓；以该起始坐标为依据，通过轮廓识别基准识别远景图像中的重构轮廓，获得轮廓的基本形状。
[0060]
步骤s4-3、通过特征重构条件中的重构基准在所述重构轮廓中确定若干重构特征，根据重构特征生成所述的重构特征信息，得到轮廓后，在轮廓所在的内部区域以重构基准为依据找到需要的重构特征信息，重构特征信息为找到的重构特征的路径的坐标的集合，例如三条刮痕，则每条刮痕对应一个重构路径。
[0061]
步骤s5、将特征重构信息带入预设的特征增广模型中以得到重构特征图像；本发明的关键在于构建了用于获得清晰图像的特征增广模型，将特征重构信息带入到特征增广模型中就可以获得重构特征图像，所述的特征增广模型包括重构神经网络，所述重构神经网络中的每个节点对应有卷积核数据集，所述卷积核数据集中包括有若干个反卷积核，每一反卷积核对应有卷积优先值，所述重构神经网络的节点之间通过递进索引向量关联。由于从特征重构模型中就可以找到还原图像的重构路径，重构路径以起点到终点依次还原对
应重构轮廓中的像点，因为远景图像中的一个像点会对应近景图像中的多个像点，所以首先需要在近景图像中确定重构路径，重构路径依次经过像点，完成像点对应特征的反卷积计算，也就能够得到清晰的图像，而重构神经网络根据样本训练的方式已经预先构建好重构策略，即确定好起点节点以后，可以关联到下一节点，例如刮痕为例，针对刮痕的其中一个像点，在重构路径中的下一像点要么是增加深度继续延伸、要么是逐渐减小深度，不会出现突然断线的情况，所以根据这一规律就可以将可能出现的情况以神经网络的不同节点预先配置在数据库中，然后通过神经网络匹配的方式完成图像的重建，而不同的是原有的神经网络单一节点单一卷积核，本发明的神经网络是单一节点多个反卷积核，同级节点的反卷积核之间可能相同，但是优先级不同形成节点要素的唯一性，因为本发明目的是获得清晰图像，如果通过深度学习的方式，需要不断完成节点试探，这样就需要遍历所有节点从而得到最优匹配结果，但是由于本身图像并不存在，所以最优匹配结果不一定反映真实结果反而会增加运算量，而配置卷积数据集合卷积优先值，这样通过优先卷积的逻辑在一个节点完成最优匹配，直接进入下一节点，减少了运算量，同时保持了系统的可学习性。而进一步的，
[0062]
所述步骤s5中包括
[0063]
步骤s5-1、根据重构特征生成若干重构路径以使重构路径覆盖所述的重构轮廓；根据重构特征可以生成重构路径，路径之间可以有交集，除了重构特征本身确定的路径以外，在其他空余区域也形成重构路径，可以以已有的重构路径为依据，直至覆盖整个重构轮廓。
[0064]
步骤s5-2、重构路径将与缺陷像点距离最小的重构像点确定为重构路径的起点，根据重构路径对应的重构特征从所述重构神经网络中确定起始节点并确定匹配关系；确定起点的目的是为了在反卷积时有部分参照，因为和近景图像中心图区较近的位置的像点可靠性较高，所以反卷积起点在进行反卷积时，是可以以缺失像点为依据进行反卷积运算的，这样就可以根据已有的像点作为判断依据，重构过程中就可以依次形成对应的可靠性较高的像点，例如近景图像中有缺失，而缺失的边缘位置的像点为运算依据，依次带入重构神经网络，这样形成的图像就相当于从近景图像边缘“生长”出来，而重构神经网络中确定匹配关系的原理如下：重构特征分析为“划痕1”，预先在重构神经网络中对应每个起始节点有配置对应的标记，就可以通过重构特征为索引找到对应的匹配关系的节点，
[0065]
步骤s5-3、在匹配关系中，以卷积优先值为顺序通过预设的卷积拟合算法计算每一反卷积核与该像点的卷积匹配值，直至卷积匹配值达到重构子条件；所述卷积拟合算法为
[0066][0067]
其中，a为卷积匹配值，b为预设的权重目的参数，α为通过缺陷特征计算的目前像点反卷积后的最大卷积值，k1为丢失判断策略中确定的上限匹配值，u为反卷积核中像点数，u当前像点与上一像点在反卷积算法中的重合像点数；c为当前像点在重构序列中的序列值；β1为通过缺陷特征重新计算的上一像点的最大卷积值；β2为上一次计算得到的上一像点的最大卷积值。通过这样设置，从卷积核数据集中找到最优的反卷积核完成卷积运算。反卷积计算后得到的最大卷积值反应实际与缺陷图像的匹配程度，越靠近规定的上限匹配
值，说明反卷积越高，与真实图像越接近，而另一方面如果该位置离中心图区越接近，则说明两次差值的最大卷积值对真实性结果判断的可靠性越高，通过序列值反映接近程度，另一方面与上一像点卷积重合部分越高，也说明可靠性越高，所以通过上述算法可以确定最优的反卷积结果。
[0068]
步骤s5-4、通过预设的路径索引算法计算每一下级节点的索引值，所述递进索引值与递进索引向量的模长正相关，根据索引值确定下级节点并与重构路径中的下一像点确定匹配关系，并重新执行步骤s5-3直至在重构神经网络中完成重构路径中所有像点的匹配；每次完成一次反卷积后，就在重合路径下的下一像点在重构神经网络中确定对应的匹配节点，确定匹配节点的依据是通过计算索引值，所述路径索引算法为
[0069][0070]
其中，b为该节点对应的索引值，ε1、ε2、ε3分别为预设的索引权重参数，有ε1+ε2+ε3＝1，x为索引向量的模长，y1索引路径在当前像点的轨迹角度，y2为重构神经网络中特征数据集的匹配角，z为对应节点的信息素。索引值依据三个逻辑因素，一个是索引向量的模长，预先配置，同时可以根据结果进行学习，第二个是相对匹配角，相对匹配角预先配置在每个节点中，每个节点对应上级节点都会有匹配角范围，也就是该节点优选的匹配关系，而重构路径也会存在匹配角，例如重构路径的根据3*3像点的分布就会每隔45度的像点位置产生一个路径角度，而5*5的像点则是每隔22.5度的像点位置会产生一个路径角度，而下级节点对应上级节点也会有可靠的匹配角度，这个是根据节点中反卷积核预设的样本数量统计确定每个反卷积核的角度，卷积数据集的划分依据之一就是将反卷积核以角度进行划分，这样每个节点对应上级节点都会有优选角度，将索引路径对应的轨迹角度和重构神经网络对应的匹配角度求差，如果匹配性越高，则说明下级节点越适合作为优选的节点，另一方面通过信息素作为确定下级节点的依据。而得到索引值后，不是直接以索引值的大小确定最优的下级节点，而是根据随机数逻辑确定。
[0071]
所述步骤s5-4中还包括比例生成算法，所述比例生成算法为
[0072]
其中，tn为索引比例值，m为下级节点的数量，bn为第n个下级节点，bm为第m个下级节点；
[0073]
所述步骤s5-4中还包括根据索引比例值为每一下级节点配置索引数值范围，并生成随机数，根据随机数落入索引数据范围确定对应的下级节点建立所述的匹配关系。
[0074]
还包括信息素衰减策略，所述信息素衰减策略为重构神经网络中的每一节点配置信息素，当任意节点建立匹配关系时，其对应的信息素增加预设的补强值，位于同一层级的其他节点信息素减少预设的衰减值。通过信息素的方式使得重构神经网络具备学习性，优势节点更加容易被识别，从而更快的产生增广后的图像。
[0075]
步骤s5-5、完成所有重构路径的反卷积以生成所述的重构特征图像。
[0076]
步骤s6、将重构特征图像和所述工业品近景图像进行拼接以得到缺陷增广图像；由于缺失部分的位置已知，所以通过图像叠加或者拼接完成缺陷增广图像，而拼接完成后，以整个缺陷增广图像的缺陷像点的分布中心中心确定中心，同时可以删除部分冗余像点形
成区域。
[0077]
步骤s7、将得到的缺陷增广图像和工业品远景图像比对以计算图像相似值，通过膨胀算法或者腐蚀算法完成像点匹配，然后比较对应的色值就可以计算相似值，当图像相似值大于上限阈值时，执行正反馈调节策略，当图像相似值小于下限阈值时，执行负反馈调节策略。所述的正反馈调节策略为将所述重构神经网络中对应的递进索引向量的模长增加正调节值，所述正调节值与图像相似值与上限阈值的差值成正比；所述的负反馈调节策略为将所述重构神经网络中对应的递进索引向量的模长减少负调节值，所述负调节值与图像相似值与下限阈值的差值成正比。这样可以通过调节索引向量的模长就可以实现对模型的深度学习，完成精确度优化。
[0078]
当然，以上只是本发明的典型实例，除此之外，本发明还可以有其它多种具体实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。