一种视觉识别处理系统和处理方法与流程

本发明涉及视觉传感的技术领域，特别涉及一种视觉识别处理系统和处理方法。

背景技术：

随着人工智能技术的发展，目前有相当一部分的生产作业工作都可采用特定形式的机器人来替代以往的人工操作，这类关于人工智能方面的机器人主要通过对人类的感官和动作方面进行模拟，从而使得机器人能够实现仿人类的动作功能，而机器人对于人类的感官和动作模拟主要包括模拟人类的视觉、听觉、触觉或者肢体运动等。人工智能机器人要实现关于人类的感官和动作模拟必须借助不同类型的传感器，传感器在人工智能机器人中的作用主要是用于检测机器人当前所处环境的外界触发信号，并将该外界触发信号传送至机器人内部的中央处理器进行运算处理，从而使机器人能够根据该外界触发信号执行适应性的反馈。机器人当前所处环境的外界触发信号可包括但不限于是光学形式的信号、音频形式的信号或者力学形式的信号，因此为了能够准确地检测到上述不同形式的外界触发信号，这就需要机器人内部设置有相应类型的传感器才能快速正确地进行传感检测。

特别地，现有的人工智能机器人通常都具有视觉识别功能，该视觉识别功能是指机器人通过相应的视觉传感器获取其当前所处环境的视觉信号，并根据该视觉信号进行相应的动作反馈。人工智能机器人的视觉识别功能能够使得其替代人类执行具有较高危险性或者操作精度要求的作业，从而进一步地扩大机器人在生产作业方面的应用范围。比如，现有的焊接作业通常是基于人工操作来完成的，而焊接作业对应的焊接面积范围较小并且焊接精度要求较高，随着焊接作业向精密化方向的发展，一般的焊接技工并不能很好地达到相应的焊接作业要求。为了提高焊接作业的焊接速度和焊接精度，这就需要采用具有视觉识别功能的机器人替代传统的人工焊接操作，而如何实现机器人的视觉识别功能也必将影响其执行焊接作业的性能优劣。

技术实现要素：

在采用机器人实施焊接作业的过程中，现有的机器人都是基于主动视觉识别系统或者被动视觉识别系统来实现相应的视觉识别功能。其中，该被动视觉识别系统主要通过单目摄像机或者双目摄像机来获得待识别目标对象的视觉信息，其能够获得关于待识别目标对象的二维或者三维视觉信息，但是受限于摄像机自身分辨率的影响，该被动视觉识别系统并不适用于对目标对象具有较高分辨率的识别操作中；而该主动视觉识别系统则是基于光束干涉的原理来获得关于待识别目标对象的视觉信息，虽然该主动识别系统理论上能够获取待识别目标对象光波长级别的视觉信息，但是现有的视觉信息处理系统和方法依然很大实现对待识别目标对象边界区域的精确识别，这严重地制约视觉识别处理系统和处理方法在精密焊接作业的推广应用。

针对现有技术存在的缺陷，本发明提供一种视觉识别处理系统和处理方法，该视觉识别处理系统和处理方法是基于主动视觉系统来实现关于待识别目标对象边界区域的精确识别，该视觉识别处理系统和处理方法将一结构光投射至待识别目标对象的表面上，同时获取该结构光在该表面上的干涉图案，随后通过神经网络训练的方式构建一自动识别模型，并将该干涉图案作为该自动识别模型的输入数据，则经过该自动识别模型对该干涉图案的运算处理后，即可实现对该待识别目标对象边界区域的精确识别，可见本发明的视觉识别处理系统和处理方法在现有主动视觉系统的基础上，采用神经网络训练的方式对采集的干涉图案进行处理，这能够避免对干涉图案的错误识别判断，从而有效地提高对待识别目标对象对应边界区域的识别区分以为后续焊接作业界定准确的作业区域。

本发明提供一种视觉识别处理系统，其包括激光扫描仪、相机、焊接机器人和图像处理单元，其特征在于：

所述激光扫描仪能够向焊件表面投射一结构光；

所述相机能够采集所述结构光在所述焊件表面上形成的畸变条纹图像；

所述图像处理单元能够对所述畸变条纹图像对应的原始灰度图进行边探测处理、灰度过滤处理、人工标签处理和神经网络训练处理后得到一自动识别模型，再基于所述自动识别模型对所述焊件表面的焊接位置进行定位，以得到一焊接位置信息；

所述焊接机器人能够基于所述焊接位置信息，对所述焊件表面进行焊缝跟踪修正处理；

进一步，所述激光扫描仪投射所述结构光具体包括，所述激光扫描仪以预设扫描频率向所述焊接表面投射具有特定光分布形状的结构光，其中，所述结构光的光分布形状包括扇形、矩形、圆形、正弦曲线形状或者明暗截止分布形状中的一种；

进一步，所述相机的镜头前安装有一滤光片，所述相机用于采集所述结构光投射到所述焊件表面后、由对应焊缝导致的光干涉效应而形成的所述畸变条纹图像；

进一步，所述图像处理单元对所述畸变条纹图像对应的原始灰度图进行所述边探测处理和所述灰度过滤处理后得到关于所述焊接位置的初始图像，接着根据所述焊接位置的初始图像与所述人工标签处理的结果进行所述神经网络训练处理，以构建得到所述自动识别模型，再基于经过参数优化的所述自动识别模型对所述焊接位置的初始图像对应的灰度像素块进行自动识别处理，从而得到所述焊接位置信息；

进一步，所述焊接机器人包括相互连接的位移执行机构和焊枪，所述图像处理单元还能够根据所述焊接位置信息生成一焊接偏差信息，所述位移执行机构能够基于所述焊接偏差信息控制所述焊枪进行位移运动，其中，所述位移执行机构为六自由度运动机构或者二维运动机构；

本发明还提供一种基于视觉识别处理系统的视觉识别处理方法，所述视觉识别处理方法包括如下步骤：

步骤(1)，对结构光在焊接表面的焊缝处形成的畸变条纹图像对应的原始灰度图依次进行边探测处理和灰度过滤处理，以得到关于焊接位置的初始图像；

步骤(2)，根据所述焊接位置的初始图像和人工标签处理的结果进行神经网络训练处理，以构建得到关于所述焊接位置的自动识别模型；

步骤(3)，对所述自动识别模型进行参数优化处理后，基于所述自动识别模型对所述焊接位置的初始图像对应的灰度像素块进行自动识别处理，以得到关于所述焊接位置的位置信息；

进一步，在步骤(1)中，所述边探测处理的过程具体为根据所述原始灰度图中每一像素点对应的二维坐标(x，y)及其像素灰度值g(x，y)计算出在x方向和y方向各自的平滑灰度值gx(x，y)和gy(x，y)，其中，

接着，根据所述平滑灰度值gx(x，y)和gy(x，y)计算出在对应像素点位置处的灰度梯度值δgx,y和梯度方向θ，其中，

再根据所述灰度梯度值δgx,y执行边界位置像素的判断，具体为，针对某一位置若δgx,y>α，则对应位置的像素为边界位置像素，其中α为一预设参数；

进一步，在步骤(2)中，所述人工标签处理的过程具体为获取关于不同图像区域中灰度梯度值δgx,y和梯度方向θ各自对应的平均值与其中，

接着基于所述平均值与的数值执行关于像素块的自动标签处理以识别边界像素块或者非边界像素块，若以及则对应像素块被自动标签识别为非边界像素块，否则对应像素块被自动标签为边界像素块，其中c1与c2均为预设参数；

随后再对所述自动标签处理的结果进行人工校正标签以判断像素块是否为焊接区域对应的像素块；

进一步，在步骤(2)中，所述神经网络训练处理的过程具体包括所述神经网络训练处理对应的神经网络包括输入层、中介隐藏层和输出层；

所述中介隐藏层和所述输出层采用sigmoid函数作为数据变换函数，若所述中介隐藏层具有h个结点，则所述输出层的输出值y与所述h个结点具有如下关系：

其中，vi为中介隐藏层结点与输出层结点之间连线的权重，h为中介隐藏层结点的个数，v0为一初始参数，zi为中介隐藏层结点的输出，此时，所述中介隐藏层与所述输出层之间的sigmoid函数被定义为：

并且，在所述神经网络中，所述中介隐藏层结点对应的输出值zi与所述输入层中输入向量x的权重向量w存在如下函数关系：

zi＝sigmoid(w^tx+w0)

其中，所述权重向量w的个数为d，w0为不属于所述权重向量w的一初始参数，此时所述中介隐藏层与所述输入层之间的sigmoid函数被定义为：

进一步，在步骤(2)中，所述神经网络训练处理的过程还具体包括基于一误差函数

确定所述神经网络训练处理中输出层的输出结果与实际结果之间的误差，其中yi为第i个输入值对应的所述神经网络的输出值，y′i为第i个输入值实际对应的输出值；

并且，在所述误差函数e(y,y′)达到最小值的情况下，对所述误差函数e(y,y′)分别进行关于v与w的偏导运算，即

从而得到关于v与w的微分更新量δvi与δwij，

其中，xj为第j个输入结点的值，η为训练学习率；

最后，根据下面的公式对v与w进行循环迭代直到所有权重值收敛为止，从而构建出所述自动识别模型，

vi＝vi+δvi，

wij＝wij+δwij。

相比于现有技术，本发明的视觉处理系统和处理方法是基于主动视觉系统来实现关于待识别目标对象边界区域的精确识别，该视觉识别处理系统和处理方法将一结构光投射至待识别目标对象的表面上，同时获取该结构光在该表面上的干涉图案，随后通过神经网络训练的方式构建一自动识别模型，并将该干涉图案作为该自动识别模型的输入数据，则经过该自动识别模型对该干涉图案的运算处理后，即可实现对该待识别目标对象边界区域的精确识别，这能够避免对干涉图案的错误识别判断，从而有效地提高对待识别目标对象对应边界区域的识别区分以为后续焊接作业界定准确的作业区域。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种视觉识别处理系统的结构示意图。

图2为本发明提供的一种视觉识别处理方法的流程示意图。

附图中的数字标记分别是：1：激光扫描仪、2：相机、3：焊接机器人、4：图像处理单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明实施例提供的一种视觉识别处理系统的结构示意图。该视觉识别处理系统包括激光扫描仪、相机、焊接机器人和图像处理单元。其中，该激光扫描仪用于向焊件表面投射一结构光；优选地，该激光扫描仪可为但不限于是旋转式激光扫描仪或者往复式激光扫描仪，其中，该旋转式激光扫描仪可包括一能够以特定转速进行周向旋转动作的激光发射器，且该激光发射器以周向旋转扫描的方式向该焊件表面周期性地投射结构光，该往复式激光扫描仪可包括一能够以特定往返频率进行来回扫描动作的激光发射器，且该激光发射器以往复来回运动的方式向该焊件表面周期性地投射结构光，进一步，该激光发射器的往复来回运动可优选为直线式往复来回运动或者正弦式往复来回运动，通过选择设定该激光发射器的往复来回运动形式能够保证该结构光能够最大限度地投射覆盖在焊件表面的待焊接区域处；优选地，该激光扫描仪的激光发射器可为但不限于是发射可见激光的气体激光器或者固体激光器，其中，该气体激光器可为co2激光器或者氦氖激光器，该固体激光器可为半导体激光器；优选地，该激光扫描仪投射的结构光的光分布形状可为但不限于是扇形、矩形、圆形、正弦曲线形状或者明暗截止分布形状中的一种，其中，当该结构光的光分布形状为扇形、矩形、圆形、正弦曲线形状等规则形状时，该结构光投射到该焊件表面上能够保证对应形成的畸变条纹图像具有较高的识别对比度，当该结构光的分布形状为明暗截止分布形状时，即该结构光具有若干相互间隔的明暗分布区域时，该结构光更适用于投射在焊件表面中尺寸量级较小的带焊接区域处，本领域的技术人员可根据实际需要来选择设置结构光的具体光分布形状以满足不同焊件表面的投射需求。相应地，该激光扫描仪可优选具有若干能够分别投射不同光分布形状结构光的激光发射器，在实际操作过程中，本领域的技术人员可根据实际需要切换选择不同的激光发射器进行结构光的投射。

相应地，该视觉识别处理系统的相机用于采集该结构光投射在该焊件表面后形成的畸变条纹图像。具体来说，当该结构光投射在该焊件表面上，由于该焊件表面并不是理想光滑的，特别是该焊件表面的待焊接区域处存在焊缝，此时该结构光在对应的待焊接区域处会发生干涉效应，该干涉效应使得该结构光的光分布形态发生变化而产生一畸变条纹图像，并且由于该待焊接区域中焊缝的微观结构决定该干涉效应的具体光学干涉过程，故该畸变条纹图像会相应地携带关于该待焊接区域的结构细节。该相机能够将采集到的该畸变条纹图像传输至该图像处理单元中以进行后续的图像处理操作。优选地，该相机的镜头前还可安装有一滤光片，其中，该滤光片可为但不限于是带通滤光片或者带阻滤光片，该滤光片可为但不限于是红外滤光片或者紫外滤光片，通过在该相机的镜头前设置该滤光片能够有效地过滤该畸变条纹图像中的杂散光，从而提高该相机采集到的畸变条纹图像的清晰度。

相应地，该视觉识别处理系统的图像处理单元用于对该畸变条纹图像对应的原始灰度图进行边探测处理、灰度过滤处理、人工标签处理和神经网络训练处理后得到一自动识别模型，再基于该自动识别模型对该焊件表面的焊接区域位置进行定位，从而得到关于该焊接区域位置的焊接位置信息。具体来说，该该图像处理单元对该畸变条纹图像对应的原始灰度图进行该边探测处理和灰度过滤处理后得到关于该焊接位置的初始图像，接着根据该焊接位置的初始图像与该人工标签处理的结果进行该神经网络处理，以构建得到该自动识别模型，再基于经过参数优化的该自动识别模型对该焊接位置的初始图像对应的灰度像素块进行自动识别处理，从而得到该焊接位置信息。后续说明书的内容将针对该图像处理单元对该畸变条纹图像进行运算处理所涉及的具体运算步骤和算法进行详细的阐述，这里就不作进一步的介绍。

相应地，该视觉识别处理系统的焊接机器人用于根据该焊接位置信息，对该焊件表面进行焊缝跟踪修正处理。优选地，该焊接机器人可包括相互连接的位移执行机构和焊枪。具体而言，该图像处理单元计算出该焊接位置信息后，还能够根据该焊接位置信息生成一焊接偏差信号，其中，该焊接偏差信号是关于该焊枪当前所处位置与该焊接位置之间的相对位置信号，接着该图像处理单元将该焊接偏差信息传送至该位移执行机构，随后该位移执行机构依据该焊接偏差信息驱动该焊枪进行位移运行，从而使得该焊枪能够从当前位置移动至该焊接位置处并进行相应的焊接作业。优选地，该位移执行机构可为但不限于是六自由度运动机构或者二维运动机构，其中，该六自由度运动机构优选为一机械手，其能够驱动该焊枪进行六自由度的运行以提高焊枪的运动灵活性，该二维运行机构优选为一十字滑台，该十字滑台包括相互正交设置的两个直线滑轨，该十字滑台能够驱动该焊枪分别沿该两个直线滑轨进行运行，该十字滑台能够保证该焊枪在二维平面上进行精确的移动，从而提高该焊枪与该焊接位置之间的对准精度。可见，该焊接机器人能够根据来自该图像处理单元的焊接位置信息实时驱动其中的焊枪进行焊接位置的跟踪修正，这样能够使该焊接机器人能够快速和准确地与焊接位置进行对准跟踪，从而提高焊接机器人执行焊接作业的效率和精度。

参阅图2，为本发明实施例提供的一种视觉识别处理方法的流程示意图。优选地，该视觉识别处理方法是基于图1所示的视觉识别处理系统来实现的，该视觉识别处理方法中关于视觉识别处理系统的部件与图1所示的视觉识别处理系统的部件可具有相同的结构和功能，这里就不再进一步累述。具体而言，该视觉识别处理方法包括如下步骤：

步骤(1)，对结构光在焊接表面的焊缝处形成的畸变条纹图像对应的原始灰度图依次进行边探测处理和灰度过滤处理，以得到关于焊接位置的初始图像。

相应地，在该步骤(1)中，当得到该畸变条纹图像后，首先对该畸变条纹图像进行灰度化处理，以得到该畸变条纹图像对应的原始灰度图；优选地，该灰度化处理可包括但不限于该畸变条纹进行2ⁿ值化灰度处理，其中n为正整数。

进一步，在该步骤(1)中，该边探测处理的具体过程可为，根据该原始灰度图中每一像素点对应的二维坐标(x，y)及其像素灰度值g(x，y)计算出在x方向和y方向各自的平滑灰度值gx(x，y)和gy(x，y)，其中，

即上述平滑灰度值gx(x，y)和gy(x，y)的计算过程可表示为：

其中，g表示在该原始灰度图对应的数据矩阵中像素点二维坐标(x，y)处相关的像素数据；

接着，根据该平滑灰度值gx(x，y)和gy(x，y)计算出在对应像素点位置处的灰度梯度值δgx,y和梯度方向θ，其中，

再根据该灰度梯度值δgx,y执行边界位置像素的判断，具体为，针对某一位置若δgx,y>α，则对应位置的像素为边界位置像素，其中α为一预设参数。

进一步，在该步骤(1)中，当得到关于该原始灰度图的边界数据后，还需要对该边界数据进行灰度过滤处理，该灰度过滤处理的目的在于突出该原始灰度图中边界及边界内部的像素内容，并且弱化该原始灰度图中边界外部的像素内容。

步骤(2)，根据所述焊接位置的初始图像和人工标签处理的结果进行神经网络训练处理，以构建得到关于所述焊接位置的自动识别模型。

具体而言，在该步骤(2)中，该人工标签处理的过程具体为，将该原始灰度图分割为8*8格的形式，并计算获取每个格中于不同图像区域中灰度梯度值δgx,y和梯度方向θ各自对应的平均值与其中，

接着基于所述平均值与的数值执行关于像素块的自动标签处理以识别边界像素块或者非边界像素块，若以及则对应像素块被自动标签识别为非边界像素块，否则对应像素块被自动标签为边界像素块，其中c1与c2均为预设参数；

由于上述的自动标签处理的结果并不是完全正确，因此还需要再对该自动标签处理的结果进行人工校正标签以判断像素块是否为焊接区域对应的像素块，简单而言，该人工校正标签包括将属于焊接缝隙区域的像素块赋予标签值1，并将不属于焊接缝隙区域的像素块赋予标签值0，以判断像素块是否为焊接区域对应的像素块，而经过该人工校正标签得到的数据将作为后续神经网络训练处理之用。增加人工校正标签环节的原因在于焊接位置通常并不是单一像素块，其可能是多个连续的像素块组成的区域，为了保证视觉识别处理方法的稳定性和准确度，有必要通过人工校正标签进行进一步的判断过滤。

进一步，在步骤(2)中，该神经网络训练处理的过程具体包括该神经网络训练处理对应的神经网络包括输入层、中介隐藏层和输出层；其中，该输入层的输入数据可为像素块的原始像素灰度均值、像素块灰度梯度均值、像素块灰度梯度方向均值，像素个数为16的半径范围内的其他像素块的原始像素灰度均值、像素块灰度梯度均值、像素块灰度梯度方向均值。优选地，该输入数据还可经过正规化处理转换为在一定范围内的值，该正规化处理的过程可用公式进行表示，其中x′表示正规化处理得到的数据结果，x表示该输入数据，μ表示值x处于某一类别下对应的平均值，σ表示值x处于某一类别下对应的标准差。另外，该输出层的输出值y可在0-1的范围内，当0≤y<0.5时，表示对应像素块不属于焊接位置像素块，当0.5≤y≤1时，表示对应像素块属于焊接位置像素块。

进一步，该中介隐藏层和所述输出层采用sigmoid函数作为数据变换函数，若该中介隐藏层具有h个结点，则该输出层的输出值y与该h个结点具有如下关系：

其中，vi为中介隐藏层结点与输出层结点之间连线的权重，h为中介隐藏层结点的个数，v0为一初始参数，zi为中介隐藏层结点的输出，此时，该中介隐藏层与该输出层之间的sigmoid函数被定义为：

并且，在该神经网络中，该中介隐藏层结点对应的输出值zi与该输入层中输入向量x的权重向量w存在如下函数关系：

zi＝sigmoid(w^tx+w0)

其中，该权重向量w的个数为d，w0为不属于该权重向量w的一初始参数，此时该中介隐藏层与该输入层之间的sigmoid函数被定义为：

进一步，在步骤(2)中，该神经网络训练处理的过程还具体包括一误差函数

确定该神经网络训练处理中输出层的输出结果与实际结果之间的误差，其中，yi为第i个输入值对应的所述神经网络的输出值，y′i为第i个输入值实际对应的输出值；当该误差函数达到最小值的情况下，该神经网络训练处理的输出结果与实际结果之间的误差也对应地达到最小值；

并且，在该误差函数e(y,y′)达到最小值的情况下，对该误差函数e(y,y′)分别进行关于v与w的偏导运算，即

从而得到关于v与w的微分更新量δvi与δwij，

其中，xj为第j个输入结点的值，η为训练学习率；

最后，根据下面的公式对v与w进行循环迭代直到所有权重值收敛为止，从而构建出所述自动识别模型，

vi＝vi+δvi，

wij＝wij+δwij。

步骤(3)，对所述自动识别模型进行参数优化处理后，基于所述自动识别模型对所述焊接位置的初始图像对应的灰度像素块进行自动识别处理，以得到关于所述焊接位置的位置信息。

实际上，经过参数优化处理后的自动识别模型能够准备地计算出焊接位置的识别结果。

从上述实施例可以看出，该视觉识别处理系统和处理方法具有如下三方面的优点：第一，该视觉识别处理系统和处理方法能够高效地实现焊接位置的识别，即只要在提供一定数量的学习样板情况下，即可经过神经网络训练得到该自动识别模型，并可直接采用该自动识别模型对焊接位置的像素块进行分类，以准确地识别该焊接位置；第二，该视觉识别处理系统和处理方法中焊接位置的识别过程是具有可扩展性，并且随着时间的推移，该识别构成还能动态地对该自动识别模型进行合理修正，这是由于神经网络的训练数据可动态地增加，且每次增加训练数据后即可在此通过神经网络训练得到新的自动识别模型；第三，该视觉识别处理系统和处理方法中焊接位置的识别过程容易实现与部署，其对运行硬件的计算条件要求并不高。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。