一种双目视觉与未标定光度视觉结合的方法与流程

本发明涉及一种方法，具体涉及一种双目视觉与未标定光度视觉结合的方法，属于工业检测领域。

背景技术：

双目视觉可以获得物体深度信息，但是缺少物体表面细节信息；光度立体视觉，通过法向量积分可以获得表面细节，但是积分过程存在深度漂移，将双目视觉和光度立体视觉二者结合在一起，可以获得具有较丰富细节的表面深度，但是其光度视觉需要对光源进行标定，因此如何实现双目视觉与未标定光度视觉的结合，是目前亟须解决的问题。

技术实现要素：

本发明为解决双目视觉与光度立体视觉结合后，在未标定光度视觉的情况下，难以获得具有较丰富细节的表面深度的问题，进而提出一种双目视觉与未标定光度视觉结合的方法。

本发明为解决上述问题采取的技术方案是：本发明的具体步骤如下：

步骤一、两个摄像机构成双目立体视觉系统，基于两个摄像机获取的图像序列，获取物体表面深度信息；

步骤二、基于物体表面深度信息，计算物体表面梯度，进而计算物体表面法向量；

步骤三、将物体表面法向量作为已知量，代入两个光度视觉系统，并联合优化，计算光照方向；

步骤四、将光照方向作为已知量，代入两个光度视觉系统，联合优化，计算物体表面法向量；

步骤五、将步骤四中计算的物体表面法向量，与步骤一中计算的物体表面深度，联合构建优化函数，优化表面深度。

进一步的，步骤一中物体表面深度信息获取的步骤如下：

步骤(一)、物体位置不变，将六个光源分时向物体投射光照，左摄像机和右摄像机采集图像序列，在摄像机图像上每个像素位置上都有一个长度为六的灰度序列值iuv＝(i1,i2,i3,i4,i5,i6)；

步骤(二)、对图像进行立体矫正，在极线上进行立体匹配，依据像素的灰度序列值在左摄像机和右摄像机上寻找相似度最大值，获取物体表面深度s(u,v)，

公式(1)中表示摄像机焦距，[u0v0]表示摄像机主点，u表示像素列坐标，u0表示主点像素列坐标，v表示像素行坐标，v0表示主点像素行坐标，fx表示x方向焦距，fy表示y方向焦距，zuv表示摄像机原点到物体表面的垂直距离，μuv表示系数；

步骤(三)、计算物体表面深度s(u,v)的偏导数：

公式(2)和(3)中p表示深度在u方向的偏导，q表示深度在v方向的偏导；

步骤(四)、计算物体表面法向量；

公式(4)中n表示法向量，nx表示法向量x分量，ny表示法向量y分量，nz表示法向量z分量；

步骤(五)、将物体表面法向量作为已知量，代入两个光度视觉系统，并联合优化，计算光照方向；p是物体表面上的一点，i1与i2为对应点，i1是p在左摄像机图像上投影的图像坐标，i2是p在右摄像机图像上投影的图像坐标；p点的法向量为i¹表示i1的灰度，i²表示i2的灰度，l^k表示第k个光源方向。因此左右摄像机两个光度方程分别为公式(6)与公式(7)；一对对应点有12个方程，左摄像机图像与右摄像机图像之间存在多个对应点，记对应点数为n，则有n*12个方程，方程中的未知数为18，因此可以用最小二乘法求解光源方向；

步骤(六)、将光照方向作为已知量，代入两个光度视觉系统，将深度点的法向量作为未知量，联合方程(6)和(7)，优化计算物体表面法向量；

步骤(七)、定义期望的物体表面深度与双目视觉系统获取的深度之间的距离，以其代价函数；

其中表示双目立体视觉获得表面深度，zuv为期望的物体表面深度；

将物体表面法向量与物体表面梯度的内积为代价函数；

表示光度法获得表面法向量。

将两个代价函数组合构成最终的代价函数，以代价函数最小为目标优化物体表面深度：

公式(4)中z表示物体深度集合，λ表示大于0小于1的系数，用于调整深度误差与法向量误差的权重，ed表示深度误差，en表示法向量误差。

进一步的，步骤(四)中计算物体表面法向量的公式是：

进一步的，步骤(五)中的代价函数为：

进一步的，步骤(六)中的代价函数为：

进一步的，摄像机建立的左右两个光度方程联合优化光源方向和法向量。

进一步的，用灰度序列进行立体匹配。

本发明的有益效果是：本发明解决了双目视觉与光度立体视觉结合后，在未标定光度视觉的情况下，难以获得具有较丰富细节的表面深度的问题。

具体实施方式

具体实施方式一：本实施方式所述一种双目视觉与未标定光度视觉结合的方法，该方法采用至少两个摄像机和至少三个不共线的光源，光源分时向物体投射光照，摄像机采集图像；该方法方法是通过如下步骤实现的：

步骤一、两个摄像机构成双目立体视觉系统，基于两个摄像机获取的图像序列，获取物体表面深度信息；

步骤二、基于物体表面深度信息，计算物体表面梯度，进而计算物体表面法向量；

步骤三、将物体表面法向量作为已知量，代入两个光度视觉系统，并联合优化，计算光照方向；

步骤四、将光照方向作为已知量，代入两个光度视觉系统，联合优化，计算物体表面法向量；

步骤五、将步骤四中计算的物体表面法向量，与步骤一中计算的物体表面深度，联合构建优化函数，优化表面深度。

具体实施方式二：本实施方式所述一种双目视觉与未标定光度视觉结合的方法的步骤一中物体表面深度信息获取的步骤如下：

步骤一中物体表面深度信息获取的步骤如下：

步骤(一)、物体位置不变，将六个光源分时向物体投射光照，左摄像机和右摄像机采集图像序列，在摄像机图像上每个像素位置上都有一个长度为六的灰度序列值iuv＝(i1,i2,i3,i4,i5,i6)；

步骤(二)、对图像进行立体矫正，在极线上进行立体匹配，依据像素的灰度序列值在左摄像机和右摄像机上寻找相似度最大值，获取物体表面深度s(u,v)，

(1)，

公式(1)中表示摄像机焦距，[u0v0]表示摄像机主点，u表示像素列坐标，u0表示主点像素列坐标，v表示像素行坐标，v0表示主点像素行坐标，fx表示x方向焦距，fy表示y方向焦距，zuv表示摄像机原点到物体表面的垂直距离，μuv表示系数；

步骤(三)、计算物体表面深度s(u,v)的偏导数：

公式(2)和(3)中p表示深度在u方向的偏导，q表示深度在v方向的偏导；

步骤(四)、计算物体表面法向量；(5)，

公式(4)中n表示法向量，nx表示法向量x分量，ny表示法向量y分量，nz表示法向量z分量；

步骤(五)、将物体表面法向量作为已知量，代入两个光度视觉系统，并联合优化，计算光照方向；p是物体表面上的一点，i1与i2为对应点，i1是p在左摄像机图像上投影的图像坐标，i2是p在右摄像机图像上投影的图像坐标；p点的法向量为i¹表

示i1的灰度，i²表示i2的灰度，l^k表示第k个光源方向。因此左右摄像机两个光度方程分别为公式(6)与公式(7)；一对对应点有12个方程，左摄像机图像与右摄像机图像之间存在多个对应点，记对应点数为n，则有n*12个方程，方程中的未知数为18，因此可以用最小二乘法求解光源方向；

步骤(六)、将光照方向作为已知量，代入两个光度视觉系统，将深度点的法向量作为未知量，联合方程(6)和(7)，优化计算物体表面法向量；

步骤(七)、定义期望的物体表面深度与双目视觉系统获取的深度之间的距离，以其代价函数；

其中表示双目立体视觉获得表面深度，zuv为期望的物体表面深度；

将物体表面法向量与物体表面梯度的内积为代价函数；

表示光度法获得表面法向量。

将两个代价函数组合构成最终的代价函数，以代价函数最小为目标优化物体表面深度：

公式(4)中z表示物体深度集合，λ表示大于0小于1的系数，用于调整深度误差与法向量误差的权重，ed表示深度误差，en表示法向量误差。

具体实施方式三：本实施方式所述一种双目视觉与未标定光度视觉结合的方法的步骤(四)中计算物体表面法向量的公式是：

具体实施方式四：本实施方式所述一种双目视觉与未标定光度视觉结合的方法的步骤(五)中的代价函数为：

具体实施方式五：本实施方式所述一种双目视觉与未标定光度视觉结合的方法的步骤(六)中的代价函数为：

具体实施方式六：本实施方式所述一种双目视觉与未标定光度视觉结合的方法的摄像机建立的左右两个光度方程联合优化光源方向和法向量。

具体实施方式七：本实施方式所述一种双目视觉与未标定光度视觉结合的方法的用灰度序列进行立体匹配。

工作原理

本发明采用两个摄像机和多个不共线的光源，光源分时向物体投射光，摄像机采集图像序列，多个光源与两个摄像机构成两个未标定光度视觉系统，摄像机与摄像机构成双目视觉系统，可获得物体表面深度，由双目视觉获得的深度出发，获取光源方向，再由光源方向获取表面法向，由深度和法向联合优化获取最优表面深度。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。