1.一种双目视觉与未标定光度视觉结合的方法,该方法采用至少两个摄像机和至少三个不共线的光源,光源分时向物体投射光照,摄像机采集图像;其特征在于:所述一种双目视觉与未标定光度视觉结合的方法是通过如下步骤实现的:
步骤一、两个摄像机构成双目立体视觉系统,基于两个摄像机获取的图像序列,获取物体表面深度信息;
步骤二、基于物体表面深度信息,计算物体表面梯度,进而计算物体表面法向量;
步骤三、将物体表面法向量作为已知量,代入两个光度视觉系统,并联合优化,计算光照方向;
步骤四、将光照方向作为已知量,代入两个光度视觉系统,联合优化,计算物体表面法向量;
步骤五、将步骤四中计算的物体表面法向量,与步骤一中计算的物体表面深度,联合构建优化函数,优化表面深度。
2.根据权利要求1所述一种双目视觉与未标定光度视觉结合的方法,其特征在于:步骤一中物体表面深度信息获取的步骤如下:
步骤(一)、物体位置不变,将六个光源分时向物体投射光照,左摄像机和右摄像机采集图像序列,在摄像机图像上每个像素位置上都有一个长度为六的灰度序列值iuv=(i1,i2,i3,i4,i5,i6);
步骤(二)、对图像进行立体矫正,在极线上进行立体匹配,依据像素的灰度序列值在左摄像机和右摄像机上寻找相似度最大值,获取物体表面深度s(u,v),
公式(1)中
步骤(三)、计算物体表面深度s(u,v)的偏导数:
公式(2)和(3)中p表示深度在u方向的偏导,q表示深度在v方向的偏导;
步骤(四)、计算物体表面法向量;
公式(4)中n表示法向量,nx表示法向量x分量,ny表示法向量y分量,nz表示法向量z分量;
步骤(五)、将物体表面法向量作为已知量,代入两个光度视觉系统,并联合优化,计算光照方向;p是物体表面上的一点,i1与i2为对应点,i1是p在左摄像机图像上投影的图像坐标,i2是p在右摄像机图像上投影的图像坐标;p点的法向量为
步骤(六)、将光照方向作为已知量,代入两个光度视觉系统,将深度点的法向量作为未知量,联合方程(6)和(7),优化计算物体表面法向量;
步骤(七)、定义期望的物体表面深度与双目视觉系统获取的深度之间的距离,以其代价函数;
其中
将物体表面法向量与物体表面梯度的内积为代价函数;
将两个代价函数组合构成最终的代价函数,以代价函数最小为目标优化物体表面深度:
公式(4)中z表示物体深度集合,λ表示大于0小于1的系数,用于调整深度误差与法向量误差的权重,ed表示深度误差,en表示法向量误差。
3.根据权利要求2所述一种双目视觉与未标定光度视觉结合的方法,其特征在于:步骤(四)中计算物体表面法向量的公式是:
4.根据权利要求2所述一种双目视觉与未标定光度视觉结合的方法,其特征在于:步骤(五)中的代价函数为:
5.根据权利要求2所述一种双目视觉与未标定光度视觉结合的方法,其特征在于:步骤(六)中的代价函数为:
6.根据权利要求2所述一种双目视觉与未标定光度视觉结合的方法,其特征在于:摄像机建立的左右两个光度方程联合优化光源方向和法向量。
7.根据权利要求2所述一种双目视觉与未标定光度视觉结合的方法,其特征在于:用灰度序列进行立体匹配。