基于光流法的双目图像最大视差获取方法
【技术领域】
[0001] 本发明涉及一种基于光流法的双目图像最大视差获取方法，属于计算机视觉领 域。
【背景技术】
[0002] 视觉是人类了解世界、认知世界的重要方式，人类视觉系统通过双眼成像来感知 现实世界，具有从二维景物图像感知三维信息的能力。立体视觉系统类似地利用双目相机 模拟人的双眼来获取外部信息，利用左右图像获取视差图，视差图可以用于三维重建，物体 识别与跟踪，3D视频编码等领域，非常具有研宄价值。在某些情况下，我们更关心的是视差 中的最大值即最大视差。
[0003] 现有的双目图像最大视差确定方法一般是由立体匹配算法得到，立体匹配算法通 过寻找同一实际场景通过不同视角获得的图像投影点之间的一一对应关系，有局部立体匹 配和全局立体匹配等方法。立体匹配方法最终得到该实际场景的视差图，然后在视差图中 获取最大值。
[0004] 普通匹配方法存在问题，得到的视差图中存在很多斑块，这是由于左右摄像机采 集到的图像中存在大量弱纹理结构区域引起的。实际上由于光照变化、深度不连续、存在弱 纹理及重复纹理和噪声干扰等的影响，同一景物在左右视点下的成像会有很大差异，会对 获得精确的视差值造成困难，鲁棒性有待提高，同时立体匹配的计算量较大，使得最大视差 值获取的实时性有待提高。
【发明内容】
[0005] 本发明的主要目的是提供一种基于光流法的双目图像最大视差获取方法。
[0006] 不同于传统的立体匹配方法，本发明的具体创新点在于采用了光流法来获取最大 视差。通过对左右摄像机采集到的图像进行一系列处理，得到图像上各点的运动矢量，对运 动矢量进行分析判断最后得到最大视差，以便于进行下一步处理。由于光流法对弱纹理及 重复纹理，噪声干扰等的影响较不敏感，可以得到较准确的最大视差值。
[0007] 本发明的技术方案具体来说，主要包括如下技术内容：
[0008] 1、由粗到精的多尺度计算：按照一定的采样标准，把原始图像分为多层，形成金字 塔形式的图像结构，原始图像位于金字塔底部，而金字塔顶部则是图像分层后最低分辨率 的近似。这样的多分辨率思想在使用光流分析大位移运动时特别适用，同时使用较小的取 样因子使计算量减少，加快了计算速度。
[0009] 2、CLG-TV光流法求解光流场。使用CLG-TV光流法处理左右图像获取光流运动矢 量。
[0010] 3、对光流算法中平滑项引入全局扩散系数，有效地在不连续处进行精确计算。
[0011] 4、对光流算法中数据项的梯度算子以及窗口权重函数的改进。使用一种更加适用 于计算最大视差的梯度算子的计算方法，并通过改进的双边滤波器来计算窗口权重函数。
[0012] 5、考虑到最大视差唯一性的特点，分简单和复杂两次计算光流，有效减小计算量， 加快了计算速度。
[0013] 本发明的流程图如图1所示，实施流程如下：
[0014] 步骤1、使用左右摄像机采集到的双目图像序列输入计算机，首先对输入图像做预 处理，如果源图像的分辨率较大可以先做下采样使图像缩小到VGA级别以减少计算量，由 于本方法不使用图像的彩色信息，首先将彩色图转为灰度图，公式如下：
[0015]I= 0. 299R+0. 587G+0. 114B
[0016] 然后对图像进行高斯平滑操作来消除摄像头采集过程中产生的随机噪声。
[0017] 步骤2、使用CLG-TV光流法求解光流场，得到初步估计。
[0018] 光流用来描述物体在观测到的图像中的二维运动，光流法运动估计的计算结果为 图像中像素的运动矢量。理想情况下，对双目图像计算光流场将得到图像中像素点的水平 运动矢量，这些水平运动矢量就等于立体匹配算法得到的各像素点的视差，可见光流法计 算的运动矢量包含有视差信息，可以应用于双目图像最大视差的获取。光流法的基本假设 将亮度约束和平滑约束相结合，既保证了运动矢量计算的准确性，又使得各区域内运动矢 量能够平滑过渡，是一种高精度的运动估计方法。实际图像存在复杂多变的情况，同一景物 在左右视点下的成像会有很大差异，会对获得精确的视差值造成困难。利用光流法求解最 大视差的优势就在于光流法的精度能够达到亚像素级，完全可以胜任于最大视差的计算； 光流法对传统方法中比较难以处理的深度不连续、弱纹理及重复纹理，噪声干扰等问题的 鲁棒性强。
[0019]CLG-TV(combinedlocal-globalwithtotalvariationregularization)光流 法是结合全局与局部的光流法，基于全局的光流法对小运动精确度高，基于局部的光流法 对大运动有更好的精度，将二者结合起来可以增强鲁棒性，CLG-TV光流法使用的误差计算 式将LK方法和HS方法的误差式结合起来。另外，HS和LK的误差计算式都采用了L2型范 数。L2型范数有一些缺点：对噪声敏感度高，过度扩张，选择性差，以及不保留运动边界等 等，为克服L2模型的缺点提出了采用L1型范数的方法将误差式改写，其形式为：
[0020]
【主权项】
1.基于光流法的双目图像最大视差获取方法，其特征在于：本方法采用了光流法来获 取最大视差；通过对左右摄像机采集到的图像进行一系列处理，得到图像上各点的运动矢 量，对运动矢量进行分析判断最后得到最大视差，以便于进行下一步处理；由于光流法对弱 纹理及重复纹理，噪声干扰的影响较不敏感，得到较准确的最大视差值； 具体而言，该方法的具体实施过程如下， 1) 由粗到精的多尺度计算：按照一定的采样标准，把原始图像分为多层，形成金字塔 形式的图像结构，原始图像位于金字塔底部，而金字塔顶部则是图像分层后最低分辨率的 近似；这样的多分辨率思想在使用光流分析大位移运动时特别适用，同时使用较小的取样 因子使计算量减少，加快了计算速度； 2. CLG-TV光流法求解光流场；使用CLG-TV光流法处理左右图像获取光流运动矢量； 3) 对光流算法中平滑项引入全局扩散系数，有效地在不连续处进行精确计算； 4) 对光流算法中数据项的梯度算子以及窗口权重函数的改进；使用一种更加适用于 计算最大视差的梯度算子的计算方法，并通过改进的双边滤波器来计算窗口权重函数； 5) 考虑到最大视差唯一性的特点，分简单和复杂两次计算光流，有效减小计算量，加快 了计算速度； 实施流程如下， 步骤1、使用左右摄像机采集到的双目图像序列输入计算机，首先对输入图像做预处 理，如果源图像的分辨率较大先做下采样使图像缩小到VGA级别以减少计算量，由于本方 法不使用图像的彩色信息，首先将彩色图转为灰度图，公式如下： I = 0.299R+0. 587G+0. 114B 然后对图像进行高斯平滑操作来消除摄像头采集过程中产生的随机噪声； 步骤2、使用CLG-TV光流法求解光流场，得到初步估计； 光流用来描述物体在观测到的图像中的二维运动，光流法运动估计的计算结果为图像 中像素的运动矢量；理想情况下，对双目图像计算光流场将得到图像中像素点的水平运动 矢量，这些水平运动矢量就等于立体匹配算法得到的各像素点的视差，光流法计算的运动 矢量包含有视差信息，应用于双目图像最大视差的获取；光流法的基本假设将亮度约束和 平滑约束相结合，既保证了运动矢量计算的准确性，又使得各区域内运动矢量能够平滑过 渡，是一种高精度的运动估计方法；实际图像存在复杂多变的情况，同一景物在左右视点下 的成像会有很大差异，会对获得精确的视差值造成困难；利用光流法求解最大视差的优势 就在于光流法的精度能够达到亚像素级，完全可以胜任于最大视差的计算；光流法对传统 方法中比较难以处理的深度不连续、弱纹理及重复纹理，噪声干扰等问题的鲁棒性强； CLG-TV光流法是结合全局与局部的光流法，基于全局的光流法对小运动精确度高，基 于局部的光流法对大运动有更好的精度，将二者结合起来增强鲁棒性，CLG-TV光流法使用 的误差计算式将LK方法和HS方法的误差式结合起来；另外，HS和LK的误差计算式都采用 了 L2型范数；L2型范数有一些缺点：对噪声敏感度高，过度扩张，选择性差，以及不保留运 动边界，为克服L2模型的缺点提出了采用Ll型范数的方法将误差式改写，其形式为：
设I (X，y，t)是图像点（X，y)在时刻t的亮度，u (X，y)和V (X，y)是该点光流的X和y 分量，点在t+ δ t时运动到（X+ δ X，y+ δ y)时，亮度保持不变，即 I (x+u δ t, y+v δ t, t+ δ t) = I (χ, y, t) 亮度随χ、y、t光滑变化，将上式的左边用泰勒级数一阶展开：
其中e是关于S X、δ y、St的二阶和二阶以上的项；上式两边的I (x，y，t)相互抵消， 两边除以δ t，并取极限δ t - 0,得到_
，这就是亮度不变性约束； (1)式中左式是LK方法的数据项，其本质是一个区域上的所有像素点满足亮度不变性 约束Ixii+IyV+It= 0 ;其中亮度对空间的梯度I JP I y的物理意义是亮度在水平、竖直方向 的变化率，亮度对时间的梯度^的物理意义是亮度随时间的变化率，u和V代表像素点分别 在水平，竖直方向的变化速度； (1)式中的右式是Ll型的平滑项，由于实际场景中的物体都是连续，其运动矢量理应 是大面积相同或相近的，因此设计平滑项这一项来满足这一特点；
表示 水平运动速度的空间梯度，反映了水平运动速度u在空间上的连续程度，Ll型范数IIPuII是 指Pw模的大小，其值越小连续程度越高；竖直方向同理；整个平滑项的物理意义是指求得 的整个运动场应满足所有像素点的IIt 7UlI + ||7训之和最小，即整个运动场的大部分点是 足够连续，足够平滑的；这样就克服了深度不连续、弱纹理及重复纹理和噪声干扰造成的影 响； 对于亮度对空间的梯度一和Iy，采用了 Barron算子与horn算子结合的方式；B