arron算 子是一维的，其形式为1/12(1 8 0 -8 -I) ;horn算子是三维的，其计算方法如下式所示：
Barron算子适合于计算空间梯度，horn算子适合于计算时间梯度；对于亮度对空间的 梯度一和I y，将Barron算子与horn算子计算出的梯度进行加权作为最后梯度，亮度对时 间的梯度It，将horn算子算出的梯度作为最后的梯度； 通过改进的双边滤波器来计算窗口权重函数，增强数据项中对边缘的保留，在双边滤 波器的基础上增加阻塞度一项，使得权重正比于空间距离，亮度差别，阻塞度差别：
其中，阻塞度〇 (X)定义为
双边滤波器将高斯空间滤波与距离滤波相结合，起到既去除噪声又保护边缘的作用， 将双边滤波结果作为数据项权重表示当一个区域内的像素点离中心点空间距离越远，那么 权重越小；当一个区域内的像素点灰度值与中心点灰度值相差越大，那么权重越小；在此 基础上，引入阻塞度这一概念，阻塞度表示了当前像素点的运动矢量的杂乱程度，当一个区 域内的像素点阻塞度与中心点阻塞度比值越小，那么权重越小；总之加强了对图像细节的 精确计算； 对光流算法中平滑项引入全局扩散系数，增强平滑项中对边缘的保留；全局扩散系数 定义为：
利用图像中的亮度信息来获取一扩散系数，扩散系数表明了图像中物体的连续程度， 用它来对平滑项作加权处理使得图像中无纹理的连续区域平滑程度高，而边角这种非连续 区域平滑程度低；总之进一步加强了弱纹理处的平滑程度； 这样，对两项系数改进后得到的误差式为： ·* L \ w /
J 该误差式的平滑项是TV-Ll模型，其求解属于全变分正则化问题，直接求解是有困难 的，现将其分为三部分：
使用交替求解的方法来最小化上面三个式子： (6)式的求解是凸函数最优化问题，直接求其极值点作为最优解，作为未知量，将 第一个式子分别对P求偏导，并令其为零，整理化简得到方程组：
通过求解以上线性方程组得到第一个式子的解 对于TV-u和TV-v式，对于这种形式的积分式应该构造欧拉一拉格朗日方程然后使用 原始对偶算法来求解，TV-u的欧拉一拉格朗日方程为：
为求上式中瓦!结合方程形式可以使用固定点迭代的方法求解：
此外，求解光流场还需要用到两个策略： 1) 由粗到精的多尺度计算，降低图像的分辨率，得到金字塔图像；由于当像素点位移 大于滤波窗口的尺寸时，使用线性化的数据项直接计算光流会显著增加光流的误差，为了 适用于计算较大的光流，一种解决方法是使用由粗到精的多尺度计算，较大的光流在低分 辨率尺度变得很小，足以满足光流约束方程；本方法使用自动决定层数的CLG-TV金字塔光 流法，原始图像是最底层图像，高一层的图像由比它低一层的图像经过特定的高斯滤波然 后进行下采样得到，此处选取每层的图像的长和宽都是比它低一层的图像的四分之一；由 粗到精的多尺度计算很好的适应了了计算较大的光流的要求，另外，将金字塔底层图像的 分辨率从VGA级别降低至较低的分辨率，减少了计算量； 2) 翘曲迭代方法 实际计算中，运动矢量的求解是经过多次翘曲得到的，将每次的计算结果作为右眼图 像的自变量数组进行双线性差值翘曲，然后将左眼图像和翘曲后的右眼图像的运算结果更 新上次的结果； 整个CLG-TV金字塔光流法的计算流程；最后，将程序的步骤以伪代码的形式列在下 面： 1) 建立图像金字塔II，12,并计算各层梯度； 2) 对各层Il计算全局扩散系数D ; 3) 每层进行如下步骤： a) 如果在最高层，将u，初始化为O ; b) 如果不在最高层，将上层的u，1Λ瓦,瓦上采样，作为本层的初始值； c) for i = I to warps (采用翘曲迭代方法） i) 对u，v中值滤波，减少异常值； ii) 用双线性插值对I1, I2，C，g进行warp操作 iii) for k = I to iterations A. 使用（10)式计算 B. 使用（13)式更新u, v ; C. 使用（15)式更新瓦瓦；： 本步骤在CLG-TV光流法的基础上，对光流算法中平滑项进行了改进，使用了各向异性 的平滑权重，改善了平滑效果；对光流算法中数据项的梯度算子、窗口权重函数进行改进， 加强了对图像细节的精确计算；使用由粗到精的多尺度计算，翘曲迭代方法，加强了对大位 移运动的鲁棒性；求解光流场仅计算到第3层为止，目的是对最大视差的像素所在位置作 一个初步的估计，通过很小的计算量准确地得到最大视差在整幅图像中的大致位置，以待 之后进行精确计算； 步骤3、对步骤2计算得到的光流场进行处理，找出其中的最大值Umax以及最大值所在 的位置（i_x，j_x)，在Il中的该位置截取原图像的一部分，并找到12中经最大值移动后的 该位置（ium ax+umax · scale, Jumax)，在此处截取原图像的一部分；光流法的精度保证了截取的 小图的计算准确度，同时，截取一小幅图片大大减少了数据量使得计算速度提高； 步骤4、使用CLG-TV光流法精确求解光流场，本步骤与步骤2的不同之处在于：本步骤 使用的输入图像II，12是步骤3输出的截取图像，而不是原图像；为保证精度，本步骤使用 的金字塔采样系数为〇. 75,并计算到第1层为止；本步骤的LK窗口宽度为11，而步骤2中 为5 ;本层的输出为截取图像的光流； 步骤5、将步骤4的输出换算为第0层的值后取其水平运动矢量，作出直方图，从中计算 最大值时，对直方图进行一阶差分，然后对一阶差分序列从最小值开始考察，当一阶差分大 于一阈值时，将低于该阈值的运动矢量取出，计算其方差，并根据方差做出判断：
将此时得到的最大值与步骤2得到的最大值作算术加，得到的结果为整个系统的输出 即最大视差。
2.根据权利要求1所述的基于光流法的双目图像最大视差获取方法，其特征在于： 最大视差获取方法基本流程，具体包括以下步骤： 1) 将双目图像序列输入计算机，首先对输入图像做预处理，如果源图像的分辨率较大 先做下采样使图像缩小到VGA级别，将彩色图转为灰度图，然后对图像进行高斯平滑操作 来减轻摄像头采集过程中产生的随机噪声； 2) 使用CLG-TV光流法求解光流场，得到初步估计； CLG-TV金字塔光流法的计算流程，程序的伪代码如下： I) 建立图像金字塔II，12,并计算各层梯度； II) 对各层Il计算全局扩散系数D ; III) 每层进行如下步骤： A) 如果在最高层，将u，v, 初始化为O ; B) 如果不在最高层，将上层的u，v，瓦：,瓦;上采样，作为本层的初始值； C) for i = Ito warps (采用翘曲迭代方法） i) 对u，V中值滤波，减少异常值； ii) 用双线性插值对I1, I2,厅，尽进行warp操作 iii) for k = Ito eq_iterations a. 使用（10)式计算fiJ b. 使用（13)式更新u, v ; c. 使用（15)式更新瓦； 对于亮度对空间的梯度一和I y，采用了 Barron算子与Horn算子结合的方式； Barron算子是一维的，其形式为1/12(180-8-1) ;horn算子是三维的，其计算方法如下 式所示：
算子与Horn算子计算出的梯度分别赋予0. 8和0. 2的权重相加后得到最后的梯度，对于亮 度对时间的梯度It，直接计算Horn算子的梯度作为其值； 使用改进的双边滤波器来计算窗口权重函数，参数Xs= 25，λ i= 1〇〇，λ。= 10，σ 1 =7, O2= 0. 7, 〇 d= 0. 3, 〇 e= 20 ； 对光流算法中平滑项引入全局扩散系数，参数α = 5, β = 0. 5 ; 使用光流法求解光流场时金字塔采样系数为〇. 25,从最高层计算到第3层为止，LK窗 口的宽度为5, warp次数为5,求解等式迭代次数为5 ; 3) 对2)计算得到的光流场进行处理，找出其中的最大值Umax以及最大值所在的位置 (i_x，J umJ，在Il中的该位置截取原图像的一部分，并找到12中经最大值移动后的该位置 · scale，j_x)，在两图的此处作为中点截取长宽各为原图像1/3 -部分； 4) 使用CLG-TV光流法精确求解光流场，本步骤中梯度算子、窗口权重函数以及全局扩 散系数的参数与2)相同；金字塔采样系数为0. 75,从最高层计算到第1层为止，LK窗口的 宽度为11，warp次数为5,求解等式迭代次数为10 ; 5) 将4)的输出换算为第0层的值后取其水平运动矢量，输出直方图，从中计算最大值 时，对直方图进行一阶差分，然后对一阶差分序列从最小值开始考察，当一阶差分大于一阈 值时，将低于该阈值的运动矢量取出，计算其方差，并根据方差做出判断：
将此时得到的最大值与步骤2得到的最大值作算术加，得到的结果为整个系统的输出 即最大视差。
【专利摘要】基于光流法的双目图像最大视差获取方法，通过对左右摄像机采集到的图像进行一系列处理，得到图像上各点的运动矢量，对运动矢量进行分析判断最后得到最大视差，以便于进行下一步处理。由于光流法对弱纹理及重复纹理，噪声干扰等的影响较不敏感，对光流算法中数据项的梯度算子以及窗口权重函数的改进。考虑到最大视差唯一性的特点，分简单和复杂两次计算光流，有效减小计算量，加快了计算速度。在CLG-TV金字塔光流法的基础上，对光流算法中平滑项引入全局扩散系数，对光流算法中数据项的梯度算子、窗口权重函数进行改进，使其更加适用于计算双目图像只有水平位移的情况，对金字塔计算方法，分简单和复杂两次计算光流，有效减小计算量，加快了计算速度。
【IPC分类】H04N13-00
【公开号】CN104869387
【申请号】CN201510185274
【发明人】杨盈昀, 张真玮, 吕尧, 姜秀华
【申请人】中国传媒大学
【公开日】2015年8月26日
【申请日】2015年4月19日