专利名称：一种基于块匹配视差估计的中间视图合成方法
技术领域：
本发明涉及一种双目数字图像的处理方法，特别涉及一种双目数字图像中间视点 合成方法。
背景技术：
随着多媒体技术的不断发展，图像和视频技术也由二维向三维发展，交互性将成 为未来多媒体技术的一个主要特征。交互式三维视频系统的关键技术之一就是虚拟视点合 成技术。虚拟视点绘合成是所有立体显示系统终端不可缺少的模块，在远程视频会议、自由 视点立体电视等高端多媒体领域中也具有至关重要的作用。为了使用户可以在场景中漫 游，实现“连续的环视”，在多视点视频采集的过程中，摄像机的数量应尽可能多，但由于放 置无限个摄像机以实现视点无缝切换的不现实性，为了显示任意视点的视图，必须在客户 端进行虚拟视点的合成，通过对已有视点的分析，合成用户所要观察的视点。因此，虚拟视 点合成技术是多媒体领域一项非常重要的新兴技术。虚拟视点合成技术，在原理上分为基于模型的绘制方法(GBR)和基于图像的绘制 方法(IBR)两种，GBR的优点在于几何模型表现全面且能满足灵活多变的视角变化需求，作 为传统算法已经发展得比较成熟，交互性好。但该方法有两个主要缺点，即创建高精度的三 维物体及场景模型计算量庞大，几乎不可能完成；以及计算费时，实时性差，绘制时间取决 于物体的复杂性。另外，如果最终目的仅是合成中间视，那么建立三维模型可能是不需要 的。鉴于此，可以直接利用真实场景作为参考视点的图像合成新视图的IBR方法逐渐得到 关注和发展。IBR方法生成的视图真实感较强，与场景的融合较好，而且由于避免了重建过 程，使其更便于进行复杂场景的实时绘制，具有运算复杂度不随场景变化而变化，无需对场 景进行几何建模等特点。基于视差的中间视合成方法正是IBR的分支。在各种IBR方法当中，基于深度图像的虚拟绘制(D印th-Image Based Rendering, DIBR)发展得比较成熟，这类方法通过利用深度摄像机拍摄或利用各原始视图之间的几何 约束和视差信息来获取每个彩色像素对应的深度信息，并根据深度信息绘制三维场景的虚 拟图像。例如，蒋刚毅等人提出的利用参考视点深度图的平滑度将彩色图像分割成大小不 同的块，然后进行三维图像变换将每个块投影到虚拟视点，以完成对该视点虚拟视图的绘 制的方法(参见蒋刚毅，朱波，郁梅.一种基于可分级块的虚拟视点图像绘制方法[P].中 国发明专利200910153324. 8，2009-10-14.)。又如骆凯等人提出首先对深度图像进行形态 学处理，然后利用视点变换方程生成目标视点，最后对含有空洞的目标视点采用图像修复 算法进行后处理的方法(参见骆凯，李东晓，冯雅美，张明.基于DIBR和图像修复的任意视 点绘制[J]·中国图象图形学报，2010,15(3) :443-449. )。DIBR方法将场景的深度信息引入 到虚拟视点场景当中，减少了虚拟视点绘制所需的参考视点数目，但深度图像的获取是非 常困难的，深度摄像机可以直接获取场景深度信息，但造价昂贵，多目摄像机组标定困难; 而直接从彩色图像中提取出每个像素的深度信息是非常困难的，由于深度信息的抽密度和 准确度极大影响着虚拟视点的合成精度，从原始视图中提取深度信息往往是不可靠的。
采用几何方法获取深度信息的过程中，有一个步骤就是求视差场，因此，直接使用 视差来进行虚拟视点绘制是方便的。在这类方法当中，视差估计的准确性是获得好的中间 视图的关键，因此，目前的算法主要集中于如何获得准确的视差场。但是精准的视差场需要 很大的计算量，这在实际应用当中并不实用。经典的视差估计算法总是无法在精确度和快 速性两个方面取得平衡，这些算法在搜索视差时，为了达到较高的准确度，往往采用复杂的 约束条件和搜索策略，但对精度的提高作用并不明显，反而使得算法运行时间加长；采用在 局部区域搜索像素的最佳匹配点可以提高视差估计的效率，但代价是视差估计精度较全局 搜索降低。在视差估计环节当中，吕朝辉等人在视差估计中提出了一种基于自适应权值的 方法，并在匹配的代价函数中引入视差平滑性约束项，这种方法获得的视差场是较为准确 的，但由于约束条件复杂，计算量大大增加(参见吕朝晖，袁惇.基于视差估计的中间视 合成[J].光电子 激光.2007，18 (7) =855-858) 0骆艳等人提出在视差估计中加入图像 分割算法，在获得视差场之后，对输入图像进行基于灰度值的图像分割，将图像分为具有 灰度值不同的若干区域，区域内部的点则具有灰度相似性。在求出视差场之后，根据同一 分割区域的像素点具有相同或相似的视差值这一假设，对视差场进行平滑(参见骆艳， 安平，张兆扬.基于视差场校正和区域分割的中间视图像生成与内插方法[J].通信学 报.2004. 25(10) :127-133.)。这样做可以纠正一部分错误匹配的视差，在一定程度上达到 视差场平滑的目的，但会造成另一部分原来正确的视差被赋予错误的视差值，而且，图像分 割模块的增加，使整个算法的计算量增加。
发明内容
本发明要解决的技术问题是为克服现有技术的不足，本发明提供一种基于块匹 配视差估计的中间视图合成方法，在不影响合成视图质量的同时大大降低了运算复杂度， 节省了算法运行时间。本发明解决其技术问题所采用的技术方案包括一种基于块匹配视差估计的中间 视图合成方法，其特征在于包括以下步骤(1)输入拍摄自同一场景，同一时刻，摄像机位于同一水平高度的左右两幅图像， 要求这两幅图像仅在拍摄视角上存在差异；(2)若两幅输入图像为彩色图像，则分别将其转化为灰度图像；若两幅输入图像 为灰度图像，则执行步骤(3)；(3)判断两幅输入图像尺寸是否相同，若不同，提示错误并跳出；若相同，执行步 骤⑷；(4)为一种基于块匹配的视差估计方法，具体是以右视图为目标图像，左视图为参 考图像，将目标视图分为固定大小的块，针对目标图像中每个块，在参考图像中逐个搜索与 之最相近的块，计算出每个目标图像块与参考图像中匹配块之间的位移矢量cT，即为左视 图到右视图中的块视差；再以左视图为目标图像，右视图为参考图像，重复步骤(4)求出右 视图到左视图中的块视差cT;(5)根据步骤⑷中求出的左视图到右视图的块视差cT，利用双目视觉视差原理， 可以求出经过初步视点合成后基于左视图到右视图块视差的中间视图(其中上标M代表“中间视图”；下标L代表“左视图到右视图”)；根据步骤中求出的右视图到左视图 的块视差cT，同理可以求出经过初步视点合成后基于右视图到左视图块视差的中间视图 Imk(其中下标R代表“右视图到左视图”)理论上，cT与cT、1\与Imk应相等，但由于视差 块匹配的误差是无法完全消除的，所以需要进一步对初步视点合成后的两个中间视图进行 处理；(6)为一种在左视图和右视图中分别寻找待合成视图最佳匹配点的方法，具体是 对于步骤(5)中求出的1\与Imk这两个初步合成的中间视图，针对其中每一个像素，在左视 图和右视图中逐个寻找1\与Imk中每个像素的最佳匹配点ilxS y)和IK(xK，y)(其中，I1 和Ik代表左视图和右视图中的像素点灰度值；(x, y)代表像素点的坐标；一和Xk分别代表 在左视图和右视图中找到的最佳匹配点的横坐标值，由于双目摄像机处于同一水平高度， 所以在左视图和右视图中找到的最佳匹配点的纵坐标值相等，用y表示)，并依据最佳匹配 点的加权对与Imk进行空洞填充(即使用一定的灰度值填补与Α中没有映射到得 空白区域)，最终得到中间视图合成的结果IM。上述所述步骤中的基于块匹配的视差估计方法，采用以下步骤实现(i)对参考图像进行扩边处理，在参考图像的左侧和右侧分别增加k个像素单位 (k须满足包含所有双目视图中只存在于一幅视图的场景内容)，并令这些像素的灰度值为 0，将增补的边缘置为黑色；(ii)将目标图像分为MXN的块，其中M为每块宽度，N为长度；(iii)求出目标图像与参考图像对应位置块的SAD，作为搜索时用于比较的初始 值，其中块的大小为MXN，左上角坐标为(m，η)的目标图像中的块与左上角坐标为(p，q) 的参考图像块之间的绝对值误差和最小绝对差SAD为
权利要求
1.一种基于块匹配视差估计的中间视图合成方法，其特征在于实现步骤如下(1)输入拍摄自同一场景，同一时刻，摄像机位于同一水平高度的左右两幅图像，要求 这两幅图像仅在拍摄视角上存在差异；(2)若两幅输入图像为彩色图像，则分别将其转化为灰度图像；若两幅输入图像为灰 度图像，则执行步骤⑶；(3)判断两幅输入图像尺寸是否相同，若不同，提示错误并跳出；若相同，执行步骤⑷；(4)以右视图为目标图像，左视图为参考图像，将目标视图分为固定大小的块，在参考 图像中逐个分别搜索与目标图像中每个块最相近的块，计算出每个目标图像块与参考图像 中匹配块之间的位移矢量cT，即为左视图到右视图中的块视差；再以左视图为目标图像， 右视图为参考图像，重复步骤(4)求出右视图到左视图中的块视差cT ；(5)根据步骤中求出的左视图到右视图的块视差cT，利用双目视觉视差原理，求 出经过初步视点合成后基于左视图到右视图块视差的中间视图，其中上标M代表中间视 图，下标L代表左视图到右视图，根据步骤(4)中求出的右视图到左视图的块视差cT，同理 求出经过初步视点合成后基于右视图到左视图块视差的中间视图Imk，其中下标R代表右视 图到左视图；(6)对于步骤(5)中求出的1\与Imk这两个初步合成的中间视图，针对其中每一个像 素，在左视图和右视图中逐个寻找1\与Imk中每个像素的最佳匹配点ilxSy)和IK(xK，y)， 其中I1和Ik代表左视图和右视图中的像素点灰度值，(x,y)代表像素点的坐标，？和Xk分 别代表在左视图和右视图中找到的最佳匹配点的横坐标值，由于双目摄像机处于同一水平 高度，所以在左视图和右视图中找到的最佳匹配点的纵坐标值相等，用y表示，并依据最佳 匹配点的加权对与Imk进行空洞填充，即使用灰度值填补与Imk中没有映射到得空白 区域，最终得到中间视图合成的结果IM。
2.根据权利要求1所述的一种基于块匹配视差估计的中间视图合成方法，其特征在 于所述步骤中的具体实现如下(i)对参考图像进行扩边处理，在参考图像的左侧和右侧分别增加k个像素单位，k须 满足包含所有双目视图中只存在于一幅视图的场景内容，并令这些像素的灰度值为0，将增 补的边缘置为黑色；( )将目标图像分为MXN的块，其中M为每块宽度，N为长度；(iii)求出目标图像与参考图像对应位置块的SAD，作为搜索时用于比较的初始值，其 中块的大小为MXN，左上角坐标为(m，n)的目标图像中的块与左上角坐标为(p，q)的参考 图像块之间的绝对值误差和最小绝对差SAD为M NSAD(m, η, p,q) = YjYj^m+i, η+j)-I2(p+i,q + j)\閣产1其中，(m，n)为目标图像中块左上角的像素点坐标，(P，q)为参考图像中左上角的像素 点坐标，I1^ I2分别为目标图像和参考图像在某一坐标点的灰度值；i分别取从0到M-I之 间的整数；j分别取从0到N-I之间的整数；(iv)在参考图像中，将搜索起点设置为目标图像块的左上角坐标(m，η)，在横坐标区 间为(m-60，m+60)范围内进行匹配，求出每个匹配位置与待匹配目标图像块间的SAD，使SAD值取得最小的参考图像对应位置即为最佳匹配块，并保留这个SAD最小值；(ν)将搜索到的最佳匹配块位置记录下来，并求出目标块与最佳匹配块之间的位移矢 量 d，其中 d(i，j) = (m-p，n-q)，即视差;(vi)如果接受匹配的是目标图像中位于右下角的块，不包括增补的边缘，即左上角 坐标为(X+60-M，Y+60-N)，则结束匹配；否则，找到下一个待匹配的目标图像块，返回步骤 (iii)；(ν)将以块为单位的视差扩展至以像素为单位，即d(iXM+m，jXN+n) = d(i，j)，其中 me
, η e
，以左视图为参考图像，右视图为目标图像，计算出左视图到右 视图的块视差cT;再以右视图为参考图像，左视图为目标图像，计算出右视图到左视图的 块视差cT。
3.根据权利要求1所述的一种基于块匹配视差估计的中间视图合成方法，其特征在 于所述步骤(5)中利用双目视觉视差原理求出初步视点合成得到的中间视图的方法如 下位于同一水平高度的两个摄像机，同时对场景进行拍摄，根据双目视差原理，有xE = xL+dLE (X，y)IE(x, y) = IL(x+dLE(x,y),y)其中，&为左视图一点在摄像机坐标系中的横坐标，以像素为单位；^为该点在右视图 中对应点的横坐标；cT为以左视图为目标图像，右视图为参考图像求出的视差值， 虚拟视角的合成用如下亮度加权获得IM(XL，y) = (l-a)IL(xL,y) + aIE(xE, y)设α为位置参数，令a = 0为左视图所在位置，a = 1为右视图所在位置，则α在 (0，1)区间内可以代表原始视图间直线，即基线上任意位置，而待合成的中间视与左右原始 视图之间关系表示为xM = xL+ a dLE (χ, y) = xE+(1-a ) dEL (χ, y)将以上关系代入加权公式可以分别得到用cP和cT求出的与Imk如下Iml (xl+ a dLE, y) = (1- a ) Il (xl, y) + a Ie (xL+dLE, y) IME(xE+(l-a)dEL, y) = (l-a)IL(xE+dEL,y) + aIE(xE, y)其中，1\和Imk为初步视点合成得到的中间视图^和Ik分别为左右原始视图乂和Xk 均可遍历整幅图像。
4.根据权利要求1所述的一种基于块匹配视差估计的中间视图合成方法，其特征在 于所述步骤(6)具体实现如下(i)求出左视图到右视图的视差图(Γ中的最大值C^max；(ii)求出函数gL(x) = ^-(χ+α^^χ,γ)) I 在χ e [χ1-α Cfmax，χ1+CicTmaJ 区间内的 最小值min(gL(X)) = gL(xL)，并保存使gL(x)取得最小的χ值，记为xS其中，χ1为中间视图 中点的横坐标，取值为χ1 e
；(iii)求出右视图到左视图的视差图cT中的最大值CTmax；(iv)求出判定函数gK(x) = IxMx+acTU，y)) I 在 χ e [X1-QcIel, χ1+α dKL]区间内 的最小值min (gE (χ)) = gE (xE)，并保存xE ；(ν)按照亮度加权公式IM(x, y) = (l-a)IL(xL, y) + aIE(xE, y)，最终得到中间视图合成的结果ιΜ。
全文摘要
一种基于块匹配视差估计的中间视图合成方法，为对取自同一场景同一时刻不同角度的两幅左右图像进行视差估计，根据求出的视差图通过图像插值得到原始视图间直线(基线)上任意位置虚拟视图，首先分别以左右视图为目标图像进行视差估计，采用基于块匹配的视差估计算法，求出左视到右视以及右视到左视的两幅视差图；然后依据这两幅视差图分别合成初步的中间视图；最后对合成的视图进行空洞填充，得到最终结果。本发明针对左右视图由水平线上摄像机组拍摄，只具有水平方向视差的特点，只在水平方向进行搜索，减少了计算量，降低了算法运行时间；实验结果表明，采用本发明在视图前景距离摄像机较远或图像灰度变化平缓的情况下能得到良好的合成结果。
文档编号H04N13/00GK102075779SQ201110041538
公开日2011年5月25日 申请日期2011年2月21日 优先权日2011年2月21日
发明者于洋, 祝世平 申请人:北京航空航天大学