专利名称：双视点视频到多视点视频的实时自适应生成方法
技术领域：
本发明涉及视频、基于左右视点的中间虚拟视点生成技术领域，具体讲，涉及双视点视频到多视点视频的实时自适应生成方法。
背景技术：
目前，多视点立体图像的实时获取方法与技术仍然是多视点自由立体成像技术尚未解决的瓶颈问题。要实时采集多个视点的立体图像，通常的做法是用平行排列的N个摄像机同时拍摄同一场景，从而来获得不同位置(视点)的N幅图像。但这种方法本身存在许多问题(1)系统笨重，实时采集不方便，只能用于固定场景的多视点立体图像获取。(2) 由于舒适容像的需要，对多个摄像机的光学参数和成像参数的一致性程度提出了非常高的要求，给校准、光学系统的调整带来了很大的难度。(3)采集到的多视点图像数据量过大，不利于压缩、传输和存储。虚拟视点生成是指利用两个或多个摄像机拍摄的同一场景的图像通过插值生成此场景其他各个视点的图像，利用较少的设备获取场景深度，从而能够有效的减轻摄像机校正的误差，满足多视点自由立体显示的需求。虚拟视点生成作为立体显示关键技术之一，成为该领域研究的热点。Eric Chen提出一种基于摄相机的位置方向参数和图像的像素深度信息的虚拟视点图像生成方法，由于需预先提供相机参数和深度信息，这种方法在应用上有很大局限性。McMillan提出一种通过重投影拼接生成新视点图像的方法，它假定采集的图像都是以相同的摄像机内参数拍摄的，而这是不可能实现的，因此，在应用中也存在局限性。Seitz提出了一种可以作为生成新视点图像的原理框架算法，但在实际应用中，受图像像素匹配精度影响，所得图像质量并不好。并且，该方法只适应摄像机环绕景物运动采集的源图像，对摄像机前后运动采集的图像无能为力。大连理工大学的胡志萍在其博士论文《图像特征提取匹配和新视点图像生成技术研究》中提出一种基于摄像机横向和纵向移动采集的图像生成新视点图像的方法，该方法采用了动态规划的匹配方法，复杂度较高，插值生成后的图像还得进过后变换来得到最后的虚拟视点图像。预变换和后变换都会有偏差，导致最后得到的并不是真正虚拟视点处的图像。
发明内容
为克服现有技术的不足，提供一种使用较少摄像机即能实现多视点立体图像的实时获取方法，本发明采取的技术方案是，双视点视频到多视点视频的实时自适应生成方法， 包括下列步骤1、空域深度匹配a)以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Carmy边缘检测算子获得，确定匹配窗口 ；b)在右视点图像对应点的某一水平范围内，进行十字搜索，进而获得若干待匹配
4窗口 ；将匹配窗口与若干待匹配窗口进行区域对比，取公共交集部分区域，得到若干个交集区域；c)设计能量函数，将匹配窗口、待匹配窗口、额外补偿信息代入能量函数进行计算，选择能量函数最小值对应的待匹配窗口，得到初始视差赋给左视点对应的深度图点；d)区域视差精细化，根据连续性和一致性准则设计矫正函数，纠正初始视差图中分配错误的视差；2、时域深度匹配a)利用背景/前景分割结果，对于背景区域继承上一帧的深度信息；b)对于前景区域，重新利用基于十字搜索方法确定前景区域中的自适应窗口，并在另一个视点图像上进行匹配，求得更新的深度；3.中间虚拟视点的生成a)对视点深度图按照中间视点的空间几何关系进行视差分配，形成N+1份视差， 作为视点插值的参数；b)利用标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点。所述在右视点图像对应点的某一水平范围内，进行十字搜索，进而获得若干待匹配窗口 ；将匹配窗口与若干待匹配窗口进行区域对比，取公共交集部分区域，得到若干个交集区域，具体步骤是，以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Carmy 边缘检测算子获得，确定匹配窗口，若为左视点canny图I每一个像素ρ = (xp,yp)，同样对于右视点canny图Γ的ρ'，建立一个十字，十字分为水平部分H(p)和垂直部分V(p)；需
要自适应地确定四个参数即十字的左、右、上、下的长度以 为例，在所涉及的像素{Pr = (xp-r, yp) 0<r^ r*}内找到最左的范围r*， 意味着对于Vr《Λ δ (pr, ρ) = 1和科,尸) = 0(^ < Ζ),其中L为设定的最大搜索范围， δ (Pl, ρ2)表示两个像素在是否属于统一区域，设I。(Pi)表示像素PiW强度，τ为强度差的经验值，这里设置为10:
“ 、I1，max (|/C(A)-Jc(^2)D <r设初始r*= 1，十字最左坐标lenleft =-1，当满足Ι, 〃 、，时，lenleft =Y-r以及r*加1，直到条件不满足；规定hp = maX(r*，l)，就可以获得 的值，以此类推，可以得到这四
个参数，由此可得，
H(P) = {(x,^) I χ e [x^ -Kv,xv +h+p\y = yp)(2)V(P) = ^y)\x = xp^y^ -ν^,^+ν；)}(3)所得自适应窗口为「⑶= J^,⑷，以V(p)的上边界为起始行、下边界为终止行
重新计算区域的最左坐标lenother_left与左右坐标lenother_right。
所述中间虚拟视点的生成的详细步骤如下a)对左视点深度图和右视点深度图按照中间视点的空间几何关系进行视差分配， 形成N+1份视差，作为视点插值的参数；b)利用左视点图像和左视点图像的标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点；c)利用右视点图像和右视点图像的标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点；d)针对场景中物体的相互遮挡问题以及深度估计的误匹配等问题，将左视点与右视点分别生成的中间视点进行协同融合以提高视点生成质量；e)对于少数因为深度图误差造成的零信息点，利用相邻像素点来补偿；f)为克服立体播放时估计误差较大的像素点对立体效果的影响，对这8个视点的图像进行间隔高斯低通滤波，从而弱化深度信息不准确和虚拟视点生成误匹配的影响。本发明具有如下技术效果本发明提出的算法，不需要多台平行的摄像机，而只用两台平行的相隔一定距离的摄像机，综合运用carmy边缘检测、十字搜索、匹配、前景/背景分割等，提出了一套完整的深度序列生成算法，最后利用插值生成虚拟视点，获得两幅平行的有视差的图像，再通过线性插值方法生成两摄像机中间多个视点位置的虚拟视点图像。本发明所使用的算法匹配复杂度低，匹配精度高，所以整个系统的复杂度较低，生成的图像较好，实时性得到了保证， 并可制作成软件，便于应用。
图1 (a)是视频序列某一输入帧图；图1 (b)是图1 (a)的Canny边缘检测结果图；图2是对应像素所生成的十字；图中hl为以中心坐标(i，j)所要确定十字的水平最左坐标；hr为以中心坐标(i，j)所要确定十字的水平最左坐标；Vu为以中心坐标(i，j)所要确定十字的垂直最上坐标；Vd为以中心坐标(i，j)所要确定十字的垂直最下坐标。图3是图2对应像素的自适应窗口；图中(u，v)是与(i，j)具有相同水平座标的新的十字中心点重新确定十字，将所有的的十字叠加在一起得到区域Zd(p)。两个灰十字以(i，j)为中心的十字表明的是区域的骨架，以(u，ν)为中心的十字在区域骨架的基础上寻找十字填充，从而确定区域。图4(a)是左视点，图4(b)是右视点，图4(c)是左视点深度图，图4(d)是右视点深度图；图5 (a)是输入帧，图5 (b)是该帧前景/背景分割结果图；图6是中间虚拟视点。
具体实施例方式近年来计算机视觉相关领域的蓬勃发展，使得针对实时采集的双视点视频，准确、实时的生成中间视点序列成为了可能。而通过本发明提出的算法，不需要多台平行的摄像机，而只用两台平行的相隔一定距离的摄像机，获得两幅平行的有视差的图像序列生成深度序列，再通过插值方法生成两摄像机中间多个视点位置的虚拟视点图像序列。本发明是一种基于左右视点的中间虚拟视点生成技术，是一种针对左右视点视频序列，利用自适应十字窗口生成深度并经过时域深度匹配、空域深度匹配以及插值实时、自适应的生成中间虚拟视点序列的双视点视频中间视点的实时、自适应生成方法。为克服现有技术的不足，本发明在准确获取双镜头的深度图像序列基础上，利用线性插值等技术由双视点向多视点转化。本发明采用的技术方案是，基于左右视点的深度图像序列实时获取以及虚拟视点生成算法，包括下列步骤1、空域深度匹配a)以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Carmy边缘检测算子获得，确定匹配窗口 ；b)在右视点图像对应点的某一水平范围内，进行十字搜索，进而获得若干待匹配窗口 ；将匹配窗口与若干待匹配窗口进行区域对比，取公共交集部分区域，得到若干个交集区域；c)设计能量函数，将匹配窗口、待匹配窗口、额外补偿信息代入能量函数进行计算，选择能量函数最小值对应的待匹配窗口，得到初始视差赋给左视点对应的深度图点；d)区域视差精细化，根据连续性和一致性准则设计矫正函数，纠正初始视差图中分配错误的视差；2、时域深度匹配a)利用背景/前景分割结果，对于背景区域继承上一帧的深度信息；b)对于前景区域，重新利用基于十字搜索方法确定前景区域中的自适应窗口，并在另一个视点图像上进行匹配，求得更新的深度；3.中间虚拟视点的生成a)对视点深度图按照中间视点的空间几何关系进行视差分配，形成N+1份视差， 作为视点插值的参数；b)利用标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点。
下面结合附图和具体实施方式
进一步详细说明本发明。本发明综合了图像特征、自适应模板和图像灰度各种方法的优点，通过特征提取来减少计算量，利用自适应模板和图像的灰度进一步提高图像匹配的精度。算法主要步骤如下1、空域深度匹配a)提取场景中的边缘信息。为了使得深度图的估计更为准确，对自适应窗口的进行深度匹配，自适应窗口的形状根据像素值的相似性来确定。为了避免自适应窗口横跨不同的物体而导致深度的错误估计，采用carmy算子进行场景的边缘检测。所得的边缘检测结果在基于十字形的自适应窗口搜索中起限制边界的作用，从而使获得的自适应窗口与场景中各物体的形状具有一致性。其中的canny指John F. Carmy，即约翰.坎尼，Carmy边缘检测算子是John F. Canny于1986年开发出来的一个多级边缘检测算法。
7
b)以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Carmy边缘检测算子获得，确定匹配窗口 ；若为左视点canny图I每一个像素ρ = (xp,yp)(同样对于右视点carmy图I'的 P')建立一个十字，十字分为水平部分H(P)和垂直部分V(p)。需要自适应地确定四个参
数1，即十字的左、右、上、下的长度以 为例，在所涉及的像素& = (xp-r, yp) 0<r^ r*}内找到最左的范围r*， 意味着对于
权利要求
1. 一种双视点视频到多视点视频的实时自适应生成方法，其特征是，包括下列步骤1、空域深度匹配a)以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Carmy边缘检测算子获得，确定匹配窗口 ；b)在右视点图像对应点的某一水平范围内，进行十字搜索，进而获得若干待匹配窗口 ；将匹配窗口与若干待匹配窗口进行区域对比，取公共交集部分区域，得到若干个交集区域；c)设计能量函数，将匹配窗口、待匹配窗口、额外补偿信息代入能量函数进行计算，选择能量函数最小值对应的待匹配窗口，得到初始视差赋给左视点对应的深度图点；d)区域视差精细化，根据连续性和一致性准则设计矫正函数，纠正初始视差图中分配错误的视差；2、时域深度匹配a)利用背景/前景分割结果，对于背景区域继承上一帧的深度信息；b)对于前景区域，重新利用基于十字搜索方法确定前景区域中的自适应窗口，并在另一个视点图像上进行匹配，求得更新的深度；3、中间虚拟视点的生成a)对视点深度图按照中间视点的空间几何关系进行视差分配，形成N+1份视差，作为视点插值的参数；b)利用标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点。
2.如权利要求1所述方法，其特征是，所述在右视点图像对应点的某一水平范围内，进行十字搜索，进而获得若干待匹配窗口 ；将匹配窗口与若干待匹配窗口进行区域对比，取公共交集部分区域，得到若干个交集区域，具体步骤是，以左视点图像上某一像素点为中心进行十字搜索，搜索边界由Carmy边缘检测算子获得，确定匹配窗口，若为左视点carmy图I 每一个像素P= (xp，yp)，同样对于右视点canny图I'的ρ'，建立一个十字，十字分为水平部分H(p)和垂直部分V(p)；需要自适应地确定四个参数即十字的左、右、上、下的长度以~为例，在所涉及的像素(xp-r,yp) 0<r^r*}内找到最左的范围r*，意味着对于VM Λ δ (ρ” ρ) = 1和^V+1，M = Qf 其中L为设定的最大搜索范围，δ (Pl,P2)表示两个像素在是否属于统一区域，设I。(Pi)表示像素PiW强度，τ为强度差的经验值，这里设置为10:“ 、I1，max (|/C(A)-Jc(^2)D <r [θ ,其他 -r* >0设初始Z= 1，十字最左坐标Ienleft = -I,当满足M Ρ 、，时，lenleft = y-r*以及Z加1，直到条件不满足；规定hp = max(r*，1)，就可以获得 的值，以此类推，可以得到这四个参数，由此可得，
3.如权利要求1所述方法，其特征是，所述中间虚拟视点的生成的详细步骤如下a)对左视点深度图和右视点深度图按照中间视点的空间几何关系进行视差分配，形成 N+1份视差，作为视点插值的参数；b)利用左视点图像和左视点图像的标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点；c)利用右视点图像和右视点图像的标准深度图进行虚拟视点生成，通过视点插值生成中间6个虚拟视点；d)针对场景中物体的相互遮挡问题以及深度估计的误匹配等问题，将左视点与右视点分别生成的中间视点进行协同融合以提高视点生成质量；e)对于少数因为深度图误差造成的零信息点，利用相邻像素点来补偿；f)为克服立体播放时估计误差较大的像素点对立体效果的影响，对这8个视点的图像进行间隔高斯低通滤波，从而弱化深度信息不准确和虚拟视点生成误匹配的影响。
全文摘要
本发明涉及视频图象处理。为提供一种使用较少摄像机即能实现多视点立体图像的实时获取方法，本发明采取的技术方案是，双视点视频到多视点视频的实时自适应生成方法，包括下列步骤1、空域深度匹配a)以左视点图像上某一像素点为中心进行十字搜索，确定匹配窗口；b)进行十字搜索，获得若干待匹配窗口；c)设计能量函数，将匹配窗口、待匹配窗口、额外补偿信息代入能量函数进行计算，得到初始视差赋给左视点对应的深度图点；d)区域视差精细化，根据连续性和一致性准则设计矫正函数，纠正初始视差图中分配错误的视差；2、时域深度匹配；3.中间虚拟视点的生成。本发明主要应用于视频图象处理。
文档编号H04N13/00GK102368826SQ201110348720
公开日2012年3月7日 申请日期2011年11月7日 优先权日2011年11月7日
发明者侯春萍, 李素梅, 杨敬钰, 武国梁 申请人:天津大学