专利名称：用于三维电视的分级图像深度提取方法
技术领域：
本发明涉及一种用于三维电视的分级图像深度提取方法。
背景技术：
立体视频和多视点视频可以应用在包括自由视点视频/电视(FVV/FTV)、三 维电视(3DTV)等场合，它的提出体现了下一代多媒体应用网络化、交互性和 真实感的发展方向。但多视点视频的数据量随着相机数目的增加而成倍地增加， 要实现大量数据的有效压縮，在目前广泛采用的主要有两类压縮方法。 一类是 多视点视频编码(Multi-view Video Coding, MVC)，它利用各个视点之间相关 性来进行压縮，但是当视点数目增加时，所需要传输的数据量就会随之显著增 加。另一类是采用二维视频加深度信息的方法来对多视点视频进行压缩编码。
相对于MVC，利用深度信息进行立体或多视点视频压縮编码的优点是所需要 传输的数据量不会随着视点数目的增加而显著增加，而在解码器端，可根据深 度信息来恢复出多个视点的视频。因此采用这种方法，可以显著节省网络带宽。
深度信息有两种获取方式。第一种是采用特殊的摄像机，通过红外线扫描 等方式，在拍摄的同时直接测量出深度信息，如ATTEST组织采用的摄像机Zcam。 该摄像机由一个传统的摄像机，加上一个高速脉冲红外线光源组成，摄像机在 拍摄的同时发射出红外线脉冲，通过测量红外线来回的时间获取每个像素的深 度信息。另一种方式是通过立体或多路视频恢复出深度信息。深度值的精确度 直接影响解码器端立体或多视点视频恢复的精确度，从而影响立体视频的观赏 效果和立体视觉效果。因此在第二种方式中，采用适当的算法以精确地恢复出 深度信息非常重要。
理想情况下的深度值Z可以由公式(1)得到
其中，b为相机间距，f为相机焦距，d为视差。b和f都是可以确定的，因此 可以看出，恢复深度信息的要点和难点就是从立体视频或多视点视频中，精确 地为每一幅图像中每一个像素在另外几个视点的图像中寻找到匹配点，计算出 视差，从而恢复深度信息。双目立体视觉的视差原理如图1。图中的模型采用最简单的双摄像机平行光 轴成像，Il和L分别表示左右像平面，0l和0b是左右攝像机的光心，b是左右摄
像机光心之间的距离，称为体视基线。P(x，y，z)为三维空间中的一点，PR 分别表示P(x，y，z)在左右像平面上的投影点。投影线P^和P^所确定的平面称 为核心平面，它与左右像平面的交线称为核心线或极线(Epipolar line)。由 于两个摄像机的光轴与像平面垂直，Y轴互相平行，将右边图像的平面坐标系平 移到左像平面，这样左右两个摄像机坐标系完全重合，则&在左平面坐标系上 成为^。视差即为尸￡和尸《之间的距离，艮P:<formula>formula see original document page 4</formula>
(2)
立体匹配的主要任务，就是将同一个空间物理点在不同图像中的映像点对 应起来。它主要考虑三个问题基元选择，匹配准则和算法结构。
在匹配基元选择上，常见的匹配基元有点状特征、线状特征和区域特征等。 点状特征定位准确，检测和描述容易，精确度高；但它在图像中数目多，包含 的信息量少，因此在匹配时需要较强的约束准则和匹配策略。而在一般应用时， 由于点在图像中的数目非常多，因此往往并不是对每个点都进行匹配，而是选 择特征点进行匹配，如边缘点或角点，这类匹配称为特征匹配。特征匹配并不 直接利用灰度值进行匹配，而是利用灰度的梯度等特征进行比配，因此抗干扰 性好；但是由于特征在图像上的稀疏性决定了特征匹配只能得到稀疏的视差场， 并且匹配精度收到特征提取精度的影响。而线状特征和区域特征含有更丰富的 图像信息，在图像中数目较少，易于实现快速匹配；但是它们的定位精度较差。
在匹配中要遵循一定的匹配准则。唯一性约束要求一幅图像上的每个特征 点最多只能与另一幅图像上的一个特征点对应。连续性约束要求物体表面上各 点的视差是连续的，因此深度场也是连续的，但在物体边界两侧的两个点，视 差是突变的。相容性约束要求物体表面上的一点或者一块区域在两幅或多幅图 像上的投影点在灰度、灰度梯度和几何形状上相似。极线约束规定一幅图像上 的任一点，在另一幅图像上的对应点只可能唯一该点的外极线上。顺序一致性 约束要求两幅或多幅图像对应极线上的对应点之间的排列顺序是不变的。
匹配的算法结构是立体匹配中最重要的部分，它与基元的选择相对应，主 要分为基于特征的匹配和基于区域的匹配。
采用基于特征的匹配时，主要分三个步骤-第一步，找出图像中的特征点，如图像中的边缘点、角点等灰度不连续点。
常用的边缘点检测算子有Roberts、 Sobel、 Previtt、 L0G等。角点提取算子有 Beaudet、 Dreschler、 Nagel、 Kichen、 Rosenfeld、 Zuniga、 Hrarik等。
第二步，相似性检验。设左图中任一边缘像素为PL(x，y)，该像素在右图中
的候选匹配边缘像素为P"Sn，tJ， n=0，l，"'， PK(Sn，tJ要满足:
(1) 搜索范围为避免误选，将极线约束的条件从一条极线放宽为核心带，可 能匹配点的坐标(Sn， O应满足
K^"w)l乂 —"max S ^X + Hmax)^一「max《L ^ ^ + ^nax } (3)
其中，H^是最大水平视差，V^为核心带高度，x， y为PL(x，y)的坐标。
(2) 图像间对应边缘像素应该有相似的边缘差分值
kz(^力-(4)
其中，gi0，力和&(X,O分别是左右图像中边缘点的差分值，S是确定图像 间对应边缘像素差分值相似程度的阈值。
(3) 图像间对应边缘像素应该有相似的边缘梯度方向值
《(x，力-A(^，U卜^ (5)
其中，^(x,力和^c^,o分别是左右图像中边缘点的梯度方向值，3是确定
图像间对应边缘像素梯度方向值相似程度的阈值。
以上是从左边图像到右边图像的初始匹配。在完成了上述步骤后，再以同 样的过程进行从右图到左图的初始匹配。
第三步，兼容性检验。经过初始匹配后，每个边缘像素在另一幅图像对应 一个候选的匹配像素集合，存在匹配的多义性和模糊性。因此要根据视差连续 性约束，进行兼容性检验。
定义视差之差为D和支持函数S分别为
<formula>formula see original document page 5</formula> (6)
<formula>formula see original document page 5</formula> (7)
其中，Pu(x，y)表示左图中一个边缘像素a， Wa表示以a为中心的邻域，P"x， y) 表示左图中一个边缘像素c，它在a的邻域Wa中，SP"x,y)是c的候选匹配集。 PLb(x，y)表示右图中一个边缘像素b，且&(^OeSi^(;c，力，即b是a的一个候 选匹配像素，Wb表示以b为中心的邻域，PM(x，y)表示左图中一个边缘像素d， 它在b的邻域Wb中，并且d是c的一个候选匹配像素。cU表示点a， b之间的视差，cL表示点c， d之间的视差。
当与匹配像素对相邻的像素，经过匹配后的视差与其视差保持连续时，
D(，)二0， S(，)=l;反之，S(，Xl。
在此基础上定义评价检验函数
其中，k为迭代次数，S为支持函数，C(^。,/^，/^，i^)为兼容检验加权系数
、，当(Pk, Pw)是唯一确定匹配像素对时
1,当(Pk,P^)是可能的匹配像素对时 (9) o，当(P^， p^)是非匹配像素对时
c(尸丄。,H。
对每个边缘像素进行兼容性检验，当满足-
和 "(&,尸助)，v&， & (10)
时，则像素对(Pu，Pj为唯一兼容匹配，从而可以得到视差dab。其中，Pw是a 的匹配像素集中的任意一点，而Pu是b的匹配像素集中的任意一点。
区域匹配直接利用像素灰度值，使用一定的约束条件来寻找立体图像对中 像素点的对应关系进行匹配。其基本思想是假设两幅图像对应点的小邻域内具 有相似的灰度分布。把一幅图像中某一像素的灰度邻域作为模板，在另一幅图 像中搜索具有相同或类似灰度值分布的对应点邻域，从而实现两幅图像的匹配。
设I,和Ir为两幅立体图像对，PJ Pr分别为两幅图像中的像素点，(2W+1)
为匹配区域的宽度，R(P》是Ir中与h相关的搜索区域，W (u, V)是两个像素值u， v的相关函数。对于L中的每个像素P产[i， j]有，计算相关值
『 『
C(")= S Sw(/,(/ + A:，y + /)，/r(/ + A —/ (11)
其中，山,d2为视差矢量为d的x，y分量，W表示匹配区域的大小。R的视差就是 在R(PD中使C(d)最大的矢量d。
欧洲出版号W02007020570公开了一个根据单路视频运动矢量获取深度信息 的方法。该方法利用图像内物体的运动特征从单路视频获得深度信息，首先从 视频中获得运动矢量的信息，然后根据是物体运动的越快，则深度越小的原则，
6计算出深度值，但是该方法只适用于静态场景。
中国公开号1153362公开了一种从二维运动图像获得深度信息以产生三维 图像的方法。首先选取适当的帧以计算深度信息或间断计算，并用深度信息进 行图象处理，通过块匹配等方式取出屏上目标的运动信息。随后，计算三维目 标的真实运动。由于取景器图像是空间投影，可根据大量代表点的运动通过逆 变换获得目标的初始三维运动，得到目标的三维坐标，从而获得目标的深度信 息。但是该方法无法恢复出每个像素精确的深度信息，并且计算复杂，不适合 三维电视中实时深度提取。
中国公开号101051386公开了一种从多幅深度图像的匹配方法，首先判断 边界点、噪声点和孤立点，去掉噪声较大的点后，在不同深度图像的重叠区域 选择参考点，并搜索参考点的对应点。然后采用迭代方法，逐步优化整体配准 精确度，在每次迭代过程中，首先为每个参考点在对应点缓冲区中搜索最近点 作为对应点；然后使用伪逆矩阵最小化所述的对应点之间的误差，如此多次迭 代，直到误差小于所要求的阈值为止。但该方法只对特征点进行匹配，获得一 个稀疏的深度场。
本发明提出的用于三维电视的分级图像深度提取方法，利用双路视频，采 用特征匹配与区域匹配相结合的方法，克服了以上原有几种方法的缺点，可以 快速精确地获得高密度的动态场景的深度场。
发明内容
本发明的目的是克服现有技术的不足，提供一种用于三维电视的分级图像 深度提取方法。
它包括如下步骤
1) 利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列；
2) 对图像的边缘点进行特征匹配，得到边缘点的深度值；
3) 根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区 域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；
4) 对每个块边界进行滤波以去除块效应,使块边界过渡平滑。 所述的对图像的边缘点进行特征匹配，得到边缘点的深度值步骤
(a) 利用边缘点检测Sobel算法分别提取出左右图像中边缘像素点；
(b) 对边缘点采用特征匹配的方法在左右图像中寻找出所有边缘匹配点
对；
(C)根据匹配边缘点对在左右两幅图像的像素坐标，计算出视差；(d) 根据匹配边缘点对的视差值计算边缘点的深度值。 所述的根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个
区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度步骤
(e) 根据边缘点的深度值，将图像分成几个不同深度层次的区域；
(f) 在左右图像之间对每个区域,根据边缘点匹配的结果进行亮度值校正;
(g) 将每个区域分成若干个16X16块，在区域内部16X16块匹配中，确 定搜索区域；
(h) 对每个16X16块，以差值的平方和为匹配准则，进行基于块的区域匹
配；
(i) 当16X16块匹配中得到的差值平方和大于某个阈值1时，将16X16 块分割成16个4X4块，对每个4X4块进行块匹配；
(j)当4X4块匹配中得到的差值平方和大于某个阈值2时，将4X4块进 一步分割成4个2 X 2块，对每个2 X 2块进行块匹配；
(k)对于区域边缘非完整块进行块匹配和深度值加权。 本发明适用于三维电视中通过两路视频提取高密度的深度场。在深度提取 中，单独使用特征匹配只能形成一个稀疏的视差场，而只使用区域匹配会导致 匹配的抗干扰性和精确度下降，而本专利中利用的特征匹配和区域匹配相结合 的立体匹配方法可以有效地避免单独使用两种匹配而导致的不足，得到一个精 确而高密度的视差场。同时分级块大小的匹配，可以很好地实现在处理速度和 精确度上的折衷。
图1是双目立体视觉的视差原理图； 图2是立体视频获取中相机的摆放位置图； 图3是利用Sobel算子检测边缘点时相邻像素点的加权系数图； 图4是对于左边图像的块，在右边图像中块匹配的搜索范围图； 图5是对区域边界的未匹配点，通过将周围像素加权平均以计算深度值时， 周围像素的加权系数分配图6是块边界滤波时6种相邻块的组合的示意图7是两个16X 16块相邻时滤波方法和滤波顺序的示意图8是16X 16块与4X4块相邻时滤波方法和滤波顺序的示意图9是两个4X4块相邻时滤波方法和滤波顺序的示意图10是4X 4 ±央与2 X 2块相邻时滤波方法和滤波顺序的示意图。具体实施方法
用于三维电视的分级图像深度提取方法包括如下步骤
1) 利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列； 相机的摆放位置如图2。左右相机平行放置，它们的光轴Z!和Zr相互平行，
相机间距为b，即左右相机的光心ft和(X之间的距离为b。相机的焦距相等，都 为f。
2) 对图像的边缘点进行特征匹配，得到边缘点的深度值；
3) 根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区 域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；
4) 对每个块边界进行滤波以去除块效应，使块边界过渡平滑。 所述的对图像的边缘点进行特征匹配，得到边缘点的深度值步骤
(a) 利用边缘点检测Sobel算法分别提取出左右图像中边缘像素点； 用边缘点检测Sobel算法提取出相邻像素灰度变换的大小和方向。Sobel算
子是一种一阶微分算子。对于数字图像的每个像素点，相邻像素点灰度的加权 和可以用来表示相邻像素灰度的变化，加权系数如图3。通过式(13)来计算出 相邻像素的灰度变化
<formula>formula see original document page 9</formula>当某像素点的g(/，力大于一定阈值时，将这个点确定为图像中的边缘点。
(b) 对边缘点采用特征匹配的方法在左右图像中寻找出所有边缘匹配点
对；
当用Sobel算子寻找到图像中所有的边缘点之后，用背景技术中介绍的特征 匹配的方法，对左边图像中的每个边缘点在右边图像中寻找到匹配点，然后再 对右边图像中的每个边缘点，在左边图像中寻找到匹配点，从而得到匹配的边 缘点对。
(c) 根据匹配边缘点对在左右两幅图像的像素坐标，计算出视差；
(d) 根据匹配边缘点对的视差值计算边缘点的深度值。 所述的根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个
区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度步骤
(e) 根据边缘点的深度值，将图像分成几个不同深度层次的区域； 经过特征匹配后，可以得到一个稀疏的物体轮廓的深度场。根据边缘点的深度值，将图像分成几个不同深度层次的区域。在每个区域内，采用基于块的 区域匹配(或称块匹配)。
(f )在左右图像之间对每个区域，根据边缘点匹配的结果进行亮度值校正；
立体视频采用两个摄像机分别拍摄左右两路视频，由于摄像机之间的位置， 以及它们的内、外部参数的影响，会造成左右两个视频之间在角度、对比度和 亮度上有差异。而区域匹配直接利用区域内所有像素的灰度值进行匹配，所以 这种方法对于图像的亮度和对比度的变化比较敏感。因此，在进行区域匹配之 前首先要对区域内像素的灰度值进行校正，以增加匹配的精确度。
在本设计中利用区域边缘像素的灰度值来进行校正。在之前的特征匹配中， 己经对区域的每个边缘像素点进行了匹配。而由于特征匹配是利用像素的梯度 等特征值进行匹配，而不是直接利用像素的灰度值进行匹配，因此特征匹配的 抗干扰性较好，受到左右图像之间亮度和对比度变化的影响很小。
对某个区域R内部，利用区域边缘像素进行校正的方法是
① 计算出该区域R在左右图像中边缘匹配像素对灰度之差的均值A- :
一丄S(d) (14)
其中《和^为左右图像中的一个匹配边缘像素对，n为该区域R的所有边缘像 素的总数。
② 左边图像像素的灰度值不变，对右边图像中的区域R进行灰度校正。对 于右边图像区域内的每个非边缘像素《，其校正后的灰度值《为
(15)
对区域内的非边缘像素进行了灰度校正后，开始对区域内进行基于块的立 体匹配。
(g)将每个区域分成若干个16X16块，在区域内部16X16块匹配中，确 定搜索区域；
对于左边图像某一个区域R，首先将该区域分割成若干16X16块，对于左 边图像的每个16X16块，用类似运动估计的方法进行匹配，在右边图像中找到 匹配块。
设该区域R的边缘点视差的平均值为^[3p3:]， 3由式(16)得到
<formula>formula see original document page 10</formula>
(16)其中，《为该区域某个边缘匹配像素对的视差。
对于左边图像中的每个16X16块，其搜索区域的中心为该16X16的坐标 平移矢量3之后的16X16块，而搜索窗口 W的宽度为-minU6，4^ } ~ +!!!^{16,43,}，高度为-min{8，432} +min{8，432}，搜索区域S为『ni 。如 图4中，对于左边图像L某区域R中的一个16X16块A，在右边图像L.中的搜 索范围为右边图中的阴影区域。
(h) 对每个16X16 ±央，以差值的平方和为匹配准则，进行基于块的区域匹
配；
在确定了左图中一个16X16块的搜索区域后，在右图的该搜索区域范围S 内，寻找与左图中16X16块的灰度分布最相似的16X16块。匹配准则采用差 1!的平方和(Sum of Squared Difference, SSD):
<formula>formula see original document page 11</formula> (17)
其中，^分别为左右两幅图像中的像素。最佳匹配的16X16块就是在搜索 区域中使得SSDw最小视差矢量d二[山，cy所指向的16X16块，艮卩
d = argmijifSSAJcO} (is)
当这个最小的SSDw小于或等于一个预设的阈值h时，匹配结束，得到该 16X16块的视差矢量为该d^山，d2]，然后通过公式(1)来计算出该16X16块 的深度值，再开始对下一个16X 16块进行匹配。
否则，当这个最小的SSDw大于^时，进入步骤i。
(i) 当16X16块匹配中得到的差值平方和大于某个阈值1时，将16X16 块分割成16个4X4 ±央，对每个4X4块进行块匹配；
将该16X16块分割成16个4X4块，对每个4X4块进行匹配，匹配准则 仍然采用16X16块匹配中使用的差值的平方和SSD:
<formula>formula see original document page 11</formula> (19)
最佳匹配的4X4块就是在搜索区域中使得SSD4最小视差矢量c^[山，i]所指 向的4X4块，艮卩
<formula>formula see original document page 11</formula> (20)
当SSD4小于或等于阈值e 2时，该4X4块的匹配结束，同样得到一个视差 矢量d，并计算出该4X4块的深度值。否则，当SSD4仍然大于阈值e2时，进入步骤j。
(j)当4X4块匹配中得到的差值平方和大于某个阈值2时，将4X4块进 一步分割成4个2 X 2块，对每个2X2块进行块匹配；
将该4X4块分割成4个2X2块，对每个2X2块进行匹配，匹配准则仍然 采用上述差值的平方和SSD:
<formula>formula see original document page 12</formula> (21)
最佳匹配的2 X 2块就是在搜索区域中使得SSD2最小视差矢量d=[山，d2]所指 向的2X2块，艮卩
<formula>formula see original document page 12</formula> (22 )
得到该2X2块的视差矢量d，并根据视差d计算出该2X2块的深度值。 (k)对于区域边缘非完整块进行块匹配和深度值加权。
经过分级匹配之后，为区域内每个完整的16X16块都找到了相应的匹配块， 得到它们的视差矢量和深度值。但是当区域的边界非规则时，区域的边缘会出 现非完整的16X16块，即一个16X16块的一部分属于当前区域，而它的另外 部分属于其它的区域。对于这些块，采用下列过程匹配
① 判断是否存在完整的4X4块在区域R内部。若存在，则对这些4X4块 按照步骤i的方法进行匹配，并计算出该4X4块的深度值；
② 对于剩下的像素，再判断是否存在完整的2X2块在区域R内部。若存在， 则对这些2X2块按照步骤j的方法进行匹配，并计算出该2X2块的深度值；
③ 若经过2X2块匹配后，仍然有未匹配的点，对于这些点，通过将周围像 素的深度值加权平均来得到它的深度值。如图5中，若p是待计算的像素，它 的深度值由相邻像素(ai，ii…7)的深度值经过加权平均后得到。其中， ai， a3， a寸，a6 与P直接相邻，其加权系数为2，而 与p对角相邻，加权
系数为1。则P的深度为<formula>formula see original document page 12</formula>其中，加权系数l的取值为
<formula>formula see original document page 13</formula>
经过上述过程，区域边界上非完整块的所有像素也都得到了深度值，从而 区域R内的所有像素都得到了相应的深度值。
所述的对每个块边界进行滤波以去除块效应，使块边界过渡平滑
在区域R内的大部分像素都是以块为整体进行匹配和深度值计算的，因此 在每个块内深度值相同，而在块的边界深度值有可能是突变的。而根据连续性 约束要求，由于物体表面一般来说是平滑的，因此物体表面上各点的视差和深 度值也应该是连续的，所以还要采用一定的块边界滤波方法去除块效应，使块 边界深度过度平滑。
滤波之前，每个块内像素深度的初始值即为其所属块的深度值。滤波的方 法根据不同的相邻块大小(如图6)而略有差别， 一共有6种相邻块的组合，除 此之外，还有16X16块，4X4块和2X2块处于区域R边缘的3种情况。采用 如下的滤波步骤
①两个16X16相邻块滤波
当两个16X16块相邻时，首先对垂直边界(即水平相邻的两个16X16块 的边界)进行滤波，即图7中的过程①。垂直边界滤波时，将处于同一行的每 16个点(即Ph， i=(>**7， pn以及pri， t0…7)的深度值同时进行滤波，滤波的 方法如式(25) (26):
<formula>formula see original document page 13</formula>
对所有的垂直边界滤波完成后，再进行水平边界(即上下相邻的两个16X 16块)滤波，即图7中的过程②。水平边界滤波的方法与垂直边界滤波方法相 同，将处于同一列的16个点(即pui， i岣…7， pn以及pdi， i=(>"7)的深度值 同时进行滤波，滤波的方法如式(27) (28):
<formula>formula see original document page 13</formula><formula>formula see original document page 14</formula>
待所有两个16X 16块相邻的情况都滤波完成以后，进入第②步。 ②16X 16块与4X4块相邻情况的滤波
当16X16块与4X4块相邻时，同样也是首先对垂直边界进行滤波，即图8 中的过程①。垂直边界滤波时，将16X16块中处于同一行的每8个点(即pn， i=0*"7)与4X4块中处于相同行的2个点(pa i=0，l)的深度值同时进行滤 波，滤波的方法如式(29) (30):
<formula>formula see original document page 14</formula>(30)
对所有的垂直边界滤波完成后，再进行水平边界滤波，即图8中的过程②， 如式(31) (32):
<formula>formula see original document page 14</formula>(31)
(32)
待所有16X 16块与4X4块相邻的情况都滤波完成以后，进入第③步。 ③16X16块与2X2块相邻情况，以及16X16块处于区域R边缘情况的滤
波
当16X16块与2X2块相邻时，只对16X16块的像素滤波，而2X2块的 像素不进行滤波。滤波时同样也是首先对垂直边界进行滤波。垂直边界滤波时， 将16X 16块中处于同一行的每8个点(即pu， i=0"*7)的深度值同时进行滤波， 滤波的方法如式(33):
<formula>formula see original document page 14</formula>(33)
对所有的垂直边界滤波完成后，再进行水平边界滤波，如式(34):<formula>formula see original document page 15</formula>对于16X16块处于区域R边缘的情况，也采用式(33) (34)的滤波方法， 但式中的Z&。和Z&。由边缘像素的深度值代替。待所有16X16块与2X2块相
邻的情况，以及16X16块处于区域R边缘的情况都滤波完成以后，进入第④步。
④ 两个4X4相邻块滤波
当两个4X4块相邻时，同样也是首先对垂直边界进行滤波，即图9中的过 程①。垂直边界滤波时，将4X4块中处于同一行的每4个点(即pn， i二0，l与 Ph， i=0，l)的深度值同时进行滤波，滤波的方法如式(35) (36):
《二^1^ (1-0 + 、, / = 0，1 (35)
Z— -z.
了
对所有的垂直边界滤波完成后，再进行水平边界滤波，即图9中的过程②， 如式(37) (38):
y
z。 _zr
待所有两个4X4块相邻的情况都滤波完成以后，进入第⑤步。
⑤ 4 X 4 ±央与2 X 2块相邻，以及4X 4块处于区域R边缘情况的滤波 当4X4块与2X2块相邻时，只对4X4块的像素滤波，而2X2块的像素
不进行滤波(如图10)。垂直边界先进行滤波，然后再对水平边界滤波。滤波时， 只对4X4块边缘像素(即图10中的pw和pu。)滤波，如式(39) (40):
Z +々
z;"= u)+zPn, /=o,i (37)
Z二, \ "'、(2 + 0 + Z二", / = 0，1 (38)
7' — _,m、
4一-^- (39)
zp"0--^- (40)
对于4X4块处于区域R边缘的情况，也采用式(39) (40)的滤波方法， 但式中的Zp,。和Z&。由边缘像素的深度值代替。待所有4X4块与2X2块相邻 的情况，以及4X4块处于区域R边缘的情况都滤波完成以后，进入第⑥步。⑥两个2X2相邻块的情况
对于两个2X2块相邻的情况，不釆用块边界滤波。
经过滤波后，可以得到图像的一个完整的高密度的深度场。在编码端，只 需要对左边视频或者右边视频中的一路视频，以及该深度场进行编码和传输。 而在解码端可以根据单路视频和该深度场来恢复出另一路视频，甚至可以内插 出多个视点的视频。
权利要求
1. 一种用于三维电视的分级图像深度提取方法，其特征在于包括如下步骤1) 利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列；2) 对图像的边缘点进行特征匹配,得到边缘点的深度值；3) 根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区 域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；4) 对每个块边界进行滤波以去除块效应，使块边界过渡平滑。
2. 根据权利要求1所述的一种用于三维电视的分级图像深度提取方法，其特 征在于所述的对图像的边缘点进行特征匹配，得到边缘点的深度值步骤(a) 利用边缘点检测Sobel算法分别提取出左右图像中边缘像素点；(b) 对边缘点采用特征匹配的方法在左右图像中寻找出所有边缘匹配点对；(C)根据匹配边缘点对在左右两幅图像的像素坐标，计算出视差；(d) 根据匹配边缘点对的视差值计算边缘点的深度值。
3. 根据权利要求1所述的一种用于三维电视的分级图像深度提取方法，其特 征在于所述的根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度步骤(e) 根据边缘点的深度值，将图像分成几个不同深度层次的区域；(f) 在左右图像之间对每个区域,根据边缘点匹配的结果进行亮度值校正；(g) 将每个区域分成若干个16X16块，在区域内部16X16块匹配中，确 定搜索区域；(h) 对每个16X16 ±央，以差值的平方和为匹配准则，进行基于块的区域匹配；(i) 当16X16块匹配中得到的差值平方和大于某个阈值1时,将16X16 块分割成16个4X4块，对每个4X4块进行块匹配；(j)当4X4块匹配中得到的差值平方和大于某个阈值2时，将4X4块进 一步分割成4个2 X 2 ±央，对每个2 X 2块进行块匹配；(k)对于区域边缘非完整块进行块匹配和深度值加权。
全文摘要
本发明公开了一种用于三维电视的分级图像深度提取方法。包括以下步骤(1)利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列；(2)对图像的边缘点进行特征匹配，得到边缘点的深度值；(3)根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；(4)对每个块边界进行滤波以去除块效应，使块边界过渡平滑。本发明利用的特征匹配和区域匹配相结合的方法，避免了单独适用两种匹配而导致的不足，得到一个精确而高密度的视差场；同时分级块大小的匹配，可以很好地实现在处理速度和精确度上的折衷。
文档编号H04N13/00GK101312539SQ200810062810
公开日2008年11月26日 申请日期2008年7月3日 优先权日2008年7月3日
发明者何赛军, 冯雅美, 明 张, 李东晓, 冰 石, 谢贤海, 凯 骆 申请人:浙江大学