专利名称：基于边缘象素特征的深度估计方法
技术领域：
本发明属于通信领域，涉及三维立体视频中深度估计技术，具体的说是一种能够 得到高精度的深度图的深度估计方法，从而使合成的虚拟视图在边缘部分的形成的噪声点 少，有效改善合成虚拟视图的主观质量和客观质量，可应用于任意视点电视系统中。
背景技术：
在传统电视系统中，用户仅能观看到三维世界中有限的视角，且其观看的视点与视角由摄像机的三维空间位置与方向决定。因此用户不能自由的选择观看的视点与视角。 任意视点电视FTV系统则允许用户从不同的视角观看真实的三维空间，从而提供一种全新 的更加生动、真实的三维视听系统。由于FTV能够向用户提供更加真实的交互式观看效果， 因此可以被广泛应用于广播通信、娱乐、教育、医疗、视频监控等各种类型视频系统。图1为FTV系统的主要功能模块。FTV系统发送端生成的数据包括位于多个视点 的摄像机阵列拍摄得到的视频数据，以及对应的场景深度数据；FTV系统接收端则使用各 种基于深度信息的虚拟视图生成技术获取用户所需的任意视点视频数据。因此，高质量深 度数据的获取是实现FTV系统的关键技术之一。在目前的FTV系统中，首先使用视差估计 得到视差值d，接着根据下式将视差值d转换为相应的深度值
(1)式中1表示摄像机间距；f摄像机镜头的焦距；Znem与Zto分别表示三维场景中的 物体距离摄像机的最近距离平面的深度值与最远距离平面的深度值。目前，主要采用基于图割的全局优化来估计视差。即首先建立一个代表象素亮度 非一致性以及视差非一致性的能量函数，然后采用全局优化使该能量函数最小化。能量最小化定义了能够使视差非一致性能量函数E最小化的最佳的视差组合f， 而该能量函数由对应视差象素点的亮度非一致性项和相邻象素视差非一致性项组成，如式 (2)所示
(2)式中
表示当前视图中的象素集合，Dp衡量当前视图 pePp
中的象素P在视差&的条件下与参考视图中的象素(P+fp)之间的亮度非一致性，通常 A =I7P-A+/+其中Ip表示当前视图中的象素ρ的亮度值，表示参考视图中的象素
(P+fp)的亮度值；而
表示当前象素与其相邻象素之间的视差非一致
{P,作 N
性，其中，N表示邻近象素对的集合，V{p,q}eN(fp, fq)衡量当前视图中象素ρ的视差为fp，其 相邻象素q的视差为f；时，二者视差的不一致性。若
(3)
则对于较小的|fp-fj，其相应的视差非一致性代价不会太大；而对于较大的 fp-f;l，其视差非一致性代价也会相应增加。从而所得到的最优的视差通常在相邻象素 之间的视差差异不会很大。而实际上，在立体匹配问题中，由于存在视差的不连续性，特别 是在物体的边缘部分，物体边缘部分的象素视差通常与其周围象素视差差异较大，因此，式 (3)会造成物体边缘部分的过平滑现象，由于物体边缘部分的过平滑，会造成合成视图中边 缘部分的模糊和混叠，严重影响视觉效果。对于同一边缘的物体，它们的视差基本是相同的，即使有变化，也是连续的和缓慢 的，因此式(3)具有适应性。但是，由于边缘划分的不同物体在图像中的投影，即使是相邻 象素，它们也不具有视差的一致性。因而需要研究式(3)的适应性，才能产生真正有效的深 度估计方法。目前，FTV系统中所采用的深度估计方法是通过设置最佳的视差fp，最小化视差非 一致性能量函数E，最终为每一个象素找到其合适的视差值，然后通过式(1)将视差值d转 换为相应的深度值。视差非一致性能量函数E由对应视差象素点的亮度非一致性项和相邻 象素视差非一致性项组成。其中对应视差象素点的亮度非一致性项描述了对当前视图中的 象素P分配一个视差fp，通过视差fp在参考视图中找到象素P的对应象素点，当前象素P与 其对应象素点的匹配程度；相邻象素视差非一致性项描述了当前视图中象素P与其周围相 邻象素视差的非一致性程度，若当前象素P与周围相邻象素q具有不同的视差，则在视差非 一致性能量函数中增加相应的非一致性代价。注意到边缘点视差的特殊性，现有深度估计方法认为与周围象素相比，边缘是具 有阶跳视差的象素点。为了研究边缘象素的深度，该方法给出了一些场景图像的边缘辅助 信息，其中，边缘辅助信息所指出的边缘象素点上具有阶跃性视差。如图2所示，现有深度估计方法首先判断当前象素与其周围相邻象素的状态，即 判断象素是否位于图像中物体的边缘上，然后设计了如式(4)所示的两类视差非一致性代 价函数Vj和Vc
其中，E为边缘图 ⑷式中
，即如果象素ρ和象素q均不在边
缘上，它们之间的视差变化较为平缓，因此若出现较大的阶跃视差，V。取一个无穷大值；
，而若象素ρ和象素q其中一个位于边缘上或者二者均位于
边缘上，则它们之间的视差具有较大的阶跃，因此若二者之间的视差变化较为平缓，Vj将同 样取一个无穷大值。其次，计算象素亮度非一致性以及根据所设计的视差非一致性函数计算视差非一 致性，利用能量最小化函数进行视差估计。最后，利用所估计得到的视差值，根据视差深度转换公式将视差值转换为相应的 深度值以完成深度估计。现有深度估计方法是基于以下事实在同一个边缘上的点的视差应该变化平缓；同时该方法指出图像边缘上象素和图像边缘以外的象素点视差差异较大。而实际中，若边 缘象素与其相邻象素属于同一深度对象，则二者的视差值应该平缓变化，若二者不属于同 一深度对象，则视差差异可能较大。该方法不加区别的认为图像边缘点象素与相邻象素的 视差差异均较大，在图像边缘处会产生错误的视差估计结果，从而影响到图像边缘处的深 度值的准确性，使合成的虚拟视图质量降低
发明内容
本发明的目的是针对FTV系统中现有的深度估计方法中存在的问题，提出一种基 于边缘象素深 度特征的深度估计方法，以提高物体边缘处深度估计结果，从而保证FTV系 统接收端合成的虚拟视图质量。实现本发明的技术方案是根据当前象素的具体位置，将图像中的象素划分为三 类；根据图像边缘处象素深度的特点，对所划分的每一类象素提出相应的视差非一致性函 数；利用所得到的视差非一致性函数进行视差估计；将视差值转换为相应的深度值，具体 步骤包括A.对图像中的象素进行分类，将图像中的象素分为三类第一类为边缘上象素， 第二类为边缘旁象素，第三类为非边缘象素；B.根据处于图像中的物体边缘上的象素的深度与较近物体的深度相同的特征，分 别设计出每一类象素相应的视差非一致性函数Bi)第一类象素相对应的视差非一致性函数设计若当前象素的相邻象素处于图像中的物体边缘上，则相应的视差非一致性函数 为 式中fp表示当前象素ρ的视差；表示当前象素P的相邻象素q的视差；λ表示 平滑因子，取值为1 ；若当前象素的相邻象素在图像中的物体边缘旁，判断相邻象素是否处于较近物体 对象内，如果是，则相应的视差非一致性函数为 如果相邻象素处于较远物体对象内，则视差非一致性函数为 从而设计出第一类象素的视差非一致性函数为 式中E( ·)是边缘辅助信息，E( ·) = 1表示该象素位于图像中物体边缘上，E( ·) =O则表示该象素不在图像中物体边缘上；B2)第二类象素相对应的视差非一致性函数设计若当前象素以及当前象素的相邻象素均在图像中物体边缘旁，则相应的视差非一致性函数为 若当前象素的相邻象素在图像中物体边缘上，判断当前象素是否处于较近物体对 象内，如果当前象素处于较近物体对象内，相应的视差非一致性函数为 如果当前象素处于较远物体对象内，则视差非一致性函数为 从而设计出第二类象素的视差非一致性函数为 B3)第三类象素相对应的视差非一致性函数设计若当前象素与其周围相邻象素均不在图像中物体边缘上，则此类象素的视差非一 致性函数为 C.根据亮度非一致性函数以及所得到的三类象素的视差非一致性函数，分别计算 象素亮度非一致性和视差非一致性，利用能量最小化函数进行相应的视差估计D.根据估计得到的视差值，利用视差深度转换函数，将视差值转换为相应的深度 值，以完成深度估计。本发明与现有技术相比具有以下优点由于本发明充分利用图像中的物体边缘象素的深度特征，根据图像中的物体边缘 旁的象素是否处于较近物体对象内的位置，设计出所划分的三类象素相对应的视差非一致 性函数，因此与FTV系统中现有的深度估计方法相比，得到的深度图在物体边缘部分更为 准确，从而使合成的虚拟视图在物体边缘部分的形成的噪声点较少，有效提高了合成视图 的主观质量和客观质量。
图1是FTV系统中的功能模块结构框图；图2是现有深度估计方法的流程图；图3是本发明深度估计方法的流程图；图4是分别利用现有深度估计方法和本发明深度估计方法得到的深度图；图5是分别利用现有深度估计方法和本发明深度估计方法得到的合成虚拟视图。
具体实施例方式参照图3，本发明的深度估计方法，包括如下步骤步骤1，根据当前象素具体位置，对图像中的象素进行分类。1A)如果当前象素位于图像中的物体边缘上，则将当前象素划分到第一类象素中，即边缘上象素；1B)如果当前象素处于图像中的物体边缘旁，而其周围相邻象素存在位于物体边 缘上的象素，则将当前象素归于第二类象素，即边缘旁象素；1C)如果当前象素处于图像中的物体边缘旁，且其周围相邻象素均处于图像中的 物体边缘旁，则将当前象素归于第三类象素，即非边缘象素。步骤2，根据图像中的物体边缘象素的深度特征，设计出三类象素相应的视差非一 致性函数。图像中的物体边缘象素的深度特征如下(a)场景是由充满物体的空间构成。场景中的各个物体有它的轮廓线，反映到图像 里就是边缘线。边缘线是场景中物体间在图像中投影的分割线，在图像中边缘两侧往往是 两个不同的物体投影。所以边缘点深度与它邻近点深度不尽相同，但也不一定不相同；(b)在人们的视线方向，物体由近及远重叠出现，直至无穷远。物体的重叠构成边 缘，而边缘点属于两个重叠物体中较近的那个物体，也就是说，边缘点的深度和较近物体的 深度相同或相近；(c)即使边缘是分割物体的边界，但在图像中还存在假边缘，即在一个物体内部有 类似边缘的线条存在，它们和邻近点的深度关系同于一般相同物体内的邻近点深度关系。三类象素相应的视差非一致性函数如下2A)第一类象素的视差非一致性函数设计在第一类象素中，当前象素处于图像中物体的边缘上，若当前象素的相邻象素也 处于图像中的物体边缘上，位于同一边缘上的象素其视差变化应该是缓慢的，则相应的视 差非一致性函数为V(p,q}eN(fp, fq) = λ Ifp-U式中fp表示当前象素ρ的视差；表示当前象素P的相邻象素q的视差；λ表示 平滑因子，取值为1 ；若当前象素的相邻象素在图像中的物体边缘旁，则需要判断相邻象素是否处 于较近物体对象内。令当前象素为P，其左方相邻象素q位于边缘旁。比较相邻象素q 与当前象素P的视差差值，以及相邻象素q与象素q左方的相邻象素m的视差差值，若
fq-fp ( IfrfJ，则象素q属于较近物体对象内；否则，象素q属于较远物体对象内，其中 fm表示象素m的视差；如果相邻象素处于较近物体对象内，由于当前象素位于较近物体对象内，则二者 属于同一物体对象内。根据图像中物体边缘象素的深度特点(b)和(C)，象素P与其相邻象 素q属于同一深度对象，二者之间的视差变化应该是缓慢的，则相应的视差非一致性函数 为V{p,q}eN(fp, fq) = λ；如果象素q位于较远物体对象内，同样根据图像中的物体边缘象素的深度特点 (b)和(C)，其与位于图像中的物体边缘上的象素P不属于同一深度对象内，二者之间的视 差差异较大，则相应的视差非一致性函数为V{p,q}eN(fp, fq) =oo ；从而设计出第一类象素的视差非一致性函数为
式中E( ·)是边缘辅助信息，E( · ) = 1表示该象素位于图像中的物体边缘上， E( · ) = O则表示该象素位于图像中的物体边缘旁；2B)第二类象素的视差非一致性函数设计在第二类象素中，当前象素处于图像中物体的边缘旁，若当前象素的相邻象素也 处于图像中的物体边缘旁，二者之间视差变化应该是缓慢的，则相应的视差非一致性函数 为
；若当前象素的相邻象素在图像中的物体边缘上，则需要判断当前象素是否处于较 近物体对象内。令当前象素为P，其左方相邻象素q位于图像中物体的边缘上；比较相邻象 素q与当前象素P的视差差值，以及相邻象素q与象素q左方的相邻象素m的视差差值，若
fq-fp ( IfrfmI，则象素P属于较近物体对象内；否则，象素P属于较远物体对象内；如果当前象素处于较近物体对象内，由于相邻象素位于较近物体对象内，则二者 属于同一物体对象内。同样根据图像中的物体边缘象素的深度特点(b)和(c)，象素ρ与其 相邻象素q属于同一深度对象，二者之间的视差变化应该是缓慢的，则相应的视差非一致 性函数为 如果象素ρ位于较远物体对象内，同样根据图像中的物体边缘象素的深度特点 (b)和(C)，其与位于图像中的物体边缘上的象素q不属于同一深度对象内，二者之间的视 差差异较大，则相应的视差非一致性函数为 从而设计出第二类象素的视差非一致性函数为 2C)第三类象素的视差非一致性函数设计在第三类象素中，当前象素与其相邻象素均位于图像中的物体边缘旁，因此，二者 之间的视差变化应该是缓慢的，所设计的此类象素的视差非一致性函数为 步骤3，利用能量最小化函数进行视差估计。3A)象素亮度非一致性计算象素亮度非一致性衡量了当前视图中的象素ρ在视差&的条件下与参考视图中 的象素(P+fp)之间的亮度非一致性，由下式计算
式中Ip表示当前视图中的象素ρ的亮度值；表示参考视图中的象素(p+fp)的 亮度值；3B)象素视差非一致性计算象素视差非一致性衡量当前视图中的象素ρ的视差为fp，其相邻象素q的视差为 fq时，二者视差的不一致性，其由步骤2所设计的三类象素的非一致性函数ν{ρ, } eN(fp，fq) 计算得到；3C)视差估计利用计算得到的象素亮度非一致性和象素视差非一致性，根据能量最小化函数来 估计视差。能量最小化函数定义了能够使能量函数E最小化的最佳的视差组合f，如下式所 示 式中
，其中P表示当前视图中的象素集合；
其中N表示邻近象素对的集合。步骤4，利用视差值计算深度值。根据步骤3估计得到的视差值，利用视差深度转换函数，将视差值转换为相应的 深度值，以完成深度估计；视差深度转换函数如下式所示 式中d表示估计得到的视差值；Z表示深度值；I表示摄像机间距；f摄像机镜头 的焦距；zn_与Zto分别表示三维场景中的物体距离摄像机的最近距离平面的深度值与最 远距离平面的深度值。本发明的效果可以通过以下实验进一步证明1、实验条件本发明采用运动图像专家组MPEG组织提供的深度估计参考软件和虚拟视图合成 参考软件为实验平台，将本发明的基于边缘象素特征的深度估计方法与FTV系统中现有的 深度估计方法分别集成到深度估计参考软件中。同时，实验中采用了 MPEG组织提供的三组 多视点视频序列，艮口 champagne_tower、book_arrival与newspaper。为了验证本发明方法 的有效性，比较这两种方法所得到的深度图质量，同时比较和分析了在FTV系统接收端合 成的虚拟视图的主客观质量。2、实验内容首先，分别利用现有的深度估计方法与本发明中的基于边缘象素特征的深度估计 方法估计深度数据，得到的champagrntower序列的深度图如图4所示。其中图4(a)为现 有深度估计方法的深度图结果，图4(b)为本发明的深度估计方法的深度图结果。
其次，利用采集到的多视点视图以及由两种方法估计得到相应视图的深度图合成 虚拟视图，得到的champagrntower序列的合成虚拟视图如图5所示。其中图5(a)为利用 现有深度估计方法合成的虚拟视图结果，图5(b)为利用本发明的深度估计方法合成的虚 拟视图结果。最后，分别计算利用两种深度估计方法得到的虚拟视图的峰值信噪比PSNR，结果 如表1所示。表1基于两种方法得到的合成虚拟视图PSNR结果 3、实验分析从图4中可以看出，由于充分利用了图像中的物体边缘象素的深度特性，采用本 发明的深度估计方法所得到的深度图在物体边缘处更为准确，极大地减少了图像噪声。从图5中可以看出，由于本发明的深度估计方法得到了更为精确的深度图，从而 极大改善了合成虚拟视图边缘的主观质量。从表1中可以看出，与现有的深度估计方法相比，采用本发明方法所得到的虚拟 视图的客观质量都得到不同程度的提高，平均可达0. 32dB。
权利要求
一种基于边缘象素特征的深度估计方法，包括如下步骤A.对图像中的象素进行分类，将图像中的象素分为三类第一类为边缘上象素，第二类为边缘旁象素，第三类为非边缘象素；B.根据处于图像中的物体边缘上的象素的深度与较近物体的深度相同的特征，分别设计出每一类象素相应的视差非一致性函数B1)第一类象素相对应的视差非一致性函数设计若当前象素的相邻象素处于图像中的物体边缘上，则相应的视差非一致性函数为V{p，q}∈N(fp，fq)＝λ|fp-fq|式中fp表示当前象素p的视差；fq表示当前象素p的相邻象素q的视差；λ表示平滑因子，取值为1；若当前象素的相邻象素在图像中的物体边缘旁，判断相邻象素是否处于较近物体对象内，如果是，则相应的视差非一致性函数为V{p，q}∈N(fp，fq)＝λ|fp-fq|；如果相邻象素处于较远物体对象内，则视差非一致性函数为V{p，q}∈N(fp，fq)＝∞；从而设计出第一类象素的视差非一致性函数为式中E(·)是边缘辅助信息，E(·)＝1表示该象素位于图像中的物体边缘上，E(·)＝0则表示该象素处于图像中的物体边缘旁；B2)第二类象素相对应的视差非一致性函数设计若当前象素以及当前象素的相邻象素均在图像中物体边缘旁，则相应的视差非一致性函数为V{p，q}∈N(fp，fq)＝λ|fp-fq|；若当前象素的相邻象素在图像中物体边缘上，判断当前象素是否处于较近物体对象内，如果当前象素处于较近物体对象内，相应的视差非一致性函数为V{p，q}∈N(fp，fq)＝λ|fp-fq|；如果当前象素处于较远物体对象内，则视差非一致性函数为V{p，q}∈N(fp，fq)＝∞；从而设计出第二类象素的视差非一致性函数为B3)第三类象素相对应的视差非一致性函数设计若当前象素与其周围相邻象素均不在图像中物体边缘上，则此类象素的视差非一致性函数为V{p，q)∈N(fp，fq)＝λ|fp-fq|若E(p)＝0且E(q)＝0；C.根据亮度非一致性函数以及所得到的三类象素的视差非一致性函数，分别计算象素亮度非一致性和视差非一致性，利用能量最小化函数进行相应的视差估计；D.根据估计得到的视差值，利用视差深度转换函数，将视差值转换为相应的深度值，以完成深度估计。FSA00000085978500011.tif,FSA00000085978500021.tif
2.根据权利要求1所述的基于边缘象素特征的深度估计方法，其中步骤A所述的对图 像中的象素进行分类，是根据当前象素的位置确定，如果当前象素处于图像中物体边缘上， 则将该象素归于第一类象素；如果当前象素不在图像中物体边缘上，且其周围象素存在图 像中物体边缘上的象素，则将此象素归于第二类象素；如果当前象素不在图像中物体边缘 上，且其周围象素均不在图像中物体边缘上，则将此象素归为第三类象素。
3.根据权利要求1所述的基于边缘象素特征的深度估计方法，其中所述的判断位于图 像中的物体边缘旁的象素是否处于较近物体对象内，按如下步骤进行令当前象素P位于边缘上，其左方相邻象素q位于边缘旁；比较相邻象素q与当前象素P的视差差值和相邻象素q与象素q左方的相邻象素m的 视差差值，若IfffpI≤IfffJ，则象素q属于较近物体对象内，否则，象素q属于较远物体 对象内，其中4表示象素m的视差。
全文摘要
本发明公开了一种基于边缘象素特征的深度估计方法，主要解决FTV系统中现有深度估计方法存在的图像边缘深度估计不准确的问题。其方案是首先，根据当前象素的具体位置，将图像中的象素分为边缘上象素、边缘旁象素以及非边缘象素三类；其次，根据图像中的物体边缘象素的深度特征，分别设计出每一类象素相应的视差非一致性函数；然后，根据亮度非一致性函数以及所得到的三类视差非一致性函数，分别计算象素亮度非一致性和视差非一致性，利用能量最小化函数进行相应的视差估计；最后，根据估计得到的视差值，利用视差深度转换函数，将视差值转换为相应的深度值，完成深度估计。本发明有效地提高了物体边缘象素的深度估计准确性，可有效保证FTV系统接收端合成的虚拟视图的主观质量和客观质量。
文档编号G06T7/00GK101840574SQ20101014950
公开日2010年9月22日 申请日期2010年4月16日 优先权日2010年4月16日
发明者冯妮娜, 刘晓仙, 常义林, 李志斌 申请人:西安电子科技大学