专利名称：用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置的制作方法
技术领域：
本发明涉及处理数字图像，并且更具体地涉及一种用于填充根据至少两个图像来 估算的深度图或视差图中的被遮蔽区域(occluded area)的技术。
背景技术：
已知为深度图或视差图的图传统地使用在三维视频(3D视频)应用(诸如，浮雕 显示(display in relief)、三维场景的重构、以及视频图像中的虚拟导航)中。这些图是 通过根据相同场景的至少两个图像的估算处理而获得的，所述相同场景来自通过多个摄像 机拍摄的立体视频或者多视图视频或者对应于相同视频中的不同时间。在传送立体内容的具体情况下通常使用两种方法。第一种方法使用一对被定位 以便再现人的视觉系统的传统的摄像机，每个相机对应于一只眼睛。被拍摄的两个单视 觉(monoscopic)的视频序列被传送给用户。另一种方法仅仅传送伴随有与每个像素相关 联的深度信息的一个单视觉彩色视频序列。在这种情况下，可以通过基于深度图的渲染 (rendering)算法而在用户端处合成一个或多个虚拟视图。该深度图方法具有减少用于传 送的总带宽的具体优点，并且直接可应用于具有数据压缩的视频编码。为了定义将什么传统地称作深度图和视差图，并且为了简化解释，考虑其中(例 如，通过摄像机来)产生来自两个不同视点的相同场景的两个图像的双目(binocular)立 体视觉的具体情况。该两个图像传统地被称作右手图像和左手图像。在该上下文中，对应 于给定图像的深度图(例如，右手图像或左手图像)是数字图像，该数字图像的每个像素与 表示作为所关注的像素与相机的距离的特性的色彩(例如，灰色的阴影)的值相关联。图1示出深度图，其中通过从用于最近的对象的白色到用于最远的对象的黑色的 灰度级来表示在图像中出现的对象相对于摄制了场景的相机的距离。由此，在该示例中，具 有比较淡的阴影的桌子和包含花朵的花瓶是场景中最近的对象(前景)，而所表示的屏幕 呈现为最远的对象(背景)。图加和2b表示可以根据其来估算深度图的一对立体图像。图加表示左手图像， 而图2b表示右手图像。视差图体现了上述的两个图像的立体匹配的结果。立体匹配在于在左手图像和 右手图像中发现同源的(homologous)像素，即，作为场景中相同实体的投影的像素。视差 图是视觉地表示这种匹配的结果的一种方式视差图的每个像素表示视差的幅度，即，左手 图像中像素的位置和右手图像中该像素的对应方(counterpart)的位置之间的距离。由 此，视差图的每个像素与表示视差的幅度的色彩特性的值相关联。传统的处理再次使用灰 度的阴影例如，像素越暗，则视差越小，其中完全白色的像素表示在两个图像之一中没有 对应方的像素。易于证明与图像的给定像素相关联的深度值越高，则对应的视差值越低。由此， 深度和视差为两个成反比例的量值，本发明可以均等地应用于深度图或者视差图。在本描述的剩余部分中，深度图和视差图可互换地指代并且术语“图”指代这些图中的任一个。深度图或者视差图的使用在诸如视频中的虚拟导航、浮雕显示、3D建模以及视频 编码之类的新兴技术的上下文中是非常重要的。通过来自不同视图的预测而获得的深度图 还可以用于通过使用深度图来预测视图而执行压缩的压缩应用。在这种方法中，深度图用 于预测在相同场景的其他视频中的对应的视图，以便限制冗余信息的传送，特别是在由多 个视频和相关联的深度图组成的MVD(多视图视频和深度)数据的情况下。无论最终应用 是什么，这些图的精度因此对于重构的视图的质量和对于编码应用中的高效的视频压缩是 关键的。具体地，深度图/视差图的质量与所关注的图中被遮蔽区域的存在有联系。被遮 蔽区域是像素在图像之一中没有对应方的图的区域，其中在仅仅一个图像中一部分可见。 这些被遮蔽区域本质上是由场景中的被称作遮蔽对象的对象造成的，所述遮蔽对象即在两 个图像之一(右手图像或者左手图像)中屏蔽了在另一个图像中直接可见的所表示场景的 具体范围的对象。发现被遮蔽区域本质上处于由图中的深度不连续性造成的边界的周围。图3表示使用基于图形剪切的已知算法估算的视差图的示例。更精确地，所使 用的算法是例如在文献〃 Multi-camera scene reconstruction via graph cuts ", V. Kolmogorov and R. Zabih, Proceedings ofthe European Conference on Computer Vision, 2002中描述的算法。在所表示的图像中，白色区域是通过上述的图形剪切算法检测的被遮蔽区域并且 尚不可能对其确定像素值，这是因为在分别由图加和图2b表示的左手图像和右手图像中 缺少对应方。因此，必须考虑深度图或者视差图中的这些被遮蔽区域，以便增强通过基于这些 图的重构或者合成处理所获得的图像的质量。这具体地在检测和/或填充对应于缺失信息 的被遮蔽区域中的间隙(gap)中成为问题。用于处理上述的深度图或者视差图的缺陷的已知技术具体包括对从深度图或者 视差图重构的图像进行操作的第一类技术。该第一类的解决方案例如在文献“Mereoscopic imaging =Filling disoccluded areas in image-based rendering" ,C. Vazquez,W. J. Tam,and F. Speranza, Proceedings of the SPIE Three-Dimensional TV, Video, and Display, Vol. 6392, pp. 0D1-0D12,2006中进行了描述。根据这些解决方案，重构的图像中的间隙通过传播 (propagate)从其邻域(vicinity)获得的值而进行填充。然而，对从深度图或者视差图重 构的图像进行操作的这类技术具有很少利用(如果进行利用的话)深度图的特定特征的缺 点。这些图表示具有与纹理化的二维OD)图像不同的特征，诸如缺乏纹理细节以及对该对 象的相对位置的深度的影响。第二类已知的技术直接对深度图或者视差图进行操作。例如，文献‘‘Improving depth maps by nonlinear diffusion " , J. Yin and J. R. Cooperstock, Proc. 12th International Conference Computer Graphics, Visualization and ComputerVision, Pizen,Czech Republic,Feb. 2004描述了可应用于深度图以增强被遮蔽区域或者缺乏纹理 的区域的后期处理。该后期处理基于通过非线性扩散(即，与边缘检测结合的高斯平滑化) 进行的填充。
在文献“Design Considerations for View Interpolation in a 3D Video Coding Framework “，Yannick Morvan, Dirk Farin，and Peter H. N. de With,27th Symposium on Information Theory in The Benelux, Vol. lp.，June 2006，Noordwijk， Netherlands中描述的另一技术通过比较最靠近被遮蔽像素的两个有效像素的深度值来传
播背景。图如和4b分别表示来自图3的视差图的细节和在使用基于图形剪切的已知技术 来填充被遮蔽区域之后的相同的细节。在图4b中表示的图像由此示出来自图3的视差图 的、但是在使用以下算法来填充被遮蔽区域之后的相同细节，所述算法逐行地取得图像并 且利用当前行(沿着该行的方向是深度图与其相关联的图像的函数)中的无效像素之后 的第一有效(非被遮蔽的)像素来填充被遮蔽区域的无效像素。这样的填充算法例如在 文献"Occlusions in motion processing" , Abhijit Ogale, Cornelia Fermuller, and Yiannis Aloimonos, SpatioTemporal Image Processing, March 2004, London, UK 中进行 了描述。在填充之后获得的图4b的图像中，对于人的左边可见的白色区域(特别是在他们 的右手周围)对应于在填充被遮蔽区域时产生的误差。这些误差主要是由于已错误地对其 分配了值并且因此破坏了填充过程的被遮蔽区域的像素造成的，或者是由于在填充期间不 正确的值的传播所造成的，这导致了例如如在图像中表示的人的右手周围的细节的丢失。由此，对深度图或者视差图直接进行操作的技术具有以下缺点不能管理被遮蔽 区域中的误差或者伪像和/或生成模糊的外观(特别是在所表示的对象的边缘处)，这是因 为所应用的处理引起的。此外，通过仅仅比较邻近无效像素的第一有效像素的值，背景的传 播是不确定的，在凹对象(concave object)的情况下尤其如此。结果，上述的技术仅仅部分地处理了深度图或视差图的缺陷以及伪像、不正确的 值的传播，以及由这些图的缺陷导致的细节的丢失，这是因为被遮蔽区域的存在造成了重 构的图像中的不一致性并且在使用从深度图/视差图预测的图像的浮雕显示期间的不一 致性。因此，存在改进视差图和深度图的质量(特别是关于它们在对象的轮廓周围的精 度)的实际需求。
发明内容
具体地响应于上述的需求，本发明的第一方面提供了一种填充深度图或视差图的 被遮蔽区域的方法。在该方法中，所述图根据至少两个图像来估算并且由形成一组行和列的像素的矩 阵组成，该图的每个像素与被称作“像素值”的深度值或者视差值相关联，并且被称作“无效 像素”的被遮蔽区域的任何像素与可被识别为无效的像素值相关联。根据本发明，该方法包括·在预定义的方向上逐个像素地处理该图的每一行；以及·向在当前行中遇到的每个无效像素Pi分配值，所述值按照与当前行中的无效像 素Pi之后的第一有效像素Pl (如果存在的话)周围的预定义的邻域中的像素相关联的值 的函数来确定，并且该第一有效像素Pl的值V(PI)相对于当前行中的无效像素Pi之前的最后的有效像素PO (如果存在的话)的值V(PO)而对应于更大的深度或者更小的视差。通过向无效像素分配如上所述获得的值而获得的对被遮蔽区域的这种填充使得 可以传播背景(即，最大深度值或者最小视差值)并且仅仅是背景，这是由于遮蔽对象造成 的被遮蔽区域总是位于以下对象的相同侧，该对象处于遮蔽对象背后并且当在预定义方向 中处理行时被进行考虑。通过将分配给无效像素的深度(视差)值限制在比来自被遮蔽区 域之前的行的最后的值高(低)得多，确保了用于填充间隙的值对应于背景。通过本发明的 方法来填充间隙具体地使得可以防止对象的像素而不是背景被传播，并且使得可以在适当 的情况下当图像的部分不应该被联结(tie)(具体地，如在凹对象的情况下频繁发生)时、 防止他们联结。因此具体地可以保留相同凹对象(例如，人)内的细节，特别是保留手臂和 手之间的区别。根据本发明的方法的优选的特征 如果存在有效像素P0、但是不存在有效像素Pl，则将像素值分配给无效像素Pi， 并且这个像素值按照与当前行中的无效像素Pi之后的第一有效像素P2 (如果存在的话) 周围的预定义邻域中的像素相关联的值的函数来确定；·如果不存在有效像素P2，则向无效像素Pi分配像素值，这个像素值按照与像素 PO周围的预定义邻域中的像素相关联的值的函数来确定；·如果不存在有效像素P0，则向无效像素Pi分配像素值，并且这个像素值按照与 当前行中的无效像素Pi之后的第一有效像素P2(如果存在的话)周围的预定义邻域中的 像素相关联的值的函数来确定；否则，如果不存在有效像素P2，则向无效像素Pi分配缺省 值Vd。在本发明的优选实施方案中，按照与所关注的像素的邻域中的像素相关联的值的 函数、通过向所关注的邻域中的像素的所述值应用中间值或者平均值数学函数来确定向无 效像素Pi分配的像素值。在实践中，像素周围的邻域由以所关注的像素为中心的有效像素块组成。在一个具体应用中，根据一对右手和左手图像来获得所述深度图或者视差图，如 果根据左手图像来估算该图，则对该图的像素行进行处理的预定义的方向对应于从右至左 的方向，而如果根据右手图像来估算该图，则对该图的像素行进行处理的预定义的方向对 应于从左至右的方向。被遮蔽区域是在从一个相机转到另一相机时未覆盖的区域，并且因此，对于并列 或修整(rectify)的图像(即，其对应于利用会聚相机进行的图像拍摄、但是其中两个图像 的核线(bipolar line)已经对齐)的右手(左手)图像而言，该遮蔽区域本质上位于对 象的左边(右边)。本发明还提供了一种数字地处理深度图或视差图的方法，包括通过如上简要定义 的填充方法来填充该图的被遮蔽区域的步骤。根据本发明的数字处理方法的具体特征，可以在该填充被遮蔽区域的操作之前进 行·旨在消除该图的被遮蔽区域中的估算误差的闭合形态滤波的操作；和/或 在整个图上使用依照预定义大小的块所分析的像素的值的中间值滤波而对该图 进行局部均勻化的操作。
在关联方式中，本发明提供了一种用于数字地处理深度图或视差图的装置，该装 置值得注意的在于，其包括用于填充该图的被遮蔽区域的模块，该模块适配于使用如上简 明定义的本发明的填充方法。本发明进一步提供了一种数字图像处理计算机程序，其值得注意的在于，所述计 算机程序包括用于当该程序在计算机系统中执行时、执行用以数字地处理深度图或视差图 的本发明的方法的指令。在此，表述“计算机系统”意味着适配于处理数字数据的任何基于 处理器的装置。通过本发明的计算机程序和数字处理装置实现的优点具体包括上述的与本发明 的填充方法或者用于数字地处理深度图/视差图的本发明的方法有关的那些优点。
在阅读了仅仅通过示例以及参照附图而给出的以下详细描述时，可以更好地理解 本发明，在附图中·已经评述的图1表示深度图的一个示例；·已经评述的图加和沘表示可以根据其来估算深度图的一对立体图像；·已经评述的图3表示使用基于图形剪切的已知算法估算的视差图的一个示例；·已经评述的图如和4b分别表示来自图3的视差图的细节和在使用现有技术来 填充被遮蔽区域之后的相同细节； 图fe和恥表示填充深度图或视差图中的被遮蔽区域的本发明的方法的主要步 骤的流程图；·图6示出本发明的一个实施方案中用于数字地处理深度图/视差图的方法和装 置，其中在填充操作之前进行消除图的估算误差的操作和对图的局部均勻化的操作； 图7a和7b分别表示在应用形态滤波器(morphological filter)之前(图7a) 和在应用形态滤波器之后(图7b)的在图如中表示的图的相同细节； 图和8b图示对在应用了形态滤波器之后获得的视差图应用局部均勻化滤波 器的结果，图8a和8b分别示出在应用局部均勻化滤波器之前和之后的图；以及·图9示出在根据本发明进行处理以填充被遮蔽区域之后的来自图8b的视差图。
具体实施例方式图如和恥表示用于填充深度图或视差图中的被遮蔽区域的本发明的方法的主要 步骤的流程图。如上所述，本发明可互换地应用于深度图或者视差图，这是因为这些图对应 于成反比例的数据。本发明的方法应用于根据至少两个图像(例如，右手图像和左手图像)来估算的 深度图或视差图，或者应用于由来自另一视图的预测(例如，如基于压缩算法从不同视图 进行的预测一样)获得的深度图或视差图。讨论中的图传统地由形成一组行和列的像素的矩阵组成。图的每个像素与被称作 像素值的深度值或视差值相关联。该值典型地是以八个比特编码的二进制值，并且能够采 取从0到255且包含0和255的十进制值。在值的该范围内，一些值是有效的深度值/视 差值，而特定的值是无效的值。由此，如果被选取为表示被遮蔽区域的色彩是白色，则相关联的深度值/视差值典型地是十进制值255。由此，从相关联的像素值，可将对应于图的被 遮蔽区域的像素识别为无效。在实践中，用于填充深度图/视差图的被遮蔽区域的本发明的方法通过在数据处 理系统中执行的计算机程序来实现，要被处理的图预先存储在数据处理系统中。本发明的 方法逐行地并且对于每一行、逐个像素地考虑深度图/视差图(以下称为图)。在预定义的 方向上逐个像素地处理该图的每一行。相应地，在实践中，在根据包括右手图像和左手图像的一对图像来获得图的情况 下，如果根据左手图像来估算图，则处理图的像素行的方向对应于从右至左的方向。相反， 如果根据右手图像来估算图，则处理图的像素行的方向为从左至右。如在图fe中表示的，用于填充深度图/视差图的被遮蔽区域的本发明的方法以步 骤(El)和然后的步骤(E2)开始，该步骤(El)用于选择图的一行(被称作当前行)，该步骤 (E2)用于从所选择的行中选择像素(被称作当前像素Pc)。测试步骤E3根据相关联的像素值是否对应于无效值(例如，对应于白色的值255) 来确定当前像素Pc是否是无效像素。结果，如果当前像素是有效的(测试E3，“0”)，则它 不属于被遮蔽区域，并然后执行测试步骤E10，以确定当前行的处理是否已经完成以及该图 是否已经被完全处理。由此，如果在步骤ElO中，确定当前行的处理还没有完成(E10，“00”)，则返回到 步骤E2以选择当前行的下一像素。如果当前行的所有像素都已经处理、但是不是该图的 所有行已被处理(E10，“10”)，则返回到步骤El以从图中选择另一行，例如，紧接在已经处 理的行下面的行。最终，如果该图的所有行都已经处理，则已经完成了对该图的处理(E10， “11，，)。如果在步骤E3中确定当前像素Pc是无效的(Pc = Pi ；E3，“l”)，则对行中在该无 效像素Pi之前的最后的有效像素(标注为Po)进行搜索(步骤Ε4)。在实践中，当处理图 的任一行时，存储有关所检查的每个像素的信息(位置、有效性、相关联的值等等)，这使得 随后可以非常快地获得与已经检查的像素相关的信息。如果这样的像素PO存在(E5，“l”)，则通过在预定义的方向上处理当前行来对行 中在无效像素Pi之后的第一有效像素Pl进行搜索(步骤Ε6)，并且使得相关联的像素值 V(Pl)对应于比像素PO的值V(PO)更大的深度(或者如果处理视差图，则对应于更小的视 差)。通过不等式的条件V(Pl) >V(P0)、在图fe中用符号表现所搜索的相对于像素PO而 对应于更大深度的像素Pl。在实践中，对于位于所关注的无效像素Pi之后的有效像素的搜索在通过本发明 的方法的用户能够进行修改的多个像素(例如，50个像素)所限定的固定范围中实行。如果这样的像素Pl存在(步骤E7，“l”)，则然后在步骤E8中确定像素Pl周围的 像素的邻域附，在此之后，在步骤E9中计算要分配给无效像素Pi的深度(或视差)值(标 注为 Vcal (Pi))。根据本发明，深度值Vcal (Pi)按照与处于像素Pl周围的像素的邻域m中的像素 相关联的深度(或视差)值的函数来确定，步骤E8中的表达式“Ncal = Ni”用符号表示将 像素的邻域W分配给计算深度值Vcal (Pi)。在实践中，像素周围的所确定邻域可以由以讨论中的像素为中心的像素块(例如，由五个有效像素组成的块)而组成。在本发明优选的实施方案中，通过计算属于所关注的像素邻域的像素的值的数学 中间值(mathematical median)来确定要分配给所关注的无效像素Pi的值Vcal (Pi)。可 替换地，可以使用数学平均值来替代数学中间值。由此，对于像素Pl周围的像素的邻域m， 计算与邻域W的像素相关联的深度(或者视差)值的中间值。返回到步骤E7，如果在图的当前行中不存在无效像素Pi之后的并且相对于像素 PO而对应于更大的深度的有效像素Pl (步骤E7，“0”)，则所应用的处理是被标明为“情形 2”并且在图恥中图示的处理。在该情况下，对当前行中的无效像素Pi之后的第一有效像 素P2进行搜索(步骤E21)。如果存在这样的像素P2(E22，“1”)，则确定像素P2周围的 像素的邻域N2(步骤E2!3)，如以上所解释的，随后(经由图恥的步骤E25而)返回到步骤 已9(图如)。在步骤E9(标注为“Val_Pi”)中，按照与像素P2周围的像素的邻域N2中的 像素相关联的深度(或视差)值的函数来计算要分配给无效像素Pi的深度值或者视差值 (标注为Vcal (Pi))。在实践中，计算与邻域N2的像素相关联的深度(或者视差)值的数 学中间值。相反，如果不存在这样的像素P2(步骤E22，“0”)，则使用预先(步骤E4)确定的 像素P0，并且由此，如以上所解释地确定像素PO周围的像素邻域(标注为NO)(步骤E24)。 之后(经由图恥的步骤E25而)返回到图如的步骤E9。在步骤E9中，按照与像素PO周 围的像素的邻域NO中的像素相关联的深度(或视差)值的函数，来计算要分配给无效像素 Pi的深度(或视差)值Vcal (Pi)。在实践中，计算与邻域NO的像素相关联的深度(或者 视差)值的数学中间值。最终，在图fe的步骤E5中，如果不存在当前行中的无效像素Pi之前的有效像素 PO (E5 “0”)，则应用图恥中图示的被标明为“情形1”的处理。在该情况下，对当前行中无 效像素Pi之后的第一有效像素P2进行搜索(步骤Ell)。如果存在这样的像素P2(E12， “1”)，则如之前所解释地确定像素P2周围的像素的邻域N2(步骤Ei;3)，随后(经由图恥 的步骤E16而)返回到图fe的步骤E9。在步骤E9中，按照与像素P2周围的像素的邻域 N2中的像素相关联的深度(或视差)值的函数，来计算要分配给无效像素Pi的深度(或视 差)值(标注为Vcal (Pi))。在实践中，计算与邻域N2的像素相关联的深度(或者视差) 值的数学中间值。相反，如果不存在这样的像素P2 (步骤E12，“0”)，则向像素Pi分配缺省值(标注 为Val_def)(步骤E14)。这之后返回到上述的图fe的测试ElO (步骤E15)。在实践中，使得被分配给无效像素Pi的缺省值Val_def例如等于128，其对应于平 均深度(或视差)。图6示出本发明的一个实施方案中用于数字地处理深度图/视差图的方法和装 置，其中在填充操作之前进行消除图的估算误差和使得图局部均勻化的操作。如在图6中所表示的，用于数字地处理深度图或者视差图的本发明的装置包括用 于填充图的被遮蔽区域的模块63，并且可以进一步包括两个附加模块61和62之一或者二 者，该两个附加模块61和62各自的功能在以下描述。最终，用于数字地处理深度图/视差 图的本发明的装置还可以包括用于根据多个图像来估算深度图或者视差图的模块60。在一个优选的实施方案中，这些模块在实践中由包括适配于执行用于数字地处理深度图/视差图的本发明的方法的指令的一组计算机程序而组成。于是，当在计算机或者 数据处理系统中执行上述的程序组时，执行该方法。在图6中表示的实施例中，相同场景的两个(右手和左手)图像Lii被提供给 用于执行根据两个图像^ii来估算视差图的操作(标注为A)的软件模块60。例如，模块 60可以使用基于图形剪切的算法，例如，以上所引用并且在文献"Multi-camera scene reconstruction via graph cuts" , V. Kolmogorov and R. Zabih, Proceedings of the European Conference on Computer Vision，2002中描述的算法。如在图3中所表示的，模 块60因此在其输出端传递视差图Cin。在所示并描述的实施例中，模块61取得视差图Cin，以用于消除由模块60在估算 相对于输入图像(Im)的视差(或者深度)图时产生的估算误差(称作非正常值(outlier)。 这些误差本质上是由视差图中的被遮蔽区域所造成的。在一个实施例中，模块61仅仅在还 未被视差估算算法所填充的被遮蔽区域中向视差图应用已知的闭合(closure)形态滤波 器。如在图如和4b中所示，该滤波使得可以消除被遮蔽区域中的非正常值，以使得它们不 干扰对这些区域的填充。形态滤波器对图中的间隙进行平滑化，并且由此，使得可以通过随 后使用来自无效像素的邻域的值来填充被遮蔽区域而防止误差传播。图7a和7b分别表示在应用形态滤波器之前(图7a)和在应用形态滤波器之后 (图7b)的在图如中表示的图的相同细节。由此，对应于在该图像中表示的人的右拇指周 围存在的估算误差的、在左手图像(图7a)中环形区域中的两个灰色的点已经在右手图像 (图7b)中消失了。再次参照图6，在所描述的实施例中，在经历了上述的形态滤波(操作B)之后，视 差图经历由局部均勻化模块62执行的局部均勻化操作C。在该操作C期间，向视差图应用第二级滤波。与在操作B期间应用的滤波相比，向 整个图应用该第二级滤波，以便局部地使视差图均勻化、同时在其上保留对象的轮廓的所 有细节。由此，所应用的滤波具体地使得可以消除或者合并(merge)由用于使视差图/深 度图在时间上高度不稳定的非常详尽的(detailed)对象(例如，树木)造成的小的被遮蔽 区域，特别是在视频情况下。通过模块62应用的第二级滤波按照下面的方式来操作。从完整的视差/深度图 像检测非正常值。对于图的每个像素，考虑与在以所关注的像素为中心的块中包含的所有 邻域像素Vi对应的邻域V。研究该块中的邻域像素Vi，以评估该块中具有相似值的像素和 具有和与所关注的像素β相关联的值不同的值的那些像素的数目。例如，所关注的像素块 可以是具有边长为7个像素的正方形，但是可以由本发明的图像处理装置的用户按照所处 理的图像的类型的函数来修改块的大小。参照阈值S1和&来定义像素值的相似和不同的概念，以便使处理更加鲁棒。由 此，如果像素η的值和像素η周围的邻域ν中像素Vi的值之间的差低于阈值S1 (例如，其可 以设置为 ο)，则认为像素β和像素Vi相似，表达如下.禾口 P 相似< S1类似地，如下定义参照阈值S3(例如，其可以被设置为40)的值不同的概念WiEVvi^ P 不同G /p-VJ > S3对于正被分析的块的所关注的每个像素，如果块中的相似像素的比例低于阈值&和/或如果不同像素的比例高于阈值&，则将所关注的像素检测为非正常值(误差像素)。 可以使用以下值，例如s2 = 30%和、=60%。然后，要分配给被识别为非正常值的像素 的校正值是通过用于检测误差的块的中间值滤波而获得的值。通过以下公式来概括所应用的处理如果
权利要求
1.一种填充深度图或视差图的被遮蔽区域的方法，所述深度图或视差图根据至少两个 图像来估算并且由形成一组行和列的像素的矩阵组成，该图的每个像素与被称作像素值的 深度值或者视差值相关联，并且被称作无效像素的被遮蔽区域的任何像素与能被识别为无 效的像素值相关联；所述方法的特征在于，其包括以下步骤(E1、E2、E10)，该步骤(E1、E2、E10)用于在预定 义的方向上逐个像素地处理该图的每一行，并且向在当前行中遇到(Ε； )的每个无效像素 Pi分配(E4-E9)像素值，所述像素值按照与当前行中的无效像素Pi之后的如果存在的第一 有效像素Pl周围的预定义的邻域中的像素相关联的值的函数来确定，并且该第一有效像 素Pl的值V(Pl)相对于当前行中的无效像素Pi之前的如果存在的最后的有效像素PO的 值V (PO)而对应于更大的深度或者更小的视差。
2.根据权利要求1的方法，其中，如果存在有效像素PO(E5)、但是不存在有效像素 Pl (E7)，则将像素值分配(E21-E23、E25、E9)给无效像素Pi，并且所述像素值按照与当前行 中的无效像素Pi之后的如果存在的第一有效像素P2周围的预定义邻域中的像素相关联的 值的函数来确定。
3.根据权利要求2的方法，其中，如果不存在有效像素P2(E22)，则向无效像素Pi分配 (E24.E25.E9)按照与像素PO周围的预定义邻域中的像素相关联的值的函数来确定的像素值。
4.根据权利要求1的方法，其中，如果不存在有效像素PO(EQ，则向无效像素Pi分配 (E11-E13、E16、E9)像素值，并且所述像素值按照与当前行中的无效像素Pi之后的如果存 在的第一有效像素P2周围的预定义邻域中的像素相关联的值的函数来确定；否则，如果不 存在有效像素P2(E12)，则向无效像素Pi分配(E14)缺省值Vd。
5.根据任何前述的权利要求的方法，其中按照与所关注的像素的邻域中的像素相关联 的值的函数、通过向所关注的邻域中的像素的所述值应用中间值或者平均值数学函数来确 定向无效像素Pi分配的像素值。
6.根据任何前述的权利要求的方法，其中所关注的像素周围的邻域由以所关注的像素 为中心的有效像素块组成。
7.根据任何前述的权利要求的方法，其中根据一对右手和左手图像来获得所述深度图 或者视差图，并且其中如果根据左手图像来估算该图，则对该图的像素行进行处理的预定 义的方向对应于从右至左的方向，而如果根据右手图像来估算该图，则对该图的像素行进 行处理的预定义的方向对应于从左至右的方向。
8.一种数字地处理深度图或视差图的方法，其特征在于，所述方法包括使用根据任何 前述的权利要求的方法来填充被遮蔽区域的操作(D)。
9.根据权利要求8的处理方法，其中在该填充被遮蔽区域的操作(D)之前进行旨在消 除该图的被遮蔽区域中的估算误差的闭合形态滤波的操作(B)。
10.根据权利要求8或权利要求9的处理方法，其中在该填充被遮蔽区域的操作(D)之 前进行在整个图上使用依照预定义大小的块所分析的像素的值的中间值滤波而对该图进 行局部均勻化的操作(C)。
11.一种用于数字地处理深度图或视差图的装置，其特征在于，所述装置包括用于填充 该图的被遮蔽区域的模块(63)，该模块(63)适配于使用根据权利要求1至7中的任一项的填充方法。
12.根据权利要求11的装置，其特征在于，所述装置进一步包括用于在填充被遮蔽区 域之前、消除该图的被遮蔽区域中的估算误差的闭合形态滤波器模块(61)。
13.根据权利要求11或权利要求12的装置，其特征在于，所述装置进一步包括用于在 填充被遮蔽区域之前、在整个图上使用依照预定义大小的块所分析的像素值的中间值滤波 而对该图进行局部均勻化的模块(62)。
14.一种用于处理数字图像的计算机程序，其特征在于，所述计算机程序包括适配于当 该程序在计算机系统中执行时、执行根据权利要求1至10中的任一项的方法的指令。
全文摘要
一种在深度图或视差图的掩蔽域中进行填充的方法，该图基于至少两个图像而估算并且由形成一组行和列的像素的矩阵构成，该图的每个像素与被叫做“像素值”的深度值或者视差值相关联，并且被叫做“无效像素”的掩蔽域的任何像素与可被识别为无效的像素的值相关联。这个方法包括在预定义的方向上逐个像素地遍历(E1、E2、E10)该图的每一行，并且向在当前行中遇到(E3)的每个无效像素Pi分配以下值，所述值按照与属于当前行中的无效像素Pi之后的第一有效像素P1(如果它存在的话)周围的预定义的邻域的像素相关联的值的函数来确定(E4-E9)，并且该第一有效像素P1的值V(P1)关于当前行中的无效像素Pi之前的最后的有效像素P0(如果它存在的话)的值V(P0)而对应于更大的深度或者更小的视差。
文档编号G06T5/00GK102077244SQ200980124298
公开日2011年5月25日 申请日期2009年6月22日 优先权日2008年6月24日
发明者戴维·亚历山德里尼, 拉斐尔·巴尔特, 斯蒂芬尼·佩托伊克斯 申请人:法国电信公司