用于3d视频的图像处理方法和设备的制作方法

用于3d视频的图像处理方法和设备的制作方法
【专利摘要】本发明提供了一种用于三维（3D）视频的图像处理方法和设备。所述图像处理方法可包括：识别第一深度图像，并将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
【专利说明】用于3D视频的图像处理方法和设备
【技术领域】
[0001]一个或多个示例实施例涉及一种用于三维(3D)视频的图像处理方法和设备，更具体地讲，涉及一种用于对输入的分辨率比对应彩色图像的分辨率更低的深度图像进行处理的方法。
【背景技术】
[0002]三维(3D)视频向用户提供具有深度感和比二维(2D)视频更现实的感觉的图像。3D视频系统使用包括比立体3D图像更多的视图的图像来提供3D视频服务。3D视频系统使用包括多个彩色图像和多个深度图像的数据格式。
[0003]深度图像用于产生虚拟视图的合成图像。在本实例中，深度图像中除深度区域之外的区域具有简单且平坦的特性。此外，深度图像可从彩色图像估计或计算，或者可使用能够输出深度图像的相机来获得。在本实例中，深度图像可具有比彩色图像的分辨率更低的分辨率。
[0004]由于深度图像的这个特性，在基于多视图的视频格式中，深度图像的分辨率可不同于彩色图像的分辨率。在本实例中，需要一种对深度图像与彩色图像之间的分辨率的差进行处理以对彩色图像进行编码或解码的方法。

【发明内容】

[0005]问题的解决方案
[0006]前述方面和/或其他方面通过提供这样一种图像处理方法来实现，该图像处理方法包括:识别第一深度图像，并将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
[0007]将第一深度图像上采样为第二深度图像的步骤可包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像。
[0008]膨胀滤波器可通过使用与邻近像素对应的像素值之中的最高像素值来确定通过上采样而产生的新像素的像素值。
[0009]将第一深度图像上采样为第二深度图像的步骤可包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像，所述膨胀滤波器具有基于第一深度图像的特性信息而调整的大小。
[0010]前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:识别第一深度图像，将第一深度图像上采样为第二深度图像，并扩大第二深度图像的前景区域。
[0011]所述图像处理方法还可包括从第二深度图像的边缘区域去除伪像。
[0012]将第一深度图像上采样为第二深度图像的步骤可包括:通过对第一深度图像进行插值来将第一深度图像上采样为第二深度图像。
[0013]扩大第二深度图像的前景区域的步骤可包括:通过将膨胀滤波器应用于第二深度图像来扩大第二深度图像的前景区域。
[0014]前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:通过对第一深度图像进行重采样来输出第二深度图像，使用第二深度图像来预测彩色图像，并基于所述预测来对所述彩色图像进行编码。
[0015]通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
[0016]通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，并扩大第二深度图像的前景区域。
[0017]通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，应用滤波器来从第二深度图像的边缘区域去除伪像，并扩大经过滤波的第二深度图像的前景区域。
[0018]所述图像处理方法还可包括对用于对第一深度图像进行重采样的膨胀滤波器的大小进行编码。
[0019]前述方面和/或其他方面还通过提供这样一种图像处理方法来提供，该图像处理方法包括:在三维(3D)视频编码器中，通过环内重采样来将第一深度图像上采样为第二深度图像，在3D视频编码器中，使用经过上采样的第二深度图像来执行彩色图像的视图合成预测，并在3D视频编码器中，基于所述预测来对所述彩色图像进行编码。
[0020]前述方面和/或其他方面还通过提供这样一种图像处理方法来提供，该图像处理方法包括:通过对从比特流提取的第一深度图像进行重采样来输出第二深度图像，使用第二深度图像来预测从所述比特流提取的彩色图像，并基于所述预测来对所述彩色图像进行解码。
[0021]通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
[0022]通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，并扩大第二深度图像的前景区域。
[0023]通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:将第一深度图像上采样为第二深度图像，应用滤波器以从第二深度图像的边缘区域去除伪像，并扩大经过滤波的第二深度图像的前景区域。
[0024]通过对第一深度图像进行重采样来输出第二深度图像的步骤可包括:基于所述比特流中包括的膨胀滤波器的大小来对第一深度图像进行重采样。
[0025]前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:在3D视频解码器中，通过环内重采样将比特流中包括的第一深度图像上采样为第二深度图像，在3D视频解码器中，使用经过上采样的第二深度图像来执行所述比特流中包括的彩色图像的视图合成预测，并在3D视频解码器中，基于所述预测来对所述彩色图像进行解码。
[0026]前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:识别解码的深度图像，并且当所述深度图像的分辨率不同于彩色图像的分辨率时，通过后处理将所述深度图像重采样为所述彩色图像的分辨率。
[0027]前述方面和/或其他方面还通过提供这样一种图像处理方法来实现，该图像处理方法包括:确定深度图像的分辨率是否等于彩色图像的分辨率，并且当所述深度图像的分辨率等于所述彩色图像的分辨率时，通过预处理对所述深度图像进行下采样。
[0028]前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:图像识别单元，识别第一深度图像；以及上采样单元，将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
[0029]前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:图像识别单元，识别第一深度图像；上采样单元，将第一深度图像上采样为第二深度图像；以及区域扩大单元，使用膨胀滤波器来扩大经过上采样的第二深度图像的前景区域。
[0030]前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:上采样单元，通过对经过下采样的第一深度图像进行重采样来输出经过上采样的第二深度图像；预测单元，使用第二深度图像来预测彩色图像；以及图像编码单元，基于所述预测来对所述彩色图像进行编码。
[0031]前述方面和/或其他方面还通过提供这样一种图像处理设备来实现，该图像处理设备包括:上采样单元，通过对比特流中包括的经过下采样的第一深度图像进行重采样来输出经过上采样的第二深度图像；预测单元，使用第二深度图像来预测所述比特流中包括的彩色图像；以及图像编码单元，基于所述预测来对所述彩色图像进行解码。
[0032]前述方面和/或其他方面还通过提供一种调整深度图像的方法来实现。该方法包括:确定具有低于对应彩色图像的分辨率的深度图像；当深度图像被确定为具有低于对应彩色图像的分辨率时，对深度图像进行上采样，以用于提高深度图像的分辨率；并且通过将膨胀滤波器应用于经过上采样的深度图像来扩大经过上采样的深度图像的前景区域，其中，基于深度图像的分辨率来确定膨胀滤波器的大小。
[0033]前述方面和/或其他方面还通过提供一种包括用于产生多视图的设备的3维显示器来实现。该3维显示器包括:处理器，控制一个或多个处理器可执行单元；图像识别单元，确定具有低于对应彩色图像的分辨率的深度图像；以及上采样单元，当深度图像被确定为具有低于对应彩色图像的分辨率时，对深度图像进行上采样，以用于提高深度图像的分辨率，并且通过将膨胀滤波器应用于经过上采样的深度图像来扩大经过上采样的深度图像的前景区域，其中，基于深度图像的分辨率来确定膨胀滤波器的大小。
[0034]实施例的另外方面将部分地在下面的描述中进行阐述，并且部分地，将从该描述是显而易见的，或者可通过实施本公开内容来获悉。
【专利附图】

【附图说明】
[0035]从以下结合附图进行的实施例描述，这些方面和/或其他方面将变得明白并且更易于领会，其中:
[0036]图1示出根据示例实施例的图像处理设备的操作；
[0037]图2示出根据示例实施例的图像处理设备；
[0038]图3示出根据另一示例实施例的图像处理设备；
[0039]图4示出根据又一示例实施例的图像处理设备；
[0040]图5示出根据又一示例实施例的图像处理设备；[0041]图6示出根据又一示例实施例的图像处理设备；
[0042]图7示出根据另一示例实施例的图像处理设备；
[0043]图8示出根据又一示例实施例的图像处理设备；
[0044]图9示出根据示例性实施的膨胀滤波器(dilation filter)的操作；
[0045]图10示出根据示例实施例的执行视图合成预测的处理；
[0046]图11示出根据示例实施例的基于深度图像的图像特性信息来改变滤波器大小的处理；
[0047]图12示出根据示例实施例的图像处理方法；
[0048]图13示出根据另一示例实施例的图像处理方法；
[0049]图14示出根据又一示例实施例的图像处理方法；
[0050]图15示出根据又一示例实施例的图像处理方法；
[0051]图16示出根据另一示例实施例的图像处理方法；
[0052]图17示出根据另一示例实施例的图像处理方法；和
[0053]图18示出根据示例实施例的包括图像处理设备的3D显示装置1800。
【具体实施方式】
[0054]现在将详细论述实施例,实施例的示例在附图中示出，其中，相似的标号始终指示相似的元件。以下通过参照附图来描述实施例，以解释本公开内容。
[0055]根据一个或多个示例实施例，深度图像的分辨率可小于或等于对应彩色图像的分辨率。例如，深度图像的特定区域的分辨率可小于或等于同一特定区域的彩色图像(即，对应的彩色区域)的分辨率。作为另一示例，深度图像的特定像素的分辨率可小于或等于同一特定像素的彩色图像(即，对应的彩色像素)的分辨率。因此，在包括多视图彩色视频和多视图深度视频的三维(3D )视频格式中，当深度图像的分辨率低于对应彩色图像的分辨率时，一个或多个示例实施例建议对深度图像进行上采样，以使得深度图像的分辨率可等于彩色图像的分辨率。在本实例中，当深度图像是通过解码而获得的结果时，可通过预处理应用膨胀滤波器。
[0056]膨胀滤波(也被称为最大滤波)通常通过考虑围绕或环绕特定像素的邻近像素来工作。这里，通过使用深度图像中的像素，可从与深度图像的该像素邻近的每个像素之中确定最大值。然后，深度图像中的每个像素可被针对它的各个邻近像素而产生的确定的最大值取代。膨胀滤波可作为上采样的一部分被执行，或者可与上采样分开执行。可通过线性插值来应用上采样。此外，膨胀滤波器可应用于经过上采样的深度图像。在本实例中，可通过选择邻近像素的像素值之中的最大值来执行膨胀滤波。例如，在实施例中，膨胀滤波可用环绕的邻近像素中的任何一个的最大值来取代一个或多个预定像素的值。这里，可通过基于插值进行上采样来产生一个或多个预定像素。
[0057]合成伪像可沿着前景区域与背景区域之间的边界出现。在本实例中，当应用膨胀滤波器时，经过上采样的深度图像的前景区域可扩大到背景区域，以使得出现的任何合成伪像可出现在边界的外部。因此，当对经过膨胀滤波的深度图像执行视图合成时，视图合成结果可具有改进的质量。膨胀滤波器的大小可基于编码器和解码器的输入深度图像的分辨率来确定，并且可消除将附加信息从编码器发送到解码器的需要。[0058]在实施例中，当深度图像的分辨率等于彩色图像的分辨率时，上采样可能是不必要的。但是，将深度图像的分辨率减小为小于彩色图像的分辨率需要用于下采样的预处理。
[0059]图1示出根据示例实施例的图像处理设备的操作。
[0060]参照图1，图像处理设备101可通过对第一深度图像进行上采样来输出第二深度图像。在示例实施例中，第一深度图像的分辨率可低于第二深度图像的分辨率。例如，第一深度图像的分辨率可对应于第二深度图像的分辨率的1/2、1/4、1/8或1/16。在本实例中，第一深度图像可具有低于对应彩色图像的分辨率。图像处理设备101可应用各种滤波器来对第一深度图像进行上采样。通过对第一深度图像进行上采样而获得的第二深度图像可具有与对应彩色图像相同或相似的分辨率。
[0061]在替代实施例中，第一深度图像的分辨率可等于第二深度图像的分辨率。在这种情况下，第一深度图像的上采样可能是不必要的。
[0062]下文中，更详细地描述图像处理设备101的操作。
[0063]图2示出根据示例实施例的图像处理设备201。
[0064]参照图2，图像处理设备201可包括例如图像识别单元202和上采样单元203。在图2中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的对应彩色图像合成。
[0065]图像识别单元202可识别第一深度图像。也就是说，图像处理设备201可接收第一深度图像，图像识别单元202可识别具有低于对应彩色图像的分辨率的第一深度图像。在本实例中，识别的第一深度图像可从彩色图像估计或计算，或者从单独的深度摄像机获得。
[0066]上采样单元203可通过在第一深度图像中产生新像素来提高第一深度图像的分辨率。第一深度图像可通过上采样单元203被转换为第二深度图像。
[0067]例如，上采样单元203可将第一深度图像上采样为具有大于第一深度图像的分辨率的第二深度图像。膨胀滤波器可用于对第一深度图像进行上采样。在本实例中，膨胀滤波器可使用与围绕新像素的邻近像素对应的像素值之中最高的像素值来对该新像素执行滤波操作。所述新像素通过第一深度图像的上采样来产生。参照图7来更详细地描述膨胀滤波器的操作，并且参照图9来更详细地描述根据示例实施例的当与上采样同时执行时的膨胀滤波器的操作。
[0068]也就是说，在图2中，建议了一种对深度图像进行上采样以改进深度图像的分辨率的方法。当使用膨胀滤波器来扩大深度图像的前景区域时，可防止或最小化具有改进分辨率的深度图像的前景区域中可出现的合成伪像。
[0069]与图2相反，膨胀滤波器可应用于经过下采样的第一深度图像。通过这个处理，第一深度图像可被输出为具有比第一深度图像改进的分辨率和扩大的前景区域的第二深度图像。
[0070]图3示出根据另一示例实施例的图像处理设备301。
[0071]参照图3，图像处理设备301可包括例如图像识别单元302、上采样单元303和区域扩大单元304。在图3中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的对应彩色图像合成。
[0072]图像识别单元302可识别第一深度图像。在本实例中，识别的深度图像可从彩色图像估计或计算，或者从单独的深度摄像机获得。[0073]上采样单元303可将第一深度图像上采样为第二深度图像。例如，上采样单元303可基于插值方法来将第一深度图像上采样为第二深度图像。例如，上采样单元303可基于线性插值方法、Lanczos插值方法和三次插值方法等来将第一深度图像上采样为第二深度图像。也就是说，上采样单元303可通过插值方法增加像素的数量来将第一深度图像上采样为第二深度图像。在示例实施例中，插值方法不限于前述插值方法，可包括可改进分辨率的任何插值方法。
[0074]区域扩大单元304可扩大经过上采样的第二深度图像的前景区域。例如，区域扩大单元304可通过将膨胀滤波器应用于经过上采样的第二深度图像来扩大第二深度图像的前景区域。
[0075]也就是说，图3的图像处理设备301建议了分辨率提高以及随后的区域扩大的两步处理，而相反，图2的图像处理设备201建议了分辨率提高和区域扩大的一步处理。
[0076]图4示出根据又一示例实施例的图像处理设备401。
[0077]参照图4，图像处理设备401可包括例如图像识别单元402、上采样单元403、伪像处理单元404和区域扩大单元405。在图4中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的彩色图像合成。
[0078]图像识别单元402可识别第一深度图像。在本实例中，识别的深度图像可从彩色图像估计或计算，或者从单独的深度摄像机获得。
[0079]上采样单元403可将第一深度图像上采样为第二深度图像。例如，上采样单元403可基于插值方法来将第一深度图像上采样为第二深度图像。例如，上采样单元403可将基于线性插值方法、Lanczos插值方法、三次插值方法等来将第一深度图像上采样为第二深度图像。
[0080]伪像处理单元404可从第二深度图像的边缘区域去除伪像。这里，伪像可存在于通过在边缘区域中进行上采样(例如，振铃(ringing))而具有改进分辨率的第二深度图像中。具体地讲，深度图像可用于通过将深度图像与具有相同或相似的分辨率的彩色图像合成来产生虚拟视图的合成图像。在本实例中，伪像可存在于产生的合成图像的边缘区域中，在所述边缘区域中，遮挡区域或去遮挡区域可能存在。
[0081]具体地讲，合成图像中具有相对浅深度的前景通常可对应于对象。因为前景对象可具有比背景区域更复杂的纹理信息，所以伪像可存在于对象所在的区域中的可能性高。因此，伪像处理单元404可通过应用去振铃滤波器(例如，双边滤波器、中值滤波器等)来从第二深度图像去除伪像。
[0082]区域扩大单元405可扩大无伪像的第二深度图像的前景区域。例如，区域扩大单元405可通过将膨胀滤波器应用于经过上采样的第二深度图像来扩大第二深度图像的前景区域。图4的图像处理设备401中的伪像处理单元404和区域扩大单元405执行操作的顺序可变化。
[0083]图5示出根据又一示例实施例的图像处理设备501。
[0084]图5的图像处理设备501可对应于对深度图像和彩色图像进行编码的编码器。参照图5，图像处理设备501可包括例如重采样单元502、预测单元503和图像编码单元504。在图5中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的彩色图像合成。
[0085]重采样单元502可通过对第一深度图像进行重采样来输出第二深度图像。这里，当对深度图像进行编码时，重采样单元502可在对应于编码器的图像处理器设备501中执行环内(in-loop)操作。
[0086]例如，重采样单元502可以以与图2至图4的图像处理设备之一相似的方式操作。如参照图2所述的，重采样单元502可通过使用膨胀滤波器对第一深度图像进行上采样来输出具有比第一深度图像扩大的前景区域的第二深度图像。
[0087]如参照图3所述的，重采样单元502可通过基于插值方式对第一深度图像进行上采样以提高第一深度图像的分辨率来输出第二深度图像。接着，重采样单元502可通过将膨胀滤波器应用于第二深度图像来扩大经过上采样的第二深度图像的前景区域。
[0088]如参照图4所述的，重采样单元502可通过基于插值方法对第一深度图像进行上采样以提高第一深度图像的分辨率来输出第二深度图像。接着，重采样单元502可去除第二深度图像中包括的伪像。最后，重采样单元502可通过将膨胀滤波器应用于无伪像的第二深度图像来扩大第二深度图像的前景区域。
[0089]预测单元503可使用第二深度图像来预测彩色图像。例如，预测单元503可通过视图合成预测方法来预测彩色图像。在本实例中，预测单元503可使用视图改变的深度图像来预测彩色图像。
[0090]图像编码单元504可基于预测来对彩色图像进行编码。也就是说，图像编码单元504可通过对应用于视图合成预测的预测模式和作为预测结果而推导的彩色图像的残差数据进行编码来产生比特流。
[0091]尽管未显示，但是当第一深度图像的分辨率等于对应彩色图像的分辨率时，可通过预处理来对第一深度图像的分辨率进行下采样。也就是说，可通过下采样来降低第一深度图像的分辨率，以具有比对应彩色图像的分辨率低的分辨率。在实施例中，降低深度图像的分辨率对于减少处理或数据吞吐量要求可能是可取的。经过下采样的第一深度图像可在对应于编码器的图像处理设备501中被输入。当第一深度图像被下采样时，由于下采样，在第一深度图像的边缘区域中可有发生失真。为了防止失真或者使失真最小，图像处理设备501可执行线性插值处理，或者可使用滤波器(例如，高斯滤波器)来执行低通滤波操作，然后执行线性插值。
[0092]图6示出根据又一示例实施例的图像处理设备601。
[0093]图6的图像处理设备601可对应于对深度图像和彩色图像进行解码的解码器。参照图6，图像处理设备601可包括例如重采样单元602、预测单元603和图像解码单元604。在图6中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的彩色图像合成。
[0094]重采样单元602可通过对第一深度图像进行重采样来输出第二深度图像。这里，当深度图像正被编码时，重采样单元602可在对应于解码器的图像处理设备601中执行环内操作。在本实例中，第一深度图像可对应于经过下采样的深度图像，第二深度图像可对应于通过对第一深度图像进行上采样而获得的深度图像。此外，第一深度图像可被编码器编码，并且可在图像处理设备101中以比特流的形式输入。
[0095]作为示例，重采样单元602可以以与图2至图4的图像处理设备之一相似的方式操作。如参照图2所述的，重采样单元602可通过使用膨胀滤波器对第一深度图像进行上采样来输出第二深度图像。
[0096]如参照图3所述的，重采样单元602可通过基于插值方法对第一深度图像进行上采样以提高第一深度图像的分辨率来输出第二深度图像。随后，重采样单元602可通过将膨胀滤波器应用于经过上采样的第二深度图像来扩大第二深度图像的前景区域。
[0097]如参照图4所述的，重采样单元602可通过基于插值方法对第一深度图像进行上采样以提高第一深度图像的分辨率来输出第二深度图像。接着，重采样单元602可去除第二深度图像中包括的伪像。最后，重采样单元602可通过将膨胀滤波器应用于无伪像的第二深度图像来扩大第二深度图像的前景区域。
[0098]预测单元603可使用第二深度图像来预测彩色图像。这里，彩色图像可被编码器编码，并且可被包括在比特流中。例如，预测单元603可通过视图合成预测方法来预测彩色图像。在本实例中，预测单元603可使用视图改变的深度图像来预测彩色图像。在本实例中，视图合成预测方法可被编码器以标志的形式发送，或者可被对应于编码器的图像处理设备601重新确定。
[0099]图像解码单元604可基于预测来对彩色图像进行解码。
[0100]尽管未显示，但是可通过后处理来对深度图像进行上采样。例如，当输入的深度图像的分辨率不同于彩色图像的分辨率时，图像处理设备601可通过在解码之后对解码的第一深度图像进行上采样来输出第二深度图像。这里，以上参照图2至图4描述了对深度图像进行上采样的处理。
[0101]图7示出根据另一示例实施例的图像处理设备701。
[0102]参照图7，图像处理设备701可包括例如预测单元702和图像编码单元703。在图7中，深度图像可具有低于彩色图像的分辨率。
[0103]预测单元702可通过视图合成预测方法来预测彩色图像。在本实例中，预测单元702可用翘曲(warp)来取代深度图像的重采样，以用于视图合成预测。当在翘曲期间参照深度图像的像素时，预测单元702可通过膨胀滤波器来选择邻近视图的深度图像的像素值之中的最大像素值。
[0104]深度图像可对应于经过下采样的深度图像，并且可在预测单元702中被以编码的形式输入。可在对彩色图像编码之前对深度图像进行编码。
[0105]这里，翘曲可以是指使用深度图像和相机参数来将预定视图的彩色图像投影到另一视图。翘曲可以基于彩色图像或参考图像到3D空间的逆投影，该逆投影后面接着为到虚拟视图的投影。当深度图像被用于翘曲时，可通过膨胀滤波器来从邻近视图的深度图像的像素值之中选择最大像素值。
[0106]图像编码单元703可基于视图合成预测来对彩色图像进行编码。图像编码单元703可使用与将被编码的彩色图像邻近的视图的彩色图像来产生同一虚拟视图的合成图像作为当前视图。图像编码单元703可通过合成图像来对当前视图的彩色图像进行编码。图像编码单元703可基于编码模式来确定是对合成图像的预测块进行编码，还是对预测块和当前块与预测块之间的残差信号或差进行编码。
[0107]图8示出根据又一示例实施例的图像处理设备801。
[0108]参照图8，图像处理设备801可包括例如预测单元802和图像解码单元803。在图8中，深度图像可具有低于彩色图像的分辨率。
[0109]预测单元802可通过视图合成预测方法来预测彩色图像。在本实例中，预测单元802可用翘曲来取代深度图像的重采样，以用于视图合成预测。当在翘曲期间参照深度图像的像素时，预测单元802可通过膨胀滤波器来在邻近视图的深度图像的像素值之中选择最大像素值。
[0110]深度图像可对应于经过下采样的深度图像，并且可在预测单元802中被以解码的形式输入。可在对彩色图像解码之前对深度图像进行解码。
[0111]图像解码单元803可基于视图合成预测来对彩色图像进行解码。彩色图像的解码可基本上与图7的公开内容相同。
[0112]当在图1至图4中第一深度图像和第二深度图像具有相同分辨率时，第一深度图像的上采样可能是不必要的。例如，当在图1至图4中第一深度图像和第二深度图像具有相同分辨率时，膨胀滤波器可直接应用于没有经过上采样的第一深度图像，以使得第一深度图像的前景区域可被扩大。
[0113]此外，当在图5至图8中深度图像和彩色图像具有相同分辨率时，深度图像的上采样可能是不必要的。例如，当在图5至图8中深度图像和彩色图像具有相同分辨率时，膨胀滤波器可直接应用于没有经过上采样的第一深度图像，以使得第一深度图像的前景区域可被扩大。
[0114]图9示出根据示例实施例的膨胀滤波器的操作。
[0115]参照图9，像素X表示通过上采样而产生的新像素。给出了相对于新像素X而言的与邻近像素N对应的像素值f (N)和与邻近像素N+1对应的像素值f(N+l)。膨胀滤波器可根据以下等式I进行操作:
[0116][等式I]
[0117]f (X) =max {f (N)，f (N+1)} (N ( x〈N+l)
[0118]根据等式I，可通过膨胀滤波器使用邻近像素N的像素值和邻近像素N+1的像素值之中较高的像素值来确定位于邻近像素N与邻近像素N+1之间的新像素X的像素值。也就是说，膨胀滤波器可将将在第一位置与第二位置之间创建的像素X的像素值确定为与第一位置对应的像素值和与第二位置对应的像素值之中较高的像素值。例如，邻近像素N和邻近像素N+1可被包括在同一视图的深度图像中，或者可分别被包括在不同视图的深度图像中。
[0119]参照图9，与邻近像素N+1对应的像素值f(N+l)可高于与邻近像素N对应的像素值f (N)。因此可通过膨胀滤波器使用邻近像素N+1的像素值f (N+1)来确定新像素X的像素值f (X)。
[0120]图9示出根据示例实施例的当与上采样同时执行时的膨胀滤波器的操作。当如参照图2所述在上采样期间应用膨胀滤波器时，可在邻近像素N与邻近像素N+1之间创建新像素x。例如，可通过使用膨胀滤波器从邻近像素的像素值f(N+l)和邻近像素N的像素值f (N)之中选择较大值来确定新像素X的像素值。因而，当像素值f (N+1)高于像素值f (N)时，可通过膨胀滤波器用像素值f(N+l)取代像素值x。
[0121]此外，当如参照图3和图4所述在执行上采样之后应用膨胀滤波器时，新像素的像素值被分配给基于邻近像素的像素值而计算的像素值。例如，通过上采样，新像素的像素值被确定为关于邻近像素的像素值的平均值或半值。并且，当膨胀滤波器应用于经过上采样的深度图像时，新像素的像素值被改变为邻近像素的像素值之中的最高像素值。
[0122]图10示出根据示例实施例的执行视图合成预测的处理。
[0123]参照图10，当第一彩色图像1001和第一深度图像1002对应于第一视图时，通过对第一深度图像1004进行重采样，第一深度图像1002可对应于具有改进分辨率的图像。
[0124]当视图合成预测应用于与第二视图对应的第二彩色图像1005时，可推导出第一视图的合成图像1003与第二视图的合成图像1007之间的差(S卩，残差数据)，第一视图的合成图像1003从第一彩色图像1001和第一深度图像1002获得，第二视图的合成图像1007从第二彩色图像1005和第二深度图像1006获得。可对推导的残差数据进行编码。也就是说，当视图合成预测应用于第二彩色图像1005时，可使用具有与第二彩色图像1005相同分辨率的第一深度图像1002。当第一深度图像1004的分辨率在编码或解码之前低于第二彩色图像805的分辨率时，可能需要改进第一深度图像1004的分辨率。
[0125]图11示出根据示例实施例的基于深度图像的图像特性信息来改变滤波器大小的处理。
[0126]参照图11，在操作1101中，图像处理设备可确定深度图像的图像特性信息。接着，在操作1102或操作1103中，图像处理设备可基于深度图像的图像特性信息来增大或减小膨胀滤波器的大小。与图11不同，膨胀滤波器的大小可单独地作为例如输入参数被输入。
[0127]这里，图像特性信息可对应于指示如何产生深度图像的信息。例如，图像特性信息可对应于指示深度图像是从彩色图像估计或计算、还是从深度摄像机获得的信息。也就是说，图像特性信息可与深度图像的来源或精度相关联。根据示例实施例，可根据图像特性信息来变化地调整膨胀滤波器的大小。
[0128]例如，当深度图像的精度相对高时，例如，当从深度摄像机获得深度图像时，图像处理设备可增大膨胀滤波器的大小。相反，当深度图像的精度相对低时，例如，当从彩色图像估计或计算深度图像时，图像处理设备可减小膨胀滤波器的大小。
[0129]当前实施例中描述的方面也可应用于图2至图6，在当前实施例中，膨胀滤波器的大小可基于指示深度图像的精度或来源的图像特性信息而变化。
[0130]图12示出根据示例实施例的图像处理方法。
[0131]在图12中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的彩色图像合成。
[0132]参照图12，在操作1201中，图像处理设备识别第一深度图像。
[0133]在操作1202中，图像处理设备将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。例如，图像处理设备可将第一深度图像上采样为第二深度图像。在本实例中，图像处理设备可使用从与第一位置对应的像素和与第二位置对应的像素之中选择的新像素的像素值(以较高者为准)来执行滤波操作。新像素从上采样操作而被创建。
[0134]根据图12的方法，当使用膨胀滤波器来扩大深度图像的前景区域时，可防止在具有改进分辨率的深度图像的前景区域中可能发生的合成伪像。
[0135]此外，图像处理设备可通过应用如以上关于图9更详细地描述的具有基于第一深度图像的图像特性信息而调整的大小的膨胀滤波器来将第一深度图像上采样为第二深度图像。
[0136]图13示出根据另一示例实施例的图像处理方法。
[0137]在图13中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的彩色图像合成。
[0138]参照图13，在操作1301中，图像处理设备识别第一深度图像。
[0139]在操作1302中，图像处理设备可将第一深度图像上采样为第二深度图像。例如，图像处理设备可通过对第一深度图像进行插值来将第一深度图像上采样为第二深度图像。
[0140]在操作1303中，图像处理设备从第二深度图像的边缘区域去除伪像。
[0141]在操作1304中，图像处理设备扩大第二深度图像的前景区域。例如，图像处理设备可通过将膨胀滤波器应用于第二深度图像来扩大第二深度图像的前景区域。
[0142]图14示出根据又一示例实施例的图像处理方法。
[0143]在图14中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的彩色图像合成。
[0144]参照图14，在操作1401中，图像处理设备通过对第一深度图像进行重采样来输出第二深度图像。
[0145]根据实施例，图像处理设备可将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。通过使用膨胀滤波器对第一深度图像进行上采样，图像处理设备可提高第一深度图像的分辨率，并且可扩大第一深度图像的前景区域。
[0146]根据另一实施例，图像处理设备可将第一深度图像上采样为第二深度图像，并且可通过将膨胀滤波器应用于第二深度图像来扩大第二深度图像的前景区域。
[0147]根据又一实施例，图像处理设备可将第一深度图像上采样为第二深度图像。此外，图像处理设备可应用滤波器来从第二深度图像的边缘区域去除伪像。随后，图像处理设备可扩大经过滤波的第二深度图像的前景区域。
[0148]在操作1402中，图像处理设备使用第二深度图像来预测彩色图像。
[0149]在操作1403中，图像处理设备基于预测来对彩色图像进行编码。在本实例中，图像处理设备可对在对第一深度图像进行重采样中使用的膨胀滤波器的大小进行编码。
[0150]以下可更详细地描述图14的方法。
[0151]在3D视频编码器中，图像处理设备可通过环内重采样来将第一深度图像上采样为第二深度图像。
[0152]此外，在3D视频编码器中，图像处理设备可使用经过上采样的第二深度图像来执行具有与第二深度图像相同或相似的分辨率的彩色图像的视图合成预测。
[0153]在3D视频编码器中，图像处理设备可基于预测来对彩色图像进行编码。
[0154]图15示出根据又一示例实施例的图像处理方法。
[0155]在图15中，第一深度图像可具有低于第二深度图像的分辨率。为了产生虚拟视图的合成图像，可将第二深度图像与具有相同或相似的分辨率的彩色图像合成。
[0156]参照图15，在操作1501中，图像处理设备通过对从比特流提取的第一深度图像进行重采样来输出第二深度图像。
[0157]根据实施例，图像处理设备可将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。通过使用膨胀滤波器对第一深度图像进行上采样，图像处理设备可提高第一深度图像的分辨率，并且可扩大第一深度图像的前景区域。
[0158]根据另一实施例，图像处理设备可将第一深度图像上采样为第二深度图像，并且可通过将膨胀滤波器应用于第二深度图像来扩大第二深度图像的前景区域。
[0159]根据又一实施例，图像处理设备可将第一深度图像上采样为第二深度图像。此外，图像处理设备可应用滤波器来从第二深度图像的边缘区域去除伪像。随后，图像处理设备可扩大经过滤波的第二深度图像的前景区域。
[0160]在操作1502中，图像处理设备使用第二深度图像来预测从比特流提取的彩色图像。
[0161]在操作1503中，图像处理设备基于预测来对具有与第二深度图像相同或相似的分辨率的彩色图像进行解码。
[0162]以下可更详细地描述图15的方法。
[0163]在3D视频解码器中，图像处理设备可通过环内重采样来将比特流中包括的第一深度图像上采样为第二深度图像。此外，在3D视频解码器中，图像处理设备可使用经过上采样的第二深度图像来执行比特流中包括的彩色图像的视图合成预测。此外，在3D视频解码器中，图像处理设备可基于预测来对彩色图像进行解码。
[0164]图16示出根据另一示例实施例的图像处理方法。
[0165]在图16中，深度图像可具有低于彩色图像的分辨率。
[0166]参照图16，在操作1601中，图像处理设备可通过参照深度图像来使彩色图像翘曲。当在翘曲期间参照深度图像的像素时，图像处理设备可通过膨胀滤波器来在邻近视图的深度图像的像素值之中选择最大像素值。在本实例中，深度图像可对应于编码结果。
[0167]这里，翘曲可以是指使用深度图像和相机参数来将预定视图的彩色图像投影到另一视图。翘曲可以基于彩色图像或参考图像到3D空间的逆投影，该逆投影后面接着为到虚拟视图的投影。当深度图像被用于翘曲时，可通过膨胀滤波器来从邻近视图的深度图像的像素值之中选择最大像素值。
[0168]在操作1602中，图像处理设备可基于彩色图像的翘曲结果来执行视图合成预测。
[0169]在操作1603中，图像处理设备可基于视图合成预测来对彩色图像进行编码。
[0170]图17示出根据另一示例实施例的图像处理方法。
[0171]在图17中，深度图像可具有低于彩色图像的分辨率。
[0172]参照图17，在操作1701中，图像处理设备可通过参照从比特流重构的深度图像来使经过压缩的彩色图像翘曲。
[0173]当在翘曲期间参照深度图像的像素时，图像处理设备可通过膨胀滤波器来从邻近视图的深度图像的像素值之中选择最大像素值。在本实例中，深度图像可对应于编码结果。
[0174]这里，翘曲可以是指使用深度图像和相机参数来将预定视图的彩色图像投影到另一视图。翘曲可以基于彩色图像或参考图像到3D空间的逆投影，该逆投影后面接着为到虚拟视图的投影。当深度图像被用于翘曲时，可通过膨胀滤波器来从邻近视图的深度图像的像素值之中选择最大像素值。
[0175]在操作1702中，图像处理设备可基于彩色图像的翘曲结果来执行视图合成预测。
[0176]在操作1703中，图像处理设备可基于视图合成预测来对彩色图像进行编码。
[0177]当在图12至图15中第一深度图像和第二深度图像具有相同分辨率时，第一深度图像的上采样可能是不必要的。例如，当在图12至图15中第一深度图像和第二深度图像具有相同分辨率时，膨胀滤波器可直接应用于不经过上采样的第一深度图像，以使得第一深度图像的前景区域可被扩大。
[0178]此外，当在图16和17中深度图像和彩色图像具有相同分辨率时，深度图像的上采样可能是不必要的。例如，当在图16和17中深度图像和彩色图像具有相同分辨率时，膨胀滤波器可直接应用于不经过上采样的深度图像，以使得深度图像的前景区域可被扩大。
[0179]图18示出包括根据示例实施例的图像处理设备的3D显示装置1800。
[0180]参照图18，3D显示装置1800可包括例如控制器1801和图像处理设备1805。
[0181]3D显示装置1800可以是用于显示3D图像的3D显示器的形式，并且可利用多视图方案来输出三个或更多个不同视点。可替换地，多视图显示装置1800可以是输出左图像和右图像的立体显示器的形式。3D显示器的示例可包括平板计算装置、便携式游戏装置、3D电视显示器或便携式3D监视器(比如，膝上型电脑)。
[0182]控制器1801可产生用于控制3D显示装置1800并由3D显示装置1800显示的一个或多个控制信号。控制器1801可包括一个或多个处理器。
[0183]图像处理设备1805可用于产生用于3D显示装置1800的多视图图像，并且可包括例如图像识别单元1810、上采样单元1820、伪像处理单元1830和区域扩大单元1840。图18中没有示出项目1810-1840中的任何一个。然而，这些单元中的每个均可对应于本文中例如关于图1-4中的任何一个讨论的、类似地命名的单元，因此这里无需作进一步讨论。
[0184]图像处理设备1805可被安装在3D显示装置1800内部，可被附连到3D显示装置1800，或者可与3D显示装置1800分开实现。无论其物理构造，图像处理设备1805都具有本文中描述的所有能力。图像处理设备1805可包括一个或多个内部处理器，或者可被3D显示装置内包括的一个或多个处理器(比如，控制器1801的一个或多个处理器)控制。
[0185]根据上述实施例的方法可被记录在非暂时性计算机可读介质上，所述非暂时性计算机可读介质包括实现被计算机或处理器实施的各种操作的程序指令。所述介质还可单独地或与程序指令组合地包括数据文件、数据结构等等。非暂时性计算机可读介质的示例包括:磁介质，比如，硬盘、软盘和磁带；光学介质，比如，⑶ROM盘和DVD ;磁光介质，比如，光学盘；以及被专门构造为存储并执行程序指令的硬件装置，比如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等等。
[0186]程序指令的示例包括比如编译器生成的机器码和包含可被计算机使用解释器执行的高级代码的文件这二者。所描述的硬件装置可被构造为充当为了执行上述实施例的操作的一个或多个软件模块，反之亦然。本文中描述的软件模块中的任何一个或多个可被该单元特有的专用处理器或者这些模块中的一个或多个共用的处理器执行。所描述的方法可在通用计算机或处理器上执行，或者可在特定机器(比如，本文中描述的图像处理设备)上执行。
[0187]根据示例性实施例，通过将膨胀滤波器、插值滤波器和用于去除伪像滤波器应用到上采样操作，可在保持图像质量的同时改进低分辨率深度图像的分辨率。
[0188]尽管已显示并描述了一个或多个实施例，但是本领域技术人员将意识到，在不脱离本公开内容的原理和精神的情况下，可在这些实施例中进行改变，本公开内容的范围由权利要求及其等同形式限定。
【权利要求】
1.一种图像处理方法，包括: 识别第一深度图像；和 将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
2.根据权利要求1所述的方法，其中，将第一深度图像上采样为第二深度图像的步骤包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像。
3.根据权利要求2所述的方法，其中，所述膨胀滤波器通过使用与邻近像素对应的像素值之中的最高像素值来确定通过上采样而产生的新像素的像素值。
4.根据权利要求2所述的方法，其中，将第一深度图像上采样为第二深度图像的步骤包括:通过应用膨胀滤波器来将第一深度图像上采样为第二深度图像，其中，所述膨胀滤波器具有基于第一深度图像的特性信息而调整的大小。
5.—种图像处理方法,包括: 识别第一深度图像； 将第一深度图像上采样为第二深度图像；和 扩大第二深度图像的前景区域。
6.根据权利要求5所述的方法，还包括: 从第二深度图像的边缘区域去除伪像。
7.根据权利要求5所述的方法，其中，将第一深度图像上采样为第二深度图像的步骤包括:通过对第一深度图像进行插值来将第一深度图像上采样为第二深度图像。
8.根据权利要求7所述的方法，其中，扩大第二深度图像的前景区域的步骤包括:通过将膨胀滤波器应用于第二深度图像来扩大第二深度图像的前景区域。
9.一种图像处理方法，包括: 通过对第一深度图像进行重采样来输出第二深度图像； 使用第二深度图像来预测彩色图像；和 基于所述预测来对所述彩色图像进行编码。
10.根据权利要求9所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
11.根据权利要求9所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像；和 扩大第二深度图像的前景区域。
12.根据权利要求9所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像； 应用滤波器来从第二深度图像的边缘区域去除伪像；和 扩大经过滤波的第二深度图像的前景区域。
13.根据权利要求9所述的方法，还包括: 对在对第一深度图像进行重采样中使用的膨胀滤波器的大小进行编码。
14.一种图像处理方法，包括:在三维(3D)视频编码器中，通过环内重采样来将第一深度图像上采样为第二深度图像； 在3D视频编码器中，使用经过上采样的第二深度图像来执行彩色图像的视图合成预测；和 在3D视频编码器中，基于所述预测来对所述彩色图像进行编码。
15.—种图像处理方法,包括: 通过对从比特流提取的第一深度图像进行重采样来输出第二深度图像； 使用第二深度图像来预测从所述比特流提取的彩色图像；和 基于所述预测来对所述彩色图像进行解码。
16.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括:将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
17.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像；和 扩大第二深度图像的前景区域。
18.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括: 将第一深度图像上采样为第二深度图像； 应用滤波器来从第二深度图像的边缘区域去除伪像；和 扩大经过滤波的第二深度图像的前景区域。
19.根据权利要求15所述的方法，其中，通过对第一深度图像进行重采样来输出第二深度图像的步骤包括:基于所述比特流中包括的膨胀滤波器的大小来对第一深度图像进行重采样。
20.—种图像处理方法，包括: 在三维(3D)视频解码器中，通过环内重采样将比特流中包括的第一深度图像上采样为第二深度图像； 在3D视频解码器中，使用经过上采样的第二深度图像来执行所述比特流中包括的彩色图像的视图合成预测；和 在3D视频解码器中，基于所述预测来对所述彩色图像进行解码。
21.—种图像处理方法，包括: 识别解码的深度图像；和 当所述深度图像的分辨率不同于彩色图像的分辨率时，通过后处理将所述深度图像重采样为所述彩色图像的分辨率。
22.—种图像处理方法，包括: 确定深度图像的分辨率是否等于彩色图像的分辨率；和 当所述深度图像的分辨率等于所述彩色图像的分辨率时，通过预处理对所述深度图像进行下采样。
23.一种图像处理方法，包括:通过参照深度图像来使彩色图像翘曲； 基于所述彩色图像的翘曲结果来执行视图合成预测；和 基于所述视图合成预测来对所述彩色图像进行编码。
24.根据权利要求23所述的方法，其中，使彩色图像翘曲的步骤包括:在邻近视图的深度图像的像素值之中选择最大像素值用于所述彩色图像的像素。
25.根据权利要求23所述的方法，其中，使彩色图像翘曲的步骤包括:通过将膨胀滤波器应用于第一深度图像的像素来使所述彩色图像翘曲。
26.—种图像处理方法,包括: 通过参照从比特流重构的第一深度图像来使经过压缩的彩色图像翘曲； 基于所述彩色图像的翘曲结果来执行视图合成预测；和 基于所述视图合成预测来对所述彩色图像进行解码。
27.根据权利要求26所述的方法，其中，使彩色图像翘曲的步骤包括:在邻近视图的深度图像的像素值之中选择选择最大像素值用于所述彩色图像的像素。
28.根据权利要求26所述的方法，其中，使彩色图像翘曲的步骤包括:通过将膨胀滤波器应用于第一深度图像的像素来使所述彩色图像翘曲。
29.—种图像处理方法，包括: 识别第一深度图像；和 通过应用膨胀滤波器来输出具有比第一深度图像扩大的前景区域的第二深度图像。
30.一种图像处理设备，包括: 图像识别单元，识别第一深度图像；和 上采样单元，将第一深度图像上采样为具有比第一深度图像扩大的前景区域的第二深度图像。
31.根据权利要求30所述的设备，其中，上采样单元使用膨胀滤波器来将第一深度图像上采样为第二深度图像。
32.一种图像处理设备，包括: 图像识别单元，识别第一深度图像； 上采样单元，将第一深度图像上采样为第二深度图像；和 区域扩大单元，使用膨胀滤波器来扩大经过上采样的第二深度图像的前景区域。
33.根据权利要求32所述的设备，还包括: 伪像处理单元，从经过上采样的第二深度图像的边缘去除伪像， 其中，所述区域扩大单元将膨胀滤波器应用于无伪像的第二深度图像。
34.一种图像处理设备，包括: 重采样单元，通过对经过下采样的第一深度图像进行重采样来输出经过上采样的第二深度图像； 预测单元，使用第二深度图像来预测彩色图像；和 图像编码单元，基于所述预测来对所述彩色图像进行编码。
35.根据权利要求34所述的设备，其中，重采样单元使用膨胀滤波器来对第一深度图像进行重采样。
36.根据权利要求35所述的设备，其中，膨胀滤波器具有基于第一深度图像的特性信息而调整的大小。
37.一种图像处理设备，包括: 重采样单元，通过对比特流中包括的经过下采样的第一深度图像进行重采样来输出经过上采样的第二深度图像； 预测单元，使用第二深度图像来预测所述比特流中包括的彩色图像；和 图像编码单元，基于所述预测来对所述彩色图像进行解码。
38.一种图像处理设备，包括: 预测单元，通过参照第一深度图像来使彩色图像翘曲，并基于所述彩色图像的翘曲结果来执行视图合成预测；和 图像编码单元，基于所述视图合成预测来对所述彩色图像进行编码。
39.一种图像处理设备,包括: 预测单元，通过参照从比特流重构的第一深度图像来使经过压缩的彩色图像翘曲，并基于所述彩色图像的翘曲结果来执行视图合成预测；和 图像解码单元，基于所述视图合成预测来对所述彩色图像进行解码。
40.一种图像处理设备,包括: 图像识别单元，识别第一深度图像；和 图像输出单元，输出具有比第一深度图像扩大的前景区域的第二深度图像， 其中，第一深度图像具有低于或等于第二深度图像的分辨率。
41.根据权利要求40所述的设备，还包括: 伪像处理单元，从第一深度图像的边缘区域去除伪像， 其中，图像输出单元将膨胀滤波器应用于无伪像的第一深度图像。
42.一种调整深度图像的方法，所述方法包括: 确定具有低于对应彩色图像的分辨率的深度图像； 当所述深度图像被确定为具有低于对应彩色图像的分辨率时，对所述深度图像进行上采样，以用于提高所述深度图像的分辨率；和 通过处理器，通过将膨胀滤波器应用于经过上采样的深度图像来扩大经过上采样的深度图像的前景区域。
43.根据权利要求42所述的方法，其中，基于深度图像的分辨率来确定膨胀滤波器的大小。
44.根据权利要求43所述的方法，其中，当所述深度图像的分辨率被确定为高时，图像处理设备增大膨胀滤波器的大小，并且当所述深度图像的分辨率被确定为低时，图像处理设备减小膨胀滤波器的大小。
45.根据权利要求42所述的方法，其中，当所述深度图像被确定为是从深度摄像机获得的时，图像处理设备增大膨胀滤波器的大小，并且当所述深度图像被确定为是从彩色图像计算得到的时，图像处理设备减小膨胀滤波器的大小。
46.一种被编码有计算机可读代码的非暂时性计算机可读存储介质，所述计算机可读代码包括用于实现权利要求42的方法的程序。
47.一种包括用于产生多视图的设备的3维显示器，所述3维显示器包括: 处理器，控制一个或多个处理器可执行单元；图像识别单元，确定具有低于对应彩色图像的分辨率的深度图像；和上采样单元，当所述深度图像被确定为具有低于对应彩色图像的分辨率时，对所述深度图像进行上采样，以用于提高所述深度图像的分辨率，并通过将膨胀滤波器应用于经过上采样的深度图像来扩大经过上采样的深度图像的前景区域。
48.根据权利要求47所述的显示器，其中，基于深度图像的分辨率来确定膨胀滤波器的大小。`
【文档编号】H04N13/00GK103636198SQ201380001842
【公开日】2014年3月12日 申请日期:2013年1月25日 优先权日:2012年1月26日
【发明者】李硕, 魏浩千, 李承信, 吴官锭, 李在濬 申请人:三星电子株式会社