用于视图合成期间的扭曲和孔填充的装置和方法

用于视图合成期间的扭曲和孔填充的装置和方法
【专利摘要】实施方案包含用于将参考图像或视频转换为3D图像或视频的方法和系统。描述两步转换，其以逐像素为基础实现扭曲和孔填充。在一个实施方案中，将多个第一共线像素位置处的参考图像的多个像素值连续映射到目的地图像的相应多个第二像素位置。在所述映射中的两者之间，可识别和填充所述第二像素位置中的两者之间的孔的位置。
【专利说明】用于视图合成期间的扭曲和孔填充的装置和方法
【技术领域】
[0001]当前实施方案涉及图像转换，且特定来说涉及用于视图合成期间的扭曲和孔填充的视频图像转换系统、方法和设备。
【背景技术】
[0002]包含移动无线通信装置、个人数字助理(PDA)、膝上型计算机、台式计算机、数码相机、数字记录装置等的广范围的电子装置具有图像和视频显示能力的分类。一些装置能够显示二维(2D)图像和视频、三维(3D)图像和视频，或两者。
[0003]在一些例子中，图像或视频可发射到具有特定3D能力的装置。在此例子中，可能需要将图像或视频转换为3D图像或视频。到3D的转换可为计算密集的，且可引入与原始图像或视频相比减小经转换3D图像或视频的美学吸引力的视觉假象。因此，需要用于将图像或视频转换为3D图像或视频的改进的方法和设备。

【发明内容】

[0004]所附权利要求书范围内的系统、方法和装置的各个实施例每一者具有若干方面，其任何单一者均不仅仅对本文描述的所要属性负责。在不限制所附权利要求书的范围的情况下，本文描述一些显著特征。在考虑此论述之后，且尤其在阅读题为“【具体实施方式】”的部分之后，将理解如何使用各个实施方案的特征来提供在至少一个计算机处理器上执行的图像的转换。
[0005]在本发明的一个方面中，提供一种视频图像处理方法。所述方法包含选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值。所述方法包含将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置。在两个连续映射之间，所述方法包含确定第二像素位置中的两者之间的孔的位置。
[0006]所述方法可包含确定孔的位置，包括识别目的地图像中的第一映射到的位置与目的地图像中的第二映射到的位置之间的像素位置，所述第二映射到的位置是与映射方向相同方向上的位置。在一些实施方案中，所述方法包含在目的地图像中的第一映射到的位置与目的地图像中的第二映射到的位置之间(所述第一映射到的位置和所述第二映射到的位置为连续映射)，在映射到的像素位置相同或具有目的地图像中的与映射方向相反的方向的情况下，确定第二映射到的位置的像素值。在一些实施方案中，所述方法包含基于来自第一映射到的位置处的像素与第二映射到的位置处的像素的参考图像的深度值的比较确定经确定为孔的位置的像素值。第二映射到的位置的像素值可基于来自第一映射到的位置处的像素与第二映射到的位置处的像素的参考图像的深度值的比较。像素值可包含颜色分量和与颜色分量相关联的强度值。在一些实施方案中，映射包含从2D参考图像到3D目的地图像的映射。在一些实施方案中，3D目的地图像包括包含2D参考图像的3D立体图像对。在一方面中，所述方法包含在将像素值映射到目的地图像中的位置后即刻设定所述位置的深度值，其中所述位置并非孔。在一方面中，当所述位置为孔时，所述方法可包含将所述位置识别为未映射直到所述位置随后被映射到为止。如果第二映射到的位置的像素值用作所确定位置的像素值，那么所述方法可包含在映射方向的相反方向上检测标记为未映射且邻接目的地图像中的第二映射到的位置的像素位置。在一些实施方案中，这些位置可识别为连续孔。
[0007]本发明的额外创新方面提供一种视频转换装置。所述装置包含用于选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值的装置。所述装置还包含用于沿着映射方向将多个第一共线像素位置处的参考图像的所述多个图像像素值中的每一者连续映射到目的地图像的相应多个第二像素位置的装置。所述装置进一步包含用于在连续映射中的两者之间确定第二像素位置中的两者之间的孔的位置的装置。
[0008]在又一创新方面中，提供另一视频转换装置。所述装置包含处理器。所述装置包含像素提取电路，其与处理器耦合且经配置以在指定的映射方向上从参考图像连续提取像素。所述装置包含像素扭曲电路，其与处理器耦合且经配置以确定目的地图像中的所提取像素的位置。所述装置包含孔检测电路，其与处理器耦合且经配置以识别目的地图像中在所提取像素的位置与先前所提取像素的先前确定的位置之间的空像素位置。所述装置还包含孔填充电路，其与处理器耦合且经配置以产生目的地图像中的空像素位置的像素值。
[0009]在一些实施方案中，像素提取电路经配置以在孔检测电路和孔填充电路完成对第一像素的操作之后提取第二像素。参考图像可为2D图像。目的地图像可为3D目的地图像。3D目的地图像包括包含2D参考图像的3D立体图像对。像素扭曲电路可经配置以基于从参考图像中的像素位置的偏移确定目的地图像中的所提取像素的位置。在一些实施方案中，孔检测电路经配置以在目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间识别(所述第一映射到的位置和所述第二映射到的位置为连续映射)，在映射到的像素位置相同或具有目的地图像中的与映射方向相反的方向的情况下，确定第二映射到的位置的像素值。孔填充电路可经配置以基于来自第一映射到的位置处的像素与第二映射到的位置处的像素的参考图像的深度值的比较产生第二映射到的位置的像素值。在一些实施方案中，孔填充电路经配置以识别目的地图像中的第一映射到的位置与目的地图像中的第二映射到的位置之间的空像素位置，第二映射到的位置具有与映射方向相同的方向。在一些实施方案中，孔填充电路经配置以基于来自第一映射到的位置处的像素与第二映射到的位置处的像素的参考图像的深度值的比较产生所识别空像素位置的像素值。像素值可包含颜色分量和与颜色分量相关联的强度值。孔填充电路可进一步经配置以在将像素值映射到目的地图像中的位置后即刻设定所述位置的深度值，其中所述位置并非孔，且当所述位置为孔时，将所述位置识别为未映射直到所述位置随后被映射到为止。
[0010]本发明的另一创新方面提供一种包括计算机可读媒体的视频图像处理计算机程序产品，所述计算机可读媒体上存储有指令。所述指令可由设备的处理器执行以致使所述设备选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值。所述指令进一步致使所述设备沿着映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置。所述指令进一步致使所述设备在两个连续映射之间确定第二像素位置中的两者之间的孔的位置。
[0011]在一些实施方案中，确定孔的位置包括识别目的地图像中的第一映射到的位置与目的地图像中的第二映射到的位置之间的像素位置，所述第二映射到的位置是与映射方向相同方向上的位置。在一些实施方案中，指令致使所述设备在目的地图像中的第一映射到的位置与目的地图像中的第二映射到的位置之间(所述第一映射到的位置和所述第二映射到的位置为连续映射)，在映射到的像素位置相同或具有目的地图像中的与映射方向相反的方向的情况下，确定第二映射到的位置的像素值。还可提供指令以致使所述设备基于来自第一映射到的位置处的像素与第二映射到的位置处的像素的参考图像的深度值的比较确定所确定位置的像素值。还可包含致使所述设备基于来自第一映射到的位置处的像素与第二映射到的位置处的像素的参考图像的深度值的比较确定所确定位置的像素值的指令。像素值可包含颜色分量和与颜色分量相关联的强度值。在一些实施方案中，映射多个像素值中的每一者包括从2D参考图像到3D目的地图像的映射。在一些实施方案中，3D目的地图像包括包含2D参考图像的3D立体图像对。
【专利附图】

【附图说明】
[0012]因此，可通过参考各方面理解可详细理解本发明的特征的方式、更具体描述(上文简要概述)，所述方面的一些在附图中说明。然而，应注意，附图仅说明本发明的某些典型方面且因此不应将其视为对本发明的范围的限制，因为描述可容许其它同等有效的方面。
[0013]图1展示示范性视频编码和解码系统的功能框图。
[0014]图2展示示范性视频编码器的功能框图。
[0015]图3展示示范性视频解码器的功能框图。
[0016]图4展示示范性3D转换处理器的功能框图。
[0017]图5展示用于3D像素扭曲和孔检测的示范性过程流程图。
[0018]图6展示用于更新孔填充的示范性过程流程图。
[0019]图7A展示从参考视图到目的地视图的示范性像素映射。
[0020]图7B展示从参考视图到目的地视图的其它示范性像素映射。
[0021]图7C展示从参考视图到目的地视图的其它示范性像素映射。
[0022]图7D展示从参考视图到目的地视图的其它示范性像素映射。
[0023]图7E展示从参考视图到目的地视图的另一示范性像素映射。
[0024]图8展示产生图像的示范性方法的流程图。
[0025]图9展示示范性视频转换装置的功能框图。
[0026]根据通例，图式中说明的各个特征可不按比例绘制。因此，各个特征的尺寸可为清楚起见任意扩展或缩小。另外，一些图式可未描绘给定系统、方法或装置的所有组件。最后，贯穿说明书和图式中，可使用相同参考数字来表示相同特征。
【具体实施方式】
[0027]存在用于从参考图像产生现实3D图像的各种方法。一种方法是基于深度图像的再现(DIBR)。基于深度图像的再现合成来自给定输入视图的虚拟视图与其相关联深度图。深度图通常指代特定像素距相机的相对或绝对距离的识别。在DIBR中，可执行两个步骤来产生3D图像:(I) 3D扭曲，其基于深度图将输入视图的纹理扭曲到虚拟目的地图像；以及
(2)孔填充，其填充虚拟视图中无像素映射的像素位置。
[0028]在3D扭曲中，给定深度和相机型号，参考视图的像素首先从参考图像相机坐标投影到世界空间坐标中的点。相机型号通常指代表示3D点与其到图像平面上的投影之间的关系的计算方案。此点接着沿着目的地图像的视角(例如，检视者的观察点)的方向投影到目的地图像(待产生的虚拟视图)中的像素。扭曲可用于将2D参考图像转换为3D目的地图像。扭曲可用于将3D参考图像转换为不同的3D目的地图像。
[0029]有时，一个以上视图可视为参考视图。上文提及的投影可不为一对一投影。当一个以上像素投影到目的地图像中的像素时，发生可见性问题，即确定多个所投影像素中的哪一像素应在目的地图像中可见。相反，当无像素投影到目的地图像中的像素时，虚拟视图的图片中可存在孔。如果目的地图像中的连续区域存在孔，那么所述现象可称为阻塞。如果孔在图片中稀疏分布，那么其可称为针孔。可通过在不同方向上引入一个参考视图来解决阻塞。为了通过孔填充来填充针孔，相邻像素可视为用于填充孔的候选像素值。用于针孔填充的方法还可用于解决阻塞问题。举例来说，当针对目的地图像中的像素的像素值考虑一个以上像素时，可采用某些加权平均方法。此过程可称为视图合成中的重建。
[0030]一种扭曲方法是基于视差值。当参考视图图像的参数固定时，对于输入视图中具有给定深度值的每一像素，可计算视差值。视差通常指代参考视图图像中的给定像素将被移位以产生现实3D目的地图像的像素偏移数目。视差值可仅含有水平方向上的位移。然而，在一些实施方案中，视差值可含有垂直方向上的位移。基于所计算的视差值，像素将被扭曲到目的地图像。当多个像素映射到同一位置时，一种解决所述问题的方式是选择最靠近相机的像素。
[0031]下文描述用以提供图像或视频到3D图像或视频的有效转换的方法和系统，其解决了基于3D扭曲的视图合成的上文提及的方面，即:可见性、阻塞、孔填充和重建。3D扭曲和孔填充可作为两个单独过程来处置。第一 3D扭曲过程映射参考图像中的所有像素。接着，孔填充过程检查目的地图像中的所有像素且填充可被识别的任何孔。根据此两步过程，存储器区可被遍历两次，一次针对3D扭曲且第二次用以识别孔。此方法可增加转换算法所需的指令，且还可潜在地增加高速缓冲存储器未中率。此方法可进一步需要更多总线业务，进而增加功率消耗。因此，需要3D扭曲以及孔填充的更有效方法。
[0032]下文描述在一个过程中处置3D扭曲和孔填充的方法。更特定来说，仅需要一个循环来检查输入参考图像中的像素中的每一者以完成整个图像的视图合成。举例来说，可利用一个循环在从原始图像到目的地图像产生时遍历每一行的每一像素。在此循环的每一迭代期间，针对一个或一个以上像素处理图像投影(计算原始图像中像素的目的地位置)(例如，扭曲)和孔填充两者。在一些实施方案中，当将一个像素扭曲到目的地图像的特定位置时，不仅特定位置中的像素而且附近像素可以新深度值和颜色值加以更新。当像素在属于同一水平线的两个连续迭代中的两个映射到的像素之间时，像素可临时检测为孔。当临时检测到孔时，所述孔可立即(至少临时)通过这两个迭代中的两个映射到的像素中的一者基于谁的深度值对应于与较接近相机相对应的z值(例如，深度值)来填充。
[0033]在一些情况下，像素可映射到已映射的位置。z缓冲可决定用新像素的值(例如，大于所述位置处映射的像素的像素的深度)取代所述位置。由于正被取代的像素的值可能先前已用于填充邻近于映射到的位置的孔，所以可能需要考虑到新映射的像素而再填充所述孔。因此，在其中像素从左至右处理的实施方案中，可基于映射到的像素和孔左侧的第一非孔像素的新的值而再填充邻近于水平线左侧的映射到的位置的连续孔。举例来说，由于映射的缘故，孔可存在于像素位置A与Z之间。可考虑到位置A和位置Z处映射的像素值而填充此孔。随后，位置N可以不同像素值映射。在此情况下，必须考虑到位置A和位置N处映射的像素值而再评估位置A与N之间的孔。此过程在下文参看图6和7进一步详细描述。
[0034]在以下描述中，给出特定细节以提供对实例的彻底理解。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。举例来说，可以框图展示电组件/装置以便不会以不必要的细节混淆实例。在其它实例中，可详细展示此些组件、其它结构和技术以进一步解释所述实例。
[0035]还应注意，实例可描述为过程，其描绘为流程图、流图、有限状态图、结构图或框图。尽管流程图可将操作描述为循序过程，但许多操作可并行或同时执行，且所述过程可重复。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时，其终止对应于所述功能返回到调用功能或主功能。
[0036]所属领域的技术人员将理解，可使用多种不同技术和技艺中的任一者表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
[0037]下文描述所附权利要求书的范围内的实施例的各个方面。应了解，本文描述的方面可体现为广泛多种形式，且本文描述的任何特定结构和/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文描述的方面可独立于任何其它方面实施，且这些方面中的两者或两者以上可以各种方式组合。举例来说，可使用本文陈述的任何数目的方面实施一设备且/或实践一方法。另外，除本文陈述的方面的一者或一者以上外，可同时使用或另外使用其它结构和/或功能性来实施此设备且/或实践此方法。
[0038]图1展示示范性视频编码和解码系统的功能框图。如图1中所示,系统10包含源装置12，其经由通信信道15将经编码的视频发射到目的地装置16。源装置12和目的地装置16可包括广范围装置的任一者，包含移动装置或通常固定装置。在一些情况下，源装置12和目的地装置16包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电话、个人数字助理(PDA)、移动媒体播放器，或可经由通信信道15 (其可或可不为无线的)传送视频信息的任何装置。然而，本发明的涉及从参考图像或视频产生3D图像或视频的技术可在许多不同系统和设置中使用。图1仅是此系统的一个实例。
[0039]在图1的实例中，源装置12可包含视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包含接收器26、调制解调器27、视频解码器28及显示装置30。根据本发明，源装置12的视频编码器22可经配置以编码参考图像的帧的序列。视频编码器22可经配置以编码3D转换信息，其中3D转换信息包括可施加到参考序列的视频帧的每一者以产生3D视频数据的参数集合。调制解调器23和发射器24可调制无线信号并将其发射到目的地装置16。以此方式，源装置12将经编码参考序列连同3D转换信息一起传送到目的地装置16。
[0040]接收器26和调制解调器27接收并解调制从源装置12接收的无线信号。因此，视频解码器28可接收参考图像的帧的序列。视频解码器28可接收解码参考序列的3D转换信息。根据本发明，视频解码器28可基于参考图像的帧的序列产生3D视频数据。视频解码器28可基于3D转换信息产生3D视频数据。再次，3D转换信息可包括可施加到参考序列 的视频帧中的每一者以产生3D视频数据的参数集合，所述3D视频数据可包括比原本传送 3D序列将需要的数据显著少的数据。
[0041]如所提及，图1的所说明的系统10仅为示范性的。本发明的技术可扩展到支持基 于第一阶块的视频译码的任何译码装置或技术。
[0042]源装置12和目的地装置16仅是此类译码装置的实例，其中源装置12产生经译码 视频数据以供发射到目的地装置16。在一些情况下，装置12、16可以大体对称方式操作使 得装置12、16的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、16之 间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。
[0043]源装置12的视频源20可包含视频俘获装置，例如摄像机、含有先前俘获的视频的 视频档案，或从视频内容提供者馈送的视频。作为另一替代方案，视频源20可产生基于计 算机图形的数据作为源视频，或直播视频(live video)、存档视频与计算机产生的视频的 组合。在一些情况下，如果视频源20为摄像机，那么源装置12及目的地装置16可形成所谓 的相机电话或视频电话。在每一情况下，视频编码器22可对所捕捉、所预捕捉或计算机产 生的视频进行编码。经编码视频信息可接着通过调制解调器23根据通信标准(例如，码分 多址(CDMA)或另一通信标准)进行调制，且经由发射器24而发射到目的地装置16。调制 解调器23可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射 器24可包含经设计以用于发射数据的电路，包含放大器、滤波器及一个或一个以上天线。
[0044]目的地装置16的接收器26经由信道15接收信息，且调制解调器27解调制所述 信息。再次，视频编码过程可实施本文描述的技术的一者或一者以上以确定可施加到参考 序列的视频帧的每一者以产生3D视频数据的参数集合。经由信道15传送的信息可包含由 视频编码器22界定的信息，其可由视频解码器28根据本发明使用。显示装置30向用户显 示经解码的视频数据，且可包括例如阴极射线管、液晶显示器(IXD)、等离子体显示器、有机 发光二极管(OLED)显示器或另一类型的显示装置的多种显示装置中的任一者。
[0045]在图1的实例中，通信信道15可包括任一无线或有线通信媒体，例如，射频(RF) 频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。因此，调制解调器23 和发射器24可支持许多可能的无线协议、有线协议，或有线和无线协议。通信信道15可形 成例如局域网(LAN)、广域网(WAN)或全球网(例如，包括一个或一个以上网络的互连的因 特网)的基于包的网络的一部分。通信信道15通常表示用于将视频数据从源装置12发射 到目的地装置16的任何合适的通信媒体或不同通信媒体的集合。通信信道15可包含可用 于促进从源装置12到目的地装置16的通信的路由器、交换器、基站或任何其它设备。本发 明的技术不一定需要将经编码数据从一个装置传送到另一装置，且可适用于无互逆解码情 况下的编码情境。并且，本发明的方面可适用于无互逆编码情况下的解码情境。
[0046]视频编码器22和视频解码器28可依据视频压缩标准操作，所述视频压缩标准例 如ITU-T H.264标准，或者描述为MPEG-4，第10部分和高级视频译码(AVC)。然而，本发明的 技术不限于任何特定译码标准或其扩展。尽管图1中未展示，但在一些方面中，视频编码器 22及视频解码器28可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路 分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频 与视频两者的编码。在适用的情况下，MUX-DEMUX单元可遵守多路复用器协议(例如，ITUH.223)，或例如用户数据报协议(UDP)等其它协议。
[0047]视频编码器22和视频解码器28各自可实施为一个或一个以上微处理器、数字信 号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、在微处 理器或其它平台上执行的软件、硬件、固件，或其任何组合。视频编码器22和视频解码器 28中的每一者可包含在一个或一个以上编码器或解码器中，其任一者可作为经组合的编码 器/解码器(CODEC)的部分集成在相应移动装置、订户装置、广播装置、服务器或类似装置 中。
[0048]视频序列通常包含一系列视频帧。视频编码器22和视频解码器28可在个别视频 帧内的视频块上操作以便编码和解码视频数据。所述视频块可具有固定的或变化的大小， 且可根据指定的译码标准而大小不同。每一视频帧可包含一系列片段或其它可独立解码单 兀。每一切片可包括一系列宏块，其可经布置成若干子块。作为实例，ITU-T H.264标准支 持以例如用于亮度分量的16乘16、8乘8或4乘4和用于色度分量的8乘8等各种块大小 的帧内预测，以及以例如用于亮度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和 4乘4和用于色度分量的对应缩放大小等各种块大小的帧间预测。视频块可包括像素数据 的块，或变换系数的块，例如，在例如离散余弦变换或概念上类似的变换过程的变换过程之 后。
[0049]宏块或其它视频块可分组为例如片段、帧或其它独立单元等可解码单元。每一片 断可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义 为可解码单元。在本发明中，术语“经译码单元”指代视频帧的任何可独立解码单元，例如 整个帧、帧的片段、图片群组(GOP)，或根据所使用的译码技术界定的另一可独立解码单元。
[0050]图2展示示范性视频编码器的功能框图。在一些实施方案中，可能需要在编码之 前将参考图像或视频转换为3D图像或视频。举例来说，如果目标显示装置具有3D能力，那 么编码器可执行转换且将3D编码视频流递送到目标显示装置。视频编码器22可包含一个 或一个以上预处理器202。预处理器202可包含经配置以处理输入视频块的各个模块。可 包含例如量化单元、熵译码单元、加密单元、加扰单元、解扰单元等预处理模块。在一些应用 中，在不需要对输入视频块的预处理的情况下，没有预处理器202包含在视频编码器22中。 在一些实施方案中，预处理器可经配置以调整每一像素的像素值，例如将每一像素的深度 值调整为大于O。
[0051]预处理器202与下文将参看图4进一步描述的3D转换处理器204耦合。在一些 实施方案中，在不需要3D转换的情况下，3D转换处理器204可被绕开或从视频编码器22省 略。3D转换处理器204可与一个或一个以上发射准备处理器206耦合。发射准备处理器 206可包含编码处理器、缓冲处理器、预测处理器，和用于准备经转换输入视频块进入经编 码位流以供发射的其它组件。
[0052]预处理器202、3D转换处理器204和发射准备处理器206中的每一者与存储器208 耦合。存储器可用于在视频编码器内的各个阶段存储输入视频块。在一些实施方案中，处 理器直接向彼此发射输入视频块。在一些实施方案中，处理器通过将输入视频块存储在存 储器208中而将一个或一个以上输入视频块提供到后续处理器。每一处理器还可在处理期 间使用存储器208。举例来说，发射准备处理器206可使用存储器208作为输入视频块的经 编码位的中间存储位置。[0053]图3展示示范性视频解码器的功能框图。在一些实施方案中，可能需要在解码位 流之后将2D视频转换为3D视频。举例来说，如果目标显示装置能够将经编码2D位流转换 为3D视频，那么解码器可对2D经编码视频流执行转换。视频解码器28可包含一个或一个 以上预处理器302。视频解码器28可包含下文将参看图4进一步详细描述的3D转换处理 器204。视频解码器28可包含显示准备处理器206。视频解码器28可包含存储器208。
[0054]图4展示示范性3D转换处理器的功能框图。3D转换处理器204包含处理器402。 处理器402可经配置以控制3D转换处理器204的操作。处理器402可包含多个处理单元。 处理器402的处理器单元204中的一者或一者以上可统称为中央处理单元(CPU)。
[0055]处理器402可与像素提取处理器404耦合。像素提取处理器404可经配置以从2D 到3D转换处理器204所接收的视频块中提取像素。在一些实施方案中，像素提取处理器 404可从视频块逐行提取像素。在其中像素提取处理器404逐行提取像素的实施方案中，像 素可从左向右或从右向左提取。在一些实施方案中，像素提取处理器404可从视频块中逐 列提取像素。在其中像素提取处理器404逐列提取像素的实施方案中，像素可从顶部向底 部或从底部向顶部提取。
[0056]3D转换处理器204可包含扭曲处理器406。扭曲处理器406可与处理器402耦合。 扭曲处理器406可经配置以作为到3D视频的转换的一部分来扭曲所提取像素。在一些实施 方案中，扭曲处理器406可计算像素的视差值以确定目的地图像中的像素位置。将了解，可 使用除了视差以外的方法来确定目的地图像中的像素位置，而不脱离本发明的范围。扭曲 处理器406可经配置以直接从像素提取处理器404接收所提取像素。在一些实施方案中， 像素提取处理器404可通过将所提取像素存储在存储器208中而提供所提取像素。在这些 实施方案中，扭曲处理器可经配置以从存储器208检索所提取像素。
[0057]3D转换处理器204可包含孔检测处理器408。孔检测处理器408可与处理器402 耦合。在像素已被扭曲处理器404扭曲之后，孔检测处理器408可经配置以确定是否有任 何孔被弓I入到目的地图像中。目的地图像中的一个或一个以上像素之间的空间可未映射。 如上文论述，孔可为阻塞或针孔。下文将参看图5进一步详细描述用于检测孔的过程。与 扭曲处理器406 —样,孔检测处理器408可基于直接从扭曲处理器406发射的信息或基于 经由存储器208提供到孔检测处理器408的信息来检测孔。
[0058]3D转换处理器204可包含孔填充处理器410。孔填充处理器410可与处理器402 耦合。如果孔检测处理器408识别出孔，那么可发射信号从而致使孔填充处理器410产生 孔的像素值。像素值可包含例如颜色(例如，红、绿、蓝值)、深度值(例如，z值)、亮度、色 调、饱和度、强度等信息。下文将参看图5进一步详细描述用于孔填充的过程。与扭曲处理 器406 —样，孔填充处理器410可基于直接从孔填充处理器406发射的信息或基于经由存 储器208提供到孔填充处理器410的信息来填充孔。
[0059]一旦已处理视频块，就将表示目的地图像的经转换的3D像素值从2D到3D转换处 理器204输出。在一些实施方案中，3D转换处理器204可将经转换3D像素值中的一者或一 者以上写入到存储器208。在一些实施方案中，如果在视频编码器22中执行转换，那么经转 换3D像素值可直接发射到发射准备处理器206。在一些实施方案中，如果在视频解码器28 中执行转换，那么经转换3D像素值可直接发射到显示准备处理器306。
[0060]图5展示用于2D到3D像素扭曲和孔检测的示范性过程流程图。针对每一所提取像素(i)执行所述过程。在图5中描述的实施方案中，假定像素被逐行从左向右处理。在框 502处，计算视差且将当前像素(i)映射到目的地图像中的位置(X' (i))。在框504处，作 出关于当前位置(X' (i))处的像素值是否等于映射到在先前所映射像素(X' (1-l)+l) 右侧一个像素处的位置的像素值的确定。如果是，那么当前像素映射到直接邻近先前所映 射像素的位置。如果两个像素彼此相邻，那么当前像素与先前像素之间不存在孔。由于不 存在孔，所以过程继续到框508，其中像素计数器递增且针对下一像素重复所述过程。如果 像素计数器已达到行的末尾，那么所述过程复位像素计数器且开始处理下一行。
[0061]返回到框504，如果当前像素未映射到紧接在先前所映射像素位置右侧的位置，那 么可存在孔。存在两种可能性，当前像素位置进一步在先前所映射像素位置右侧，或当前像 素位置处于先前所映射像素位置或在其左侧。决策框510检查第一情境。如果当前像素位 置大于先前所映射像素位置(例如，在其右侧)，那么当前与先前像素之间存在一个或一个 以上像素。当前所映射像素与先前所映射像素之间的所述一个或一个以上像素表示孔。在 框512处，从紧接在先前所映射像素{V (i一I))右侧的像素位置开始且以紧接在当前所 映射像素(X' (i))左侧的像素位置结束而填充孔。
[0062]假定待填充的孔存在于目的地图像的同一水平线中的两个位置(m和n)之间，其 中位置n大于位置m(例如，在其右侧)。为填充m与n之间的孔，将目的地图像中的n的 深度值与目的地图像中的m的深度值进行比较。如果n的深度值大于m的深度值，那么使 用位置n处的像素的颜色值来填充m与n之间的孔。如果n的深度值小于或等于m的深度 值，那么使用位置m处的像素的颜色值来填充孔。在一些实施方案中，可不设定n的深度值 和位置n处的像素的颜色值。在此情况下，目的地图像中的深度值和位置n处的像素的颜 色值临时设定为等于来自当前映射到像素n的像素的原始视图的深度值和颜色值。
[0063]返回到框510，如果当前所映射像素位置处于先前所映射像素位置或在其左 侧，那么当前像素正在至少一个先前所映射像素上扭曲。所述方法继续进行以确定哪一 (些)像素应在目的地图像中出现。在决策框514处，将目的地图像中当前像素的深度值 (D' [X(i)])与参考视图图像中当前像素的深度值(D[X(i)])进行比较。在图5所示的实 例中，较大深度值指示像素较接近相机。因此，如果目的地图像中当前像素的深度小于参 考视图图像中当前像素的深度，那么所述像素在目的地图像中被阻挡且可从目的地图像省 略。在此情况下，过程继续到框508以处理下一像素。在一些例子中，所有参考视图图像像 素可在到达目的地视图图像像素的对应行的末尾之前映射。在这些例子中，可向剩余未映 射目的地视图像素位置指派目的地视图行中映射的最后像素的像素值。在其它实施方案 中，目的地视图行可使用统计或其它分析基于用以填充目的地视图行的一个或一个以上所 指派像素位置像素值来进行后处理。
[0064]返回到框514，如果目的地图像中的当前像素的深度大于参考视图图像中的像素 的深度，那么当前像素可正阻挡其它先前所映射像素。在框516处，清除位于当前像素位置 (X' (i)+l)右侧(到先前所映射像素的像素位置(X' (i — I))) 一个像素位置处的像素 的深度图值。在图5所示的实施方案中，清除深度图是通过将像素的深度图中的值设定为 表示距相机最远的位置的值(例如，零)来实现。在一些实施方案中，可通过从与像素相关 联的深度图移除条目或将深度图中的值设定为非零值来清除深度图。
[0065]在框518处，如果在当前所映射像素左侧的像素位置(X' (i)_l)处的当前所映射像素的深度图值不是零，那么在当前所映射像素左侧的像素位置处的当前所映射像素未基 于先前所映射像素值而临时进行孔填充。因此，当前所映射像素与当前所映射像素左侧的 像素位置处的像素之间不存在冲突。在此情况下，过程前进到框506且如上文描述继续。
[0066]返回到框518，如果在当前所映射像素左侧的像素位置{V (i)-l)处的当前所映 射像素的深度图值是零，那么一个或一个以上像素位置可能已在当前所映射像素左侧进行 孔填充。此孔填充将已基于正由当前所映射像素值覆写的先前所映射像素值。在此情况下， 过程继续到框600。在框600处，如下文参看图6描述更新孔填充。
[0067]如图5中描述，使用深度图来指示所映射像素位置与已临时进行孔填充的像素位 置之间的差异。将了解，可使用除深度图外用于识别临时孔填充像素位置的其它机制，例如 包含在像素值中的指示符、查找表等。
[0068]图6展示用于更新孔填充的示范性过程流程图。在一些情况下，由于孔填充的缘 故接收到像素值的像素位置可鉴于后续所映射像素而再填充。经填充像素位置基于比如位 置A和Z处的像素的评估而接收到像素值。随后，可以不同像素值映射位置N。在此情况 下，必须考虑到位置A和位置N处映射的像素值而再评估位置A与N之间的孔。图6描述 此再评估过程。
[0069]在框602处，将当前更新像素指示符初始化到当前所映射像素位置左侧的位置。 跟踪临时填充的孔的数目的计数器也可初始化为零。在框604处，将位于当前更新像素位 置处的像素的深度值与零进行比较。如果当前更新像素位置处的像素的深度值不等于零， 那么此像素位置处不存在临时填充的孔。回想，在一些实施方案中，将深度图设定为零是一 种识别临时填充的像素位置的方法。因此，所述更新已识别临时填充的孔的程度。过程继 续到框606，其中针对跨越临时填充的孔的像素位置(例如，j+1到1-1)执行上文提及的孔 填充过程。
[0070]返回到决策框604，如果此位置处的像素的深度等于零，那么当前更新像素位置处 存在临时填充的孔。在框608处，将当前更新像素位置递减(例如，当前更新像素位置向左 移位一个像素)，且将临时填充的孔计数递增I。在框610处，作出关于j是否已递减到行 开头(即，像素位置0)的确定。如果j小于零，那么孔延伸到行的左边缘。过程继续到框 606，其中从行的左边缘向1-1执行孔填充过程。如果j大于零，那么更多可能未映射的像 素保持在行中。过程通过返回到框604而重复以上方法。
[0071]图7A展示从参考视图到目的地视图的示范性像素映射。所述示范性像素映射包 含两行像素。行702包含表示参考视图图像中的像素的像素位置的若干框。行704包含表 示目的地视图图像中的像素的像素位置的对应数目的框。在图7A中，数字(例如，I)表示 参考视图图像中的像素，且所述数字的带撇号型式(例如，I')表示相同像素(但在目的 地图像中)。
[0072]如图7A所示,第一参考视图图像像素位置含有像素I。像素I先前已映射到第一 目的地图像像素位置。此所映射像素在目的地图像中由像素I'表示。在此实例中，在到目 的地视图图像中的第一像素位置的映射期间不需要偏移来扭曲像素I。在图7A中，第二参 考视图图像像素位置处的参考视图图像像素2正映射到目的地视图图像像素位置。如图所 示，参考视图图像像素2作为像素2'映射到第二目的地视图图像像素位置。与像素I 一 样，在目的地视图图像中的第二像素位置的映射期间不需要偏移来扭曲像素2。一旦像素2映射，系统就确定当前所映射像素位置与先前所映射像素位置之间是否存在任何孔。由于 像素2'映射到紧接在先前所映射像素I'的像素位置右侧的像素位置，所以不存在孔。因 此，由于映射像素2的缘故，不必要进行孔填充。
[0073]图7B展示从参考视图到目的地视图的其它示范性像素映射。与图7A —样，所述 示范性像素映射包含两行像素。行702包含表示参考视图图像中的像素位置的若干框。行 704包含表示目的地视图图像中的像素位置的对应数目的框。图7B说明参考视图图像像素 3从第三参考视图图像位置的映射。在此实例中，系统确定目的地视图图像中的像素3的 偏移。第三参考视图图像像素位置不映射到第三目标像素位置。像素3'不紧接在先前所 映射像素2'右侧。而是，像素3以一个像素偏移映射，所映射像素由像素3'表示。如此， 在目的地视图图像中的像素2'与像素3'之间引入孔。为填充所述孔，将像素2'与像素 3'的深度值进行比较以确定哪一像素值将用于填充所述孔。在图7B所示的实例中，像素 2，的深度值大于目的地视图图像中3'的深度值。因此，通过此实例，使用2'的像素值在 目的地视图图像的第三像素位置处填充孔。
[0074]图7C展示从参考视图到目的地视图的其它示范性像素映射。与图7A和7B —样， 所述示范性像素映射包含两行像素。行702包含表示参考视图图像中的像素位置的若干 框。行704包含表示目的地视图图像中的像素位置的对应数目的框。图7C说明参考视图图 像像素4从第四参考视图图像位置的映射。在此实例中，系统确定目的地视图图像中的像 素4的偏移。第四参考视图图像像素位置不映射到下一可用目的地视图图像像素位置(例 如，第六位置)。像素4'不紧接在先前所映射像素3'右侧。而是，像素4以从前所映射像 素位置的一个像素偏移映射，所映射像素由像素4'表示。如此，在目的地视图图像中的像 素3'与像素4'之间引入孔。为填充所述孔，将像素3'与像素4'的深度值进行比较以 确定哪一像素值将用于填充所述孔。在图7C所示的实例中，像素4'的深度值大于目的地 视图图像中3'的深度值。因此，通过此实例，使用像素4'的像素值在目的地视图图像中 填充孔。
[0075]图7D展示从参考视图到目的地视图的其它示范性像素映射。与图7A、7B和7C — 样，所述示范性像素映射包含两行像素。行702包含表示参考视图图像中的像素位置的若 干框。行704包含表示目的地视图图像中的像素位置的对应数目的框。图7D说明参考视 图图像像素5从第五参考视图图像位置的映射。在此实例中，系统确定目的地视图图像中 的像素5的偏移。与来自图7C的偏移不同，像素5的偏移是在先前所映射像素位置左侧。 根据图5中描述的方法，将清除(例如，设定为零)目的地视图图像中的4'的深度值。系 统接着基于如上文描述的3'和5'的像素值更新针对目的地视图图像中的第五像素位置 的孔填充。在所展示的实例中，使用像素5，的像素值填充目的地视图图像中的第五像素位 置。
[0076]图7E展示从参考视图到目的地视图的另一示范性像素映射。与图7A、7B、7C和7D 一样，所述示范性像素映射包含两行像素。行702包含表示参考视图图像中的像素位置的 若干框。行704包含表示目的地视图图像中的像素位置的对应数目的框。图7E说明参考 视图图像像素6从第六参考视图图像位置的映射。系统不计算从先前所映射像素位置(例 如，第六位置)的偏移。因此，像素6映射到目的地视图图像中的第七像素位置(作为像素 6')。在此实例中，像素6'的像素值覆写第六位置的先前像素值(例如，像素4'的值)。[0077]图8展示产生图像的示范性方法的流程图。在框802处，选择映射方向用于处理 多个第一共线像素位置处的参考图像的多个像素值。在框804处，沿着映射方向将所述多 个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置。可使用上文描述的 技术的一者或一者以上实现所述映射。在框806处，在两个连续映射之间，确定第二像素位 置中的两者之间的孔的位置。可使用上文描述的技术的一者或一者以上实现孔的确定。
[0078]图9展示示范性视频转换装置的功能框图。所属领域的技术人员将了解，无线终 端可具有除图9所示的简化视频转换装置900以外的更多组件。视频转换装置900仅展示 可用于描述权利要求书的范围内的实施方案的一些显著特征的那些组件。视频转换装置 900包含选择电路910、映射电路920和孔确定电路930。在一些实施方案中，选择电路910 经配置以选择映射方向来处理多个第一共线像素位置处的参考图像的多个像素值。在一些 实施方案中，所述用于选择的装置包括选择电路910。在一些实施方案中，映射电路920经 配置以沿着映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第 二像素位置。在一些实施方案中，所述用于连续映射的装置包含映射电路920。在一些实施 方案中，孔确定电路930经配置以在两个连续映射之间确定第二像素位置中的两者之间的 孔的位置。所述用于确定孔的位置的装置可包含孔确定电路930。
[0079]所属领域的技术人员将进一步了解，结合本文揭示的实施方案描述的各种说明性 逻辑块、模块、电路和过程步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚说明 硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电 路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约 束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述 实施方案决定不应被解释为会导致脱离本发明的范围。所属领域的技术人员将认识到，一 部分可包括少于或等于全部的事物。举例来说，像素集合的一部分可指代那些像素的子集
口 o
[0080]可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵 列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行 本文中所描述的功能的任何组合来实施或执行结合本文中所揭示的实施例而描述的各种 说明性逻辑块、模块及电路。通用处理器可为微处理器，但在替代例中，处理器可为任何常 规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与 微处理器的组合、多个微处理器、一个或一个以上微处理器与DSP核心的联合，或任何其它 此配置。
[0081]结合本文揭示的实施方案描述的方法或过程的步骤可直接体现在硬件中、在由处 理器执行的软件模块中，或两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM 存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可拆卸盘、CD-ROM，或此项技术中已知 的任何其它形式的非瞬时存储媒体中。示范性计算机可读存储媒体耦合到处理器使得处理 器可从计算机可读存储媒体读取信息和将信息写入到计算机可读存储媒体。在替代方案 中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中。ASIC可驻留在用 户终端、相机或其它装置中，在替代方案中，处理器和存储媒体可作为离散组件驻留在用户 终端、相机或其它装置中。
[0082]本文包含标题供参考且辅助定位各个部分。这些标题不希望限制相对于其描述的概念的范围。此些概念可具有贯穿整个说明书的适用性。
[0083]此外，本文使用词语“示范性”来表示“充当实例、例子或说明”。本文中被描述为 “示范性”的任何实施例不必须被理解为比其它实施例优选或有利。
[0084]提供所揭示实施方案的先前描述以使所属领域的任何技术人员能够制造或使用 本发明。所属领域的技术人员将容易明白对这些方面的各种修改，且本文中所定义的一般 原理可在不偏离本发明的精神或范围的情况下应用于其它实施方案。因此，本发明并不希 望限于本文中所展示的实施方案，而是应被赋予与本文中所揭示的原理和新颖特征一致的 最宽范围。
【权利要求】
1.一种视频图像处理方法，其包括: 选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值； 沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置；以及 在两个连续映射之间，确定所述第二像素位置中的两者之间的孔的位置。
2.根据权利要求1所述的视频图像处理方法，其中确定孔的所述位置包括识别所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间的像素位置，所述第二映射到的位置是与所述映射方向相同方向上的位置。
3.根据权利要求1所述的视频图像处理方法，其进一步包括在所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间，所述第一映射到的位置和所述第二映射到的位置为连续映射，在所述映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下，确定所述第二映射到的位置的像素值。
4.根据权利要求2所述的视频图像处理方法，其进一步包括基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较确定被确定为孔的位置的像素值。
5.根据权利要求3所述的视频图像处理方法，其中所述第二映射到的位置的所述像素值是基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较。
6.根据权利要求3所述的视频图像处理方法，其中所述像素值包含颜色分量和与所述颜色分量相关联的强度值。
7.根据权利要求1所述的视频图像处理方法，其中映射多个像素值中的每一者包括从2D参考图像映射到3D目的地图像。
8.根据权利要求7所述的视频图像处理方法，其中所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
9.根据权利要求1所述的视频图像处理方法，其进一步包括: 在将像素值映射到所述目的地图像中的位置后即刻设定所述位置的深度值，其中所述位置为非孔；以及 当所述位置为孔时，将所述位置识别为未映射直到所述位置随后被映射到为止。
10.根据权利要求3所述的视频图像处理方法，其进一步包括: 如果所述第二映射到的位置的所述像素值用作所述所确定位置的所述像素值，那么在所述映射方向的相反方向上检测标记为未映射且邻接所述目的地图像中的所述第二映射到的位置的像素位置；以及 将所述所检测像素位置识别为连续孔。
11.根据权利要求10所述的视频图像处理方法，其中基于限定所述连续孔的第一像素和第二像素的深度值的比较确定所述连续孔的每一像素值，所述第一和第二像素值在所述目的地图像中并非孔。
12.一种视频转换装置，其包括: 用于选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值的装置；用于沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置的装置；以及 用于在连续映射之间确定所述第二像素位置中的两者之间的孔的位置的装置。
13.根据权利要求12所述的装置，其中所述用于确定孔的位置的装置经配置以识别所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间的像素位置，所述第二映射到的位置是与所述映射方向相同方向上的位置。
14.根据权利要求13所述的装置，其进一步包括用于基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较确定所述所确定位置的像素值的装置。
15.根据权利要求12所述的装置，其进一步包括用于以下操作的装置:在所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间，所述第一映射到的位置和所述第二映射到的位置为连续映射，在所述映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下，确定所述第二映射到的位置的像素值。
16.根据权利要求15所述的装置，其进一步包括用于基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较确定被确定为孔的位置的像素值的装置。
17.根据权利要求16所述的装置，其中所述第二映射到的位置的所述像素值是基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较。
18.根据权利要求12所述的装置，其中所述用于连续映射多个像素值中的每一者的装置经配置以从2D参考图像映射到3D目的地图像，且其中所述3D目的地图像包括包含所述2D参考图像的3D立体`图像对。
19.一种视频转换装置，其包括: 处理器； 像素提取电路，其与所述处理器耦合且经配置以在指定的映射方向上从参考图像连续提取像素； 像素扭曲电路，其与所述处理器耦合且经配置以确定目的地图像中的所提取像素的位置； 孔检测电路，其与所述处理器耦合且经配置以识别所述目的地图像中在所述所提取像素的所述位置与先前所提取像素的先前确定的位置之间的空像素位置；以及 孔填充电路，其与所述处理器耦合且经配置以产生所述目的地图像中的所述空像素位置的像素值。
20.根据权利要求19所述的装置，其中所述像素提取电路经配置以在所述孔检测电路和所述孔填充电路完成对第一像素的操作之后提取第二像素。
21.根据权利要求19所述的装置，其中参考图像为2D图像，且其中所述目的地图像为3D目的地图像，所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
22.根据权利要求19所述的装置，其中所述像素扭曲电路经配置以基于从所述参考图像中的所述像素位置的偏移确定所述目的地图像中的所述所提取像素的位置。
23.根据权利要求19所述的装置，其中所述孔检测电路经配置以在所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间识别，所述第一映射到的位置和所述第二映射到的位置为连续映射，在所述映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下确定所述第二映射到的位置的像素值。
24.根据权利要求23所述的装置，其中所述孔填充电路经配置以基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较产生所述第二映射到的位置的所述像素值。
25.根据权利要求19所述的装置，其中所述孔填充电路经配置以识别所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间的空像素位置，所述第二映射到的位置具有与所述映射方向相同的方向。
26.根据权利要求25所述的装置，其中所述孔填充电路经配置以基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较产生所述所识别空像素位置的像素值。
27.根据权利要求19所述的装置，其中所述孔填充电路进一步经配置以在将像素值映射到所述目的地图像中的位置后即刻设定所述位置的深度值，其中所述位置为非孔，且当所述位置为孔时，将所述位置识别为未映射直到所述位置随后被映射到为止。
28.—种包括计算机可读媒体的视频图像处理计算机程序产品，所述计算机可读媒体上存储有指令，所述指令当执行时致使设备: 选择映射方向以处理多个第一共线像素位置处的参考图像的多个像素值； 沿着所述映射方向将所述多个像素值中的每一者连续映射到目的地图像的相应多个第二像素位置；且 在两个连续映射之间确定所述 第二像素位置中的两者之间的孔的位置。
29.根据权利要求28所述的视频图像处理计算机程序产品，其中确定孔的所述位置包括识别所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间的像素位置，所述第二映射到的位置是与所述映射方向相同方向上的位置。
30.根据权利要求28所述的视频图像处理计算机程序产品，其进一步包括致使所述设备进行以下操作的指令:在所述目的地图像中的第一映射到的位置与所述目的地图像中的第二映射到的位置之间，所述第一映射到的位置和所述第二映射到的位置为连续映射，在所述映射到的像素位置相同或具有在所述目的地图像中与所述映射方向相反的方向的情况下，确定所述第二映射到的位置的像素值。
31.根据权利要求29所述的视频图像处理计算机程序产品，其进一步包括致使所述设备进行以下操作的指令:基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较确定所述所确定位置的像素值。
32.根据权利要求30所述的视频图像处理计算机程序产品，其进一步包括致使所述设备进行以下操作的指令:基于来自所述第一映射到的位置处的像素与所述第二映射到的位置处的像素的所述参考图像的深度值的比较确定所述所确定位置的像素值。
33.根据权利要求28所述的视频图像处理计算机程序产品，其中映射多个像素值中的每一者包括从2D参考图像映射到3D目的地图像，且其中所述3D目的地图像包括包含所述2D参考图像的3D立体图像对。
34.根据权利要求28所述的视频图像处理计算机程序产品，其进一步包括致使所述设备进行以下操作的指令: 在将像素值映射到所述目的地图像中的位置后即刻设定所述位置的深度值，其中所述位置为非孔；以及 当所述位置为孔时`，将所述位置识别为未映射直到所述位置随后被映射到为止。
【文档编号】G06T5/00GK103518222SQ201280022622
【公开日】2014年1月15日 申请日期:2012年3月28日 优先权日:2011年4月15日
【发明者】卡西克·维拉, 陈盈, 杜俊晨, 马尔塔·卡切维奇 申请人:高通股份有限公司