专利名称：用于处理输入的三维视频信号的方法和系统的制作方法
技术领域：
本发明涉及一种用于处理输入的三维视频信号的方法和系统以及一种用于实现根据本发明的方法的计算程序产品。
背景技术：
适于显示三维图像的显示设备在研究中受到增长的关注。另外，进行了大量的研究，以便确立如何为终端用户提供令人满意的高质量观看体验。三维(3D)显示器通过为观看者的双眼提供被观看的场景的不同视图来为观看体验添加第三维。这可以通过使用户佩戴眼镜以分离被显示的两个视图而实现。然而，由于眼镜可能被视为对于用户来说不方便，在许多场景下优选使用自动立体显示器，其使用显示器处的装置(诸如双凸透镜或隔板)来分离视图，并且将它们以不同的方向发送，其中它们可以分别到达用户的眼睛。对于立体显示器，需要两个视图，而自动立体显示器典型地需要更多视图(诸如例如九个视图)。存在各种不同的途径来为这种立体设备和自动立体设备提供内容。流行的格式是传递有效地包括可以由显示设备显示的相应视图的多个图像的立体内容或多视图内容。这样做的优点是通常这种显示设备和内容创建中的处理要求可以保持到最小。与传递包括用于显示的实际的编码的视图的立体或多视图内容相关联的问题是这些图像以隐式的方式有效地修正两个或者更多个相应的视图之间的视差关系。
发明内容
本发明的一个目的是减轻在施加叠加时编码用于三维显示器的立体或多视图内容中的视差关系的缺点。此目的是通过根据本发明的处理输入的三维视频信号的方法而实现的，其中所述方法包括确定指示输入的三维视频信号的最大视差值的远视差估计、以及指示输入的三维视频信号内的空间区域的最小视差值的近视差估计，通过基于所述远视差估计借助于视差移位向后移位输入的三维视频信号来适配三维视频信号，并且基于所述近视差估计和所述视差移位在经过移位的三维视频信号的空间区域内生成叠加。通过使一些视差信息(远值和近值)变为显式的(与多视像数据中的隐式信息相对照)，使得可以进行诸如确定移位的量之类的显式处理。本发明的发明人认识到通过建立如上所述的远和近视差估计，可以建立用于叠加的可用自由空间(headroom)，以便允许在视频信号中描绘的场景的前面安全地放置叠加。可以例如通过使用输入的三维视频信号的粗粒视差分析、或者作为替代通过使用在输入的三维视频信号中提供的元数据，来确定远和近视差估计。一旦清楚是否可以适配输入的三维视频信号以及适配多少，可以基于远视差估计借助于视差移位来向后移位所述输入的三维视频信号的视差范围。视差移位不需要重新呈现内容，而是可以典型地通过修剪以及延展视图而以相对节省成本的方式实现。
结果是，可以延展可用于生成叠加的视差范围，从而允许例如叠加更靠近显示器的零视差平面而被放置，以便获得更明显(Sharper)的叠加。将对于本领域技术人员清楚的是所述叠加受输入的三维视频信号中的可用自由空间的影响。在一个实施例中，远和近视差估计基于输入的三维视频信号的视差估计。具体地， 当在视差范围的适配中保留余量时，可以进行粗视差估计(coarse disparity estimate). 在稀疏视差估计(sparse disparity estimate)不完全正确的情况下，所述余量仍可以补偿这种错误。在替代实施例中，从作为输入的三维视频信号内的元数据提供的信息中导出远和近视差估计。结果是，可以以高度节省成本的方式实现本发明。在根据本发明的优选实施例中，所述方法还包括用所生成的叠加叠加经过移位的三维视频信号，从而使得能够生成用在包括诸如例如字幕、隐蔽式字幕信息、用户界面信息和/或图像序列之类的叠加的多视图显示器上的图像。这些叠加自身可以是二维或三维图像数据的静止图像或者动画序列，随后基于近视差估计和所施加的视差移位使用适当的视差值对它们进行编码。在三维叠加的情况下，可能需要以这种方式来移位叠加的视差范围即，所述视差范围可以在可用的视差范围内放置。当使用计算机制图法生成叠加时，存在对于图形的放置的完全控制，并且可以利用可用于经过移位的三维视频信号中的叠加的整个可用的视差范围。在优选实施例中，视差值估计是基于每个镜头确定的。为了确定镜头边界(也被称为镜头切换)，可以将传统的镜头切换检测技术应用于输入的三维视频信号中的视图的一个或多个视图。B. L. Yeo 和 B. Liu 在 IEEE Trans. Circuits and Systems for Video Technology, Vol. 5，pp. 533-544，1995 年 12 月中发表的 “Rapid Scene Analysis on Compressed Videos”中给出了这种技术的实例。尽管可以实时地确定镜头边界，但是与本发明一起使用的确定通常将需要充分的前瞻(look-ahead)。结果是，镜头切换检测优选地离线地进行。如果叠加要呈现在若干连续镜头中，例如在画中画场景下，优选地基于这些连续镜头的内容来确定远和近视差估计，以便允许适当地叠加所述叠加。在有利的实施例中，视差移位基于多个视图的相邻视图之间的预先确定的最大视差值来确定。贯穿本申请，正视差用于指示被感知为位于零视差平面后面的对象。结果是， 这里考虑预先确定的最大值。大于眼距的正视差对应于在物理上不可解释的发散的眼线(eye line)。结果是， 大于眼距的正视差可以导致观看不适。为了避免这点，可以将最大视差设置为平均眼距，或者设置为低于平均眼距的值。优选地，选择最大视差，以使得考虑安全余量，以便为所有的观看者保持舒适性。可替代地，最大视差可以是可选地上限为平均眼距的用户定义的值。后者尤其有利，因为其允许补偿例如成人或孩子之间的眼距的差异。叠加信息的范围可以包括例如编码在光盘和/或以数字传输流可用的字幕或者隐蔽式字幕信息。叠加信息也可以涉及叠合(superimpose)在输入的三维视频信号之上的图形用户界面数据(GUI)。另外，可替代地，叠加可以是画中画系统(PiP)或者包括诸如GUI 中的动画缩略图或者动画TV台标志之类的动画内容的其它子画面。
在一个实施例中，输入的三维视频信号的适配包括在视图的第一侧上修剪输入的三维视频信号的一个或者多个视图。随后，经过修剪的视图可以被延展以便通过在与视图的第一侧相对的一侧填充或者插入像素来获得完整尺寸的视图，从而对于经过修剪的视图获得改变的视差范围。可替代地，可以使用图像放大(zooming)来再次将剩余部分缩放到完整宽度。在此场景下，图像放大因数也将必须被应用于其它视图。在立体的输入的视频信号的情况下，所述方法可以包括修剪单个图像，然而，优选地，修剪两个图像，以便分布(distribute)由延展经过修剪的图像而导致的可能的伪像。对于本领域技术人员来说将是清楚的是延展经过修剪的图像可以包含范围从简单的像素重复方案到从静止/运动图像复原的领域已知的更复杂的描绘方案的各种算法。在一个实施例中，所述方法还包括在经过移位的三维视频信号中嵌入元数据，所述数据指示经过移位的三维视频信号的远和近视差。可替代地，当所述方法也包括叠加经过移位的三维视频信号时，所述方法包括在包括所述叠加的经过移位的三维视频信号中嵌入元数据，所述数据指示包括所述叠加的经过移位的三维视频信号的远和近视差。结果是， 所述元数据可以用于进一步的下游处理步骤。本发明还涉及一种计算程序产品，包括用于执行本发明的方法的程序指令。本发明还涉及一种用于处理包括多个视图的输入的三维视频信号的系统，所述系统包括视差确定器，用于确定指示输入的三维视频信号的最大视差值的远视差估计、以及指示输入的三维视频信号内的空间区域的最小视差值的近视差估计；视差移位器，其被配置为通过基于所述远视差估计借助于视差移位向后移位所述三维视频信号来适配所述三维视频信号；以及叠加生成器，其被配置为基于所述近视差估计和所述视差移位在经过移位的三维视频信号的叠加安全区域内生成叠加。优选地，还提供视频混合器，以在经过移位的三维视频信号上叠加所述叠加。本发明这些和其它方面、特征以及优点将根据下文描述的实施例而清楚明白，并且将参照下文描述的实施例而被阐明。
将参照附图仅以实例的方式描述本发明的实施例，其中相似的标号指代具有相似功能的元件，附图中
图1图示了定义视差的若干一般概念和参数， 图2A图示了三维输入信号的视差频率分布图(histogram)， 图2B图示了三维输入信号和三维叠加的另一个视差频率分布图， 图3图示了根据本发明的立体输入对的右视像的适配， 图4图示了根据本发明的方法， 图5A图示了根据本发明的系统，以及图5B图示了根据本发明的另一个系统。
具体实施例方式图1图示了定义视差的若干一般概念和参数。图1示出了位于双箭头E的边缘的、相隔眼距E的两个视点。由虚线表示的屏幕S位于观看距离Z处，其用于显示三维信息。这种屏幕在实践中可以是例如可替代地为佩戴适合的眼部佩戴物的观看者的眼睛提供用于相应的视点的适当图像信息的时间序列显示器或者频谱序列显示器。这里屏幕S放置在零视差处，W指示屏幕的宽度。N (近)表示屏幕S前面的最大感知深度。同样地，F (远) 表示屏幕S后面的最大感知深度。线dN表示位于屏幕S前面N处的对象的所感知的视差，视差值dN这里是负的，也被称作交叉视差，并且可被表示为
dN= N E / (Z-N)[1]
线dF表示位于屏幕S后面F处的对象的所感知的视差，视差值dF这里是正的，也被称作非交叉视差，并且可被表示为
dF = F E / (Z+F)[2]
在实践中，最大视差应当低于眼距E，以允许舒适的观看。在实践中，最大视差优选地设置为低于平均眼距E的值，以允许各人之间眼距的变化。应注意作为对应于最大正视差的像素的数目的最大正屏幕视差(screen parallax)取决于屏幕S的分辨率和屏幕宽度W。图2A图示了三维输入信号的视差频率分布图205。该频率分布图205是基于输入的三维信号、即基于三维输入信号的整个空间区域而确定的。可替代地，视差频率分布图可以被编译用于三维输入信号的整个空间区域的代表样本。在图2A中，沿d轴的最近视差值是具有负视差的点C。最远的视差值是沿d轴的具有正视差的点B。基于频率分布图205，用于根据本发明的方法的远视差估计对应于点B。频率分布图205指示在视差范围内存在可用于远离观看者地移位输入的三维的视差范围的自由空间215，其将频率分布图向右移动。考虑其中叠加需要被放置在相应视图中的特定空间区域内的情况。图2A还示出了相关空间区域中的输入的三维信号的视差频率分布图。该空间区域的三维输入信号的频率分布图由粗虚线205’指示。基于频率分布图205’，指示此空间区域的最小视差值的近视差估计对应于点A。注意由于此特定的空间区域不包括更小(即更负)的视差值，在空间区域中已经存在用于放置叠加的很大的自由空间210。注意用于放置叠加的空间区域典型地是由轮廓定义的块或者段(segment)，并且同样明显不同于如上所述的用于以其整体确定视图的视差估计的样本点。尽管在空间区域中已经存在用于放置叠加的很大的自由空间，但是可以通过将输入的三维视频信号的视差范围远离观看者移位视差移位DS (其中DS < E-B)来创建甚至更多的自由空间。尽管不是严格必需，但是可以建议保留如图2B中由余量215’所指示的余量(E-B) - DS，以便适应各种用户之间的不同的眼距。结果是，本发明提供了用于放置叠加的视差范围中的附加增益。频率分布图220指示叠加的视差频率分布图，由于叠加完全放置在此空间区域内，因此此频率分布图也是整个图像上的叠加的频率分布图。作为视差移位的结果，现在可以将诸如字幕之类的叠加信息放置在零视差平面处或者接近零视差平面，这提高了叠加观看舒适性。如上面所指示的，远和近视差估计可以基于与输入的三维视频信号一起提供的视差频率分布图信息而确定。可替代地，远和近视差估计可以使用对于本领域技术人员来说已知的算法而从输入的三维视频信号导出。在Konrad等人的“Dense disparity estimation from feature correspondences，，， IS&T/SPIE Symposium on Electronic Imaging Stereoscopic Displays and Virtual Reality Syst., Jan. 23-28， 2000, San Jose, CA, USA中给出了这种算法的实例。图3图示了由本发明提出的移位视差的过程。左手侧示出了来自输入的立体视频信号的图像对LVl和RV1。所述图像示出了放置在零视差处的灰色块310和310’以及分别放置在图像LVl和RVl中的负视差处的块的前面的白色盘305和305’。如可从灰色块310和310’的边缘处的垂直密虚线看到的，该矩形具有零视差，因为其在左图像和右图像中放置在相同的位置。盘305和305，具有负屏幕视差，即，在右图像RVl中，盘305，在左图像LVl中盘 305的位置的左侧。结果是，其在显示器的前面可视化。为了向后移位场景，我们将RVl向右移位以获得RV1，。将RV1，与LVl比较，我们
现在看到盘305’具有零视差并且矩形具有正视差。为了使经过移位的图像适合立体显示器，经过移位的图像RV1’在右手侧被修剪并且在左手侧被延展相等的量以得到RV1’ ’。LVl和RV1’ ’继而可以一起被可视化为其中与原始LVl-RVl对相比屏幕已经被向后移位的新的立体对。结果是，对LV1-RV1’ ’比对LVl-RVl 具有更多的用于放置叠加的自由空间。应当注意尽管在上述实例中视图中的仅一个被移位，但是还可以将左图像LVl 和右图像RVl两者移位相等的相反量，其中组合的量对应于RV1’的移位。结果是，两个经过移位的图像都将必须被延展，但是延展区域是图3中修剪和延展的区域的大小的一半。结果是，由延展造成的伪像可以更均勻地散布(spread)。当移位多视图(例如三视图)内容时，可以保留中心图像并且分别移位和延展左和右图像。对于技术人员来说将是清楚的是上面的移位视差范围的方式随后可以被扩展到另外的多视像并且扩展到任何适当量的图像移位，从而造成它们之间相同的相对移位量。当适配输入的三维视频信号时，若干选项可用，例如，第一选项是仅使用修剪。考虑立体视频信号，在此情况下可以将视频信号中的左和右图像两者修剪相同量。如果图像高宽比不是问题，则经过修剪的视图不需要延展并且可以照原样使用。这样做的优点是不需要延展，不引入延展伪像。第二选项是使用如上所述的修剪和延展。考虑立体视频信号， 在此情况下可以将视频信号中的左图像和右图像两者修剪相等的量，并且随后如图3所示的那样延展相应的视图。使用延展的优点是可以保留输入的三维视频信号的高宽比。注意 上面的选项的列出不是穷举的。图4给出根据本发明的用于处理包括多个视图的输入的三维视频信号的方法400 的流程图。所述方法包括用于确定405指示输入的三维视频信号的最大视差值的远视差估计和指示输入的三维视频信号内的空间区域的最小视差值的近视差估计的步骤。如上面所指示的，相应的视差估计可以基于元数据，或者可以可替代地基于输入的三维视频信号的图像内容而确定。所述方法还包括步骤通过基于所述远视差估计借助于视差移位向后移位输入的三维视频信号来适配410三维视频信号，并且基于所述近视差估计和所述视差移位在经过移位的三维视频信号的空间区域内生成415叠加。优选地，所述方法还包括在经过移位的三维视频信号上叠加420叠加的步骤。如上面所指示的，适配输入的三维视频信号的步骤可以包括用于修剪425相应的视图并且利用填充像素来延展430所述相应的视图以便获得改变的视差范围的步骤。在立体信号的情况下，一个或者优选地两个视图被修剪并且随后被延展。对于N 视图多视像，在N为偶数的情况下，N-I或者优选地N个视图被如上所述地修剪并且延展。图5A给出了根据本发明的用于处理包括多个视图的输入的三维视频信号的系统 500。所述系统500包括视差确定器505，用于确定指示输入的三维视频信号的最大视差值的远视差估计、以及指示输入的三维视频信号内的空间区域的最小视差值的近视差估计。 如上面所指示的，视差确定器505可以被实现为视差估计器。所述系统还包括视差移位器 510，其被配置为通过基于所述远视差估计借助于视差移位向后移位所述三维视频信号来适配所述三维视频信号。所述系统500还包括叠加生成器515，其被配置为基于所述近视差估计和所述视差移位在经过移位的三维视频信号的叠加安全区域内生成叠加。优选地，所述系统500还包括视频混合器520，其被配置为在经过移位的三维视频信号上叠加所述叠加。如图5A所示的系统500可以实现在个人计算机或者其它用于离线处理内容的计算平台上。可替代地，所述系统500可以实现在例如能够进行蓝光盘重放的设备或者机顶盒或3D-TV中。图5B示出了根据本发明的另一个系统500，其中所述系统被分为分析设备502和混合设备503，两个设备相结合实现如图5A中给出的系统500中得到的功能。将理解上面为了清楚而进行的描述已经参照不同的功能单元和处理器描述了本发明的各实施例。然而，将清楚的是可以在不脱离本发明的情况下使用不同的功能单元或者处理器之间的任何适当的功能分布。例如，被说明为由分离的单元、处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，对于特定功能单元的引用仅被视为对于用于提供所描述的功能的适当的装置的引用，而不是指示严格的逻辑或物理结构或组织。本发明可以以包括硬件、软件、固件或其任何组合的任何适当形式实现。本发明可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和组件可以以任何适当方式物理地、功能性地和逻辑地实现。实际上，功能可以在单个单元中、多个单元中或作为其他功能单元的一部分实现。同样，本发明可以以单个单元实现，或可以在不同单元和处理器之间物理地和功能性地分布。尽管已经关于一些实施例描述了本发明，但是不意在限制为这里阐述的特定形式。而是，本发明的范围仅由所附权利要求限定。另外，尽管特征可能看起来是关于特定实施例描述的，但是本领域技术人员将认识到所描述的实施例的各种特征可以根据本发明而组合。在权利要求中，术语包括不排除其他元件或步骤的存在。此外，尽管被单独列出，但是多个装置、元件或方法步骤可以由例如单个单元或处理器实现。另外，尽管各个特征可以被包括在不同的权利要求中，但是这些特征可以被有利地组合，并且包括在不同的权利要求中不意味着特征的组合是不可行和/或不利的。而且， 特征包括在一个类别的权利要求中不意味着限于该类别，而是指示该特征等同地可适当地应用于其它权利要求类别。此外，权利要求书中特征的顺序不意味着所述特征必须按其起作用的任何特定顺序，具体而言，方法权利要求中各个步骤的顺序不意味着各步骤必须按此顺序执行。而是，可以以任何适当的顺序执行步骤。另外，单数的引用不排除多个。因此， 对“一”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅仅被提供来作为澄清性的实例，而不应被解释为以任何方式限制权利要求的范围。
权利要求
1.一种处理包括多个视图的输入的三维视频信号的方法(400)，所述方法包括 -确定(405)-指示输入的三维视频信号的最大视差值的远视差估计(B)， -指示输入的三维视频信号内的空间区域的最小视差值的近视差估计(A)， -通过基于所述远视差估计借助于视差移位(DS)向后移位所述输入的三维视频信号来适配(310)所述输入的三维视频信号，-基于所述近视差估计和所述视差移位(DS)在经过移位的三维视频信号的空间区域内生成(315)叠加。
2.如权利要求1所述的方法，所述方法还包括-在经过移位的三维视频信号上叠加(320)所述叠加。
3.如权利要求1所述的方法，其中所述远视差估计(B)和所述近视差估计(A)两者基于镜头或者基于镜头组。
4.如权利要求1所述的方法，其中所述视差移位(DS)基于多个视图中的相邻视图之间的预先确定的最大视差值。
5.如权利要求4所述的方法，其中所述预先确定的最大视差值基于以下之一 -所选择的眼距值和安全余量(M)以及-用户定义的最大视差值。
6.如权利要求1-5中的任一项所述的方法，其中所述叠加包括以下中的至少一个_字幕，-隐蔽式字幕信息， -用户界面信息，以及 -另外的输入的三维输入信号。
7.如权利要求1-5中的任一项所述的方法，其中适配输入的三维视频信号包括以下之-在一侧修剪(325)至少一个视图，以便在所述经过修剪的视图与视图中的另一个视图组合时获得改变的视差范围，-在一侧修剪(325)至少一个视图并且在所述一侧的相对侧延展(330)该至少一个经过修剪的视图，以便在所述经过延展的经过修剪的视图与视图中的另一个视图组合时获得改变的视差范围，以及-修剪(325)至少一个视图并且将其缩放回完整宽度，以便在所述经过延展的缩放的修剪视图与另一个经过缩放的修剪视图组合时获得改变的视差范围。
8.如权利要求1所述的方法，其中所述方法还包括在经过移位的三维视频信号中嵌入指示经过移位的三维视频信号的远视差和近视差的元数据。
9.如权利要求2所述的方法，其中所述方法还包括在包括所述叠加的经过移位的三维视频信号中嵌入指示包括所述叠加的经过移位的三维视频信号的远视差和近视差的元数据。
10.一种计算机程序产品，包括用于执行权利要求1、2、3、4、5、8或9中的任一项所述的方法的程序指令。
11.用于处理包括多个视图的输入的三维视频信号的系统(500)，所述系统包括 -视差确定器(505)，用于确定-指示输入的三维视频信号的最大视差值的远视差估计以及 -指示输入的三维视频信号内的空间区域的最小视差值的近视差估计， -视差移位器(510)，其被配置为通过基于所述远视差估计借助于视差移位向后移位所述输入的三维视频信号来适配所述输入的三维视频信号，-叠加生成器(515)，其被配置为基于所述近视差估计和所述视差移位在经过移位的三维视频信号的叠加安全区域内生成叠加。
12.如权利要求10所述的系统，该系统还包括-视频混合器(520)，其被配置为在经过移位的三维视频信号上叠加所述叠加。
13.如权利要求11-12中的任一项所述的系统，其中所述视差估计器(505)被配置为基于每个镜头或者基于每个镜头组来确定所述远视差估计和所述近视差估计。
14.如权利要求11-12中的任一项所述的系统，其中所述视差移位(DS)基于多个视图中的相邻视图之间的预先确定的最大视差值。
全文摘要
本发明涉及一种处理包括多个视图的输入的三维视频信号的系统和方法，所述方法包括确定指示输入的三维视频信号的最大视差值的远视差估计、以及指示输入的三维视频信号内的空间区域的最小视差值的近视差估计，通过基于所述远视差估计借助于视差移位向后移位输入的三维视频信号来适配输入的三维视频信号，并且基于所述近视差估计和所述视差移位在经过移位的三维视频信号的空间区域内生成叠加。本发明还涉及一种实现根据本发明的方法的计算机程序产品。
文档编号H04N13/00GK102204261SQ200980141834
公开日2011年9月28日 申请日期2009年10月16日 优先权日2008年10月21日
发明者B·G·B·巴伦布鲁格, G·W·T·范德海登, P·J·L·A·斯维伦斯 申请人:皇家飞利浦电子股份有限公司