立体图像的接收器侧调整的制作方法
【专利摘要】提供一种具有与其关联的立体显示器的视频设备，该视频设备设置成：接收至少一个图像和与所述图像关联的至少一个参考参数；计算用于合成视图的基线距离，该计算基于所接收的至少一个参考参数和立体显示器的至少一个参数；使用基线距离和所接收的至少一个图像来合成至少一个视图；以及向立体显示器发送所接收的至少一个图像和所合成的至少一个图像以用于显示。
【专利说明】立体图像的接收器侧调整
【技术领域】
[0001]本申请涉及视频设备、通信系统、视频设备中的方法以及计算机可读媒体。
【背景技术】
[0002]包括三维电视(3DTV)的三维(3D)视频在消费电子产品、移动装置、计算机和电影院中变得越来越重要。用于显示3D视频的不同技术已经存在多年。这类技术的一个要求是向观者或者装置用户的每个眼睛传递不同的透视图。
[0003]用于对视频添加深度维的第一批解决方案之一是立体视频。在立体视频中，向观者的左眼和右眼显示略有不同的图片。通过使用视差图、快门或偏振眼镜(其过滤显示并且向观者的左眼和右眼显示不同图像)，并且按照这种方式创建深度感，来这样做。在这种情况下，图像中所感知的点深度通过其在左视图与右视图之间的相对位移来确定。
[0004]新一代的自动立体显示器允许观者无需眼镜来体验深度感。这些显示器沿不同方向投射略有不同的图片，一种原理在图1中示出。因此，如果观者位于显示器前面的适当观看位置中，则他的左眼和右眼看到同一画面的略有不同的图片，其使得有可能创建深度感。当用户在屏幕前面移动他的头部时，为了实现视点的平滑视差和变化，生成多个视图(通常为7-28个)。
[0005]图1中，示出八个视图，各以三个不同视角重复。加阴影区域是观看区，其中3D效果将不起作用，因为一个眼睛将不会接收视图(在视角的两个极端)或者因为观者的两个眼睛接收不对应以创建3D效果的视图(如在重复视图序列汇合的部分将会发生)。
[0006]3DTV的自动立体屏幕的使用在3DTV信号的传送中造成问题。在显示器中使用7至28个视图意味着，所有这些视图必须传送给装置。这会要求极高的比特率或者至少比对于类似2DTV频道的传送所需的要高许多的比特率。
[0007]可能通过传送少量关键视图(例如I至3个)，并且经由视图合成过程、从所传送关键视图开始生成其它视图，来解决这个问题。这些合成视图能够位于关键视图之间(内插)或者由关键视图所覆盖的范围外部(外插)。
[0008]在立体视频中，和右视图可单独地或者联合地编码。从另一视图得到一个视图的另一种方式是通过使用视图合成。一种视图合成技术是基于深度图像的呈现(DIBR)的技术。为了促进视图合成，DIBR使用(一个或多个)关键视图的至少一个深度图。深度图能够通过具有与视图(视频帧)相同分辨率的灰度图像来表示。因而，深度图的各像素对于2D图像/视频帧中的对应像素表示从摄像机(camera)到对象的距离。
[0009]为了促进在接收器的DIBR视图合成，多个参数被要求并且因此必须结合2D图像和深度图向接收器发信号告知。在那些参数之中的是“z近”和“z远”，其表示所考虑的图像的深度图中的最接近和最远深度值。需要这些值，以便将量化深度图样本映射到它们表示的实际深度值。对于视图合成所需要的另一组参数是摄像机参数。
[0010]3D视频的摄像机参数通常分为两个部分。第一部分是内在(内部)摄像机参数，其表示对所拍摄图像的摄像机的光学特性，例如焦距、图像主点的坐标和径向失真。第二部分是外在(外部)摄像机参数，其表示摄像机位置以及它在所选现实世界坐标中的光轴的方向(这里的重要方面是摄像机相互之间以及相对于画面中的对象的位置)。在基于深度信息的使用的视图合成(例如DIBR)中要求内部和外部摄像机参数。
[0011]发送关键摄像机的一种备选解决方案是分层深度视频(LDV)，其将多层用于画面表示。这些层可包括:前景纹理、背景深度、背景纹理和背景深度。
[0012]视图合成的优点之一在于，有可能从(一个或多个)所传送视图生成附加视图(这些可与立体或多视图显示器配合使用)。这些附加视图能够在特定虚拟观看位置(其有时称作虚拟摄像机)来生成。这些虚拟摄像机是3D空间中具有与所传送摄像机的参数相似的参数(外在和内在的)、但是位于不同空间位置的点。下文中，本文档针对一维(ID)线性摄像机布置的情况，其中摄像机指向相互平行并且与z轴平行的方向。摄像机中心具有相同的z和y坐标，其中只有X坐标从摄像机到摄像机进行改变。这是立体和“3D多视图”视频的常见摄像机设置。所谓的“内八字”摄像机设置能够通过矫正过程来转换成ID线性摄像机设置。
[0013]立体/3D设置中的两个摄像机之间的距离通常称作基线(或者基线距离)。在立体摄像机设置中，基线通常近似等于肉眼之间的距离(通常大约为6厘米)。但是，基线距离能够根据画面和其它因素而改变，例如期望实现的3D效果的类型或样式。
[0014]下文中，对于左和右视图的摄像机之间的距离通过外部(外在)摄像机坐标的单位来表示。在立体屏幕的情况下，基线是用来得到立体对的视图的虚拟(或实际)摄像机之间的距离。在多视图屏幕的情况下，基线是观者的左眼和右眼在适当观看位置处观看自动立体显示器上的视频时看到的两个摄像机(或者虚拟摄像机)之间的距离。应当注意，在自动立体显示器的情况下，由观者的左眼和右眼所看到的视图不一定是有角度的连续视图。但是，这种信息是显示器制造商已知的，并且能够用于视图合成过程中。还应当注意，在这种示例中，两个最接近的所生成视图之间的距离不一定是基线距离(有可能的是，附加视图将投射到观者眼睛之间的空间。)。
[0015]合成一个(或多个)视图的优点之一是与发送所有视图相比的改进编码效率。视图合成的另一个重要优点在于，视图能够在虚拟摄像机的任何特定位置来生成，因而使得有可能改变或调整观者的深度感，并且调整对屏幕尺寸的深度感。
[0016]立体和3D系统中的屏幕上的点的主观深度感取决于左与右图片之间的点对视距以及对观者眼睛之间的距离的视位移。但是，物理测量单位(例如厘米)的视差也取决于屏幕尺寸。因此，简单地改变物理屏幕尺寸(在显示相同3D视频序列时)以及因此视差或者甚至与屏幕的视距并且将因此改变深度感。由此得出，从一种物理屏幕尺寸改变到另一种或者对不适当视距呈现图像可改变空间尺寸与立体图片的深度之间的物理关系，因而使立体图片看起来不自然。
【发明内容】
[0017]使用具有不同物理特性(例如屏幕尺寸)的3D显示器可要求在接收器侧调整视图合成参数。按照本文所公开的方法，提供一种发信号告知大量屏幕尺寸的最佳视图合成参数的方式，因为其上将显示序列的屏幕的尺寸通常不是已知的或者在接收装置的整个集合上改变。[0018]这通过使用本文所推导的公式确定所选屏幕尺寸的最佳基线来进行。这个基线距离基于向接收器发信号告知的参考基线和参考屏幕尺寸来确定。该方法还描述:用于向接收器发信号告知参考基线和参考屏幕尺寸的语法；以及用于发信号告知大范围的可能屏幕尺寸的这类参数的若干集合的语法。在后一种情况下，参数的各集合涵盖对应屏幕尺寸的
口 O [0019]相应地，提供一种具有与其关联的立体显示器的视频设备，该视频设备设置成:接收至少一个图像和与所述图像关联的至少一个参考参数；计算用于合成视图的基线距离，该计算基于所接收的至少一个参考参数和立体显示器的至少一个参数；使用基线距离和所接收的至少一个图像来合成至少一个视图；以及向立体显示器发送所接收的至少一个图像和所合成的至少一个图像以用于显示。
[0020]该视频设备还可设置成计算用于合成视图的至少一个另一参数，以及该视频设备还设置成使用基线距离、所述至少一个另一参数和所接收的至少一个图像来合成所述至少一个视图。所述至少一个另一图像可包括内在或者外在的摄像机参数。所述至少一个另一参数可包括传感器移位(shift)、摄像机焦距和摄像机的z坐标中的至少一个。
[0021]还提供一种在具有与其关联的立体显示器的视频设备中的方法，该方法包括:接收至少一个图像和与所述图像关联的至少一个参考参数；计算用于合成视图的基线距离，该计算基于所接收的至少一个参考参数和立体显示器的至少一个参数；使用基线距离和所接收的至少一个图像来合成至少一个视图；以及向立体显示器发送所接收的至少一个图像和所合成的至少一个图像以用于显示。
[0022]还提供一种携带指令的计算机可读媒体，所述指令在由计算机逻辑运行时使所述计算机逻辑执行本文所述方法的任一种。
【专利附图】
【附图说明】
[0023]现在将通过仅示例的方式、参照附图来描述用于立体图像的接收器侧调整的方法和设备，其中:
图1示出多视图显示方案；
图2示出注视屏幕上显示的远点的一对眼睛的几何结构；
图3示出具有宽度W1的第一屏幕和具有宽度W2的第二屏幕；
图4示出对于图3的第一和第二屏幕(重叠的)的所感知深度、屏幕视差、视距和肉眼间的距离之间的关系；
图5示出摄像机基线距离的变化与差距的变化之间的相关性；
图6a和图6b示出视距和屏幕宽度各缩放相应缩放因子；
图7示出本文所公开的方法；以及 图8示出用于执行上述方法的设备。
【具体实施方式】
[0024]制订了技术标准来定义向解码器发送摄像机参数的方式，摄像机参数与传送给解码器的关联视图相关。这些标准之一是多视图视频编码(MVC)标准，其在高级视频编码(AVC)标准的附录H中定义，又称作H.264[发表为:/[目息技术一首频视觉对象的编码一第10 部分:高级视频编码，ISO/IEC FDIS 14496-10:201X (E)，第 6 版，2010 年]。MVC 的范围涵盖从若干视点来表示画面的立体或多个视图的联合编码。该过程利用同一画面的视图之间的相关性，以便取得比单独压缩视图更好的压缩效率。MVC标准还涵盖向解码器发送摄像机参数信息。将摄像机参数作为补充增强信息(SEI)来发送。这个SEI消息的语法在表I中示出。
[0025]为了明了表I所列语法元素的含意，读者可参考高级视频编码标准(以上所述)，其通过引用被结合到本文中。进一步的信息能够见于S.Yea、A.Vetro、A.Smolic和H.Brust的“Revised syntax for SEI message on multiview acquisition information，，(JointVideo Team(JVT) of ISO/IEC MPEG & ITU-T VCEG，JVT_Z038r I，Antalya，2008 年 I 月)，它们都通过弓I用也被结合到本文中。
【权利要求】
1.一种具有与其关联的立体显示器的视频设备，所述视频设备设置成: 接收至少一个图像和与所述图像关联的至少一个参考参数； 计算用于合成视图的基线距离，所述计算基于所接收的至少一个参考参数和所述立体显示器的至少一个参数； 使用所述基线距离和所接收的至少一个图像来合成至少一个视图；以及 向所述立体显示器发送所接收的至少一个图像和所合成的至少一个视图以用于显示。
2.如权利要求1所述的视频设备，其中，所述基线距离是两个摄像机位置之间的距离。
3.如权利要求1所述的视频设备，其中，所述基线距离按照外部摄像机坐标的单位来给出。
4.如任一前面权利要求所述的视频设备，其中，所述立体显示器是多视图显示器，以及其中所述基线距离是两个摄像机位置之间的距离，所述两个摄像机位置对应于在观看位置的用户的每个眼睛的视图。
5.如任一前面权利要求所述的视频设备，所述视频设备还设置成计算用于合成视图的至少一个另一参数，以及所述视频设备还设置成使用所述基线距离、所述至少一个另一参数和所接收的至少一个图像来合成所述至少一个视图。
6.如权利要求5所述的视频设备，其中，所述至少一个另一参数包括内在的摄像机参数。
7.如任一前面权利要求所述的视频设备，其中，所述至少一个参考参数包括下列至少一个:参考基线距离、参考屏幕宽度、观者眼睛之间的参考距离以及参考视距。
8.如任一前面权利要求所述的视频设备，其中，所述立体显示器的所述至少一个参数包括下列至少一个:基线距离、屏幕宽度、观者眼睛之间的参考距离以及视距。
9.如任一前面权利要求所述的视频设备，其中，基线距离的所述计算还基于随所述至少一个图像所接收的最大和最小范围值。
10.如任一前面权利要求所述的视频设备，其中，所述立体显示器是自动立体显示器。
11.如任一前面权利要求所述的视频设备，其中，所述至少一个图像包括视频序列的帧。
12.如任一前面权利要求所述的视频设备，其中，所述视频设备包括下列至少一个的组件:电视机接收器、电视机、机顶盒、立体显示器、自动立体显示器、电视会议系统、装置的图形处理器、无线通信装置以及媒体播放器(例如Blu-ray(TM)盘播放器)。
13.一种在具有与其关联的立体显示器的视频设备中的方法，所述方法包括: 接收至少一个图像和与所述图像关联的至少一个参考参数； 计算用于合成视图的基线距离，所述计算基于所接收的至少一个参考参数和所述立体显示器的至少一个参数； 使用所述基线距离和所接收的至少一个图像来合成至少一个视图；以及 向所述立体显示器发送所接收的至少一个图像和所合成的至少一个视图以用于显示。
14.如权利要求13所述的方法，其中，所述基线距离是两个摄像机位置之间的距离。
15.如权利要求13或14所述的方法，其中，所述基线距离按照外部摄像机坐标的单位来给出。
16.如权利要求13至15中的任一项所述的方法，其中，所述立体显示器是多视图显示器，以及其中所述基线距离是两个摄像机位置之间的距离，所述两个摄像机位置对应于在观看位置的用户的每个眼睛的视图。
17.如权利要求13至16中的任一项所述的方法，所述方法还包括计算用于合成视图的至少一个另一参数，以及使用所述基线距离、所述至少一个另一参数和所接收的至少一个图像来合成所述至少一个视图。
18.如权利要求17所述的方法，其中，所述至少一个另一参数包括内在的摄像机参数。
19.如权利要求13至18中的任一项所述的方法，其中，所述至少一个参考参数包括下列至少一个:参考基线距离、参考屏幕宽度、观者眼睛之间的参考距离以及参考视距。
20.权利要求13至19中的任一项所述的方法，其中，所述立体显示器的所述至少一个参数包括下列至少一个:基线距离、屏幕宽度、观者眼睛之间的参考距离以及视距。
21.如权利要求13至20中的任一项所述的方法，其中，基线距离的所述计算还基于随所述至少一个图像所接收的最大和最小范围值。
22.如权利要求13至21中的任一项所述的方法，其中，所述立体显示器是自动立体显示器。
23.如权利要求13至22中的任一项所述的方法，其中，所述至少一个图像包括视频序列的帧。
24.如权利要求13至23中的任一项所述的方法，其中，所述视频设备包括下列至少一个的组件:机顶盒、电视机、立体显示器和自动立体显示器。
25.一种携带指令的计算机可读媒体，所述指令在由计算机逻辑运行时使所述计算机逻辑执行权利要求13至24所 定义的方法的任一方法。
【文档编号】H04N13/00GK103748872SQ201180073194
【公开日】2014年4月23日 申请日期:2011年11月11日 优先权日:2011年8月30日
【发明者】A.诺尔金, I.吉德齐耀斯卡斯 申请人:瑞典爱立信有限公司