尺度无关图的制作方法
【专利摘要】各种实现方式为分辨率不变区域提供了分辨率特有属性。几种实现方式为尺度不变小区提供了基于SCM的视差值。特定实现方式提供了包括这样属性的信号或结构。更进一步实现方式访问这样的属性，并处理该属性。一种特定实现方式访问画面的一个区域的属性。该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展。该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的。转换该属性以便提供该特定分辨率特有的属性。将转换的属性与第一整数个像素相联系。其他实施例将转换属性用在像，例如，使用视差信息的字幕布置中那样后处理操作中。
【专利说明】尺度无关图
[0001]交叉引用相关申请
[0002]本申请要求如下两个美国临时申请的申请日的权益，两者通过引用而被整体合并于此用于所有目的:(i) 2011年5月26日提交、和发明名称为“尺度无关视差图”的第61/490，179号；以及(ii) 2011年9月27日提交、和发明名称为“尺度无关图”的第61/626，496 号。
【技术领域】
[0003]本文描述了涉及为数字画面提供信息的实现方式。各种特定实现方式涉及视频图像的视差图(disparity map)。
【背景技术】
[0004]立体视频提供包括左视频图像和右视频图像的两种视频图像。也可以为这两种视频图像提供深度和/或视差信息。深度和/或视差信息可以用于对两种视频图像的多种处理操作。
【发明内容】
[0005]按照一个一般方面，为画面的一个区域确定一种属性。该画面具有特定分辨率以及该属性是该特定分辨率和该区域特有的。该画面的该区域可与具有特定分辨率的第一整数个像素共同扩展，以及可与具有第二分辨率的第二整数个像素共同扩展。转换该属性以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的属性。
[0006]按照另一个一般方面，一种信号或结构包括属性部分。该属性部分包括指示画面的一个区域的属性的数据。该属性是该区域和组合分辨率特有的。该组合分辨率是作为特定分辨率和第二分辨率的组合确定的。该画面的该区域可与具有该特定分辨率的第一整数个像素共同扩展，以及可与具有该第二分辨率的第二整数个像素共同扩展。
[0007]按照另一个一般方面，为画面的一个区域访问一种属性。该画面的该区域可与具有特定分辨率的第一整数个像素共同扩展，以及可与具有第二分辨率的第二整数个像素共同扩展。该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的。转换该属性以便提供该区域和该特定属性特有的属性。将转换的属性与具有该特定分辨率的第一整数个像素相联系。
[0008]一种或多种实现方式的细节展示在附图和下面的描述中。即使以一种特定方式描述，也应该清楚可以以各种方式配置或体现这些实现方式。例如，一种实现方式可以作为一种方法来执行，体现为像，例如，配置成执行一组操作的装置或存储执行一组操作的指令的装置那样的装置，或以信号形式体现。其他方面和特征将从结合附图和权利要求书考虑的如下详细描述中明显看出。
【专利附图】
【附图说明】[0009]图1是平行摄像机的实际深度值的图形表示；
[0010]图2是视差值的图形表不；
[0011]图3是视深与视差之间的关系的图形表示；
[0012]图4是交向摄像机的图形表示；
[0013]图5是立体视频图像对中的遮挡的图形表示；
[0014]图6是描绘具有不同本机格式和发送格式的实现方式的方块/流程图；
[0015]图7是视差值的公倍数表不的一例子的表格表不；
[0016]图8是描绘视差值的公倍数表示的发送和使用的过程的一个例子的方块/流程图；
[0017]图9是在不同分辨率上的像素的几个例子的方块/图形表示；
[0018]图10是不同分辨率的像素网格的两个例子的方块/图形表示；
[0019]图11是图10的像素网格例子的第一例子的单独方块/图形表示；
[0020]图12是图10的像素网格例子的第二例子的单独方块/图形表示；
[0021]图13是不同分辨率的像素网格的三个进一步例子的方块/图形表示；
[0022]图14是图13的像素网格例子的第一例子的单独方块/图形表示；
[0023]图15是图13的像素网格例子的第二例子的单独方块/图形表示；
[0024]图16是图13的像素网格例子的第三例子的单独方块/图形表示；
[0025]图17是描绘处理尺度无关视差图值的例子的方块/流程图；
[0026]图18是描绘处理分辨率不变区域的分辨率特有属性的一个例子的方块/流程图；
[0027]图19是描绘处理分辨率不变区域的分辨率特有属性的另一个例子的方块/流程图；
[0028]图20是描绘可以用在一种或多种实现方式上的发送系统的例子的方块/流程图；以及
[0029]图21是描绘可以用在一种或多种实现方式上的接收系统的例子的方块/流程图。【具体实施方式】
[0030]作为展示在本申请中的一些特征的预览，至少一种实现方式描述了提供每一个应用于相应小区(多个像素)的一个或多个视差值的视差图的使用。实际视差值基于比任何标准显示器的最大分辨率大得多、称为非标准分辨率的分辨率。在本申请中，术语“分辨率”一般指水平分辨率，但也用于指垂直分辨率和/或水平和垂直分辨率两者，并且用，例如，显示器的像素的数量或显示器的像素的块数，或数字图像的元素的数量来度量。非标准分辨率是容易转换成几种标准显示分辨率的一种或多种的整数。在这种特定实现方式中，有效显示分辨率是几种标准显示分辨率的最小公倍数。有效显示分辨率的视差值用整数格式表示。视差值作为基于大非标准分辨率的结果可能是大值。然而，当将视差值向下转换成标准显示分辨率时，整数表示为子像素精度提供了保证。另外，小区尺寸和地点可与具有两种或更多种分辨率的整数个像素共同扩展。实际整数值在不同分辨率下是不同的。这种尺寸和地点以及将单个视差值用于整个小区使小区视差值可以在分辨率改变时保持相同。但是，视差值将与具有不同分辨率的可变数量像素相联系。[0031]从上面的预览中退出，图1例示了视频图像中的深度的概念。图1示出了带有传感器107的右摄像机105、和带有传感器112的左摄像机110。两台摄像机105，110捕获对象115的图像。为了例示的目的，对象115是具有处在十字架的右侧的任意细节116的有形十字架(参见图2)。右摄像机105具有捕获角120，左摄像机110具有捕获角125。两个捕获角120，125重叠在3D立体区130中。
[0032]因为对象115处在3D立体区130中，所以对象115可被摄像机105，110两者看见，因此能够感测到对象115是有深度的。对象115具有实际深度135。实际深度135 —般称为从对象115到摄像机105，110的距离。更具体地说，实际深度135可以称为从对象115到立体摄像机基线140的距离，立体摄像机基线140是由两台摄像机105，110的入射光瞳平面定义的平面。摄像机的入射光瞳平面通常在变焦透镜的内部，因此通常在物理上不可接近。
[0033]摄像机105，110也被显示成具有焦距145。焦距145是从出射光瞳平面到传感器107,112的距离。为了例示的目的，入射光瞳和出射光瞳被显示成重合的，但在大多数情况下，它们分开一点。另外，摄像机105，110被显示成具有基线长度150。基线长度150是摄像机105，110的入射光瞳的中心之间的距离，因此在立体摄像机基线140上测量。
[0034]对象115被摄像机105和110的每一台成像成传感器107和112的每一个上的实像。这些实像包括传感器107上的细节116的实像117、和传感器112上的细节116的实像118。如图1所示，如在现有技术中所知，实像是颠倒的。
[0035]深度与视差密切相关。图2示出了从摄像机110中捕获的左图像205、和从摄像机105中捕获的右图像210。两个图像205，210包括带有细节116的对象115的表示。图像210包括细节116的细节图像217，图像205包括细节116的细节图像218。细节116的右远点被捕获在左图像205中的细节图像218中的像素220中，和被捕获在右图像210中的细节图像217中的像素225中。像素220和像素225的地点之间的差值是视差230。假设物像217，218是垂直对齐的，以便细节116的图像在两个图像205，210中具有相同垂直位置。视差230提供当左右图像205，210分别被观众的左右眼看到时对象215有深度的感觉。
[0036]图3示出了视差与感觉深度之间的关系。所示的是三个观察者305，307，309在各自屏幕310，320，330上观看对象的立体图像对。
[0037]第一观察者305观看到具有正视差的对象的左视图315和对象的右视图317。正视差反映在屏幕310上对象的左视图315在对象的右视图317的左边的事实。正视差导致出现在屏幕310的平面的后面的感觉或虚拟对象319。
[0038]第二观察者307观看到具有零视差的对象的左视图325和对象的右视图327。零视差反映在屏幕320上对象的左视图325与对象的右视图327处在相同水平位置上的事实。零视差导致出现在与屏幕320相同的深度上的感觉或虚拟对象329。
[0039]第三观察者309观看到具有负视差的对象的左视图335和对象的右视图337。负视差反映在屏幕330上对象的左视图335在对象的右视图337的右边的事实。负视差导致出现在屏幕330的平面的前面的感觉或虚拟对象339。
[0040]值得注意的是，视差和深度可以可交换地用在实现方式中，除非上下文另有指出或要求。使用方程1，我们已知视差与屏幕深度成反比。
【权利要求】
1.一种方法，其包含: 为画面的一个区域确定一种属性，该画面具有特定分辨率以及该属性是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及 转换该属性以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的属性。
2.如权利要求1所述的方法，其中该区域的尺寸基于(i)在特定分辨率下像素的像素尺度和(i i )在第二分辨率下像素的像素尺度的组合。
3.如权利要求2所述的方法，其中: 区域宽度基于与包括特定分辨率和第二分辨率的一组分辨率中的分辨率有关的像素的像素宽度的倍数；以及 区域高度基于与该组分辨率中的分辨率有关的像素的像素高度的倍数。
4.如权利要求3所述的方法，其中: 该特定分辨率包含特定水平分辨率， 该第二分辨率包含 第二水平分辨率， 该组合分辨率包含组合水平分辨率，以及 该组分辨率中的给定分辨率的像素宽度基于组合水平分辨率除以给定分辨率的水平分辨率。
5.如权利要求3所述的方法，其中: 该特定分辨率包含特定垂直分辨率， 该第二分辨率包含第二垂直分辨率， 该组合分辨率包含组合垂直分辨率，以及 该组分辨率中的给定分辨率的像素高度基于组合垂直分辨率除以给定分辨率的垂直分辨率。
6.如权利要求1所述的方法，其中该组合分辨率基于至少特定分辨率和第二分辨率的倍数。
7.如权利要求1所述的方法，其中该特定分辨率包含水平分辨率、垂直分辨率、或水平分辨率和垂直分辨率两者。
8.如权利要求1所述的方法，其中确定属性包含根据第一整数个像素的两个或更多个像素的属性的值确定该区域的属性。
9.如权利要求1所述的方法，其中: 该属性是视差值，以及 以及确定属性包含从视差图中访问属性。
10.如权利要求1所述的方法，进一步包含将该区域的转换属性插入适合存储或发送的至少一种的数据结构。
11.如权利要求10所述的方法，进一步包含将指示区域尺寸和区域位置的信息插入数据结构中。
12.如权利要求1所述的方法，进一步包含确定区域尺寸和区域位置。
13.如权利要求1所述的方法，进一步包含编码转换的属性。
14.如权利要求1所述的方法，进一步包含编码指示区域尺寸和区域位置的信息。
15.如权利要求1所述的方法，其中该转换包括将属性乘以反映组合分辨率和特定分辨率的比率的整数。
16.如权利要求1所述的方法，其中该属性包含深度的指示符。
17.如权利要求16所述的方法，其中该深度的指示符是视差值。
18.—种包含集体配置成执行如下步骤的一个或多个处理器的装置: 为画面的一个区域确定一种属性，该画面具有特定分辨率以及该属性是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及 转换该属性以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的属性。
19.一种装置，其包含: 为画面的一个区域确定一种属性的部件，该画面具有特定分辨率以及该属性是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及 转换该属性以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的属性的部件。
20.—种上面存储着使一个或多个处理器集体执行如下步骤的指令的处理器可读介质:` 为画面的一个区域确定一种属性，该画面具有特定分辨率以及该属性是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及 转换该属性以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的属性。
21.一种装置，其包含: 配置成执行如下步骤的处理器: 为画面的一个区域确定一种属性，该画面具有特定分辨率以及该属性是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及 转换该属性以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的属性；以及 配置成将指示转换属性的数据调制在信号上的调制器。
22.—种格式化成包括信息的信号，该信号包含: 属性部分，其包含指示画面的一个区域的属性的数据，该属性是该区域和组合分辨率特有的，该组合分辨率是作为特定分辨率和第二分辨率的组合确定的，其中该画面的该区域可与该特定分辨率下的第一整数个像素共同扩展，以及可与该第二分辨率下的第二整数个像素共同扩展。
23.—种信号结构,其包含: 属性部分，其包含指示画面的一个区域的属性的数据，该属性是该区域和组合分辨率特有的，该组合分辨率是作为特定分辨率和第二分辨率的组合确定的，其中该画面的该区域可与该特定分辨率下的第一整数个像素共同扩展，以及可与该第二分辨率下的第二整数个像素共同扩展。
24.一种上面存储着信号结构的处理器可读介质，该信号结构包含: 属性部分，其包含指示画面的一个区域的属性的数据，该属性是该区域和组合分辨率特有的，该组合分辨率是作为特定分辨率和第二分辨率的组合确定的，其中该画面的该区域可与该特定分辨率下的第一整数个像素共同扩展，以及可与该第二分辨率下的第二整数个像素共同扩展。
25.如权利要求24所述的介质，其中该信号结构进一步包含以下中的一个或多个:指示区域尺寸的部分、指示画面内的区 域地点的部分、指示区域号的部分、或指示画面中区域的总数的部分。
26.—种方法,其包含: 为画面的一个区域访问一种属性，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的； 转换该属性以便提供该区域和该特分辨率性特有的属性；以及 将转换的属性与该特定分辨率下的第一整数个像素相联系。
27.如权利要求26所述的方法，其中该区域的尺寸基于(i)在特定分辨率下像素的像素尺度和(i i )在第二分辨率下像素的像素尺度的组合。
28.如权利要求27所述的方法，其中: 区域宽度基于与包括特定分辨率和第二分辨率的一组分辨率中的分辨率有关的像素的像素宽度的倍数；以及 区域高度基于与该组分辨率中的分辨率有关的像素的像素高度的倍数。
29.如权利要求28所述的方法，其中: 该特定分辨率包含特定水平分辨率， 该第二分辨率包含第二水平分辨率， 该组合分辨率包含组合水平分辨率，以及 该组分辨率中的给定分辨率的像素宽度基于组合水平分辨率除以给定分辨率的水平分辨率。
30.如权利要求28所述的方法，其中: 该特定分辨率包含特定垂直分辨率， 该第二分辨率包含第二垂直分辨率， 该组合分辨率包含组合垂直分辨率，以及 该组分辨率中的给定分辨率的像素高度基于组合垂直分辨率除以给定分辨率的垂直分辨率。
31.如权利要求26所述的方法，其中该组合分辨率基于至少特定分辨率和第二分辨率的倍数。
32.如权利要求26所述的方法，其中该特定分辨率包含水平分辨率、垂直分辨率、或水平分辨率和垂直分辨率两者。
33.如权利要求26所述的方法，其中访问属性包含访问位流，该位流包括格式化成提供该区域的属性和该画面的一个或多个其他区域的属性的数据。
34.如权利要求26所述的方法，其中该转换包括将属性除以反映组合分辨率和特定分辨率的比率的整数。
35.如权利要求26所述的方法，其中该属性是视差值。
36.如权利要求26所述的方法，其中该属性包含编码属性，以及该方法进一步包含解码该编码属性。
37.如权利要求26所述的方法，其中该联系包含为特定分辨率下的第一整数个像素确定像素地点。
38.如权利要求26所述的方法，其中数据结构含有第一数量像素每一个的独立字段，以及该联系包含将转换属性插入每个独立字段中。
39.一种包含集体配置成执行如下步骤的一个或多个处理器的装置: 为画面的一个区域访问一种属性，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的； 转换该属性以便提供该区域和该特定分辨率特有的属性；以及 将转换的属性与该特定分辨率下的第一整数个像素相联系。
40.一种装置，其包含: 为画面的一个区域访问一种属性的部件，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的； 转换该属性以便提供该区域和该特定分辨率特有的属性的部件；以及 将转换的属性与该特定分辨率下的第一整数个像素相联系的部件。
41.一种上面存储着使一个或多个处理器集体执行如下步骤的指令的处理器可读介质: 为画面的一个区域访问一种属性，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的； 转换该属性以便提供该区域和该特定分辨率特有的属性；以及 将转换的属性与该特定分辨率下的第一整数个像素相联系。
42.一种装置，其包含: 解调信号的解调器，该信号包括指示画面的一个区域的属性的数据，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的；以及 配置成执行如下操作的处理器: 转换该属性以便提供该区域和该特定分辨率特有的属性；以及 将转换的属性与该特定分辨率下的第一整数个像素相联系。
【文档编号】H04N13/00GK103562958SQ201180071165
【公开日】2014年2月5日 申请日期:2011年12月5日 优先权日:2011年5月26日
【发明者】W.G.雷德曼 申请人:汤姆逊许可公司