用于处理深度相关信息的方法、装置和系统的制作方法

专利名称：用于处理深度相关信息的方法、装置和系统的制作方法
技术领域：
本发明涉及 一种处理与图像序列关联的第一深度相关信息的方 法，包括将第一深度相关信息映射在对应的第二深度相关信息上；一 种用于处理与图像序列关联的第一深度相关信息的装置和系统，包括 将第一深度相关信息映射在对应的第二深度相关信息上； 一种包括与 图像序列关联的第一深度相关信息的信号；以及一种由计算机装置所 加载的计算机程序产品，包括用于处理与图像序列关联的第 一 深度相 关信息的指令，包括将第一深度相关信息映射在对应的深度相关信息 上。
背景技术：
随着自动立体显示器的发展，呈现三维影像而无需特殊头戴式装 置或眼镜已经变为现实。目前，自动立体显示器已经可以利用不同技 术；这些技术包括例如配备有所谓的双凸透镜箔片的平板显示器以及 配备有所谓的视差栅栏的平板显示器。
自动立体显示器提供用于生成不同观看角度的不同视图的工具。 典型地，自动立体显示器被布置为针对观看者的左眼生成左图像， 针对观看者的右眼生成右图像。通过显示适当的图像(即分别从左眼 和右眼的视点来说是适当的)，可以将三维表示的印象传达给观看者。
多种技术可以用于创建并且/或者生成用于这些自动立体显示器 的图像。例如，对于自动立体显示器，可以使用位置对应于观看的相 应视点的多个相机来记录多个图像。可替代地，通过使用三维计算机 模型，图像可以是计算机生成的，以用于各个视图中的每一个。
然而，为了保持向后兼容性并且改进带宽用途，优选的是，使用 自动立体显示器的输入格式，其包括与传统图像序列相似的图像序列 以及伴随的深度图序列。自动立体显示器然后使用来自图像序列的图 像和对应的深度图生成所需的各个图像。
深度图典型地包括指示图像中所描述的对象与(可能虚拟的)相机位置之间的距离的多个值。深度图可以是基于像素的，即，深度图 中的像素指示图像中像素的深度。可替代地，深度信息可以是基于对 象的，即，深度值指示多组像素的距离。
已知从使用例如立体相机获得的立体图像推导深度图。在此，点 的深度通常指的是以图像的(一组)像素所表示的对象与通过该点并 且垂直于相机的光轴的平面之间的距离。立体相机的每一视图之间的 视点的差可以用于建立深度信息。可以从对应于一个图像中的(一组) 像素的位置的平移量来确定另一图像中(一组)像素的深度值。
事实上，当通过点投影获得图像时，平移与相机的位移量成正比， 并且与(一组)像素的深度成反比。使用立体相机的两个视图，可以 生成所谓的视差图，其指示两个图像之一中(一组)像素的平移或位 移。作为前述关系的结果，这种平移位移或视差数据事实上是深度相 关信息。贯穿全文，深度相关信息应被理解为包括深度信息和视差信 息二者。
为了将立体图像转换为视差数据，可以将基于窗的匹配方法应用 于建立平移的测度。相应地，具有相机第一方位的第一图像中的像素 周围的窗中的像素值与具有第二方位的第二图像中的像素周围的窗中
的像素值进行比较。匹配在此典型地包括确定匹配窗中像素的像素 值之间的差的总和。
在"Depth Estimation from Stereoscopic Image Pairs Assuming Piecewise Continuous Surfaces", by L. Falkenhagen， published in Proc. of European Workshop on combined Real and Synthetic Image Processing for Broadcast and Video Production, Hamburg, November 1994中公开了 一种用于使用立体图像对确定深度图的方法。
当图像序列和关联的第一深度相关信息被用作自动立体显示器的 输入时，必须由自动立体显示器或由将输入提供给自动立体显示器的 设备来生成多个视图。然而，三维显示技术倾向于具有特定技术要求。 例如，与快门眼镜(shutter glass)相比，自动立体显示器上的像素 的最大可允许平移(即视差)明显更受限。这可归因于这样的事实 自动立体显示器中各个视图之间的串扰量明显高于立体眼镜的各个视 图。结果，需要以可以满足这些特定技术要求的方式来提供深度相关 信息。

发明内容
本发明的目的在于改进现有技术并且提供一种处理与图像序列关
联的第一深度相关信息的方法，包括将第一深度相关信息映射到对 应的第二深度相关信息上，所述方法能够考虑显示器之间的这些差异。
该目的通过一种处理与图像序列关联的第 一深度相关信息的方法 而得以实现，该方法包括使用与来自镜头的至少一个图像关联的深 度相关信息的分布的特征的第一估计将图像序列的镜头的各个图像的 第一深度相关信息映射在对应的第二深度相关信息上，所述映射通过 增强由所述第一估计至少部分地限定的第一深度相关信息的关注范围 动态范围来适配所述第 一深度相关信息，并且镜头中时间上接近的各 个图像的映射的变化量是受限的。
虽然可以在不考虑镜头内的差别的情况下转换与图像序列关联的 视差信息或深度信息，但这可能导致在自动立体显示器上的不满意的 深度感知，尤其是在深度相关信息不跨越整个图像序列的整个深度相 关信息值范围的镜头中。
为了改进上述问题，本发明提出基于每镜头执行第一深度相关信 息到第二深度相关信息上的映射，由此增强第 一深度相关信息的关注 范围的动态范围。关注范围反过来由与来自镜头的至少一个图像关联 的第一深度相关信息的分布的特性的笫一估计至少部分地限定。
以此方式，本发明可以用于基于镜头自身中第一深度相关信息的 分布的特性相对于输入范围的其它部分扩大关注范围的动态范围。通 过限制镜头内时间上接近的各个图像之间的变化量，本发明此外保留 贯穿镜头的映射的连续性。
发明人的观点是，镜头内图像之间的映射的连续性比镜头之间的 连续性更相关。据此，发明人提出限制对于镜头中时间上接近的各个 图像的映射的变化，由此保留镜头内的连续性。
在上述方式中，本发明允许增强第一深度相关信息的关注范围， 因此使得本发明能够用于例如提供自动立体显示器的相对窄视差范围 的高效使用，由此满足自动立体显示器的要求。
在实施例中，所述第二深度相关信息是第一深度信息，并且增强 第 一深度相关信息的关注范围的动态范围包括根据深度相关信息与图像中对象的深度之间的关系将更大部分的第一深度范围分配给关注 范围。
在实施例中，所述第二深度相关信息是第一视差信息，并且增强
第 一深度相关信息的关注范围的动态范围包括根据深度相关信息与 图像中对象的视差之间的关系将更大部分的第一视差范围分配给关注范围。
在实施例中，所述第一深度相关信息是第二视差信息。所述笫二 视差信息可以例如通过分析来自立体相机的图像而获得。在另一实施 例中，所述第一深度相关信息是例如可以使用激光测距仪而获得的第 二深度信息。在另一实施例中，所述笫一深度相关信息是使用针孔相 机模型通过处理所述视差信息而从视差信息推导出的另一深度信息。 在两种情况之一下，第一深度相关信息随后根据本发明而得以映射在 第二深度相关信息上。
在实施例中，用于邻近图像的各个映射中的最大变化量由预定阔 值划定上界。可以通过各种方式对镜头中时间上接近的各个图像不同 映射之间的可忍受的变化量进行量化和限制。在一个实施例中，各个 映射之间的差异可以描述为在整个第一深度相关值范围上各个第二深 度相关信息值之间的绝对差的积分。
当使用预定阈值限制邻近图像之间的变化量时，允许各个映射之 间的某种变化。这反过来使得能够跟踪镜头内的逐渐改变。可替代地， 可以将所述预定阈值设置为零，由此保证镜头内第一深度相关信息的 映射的连续性，而且还防止用于适用逐渐改变的能力。虽然零阈值可 以用于甚至增强具有第一深度相关信息分布的明显变化的镜头，但这 在没有裁剪的情况下并非总是有可能的。因此，用于这种镜头的动态 范围中的放大可能是低的。以此方式，阈值的选择使得能够在连续性 与用于更动态镜头的动态范围增强之间进行折衷。
在具有第 一深度相关信息值的分布的有限变化的镜头中，使用来 自镜头的单个图像的信息来建立所述第一估计已经足够。然而，通过 使用来自镜头中多个图像(优选地，来自镜头的第一个图像和最后一 个图像)的贡献或者可替代地使用镜头中的所有图像可以改进第一估 计的精度，尤其是对于更动态的镜头。
在另 一 实施例中，所述第 一估计是基于来自镜头的时间滤波后的第一深度相关信息的。以此方式，可以减少噪声以及瞬时相关像差。
在实施例中，所述第 一估计是基于加权的第 一深度相关信息的， 其中，加权因子是基于可靠性信息的，所述可靠性信息指示所述第一
深度相关信息的可靠性。具体地说，当使用2D到3D转换处理对于现 有2D内容生成第一深度相关信息时，所述第一深度相关信息的可靠性 在镜头内的所有图像上可能不均匀。例如，作为开始效果和/或误差传 播的结果，在镜头的早期或结束，可靠性可能是低的。在此情况下，
尤其有利的是，使用关于所述深度相关信息值的可靠性信息将深度相 关信息加权到所述第 一估计。
在另一实施例中，划分信息被获得以用于镜头，并且随后用于基 于所述划分信息适配用于镜头的各个图像的映射。由于划分信息使得 能够将图像序列划分为镜头，因此该信息通常是自动镜头切变检测技 术的副产品。这种划分信息可以用于将映射调整为镜头类型，由此使 得能够跟踪镜头(例如变焦类型镜头)中第一深度相关信息的变化。
划分信息也可以用于与基本静态镜头组合。划分信息可以用作指 示符，以进一步限制用于静态镜头的变化量。镜头类型的先验知识也 可以使得能够更高效地确定所述第一估计。在第一深度相关信息分布 中仅有限的变化的基本静态镜头的情况下，所述第一估计可以是基于 与镜头的任意单个图像关联的第一深度相关信息的。
在另一实施例中，所述第一估计是基于位于第一图像区域中的第 一深度相关信息值的，与来自镜头的至少一个图像关联的深度相关信 息的分布的特性的第二估计是基于位于第二图像区域的第一深度相关 信息值的；所述第二图像区域位于所述图像的边界附近。所述第二估
对象。ii信息与二少或者防止所谓、的窗越界有关。' "
典型地当相对靠近观看者的对象位于显示器的边界附近时，发生 窗越界。当生成用于例如自动立体显示器的多个视图时，附近对象的 位移可以将对象定位在显示器边界上以及/或者越过显示器边界，结 果，可能出现的情况是其中，对象在视图之一中是可见的，但在另 一视图(完全)不可见。对于其深度值使得对象位于显示器边界"之 后"的对象，对象被显示器边界的阻塞将被感知是自然的。然而，对 于其深度值使得对象位于显示器边界"前面"的对象，这种阻塞现象
10将显现出伪像。后一情况被称为窗越界。
所述第二估计可以用于检测这些情况。所述第二估计可以用于建 立何时附近对象(即其深度值与实际显示器的前面的对象的深度值对 应的对象)被显示在空岡上接近于图像边界的显示器上。因此，在检 测到这种情况时，可以通过将镜头内所有对象移动到更大"距离"第 二深度相关信息值，有效地远离用户移动所有对象，在显示器边界之 后，以使显示器边界的阻塞被感知是自然的，从而防止窗越界。在该 处理中，不导致窗越界的其余第二深度相关值范围可以用于增强所述 第一估计指示的关注范围。以此方式，使用所述第二估计可以明显减 少窗越界的概率或者甚至防止窗越界。
本发明的另 一 目的在于提供一种用于处理与图像序列关联的第一
深度相关信息的装置和系统，包括将图像序列的第一深度相关信息 映射在对应的第二深度相关信息上，所述装置和所述系统能够适应不 同类型的三维显示器之间的差异。
分别使用根据权利要求13和权利要求14的装置和系统来实现该 目的。
本发明还涉及一种用于这种系统的信号、以及用于实现根据本发 明的方法的软件。


使用以下附图，将更详细描述本发明的这些和其它有利方面。 图1A示出本发明实施例的流程图1B示出包括用于镜头划分的步骤的本发明实施例的流程图； 图1C示出包括用于获得第二估计的步骤的本发明实施例的流程
图2A示出具有在两个各个深度值处的对象的两个视图锥形的自顶 向下的视图2B示出窗越界的出现；
图2C示出显示器上的各个区域；
图3示出若干非线性映射；
图4A示出第一深度相关信息的时间子采样和加权； 图4B示出第一深度相关信息的空间子采样和加权；图5示出显示使用最大视差包络的曲线图6示出显示使用用于适应缩小类型的镜头的镜头划分的曲线图7A示出根据本发明的装置；
图7B示出根据本发明的另一装置；
图8示出根据本发明的系统和信号。
附图并非按比例绘制。通常，在附图中，相同组件由相同附图标 T己来^示。
具体实施例方式
虽然本发明可以按有利的方式用于处理自动立体显示器的深度相 关信息，但本发明不限于此，并且还可以应用于其它应用，包括处理 与图像序列关联的第一深度相关信息。
图1A示出根据本发明的方法的流程图。在该方法中，与图像序列 105关联的第一深度相关信息110被映射在与图像序列105关联的对应 的第二深度相关信息150上。
在第一步骤120中，获得镜头信息125，其将来自图像序列105的 多个连续图像划分为镜头。在此，动词"获得，，应理解为包括使用 图像序列和/或关联深度信息确定镜头信息125，并且连同图像序列一 起以例如所提供的元数据的形式接收这种镜头信息125(如虚线箭头所 指示的那样)。这种元数据可以自动生成，但也可以得自图像序列的 手动注释。本领域技术人员将清楚的是，与镜头信息125是否精确地 划分镜头的开始和结束相比，信息源并不是很重要。
确定镜头信息125的处理是本领域公知的。参考标题为"Shot-cut detection"的美国专利申请US2006/0268181 ，其是处于相同申请人 名义下，并且被考虑通过引用合并到此。其中提出的镜头切变检测方 法目的在于使得能够进行自动化镜头切变检测，并且可以有利地与本 发明组合。进一步参照Proceedings of the 13th International Conference on Image Analysis and Processing (ICIAP 2005)中公 开的Giovanni Tardini等人的论文"Shot Detection and Motion Analysis for Automatic MPEG-7 Annotation of Sports Videos", 其被考虑通过引用而包括于此。该论文公开了用于执行镜头切变检测 和注释的自动化处理。在另一步骤130中，获得与来自镜头的至少一个图像关联的第一 深度相关信息110值的分布特性的第一估计135。可以使用与来自镜头 的至少一个图像关联的第一深度相关信息来确定第一估计135;可替代 地，其可以被提供作为从先前确定处理得到的元数据。
第一估计135提供关于镜头的至少一个图像的第一深度相关信息 的分布的信息。在所示实施例的一种变形中，笫一估计表示与镜头的 至少一个图像关联的第一深度相关信息值的分布的均值。第一估计可 以用于确定应该将笫一深度相关信息的哪些值划分在关注范围内，并 且应该将哪些值划分为外部。
通过示例的方式，第一估计可以是图像序列的图像内的第一深度 相关信息值的均值。该值可以看作镜头内第一深度相关信息值的均值 的估计，并且在此情况下，可以用于以均值周围的平衡方式定义关注 范围的边界。例如，关注范围可以被定义为均值周围平衡的第一深度 相关信息的整个范围的60%。在[O， 99]的范围中均值为40的情况下， 这将导致[IO， 70]的关注范围。
在图1A所示的实施例的最终阶段，通过增强至少部分地由第一估
计限定的笫一深度相关信息的关注范围的动态范围，与镜头中图像关 联的第一深度相关信息值在步骤140中得以映射在第二深度相关信息 值上。以此方式，通过与关注范围外部的范围相比，将第二深度相关 信息值的可用范围的更大部分分配给关注范围，本发明促成了映射中 第一深度相关信息的关注范围的呈现，；所述关注范围至少部分地基 于第一估计135。
虽然本发明可以用于将图像序列的视差信息映射到深度信息上， 以结合图像序列而使用，但本发明也可以用于将第一 深度信息映射到 第二深度信息上，由此促成映射处理中笫一深度信息的关注范围。事 实上，本发明可以用于
将深度信息映射到增强的深度信息上；
将深度信息映射到增强的视差信息上；
将视差信息映射到增强的视差信息上；或
将视差信息映射到增强的深度信息上。
在上述实施例的变形中，可以使用第一估计135来限定关注范围， 第一估计135包括两个参数来自镜头的第一图像和最后图像的第一深度相关信息值的分布的高斯模型的均值H和方差C7。在该特定情况
下，第一估计135可以用于将关注范围建立为范围〈p-2cr， n+2o〉中的 第一深度相关信息值。
在另一变形中，第一估计135是与来自镜头的至少一个图像关联 的第一深度相关信息值的柱状图。当镜头是静态镜头，即第一深度相 关信息值的分布变化很小的镜头时，基于单个图像(即来自镜头内的 任何图像)建立柱状图就足够了。可选地，柱状图甚至可以是基于来 自镜头中任何图像的笫一深度相关信息值的子集的。然而，本领域技 术人员将清楚，通过使用第一深度相关信息值的子集，以精度为代价， 可以减少计算负荷。通过丢弃一部分第一深度相关信息，所述估计可 能不再以足够的精度来反映第一深度相关信息值的分布以使得能够进 行正确的增强。
可替代地，如果镜头具备更动态的特性(例如摇摄或变焦)，则 柱状图可能需要跨越来自源于镜头的多个图像的第一深度相关信息 值。优选地，柱状图是基于镜头中第一图像和最后图像的，但可选地， 可以使用来自甚至更多图像的信息。为了提供强健的方案，柱状图可 以是基于来自镜头中所有图像的贡献的。
由于深度相关信息通常不具有高斯分布，因此结合本发明使用柱 状图是特别有利的。镜头内的对象可以是分散的，即以高度不规则方 式分布；基于例如高斯分布使用柱状图而不是模型可以按更精确的方 式反映这种分布。
例如，通过排除所使用的值的最高10%和最低10%,柱状图进而可
以用于限定关注范围。可替代地，如果柱状图是高度不对称的，则可 以使用标准化均值fi来获得更平衡的截止。在此情况下，外部可以例 如被限定为所使用的第一深度相关信息值的完全范围的值的下部 fi-20y。和上部(1 - fi).20%。本领域技术人员将清楚，可以设想出^艮多变 化，其使用表征分布的其它类型的统计和/或数学模型和参数，以建立 镜头中第一深度相关信息值的关注范围。
虽然本发明可以按有利的方式用于将视差信息转换为增强的深度 信息，但其也可以用于将视差信息转换为增强的视差信息，将深度信 息转换为增强的深度信息，以及将深度信息转换为增强的视差信息。 典型地，术语"增强"在此指的是通过与基于第一深度相关信息与
14第二深度相关信息之间的实际关系相比，将更大部分的第二深度相关信息范围分配给关注范围，来增强第一深度相关信息中关注范围的动态范围。
图1B示出根据本发明的方法的流程图，其包括用于镜头划分的步骤180。用于镜头切变检测和划分的技术是本领域技术人员公知的。参考才示题为 "Background motion vector detection"的美国专利申请US 2006/0072790,其是处于相同申请人名义下，并且被考虑通过引用而包括于此。该专利申请公开了一种用于建立可以在镜头划分中使用的全局运动矢量的方法。此外，参照Proceedings of the 13thInternational Conference on Image Analysis and Processing(ICIAP 2005)公布的Giovanni Tardini等人的"Shot Detection andMotion Analysis for Automatic MPEG-7 Annotation of SportsVideos",该文献通过引用而包括于此，其公开了可以有利地与本发明组合的用于执行镜头切变分析和镜头注释的自动化处理。
图IB中的实施例示出如何能够将镜头检测步骤120的结果用在对所讨论的对镜头进行划分的另一步骤180中，例如通过确定镜头是基本上静态的还是基本上动态的，即基于镜头内是否存在第一深度相关信息的任何基本变化的事实。本领域技术人员将清楚，用于自动镜头检测的很多方法事实上分析图像序列中的图像，以对属于特定镜头的各个图像进行划分。这种分析可以例如还指示特定镜头类型(例如放大、缩小、左摇摄、右摇摄、上摇摄和下摇摄)。可替代地，可以建立其它参数。根据上述讨论将清楚，图1B中提出的步骤120和180事实上可以有利地合组合在单个镜头切变检测和划分步骤中。
一旦划分信息可用，其就可以相应地用于处理镜头。考虑例如其中相机从单独的骑手的脸部随着其骑行朝向地平线而缩小的镜头。该镜头划分为动态镜头，原因是在镜头的开始时的关注范围不同于在镜头的结束时的关注范围。
根据本发明，可以按与静态镜头基本相同的方式处理这种动态镜头，即通过建立与镜头的一个或多个图像关联的第一深度相关信息的分布的第一估计135并且随后对其进行映射。然而，由于动态镜头典型地包括相对宽范围的第一深度相关信息值，典型地比静态镜头的范围更宽，因此对于改进的潜力比对于静态镜头更受限。然而，通过使用划分信息，本发明可以得以进一步精细化，以便基于划分信息逐渐使映射适配镜头中的后续图像。以此方式，在映射的连续性与深度增强之间，折衷是有可能的。
发明人意识到，镜头内图像的映射处理内的连续性是重要的。然而，连续性并非一定需要对于镜头中所有图像使用单个映射。取而代之，限制时间上接近的图像的各个映射的变化允许各个图像之间的映射的逐渐变化，从而导致基本上连续的增强处理。允许某种变化的处理使得能够超越对应于固定零变化阈值的对于整个镜头使用单个映射的方法而进行改进的增强。
虽然对于所有镜头类型，逐渐变化可以通过固定预定阁值而受限，但划分信息的可用性使得能够进行精细化阈值选择处理。因此，基本静态镜头可以获益于相对小的或甚至零阈值，而更动态的镜头类型(例如变焦)可以获益于更高的阈值，这使得能够跟踪镜头内更大的变化。
图6示出根据本发明的用于将第一深度相关信息四次映射到第二深度相关信息上的曲线图。在x轴上，表示第一深度相关值，在y轴上，表示对应第二深度相关值。曲线610、 620和630反映了镜头的理想化情况，其中，相机进行变焦。曲线610表示用于镜头的第一图像的映射，曲线620表示用于通过镜头的半途的图像的映射，而曲线630表示用于镜头的最后图像的映射。
在该镜头中，如子范围611所示的第一图像中的关注范围明显小于如子范围631所示的镜头中最后图像的关注范围。根据本发明，关注范围的动态范围得以增强，在此情况下，其得以伸展，以覆盖笫二深度相关信息值的全部输出范围，同时关注范围的外部的第 一深度相关值被修剪为0或10。
与镜头对应的划分信息提供指示期待关注范围中的基本变化。此外，由于镜头划分为缩小，因此将清楚的是，最后图像中的关注范围有可能明显大于第一图像中的关注范围。甚至当镜头的仅单个图像用于建立第一估计时，也可以使用该信息。在使用第一图像的情况下，关注范围有可能增长，而在使用最后图像的情况下，关注范围有可能已经增长。通过使用来自镜头(优选地第一镜头和最后镜头)的两个图像，可以进行甚至更好的预测。
注意，甚至当将把这种镜头处理为静态镜头并且来自镜头的第一图像和最后图像二者的信息用于以第一深度相关值的柱状图形式建立
第一估计时，这可以产生沿着曲线640的映射。尽管事实是这将不产生与使用划分信息的实施例相同的改进效果，当所得笫二深度相关信息用作自动立体显示器的输入时，与第一深度相关信息用作输入的情况相比，其将提供深度感知方面的改进。
图1C示出包括用于获得第二估计以防止窗越界的步骤的本发明实施例的流程图。图2A和图2B示出窗越界的出现。两个相机210L和210R观测场景。相机210L和210R分别记录视场锥(view cone) 220L和220R内的可见物。在时间tl， O(tl)指示的对象位于Dl指示的距离处。相机记录的所得图像在图2 B中示出为2 3 0和2 4 0 ，以分别用于相机210 L和210R。在时间t2，由0U2)指示的对象位于距离D2处，即更靠近相机设置。相机记录的所得图像在图2B中分别示出为250和260。
相机210L所观测的对象在两个左眼图像230和250中皆是可见的。在图像250中，对象因更靠近的接近程度而在尺寸上增长，但此外，已经移动到左边，朝向图像边界。用于相机210R所观测的右眼视图240和260的情况稍微不同。对象O(tl)在图像240内是可见的，并且位于左图像边界附近。与相机210L的情况相似，作为更靠近的接近程度的结果，对象0(t2)将在尺寸上增长，并且此外将移动到左边。然而，作为对象0(t2)明显更靠近的事实的结杲，对象已经移动到左边太多，以致于其已经移出相机210R的视图推体，并且因此落在右眼视图260的外部。
当自动立体显示器基于图像序列(例如图2B的左眼相机的图像序列)以及关联深度信息呈现图像时，可能出现相似的情况。基于图像序列和深度数据生成视图有效地与从视差信息建立深度相反。生成处理包括在图像中根据对象相对于相机的位置而对其进行平移。假设虚线200是零视差平面，对应于自动立体显示器的位置。当生成用于0(t2)的右眼视图时，0(t2)的左眼视图中所见的对象必须根据深度和相对相机位置二者而被平移。从左眼视图和深度信息开始，对象0(t2)将必须被平移到左边，以获得右眼视图。然而，对于右眼视图，对象将必须被平移超过右眼视图260的图像边界；这是不可能的，并且随着对象被感知为位于显示器与相机之间，将出现窗越界。
当作为对应深度的结果，对象位于显示区域与(虚拟)相机之间并且太靠近图像边界时，出现窗越界。结果，对象的平移值或视差可
以是这样的使得平移后的对象与显示器边界部分地重叠或者完全位 于显示区域外部。通过仔细监控接近于图像边界的第一深度相关值的 分布，可以标记这种情况。并且在出现这种情况的情形中，典型地可 以通过对于镜头中所有对象减少平移/视差量来适配镜头中对象的深 度信息。
通过示例的方式，在对象相对靠近图像边界的情况下，可以确定 对于处于允许对象被正确地表示的深度的对象所允许的最大视差值。 以此方式，可以衡量与图像序列关联的深度或视差信息，方式是所 得映射不会导致窗越界，并且/或者其概率减小。
为了防止窗越界，必须获知第二深度相关信息与所使用的自动立 体显示器上的所得视差之间的确切关系。当进一步远离相机而"移动" 镜头中的对象时，于是可以考虑这种关系。在减小概率已经足够的情 况下，可以放松获知确切关系的需求。
在图1C所示的实施例中，第一估计是基于位于图2C所示的第一 图像区域280的第一深度相关信息的。这里通过示例的方式，第一图 像区域280包括整个图像。在图1C的实施例中，在步骤190中获得第 二估计，所述第二估计是与来自镜头的至少 一个图像关联的第 一深度 相关信息的分布的特性的估计，用于建立所述第二估计的笫一深度相 关信息位于图2C所示的图像边界附近的第二图像区域285中。
虽然步骤190中的"获得"包括生成第二估计，但在可替代的实 施例中，可以接收第二估计作为伴随图像序列的元数据。在此情况下， 通过先前生成处理基于图像序列和第一深度相关信息生成元数据。
通过使用第二估计，可以检测源自第二图像区域285的水平窗越 界可替代地，第二图像区域还可以包括图像区域290，如图2C所示， 由此还允许根据需要而检测垂直窗越界。
图3示出其中x轴表示第一深度相关信息值，y轴表示第二深度相 关信息值的曲线图。在曲线图内，示出三条曲线310、 320和330，每 一曲线表示从第一深度相关信息到第二深度相关信息的映射。对于每 一曲线，示出基于映射的关注范围311、 321和331。
曲线310示出关注范围到第二深度相关信息范围的全范围的均匀 伸展。曲线320示出分段线性映射，其中，关注范围得以分配相对最大部分的第二深度相关信息范围，而某些深度信息被保留用于关注范
围的外部区域。最后，曲线330示出连续曲线，其中，用于关注范围 的曲线的第一微分大于l，并且关注范围的外部小于1,由此示出的事 实是关注范围再次得以分配更大部分的第二深度相关信息值的范围。 图3还描述了用于对各个映射之间的变化量进行定量的简单方式。 曲线310与320之间的阴影区域有效地提供两个映射之间的差的测度 的指示。这种差测度可以用于限制镜头内邻近图像的各个映射之间的 变化量。
虽然这种差测度建立曲线之间的差，但其并未考虑受映射中各个 差所影响的深度值的数量。当比较邻近图像之间的映射时，可以使用 的可替代的差测度以具有对应的第一深度相关信息值的像素的部分对 两条曲线之间的差进行加权。在第一估计是第一深度相关信息的分布 的柱状图的情况下，该柱状图可以用在加权处理中。所得差测度再次 提供各个图像之间的差的指示。
图4A以曲线图示出其中仅来自镜头420的每个其他图像用于建立 130第一估计的情况。例如，使用与图像411关联的第一深度相关信息 值，而不使用与图像412关联的第一深度相关信息值。此外，使用与 镜头对应的各个第一深度相关信息的可靠性信息pl、 p2、 p3和p4对 来自镜头中不同图像的贡献进行加权。可靠性信息可以是在第一深度 相关信息生成处理中生成的，或者可以是手动注释的结果。
图4B以曲线图示出应用空间子采样的另一精细化方式，其中，仅 由各个图像中棋盘图案所指示的各个图像中的像素的子集用在生成 130的处理中。 在镜头内，例如，作为移入以及移出相机视图的对象的结果，即 使相机位置和设置是稳定的，也可能出现第一深度相关信息值的变化。 这种变化可以与镜头有关。然而，为了适配映射，瞬时特性的短变化 可能并非是感兴趣的。为了防止过度适配，可以应用时间滤波，其中， 在第一深度相关信息值用于建立第 一估计之前，第 一深度相关信息值 在时间上优选地受低通滤波。
其它方法可以用于处理时间变化，例如图5提出的方法。图5示 出显示其中第一深度相关信息是视差信息的示例的曲线图。在曲线图 的x轴上，时间上的离散时刻被表示为对应于镜头中的图像。在y轴上，表示出各个图像中的最大视差值。
最大视差值可以用在建立第一深度相关信息的关注范围中。通过 示例的方式，可以限定关注范围，以便覆盖镜头中第一深度相关信息
值的最小视差值和最大视差值。关注范围的增强可以包括将关注范 围映射在第二深度相关信息值的全部范围上。
用于时间上后续时刻的图5所示的最大视差值分别是5、 10、 6、 5、 9、 7、 4和6。在该示例中，时间上后续时刻之间的最大视差的变化受 限为最大是2。通过限制最大视差值，第一估计的变化将是受限的。因 此，通过限制第一估计的变化，也可以限制所得映射的变化。
图5所使用的方法在于限定包括视差值的范围上局部最大视差 值的包络，在此由穿过点511、 512和513的虚线520指示。该线上的 各点被保持如常。随后，从局部最大开始朝向实际最大视差值确定时 间上其它时刻处的最大视差值，同时考虑最大差阈值。这导致在分别 穿过最大视差值8、 10、 8、 6、 7、 9、 7、 5和6的曲线530上使用菱 形来指示的视差值。
图5提出的方法指示可以通过间接方式来限制用于镜头中各个 图像的映射之间的变化，在此情况下，通过重新计算镜头中各个图像 的第一估计并且限制第一估计中邻近镜头之间的变化。
图7A和图7B均示出根据本发明的装置。关键差别在于，图7A中 的装置740接收图像序列105以及信号705形式的伴随第一深度相关 信息110，而图7B中的装置接收第一深度相关信息IIO和与来自镜头 的至少一个图像关联的第一深度相关信息的分布的特征的第一估计 135。
装置740接收信号705，并且将其中所包括的图像序列105提供给 镜头切变检测器710。镜头切变检测器将镜头信息725提供给处理部件 720。处理部件720进而使用该信息来处理信号705中包括的第一深度 相关信息，以建立与来自镜头的至少一个图像关联的第一深度相关信 息的分布的第一估计135。
第一估计135进而被处理部件73使用以将镜头的各个图像的第一 深度相关信息110映射在对应的第二深度相关信息150上，所述映射 通过增强至少部分地由所述第一估计限定的第一深度相关信息的关注 范围的动态范围来适配所述第 一深度相关信息，并且对于镜头中的时间上接近的各个图像的映射中的变化量是受限的。
相反地，图7B描述的装置745有效地接收第一估计135和第一深 度相关信息110的形式的两个输入信号，以用于每一图像。在图7B所 示的实施例的变形中，装置745还接收镜头信息，以由处理部件730 使用。本领域技术人员将清楚，可以在本发明范围内构建其它变形， 例如其中用于映射镜头的图像的深度相关信息110的所有图像特定参 数作为元数据基于每图像而被提供给装置745的变形。根据本发明， 处理部件730随后将第一深度相关信息110映射到对应的第二深度相 关信息150上。
本领域技术人员将清楚，上述装置中使用的处理部件720、 730可 以包括通用处理器、专用指令处理器或甚至专用集成电路中的任何一 个。此外，由于这种硬件在该范围内是可编程的，因此合适的软件补 充。
在处理部件上的划分的变化被良好地设想为在本发明范围内。例 如，在不脱离本发明范围的情况下，可以在单个通用处理器中实现镜 头切变检测、第 一估计确定以及第 一深度相关信息到笫二深度相关信 息上的实际映射。
图8示出根据本发明的系统800和信号825。系统800被布置为 处理信号705，信号705包括图像序列以及与之关联的第一深度相关信 息110。处理信号705包括将图像序列的镜头的各个图像的第一深度 相关信息110映射到对应的第二深度相关信息150上。
该系统包括第一装置805，其使用信号705作为输入，并且发送 信号825作为输出，信号825包括第一深度相关信息110、镜头信息 125以及与镜头的至少一个图像关联的深度相关信息的分布的特征的 第一估计135。
为了发送信号825，第一装置805包括发射机装置815，其使得第 一装置805能够在有线网络或无线网络850上发送所述信息。这样的 网络可以包括例如IEEE 1394网络、无线LAN ( IEEE 802. 11 )、因特 网、HDMI连接、或另一类型的数字传输介质。
相反地，第二装置810包括接收机装置820，被布置为接收信号 825。虽然在图8中，第一深度相关信息IIO、镜头信息125和第一估 计135在单个信道内组合，但本领域技术人员将清楚，倘若接收机装置可以重新建立各个路径之间的同步，则可以使用不同的物理和/或逻辑信道来传送这些信号。
根据本发明，第二装置810还包括处理部件730，其被布置为执行实际映射。
如图7A、图7B和图8中的实施例所示，本发明可以在系统上分布式地或者完全包括在装置内而得以实现。此外，根据本发明的装置还可以有利地合并到例如自动立体显示器或被布置为提供用于自动立体显示器的输入信号的机顶盒。
可替代地，本发明还可以应用于离线3D内容创建领域，其中，本
发明用于生成结合图像序列而使用的元数据和/或第一深度相关信息。可替代地，所述元数据可以连同图像序列以及关联的第一深度相关信息一起存储在数据载体上，以当将该内容呈现在配备有图7B所示的装置745的自动立体显示器上时使得能够进行改进的深度感知。
虽然主要针对自动立体显示器解释了本发明，但本发明也可以用在使用深度图和视差图的其它应用中，例如图像压缩和/或图像检查。如上所述，其包括在呈现内容期间生成用于所述内容的元数据。
应该注意到，上述实施例说明而非限制本发明，并且本领域的技术人员能够在不脱离所附权利要求的范围的情况下设计出许多可替代的实施例。
在权利要求中，任何置于括号之间的附图标记不应被解释为对该权利要求进行限制。
清楚的是，在本发明框架内，许多变化是可能的。本领域技术人员应理解，本发明不限于以上已经具体示出和描述的内容。本发明在于每个新颖特性特征以及特性特征的每个组合。权利要求中的附图标记并非限制其保护范围。
使用动词"包括"及其变体形式并不排除除了权利要求中陈述的元件之外的元件的存在。在元件之前使用冠词"一"并不排除多个这样的元件的存在。
2权利要求
1.处理与图像序列(105)关联的第一深度相关信息(110)的方法，包括使用与来自图像序列的镜头的至少一个图像关联的第一深度相关信息的分布特性的第一估计(135)，将镜头的各个图像的第一深度相关信息(110)映射(140)到对应的第二深度相关信息(150)上，所述映射(140)通过增强由所述第一估计至少部分地限定的第一深度相关信息的关注范围的动态范围来适配所述第一深度相关信息，并且其中，对于镜头中时间上接近的各个图像的所述映射(140)的变化量是受限的。
2. 权利要求1的方法，其中，所述第二深度相关信息是第一深度 信息，并且其中，增强第一深度相关信息的关注范围的动态范围包括 根据第一深度相关信息(110)与图像中对象的深度之间的关系，将更 大部分的第一深度范围分配给关注范围。
3. 权利要求1的方法，其中，所述第二深度相关信息是第一视差 信息，并且其中，增强第一深度相关信息的关注范围的动态范围包括 根据第一深度相关信息(110)与图像中对象的视差之间的关系，将更 大部分的第一视差范围分配给关注范围。
4. 权利要求1的方法，其中，所述第一深度相关信息(110)是第 二视差信息和第二深度信息之一。
5. 权利要求1的方法，其中，用于镜头内邻近图像的各个映射(140) 中的最大变化量被预定阈值限定上界。
6. 权利要求5的方法，其中，所述预定阈值是零。
7. 权利要求1的方法，其中，所述第一估计(135)表示对于镜头 中所有图像的第 一深度相关信息的分布特性的估计。
8. 权利要求1的方法，其中，所述第一估计是基于时间滤波后的 与来自镜头的至少一个图像关联的第一深度相关信息。
9. 权利要求1的方法，其中，所述第一估计是基于经加权的与来 自镜头的至少一个图像关联的第一深度相关信息，加权因子基于指示 所述第一深度相关信息的可靠性的可靠性信息。
10. 权利要求l的方法，所述方法还包括 -获得用于所述镜头的划分信息；以及 -基于所述划分信息适配对于镜头的各个图像的映射。
11. 权利要求l的方法，其中，用于确定所述第一估计的所述第一 深度相关信息位于第一图像区域中；并且其中，所述方法还包括使 用第二估计减少窗越界的概率，所述第二估计是与来自镜头的至少一 个图像关联的第一深度相关信息的分布特性的估计，用于确定所述第 二估计的所述第一深度相关信息位于图像边界附近的第二图像区域中。
12. 权利要求11的方法，其中，减少窗越界的概率包括收缩由 所述映射产生的第 一深度相关信息的范围。
13. 用于处理与图像序列(105)关联的第一深度相关信息的装置， 所述处理包括将图像序列的镜头的各个图像的第一深度相关信息(110)映射在对应的第二深度相关信息(150)上，所述装置包括-处理部件(730 )，被布置为使用与来自图像序列的镜头的至 少一个图像关联的第一深度相关信息的分布特性的第一估计(135)， 将镜头的各个图像的第一深度相关信息(110)映射(140)在对应的 第二深度相关信息(150)上，所述映射(140)通过增强至少部分地 由所述第一估计限定的第一深度相关信息的关注范围的动态范围来适 配所述第一深度相关信息，并且其中，对于镜头中在时间上接近的各 个图像的所述映射(140)的变化量是受限的。
14. 用于处理与图像序列(105)关联的笫一深度相关信息的系统 (800 )，所述处理包括将图像序列的镜头的各个图像的第一深度相关信息(110)映射在对应的第二深度相关信息(150)上，所述系统 包括-第一装置(805 )，包括-获得部件(710)，被布置为获得镜头信息(125),该镜头 信息将来自图像序列(105)的多个连续图像划分为镜头；-获得部件(720 )，被布置为获得与来自镜头的至少一个图像 关联的第一深度相关信息的分布特性的第一估计(135);-发送机部件(815)，被布置为在网络(850 )上发送镜头信 息(125)和第一估计(135);以及 -第二装置(810)，包括-接收机部件(820 )，被布置为从网络(850 )接收镜头信息 (125)和第一估计(135);以及-处理部件(730 ),被布置为使用所述第一估计(135)将所 述镜头的各个图像的所述第一深度相关信息(110)映射在对应的第二 深度相关信息(150)上，所述映射(140)通过增强由所述第一估计 至少部分地限定的第一深度相关信息的关注范围的动态范围来适配所 述第一深度相关信息，并且其中，对于镜头中在时间上接近的各个图 像的所述映射(140)的变化量是受限的。
15. 信号(825 )，包括与图像序列(105)关联的第一深度相关信 息(110),所述信号还包括-镜头信息(125)，其将来自所述图像序列的多个图像划分为镜头；-与来自镜头的至少一个图像关联的笫一深度相关信息值的分布 特性的第一估计(135)。
16. 由计算机装置所加载的计算机程序产品，包括用于处理与图 像序列(105)关联的第一深度相关信息(110)的指令，包括当在 计算机布置方式上运行时，如权利要求1至l2中的中的任意一项所述的将图像序列的镜头的各个图像的第一深度相关信息(no)映射在对应的深度相关信息(150)上。
全文摘要
本发明涉及一种用于处理与图像序列关联的第一深度相关信息的方法、装置和系统。所述处理的方法包括使用与来自镜头的至少一个图像关联的第一深度相关信息的分布的特性的第一估计将图像序列的镜头的各个图像的第一深度相关信息映射在对应的第二深度相关信息上；所述映射通过增强由所述第一估计至少部分地限定的第一深度相关信息的关注范围的动态范围来适配所述第一深度相关信息；并且对于镜头中在时间上接近的各个图像的映射中的变化量是受限的。
文档编号H04N13/00GK101682794SQ200880015625
公开日2010年3月24日 申请日期2008年5月5日 优先权日2007年5月11日
发明者B·G·B·巴伦布鲁格 申请人:皇家飞利浦电子股份有限公司