用于创建和重建视频流的装置和方法
【技术领域】
[0001] 本发明涉及用于产生视频流的装置、方法和软件产品。
[0002] 本发明还涉及用于重建视频流的装置、方法和软件产品。
[0003] 本发明还涉及加入通过所述用于产生视频流的装置、方法或软件产品产生的视频 流的电磁信号。
【背景技术】
[0004] 在成为电影院中的独家主角之后，基于示出在双眼视觉中由右眼和左眼分别感觉 的右视图和左视图的耦合的使用，3D技术的扩散在电视领域中作为立体HD电视也获得越 来越多的基础。用于分布立体信号的最简单的技术包括右视图和左视图的同时传输（所谓 的同时广播），但这样使使用的频带加倍。这种使用频带的增加至少是不希望的，原因是当 前电视传送的频率资源非常有限。为了弥补这种缺点，可以求助替代性方法，其中，2D加立 体元数据（2D加立体元数据）允许立体视频的全HD显示，其中，"2D"要成为两个视图中的 一个，并且，"立体元数据"意指附加的信息，从而允许示出利用两个视图之间的相关性的另 一视图。
[0005] 定义2D加立体元数据包括不同的方法，它们中的每一个使用不同的元数据以获 得不一体化传送的视图：
[0006] a) 2D加差异：计算和传送两个视图之间的差异；
[0007] b) 2D加深度/差异：计算和传送从两个视图开始获得的深度或视差地图；
[0008] c) 2D加深度、闭塞和透明度（DOT):除了深度地图以外，通过最后的一个计算和传 送不可重建部分。
[0009] 存在用于TV 3D传输的许多方法，这些方法在视图编码所需要的位率上是不同 的；其中的最好的已知的方法基于两个立体视图的空间配置（并排、上下格式等）、使用两 个视图之间的相关性（Multiview Video Coding or MVC-Stereo High Profile)、使用深度 地图和闭塞地图。
[0010] 并排和上下格式允许重新使用现有的基础构架HDTV，但不允许两个眼睛的全HD 显示，原因是两个视图在空间被配置成帧HDTV，结果是水平或垂直的分辨率为自然分辨率 的一半。
[0011] 多视图视频编码（MVC)允许对两个眼睛使用全HD内容，原因是通过使用视图之间 的相关性传送立体对，但不允许关于同时广播的明显的压缩效率。
[0012] 所述的方法2D加深度提供视图（2D信号，例如，左视图）和从两个视图计算的深 度地图的传送。深度地图以灰度级示出提供两个视图之间的差异的信息，即，关于参照视图 定位关注的视图（在再现侧重建）的像素的距离。根据视频照相机的固有参数、两个视频 照相机之间的距离、最远场景计划和最近场景计划到视频照相机的距离通过适当的变换出 现差异与深度之间的转换。可通过使用许多技术，出现两个视图中的一个的重建：
[0013] 1)从取为基准的视图开始，通过将偶数值的像素移动到从深度地图获得的偶数 值；
[0014] 2)通过使用用于在通过适当的度量合成的视图上投影像素的真实空间坐标的所 谓的算法3D warping and reverse 3D warping。所述度量是从限定照相机关于真实系统 的位置和取向的参数得到的。重建视图的质量与深度地图的质量非常有关。
[0015] 但是，由于所谓的闭塞，即，仅存在于两个视图中的一个中的背景和/或对象的部 分，这样重建的视图是不完整的。为了克服该问题，为了覆盖未重建像素，变得必须还传送 闭塞的地图。但是，通过使用该方法，关于具有相同的分辨率和帧频率的2D全HD流，存在 得到的180%~220%的总体频带占据，从而使得以这种方式实现的3D信号的传送和/或 存储非常沉重。
【发明内容】
[0016] 本发明的目的是，示出解决现有技术的一些问题的方法、装置和软件产品。
[0017] 具体而言，本发明的目的是，提供允许产生立体视频流的方法、装置和软件产品以 及允许重建立体视频流、能够以明显的方式限制传送/接收步骤中的频带占据和存储步骤 中的存储器空间的占据而不同时降低同一视频流的质量的方法、装置和软件产品。
[0018] 本发明的另一目的是，指示特别是在重建侧关于需要的复杂性高度可缩放由此很 容易地能够以重建装置的操作模式的简单变化在2D模式中重建相同的立体3D视频流的三 维视频流的方法、装置和处理软件。
[0019] 本发明的另一目的是，指示可很容易地从包含两个视图的立体视频流的情况扩展 到使用多于两个的视图数量的所谓的"多视图"系统的三维视频流的方法、装置和产生和重 建软件。
[0020] 根据在公开的权利要求中公开的内容，通过方法、装置和产生软件产品以及通过 方法、装置和重建软件产品，也基本上满足这些和其它的目的。
【附图说明】
[0021] 从本发明的优选且不独占的实施例的详细描述，本发明的其它目的和优点将变得 根据清楚。
[0022] 在后面参照包括的附图提供这种描述，这些附图仅是出于示例性的目的，不是限 制性的，其中，
[0023] 图Ia表示根据本发明的产生装置的框图；
[0024] 图Ib表示根据本发明的重建装置的框图；
[0025] 图2示意性地表示在本发明的范围中使用的视频流；
[0026] 图3表示根据本发明的产生器的可能的实施例的框图；
[0027] 图4a表示根据本发明的重建装置的可能的实施例的框图；
[0028] 图4b~4c示意性地表示图4a的装置的两个操作模式；
[0029] 图5a~5b表示代表根据本发明的重建方法的流程图；
[0030] 图6示意性地表示存在于根据本发明的重建方法中的使用图像与重建图像之间 的关系。
[0031] 图7表示本发明对具有2D向后兼容的多于两个的视图的情况的应用；
[0032] 图8表示本发明对没有2D向后兼容的多于两个的视图的情况的应用；
[0033] 图9表示根据本发明的产生装置的可能的实施例的框图；
[0034] 图IOa~IOd示意性地表示在根据本发明的装置和方法中使用的图像合成步骤；
[0035] 图Ila~Ild示意性地表示在根据本发明的装置和方法中使用的图像重建步骤。
【具体实施方式】
[0036] 总体参照附图1和2,分别表示用于产生视频流的产生装置和用于重建视频流的 重建装置。
[0037] 应当注意，在本文中，术语"图像"和"帧"被视为同义并且能够被交换使用，而术 语"地图"没有区别地表示差异地图或深度地图。
[0038] 以上的产生装置1 (图la)均包含用于接收指示为输入立体流VIN的立体视频流 作为输入的通信接口 10,该立体视频流包含两个不同的图像序列，指示这种立体流的第一 视图的图像的第一输入序列L和指示所述立体流的第二视图的图像的第二输入序列R。
[0039] 第一输入序列L和第二输入序列R当通过适当的播放装置（例如，作为具有3D预 配置的电视机）被再现时，允许显示内容，使得用户感觉各种示出要素停留的深度，由此给 出所述内容的3D示图的感觉。
[0040] 作为例子，第一输入序列L可与立体流的左视图有关，而第二输入序列R可与这种 流的右视图有关。但是，注意，也可在第一序列L示出右视图且第二序列R示出左视图的截 然相反的情况下实施本发明。
[0041] 特别地，通信接口 10接收第一输入序列L的一个或更多个图像和第二输入序列R 的一个或更多个图像作为输入。
[0042] 第一输入序列L的图像可例如存储于第一存储器区域Ml中；第二输入序列R的图 像可存储于例如第二存储器区域M2中。
[0043] 第一和/或第二存储器区域Ml、M2可属于非易失性存储器，其中，第一和/或第二 输入序列L、R可以稳定的方式被存储，直到随后的擦除命令，或者存储到易失性存储器，其 中，第一和/或第二输入序列L、R或它们的多个部分仅对其处理完全必需时被存储。
[0044] 通信接口 10接收从第一输入序列L的图像中的一个或更多个开始允许基本上重 建第二输入序列R的对应图像的一个或更多个地图作为输入。
[0045] 特别地，通过组合第一输入序列L的确定图像与所述地图的相应的一个，能够基 本上获得属于第二输入序列R的各图像，即，与第一输入序列L的图像的相同时间基准相关 的第二输入序列R的图像。
[0046] 在后面可更清楚地看出，由于所谓的"闭塞"，这种重建可能是不完整的。
[0047] 通信接口 10在输入中接收从第二输入序列R的图像中的一个或更多个以及分别 从第一输入序列L开始允许基本上分别重建第一输入序列L和第二输入序列R的相应图像 的一个或更多个D地图。由于以上解释的原因，这些重建也可能是不完整的。
[0048] 地图可以是深度地图或差异地图。可通过在这里不详细公开的已知的技术本身产 生这种地图。但是，应当注意，出于实现本发明的目的，可以同时使用深度地图和差异地图。 这种观察不仅指的是上述的地图，而且指的是在本说明书以及在以下的权利要求中提到的 其它"地图"。
[0049] 在实施例中，装置1可被配置为仅接收第一和第二输入序列L、R作为输入并且自 动计算必要的地图。本实施例中的产生地图的适当的处理模块供给产生的地图作为通信接 口 10的输入，使得可为了产生编码视频流CVS由处理单元11处理它们。有利地，地图可存 储于属于易失性存储器或非易失性存储器的适当的存储器寄存器中。
[0050] 产生装置1还包括与通信接口 10并优选与提到的第一和第二存储器区域Ml、M2 操作关联的处理单元11。
[0051] 处理单元11产生编码视频流CVS作为输出，该编码视频流CVS虽然关于输入立 体流VIN整体呈现明显更少的存储器占据并且因此可通过使用更少的频带资源被传送，但 是，为了可忠实地再现必需流的内容，包含所有必需的信息。
[0052] 更详细地说，处理单元11被配置为至少确定第一输入序列L的第一图像Ll。
[0053] 优选地，在属于第一输入序列L的图像中选择这种第一图像L1。
[0054] 应当注意，在本文中以及在以下的权利要求中，对"第一图像"，未必设计第一输入 序列L的初始图像，而只是通过通信接口 10由处理单元11接收的图像中的一个。对第二 输入序列R的"第一图像"以及后面描述的术语"第二图像"，相同的观察也成立。
[0055] 处理单元11进一步被配置为确定第一差动地图D1。
[0056] 可在通过引用的通信接口 10作为输入接收的地图中选择第一地图D1。
[0057] 第一地图Dl使得，通过与第一输入序列L的第一图像Ll组合，能够基本上重建第 二输入序列R的第一图像R1。如所述的那样，这种重