用于将数字视频编码和解码的方法以及相关编码和解码设备的制造方法
【专利说明】用于将数字视频编码和解码的方法w及相关编码和解码设 备
[0001] 本发明设及一种用于将数字视频编码和解码的方法，特别是用于将视频流编码成 独立分区的方法W及设及用于将构成视频流的一个或多个分区独立地解码的相应方法。
[0002] 本发明还设及一种用于将视频流编码成独立分区的设备W及设及用于将所述分 区中的一个或多个独立地解码的设备。很长时间W来已知表示相同事件或多媒体服务(多 视图视频-免费观看视频）的镶嵌（mosaic)的不同视图的独立视频流的编码和分发。将此 类多视图视频分发给用户通常要求对与生成的视图的数量匹配的多个独立视频流进行编 码。
[0003] 例如在文献"IS0/1EC13818-1 : 2000 似-Informationtechnology- Genericcodingofmovingpicturesandassociatedaudioinformation:Systems" 中或在文献"ISO/lEC14496-10Informationtechnology-Codingofaudio-visual objectsPart10:AdvancedVideoCoding"且在此后称为H.264/AVC规范的相应文献 "ITU-T比 264 -Advancedvideocodingforgenericaudiovisualservices"中描述了 该种编码和解码方法。当前在使用中的编码方法具有若干缺点，诸如；使用等于要分发的视 频分量的数量的多个视频编码器的必要性；正在分发的视频流之中和视频流与相应音频流 之间的相互困难的同步；由于复制将每个独立流解码所需的类似信令元素的需要而增加的 传输视频流所需频带。另一方面，相应的解码方法要求将多个解码器用于解码并显示正在 传输的两个或更多视图，该导致用户终端架构的较高复杂性和成本。
[0004] 还已知的是可W将单个视频流用于分发多个独立视图，例如所谓的"镶嵌"服务 的情况就是该样，其中，单个帖由从独立视频提取的并组成为一个图像的n个帖组成，或者 由被组成为单个帖的3D立体像对的两个分量视频(所谓的"帖封装排列（化amePacking Arrangements)"或"帖兼容格式")组成。通常通过使用可用压缩技术中的任何一个来压缩 此类复合视频，可用压缩技术诸如例如MPEG-2、H. 264/AVC、肥VC。此类压缩技术未提供允 许规范依从解码器独立地将分量视频流中的一个或多个解码的工具。已经开发了允许2D 解码器从已解码视频中提取立体像对的两个分量视图中的仅一个的方法，但是该些方法依 赖于一旦整个容器帖已被解码就允许解码器切割并显示包含两个视图中的仅一个的帖区 域的适当信令的使用。
[0005] 当前不可能W使得解码器(在用户选择时或者由于有限的计算或存储资源）能够 将整个帖的仅所选子集解码该样的方式对视频进行编码。例如，不可能W使得对构成立体 像对的两个图像不感兴趣的2D解码器可W仅将与两个视图中的一个(例如左边的一个）相 对应的区域解码并显示的方式对包含上述帖封装排列中的一个的视频进行编码。
[0006] 该意味着浪费计算和能量资源。应注意的是在移动终端领域中尤其感觉到此问 题，其中计算资源的任何过度利用可W急剧地缩短电池寿命。
[0007] 此外，可W在诸如机顶盒或智能网关之类的可W向其连接一个或多个显示器的、 不一定具有均匀的特性的设备中使用解码器。让我们考虑例如智能网关从分发网络(例如 IP网络或广播网络）接收已编码视频流或从存储设备读取该流的情况。可W通过电缆和/ 或无线连接向所述智能网关连接多个显示器，其可具有不同的特性(例如皿显示器或平板 电脑)。在该种情况下，解码器应能够使已解码视频适应于要服务的一个或多个显示器的特 性；如果只有具有比已解码视频低的分辨率的一个显示器被连接到解码器，则后者应能够 仅将对于设及到的终端而言最相关的视频的部分解码。
[0008] 此外，当前技术仅允许自动地识别分量视频流中的一个巧日在W上立体像对示例 中)，使得不可能明确地向解码器指示附加的一个或多个分量视频流的存在。因此W较少的 资源在解码器上施加"默认"选择，并且不能指示替代内容的存在。
[0009] 此外，除允许在解码过程期间缩放计算资源的利用之外，对单个视频流编码的可 能性还允许对单个视频流进行编码W便根据不同的服务模型而服务于W在存储和计算资 源方面不同的可用性为特征的终端。例如，可设想将4皿视频（1920X1080像素）的组成 编码为单个4k(3840X2160像素）视频流；在此类视频中，具有有限计算资源的解码器可 能将包含皿分量中的仅一个的子集解码；替代地，更强大的解码器可能将整个的4K视频解 码，并且例如显示内容的整个镶嵌。
[0010] 本发明的一个目的是定义一种编码方法，其允许将一个或多个不同的分量视频流 编码成单个容器视频流，使得可W独立于其他的而将分量视频流中的至少一个解码。
[0011] 本发明的另一目的是指定一种解码方法，其允许通过单个解码器的使用将一个或 多个分量视频流从单个容器视频流独立地解码。
[0012] 本发明的又一目的是提供一种编码器，其对由多个分量视频流构成的容器视频流 进行编码，从而允许将一个或多个分量视频流被独立地解码。
[0013] 本发明的另一目的是提供一种解码器，其将被编码为单个容器视频流的多个分量 视频流中的至少一个独立地解码。
[0014] 根据将参考附图来解释本发明的某些实施例的W下描述，本发明的该些及其他方 面将变得更加清楚，在所述附图中： -图1示出了根据H. 264/AVC规范将被编码划分成宏块组("切片"）的图像； -图2示出了根据肥VC规范将被编码划分成"瓦片"的图像； -图3示出了四个独立2D视频流到单个视频流的合成的示例； -图4示出了 2D视频对形式的两个独立立体视频流到单个视频流的合成； -图5示出了用于将组成被编码为单个视频流的立体像对的两个图像中的一个选择 性地解码的过程； -图6示出了立体视频流和关联深度图到单个容器视频流的合成； -图7示出了 2D视频流和立体视频流到单个容器视频流的合成； -图8是用于组成由n个单独视频流的合成生成的视频流并对其进行编码的过程的框 图； -图9示出了用于对由图8中所述的编码设备生成的视频流进行解码的方法的示例； -图10示出了用于对由根据图8的编码设备生成的视频流进行解码的进一步方法； -图11和11bis示出了立体视频流的两个视图到单个容器视频流的合成； -图12是描述将被输入到已编码视频流中的信令的结构的表； -图13是包含图12的结构的参数的可能值的表； -图14a-14d示出了具有对肥VC标准的PPS的语法的修改的表，其是输入图12的信 令所需要的； -图15a-15f示出了具有对肥VC标准的SPS的语法的修改的表，其是输入图12的信 令所需要的。
[0015] 现有视频编码标准W及当前在定义中的那些提供了出于优化编码和解码过程的 目的将组成数字视频流的图像分区的可能性。如图1中所示，H.264/AVC规范允许创建宏 块的组，其中，要编码的图像被细分成不同类型的组，称为切片，其然后被相互独立地编码。 例如，如关于称为"类型2"的细分在图1中所示，可W将宏块分组成具有任意形状的切片， 从而允许根据任何"感兴趣区"的位置而选择性地改变已编码视频的质量。
[001引替代地，图2示出了称为"瓦片"的新型的图像细分，其已被引入到新的ITU/IS0/IEC肥VC(高效率视频编码）标准的规范中。基于已经存在在H. 264/AVC规范中的切片结 构，已经引入此类型的细分W便允许视频流编码和解码过程的并行化；现在甚至在诸如电 话和PC平板电脑之类的移动终端上可用的并行图形处理器(所谓的GPU，图形处理单元)的 增加的传播和较低的成本已促进了并行化支持工具的引入，其允许甚至在通常具有有限的 计算资源的终端上将图像格式带到非常高的分辨率。
[0017] 肥VC规范已经W允许将组成视频流的图像分段成区域并使得其解码相互独立的 该样的方式定义瓦片。然而，即使当并行化时，仍将仅对整个图像执行解码过程，并且不能 相互独立地使用各段。
[001引如W上段落中前面所述的，能够W不同的终端可W自动地或在从用户接收到指令 时决定应将视频的哪些部分解码并发送到显示器W用于可视化的方式将视频流分区将是 有用的。
[0019] 图3、4、6和7图示出其中该种分区可能证明有用的不同利用情形。
[0020] 图3示出了容器视频流，其例如可采取4K(3840X2160像素)格式，并且可包含四 个独立皿（1920X1080像素)视频