使用图块和图块组的感兴趣区域视频编码的制作方法
【专利说明】使用图块和图块组的感兴趣区域视频编码
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年09月18日提交的美国临时专利申请No. 61/702,676的权益， 所述申请的内容以引用的方式结合于此。
【背景技术】
[0003] 在主观质量与H. 264/AVC相同的情况下，高效视频编码（HEVC)可以达到两倍的压 缩率。随着智能手机和平板电脑的迅速增长，例如但不限于视频流、视频聊天、视频分享和 游戏的移动视频应用已经变成人们日常生活的一部分。即使有了 4G移动网络的实施，移动 设备上迅速增长的视频流量仍对无线网络基础设施提出了巨大的需求。可在移动空间中使 用HEVC以减缓部分带宽问题。超级HDTV(U-HDVC)的使用可能是使市场接受HEVC的驱动 力。
[0004] HEVC可以包括若干编码工具以改善编码效率，例如但不限于扩展的视频块大小 (例如，高达64x64)、大转换尺寸（例如，高达32x32)、先进的运动矢量预测（AMVP)和采样 自适应偏移（SA?。HEVC可提供对并行化的支持，包括但不限于如下工具：除切片结构外， 还有波前（Wavefront)并行处理（WPP)和图块（tile)。当使用WPP和/或图块时，对应于 图像的视频流可以被分组成独立可解码的比特流子集，而不会招致切片头部的额外开销。 WPP和图块可以把一个图像分割成区域以使这些区域能够同时并行解码。
【发明内容】
[0005] 公开了关于使用图块及图块组的感兴趣区域视频编码的系统、方法和手段。可以 包括时间系列图像的编码后的视频序列，图像被分割为多个图块。多个图块可被分成至少 一个或多个图块组，条件是表示该图像的所有图块不都是该图块组的成员。可以接收用于 指示该至少一个或多个图块组的参数的信令。可以对图块组进行解码并且可以显示与该解 码后的图块组相关联的图像的R0I。可以仅解码该R0I中的图块组。该至少一个图块组或 多个图块组的参数可包括图块组的数量、每一个图块组中的图块的数量和每一个图块的索 弓丨。可以在图像参数组（PPS)、视频可用性信息（VUI)或补充增强信息（SEI)消息中用信号 发送该至少一个或多个图块组的参数。可以约束图块组以使根据其参考图像中的同一图块 组的像素对该图块组中的所有像素进行时间预测。
[0006] 视频解码器可以接收用于指示感兴趣区域（R0I)的信令，或所确定的感兴趣区域 (R0I)。由发送者或接收者或者二者协商来确定R0I。如果发送者确定或协商确定R0I，比 特流中的信令是有必要的。例如，内容提供者可识别一个或多个感兴趣区域并且可将这些 R0I的表示（跨时间的空间定义）编码为比特流（例如，可通过相对于该图像左上角的顶点 的像素坐标来指示R0I)。在解码器一侧，可以在用户接口中将可用的R0I呈现给终端用户， 并且该终端用户可以选择R0I以仅观察那一区域。也可以在比特流之外传输R0I信息。在 另一个示例中，可提供允许终端用户在被显示的视频内容中识别感兴趣区域的用户接口， 设备可缩放以显示R0I，并且所述缩放可导致从该显示中排除该视频内容的其他区域。R0I 可以对应于被显示的图像并且被显示的图像可以是编码后的视频序列中的一部分。可能不 对全部的编码后的视频序列进行解码，而仅解码被显示的图像，或者与被显示的图像重叠 的图块或图块组。
【附图说明】
[0007] 图1是示出在水平维度和垂直维度将图像均匀分割成图块的示例的图。
[0008] 图2a是示出被包含在4个图块中的2个图块内的R0I的示例的图。
[0009] 图2b是示出在时间实例（T+1)在R0I中而在时间实例⑴在R0I外的块的示例 的图。
[0010] 图3是示出将图像中的图块分组为多于一个图块组的示例的图。
[0011] 图4是示出将图像中的多个图块的一部分分组到一个图块组的示例的图，其中该 多个图块中的另一部分不属于该图块组。
[0012] 图5是示出图块组中的块的运动预测的约束的示例的图。
[0013] 图6是示出即使正当图块组（和图块）剧烈变化时图块组中的块的运动预测的约 束的示例的图。
[0014] 图7是示出即使正当图块组剧烈变化并且新增了图块组时图块组中的块的运动 预测的约束的示例的图。
[0015] 图8A是可以实施一个或多个公开的实施方式的示例通信系统的系统图。
[0016] 图8B是可以在图8A所示的通信系统中使用的示例无线发射/接收单元（WTRU) 的系统图。
[0017] 图8C是可以在图8A所示的通信系统中使用的示例无线电接入网和示例核心网的 系统图。
[0018] 图8D是可以在图8A所不的通彳目系统中使用的另一不例无线电接入网和另一不例 核心网的系统图。
[0019] 图8E是可以在图8A所不的通彳目系统中使用的另一不例无线电接入网和另一不例 核心网的系统图。
【具体实施方式】
[0020] 如上所述，感兴趣区域（R0I)指的是视频序列中的图像的一部分而非全部的图 像。移动视频应用可使用R0I编码。例如，因为移动设备具有有限的屏幕尺寸，人们在观看 时可以缩放特定的区域，例如，通过使用触摸屏触摸感兴趣区域，使用指示器设备在感兴趣 区域周围画一条线或一个方框，或者通过其他手段。可以为不同于移动使用的目的（例如， TV广播）产生视频内容。该内容可被重新定位用于手机应用，例如但不限于视频流（例如， YouTube' Hulu' Amazon% Netfiix1'、等）。可使用自动的视频调整和重定向。这 里所描述的实施可使用图块以提供能提供缩减的解码复杂度的R0I视频编码。
[0021] HEVC可支持图块。图块可以将图像分割为一定大小的矩形区域。图1是示出在 水平维度和垂直维度将图像100均匀分割为图块102a、102b、102c、102d、102e、102f、102g、 102h和102i的示例的图。表格1示出了在图像参数组（PPS)中用于图块的语法结构的示 例（例如，在HEVC中）。如果图块_使能_标志（tiles_enabled_flag)被打开，则可以用 信号发送每个维度中的图块的数目。如果图块的大小一致（例如，如果一致_间隔_标志 (uniform_spacing_flag)是1)，贝U可以不用信号发送额外的信息。可以用信号发送图块的 宽度和高度。例如，如图1中所示，数量_图块_行_减1 (num_tile_columns_minusl)和数 量_ 图块_行_减 1 (num_tile_rows_minusl)可设为 2 而 uniform_spacing_flag 可设为 1。附加标志环路_滤波器_跨_块_使能_标志（l〇〇P_filter_across_tiles_enabled_ flag)可用于指示是否横跨图块边界应用去块滤波器（例如，可使用去块滤波器以减轻沿 着边界的可见的不连续性）。
[0022] 表格1一PPS中图块的信令的示例
[0023]
[0025] 编码器可以通过由编码器用信令发送含新的图块分割参数的新PPS(表1)来从一 个图像到另一个图像如何改变分割图块。在一个示例中，图块互相之间不需要保持相等的 尺寸或与更早的实例中同一图块相同的尺寸；使得如果R0I在两个时间实例间在图像内移 动，编码器可以在第二个时间实例用信号发送含新的分割参数的新PPS，新的分割参数将允 许R0I留在其当前的一个图块或多个图块内。如果该图块组的成员关系保持静态，编码器 可以不用信号发送任何新的图块组参数。
[0026] 图2a是示出视频序列中的被分割成（并被编码为）图块202a、202b、202c和202d 的图像200的示例的图。R0I 204被包含在两个图块202a和202c内。与R0I 204重叠的 图块202a和202c被称为覆盖R0I。图块202a、202b、202c和202d可被独立解码。当对图 像200解码时，为了将图像的R0I显示在屏幕上，解码与R0I 204重叠的图块（例如，202a 和202c这两个图块）就足够了。
[0027]尽管可能需要解码图块中的部分（例如，仅部分）（例如，图块202a和202c)以显 示R0I，但也可解码图像200中的所有图块202a、202b、202c和202d (例如，如果图像200是 参考图像）。ffiVC可使用时间预测来减小视频信号中固有的时间冗余。可解码图像中的所 有图块（图块202a、202b、202c和202d)使得图像200可以用作参考图像来以解码顺序解 码后来的图像。
[0028] 图2b是示出视频序列中在时间实例⑴被分割为（并被编码为）图块202a、202b、 202c和202d的图像200的示例的图。R0I 204被包含在两个图块202a和202c内。在时 间实例⑴视频块206 (例如，一组像素）的部分在R0I 204以外。在时间实例⑴块206 跨接图块202a和202b。
[0029] 对时间实例（T+1)的块206进行预测是期望的，并且这样做，可将在时间实例（T) 的图像200用作参考图像以预测在时间实例（T+1)的图像200。R0I可保持静态。因为在 HEVC中可能没有约束，该约束将运动估计限制在将被解码图像（例如，在时间实例（T+1)的 图像200)和其一个或多个参考图像（例如，在时间实例（T)的图像200)之间的图块中的 每一个图块内，所以如果在时间实例（T)的参考图像中的全部图块202a、202b、202c和202d 都被解码，则可根据在时间实例（T)的视频块206对在时间实例（T+1)的视频块206进行 预测。编码顺序可以和显示顺序相同，或者视频序列中的图像的编码顺序不同于视频序列 中的图像的显示顺序（例如，B级预测结构）。
[0030] 这里描述的实施用于编码器在运动估计期间施加约束以保证可以在覆盖R0I的 图块（例如，在图2b的示例中的图块202a和202c)的子集中执行运行补偿预测。这里描 述的实施可以便于复杂度缩减的R0I的解码。这里描述的实施可缩减解码复杂度和功率消 耗，例如，通过允许解码器对以时间方向排列的系列图像中的覆盖R0I的图块的子集进行 解码（例如，仅解码）。如将要阐明的，只要覆盖R0I的图块的子集保持不变，则可执形缩减 的