使用图块和图块组的感兴趣区域视频编码的制作方法_2

文档序号:8909506阅读:来源:国知局
解码。可在比特流中用信号发送该约束来通知解码器可执行缩减的解码(例如,解码图 块的子集)而非完全的解码(例如,解码所有图块)。
[0031] 可使用图块组。图块可以指那些坐标在图块的边界边界p边界;e、边界±、和边 界下内的像素pel的集合。例如,T = {pel |坐标x(pel) G [边界左,边界右;|}并且坐标 x (pel) e [边界上,边界下]。
[0032] 图块组(TG)可以指n个图块的组合,TG = ,…Tn_J,其中凡是图像中的图 块,i = 0…n-1。如果像素采样pel属于图块组TG中的图块,则它可以属于该图块组。图 块组可以满足运动补偿预测不超出它自己的边界的约束(本文所讨论的)。例如,如果对图 像中的图块组TG中的像素pel进行块间预测,则可根据在参考图像中的一者或多者中的相 同的图块组TG内的参考像素对其进行预测(例如,仅预测)。在图块组中的像素满足下列 约束:如果参考图像中的参考像素pel_ref不属于图块组TG,则其可以不用于对属于图块 组TG的(当前)图像中的像素采样pel_ CUr进行运动补偿预测。
[0033] 图3是示出在视频序列中被分割为(并且被编码为)图块302a、302b、302c、302d、 302e、302f、302g、302h和302i并把这些图块分组到图块组303和305中的图像300的示例 的图。第一图块组303可包括图块302a、302b、302d和302e。第二图块组305可包括剩余 的图块 302c、302f、302g、302h 和 302i。
[0034] 图4是示出在视频序列中被分割为(并且被编码为)图块402a、402b、402c、402d、 402 6、402€、4028、40211和4021其中仅一些图块属于图块组403的图像400的示例的图。例 如,图块402a、402b、402d和402e可属于图块组403而剩余的图块402c、402f、402g、402h 和402i可能不属于任何图块组。对于如何对被剩余的图块402c、402f、402g、402h和402i 覆盖的区域中的像素进行预测可能没有约束。
[0035] 虽然在图3和图4中未示出,图块可属于多于一个图块组。例如,如果图3 中的 302a 属于 303 和 305 两者,换言之,303 = {302a, 302b, 302d,302e}和 305 = {302a, 302c, 302f, 302g, 302h, 302i},则可以根据 303 和 305 所覆盖的公共区域 303 n 305, 即302a自身,对302a中的像素进行运动补偿预测。
[0036] 图5是示出在视频序列中在时间实例⑴被分割为(并被编码为)图块(为简 单起见未描绘出)并且该图块被分组到图块组503和505的图像500的示例的图。为简单 起见,未描绘出R0I。可用图块组503或图块组505来表示R0I,虽然在实际中,使R0I稍小 于与其重叠的图块组更有益。例如,图块组503可能额外地包含R0I以外的很小的边缘,使 得如果表格1中的l〇〇p_filter_across_tiles_enabled_flag设置为1,则可以沿着图块的 边界执行环路滤波(例如,去块滤波,采样自适应偏移等)而不影响在R0I内的像素值。在 时间实例(T)视频块506在图块组503内。在时间实例(T)视频块508在图块组505内。
[0037] 在时间实例(T+1),将在时间实例(T)的图像500用作参考图像来预测在时间示例 (T+1)的图像500中的块506和508是期望的。约束被强加于图块组503和505。可根据 全部位于图块组503的边界内的参考块对在时间实例(T+1)在图块组503中的视频块506 进行预测(例如,仅预测)。可根据全部位于图块组505的边界内的参考块对在时间实例 (T+1)在图块组505中的视频块508进行预测(例如,仅预测)。"全部位于……内"指的是 其中包括归因于分数像素运动矢量的运动插值的参与运动补偿预测的像素不位于任何其 他图块组的边界内的状况。该约束可允许不同的图块组在时间域是独立可解的。如果想得 到缩减的R0I解码,可以定义第一图块组以覆盖R0I,并且可以定义第二图块组或不定义图 块组用来覆盖图像的剩余部分。该配置可允许解码器对时间系列图像中的第一图块组进行 解码并能显示R0I。定义使R0I全部位于该图块组内的图块组可允许解码器解码(例如, 仅解码)该图块组中的一系列时间图像以显示R0I。可以根据应用的需要将图像中的图块 分割为多于两个图块组,例如,如果有多于一个R0I。具有更多的图块组提供了支持不同的 R0I的更大可能性。可以修改约束以允许根据作为两个图块组的成员的图块对来自该图块 的像素进行预测(如上所示)。
[0038] 如表格1所示,可以在HEVC中在PPS中用信号发送与图块有关的参数。在视频序 列中,可允许不同的图像使用不同PPS。在同一视频序列中,从一个图像到另一个图像参数可 以改变。虽然在大多数视频应用中,在视频序列(例如,一系列图像)中图块的数量和图块的 位置很可能保持相同,但可能出现如下状况:在同一视频序列中不仅允许从一个图像到另一 个图像对图块的配置做改变,还允许从一个图像到另一个图像对图块的分组做改变。
[0039] 图6是示出在视频序列中在时间实例(T)被分割为图块(为了简单起见未描绘 出)并且该图块被分组到图块组603和605中的图像600的示例的图。为了简单起见未描 绘出R0I。在时间实例⑴视频块606在图块组603内。在时间实例⑴视频块608在图 块组605内。
[0040] 在时间实例(T+1),通过将时间实例(T)的图像600用作参考图像来对图像600中 的块606和608进行预测是期望的。
[0041] 在时间实例(T+2),图块组603和605以与在时间实例(T)和时间实例(T+1)不同 的方式被从图像600中分割,例如,从上下改为左右,然而,视频块606继续全部位于图块组 603中,并且视频块608继续全部位于图块组605中。但是这一同一序列中含不同形状的图 块和图块组的图像的示例仍满足以上讨论的运动预测约束,也就是,可以将时间实例(T+l) 的图像600用作参考图像对在时间实例(T+2)的图像600中的块606和608进行预测。可 在定义图块和图块组的时间实例(T)前发送PPS信号。可在定义图块和图块组的时间实例 (T+1)和时间实例(T+2)之间发送另一 PPS信号。
[0042] 图7是示出在视频序列中被分割为(并被编码为)图块(为了简单的目的未描绘 出)并且这些图块在时间实例(T)被分组到图块组703中的图像700的示例的图。为了简 单的目的未描绘出R0I。在时间实例(T)视频块706在图块组703内。在时间实例(T)视 频块708也在图块组703内。
[0043] 在时间实例(T+1),将在时间实例(T)的图像700用作参考图像对图像700中的块 706和708进行预测是期望的。
[0044] 在时间实例(T+2),图块组703以与在时间实例(T)和时间实例(T+1)不同的方 式被从图像700中分割,并且产生了新的图块组705。视频块706继续全部位于图块组703 内。视频块708现在则位于新的图块组705中。这是一个示出图块和图块组的不同形状并 且在不同的时间实例图块组的数量不同的示例。此处所描述的图块组约束可以表述为:可 以根据在时间实例(T)和(T+1)的图块组703对时间实例(T+2)和(T+3)的视频块706进 行预测。因为在时间实例(T)和(T+1)图块组703可以覆盖整个图像,则对运动补偿预测 的限制更少(例如,除了一些边界条件以外)。因为在时间实例(T)和(T+1)图块组705不 存在,对于时间实例(T+2),视频块708可以不受约束并且可以根据图像中的任意部位对其 进行预测。对于时间实例(T+3),可以根据在时间实例(T)和(T+1)的图像中的任意部位 (例如,没有任何约束)对视频块708进行预测,或者根据时间实例(T+2)的图块组705内 部对其进行预测。
[0045] 虽然在图4至图7中没有示出,但图块组可以包括空间连续或空间不连续的图块。
[0046] 可以使用表格2中的语法用信号发送图块组。可以先用信号发送图像中的图块组 的数量。对于每一个图块组,可以用信号发送被包含在图像内的图块的数量。可以用信号 发送组中的图块的每一个索引。可用光栅(raster)扫描顺序来将图像中的图块编入索引。 图块组中的图块可具有互斥的索引和/或可以空间互斥。可应用各种各样的编码实施以对 语法元素的值进行编码(例如,如在表格2中所示)。例如,可以使用ue (v)(指数哥伦布 码)和/或u (v)(定长编码)。语法元素的值(例如,如在表格2中所示)可能受到图像中 的图块数量的限制。如果使用u(v),则可相应地确定比特数。
[0047] 表格2-图块组的示例
[0050] 可利用不同的实施将图块组语法元素结合到视频流中。可以在PPS中用信号发送 与图块有关的参数(例如,如表格1所示)。可以在PPS中用信号发送图块组参数(例如, 如表格2所示)(例如,在发送图块参数后)。
[0051] 可以在视频可用性信息(VUI)中用信号发送图块组。WI可以作为序列参数组 (SPS)的一部分出现。VUI可用于向接收机传达信息的范围,例如但不限于比特流的一致 性、色彩空间信息和比特流约束。VUI可包括用于对比特流中的图块的使用施加限制的语法 元素。例如,在VUI中可以使用图块_固定_结构_标志(tiles_fixed_structure_flag)。 tiles_fixed_structure_flag可指示在同一视频序列中从一个图像到另一个图像图块的 构成是否可改变。tiles_fixed_structure_flag可指示在同一序列中的一个或多个活动 PPS是否可以具有不同的图块参数。如果tiles_fixed_structure_flag设置为0,则图6 和图7中所提供的示例可以存在。图块组参数可作为WI的一部分被用信号发送,例如,如 表格3中所示。
[0052] 表格3-在VUI中用信号发送图块组的示例
[0053]
[0054]
[0055] 可经由SEI消息提供图块组信令。HEVC可以定义一组补充增强信息(SEI)消息 以传达用
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1