支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码的制作方法

本申请涉及具有提高的编码效率的视频/图片编码，其中支持变化的分辨率和/或有效地处理区域级打包。

背景技术：

hevc的单层基本版本不允许图片分辨率在编码视频序列中改变。它仅在随机接入点rap处(例如在完全重置解码图片缓存器的idrrap处)改变图片分辨率，其中分辨率改变可以随着包括刷新解码图片缓存器(dpb)的新的编码视频序列的开始而发生。然而，由于破坏了对先前编码的参考的利用，刷新dpb显著降低了可实现的编码效率。

因此，需要一种改进的视频/图片编解码器，其能够更有效地利用分辨率变化以便提高编码效率。

还存在一些工具，使得能够通过经编码的图片或经编码的视频(被称为区域级打包)来承载诸如全景场景之类的场景，其中图片/视频编解码器忽略了该场景以区域级方式映射到一个/多个图片的方式。映射只是编码器侧的预处理，且在解码器侧为后处理，而编解码器对经打包的一个/多个图片进行操作，而没有意识到区域级打包。例如，mpegomaf提供了一种用于通过经打包的一个/多个图片来传送场景的框架。例如，通过sei消息将场景划分/映射作为辅助信息传信，来控制解码器侧的后处理以便将经编码的一个/多个图片重新映射到场景域上，其中场景划分/映射定义了将经编码的一个/多个图片划分为图片区域，每个图片区域映射到场景的相应场景区域上。尽管就重新使用现有的编码工具(即现有的图片/视频编解码器)而言，这种解决方案是有效的，但是手边有一个允许更有效地处理区域级打包的概念将是有利的。

因此，本申请的目的是提供编码/解码工具，其在使用变化的场景分辨率和/或允许更有效地处理经编码的一个/多个图片的区域级打包时，提供提高的编码效率。

技术实现要素：

该目的是通过所附的独立权利要求的主题来实现的。

根据本申请的第一方面，通过支持目标空间分辨率在比执行视频编码所依据的随机访问距离更精细的时间尺度上发生变化来实现更高效的视频编解码器，其中所述视频以所述目标空间分辨率被编码到数据流中。目标空间分辨率的时间变化可以作为视频编码器的码率控制的一部分进行控制。由于目标空间分辨率的变化是在比随机访问距离更精细的时间尺度上进行的，因此可以通过允许编码器使目标空间分辨率适应当前的视频编码复杂度来提高编码效率。关于变化的目标空间分辨率，即视频的图片中每个相互对应的图片内容的样本数量，存在不同的可能性。例如，视频编码器和视频解码器可以使用dpb串联到其中的预测环路，其中已经处理的图片以变化的目标空间分辨率缓存在dpb中。在那种情况下，在所参考的图片和参考所参考的图片的参考图片之间的目标空间分辨率不同的情况下，可以即时对dpb中的图片进行重采样，重采样产生运动补偿预测子。备选地，可以以参考空间分辨率向预测环路馈送图片，参考空间分辨率即可以比目标空间分辨率可以取的任何其他可能值大的某个固定的空间分辨率。在这种情况下，可以进行重采样，以便缩小目标空间分辨率和参考空间分辨率之间的差距。例如，以目标空间分辨率对预测残差进行编码，同时朝参考空间分辨率执行预测残差的重新采样，以便以不同于目标空间分辨率的参考空间分辨率对从dpb中的图片获得的预测子执行预测校正。备选地，可以朝目标空间分辨率对从dpb中的图片获得的预测子执行重采样，以便以目标空间分辨率执行预测校正。可以分别由编码器和解码器支持这些选项之间的切换。目标空间分辨率的变化可以在图片级别进行，即对于每个图片，可以由编码器设置目标空间分辨率，并且在数据流中向解码器传信目标空间分辨率。根据一个实施例，与目标空间分辨率中的连续改变以及与之相关联的图片大小相关联的信令开销通过以默认方式根据目标空间分辨率中的改变划分视频的图片而减少，例如以划分成比例地恒定的方式，即图片(尽管它们的大小不同)彼此成比例，即当图片缩放到相等的空间分辨率时，划分是一致的。根据另外的实施例，划分的后一相对缩放可以作为一个选项在数据流中提供，而其他选项涉及在比目标空间分辨率发生变化的时间尺度更精细或等于目标空间分辨率发生变化的时间尺度的预定时间尺度上传信该划分。刚刚提到的划分可以用于对视频进行编码，划分例如产生具有执行帧间和帧内预测模式之间的选择所取的单位的块，如产生对帧间预测的块和帧内预测的块执行0个预测参数的单元，或者产生在编码器和解码器分别对其预测残差进行变换或逆变换的单元，或者产生图片被细分为彼此单独编码/解码的图块的单元，即没有帧内图片编码相互依赖性。

根据本申请的另一方面，一种视频编解码器涉及以取决于场景划分的方式对视频的图片进行编码/解码，图片根据场景划分被划分为图片区域，每个图片区域已经映射到场景的相应场景区域。视频编码器以诸如某种用户设置等支持场景划分的调整，并且在数据流中传信该场景划分，视频解码器从数据流中导出该场景划分。通过根据场景划分在数据流中呈现视频的编码/解码，场景划分不仅是相对于视频编解码器的预/后处理，而且能够通过考虑场景划分来实现编码效率的提高，场景划分定义了到图片区域的划分以及图片区域到场景区域的映射。例如，除了将场景划分作为对打包图片进行编码之外的辅助信息进行传信，即图片被划分为图片区域，场景划分信令还可用于至少部分地节省对于场景划分将是冗余的信令开销。例如，对打包图片进行编码可以包括编码划分为打包图片被编码的单位的块，例如进行帧间和帧内预测决定的单位的编码单元、对前述块决定相应预测参数的单位的预测单元和/或对预测残差进行变换编码的单位的变换单元和/或以彼此独立的方式对打包图片进行编码的单位的图块。例如，可以基于场景划分来推断编码划分中所涉及的与多树细分相关联的分割决定，由此节省信令开销。备选地，视频编码器可以简单地遵循编码划分中关于场景划分的限制。甚至进一步，视频编码器和视频解码器的一些编码/解码工具可以取决于该场景划分来操作。例如，可以根据场景划分来执行预测子的导出。场景划分可以导致一个图片内的图片区域的场景采样分辨率不同，即场景的每单位面积或单位视角的样本数不同，或者换句话说，所测量的图片区域大小之间的比率(例如相对于作为整个场景的一部分的所测量的相应场景区域大小的样本数)不同。视频编码器和视频解码器在执行运动补偿预测时可以考虑这种场景采样分辨率的变化。例如，可以以取决于以下二个图片区域间的场景采样分辨率差异的方式确定预测子：帧间预测的块所位于的图片区域，和参考图片中由相应帧间预测的块的运动矢量指向的图片区域。更进一步，可以以考虑场景采样分辨率差异的方式来执行运动矢量预测。例如，可以经由以下修改，基于相邻块的运动矢量来导出运动矢量候选：代替直接采用相邻块的这种运动矢量，可以以这样的方式复制该运动矢量，使得该运动矢量的一个版本的初始点被设置为相邻块的参考点，而该运动矢量的另一版本的初始点被设置为帧间预测的块的参考点，经由场景划分，与场景中的相邻块和帧间预测的块的参考点的图像相比，场景中由帧间预测的块的参考点的端点指向的图像具有相同的距离。因此，运动矢量预测是经由场景域上的迂回(detour)而完成的，由此对场景划分很敏感。

此外，就设置与编码划分有关的一个或多个参数而言，视频的编码/解码对于场景划分可能是敏感的。例如，可以为图片区域单独设置这样的参数并在数据流中传信该参数。备选地或附加地，可以使用滤波器对视频的预定图片进行滤波，该滤波器的至少一个参数根据场景划分在预定图片上变化。例如，可以根据相邻/邻近图片区域之间的场景采样分辨率的差异，在相邻图片区域之间的分界面处设置至少一个参数。通过这种方式，可以通过考虑场景采样分辨率来更精确地操作滤波器特性。更进一步，视频编码器和视频解码器可以基于场景划分，定位在场景中彼此不邻接的图片区域之间的分界面，即场景不连续分界面。编码和解码可能对这些场景不连续分界面敏感。也就是说，编码器可以例如将这些场景不连续分界面视为例如图片边界。与在场景中彼此邻接的图片区域之间的分界面相比，解码器和编码器可以在这种场景不连续分界面上执行不同的滤波。甚至备选地，可以支持至少一个参数的图片级信号化。备选地地或附加地，可以允许具体在图片区域级或以一个或多个图片区域组为单位设置控制量化噪声的空间频谱的频谱形状的量化参数。可以在数据流中传信该变化。

根据本申请的另一方面，可以与是否使用场景划分无关地使用后一方面，即控制量化的量化噪声的空间频谱的频谱形状的至少一个量化参数的变化。通过使量化参数适应图片的局部特性，可以提高编码效率，尤其是当图片具有局部或空间变化的分辨率时。

根据本申请的又一方面，通过使视频编解码器允许以视频被编码到数据流中的目标空间分辨率以图片中比图片小的图片区域为单位变化，并在数据流中传信该变化来实现编码效率的提高。该方面可以与上面讨论的第一方面和第三方面(即量化参数变化)组合。例如，可以以参考空间分辨率向预测环路馈送图片。同样，图片内的目标空间分辨率的变化可以是由编码器的码率控制执行的任务。

附图说明

本申请的有利方面是从属权利要求的主题，并且以下关于附图描述本申请的优选实施例，其中：

图1a示出了根据实施例的使用依赖于目标空间分辨率的时间变化的视频编码的视频编码器的示意性框图；

图1b示出了根据实施例的适合于根据图1a的视频编码器的解码器的框图；

图2a示出了说明根据图1a和图1b的实施例的目标空间分辨率变化的示意图；

图2b示出了由图1b的视频解码器输出的经重构的视频的示意图；

图3示出了经编码的视频的示意图，以便说明目标空间分辨率与随机访问距离/间距相比在时间尺度上的变化；

图4a和图4b示出了根据不同变型进行操作的解码器的示意图，图1b的解码器可以在这些变型中操作，在这些变型中dpb中缓存的图片的分辨率不同；

图5a和图5b示出了形成图1a的编码器的可能的实现方式并根据不同的变型操作的编码器的框图，在这些变型中，图片以参考空间分辨率缓存在解码图片缓存器中，由此适合图4b的解码器，但是在执行预测校正的侧或域中不同，即在变化的目标空间分辨率或参考空间分辨率上不同；

图6示出了用于传信变化的目标空间分辨率的可能的语法；

图7示出了sps语法的示例，包括开启和关闭变化的目标空间分辨率的可能性的标志；

图8示出了sps的语法示例，用于在更大级别(例如图片序列)上发送不同的目标空间分辨率设置，允许图片通过索引来参考数据流中的任何这些设置；

图9示出了切片片段首部语法的示例，索引语法元素参考该切片片段首部语法以得到预定义的目标空间分辨率设置，例如图8中传信的那些目标空间分辨率设置；

图10示出了用于针对诸如参考空间分辨率或目标空间分辨率之一的一个分辨率传信输出宽高比的语法示例；

图11示出了用于针对所有可能的目标空间分辨率设置发送输出宽高比的语法的示例；

图12示出了可以传信多个不同的输出宽高比设置的备选语法，其中不同的输出宽高比设置的数量等于或大于可能的目标空间分辨率设置的数量；

图13示出了说明通过一个标志根据图片的变化的目标空间分辨率传信图片的相对平铺(tiling)的可能性的示意图；

图14a和图14b示出了说明用于场景划分或区域级打包的示例的示意图；

图15a示出了说明根据一个实施例的视频编码器的示意性框图，其中视频编码器分别对场景划分或区域级打包敏感地操作；

图15b示出了适合图15a的视频编码器的视频解码器的示意性框图，该视频解码器同样对场景划分敏感地操作或者依赖于场景划分执行视频解码；

图16示出了说明用于图15a的视频编码器中的视频编码和图15b的视频解码器中的视频解码的编码划分以及在数据流中传送的相应编码划分信息的示意图，以便说明视频编码和解码对场景划分的依赖性的可能性；

图17示出了说明编码划分的示例的示意图，以便说明这种编码划分的参数化，并且说明在这种编码划分中考虑场景划分的可能性，该编码划分将常规树块序列划分为树块阵列，然后对树根块进行分层多树细分；

图18示出了用于在数据流(此处示例为sps)中传送图17的编码划分参数化的语法的示例；

图19a和图19b示出了说明使用场景划分的不同可能性的示意图，以便固有地优化数据流中传送的编码划分；

图19c示出了cu分割语法的语法示例，用于分割从自己的rwp区域部分延伸到相邻rwp区域的块，同时避免传信分割指示符，该分割指示符用于冗余的分割决定或其他可通过检查相对于当前rwp区域和相邻rwp区域之间的边界进行相应分割的区域的位置推断的分割决定；

图20a示出了说明当前帧间预测的块的示意图，该当前帧间预测的块参考参考图片中与双场景样本密度/分辨率相对应的图片区域内的一部分；

图20b示出了相对于图20a的相反情况的示意图；

图21示出了说明当前帧间预测的块和根据位于不同场景采样密度/分辨率的相邻图片区域中的相邻块导出当前帧间预测的块的运动矢量预测子的示意图；

图22示出了说明对从都位于相同图片区域中的相邻块导出的运动矢量预测子进行缩放的示意图，然而，相邻块的运动矢量指向不同场景采样分辨率/密度的图片区域；

图23示出了说明在不同场景采样分辨率/密度的图片区域上应用滤波器的示意图；

图24a示出了用于传信控制噪声色度的不同量化参数的语法的语法示例，以便分别在图片内和图片区域内改变该量化参数；

图24b示出了诸如预测残差变换块之类的变换块的示意图，以便说明图24a的量化参数如何影响噪声色度；

图25a示出了说明根据一个实施例的编码器(可能是视频编码器)的示意框图，其中编码器本地改变将影响经编码的图片内的噪声色度的量化参数；

图25b示出了适合图25a的编码器的解码器的示意性框图；

图26示出了经编码的图片和该经编码的图片的子区域内的目标空间分辨率的变化的示意图；

图27示出了传信变化的目标空间分辨率的示例语法；以及

图28示出了在实现或修改图1a的视频编码器和图1b的视频解码器，以在具有或不具有关于图2a所讨论的时间目标空间分辨率改变来以空间变化的目标空间分辨率操作的情况下，目标空间分辨率的变化的示意图；

图29示出了用于说明根据图26至图28的示例，在某个图片内对目标空间分辨率进行空间变化的语法示例，可以使用指示相应图片被划分为的每个块的某个目标空间分辨率值的语法元素或重采样指示符或某个其他指示符来实现该语法；

图30示出了与图29不同的语法示例，其中语法元素的传输发生在编码单元级别，即针对其进行预测模式决定的块，而非示例图20所提及的变换块；

图31示出了sps的语法示例，其指示了将图29和图30中描绘的语法元素的传输限制在某个预定义的块大小范围内的块的可能性，并推断对于超出该范围的块，应使用参考空间分辨率进行编码/解码；

图32示出了与图29不同的语法示例，其中语法元素的传输限制在预定块大小的范围内；以及

图33示出了sps的语法示例，其中sps传信将用于图片的经重采样的块(即未以参考空间分辨率进行编码/解码的块)的量化步长偏移。

具体实施方式

描述以与本申请的第一方面有关的实施例开始。稍后，描述其他几个方面。应注意的是，本申请的多个方面可以组合，如将在下面更详细地概述的。

本申请的第一方面涉及在比进行视频编码所依据的随机访问间距或距离更精细的时间尺度上的目标空间分辨率的动态变化。稍后，描述了本申请的其他方面，并且应当注意，本申请的这些方面可以一起使用以便形成除了本文讨论的那些实施例之外的其他实施例，其中在下文中也提到了这样的组合。

例如，与第一方面有关的本申请的实施例可以使基于混合块的运动补偿视频编码器能够动态地改变空间分辨率，该空间分辨率例如被测量为图片的每个描绘的视角的样本数量，改变是例如相对于输入空间分辨率的改变。编码在编码效率方面利用了这一事实。稍后，还讨论了多个实施例和方面，其中给这样的基于混合块的运动补偿视频编码器提供了还相对于图片子部分动态改变空间分辨率的机会。

到目前为止，这种编解码器系统的信令需求仍未解决。例如，hevc的单层基本版本不允许图片分辨率在编码视频序列中改变。仅在没有前导图片的随机访问点(即完全重置解码图片缓存器的idrrap)处，分辨率改变可以随着包括解码图片缓存器的刷新的新编码视频序列的开始而发生。然而，存在在比特流中的不同位置，而不仅是基于idr/bla的rap处需要分辨率改变的场景。首先，开放式gop编码结构使用具有更高编码效率的rap类型，即涉及在比特流顺序中在rap之后但使用rap之前的参考图片的前导图片。这里，rap例如是cra图片。需要对rap之前的参考图片进行重采样，然而在目前为止的编解码器中尚未预见该重采样。除此之外，rap率应保持在一定限度之上，以便避免由于与这些rap相关联的预测储备损失而导致编码效率下降。因此，即使在未发生rap的情况下，也希望改变编码视频序列内(例如在分层gop的最高时间层或者经编码的图片的任何其他子集内)的空间分辨率。

本文描述的实施例允许在比随机访问间距/距离更精细的时间尺度上改变编码视频序列中的分辨率。例如，可以想象三种变型来实现这种中间cvs分辨率改变。这里，参考空间分辨率可以定义例如最高空间分辨率，诸如在数据流中编码视频时的目标空间分辨率的最大值。然而，在讨论之前，参考图1a和图1b描述编码器和解码器的一般结构。图1a示出了视频编码器10，其接收源视频12并以使得目标空间分辨率在比源视频被编码到数据流14中所依据的随机访问距离更精细的时间尺度上变化的方式，以目标空间分辨率将源视频12编码到数据流14中。例如，图2a示出了视频12中的图片子序列，这里示例为三个图片161、162和163。所有这些图片都显示相同的场景18，并且例如在场景18中由场景18周围的矩形20指示的视场中重合。也就是说，视频12的图片161至163可以在这些图片所描绘的场景部分中重合。然而，如图2a中的图片161至163内的点所示(这些点将代表相应图片的某种空间采样)，视频12的图片以变化的目标空间分辨率由编码器10编码到数据流14中，即每个场景部分或区域20的样本数量是变化的，或者换句话说，例如场景18的每单位面积(例如单位视角)中样本数量不同。各种实施方式变型的以下描述将揭示“目标空间分辨率的变化”可以指什么。具体地，变化的目标空间分辨率可以与视频12被编码到数据流14中时的预测残差有关。也就是说，编码器10例如可以是诸如支持帧间和帧内预测模式的混合视频编码器的预测编码器，并且目标空间分辨率变化可以指将预测残差编码到数据流14中的分辨率。也就是说，虽然源视频12具有某个空间分辨率，或者更确切地，源视频12中的图片在进入编码器10时具有某个空间分辨率，但是在编码期间，编码器10执行从输入分辨率到目标空间分辨率的转变可以取决于所选择的实施方式。具体地，如将在下面更详细地概述的，重采样可以作为在编码器10的所有其他编码任务之前的初始处理而完成，因此，所有其他编码任务均以该目标空间分辨率进行操作。这些任务可以例如包括预测以及残差编码。在图1a中的22处示例性地指示的编码器10的解码图片缓存器将因此以变化的目标空间分辨率来缓存视频12的图片161至163。在下文中将该变型称为变型a。备选地，解码图片缓存器22可以以参考空间分辨率(即一些固定的空间分辨率，例如视频12的输入分辨率)缓存视频12的图片，其中在执行残差编码的目标空间分辨率与分别关于预测信号或残差信号进行的参考空间分辨率之间转变，以下将这些变型称为b和c。

图1b示出了适合图1a的编码器的视频解码器。图1b的视频解码器使用附图标记30总体指示，并且被配置为从数据流14中解码视频32，即视频12的重构。视频解码器30被配置为从数据流14中导出视频32被编码到数据流14中时的目标空间分辨率的变化，在比视频32被编码到数据流14中所依据的随机访问距离更精细的时间尺度上定义该变化。参见图2b，以与图2a所示的在编码器10内部对进入编码器10的源视频12进行重采样以进行编码的方式相对应的方式示出了经重构或经解码的视频32及其图片341至343。图片341至343全部显示或代表场景18，并且例如可以全部都编码有该相同的场景部分。取决于下面更详细描述的示例的实施方式，解码器30输出的图片341至343的样本分辨率可以与图2a中示例性地示出的目标空间分辨率一致，或者在时间上可以是恒定的且与前述参考样本分辨率相对应，这些图片以该参考样本分辨率缓存在解码器的解码图片缓存器36中，就像它们在编码器10的dpb22中一样。这些示例将根据分别用于实现编码器和解码器的某些变型的以下描述而变得清楚。

如上所述，目标空间分辨率的变化发生在比执行视频编码所依据的随机访问距离/间距精细的时间尺度上。如将在下面更详细地概述的，并且如图2a所示，目标空间分辨率变化的时间尺度可以例如是图片级变化的。也就是说，目标空间分辨率可以以图片为单位变化。因此，编码器10将能够在逐个图片的基础上决定如何设置目标空间分辨率，同时在图片级别上传信目标空间分辨率的变化。然而，这不是唯一的可能性。图3示出了时间轴t，并且使用阴影线示出了视频12在随机访问点处的图片。它们以某个时间距离δt发生，该时间距离δt可以如图3所示是恒定的，或者在随机访问距离例如可以表示视频12的随机访问点图片之间的平均距离的情况下，该时间距离δt可以随时间变化。目标空间分辨率发生的时间尺度表示目标空间分辨率可以在其间改变的最小持续时间。因此，根据图1a和图1b的示例，随机访问距离δt38比目标空间分辨率可以改变的最小时间距离δt40大。图3示出了目标空间分辨率可以从视频12的一个图片到另一个图片改变的情况。

如上所述，存在分别实现图1a的编码器和图1b的解码器的不同可能性。这些可能性在下文中表示为变型a、b和变型c。图4a和图4b分别示出了变型a以及变型b和c。图4a和图4b专注于解码器30，但是很清楚如何使编码器10与相应的概念/变型一致。根据所有变型，每个图片的预测残差以如图4a和图4b的左边的变化大小的矩形所示的变化的目标空间分辨率编码到数据流14中。根据变型a，以目标空间分辨率将每个图片以重构的形式缓存。这也通过在dpb36中以变化大小的矩形形式描绘视频的图片来说明。dpb36串联到预测环路42中，该预测环路也存在于编码器中，以便与解码器30保持同步。根据变型a，当具有目标分辨率a的参考图片被具有目标空间分辨率b≠a的另一当前解码的图片用作参考图片时，在dpb36中对该参考图片即时执行重采样44。如图4a所示，解码器30可以是基于块的视频解码器，其支持帧间和帧内预测模式以及变换编码以便对预测残差进行编码，即残差变换编码，并且例如支持环路滤波。如上所述，视频输出(即视频32)的图片的分辨率不同。可能是未在图4a中示出且也未在图1b中示出的后处理器连接到解码器30的输出，以便对视频32的图片34进行重采样来以恒定的输出采样率呈现视频。

图4b描绘了变型b和c。根据这两种变型，视频的图片以参考空间分辨率缓存在dpb36中。换言之，如果参考空间分辨率选择了最高分辨率，则在dpb36中对每个经编码的图片进行重构，然后在dpb36中以最高分辨率对整个图片进行重采样。根据变型b，在使用大于或等于变化的目标空间分辨率值中的任何值的分辨率作为参考目标空间分辨率的情况下，如有必要，则在被不同分辨率(例如较低分辨率)的图片参考时执行即时重采样。输出图片流，即视频32，以诸如最高分辨率的参考目标空间分辨率输出。根据变型c，图片在dpb36中也以参考目标空间分辨率存储。如果当前解码的图片的图片分辨率不等于参考空间分辨率，则在重构期间例如通过双线性滤波对残差信号或预测残差进行重采样，并以参考空间分辨率输出输出图片流，即视频32，如在根据变型b的情况中一样。因此，尽管在变型a中，dpb36中充满了不同分辨率的图片并且每个参考图片在其重构时被重采样到当前编码/解码的图片的分辨率，但是在变型b和c中，dpb36中仅充满了最高分辨率的图片，这通过两个不同的方式实现。

图5a和图5b专注于变型b和c之间的差异。图5a和图5b专注于编码器侧。如已经关于图4a和图4b提到的，预测环路42共存于解码器和编码器中，因此，关于解码器描述的所有任务和步骤也都在编码器侧执行，不同之处在于编码器还选取或选择参数设置和编码参数等，例如预测模式(即帧间或帧内预测模式，如相应模式的预测参数)、变换预测残差的量化等。编码器可以通过执行某种码率控制，具体地，通过执行某种成本最小化，即旨在最小化例如取决于失真和编码率的成本，来做到这一点。

根据图5a和图5b，编码器10被实现为基于块的预测视频编码器。也就是说，减法器48从源信号52减去预测信号50，以便导出未失真的预测残差信号54，然后在模块56中对该预测残差信号进行变换、缩放和量化，以产生预测残差信号58，经由对该数据执行格式化、熵编码和首部设置的一些流复用器或模块60将其最终编码到数据流14中。为了与解码器侧保持同步，编码器10通过对可从数据流14中导出的预测残差58进行缩放和逆变换或通过反量化和逆变换模块62，在空间域中恢复预测残差信号。连接到该模块62的输出是加法器64的一个输入，加法器64将该预测残差信号与预测信号50相加，并通过滤波器控制分析模块66和在后的环路滤波器68的串联对由此校正的预测信号进行滤波。结果缓存在dpb22中，以便缓存经重构的图片并且形成由随后编码的图片的帧间预测的块进行参考的参考图片的储备。运动估计模块70可以访问源信号52，以便估计源视频的运动场，从而确定用于对视频进行编码的运动矢量。帧间预测模块72可以访问存储在dpb22中的图片，帧间预测模块72生成当前编码的图片的帧间预测的块的预测子，即74。对于帧内预测的块，存在帧内预测模块76，其可以访问由加法器64输出的经校正的预测信号。其预测参数，即帧内预测模式，由帧内图片估计模块78基于对经校正的预测信号(即当前编码的块周围初步重构的信号)的分析来确定。帧间预测的块的预测参数(例如运动矢量，即80)和帧内预测的块的预测参数(即帧内预测模式，例如角度模式或诸如dc或平面模式的非角度模式，即82)被传递给复用器60，以在数据流14中与所选择的预测模式(即帧间/帧内预测模式决定)一起传信这些预测参数。选择器84通过根据为当前编码的图片的各个块选择的预测模式选择帧间预测预测子74或帧内预测预测子86来构成预测信号50，并由此形成预测信号50。编码器10另外包括通用编码器控件88，其承担诸如码率控制和成本最小化之类的任务。

图5a专注于变型b。如图5a所示，流入的视频信号12的图片90在初始重采样阶段92被重采样，以在这些图片94进入编码器环路之前，即在通过减法器48对它们进行减法之前，变为具有变化的目标空间分辨率的图片94。应当注意，该任务对于解码器侧来说是透明的，解码器的内部结构与编码器10在以下方面一致：模块62和模块64、66、68、就解码器侧而言使用附图标记36的dpb22、以及模块72、76和84，后面的模块形成或串联到预测环路42中。目标空间分辨率变化可以由图5a中所示的通用编码器控件88根据码率控制和/或成本最小化来控制。由于形成图5a的编码器10的源信号52的图片94具有变化的空间分辨率，因此图5a的编码器10包括重采样器，重采样器执行到目标空间分辨率或者从目标空间分辨率到参考空间分辨率的重采样。例如，重采样器96在预测环路42中连接到dpb22之前，以便在以参考空间分辨率将图片缓存在dpb22之前对图片进行重采样。也就是说，只要当前编码的图片的目标空间分辨率不等于参考空间分辨率时，就执行重采样。此外，重采样器98对由当前编码的图片参考的参考图片进行重采样，因此连接在dpb22和帧间预测模块72之间，其中运动估计器70也可以访问经采样的结果。也就是说，重采样器98将dpb22中的缓存图片从参考空间分辨率重采样到目标空间分辨率。使用阴影示出的其他块和模块也被配置为对流入的图片94的变化的目标空间分辨率进行处理。

图5b专注于变型c。这里，源信号52直接由视频12形成。根据图5b的示例，源视频12的输入分辨率或源分辨率被用作参考空间分辨率，但是该示例可以在以下方面变化：诸如重采样器92的重采样器执行从源分辨率到参考空间分辨率的初始重采样。根据变型c，如图5b所描绘的，重采样器100连接在减法器48的输出和变换、缩放和量化模块56的输入之间，以便在模块56中进行变换和量化之前，将未失真的预测残差信号54重采样到变化的目标空间分辨率，其中重采样器102通过连接在一方面的逆变换模块62的输出和另一方面的加法器64的第一输入(即由加法器64执行的预测校正)之间来执行逆过程，即从目标空间分辨率到参考空间分辨率的重采样。也就是说，根据如图5b中所示的变型c，对预测残差信号执行重采样步骤，由此允许以最高分辨率进行重构。

以下描述专注于多种信令可能性，以便解决根据变型a至c出现的需求。

如上所述，可以允许目标空间分辨率在与图片间距或帧率相对应的时间尺度上改变。例如，图6示出了可以在数据流14的图片参数集(即pps106)中包含目标空间分辨率信号化104。这可以根据变型a至c来进行。根据图6的示例的信号化104水平地108和垂直地110指示图片大小。使用变化的目标空间分辨率的可能性可以是一种模式，通过包含在pps106中的标志112来传信该模式开启或关闭，使得如果该模式被激活，则使用语法元素108或110来指示相应图片的目标空间分辨率，语法元素108或110指示在x和y方向以样本数量测量的图片大小，或者如果该模式未被激活，则不指示相应图片的目标空间分辨率。

序列范围约束标志可以触发是否允许动态分辨率。这样的标志可以包含在sps(序列参数集)中，或者可以包含在例如整个视频的更大范围的参数集，例如vui中。图7示出了示例，其中这样的标志被包含在sps114中，即标志116。后一标志116，即sps_dynamic_resolution_enabled_flag被设置为0，以便传信标志112(即pps_dynamic_resolution_enabled_flag)的值不应被设置为1。

一个备选示例将是，将在比pps大的范围的参数集(例如sps或vps)中定义图片大小集piesizeset，并且将在切片首部中的每个视频切片nal单元中包含对图片大小集的索引，或者对图片大小集的索引将伴随切片首部中的每个视频切片nal单元。该例子在图8和图9中示出。这次，如果后一标志被设置，则sps114在标志116之外包含目标空间分辨率信号化118，目标空间分辨率信号化118通过语法元素108和110对目标空间分辨率的每个可能的值或可能的状态传信一次图片大小或目标空间分辨率，并且切片首部120(图9中示出了示例)通过索引122参考这些可能的值或状态之一，由此为切片首部120的切片所属的相应图片指示由信号化118指示的相应目标空间分辨率。一个图片中的所有切片可能需要指示相同或索引相同的目标空间分辨率。

根据一个实施例，可能在数据流14内传信已使用哪种可能性以允许目标空间分辨率的变化。例如，标志output_scaling_flag或一些其他信令可以指示重采样是作为预处理/后处理步骤还是作为规范的环路重采样步骤进行的。这将允许将变型a(即在解码环路之外重采样)与变型b和c(其中，在解码环路42内完成重采样)区分开。在这种情况下，将分别在编解码器和编码器、解码器中实现多个模式，即一方面是变型a，另一方面是变型b和c中的至少一个。以这种方式，使解码器能够针对在多媒体处理链的更下游的元素直到显示器配置关于是否应当在呈现之前对经解码的视频信号的分辨率进行动态调整进行配置。

可以包含并插入到数据流14中的另一信令可以包含宽高比信令。具体地，例如，在hevc中，存在若干比特流信令方面，这些方面是序列特定的，并且不允许在cvs内改变。如到目前为止描述的实施例中那样，允许在编码视频序列cvs内改变分辨率，即目标空间分辨率，这样的信令应当是动态的，即这些方面应当以动态的方式来描述。例如，看一下样本宽高比的信令方面：例如，可以通过多种方式来实现源信号12的图片的分辨率的降低，即，通过水平重采样或垂直重采样，或者通过在两个方向上重采样。对于给定的目标分辨率，所有上述三个选项均需要不同的重采样率，这将导致不同的样本宽高比。因此，改变分辨率将改变经编码的样本宽高比。一个选项是定义一种默认方式，使宽高比适用于所有可能的图片大小中的一个图片大小，例如在sps中定义的第一个图片大小或最大的一个图片大小。另一种可能性是指定所传信的宽高比所适用的参考图片大小，并且由解码器30或连接到解码器的输出的一些渲染器来导出其他格式的样本宽高比。例如，参见图10。图10在126处示出了数据流可以包含指示输出宽高比的信息或信令。图10示出了该信息126可以被包含在vui124中，但这仅是示例。也就是说，对于目标空间分辨率(例如参考空间分辨率)的一种可能设置，信号化126在x方向或水平地128指示宽高比，并且在y方向或垂直地130指示宽高比，并且解码器或接收视频32的一些设备使用该宽高比以便以相应的空间分辨率呈现图片的视频32。在视频32的图片大小变化的情况下(例如变型a)，宽高比信号化126用于具有相应空间分辨率(例如参考空间分辨率)的图片，并且对于另一分辨率的图片，基于信号化126和相应图片的相应目标空间分辨率或图片大小来确定用于呈现的宽高比。也就是说，对于具有pic_width_in_luma_samples[i]和pic_height_in_luma_samples[i]的另一图片大小，该图片的宽高比可被导出为：

sar_width[i]＝sar_width_default/pic_width_in_luma_samples_default*pic_width_in_luma_samples[i]

以及

sar_height[i]＝sar_height_default/pic_height_in_luma_samples_default*pic_height_in_luma_samples[i]

请注意，在上面的示例计算中，假定没有裁剪参数。pic_width_in_luma_samples[i]和pic_height_in_luma_samples[i]与整个经解码的图片相对应，而经裁剪的图片是输出的图片的一部分。两种不同的分辨率可以使用完全不同的裁剪窗口，因此上面的计算将需要在计算不同分辨率的sar_width和sar_height之间的关系之前执行裁剪。即，

croppedwidth[i]＝pic_width_in_luma_samples[i]-(conf_win_right_offset[i]+conf_win_left_offset[i])

croppedheight[i]＝pic_height_in_luma_samples[i]-(conf_win_top_offset[i]+conf_win_left_offset[i])

因此：

sar_width[i]＝sar_width_default/croppedwidth_default*croppedwidth[i]

以及

sar_height[i]＝sar_height_default/croppedheight_default*croppedheight[i]

然而，通常这些样本宽高比值用在定义明确的分界面中进行后处理，其中来自vui的直接值被用于配置后处理步骤。尽管以上计算是简单的并且可以容易地执行，但是允许以最小的改变使用现有分界面和api的更简单的方法可以以与当前方式相似的方式直接传信用于每个分辨率的不同宽高比。

例如，第一个选项是描述若干宽高比，每个所传信的图片大小一个宽高比，如图11所示。

这里，信号化126表示针对目标空间分辨率的每个可能设置，用于输出视频32的图片的宽高比，其数量由num_pic_in_luma_samples_minusl表示。图11示出了指示宽高比的备选方式或备选选项可以通过索引132索引一些预定义的宽高比的可能性。

在一些情况下，可以进一步改善并更有效地进行图11的信令示例。已知在图11的示例中，存在与图片大小的数量相同数量的样本宽高比。换句话说，图11指示了针对目标空间分辨率的每种可能设置的样本宽高比。然而，对于所有图片大小或目标空间分辨率的所有可能设置来说，样本宽高比可以是相等的，所取的样本宽高比的数量至少比图片大小或目标空间分辨率的数量小。因此，可以如图12所示完成宽高比的传信。这里，标志134可以指示所有宽高比是否相等，即视频32的所有图片是否具有相同的宽高比。如果是，则对于所有图片，仅需要传信一次信令126。否则，在136传信不同宽高比的数量，然后如136指示的次数，将信令126包含在数据流中。对于每个图片，然后通过图片大小指示104或122来指示使用哪个目标空间分辨率，并且间接地，对要使用的目标空间分辨率的选择还指示了要应用的宽高比以及通过将正确的宽高比与每个目标空间分辨率相关联来呈现视频32或相应图片。

以到目前为止描述的类似方式，以下参数可以包含在数据流14中。

以与上述类似的方式，以下参数的信令可能呈现在数据流中：

min_spatial_segmentation_idcue(v)

min_spatial_segmentation_idc指示并行处理能力。例如，切片内包含的亮度样本的最大数量(当没有使用图块且未启用波前处理时——entropy_coding_sync_enabled_flag等于0)由此受到约束。或者如果正在使用图块，则图块内包含的亮度样本的最大数量由此受到约束。另一种并行处理模式是当entropy_coding_sync_enabled_flag等于1(波前处理)时，其中ctbsize和图片大小确定“波前”行的数量；min_spatial_segmentation_idc的值设置对ctbsize和图片大小之间关系的约束。对于这些并行处理模式(切片、图块、波前)中的任何一种，如上面所讨论的，min_spatial_segmentation_idc的值设置了约束，具体取决于图片大小。以下是hevc的规范文本，用于更好地理解：

-否则(min_spatial_segmentation_idc不等于0)，比特流一致性要求完全以下条件中的恰好一个应该为真(true)：

-在cvs内激活的每个pps中，tiles_enabled_flag等于0，entropy_coding_sync_enabled_flag等于0，并且cvs中没有包含大于

(4*picsizelnsamplesy)/minspatialsegmentationtimes4个亮度样本的切片。

-在cvs内激活的每个pps中，tiles_enabled_flag等于1，entropy_coding_sync_enabled_flag等于0，并且cvs中没有包含超过

(4*picsizelnsamplesy)/minspatialsegmentationtimes4个亮度样本的图块。

-在cvs内激活的每个pps中，tiles_enabled_flag等于0，entropy_coding_sync_enabled_flag等于1，语法元素pic_width_in_luma_samples、pic_height_in_luma_samples和变量ctbsizey遵循以下约束：(2*pic_height_in_luma_samples+pic_width_in_luma_samples)*ctbsizey＜＝(4*picsizelnsamplesy)/minspatialsegmentationtimes4

考虑到图片大小或目标空间分辨率可以在图片之间改变，可以以更灵活的方式传信min_spatial_segmentation_idc。以与宽高比类似的方式，可以进行min_spatial_segmentation_idc的传信：

·对于特定图片大小，其中在每个切片/图块的亮度样本方面，将相同的约束应用于其他图片大小

·每个图片大小，传信min_spatial_segmentation_idc[i]。

另一个示例关于：

max_bytes_per_pic_denomue(v)

max_bytes_per_pic_denom指示cvs的经编码的图片的vclnal单元的大小之和未超过的比特数((picsizelnmincbsy*rawmincubits)/(8*max_bytes_per_pic_denom))。它也取决于图片大小。

因此，以与上述类似的方式，应针对以下几个图片大小进行指示：

·对于特定图片大小，其中对任何图片大小应用相同的约束

·对于每个图片大小，传信min_spatial_segmentation_idc[i]。

另一个示例关于：

max_bits_per_min_cu_denomue(v)

max_bits_per_min_cu_denom指示cvs中的coding_unit()的编码比特数的上限。它取决于ctb大小和mincblog2sizey，如下所示：

(128+rawmincubits)/max_bits_per_min_cu_denom*(1＜＜(2*(log2cbsize-mincblog2sizey)))

在这里考虑的多分辨率编码方案中，可以设想ctb大小和最小编码块大小(mincblog2sizey)取决于图片大小。考虑到这一点，可以设想用于不同图片大小的不同值。

另一个示例关于：

log2_max_mv_length_horizontalue(v)

log2_max_mv_length_verticalue(v)

类似地，对于mv的2个语法元素的约束可用于并行化。它们表示对应用于经编码的图片的mv的约束。利用该信息，解码器可能知道是否已经从(仍在解码中的)图片重构了足够的数据以开始对引用该图片的另一图片进行解码。由于图片大小可能不同，因此，与之前的情况一样，每个图片大小都需要指示。

具有以下选项：

·对于特定图片大小，其中mv相应于每个图片大小进行缩放。

每个图片大小具有log2_max_mv_length_horizontal[i]和log2_max_mv_length_vertical[i]。

在诸如图块流传输的一些情况下，其中相同的内容以变化的整体分辨率提供给客户端(例如以适应具有fullhd或4k视频解码器的设备)，可能需要相对于图片平面保持恒定的图块结构，而不论图片大小或宽高比。一个实施例是标志(relative_tiling_flag)，其指示在最高参考空间分辨率(分辨率a)时传信的图块结构(例如在序列范围内传信的默认结构)也可用于比特流中具有较小分辨率(分辨率b)的图片，针对较小的分辨率，相对于相应图片大小缩放图块结构，如以下附图13的上部所示。在图13的下部，显示了非相对图块化的情况，其中示例性地，具有重采样的分辨率b(＜a)的图片与原始分辨率的单个图块完全配合。在该实施例中，仅对一个分辨率但是在序列范围(例如在sps中)中传信图块化结构。具有图片范围的其他语法(例如pps)省略了相应的语法。

首先，这可以通过避免每个分辨率的冗余图块信令来节省比特。其次，图块的数量和相对尺寸在编码视频序列的过程中保持恒定的事实允许在解码器侧进行更有效的资源规划，其中解码器可以避免重新评估要在解码过程中对每个单独图片使用的并行度。特别地，图块的相对尺寸在不同分辨率的图片上保持恒定的事实允许关于各个图块的解码器运行时间进行推定，这可以帮助简化解码器资源规划。

在另一实施例中，信令可以包括序列级别保证，该序列级别保证被包括在比特流中，并且指示即使当空间分辨率在相同空间层内改变时，对于该层内的所有图片，图块也是对齐的。解码器可以使用该保证相应地预留并行解码资源，或者决定它是否能够借助于并行处理来解码比特流。可以在比特流内发送多个图块结构，但是所有这些结构都是相同的或者是相同图块结构的经子采样的等效结构。

另一实施例包括比特流中的标志，该标志以如下方式指示对当分辨率在相同空间层内改变时，该层内的图块结构也是对齐的保证：对于以较低分辨率存在的所有图块边界，对齐的图块边界存在于较高分辨率下。以更高分辨率编码的图片可能仍包含其他图块边界。可以在比特流中发送多个图块结构，但是所有较低分辨率下的结构都是相同的，并且等效的图块结构存在于较高分辨率下。

如果解码器对经编码的比特流执行随机访问(ra)，即从任何rap中间流开始解码，则通常丢弃属于开放goprap的前导图片(例如cra)，并且解码/呈现从rap图片开始。取决于系统变型a、b或c，解码器侧关于比特流中的分辨率的了解有所不同。

在变型a)中，可以通过rap处的图片级别范围语法向解码器通知当前图片的分辨率，该当前图片在被解码之后以特定分辨率驻留在dpb内。将dpb中对另一分辨率的当前图片进行解码所需的每个参考图片从其特定分辨率重采样到当前图片的分辨率。

在变型b)和c)中，在rap处，序列级别范围语法可以向解码器通知比特流内的最大分辨率，而图片级别范围语法向解码器通知将按顺序解码的当前图片的分辨率，以允许解码器将所有图片重采样到最高分辨率。

以下描述是关于本申请的附加方面的，即关于允许用于区域级打包的视频编码，即将图片场景级细分为图片区域，每个图片区域与场景的某个场景部分或场景区域相关联。根据该方面，视频编解码器对区域级打包或场景打包/划分敏感。场景打包/划分可以以这样的方式进行，使得不同的场景区域在数据流中以不同的场景采样密度或不同的场景分辨率传送，由此最终得到子图片场景分辨率改变。存在不同的情况，在这些情况中在编码期间改变视频序列的图片内的空间场景分辨率似乎是值得的，即以不同的空间分辨率表示场景的各个子部分。这样的手段可用于提高编解码器的编码效率(即作为减少给定图片部分的比特率跨度的另一手段)，或者可用于通过在将经解码的图片提供给后解码器重采样引擎之前减少经解码的图片的样本数，来降低用于处理这些样本的编解码器存储器需求。然而，目前为止可用的视频编解码器没有采用诸如mpegomaf之类的依赖于这种子图片重采样的措施和系统标准，这种措施和系统标准是在不了解编解码器的情况下通过预处理和后处理进行子图片重采样的。这里，将图片划分为子图片或区域，并且在经编码的图片内重新排列或打包这些区域。在现有技术的编解码器中，仅在视频比特流内携带这些打包步骤的元数据，即以所谓的区域级打包sei消息的形式，以在呈现视频之前反转处理。根据下文进一步描述的实施例，想法是促进关于在编解码器工具决定和编码过程中的打包格式的知识。例如，可以在pps中引入规范的区域级打包(rwp)语法，其定义了所谓的未打包图片(即原始图片)的区域，其中所有区域以相等的空间分辨率具有正确的相邻上下文排列并与打包图片中的区域相对应地排列。未打包图片和打包图片中的区域之间的所描述的图像变换可以包括平移、缩放、镜像等。

图14a和图14b提供了两个示例性rwp场景的图示。在这些图中，左边示出了未打包图片200，即场景，右边示出了打包图片202，即经编码的图片。以统一的样本分辨率示出未打包图片200和打包图片202。打包图片202被细分为图片区域204。每个图片区域204与未打包图片200中的相应场景部分206相关联，该对应关系或关联通过使用字母a、b和c示出。将图片202划分为图片区域204，并且经由rwp信息或场景打包/划分信息在数据流中传信由箭头208所示的从这些图片区域204到场景部分206的映射，并且如图14a和图14b清楚地看出的，该映射208可以涉及针对图片区域204的不同重采样或空间缩放。

因此，根据下面进一步描述的实施例，可以使用rwp语法来描述该场景划分/打包，并且在本文描述的实施例引入了大量编码工具限制、变更和传信之后，可以使用这些限制、变更和传信以在编解码器中利用关于该场景划分的知识。为了易于理解以下描述，参考图15a和图15b描述了编码器和解码器的一般框架。图15a示出了视频编码器220。视频编码器220被配置为将流入的视频222编码到数据流224中，其中，根据场景划分208将视频222的每个图片202划分为图片区域204，通过场景划分208，场景200的相应场景区域206映射到每个图片区域204。视频编码器220支持场景划分208的调整。例如，视频编码器220包括用于接收关于场景划分208的信息226的输入，该接收可能由在提供视频222时连接到视频编码器的输入的模块基于视频或表示场景200的视频数据而执行。视频编码器220被配置为在数据流224中传信场景划分。例如，场景划分208的信息在图15a的228处被示为被包括在数据流224。以下面更详细描述的方式，视频编码器220被配置为以分别取决于场景划分208或信息226的方式将视频222编码到数据流224中。

相应的视频解码器在图15b中示出。图15b的视频解码器(即230)被配置为接收其中编码有视频222的数据流224，并从数据流224中导出场景划分信息228。如虚线232所示，解码器230可以选择性地将场景划分信息传递给视频解码器230输出并表示视频222的重构的经重构的视频234的接收者。重要的是，视频解码器230被配置为以依赖于场景划分信息228的方式从数据流224中解码视频234。下面的描述提供了该依赖性的特定示例。

具体地，如目前为止所描述的，可以以诸如图片级别、图片序列级别或图片组级别的某种时间尺度在数据流中传送场景划分信息228，并且在诸如sei消息的情况下，间歇地更新场景划分信息228，其范围通过另一sei消息得出场景划分208的下一次更新。如图14a和图14b可以看出的，由于场景映射208，经编码的视频222的图片的不同图片区域204可以以不同的场景采样密度或场景采样分辨率描绘场景200中的对象，在预测过程中应考虑这种情况，例如将在下面更详细地概述。此外，图片区域的不同场景采样密度，即场景200的每单位面积的不同数量的样本，可以导致对于有效编码相应图片区域204来说，不同的编码参数成为最佳选项。因此，允许对这些参数进行图片区域级设置可能是有利的。更进一步地，在比较一方面的图片202和另一当面的场景200时，由于场景划分208，尤其是图片区域之间的空间邻近关系的改变，相邻图片区域204之间的分界面可以表示如下分界面：在场景200中，这些分界面两侧的图片内容与紧邻的部分无关。因此，对于跨分界面进行滤波没有任何意义。以下描述揭示了关于在编码和解码过程中如何考虑到这一点的示例。

例如，下面的描述涉及一方面的编码划分和另一方面的场景划分之间的关系。为了解释该关系，请参见图16。图16示出了视频222的一个图片202。为了将视频202编码到数据流224中，视频编码器220和视频解码器230将视频222的图片202划分为块240。以这些块240为单位，将视频222编码到数据流224中。例如，以这些块为单位，视频编码器和视频解码器可以执行预测残差编码/解码。图片202到块240的划分因此可以是到变换块的划分。备选地，视频编码器和解码器通过以块240为单位在帧内预测和帧间预测模式之间切换来执行视频编码/解码。块240因此可以是编码块或编码单元，并且数据流224可以传送关于每个块240的预测模式决定。甚至备选地，视频编码器和解码器可以以块240为单位设置用于帧内预测的块和帧间预测的块的预测参数。也就是说，块240可以是预测单元或块。甚至备选地，块240可以是将图片202划分所得的图块，其中将在没有编码相互依赖性的情况下进行这些图块240的编码/解码。数据流224可以包含关于如何将图片202划分为块240的编码划分信息242。

在下面描述的可能性中，视频编码器和解码器以使得可以针对图片202的图片区域单独地进行参数化的方式，启用编码划分的参数化。编码划分可以例如如图17所示定义。到树根块244的阵列的预划分可以预划分图片202。然后可以对这些树根块244进行如图17中虚线所示的分层子树划分。在图17中使用附图标记246指示的该分层多树细分的叶块可以例如形成块240。在这种情况下，图17中248处指示的树根块244的大小将定义产生的块246的最大块大小。参数化例如可以定义该最大块大小。参数化还可以定义叶块的最小块大小250和/或分层多树细分中允许的最大分层分割级别数。零分割级别例如将与根本不分割相对应，即将树根块244保持原样并将其用作块240。分割级别1与将树根块244分割为多个第一分割级别的区域的第一次分割相对应。在图17的示例中，一些叶块246是第一分割级别，并且其中标有“1”。将第一分割级别的区域进一步分割为子区域导致第二分割级别的子区域，并且图17中示例性地示出了这种分层级别的叶块246，其中标有“2”。因此，这种分层分割级别的最大数可以是编码划分的另一参数化。也可以指示最小和最大块大小之间的差异。编码器可以为每个图片区域204选择这些参数化，并且在数据流224中针对相应图片区域204传信参数化252。视频解码器可以使用参数化250以便基于信息242执行编码划分。例如，基于最大块大小248，解码器可以执行到树根块244的预划分。分别基于最小块大小或分层分割级别的最大块数的指示或最小块大小248和最大块大小250之间的差异的指示，解码器可以推断某些分割无论如何都不可行。因此，对于这样的分割，编码器不在编码划分信息244中传信相应的分割标志，并且解码器不从数据流224中导出相应的分割标志。在称树根块244为ctu并且采用hevc的语法作为基础的情况下，图18提供了基于图片区域204定义的划分参数的示例。根据图18，每个图片区域204定义不同的最大/最小ctu大小。这里，以hevc中定义的ctu大小为例。而在hevc中，根据图18的示例，分别针对整个编码视频序列cvs和整个图片通用地定义了ctu大小，hevc的语法得到了扩展，从而可以在每个区域(即每个图片区域204)的基础上进行传信。具体地，图18示出了由标志254指示定义了图片区域204的sps，并且如先前解释的，图片区域可以具有不同的场景分辨率或场景采样密度。如果应用了到图片区域204的划分，即场景划分应用，则以在256指示的数量传信参数化250若干次。数量256可以等于图片区域的数量或者可以小于图片区域的数量，并且数据流224可以包含针对各个图片中的每个参数区域204的各个参数化设置的索引。

备选地，通过对图片内的区域的不同采样的了解，可以从单个默认参数集隐式地导出这些参数。

然后，可以以不同的方式进行图片202的部分的映射：例如，图片202的切片可以映射到分辨率部分，即映射到多个参数化250之一，参数化的数量在256指示。可以以前述独立编码的图块为单位进行映射。也就是说，每个图块可以与参数化250之一相关联。备选地，在序列或图片参数集级别，取决于所需的编解码器灵活性，可以将图片202细分为比到图片202的切片或图块的划分更粗或更精细的分辨率部分。

此外，视频编码器和视频解码器可以分别使用场景划分208或场景划分信息228作为隐式地定义编码块划分的源。也就是说，视频编码器和解码器二者可以根据编码划分将图片202划分为块240和/或以这些块240为单位对视频进行编码/解码。如所描述的，仅作为几个示例，这些块可以是变换块、预测块、编码块或图块。视频编码器和解码器二者将根据场景划分208执行编码划分。使用图块划分作为示例进行说明。也就是说，根据刚刚描述的实施例，rwp或场景划分信息228用于将图片202划分为例如使用运动补偿预测的基于块的混合视频编解码器的块250或其他单元。例如，在通过信息228传信的到块240的划分与在rwp信息228中定义的图片区域204之间的边界未对齐并且与rwp边界相邻的区域204具有不同的属性(例如不同的空间采样密度或不同的场景分辨率)的情况下，相应的块或单元结构可以与rwp边界对齐，而无需显式传信，即导出与场景划分或rwp228中传信的区域边界一致的隐式划分。例如，参见图19a和图19b。根据图19a，编码划分242传信图片202到块240的划分。块240可以例如是图块。编码划分信息242将仅指示例如块240的大小，由此定义了图片202到该大小的块240的阵列的规则细分。然而，存在横跨两个不同的图片区域204a和204b之间的边界250的块240，这两个图片区域可能在场景采样分辨率等方面不同。可以基于场景划分信息228为解码器230从比特流224中导出边界250。编码器220和解码器230将这些跨边界250的块240相应地沿边界250隐式地分割为两个块240a和240b，而无需显式地将该分割传信到编码划分242中。

在图19b中描绘了以取决于场景划分228的方式定义编码划分和编码划分信息242的备选方式。这里，块或编码单元240与图片区域204a和204b的边界对齐。也就是说，编码划分信息242可以例如仅指示块240的大小，并且视频编码器和视频解码器从沿着每个图片区域240a和240b的周边或边界的某个位置(例如从相应区域的左上角开始)开始，分别细分每个图片区域204a和204b，将该图片区域细分为该大小的块240。可以相应地裁剪从右边和底部延伸超出相应编码区域的边界的块240，以在相应边界处结束。后一种情况在图19b中被描绘。

以类似于到块240的规则细分的方式，隐式块划分也可应用于如参考图17解释的分层多树细分。例如，假设图17中的树根块244内右侧的分层级别1的叶块将横跨图片区域之间的边界。在这种情况下，该区域的分割在视频编码器和视频解码器之间可以是隐式的，并且可以省略信息242内相应比特的该信令。

因此，如刚刚提到的，使用rwp信息228作为用于推断未在编码划分242中显式地传信的一些分割的源也可以涉及：包括分层多树细分的编码划分242。这可能适用于将块完全划分为叶区域，也适用于与相邻区域重叠的分层分割块。例如，在图19b中，区域204a右边的块240将横跨边界250。它们被裁剪。以与延伸出图片周边的区域类似的方式处理它们。如果一个这样的块240被进一步多树细分为进一步的叶块，则对于跨边界250的块的多数细分的分割决定的子集中的每个分割决定，可以由编码器和解码器推断是否执行这一分割决定，在这种情况下，当前分割级别的相应区域被分割，或者不执行这一分割决定，使得进行相应分割决定的相应区域将成为分层多树细分的叶区域。根据预定图片的场景划分进行推断，而无需发送相应分割决定的分割比特指示符作为信息242的一部分，即基于当前分割级别的相应区域是否被跨边界250分割。对于多数细分中与基于rwp信息228推断的那些分割决定不相交的每个其他分割决定，将通过数据流中的相应分割比特指示符传信相应分割决定，作为信息242的一部分。图19c通过以cu分割的hevc语法为基础并突出显示由于采用rwp图块化而产生的修改，示出了用于cu四叉树分割的语法示例：这里，假设tileld(像素位置)是一个函数，对于分别位于不同rwp区域204a和204b(即边界250的不同侧)的像素产生不同的值。该语法实现了区域204a的ctb的分割，如果不裁剪，则区域204a将以cu(即叶块)与区域边界250对齐的方式横跨边界250，同时保留信令分割指示符split_cu_flag用于分割，该指示符可以基于边界250的位置推断。例如，在251处，如果由split_cu_flag传信应当进行分割的当前区域无论如何都要执行分割，因为该区域将横跨边界250，则不传信split_cu_flag。在251处，对于完全位于当前分层分割块240所属的区域204a之外的区域，跳过分层分割。

场景划分208可能影响编码/解码过程的另一种情况与亚像素内插滤波器和运动补偿有关。根据本申请的实施例，这里的想法是：促进基于块的混合视频编码器/解码器的亚像素内插滤波器，以在运动补偿预测期间，只要当前块一方面经过运动补偿预测，并且参考图片中由当前块的运动矢量参考的部分位于两个不同采样的区域(即与不同场景采样密度/分辨率相关联的图片区域204)中，就可以适应图片内的rwp区域的潜在不同的空间采样属性。

在一个实施例中，以下适用：

a)以2∶1(参考比当前)下采样时——全样本位置中的一部分将被视为亚像素位置，或者

b)以1∶2(参考比当前)上采样时——执行亚像素内插并将得到的样本视为全像素样本，或者

c)否则，不改变，进行常规运动补偿预测

以下面的图20a和图20b中具有两个区域(左侧和右侧)的图片为例，每个区域有4×4个样本，但描绘了不同的视角，即图片的左边描绘了具有相对较小视角但具有较高分辨率/保真度的图像内容。

例如，在图20a的以下图示中，右边为当前图片202的图片区域204中的部分260，以及参考图片的图片区域204中的图片部分262。所描绘的部分260和262均为4×4个编码样本宽，编码样本由十字264表示。由于不同的场景采样密度/分辨率，部分260和262属于不同的视角。更准确地说，尽管两个部分260和262由相同数量的编码样本组成，但是与右边部分260相比，左边部分262描绘了具有相对较小视角，但更高分辨率/保真度的图像内容，比率为2∶1。

所有全像素样本位置或编码样本位置在图中均以十字来表示。显然，左边样本的2×2子集266(即标有虚线旋转十字的位置处的样本)与位于较低采样分辨率的区域版本相对应，即左边由268指示的这些2×2样本描绘了在右边的4×4样本处的相同视角。

在该示例中，对于情况a)，右侧的虚线矩形268示出了当前块，其具有指向左边的样本位置的运动矢量270。在这种情况下，经编码的全像素位置的一部分被视为亚像素位置，并且仅考虑子集(旋转的虚线十字)作为参考(再次由红色虚线矩形266包围)。

反之亦然，在情况b)中，如下面的图20b所示，当当前块如红色虚线矩形272标记那样位于左边并且参考块以相对较低的采样(1∶2)位于右边时，亚像素样本位置(通过旋转的十字276指示)被视为全样本位置以用于参考，且复制的部分由276指示。

注意，在图20b中，部分260是参考图片中的区域，且部分262是当前图片中的区域，部分260所位于的图片区域的场景采样密度/分辨率比图片部分262所位于的图片区域204的场景采样密度/分辨率低。换言之，例如，如果分辨率比率为1∶2，则可以使用高分辨率的现有样本(即左边的十字264)并将其视为低分辨率块276的亚像素。例如，在块的分辨率比率为1∶2的情况下，如果运动矢量将考虑低分辨率而指向整数采样本位置，则可以跳过高分辨率块272中的每第二个样本。如果考虑低分辨率，则高分辨率块的这些被跳过的样本中的每一个将与半像素样本相对应。

根据另一实施例，可以基于打包图片202内的区域的属性，在编码器和解码器中缩放运动矢量预测子，打包图片202包含要为其预测运动矢量的当前块和形成某个运动矢量预测子的源的预测子块。例如，图21示出了具有两个图片区域204a和204b的打包图片202，其中左区域204a示例性地在水平方向上相对于在图21中左边使用附图标记200示出的未打包图片向下缩放，未打包图片200被细分为与图片区域204a相对应的场景区域206a和与图片区域204b相对应的场景区域206。当使用帧间预测对虚线块280进行编码时，将块280定位在图片区域204b中，示例性的运动矢量候选282(即用于对位于图片区域204a中的相邻块284进行编码的运动矢量)根据其图片区域204在编码之前经历的重采样进行缩放，或者更准确地说，分别根据图片区域204a和204b之间的场景采样分辨率差异来缩放。在具体示例中，运动矢量282的水平分量将根据场景采样分辨率方面的差异增加，然后将其用作当前块280的运动矢量候选286。因此，所使用的候选286将表示相邻块284的运动矢量282的缩放版本。

下面的图22示出了如何对属于高分辨率区域204b的两个块280、284执行缩放。注意，假设图片202的低分辨率区域204a仅在水平域中以1∶2的缩放因子被下采样。

在打包图片域中缩放预测子是在未打包域200中考虑mv预测子的结果。在图22中，示出了如何将(打包图片290中的)预测子mv映射到未打包图片200中的另一个矢量292。更具体地，在给定的示例中，我们将着重于其水平分量mvx，因为垂直分量不经过来自rwp208的任何缩放。水平分量mvx被分割为两部分，即mvx1(运动矢量290中位于低分辨率区域204a中的部分)和mvx2(运动矢量290中位于高分辨率区域204b中的部分)，它在未打包域200中导致2×mvx1+mvx2的水平分量(针对低分辨率区域取1∶2下采样因子)。未打包域中的预测子294是用于当前块280的预测子，其具有水平分量2×mvx1+mvx2，当前块280的图像在未打包域200中表示为280′。同时需要将该预测子294转换回打包域，由此产生预测子矢量296。然而，当前块的该运动矢量296具有属于不同分辨率区域206a、206b的两个不同部分，即2×smvx1和smvx2，与未打包域200中讨论的一样，即2×mvx1+mvx2＝2×smvx1+smvx2)。这导致打包域202中的经缩放的运动矢量296具有等于smvx1+smvx2的水平分量。

可以相对于块中心的位置和区域的位置计算所列出的运动矢量分量(和部分)。例如，在上述示例中(朝向左的mv具有正号)

-mvx2＝块中心-区域边界

-mvx1＝mvx-mvx2

-smvx2＝块中心-区域边界(在未打包域中)

-2xmvx1＝2xmvx1+mvx2-smvx2

图15a的编码器和图15b的解码器的编码/解码的可能依赖性的另一实施例涉及滤波参数。在诸如hevc或avc的现有技术视频编解码器中，可以基于要滤波的相邻块的属性来导出诸如后置滤波器或环路滤波器或去块滤波器之类的滤波器的参数。滤波器参数例如可以涉及滤波器强度、滤波器的传递函数、滤波器核大小或去块滤波器范围。在编码器和解码器侧确定这样的滤波器参数所基于的属性例如可以是诸如帧内或帧间的预测模式、块大小等。如果在进行编码之前在图片202内混合了不同分辨率的内容，环路去块滤波步骤中未采取特殊措施，则例如，这可能会导致沿着两个这样不同采样的区域之间(例如如图23所示的两个不同采样的图片区域204a和204b之间)的边界的视觉伪像。这是由于以下事实：在被解码和在显示器上呈现之间，两个区域204a和204b可以被重采样为具有相等的分辨率，即每个场的样本，并且两个区域204a和204b内由滤波器改变的样本(即滤波器范围300内的样本)可以占据不同程度的视场和视野。为了在这些情况下防止视觉伪像，根据一个实施例，根据相邻图片区域204a和204b相对于彼此的分辨率修改这种滤波器的强度或诸如滤波器范围300的其他滤波器参数，即修改由滤波过程考虑/改变的来自滤波边界的样本数量。这在图23中示出。

根据另一实施例，编码/解码过程对场景划分208的依赖性例如涉及用于诸如环路去块滤波过程的滤波过程的参考样本导出。

当图片内的区域被打包时(例如，跨区域使用不同的水平和垂直重采样，并且将区域重新布置以导出矩形图片平面)，打包图片中的相邻样本在未打包图片中可能不相邻。因此，不希望对具有这些属性的边界天真地进行滤波。代替地，作为本发明的一部分，rwp信息用于导出打包图片中在未打包图片中具有相邻关系的样本，并且使用这些样本用于滤波过程。

例如参见图14b。这里，图像区域204c和204b之间的分界面是人为的或场景不连续的分界面。也就是说，图片区域204c和204b中在打包域中或在图片202内在该分界面310处彼此邻接的部分在该场景200中不彼此邻接。因此，完全可以中断或避免跨该分界面310进行滤波。然而，根据备选方案，根据刚刚概述的实施例，编码器和解码器用从图片202的部分获得的样本填充相应滤波器的滤波器核，该滤波器核从当前滤波的图片区域延伸超出分界面310到相邻图片区域，例如从图片区域204c到图片区域204d，在刚刚概述的示例的情况下，该图片202的部分与当前滤波的图片区域在场景200中在该分界面310(例如图片区域204a的左边缘侧)处邻接。在图14b的示例中，如果图片区域204b当前被滤波并且滤波器核延伸到分界面310之外，则可以通过使用图片区域204a的右边缘部分来填充它，如通过观看场景域200看到的那样。

根据另一实施例，关于量化方面的编码和解码，视频编码器和解码器示出了场景划分依赖性。

在对视频编解码器中的运动补偿预测的图片的残差信号进行变换时，浮点变换系数通常在编码器侧经历有损量化。除了根据给定步长(量化参数或qp)进行均匀量化外，最新的编解码器还允许朝着非均匀性更改量化，例如通过根据变换系数基频将缩放因子并入量化。这允许实现主观优化的编码方案。虽然这样的缩放列表可以在解码器侧被先验地知道并且可以通过比特流信令来激活和索引，但是也可以在比特流中发送针对每个图片定制的缩放列表。

当打包图片中的区域描述具有变化特性的内容时，可以通过对区域的特性定制缩放列表来实现编码效率的提高。例如，这些特性可以包括分辨率/采样，还可以包括内容的性质等等。因此，以每个图片区域204为基础传信这些定制的缩放列表是可行的。图24a示出了一个实施例，其中scaling_list_data()[i]是语法结构，该语法结构携带第i个区域的缩放列表的系数。

经编码的图片202内的各个部分或区域204可以随后参考从切片首部或图片参数集所传信的缩放列表之一，例如按照列表scale_list_data()[i]的索引。备选地，num_scaling_lists_areas_minus1可以等于rwp中的区域数，从而隐式地为每个单独的区域传信缩放列表。

也就是说，根据刚刚概述的实施例，图15a的视频编码器和图15b的解码器允许子图片级设置，具体地，量化参数的图片区域204级设置。量化参数控制量化的量化噪声的空间频谱的频谱形状。例如，参见图24b。图24b示出了变换块350，视频编码器220可以将变换块350编码到数据流224中，以便对预测残差中的一个块进行编码。视频编码器已使用某种变换获得了变换块350，该变换对相应的残差预测块在x和y方向上进行频谱分解。变换块350的预测系数与不同的水平频率fx和垂直频率fy相对应。例如，dc变换系数值位于左上角，x和y中的最高频率分量位于右下角，二者分别以352和354表示。刚刚讨论过的量化参数可以以使得它可以在一个图片202内的图片区域204之间变化的方式编码到数据流224中，例如通过控制将用于对变换350的变换系数以非均匀方式进行量化和反量化的量化步长来控制量化噪声的空间频谱的频谱形状。也就是说，代替针对变换350的所有变换系数，均等地缩放用于对变换350的变换系数进行量化的量化步长，本文讨论的量化参数不同地改变将要应用于对变换350的变换系数进行量化和反量化的量化步长。这种缩放可以通过在量化之前进行变换系数缩放同时保持均匀的量化步长来实现。例如，量化参数确定要用于变换350的变换系数的量化步长的倾斜或频谱变化。

也就是说，换言之，编码器15a和解码器15b可以允许具有在频谱上变化的粗糙度的量化和反量化，即在变换350的变换系数352上变化，使得量化噪声继而也在频谱上变化。量化噪声在空间频率fx和fy上的变化可以通过在量化之前对变换系数352进行缩放并在解码器侧对经量化的变换系数进行逆缩放来完成。更准确地说，可以由编码器针对图片的不同区域改变的至少一个量化参数可以针对变换350的每个变换系数352定义缩放因子。这些缩放因子定义了不均匀的频谱形状。对于每个区域，至少一个量化参数可以例如分别指示每个变换系数353的缩放因子，或者针对被细分为变换350的子块的不同的频谱区域变换350指示缩放因子，其中，变换350按照行和列被细分或者被细分为不同大小的子块。备选地，至少一个量化参数可以根据参数化的二维函数来确定由缩放因子定义的频谱形状，该二维函数定义了缩放因子在变换系数352上的走向。编码器将例如在使用均匀量化函数(即，对于变换350的所有变换系数352相等的量化函数)进行量化之前，将每个变换系数352除以各自的缩放因子。解码器将接收每个区域的量化参数，并因此接收针对每个变换系数352的所得的缩放因子，并且通过将相应变换系数352与所接收的缩放因子相乘来对所接收的经量化的变换系数352进行缩放，由此根据所接收的量化参数在频谱上对量化噪声进行整形，即针对当前图片的每个区域单独地整形。

在继续本申请的另一方面并描述关于该方面的实施例之前，应当注意，刚刚提到的改变量化参数以改变图片上的量化噪声的空间频谱的空间形状的可能性也可以独立于到目前为止参考图15a和图15b讨论的编码和解码的场景划分依赖性来使用。因此，图15a和图15b可以涉及编码器和解码器的示例，并且使得无论编码视频序列的图片202是否经历了任何场景划分以及数据流224是否包括场景划分描述228，都能够对刚刚提到的量化参数进行子图片级设置。然而，数据流224在任何情况下都将包括诸如图24a中关于量化参数的子图片级变化的360之类的信息，通过该信息，量化噪声的频谱形状如刚刚概述的那样变化。在这方面，应当注意，除了参考图24b解释的那些以外，还存在影响噪声色度的其他可能性。

参考分别示出编码器和解码器的图25a和图25b详细描述后一种情况。图25a的编码器可以是视频编码器，但不是必须的。使用附图标记320指示的图25a的编码器接收图片302，图片302可能是也可能不是视频322的图片，并且使用基于变换的预测编码将图片302编码到数据流324中。也就是说，编码器320可以使用一个或多个预测模式来预测图片302的块，预测模式是例如空间预测模式，以及在视频编码的情况下是例如时间预测模式，并且使用变换编码对预测残差进行编码。为此，编码器320可以将图片302细分为变换块，即块304，编码器320然后分别对块304进行变换306以产生变换块350。为了进行量化，编码器320使用由上述缩放因子定义的上述频谱形状309对该变换350进行逆缩放，然后对结果进行量化311，以便针对每个变换块304产生经量化的变换系数或经量化的变换313。步骤311处使用的量化函数可以是对变换系数不变的，即在变换系数位置上是均匀的，而定义频谱形状309的缩放因子在变换350内的变换系数上变化并且通过前述至少一个量化参数来定义。然而，编码器320在图片302的子区域(例如子区域304)中改变该图片302内的至少一个量化参数。在数据流324中，编码器320传信量化参数328，该量化参数328为每个子区域304定义频谱形状309。也就是说，信息328针对每个子区域304定义频谱形状309，使得与相同图片302的一子区域内的变换块304相比，不同的频谱形状用于另一个子区域304内的变换块304。编码器320可以决定每个区域304的量化参数328的设置，作为码率控制和/或成本最小化的一部分。备选地，编码器320可以根据图片302的某个其他划分来设置量化参数328，例如根据将图片302划分为不同空间分辨率的划分，图片302以该不同空间分辨率进行编码，其示例参考随后的附图(尤其图28)，或者如参考图24a和图24b讨论的形成不同rwp区域的区域。在那种情况下，这样的其他划分的信号化可以同时传信图片302到区域304的划分，并且可选地，还可以根据用于区域304的其他设置推断出每个区域304的量化参数的设置，例如目标空间分辨率，图片302的相应部分(即相应区域304)以该目标空间分辨率编码到数据流324中。

图25b示出了适合图25a的编码器320的解码器330。它被配置为接收数据流324并从中重构图像302′。为此，解码器使用基于变换的解码，将图片302细分为变换块304，将图片302细分为区域304，并且使用数据流324中的量化参数信息328，以便在反量化中对每个区域使用相同的量化参数。也就是说，解码器330从数据流322中获取变换313的经量化的变换系数，使用由相应区域304(相应变换313的相应块304位于其中)的量化参数确定的频谱形状309对它们进行缩放，并且执行到空间域的逆变换以进行重构。

如已经描述的，可以以除了组合频谱均匀量化器和频谱变化的缩放之外的另一种方式来控制量化粗糙度的频谱变化。量化参数可以由与变换350的不同部分有关的缩放因子列表来体现，或者可以以另一种方式(例如使用参数化函数)定义频谱形状309。此外，应当注意，编码器和解码器可以不是基于变换的编码器。也就是说，它们可以以与经量化的变换系数的形式不同的方式将图片302编码到数据流324中。量化例如可以代替地在空间域中进行。此外，也可以使用子带分解。

代替地，可以使用图片302。

此外，如上所述，不需要在数据流中重新发送频谱形状309。而是，可以以默认方式针对编码器和解码器设置量化参数，其中仅指示使用了该预定义的量化参数。例如，对于一些区域304，可以将默认量化参数的使用指示为活跃的，而对于区域304内量化参数指示为不活跃的变换块，使用频谱均匀缩放，即量化噪声在频谱上是平坦的。在更进一步的实施例中，若干频谱变化的频谱形状309可以被预先设置或者表示编码器和解码器处的默认设置，其中使用针对每个区域304指示哪个默认量化参数设置用于定义频谱形状309的量化参数。甚至它们的混合方式也是可行的：对于一些区域304，量化参数可以在数据流324中显式地定义频谱形状309，而无需索引任何预定义的默认设置。在后一种情况下，量化参数然后可以根据由编码器例如根据某种成本最小化确定的方式和/或例如涉及码率控制的方式来定义频谱形状。

参考图1a和1b，已经描述了视频编码器和视频解码器允许视频被编码时的目标空间分辨率的时间变化的可能性。根据下文中描述的实施例，可能允许以子图片分辨率对某个视频进行编码。根据一个实施例，子图片特性与预测残差编码有关。例如，与根据图1a和图1b讨论的变型b)的具有全图片重采样(经重构的图片重采样)的编解码器系统类似，可以想到在子图片的基础上实现如图5a所描绘的系统。在这样的系统中，每个图片上的区域以彼此不同的分辨率来描绘。重构之后，图像被重采样到相等的采样密度。

同样，可以想到基于关于图1a和图1b讨论的变型c)来实现图5b中描绘的系统，其中选择性地在子图片的基础上执行重采样。在这样的系统中，残差信号在每个子图片的基础上进行重采样，例如每个ctu、图块、切片或其他方式定义的区域(rwp)。为了重构经编码的图像，将残差信号重采样回全分辨率。因此，dbp22/36填充有参考空间分辨率的图片，同时运动补偿和环路滤波器也以全分辨率出现。在这样的系统中，残差信号的重采样是编解码器的规范部分，因此，应明确规定重采样之前/之后的滤波器参数和样本阵列的大小，例如相对于ctu大小进行规定。

图26示出了这种系统内的经编码的图片400，其中以ctu为基础(即以ctu402为单位)执行残差重采样。因此，根据显式信令(resample_idc)来调整携带残差信号样本的块结构和得到的样本的数量。

语法元素resample_idc可以以每个单独的ctu402传信，或者可以以每个较大的ctu组(例如切片或图块或rwp区域)合并的方式传信。图27中的语法表给出了每个区域信令变型的示例。

同样，需要在编码器和解码器侧知道确切的子图片滤波器参数，例如滤波器核，以确保避免二者之间的漂移。由于子图片的特性可能在整个图片平面和不同的内容上相差很大，因此建议允许传信区域特定的滤波器参数。携带滤波器参数(例如与图片区域相关联的核)的信令可能是可导出的。

因此，根据刚刚概述的方面的实施例可以是根据图1a的视频编码器和根据图1b的视频解码器，其中，通过以目标空间分辨率进行编码/解码的方式对视频的图片进行编码/解码，其中该目标空间分辨率以将图片细分为的图片区域为单位变化。例如，图28示出了将视频12的图片16a至16c细分为图片区域500，并且参考图片16a示例性地通过点示出了针对这些区域500选择了不同的目标空间分辨率。例如，使用图27中所示的语法在数据流中传信变化。在内部，编码器和解码器的解码图片缓存器22和36分别可以以参考空间分辨率缓存视频的图片，参考空间分辨率是例如视频12的原始空间分辨率或者上面已经参考图1a和图1b讨论的一些其他空间分辨率。因此，目标空间分辨率在空间方面的变化可以与预测残差编码有关。在内部，视频编码器和视频解码器可以根据上面讨论的变型b或变型c进行操作。如以上已经指出的，参考图1a和1b以及图26至图28描述的实施例可以与以上实施例结合。因此，就编码器和编码器的内部结构而言，如图2a至图14中进一步指定的关于图1a和图1b的描述也应适用于刚刚概述的实施例。此外，图15a至图24b的变化的量化参数功能和变化的滤波器功能也可以在根据刚刚概述的实施例的编码器和解码器中使用。

如参考图26至图28讨论的，可以以使得在编码器10中的一些率失真优化中，对每个ctu或每个图片被细分为的预测单元确定目标空间分辨率的方式来实现图1a的编码器10和图1b的解码器30。编码器和解码器将按照每个ctu、每个预测单元或一些其他图片块执行重采样，或者如分别参考图4b和图5b的变型b和c描述的至少针对不具有参考空间分辨率的那些ctu、预测单元或一些其他图片块执行重采样。这样做将获得或导致更高的编码效率。例如，当以比参考空间分辨率(例如流入的视频12的原始全分辨率)低的目标空间分辨率进行编码时，对残差的经采样的版本进行编码，由此减少系数的数量。可以在数据流14中传信这种模式作为新模式或利用附加标志传信这种模式。可以按每个块(例如每个ctu)，即每个树根块来进行传信，如图26所示，其中，块402被示为树根块，如图26的右边所示。图29示出了一个示例，其中标志(即res_subsampled_flag)传信是否应用了重采样，在这种情况下，例如，仅存在用于各个块的目标空间分辨率的两个可能值。备选地，如果图29的标志被设置，则可以在数据流中传信图29中未示出的另一语法元素，然后该语法元素指示目标空间分辨率与参考空间分辨率不同，而图29的标志未被设置则指示该标志所指的块具有参考空间分辨率，即无需重采样。

图29示出了可以在变换块级别上发送该标志，但是也可以在编码单元级别上改发送该标志，预测模式(即帧内/帧间预测模式)在编码单元级别上变化和传信。因此，根据图30，将不会在每个较小的块处重复图29的标志，因为这将增加信令。例如，ctu内的所有residual_coding()语法都可以使用相同的标志。

因此，图20和图30的标志表示在每个图片内传信目标空间分辨率的变化的可能性。

图31示出了可以不针对某个图片被划分为的每个块发送上述标志res_subsampled_flag。如以上描述中解释的，图片可以由编码器和解码器细分为不同大小的块，并且根据图31的示例，可以对整个视频或对视频的一些图片序列传信，例如仅对某个块大小范围内的某个大小的块传送与某个参考空间分辨率相比变化目标空间分辨率的指示。图31提供了一个示例。这里，假设残差的亚采样对于给定大小的块更有益，例如，为大块带来更多的增益。因此，在数据流14中添加语法，从而避免了用于对某个图片被划分为的所有块改变目标空间分辨率的语法。换言之，图31的示例避免了在某个图片上改变目标空间分辨率所花费的信令开销对于率失真增益造成损耗。根据图31的示例，数据流14以以下方式对图片序列传信针对该图片序列的图片传信目标空间分辨率：图片被划分为变化大小的块，并且以参考空间分辨率对预定块大小范围之外的所有块进行编码/解码。仅对具有预定块大小范围内的块大小的其他块，在数据流中14中传信针对相应块选择哪个目标空间分辨率。因此，在图31中，sps包含标志mixed_resolution_enabled_flag，其开启目标空间分辨率跨图片地空间变化，并且如果设置了该标志，则块大小范围由两个语法元素确定，即log2_min_res_subsampled_flag_present_block_size_minus3和log_diff_max_min_res_subsampled_flag_present_coding_block_size。采取目标空间分辨率指示的cu级传输，即示例性地通过res_subsampled_flag，图32示出了为某个块指示目标空间分辨率的相应语法元素将仅在块大小落在所传信的预定块大小范围内的情况下发送。

图33关于以下问题。前述的res_subsampled_flag本身不能提供更好的率失真性能，因为下采样和上采样只会导致失真；但是需要描述经采样的块的编码程度如何。因此，对于那些具有与参考空间分辨率不同的目标空间分辨率的块，可能添加delta_qp，即与未重采样的块相比的量化参数的变化。图33表示一个示例，其中delta_qp作为sps的一部分在数据流14中发送，但是在pps内发送也是可能的。也就是说，这里，语法元素delta_qp_4_subsampled_blocks将针对那些某个图片被细分为并进行重采样(即不等于目标空间分辨率)的块指示应应用哪个量化步长，或者更准确地说，指示与用于以参考空间分辨率编码的未重采样的块的量化步长相比的偏移。

类似地，可以执行2∶1的亚采样因子，或者亚采样因子可以是灵活的并被传信。可以按每个ctu大小或不同帧的每个时间级别传信并固定一个以上的亚采样因子。

虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件设备(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。

本发明的数据流可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。

取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、dvd、蓝光、cd、rom、prom、eprom、eeprom或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。

通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。

换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。

因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。

因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。

另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。

另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。

根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。

本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。

本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。

本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。

本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。

上述实施例对于本发明的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。