用于对图像进行编码或解码的方法和装置制造方法

用于对图像进行编码或解码的方法和装置制造方法
【专利摘要】视频信号至少具有与第一颜色相对应的第一信号成分以及与该第一信号成分相关联且与第二颜色相对应的第二信号成分。各信号成分被分割成块，并且各块具有一个或多个可编码单位。针对第二信号成分的至少一个可编码单位的编码能够在第一模式和第二模式之间切换。用于对信号进行编码的方法包括以下步骤：对于第二信号成分的至少一个可编码单位，在与对应于所关注的第二信号成分可编码单位的第一信号成分的编码块或可编码单位相关地满足至少一个预定条件的情况下，排除使用第二模式对所关注的第二信号成分可编码单位进行编码。
【专利说明】用于对图像进行编码或解码的方法和装置

【技术领域】
[0001] 本发明涉及用于对图像进行编码或解码的方法和装置。特别地但并非排他地，本 发明更具体地涉及根据研发中的高效率视频编码（HEVC)标准来对图像的图像部分进行编 码。

【背景技术】
[0002] 视频应用不断趋向于更高的分辨率。伴随着朝向更高质量和分辨率（例如，每帧 的更高像素数、更高帧频、更高位深度或扩展色域）的连续演变，大量视频材料采用数字形 式经由广播信道、数字网络和包媒体而被分发。该技术演变对于在经济地为最终用户带来 HDTV分辨率和高数据速率方面已面临困难的分发网络带来更高的压力。因此，任何进一步 的数据速率增加将会对这些网络施加附加压力。
[0003] 为了应对该挑战，ITU-T和IS0/MPEG于2010年1月决定推出命名为高效率视频 编码（HEVC)的新视频编码标准计划。
[0004] HEVC 编码解码设计与诸如 H. 263、H. 264、MPEG-l、MPEG-2、MPEG-4 或 SVC 等的以往 所谓的基于块的混合变换编码解码的设计相似。诸如由标准化机构ITU、IS0和SMPTE进行 标准化后的视频压缩算法等的视频压缩算法使用图像的空间冗余和时间冗余，从而生成与 这些视频序列相比大小缩小的数据位流。这些压缩技术使视频序列的传输和/或存储更加 1?效。
[0005] 要进行编码或解码的原始视频序列通常包括如图1所示的一连串数字图像。
[0006] 图1示出HEVC中所使用的编码结构。根据HEVC及其以前的前身的其中一个，原 始视频序列101是一连串数字图像"图像i"。如本身已知的，利用系数表示像素的一个或 多个矩阵来表示数字图像。
[0007] 将图像102分割成片103。片（slice)是图像的一部分或整个图像。在HEVC中， 这些片被分割成非重叠的最大编码单位（LCU)(还称为编码树块（CTB) 104)、通常是大小为 64个像素 X64个像素的块。而各CTB可以使用四叉树分解被迭代地分割成较小的可变大 小的编码单位（CU) 105。编码单位是基本编码元素，并且由最大大小等于CU的大小的预测 单位（PU)和变换单位（TU)这两个子单位所构成。预测单位与像素值的预测所用的CU的 分区相对应。各CU可以进一步被分区成最大为4个分区单位106。使用变换单位来表示通 过（例如可以是离散余弦变换（还已知为DCT)的）变换进行了空间变换的基本单位。可 以基于四叉树表示（107)来将CU分区成TU。
[0008] 将各片嵌入在一个网络抽象层（NAL, Network Abstration Layer)单位中。另 夕卜，将视频序列的编码参数存储在被称为参数集合的专用NAL单位中。在HEVC中，采用 如下两种参数集合NAL单位：首先，序列参数集（SPS, Sequence Parameter Set)NAL单 位，其收集在整个视频序列期间未改变的所有参数；以及其次，图片参数集（PPS，Picture Parameter Set)，其对可能针对各帧发生改变的不同值进行编码。HEVC还包括自适应参数 集（APS, Adaptation Parameter Set),其中该APS包含可能针对各片发生改变的参数。
[0009] 各图像可以由一个或多个图像成分（还称为颜色成分或通道）构成。这些颜色 成分是样本值的二维阵列的集合，其中该二维阵列的各条目表示诸如从中性灰度颜色向着 蓝色或红色（YUV)的亮度明度和色度颜色偏差的度量、或者红色、绿色或蓝色光成分强度 (RGB)的度量等的颜色成分的强度。YUV模型通常定义了一个亮度（Y)成分和两个色度（UV) 成分的颜色空间。通常，Y代表亮度成分（明度），并且U和V是色度（颜色）或色差成分。 4:2:0的YUV图像例如由一个亮度成分加上具有亮度成分的空间分辨率的四分之一（一半 宽度和一半高度）的两个色度成分构成。
[0010] 如图2和3分别所示，编码装置和解码装置包括能够执行编码/解码步骤的几个 部件。
[0011] 图2示出可被视为前身（H. 264/AVC)其中之一的超集的传统HEVC视频编码器20 的图。
[0012] 首先，利用模块201将原始视频序列101的各帧分割成编码单位（⑶）的网格。该 模块还控制片的定义。
[0013] 根据率失真标准来确定LCU向着CU的子分割以及CU向着TU和PU的分区。利用 "帧内"预测结果217在空间上或者利用"帧间"预测结果218在时间上对处理中的CU的各 PU进行预测。各预测结果是从同一图像或另一图像发出的像素块，其中根据该预测结果来 推导差块（或"残差"）。凭借预测结果块的识别和残差的编码，可以减少实际要编码的信 息量。
[0014] 编码帧具有（被称为P帧的根据一个参考帧而预测到的或者被称为B帧的根据两 个参考帧而预测到的）时间预测帧和（被称为内帧或I帧的）非时间预测帧这两种类型。 在I帧中，关于对CU/PU进行编码，仅考虑帧内预测。在P帧和B帧中，关于对CU/PU进行 编码，考虑帧内和帧间预测。
[0015] 在"帧内"预测处理模块217中，利用"帧内"预测结果（由当前图像的已编码的 信息构建的像素块）来预测当前块。模块202确定用于根据相邻PU像素来预测像素的预 测模式。在HEVC中，考虑多达35个方向。残差块是通过计算像素的帧内预测块和当前块 之间的差所获得的。因此，帧内预测块包括具有残差的预测模式。在模块203中对帧内预 测模式进行编码。
[0016] 关于用于"帧间"编码的第二处理模块218,两种预测类型是可能的。单预测（P 型）包括通过参考一个参考图片中的一个参考块来预测块。双预测（B型）包括通过参考 一个或两个参考图片中的两个参考块来预测块。利用模块204在当前PU和参考图像215 之间执行运动估计。该估计的目的其中之一是在这些参考图像215中的一个或几个参考图 像中识别一个（P型）像素块或几个（B型）像素块以使用这些像素块作为该当前块的预测 结果。
[0017] 利用使当前帧中的PU与其参考块（或预测块）相关的运动矢量来在参考帧中识 别参考块。利用模块205来实现帧间预测处理的后续阶段。该阶段在于：计算预测块和当 前块之间的差。该差的块是帧间预测块的残差。在帧间预测处理结束时，当前PU包括残差 和一个运动矢量。
[0018] 最后，利用模块206对当前PU的运动矢量进行编码。这两种编码（帧间或帧内） 由此供给了若干个纹理残差（当前块和预测结果块之间的差），其中在模块216中比较这些 纹理残差以选择最佳编码模式。
[0019] 然后，利用变换模块207对在帧间或帧内预测处理的结束时所获得的残差进行变 换。该变换应用于包括在CU中的变换单位（TU)。可以使用由模块206实现的所谓的残差 四叉树（RQT)分解来将TU进一步分割成较小的TU。在HEVC中，通常使用2级或3级的分 解，并且认可的变换大小来自于32 X 32、16 X 16、8 X 8和4X 4。变换基础源自于离散余弦变 换 DCT。
[0020] 然后，利用量化模块208对残差变换后的系数进行量化。然后，量化变换后的残差 的系数由熵编码模块209进行编码，并且被插入压缩后的位流210中。还利用模块209的 帮助对编码句法元素进行编码。该处理模块使用句法元素之间的空间依赖性来提高编码效 率。
[0021] 为了计算"帧内"预测结果或者对"帧间"预测结果进行运动估计，编码器利用所 谓的"解码"循环的模块（211、212、213、214、215)对已编码的块进行解码。该解码循环使 得可以根据量化变换后的残差来重建块和图像。
[0022] 因而，利用去量化模块211，通过对模块208所提供的量化变换后的残差应用逆量 化来对该残差进行去量化。逆变换模块212能够通过应用与利用模块207所实现的变换有 关的逆变换来重建块。
[0023] 如果残差来自于"帧内"编码模块217,则将所使用的"帧内"预测结果添加至该残 差，从而恢复与由于源自于有损变换（这里为量化操作）的损失而改变的原始块相对应的 重建块。
[0024] 另一方面，在残差来自于"帧间"编码模块218的情况下，合并当前运动矢量所指 向的块（这些块属于当前图像索引所指的参考图像215)，然后添加至该解码残差。这样，原 始块由于源自于量化操作的损失而改变。
[0025] 对重建信号应用最终环路滤波器219,从而减轻由于所获得的残差的高度量化所 产生的影响并且改善信号质量。在当前HEVC标准中，使用去块滤波器213、样本自适应偏移 (SAO) 220和自适应环路滤波器（ALF) 214这三种环路滤波器。
[0026] 然后,将滤波后的图像（还称为重建图像）存储作为参考图像215,从而使得能够 在针对当前视频序列的后续图像的压缩期间进行后续的"帧间"预测。
[0027] 图3示出相应的解码器30。更确切地，图3示出HEVC型的视频解码器30的框图。 解码器30接收位流210作为输入，其中该位流210与利用如图2的编码器那样的HEVC型 的编码器进行压缩后的视频序列101相对应。
[0028] 在解码处理期间，首先利用熵解码模块301的帮助对位流210进行解析。该处理 模块301使用以前熵解码后的元素来对编码数据进行解码。特别地，该处理模块301对视 频序列的参数集合进行解码以初始化解码器30，并且还对各视频帧的LCU进行解码。然后， 对与片相对应的各NAL单位进行解码。
[0029] 解析IXU的分区，并且识别⑶、PU和TU的子分割。解码器30相继使用帧内处理 模块307和帧间处理模块306、逆量化模块和逆变换模块、并且最后使用（具有与编码器20 中的环路滤波器相同的结构的）环路滤波器219,来对各CU进行处理。
[0030] 利用解析处理模块301的帮助来从位流210中解析针对当前块的"帧间"或"帧 内"预测模式。根据该预测模式，采用帧内预测处理模块307或帧间预测处理模块306。如 果当前块的预测模式是"帧内"型，则在帧内预测处理模块307的阶段304期间，利用邻近 的预测模式的帮助来从位流中提取预测模式并且进行解码。然后，通过模块303,利用解码 后的预测模式和当前PU的边界处的已解码像素来计算帧内预测块。根据位流301来恢复 与当前块相关联的残差然后进行熵解码。
[0031] 如果当前块的预测模式表示该块为"帧间"型，则利用模块304来从位流210中提 取运动信息并且进行解码。在逆运动补偿模块305中使用该运动信息，从而确定解码器30 的参考图像215中所包含的"帧间"预测结果块。以与编码器相似的方式，这些参考图像215 包括存在于当前解码中的图像之前并且根据位流进行了重建（因此先前进行了解码）的图 像。
[0032] 为了对在位流中已发送的残差块进行解码，解析模块301还能够从位流210中提 取残差系数。模块211和212分别能够进行逆量化和逆变换以获得残差块。将该残差块与 在帧内处理模块307或帧间处理模块306的输出处所获得的预测块相加。
[0033] 在针对当前图像的所有块的解码结束时，使用环路滤波器219来消除块效应 (block effect)并且改善信号质量，从而获得参考图像215。如在编码器处所进行的那样， 该处理模块首先采用去块滤波器213,然后采用SAO 220滤波器，并且最后采用ALF 214(在 图3的环路滤波器219内未示出）。
[0034] 利用解码器30如此解码后的图像构成了解码器的输出视频信号308,然后可以显 示并使用该输出视频信号308。
[0035] 更具体地，本发明的一个实施例涉及HEVC标准中所指定的被命名为"变换跳过 (Transform Skip) "的特定编码模式。在HEVC中，存在允许跳过（图2中的模块207所实现 的）变换步骤和（图3中的模块212所实现的）逆变换步骤的选项。在文献JCTVC-H0361 和文献JCTVC-10408中已向HEVC标准化组提出了变换跳过模式。该变换跳过模式已于2012 年5月在HM7(JCTVC-I1003)中正式通过。
[0036] 该模式涉及跳过变换处理，其中利用缩放处理替换该变换处理以保持与变换应用 时相似的信号范围。针对特定颜色成分块（例如亮度或色度成分帧内块），可以允许跳过。
[0037] 更确切地，在其当前设计（命名为"HM7"）中，仅允许由于帧内预测而产生的并且 具有4*4大小的亮度块或色度块以支持变换跳过模式。然而，变换跳过模式不限于该设计。
[0038] 为了使得该模式能够用于这些块，首先，使用设置在SPS中的高级标志来使针对 该序列的图像的变换跳过模式有效或无效。另外，将另一标志插入4X4块的预测残差信号 解码的句法中，以用信号通知变换跳过模式是否应用于该块。为了使得该模式能够用于给 定4X4块,必须将这两个标志设置为真。
[0039] 图4a更详细地示出HEVC解码器的如下部分，其中该部分用以解释在解码器处于 正常模式（还称为第一模式）的情况下、即在变换跳过模式（还称为第二模式）没有应用 于给定块的情况下的操作401。来自于熵解码模块301的解码系数先由逆量化模块211进 行处理，然后由逆变换模块212进行处理。将与预测残差样本相对应的由此产生的信号与 来自于帧内预测模块303的帧内预测信号相加。由此产生的信号308与重建样本相对应， 然后利用环路滤波器219处理这些重建样本。
[0040] 与此相比较，图4b示出HEVC解码器的用以解释在变换跳过针对所考虑的4*4块 有效的情况下的操作402的部分。利用熵解码器301对系数进行解码。利用解码模块403 对被称为"ts_f lag"的标志进行解码，其中该标志用信号通知该块是使用正常模式还是变 换跳过模式。根据利用模块404所检查的该标志的值，应用正常模式或变换跳过模式。在 正常模式中，利用逆量化模块211并且利用逆变换模块212对解码后的系数进行处理。在 变换跳过模式中，利用逆量化模块211并且利用逆缩放模块405对解码后的系数进行处理。 然后，将与预测残差样本相对应的由此产生的信号与来自于帧内预测模块303的帧内预测 信号相加。由此产生的信号308与重建样本相对应，然后利用环路滤波器219对这些重建 样本进行处理。
[0041] 图5示出HEVC编码器中的仅针对正常模式（即，在变换跳过模式无效的情况下） 的操作501。在正常模式中，由于来自原始图像101的信号与帧内预测模块217和帧内/帧 间选择模块216所传送的信号之间的差而产生的帧内预测残差由变换模块207进行变换、 由量化模块208进行量化，并且将由此产生的量化系数发送至能够传送输出位流210的熵 编码模块209。这些量化系数还由逆量化模块211进行逆量化并且由逆变换模块212进行逆 变换以重建解码后的残差信号，其中将该残差信号与帧内预测信号相加以生成重建信号。 然后，通过环路滤波器219处理该重建信号。对于帧间预测，重建图片之后被存储（215)并 且用于进行运动预测（218)。
[0042] 图6示出HEVC编码器中的、在针对原始图像101的4X4的亮度或色度块检查正 常模式和变换跳过模式这两者的情况下的操作601。除正常模式的处理（上述的变换、量 化、逆量化、逆变换）外，还通过使用以下模块来进行变换跳过模式的处理。由于来自原始 图像101的信号与帧内预测模块217和帧内/帧间选择模块216所传送的信号之间的差而 产生的帧内预测残差由缩放模块602进行缩放、由量化模块208进行量化，并且将由此产生 的量化系数发送至熵编码模块209。这些量化系数还由逆量化模块211进行逆量化并且由 逆缩放模块603进行逆缩放以重建残差信号，其中将该残差信号与帧内预测信号相加以生 成重建信号。通常基于如下的率失真标准来应用决定模块604所作出的决定以在正常模式 和变换跳过模式之间进行选择,其中该率失真标准比较这两个模式的率失真成本并且选择 率失真成本最低的模式。利用编码模块605将表示是应用正常模式还是应用变换跳过模式 的被命名为ts_flag的标志编码在输出位流210中。然后，通过环路滤波器219来处理该 重建信号。对于帧间预测，重建图片之后被存储（215)并且用于进行运动预测（218)。


【发明内容】

[0043] 本发明人已注意到以下：在统计上，色度块在与它们相应的亮度块状态或诸如色 度块的预测模式等的其它性质有关的特定结构中，使用变换跳过模式。根据这些知识，可以 使与变换跳过模式有关的编码和解码处理更加高效。
[0044] 所提出的解决方案具有规范性方面和非规范性方面这两个方面。
[0045] 首先，规范性解决方案涉及编码处理和解码处理的规格。根据当前HEVC规格 (HM7.0)，针对各块（亮度和色度）插入标志，以用信号通知该块是否是T-Skipped (T-跳 过）（即，是否应用了变换跳过模式）。然而，本发明人意识到在特定结构中，可以推断出该 标志并且无需对该标志进行编码。因而，在所有情况下均对该标志进行编码由于花费了不 必要的位来对该标志进行编码而导致缺乏编码效率。
[0046] 其次，非规范性解决方案涉及编码处理规格。该编码处理包括：利用正常模式或 变换跳过模式进行编码后的各块的处理。通常，编码器首先利用正常模式进行编码并且测 量相应的率失真成本。然后，该编码器利用变换跳过进行编码并且测量相应的率失真成本。 所保留的模式是使率失真成本最小化的模式。然而，本发明人意识到在特定结构中，不需要 该处理并且可以在无需任何检查的情况下隐含地选择正常模式。因而，当前HEVC规格导致 不必要的复杂性。
[0047] 本发明是为了解决前述担心中的一个或多个而设计的。
[0048] 根据本发明的第一方面，提供一种用于对视频信号进行编码的方法，所述视频信 号至少具有与第一颜色相对应的第一信号成分以及与所述第一信号成分相关联并且与第 二颜色相对应的第二信号成分，其中各所述信号成分被分割成块，各所述块具有一个或多 个可编码单位，并且针对所述第二信号成分的至少一个可编码单位的编码能够在第一模式 和第二模式之间进行切换，所述方法包括以下步骤：
[0049] 对于所述第二信号成分的至少一个所述可编码单位，在如下情况下，排除使用所 述第二模式对所关注的第二信号成分可编码单位进行编码：
[0050] ?与对应于所关注的第二信号成分可编码单位的所述第一信号成分的编码块或可 编码单位相关地满足至少一个预定条件；以及/或者
[0051] ?与所关注的第二信号成分可编码单位的预测模式或所关注的第二信号成分可编 码单位所属的块的预测模式相关地满足至少一个预定条件。
[0052] 这样，本发明的第一方面允许加速编码处理。可选地，在排除了第二模式的使用的 情况下，可以省略用信号通知编码器使用了哪个模式对可编码单位进行编码的标志，从而 节省了带宽。
[0053] 更确切地，由于在编码处理中避免了与色度块有关的不必要检查，因此该解决方 案在几乎没有对编码效率产生影响的情况下加速了编码处理。
[0054] 此外，通过避免对用信号通知针对一些色度块使用变换跳过模式的不必要标志进 行编码，获得了减少所需带宽的编码效率增益。
[0055] 优选地，被编码的视频信号是通过形成原始视频和预测信号（例如，帧内或帧间 预测信号）之间的差所获得的视频残差。
[0056] 当然，本发明的第一方面可以应用于分别表示两个以上的颜色的两个以上的信号 成分。例如，第一信号成分可以表不亮度成分，并且第二信号成分和第三信号成分可以表不 两个色度成分。
[0057] 例如，可编码单位可以是变换单位。
[0058] 在优选实施例中，所述第一模式中的编码可以包括用于将可编码单位变换成系数 的变换步骤，并且所述第二模式中的编码排除所述变换步骤。
[0059] 根据一个实施例，所述预定条件或一个所述预定条件可以如下：与所关注的第二 信号成分可编码单位相对应的第一信号成分块仅包括一个可编码单位。
[0060] 根据另一实施例，所述预定条件或一个所述预定条件可以如下：与所关注的第二 信号成分可编码单位相对应的第一信号成分块是具有至少两个可编码单位的子分割块，并 且所述第二模式用于对子分割后的第一信号成分块的少于预定数量的可编码单位进行编 码。
[0061] 根据另一实施例，所述预定条件或一个所述预定条件可以如下：与所关注的第二 信号成分可编码单位相对应的第一信号成分块是具有至少两个可编码单位的子分割块，并 且所述第二模式不用于对子分割后的第一信号成分块的任何可编码单位进行编码。
[0062] 根据另一实施例，所述预定条件或一个所述预定条件可以如下：所关注的第二信 号成分块的预测模式不同于预定预测模式或者不同于预定预测模式的集合中的各预测模 式。
[0063] 优选地，所述预定预测模式可以是平面模式、直流模式、水平模式、垂直模式、LM模 式、对角左下、对角右上和对角左上其中之一，或者所述预定预测模式的集合包括这些预测 模式其中之一或组合。
[0064] 可以组合前述实施例：例如，必须满足两个预定条件。
[0065] 根据一个实施例，在不满足所述预定条件、或者没有一个所述预定条件满足的情 况下，所述方法可以包括以下步骤：基于预定标准来选择使用所述第一编码模式和所述第 二编码模式中的哪个编码模式对所关注的第二颜色成分可编码单位进行编码。
[0066] 在优选实施例中，所述第一信号成分可以是亮度信号成分，并且所述第二信号成 分是色度信号成分。
[0067] 在优选实施例中，所述第一信号成分可以是色度信号成分，并且所述第二信号成 分是亮度信号成分。
[0068] 优选地，所述可编码单位或各所述可编码单位是变换单位。
[0069] 在优选实施例中，所述第一模式是正常HEVC模式，并且所述第二模式是变换跳过 HEVC模式。
[0070] 优选地，所述视频信号表示预测残差。
[0071] 根据一个实施例，所述方法还包括以下步骤：
[0072] 针对没有排除所述第二模式的各所述第二信号成分可编码单位，将如下标志发送 至解码器，而针对排除了所述第二模式的各所述第二信号成分可编码单位，没有将所述标 志发送至所述解码器，其中所述标志能够由所述解码器使用以判断使用所述第一模式和所 述第二模式中的哪个模式来对所关注的可编码单位进行编码。
[0073] 根据本发明的另一方面，提供一种用于对视频信号的系数进行解码的方法，所述 视频信号至少具有与第一颜色相对应的第一信号成分以及与所述第一信号成分相关联并 且与第二颜色相对应的第二信号成分，其中各所述信号成分被分割成包括至少一个系数的 块，各所述块具有一个或多个可解码单位，以及针对所述第二信号成分的至少一个可解码 单位的解码能够在第一模式和第二模式之间进行切换，所述方法包括以下步骤：
[0074] 对于所述第二信号成分的至少一个可解码单位，在如下情况下，排除使用所述第 二模式对所关注的可解码单位进行解码：
[0075] ?与对应于所关注的第二信号成分可解码单位的所述第一信号成分的编码块或可 解码单位相关地满足至少一个预定条件；以及/或者
[0076] ?与所关注的第二信号成分可解码单位的预测模式或所关注的第二信号成分可解 码单位所属的块的预测模式相关地满足至少一个预定条件。
[0077] 例如，所述可解码单位可以是变换单位。
[0078] 在一个实施例中，所述方法还包括以下步骤：在满足所述预定条件或至少一个所 述预定条件的情况下，生成具有表示编码器不使用所述第二模式的预定值的标志。
[0079] 根据一个实施例，所述第一模式中的解码可以包括用于将系数变换成可解码单位 的逆变换步骤，并且所述第二模式中的解码排除所述逆变换步骤。
[0080] 根据一个实施例，所述预定条件或一个所述预定条件可以如下：与所关注的第二 信号成分可解码单位相对应的第一信号成分块仅包括一个可解码单位。
[0081] 根据另一实施例，所述预定条件或一个所述预定条件可以如下：与所关注的第二 信号成分可解码单位相对应的第一信号成分块是具有至少两个可解码单位的子分割块，并 且所述第二模式用于对子分割后的第一信号成分块的少于预定数量的可解码单位进行解 码。
[0082] 根据另一实施例，所述预定条件或一个所述预定条件可以如下：与所关注的第二 信号成分可解码单位相对应的第一信号成分块是具有至少两个可解码单位的子分割块，并 且所述第二模式不用于对子分割后的第一信号成分块的任何可解码单位进行解码。
[0083] 根据另一实施例，所述预定条件或一个所述预定条件可以如下：所关注的第二信 号成分块的预测模式不同于预定预测模式或者不同于预定预测模式的集合中的各预测模 式。
[0084] 根据另一实施例，所述预定预测模式可以是平面模式、直流模式、水平模式、垂直 模式、LM模式、对角左下、对角右上和对角左上其中之一，或者所述预定预测模式的集合包 括这些预测模式其中之一或组合。
[0085] 可以组合前述实施例：例如，必须满足两个预定条件。
[0086] 在优选实施例中，在不满足所述预定条件、或者没有一个所述预定条件满足的情 况下，采用从编码器接收到的标志来基于预定标准判断使用所述第一编码模式和所述第二 编码模式中的哪个模式对所关注的第二颜色成分可解码单位进行解码。
[0087] 根据一个实施例，所述第一信号成分是亮度信号成分，并且所述第二信号成分是 色度信号成分。
[0088] 根据另一实施例，所述第一信号成分是色度信号成分，并且所述第二信号成分是 亮度信号成分。
[0089] 例如，可解码单位是变换单位。
[0090] 在优选实施例中，所述第一模式是正常HEVC模式，并且所述第二模式是变换跳过 HEVC模式。
[0091] 优选地，所述视频信号表示预测残差。
[0092] 根据本发明的另一方面，提供一种编码器，用于对视频信号进行编码，所述视频信 号至少具有与第一颜色相对应的第一信号成分以及与所述第一信号成分相关联并且与第 二颜色相对应的第二信号成分，其中各所述信号成分被分割成块，各所述块具有一个或多 个可编码单位，以及针对所述第二信号成分的至少一个可编码单位的编码能够在第一模式 和第二模式之间进行切换，所述编码器包括：
[0093] 用于对于所述第二信号成分的至少一个所述可编码单位、在如下情况下排除使用 所述第二模式对所关注的第二信号成分可编码单位进行编码的部件：
[0094] ?与对应于所关注的第二信号成分可编码单位的所述第一信号成分的编码块或可 编码单位相关地满足至少一个预定条件；以及/或者
[0095] ?与所关注的第二信号成分可编码单位的预测模式或所关注的第二信号成分可编 码单位所属的块的预测模式相关地满足至少一个预定条件。
[0096] 根据一个实施例，所述第一模式中的编码包括将可编码单位变换成系数，并且所 述第二模式中的编码排除所述将可编码单位变换成系数。
[0097] 例如，可编码单位可以是变换单位。
[0098] 根据本发明的另一方面，提供一种解码器，用于对视频信号的系数进行解码，所述 视频信号至少具有与第一颜色相对应的第一信号成分以及与所述第一信号成分相关联并 且与第二颜色相对应的第二信号成分，其中各所述信号成分被分割成包括至少一个系数的 块，以及各块具有一个或多个可解码单位，所述解码器被配置成针对所述第二信号成分的 至少一个可解码单位的解码能够在第一模式和第二模式之间进行切换，所述解码器包括：
[0099] 用于对于所述第二信号成分的至少一个所述可解码单位、在如下情况下排除使用 所述第二模式对所关注的第二信号成分可解码单位进行编码的部件：
[0100] ?与对应于所关注的第二信号成分可解码单位的所述第一信号成分的编码块或可 解码单位相关地满足至少一个预定条件；以及/或者
[0101] ?与所关注的第二信号成分可编码单位的预测模式或所关注的第二信号成分可编 码单位所属的块的预测模式相关地满足至少一个预定条件。
[0102] 根据一个实施例，所述解码器还可以包括用于进行以下操作的部件：在满足所述 预定条件或一个所述预定条件的情况下，生成具有表示编码器不使用所述第二模式的预定 值的标志。
[0103] 根据一个实施例，所述第一模式中的解码可以包括逆变换，并且所述第二模式中 的解码排除所述逆变换。
[0104] 例如，所述可解码单位或各所述可解码单位可以是变换单位。
[0105] 根据本发明的另一方面，提供一种程序，其中所述程序在由计算机或处理器执行 的情况下，使所述计算机或处理器执行这里所述的编码方法。
[0106] 根据本发明的另一方面，提供一种程序，其中所述程序在由计算机或处理器执行 的情况下，使所述计算机或处理器执行这里所述的解码方法。
[0107] 根据本发明的另一方面，提供存储有这里所述的程序的计算机可读存储介质。

【专利附图】

【附图说明】
[0108] 本发明的其它特性和优点也将通过附图所例示的以下说明而显现，其中：
[0109] 图1示出HEVC中所使用的编码结构；
[0110] 图2是根据现有技术的编码器的示意框图；
[0111] 图3是根据现有技术的解码器的示意框图；
[0112] 图4a和4b是针对所使用的模式（正常模式或变换跳过模式）更详细地表示根据 现有技术的解码器的示意框图；
[0113] 图5和6是针对所使用的模式（正常模式或变换跳过模式）更详细地表示根据现 有技术的编码器的示意框图；
[0114] 图7和8是表示体现本发明的编码器的示例的示意框图；
[0115] 图9是表示体现本发明并且适合连同图8的编码器一起使用的解码器的示意框 图；
[0116] 图IOa和IOb是说明分别体现本发明的编码方法和解码方法中的操作时所使用的 图；
[0117] 图Ila和Ilb是根据本发明的第一实施例的编码和解码的方法的流程图；
[0118] 图Ilc示出与第一实施例有关的亮度变换单位和色度变换单位；
[0119] 图12a和12b是根据本发明的第二实施例的编码和解码的方法的流程图；
[0120] 图13a和13b是根据本发明的第二实施例的编码和解码的方法的流程图；
[0121] 图13c示意性示出与各预测模式相关联的索引；
[0122] 图14a和14b是根据本发明的另一实施例的编码和解码的方法的实现的流程图， 其反应根据第一实施例和第二实施例的组合；以及
[0123] 图15a和15b是根据本发明的另一实施例的编码和解码的方法的另一实现的流程 图，其反应根据第一实施例和第二实施例的组合。

【具体实施方式】
[0124] 本发明的一个优选实施例涉及对用于色度块的变换跳过模式进行检查。在该优选 实施例中，所考虑的色度格式是YUV 4:2:0,这意味着一个2NX2N的亮度块（Y成分）与两 个NXN的色度块（U和V成分）相对应，其中N是与块的大小有关的整数值。考虑要处理 的（要编码或解码的）一个色度块（U或V)以及有关的2NX2N的亮度块。本发明涉及对 该色度块进行处理（编码或解码）。如当前设计那样，HEVC考虑了仅针对4X4的块（后续 的4X4的色度块及其有关的8X8的亮度块）的变换跳过模式。当然，本发明可以推广至 其它块大小（例如，8X8个色调块及其有关的16X16的亮度块）以及其它色度格式（例 如，YUV 4:4:4 或 RGB 4:4:4)。
[0125] 更通常地，本发明考虑利用第一信号成分和第二信号成分表示的至少两个颜色或 谱视频内容。
[0126] 以下的附图涉及编码单位和变换单位。但这些编码单位仅是块的示例，并且这些 变换单位仅是可编码单位的示例。
[0127] 可以以（仅涉及编码器的）非规范性方式或以（涉及编码器和解码器、以及解码 器规格标准的）规范性方式实现本发明的实施例。在这两种情况下，原理是检查与所考虑 的色度块的相应亮度块有关的或者与这些所考虑的色度块的预测模式有关的条件。
[0128] 在优选实施例中，本发明应用于由于帧内预测而产生的残差块。该概念还可应用 于帧间预测残差块。这两个预测模式是本领域技术人员众所周知的。
[0129] 图7示出根据本发明的编码器701的示例。在非规范性解决方案中，仅对编码器 产生影响。将不再次详述在前面的附图中已进行了说明的模块。这些模块保持相同的附图 标记。相应的解码器的示例可以是图4a和4b所示的解码器，这意味着不要求标准规格改 变。
[0130] 在对色度块进行帧内编码的情况下，始终评价涉及用于进行变换207、量化208、 逆量化211和逆变换212的连续模块的正常模式。
[0131] 一旦处理了与色度块有关的8X8的亮度块，利用检查模块702来检查与该亮度块 或与色度块的帧内预测模式有关的预定条件。以下将更详细地说明这些条件。
[0132] 如果满足这些条件（"真"），则对变换跳过模式进行评价，这意味着应用用于进行 缩放602、量化208、逆量化211和逆缩放603的连续模块。此外，基于例如率失真成本标准， 利用模块604来进行正常模式和变换跳过之间的选择。
[0133] 如果不满足这些条件（"假"），则利用模块703强制使ts_f lag为0,这意味着没 有评价变换跳过模式并且选择正常模式。跳过了与变换跳过模式评价有关的其它模块。
[0134] 在该示例中，在这两个情况（条件为"假"或"真"）下，利用编码模块605将ts_ flag编码在输出位流210中。由于该解决方案没有改变解码处理，因此这就是该解决方案 为非规范性的原因。由于始终对ts_flag(这里针对4X4的色度块）进行编码，因而解码 器与图4b所示的解码器相比没有改变。
[0135] 如果模块702中的测试条件仅与色度块的帧内预测模式有关而不与亮度块有关， 则不必预先对亮度块进行处理，并且可以独立地（并且例如并行地）实现针对亮度和色度 的处理。
[0136] 图8示出根据本发明的编码器801的另一示例。不同于图7,该示例表示规范性 解决方案，并且对编码器和解码器这两者产生影响。与图7的示例的不同之处在于：在模块 702中所检查的与亮度块或与色度块的帧内预测模式有关的条件为"假"的情况下，不进行 动作。特别地，不对ts_flag进行编码，这样节省了对该标志进行编码所需的位。
[0137] 图9示出适合连同图8的编码器一起进行使用的解码器901。首先，利用熵解码 器301对系数进行解码。关于ts_flag的解码，利用检查模块702对与所考虑的色度块的 相应亮度块有关的或者与这些所考虑的色度块的预测模式有关的预定条件进行预先检查。 该块的输入是在对所考虑的要处理的色度块进行处理之前预先进行了解码的数据。
[0138] 如果满足了条件（"真"），则解码器得知ts_flag等于0(参见模块703)，这意味 着应用正常模式。在这种情况下，无需对ts_flag进行解码。
[0139] 如果不满足条件（"假"），则解码器必须经由模块403对ts_flag进行解码。然 后，基于解码后的值，解码器在ts_flag = 0的情况下应用正常模式，从而涉及（前述的） 逆量化211和逆变换212的连续模块，或者在ts_f lag = 1的情况下应用变换跳过模式，从 而涉及逆量化211和逆缩放405的连续模块。
[0140] 解码器的其余部分与图4b所示的解码器相比保持不变。
[0141] 关于非规范性解决方案，如果模块702中的测试条件仅与色度块的帧内预测模式 有关而不与亮度块有关，则不必预先处理亮度块，并且可以独立地（并且例如并行地）实现 针对亮度和色度的处理。
[0142] 以下【专利附图】

【附图说明】了与本发明有关的编码和解码处理的几个特定实施例。这些附图提 出了以8*8的亮度块和4*4的色度块作为示例的处理。当然，可以对具有不同大小的块进 行处理。例如,还可应用于16*16的亮度块和相应的8*8的色度块。
[0143] 此外，具有相同附图标记的步骤意味着相同的处理。
[0144] 图IOa和IOb分别呈现在说明根据本发明的编码处理和解码处理时使用的框图。 这些附图关注于变换步骤。
[0145] 图IOa呈现编码处理1001。一旦对8X8的亮度块（或者更通常为与第一颜色相 对应的第一信号成分的块）进行了编码（1002)，检查与所考虑的色度块的相应亮度块（或 更通常为与第二颜色相对应的第二信号成分的块）有关的或者与这些所考虑的色度块的 预测模式有关的条件（l〇〇2a)。如果这些条件为假，则利用正常模式（还称为第一模式）和 变换跳过模式（还称为第二模式）这两者对色度块进行评价（1003)。这样使得能够确定前 面所述的并且还称为主要标志的表示为ts_flag的标志的值。如果这些条件为真，则强制 使色度块使用正常模式并且强制使ts_flag为0(1004)。换句话说，对于该色度块的编码， 排除了变换跳过模式（或TS模式）的使用。
[0146] 图IOb描述相应的解码处理（1005)。一旦对8X8的亮度块进行了编码（1006)， 则检查与所考虑的色度块的相应亮度块有关的或者与这些所考虑的色度块的预测模式有 关的条件（l〇〇2a)。如果这些条件为假，则对ts_flag进行解码（1007)。否则，推断出ts_ flag具有值"0"（1008)，而无需对该标志进行解码。
[0147] 在本发明的实施例中，（如以下所述的）所测试的条件包括检查8X8的亮度块是 被编码为四个4X4的亮度变换单位还是一个8X8的亮度变换单位。
[0148] 如图Ila所示，在编码处理1101中，一旦对8X8的亮度块进行了处理（1002)，在 1102中实现针对亮度TU的大小的检查。如果亮度TU的大小不为8X8,则利用正常模式和 变换跳过模式这两者来对色度块进行评价（1003)。如果亮度TU的大小为8X8,则强制使 色度块使用正常模式，并且强制使ts_flag为0(1004)。因此，可以看出，条件检查1102在 这种情况下包括检查亮度TU大小。
[0149] 图Ilb描述相应的解码处理（1103)。一旦对8X8的亮度块进行了处理（1006)， 在1102中实现针对亮度TU的大小的检查。如果亮度TU的大小不为8X8,则对ts_flag进 行解码（1007)。否则，推断出ts_flag为"0"（1008)，而无需对该标志进行解码。
[0150] 图Ilc例示如下概念，其中该概念表示在亮度TU的大小为8X8的情况下，不允许 变换跳过，并且在将亮度TU分割成四个4X4的TU的情况下，变换跳过有效。
[0151] 在变化为规范性的情况下，该变化涉及解码处理中的变化。因此，要修改HEVC规 格。与同HM7.0相对应的规格（2012年6月发行的HEVC规格）相比，进行了以下句法变化。
[0152] transform_unit函数所用的句法如下所述。以灰色粗体突出显示与HM7. 0相比的 变化。
[0153]

【权利要求】
1. 一种用于对视频信号进行编码的方法，所述视频信号至少具有与第一颜色相对应的 第一信号成分以及与所述第一信号成分相关联并且与第二颜色相对应的第二信号成分，其 中各所述信号成分被分割成块，各所述块具有一个或多个可编码单位，并且针对所述第二 信号成分的至少一个可编码单位的编码能够在第一模式和第二模式之间进行切换，所述方 法包括以下步骤： 对于所述第二信号成分的至少一个所述可编码单位，在与对应于所关注的第二信号成 分可编码单位的所述第一信号成分的编码块或可编码单位相关地满足至少一个预定条件 的情况下，排除使用所述第二模式对所关注的第二信号成分可编码单位进行编码。
2. 根据权利要求1所述的方法，其中，所述第一模式中的编码包括用于将可编码单位 变换成系数的变换步骤，并且所述第二模式中的编码排除所述变换步骤。
3. 根据权利要求1或2所述的方法，其中，所述预定条件或一个所述预定条件如下：与 所关注的第二信号成分可编码单位相对应的第一信号成分块仅包括一个可编码单位。
4. 根据权利要求1至3中任一项所述的方法，其中，所述预定条件或一个所述预定条件 如下：与所关注的第二信号成分可编码单位相对应的第一信号成分块是具有至少两个可编 码单位的子分割块，并且所述第二模式用于对子分割后的第一信号成分块的少于预定数量 的可编码单位进行编码。
5. 根据权利要求1至3中任一项所述的方法，其中，所述预定条件或一个所述预定条件 如下：与所关注的第二信号成分可编码单位相对应的第一信号成分块是具有至少两个可编 码单位的子分割块，并且所述第二模式不用于对子分割后的第一信号成分块的任何可编码 单位进行编码。
6. 根据权利要求1至5中任一项所述的方法，其中，还包括以下步骤： 对于所述第二信号成分的至少一个所述可编码单位，在与所关注的第二信号成分可编 码单位的预测模式或所关注的第二信号成分可编码单位所属的块的预测模式相关地满足 至少一个预定条件的情况下，排除使用所述第二编码模式对所关注的所述第二信号成分可 编码单位进行编码。
7. 根据权利要求6所述的方法，其中，所述预定条件或一个所述预定条件如下：所关注 的第二信号成分块的预测模式不同于预定预测模式或者不同于预定预测模式的集合中的 各预测模式。
8. 根据权利要求7所述的方法，其中，所述预定预测模式是平面模式、直流模式、水平 模式、垂直模式、LM模式、对角左下、对角右上和对角左上其中之一，或者所述预定预测模式 的集合包括这些预测模式其中之一或组合。
9. 根据权利要求1至8中任一项所述的方法，其中，还包括以下步骤： 在不满足所述预定条件、或者没有一个所述预定条件满足的情况下，基于预定标准来 选择使用所述第一编码模式和所述第二编码模式中的哪个编码模式对所关注的第二颜色 成分可编码单位进行编码。
10. 根据权利要求1至9中任一项所述的方法，其中，所述第一信号成分是亮度信号成 分，并且所述第二信号成分是色度信号成分。
11. 根据权利要求1至9中任一项所述的方法，其中，所述第一信号成分是色度信号成 分，并且所述第二信号成分是亮度信号成分。
12. 根据权利要求1至11中任一项所述的方法，其中，所述可编码单位或各所述可编码 单位是变换单位。
13. 根据权利要求1至12中任一项所述的方法，其中，所述第一模式是正常HEVC模式， 并且所述第二模式是变换跳过HEVC模式。
14. 根据权利要求1至13中任一项所述的方法，其中，所述视频信号表示预测残差。
15. 根据权利要求1至14中任一项所述的方法，其中，还包括以下步骤： 针对没有排除所述第二模式的各所述第二信号成分可编码单位，将如下标志发送至解 码器，而针对排除了所述第二模式的各所述第二信号成分可编码单位，没有将所述标志发 送至所述解码器，其中所述标志能够由所述解码器使用以判断使用所述第一模式和所述第 二模式中的哪个模式来对所关注的可编码单位进行编码。
16. -种用于对视频信号的系数进行解码的方法，所述视频信号至少具有与第一颜色 相对应的第一信号成分以及与所述第一信号成分相关联并且与第二颜色相对应的第二信 号成分，其中各所述信号成分被分割成包括至少一个系数的块，各所述块具有一个或多个 可解码单位，以及针对所述第二信号成分的至少一个可解码单位的解码能够在第一模式和 第二模式之间进行切换，所述方法包括以下步骤： 对于所述第二信号成分的至少一个可解码单位，在与对应于所关注的第二信号成分可 解码单位的所述第一信号成分的编码块或可解码单位相关地满足至少一个预定条件的情 况下，排除使用所述第二模式对所关注的可解码单位进行解码。
17. 根据权利要求16所述的方法，其中，还包括以下步骤：在满足所述预定条件或至少 一个所述预定条件的情况下，生成具有表示所述视频信号的编码器不使用所述第二模式的 预定值的标志。
18. 根据权利要求16或17所述的方法，其中，所述第一模式中的解码包括用于将系数 变换成可解码单位的逆变换步骤，并且所述第二模式中的解码排除所述逆变换步骤。
19. 根据权利要求16至18中任一项所述的方法，其中，所述预定条件或一个所述预定 条件如下：与所关注的第二信号成分可解码单位相对应的第一信号成分块仅包括一个可解 码单位。
20. 根据权利要求16至19中任一项所述的方法，其中，所述预定条件或一个所述预定 条件如下：与所关注的第二信号成分可解码单位相对应的第一信号成分块是具有至少两个 可解码单位的子分割块，并且所述第二模式用于对子分割后的第一信号成分块的少于预定 数量的可解码单位进行解码。
21. 根据权利要求16至20中任一项所述的方法，其中，所述预定条件或一个所述预定 条件如下：与所关注的第二信号成分可解码单位相对应的第一信号成分块是具有至少两个 可解码单位的子分割块，并且所述第二模式不用于对子分割后的第一信号成分块的任何可 解码单位进行解码。
22. 根据权利要求16至21中任一项所述的方法，其中，还包括以下步骤： 对于所述第二信号成分的至少一个所述可解码单位，在与所关注的第二信号成分可解 码单位的预测模式或所关注的第二信号成分可解码单位所属的块的预测模式相关地满足 至少一个预定条件的情况下，排除使用所述第二解码模式对所关注的第二信号成分可解码 单位进行解码。
23. 根据权利要求22所述的方法，其中，所述预定条件或一个所述预定条件如下：所关 注的第二信号成分块的预测模式不同于预定预测模式或者不同于预定预测模式的集合中 的各预测模式。
24. 根据权利要求23所述的方法，其中，所述预定预测模式是平面模式、直流模式、水 平模式、垂直模式、LM模式、对角左下、对角右上和对角左上其中之一，或者所述预定预测模 式的集合包括这些预测模式其中之一或组合。
25. 根据权利要求16至24中任一项所述的方法，其中，还包括以下步骤： 在不满足所述预定条件、或者没有一个所述预定条件满足的情况下，采用从编码器接 收到的标志来基于预定标准判断使用所述第一编码模式和所述第二编码模式中的哪个模 式对所关注的第二颜色成分可解码单位进行解码。
26. 根据权利要求16至25中任一项所述的方法，其中，所述第一信号成分是亮度信号 成分，并且所述第二信号成分是色度信号成分。
27. 根据权利要求16至25中任一项所述的方法，其中，所述第一信号成分是色度信号 成分，并且所述第二信号成分是亮度信号成分。
28. 根据权利要求16至27中任一项所述的方法，其中，所述可解码单位或各所述可解 码单位是变换单位。
29. 根据权利要求16至28中任一项所述的方法，其中，所述第一模式是正常HEVC模 式，并且所述第二模式是变换跳过HEVC模式。
30. 根据权利要求16至29中任一项所述的方法，其中，所述视频信号表示预测残差。
31. -种编码器，用于对视频信号进行编码，所述视频信号至少具有与第一颜色相对应 的第一信号成分以及与所述第一信号成分相关联并且与第二颜色相对应的第二信号成分， 其中各所述信号成分被分割成块，各所述块具有一个或多个可编码单位，以及针对所述第 二信号成分的至少一个可编码单位的编码能够在第一模式和第二模式之间进行切换，所述 编码器包括： 用于对于所述第二信号成分的至少一个所述可编码单位、在与对应于所关注的第二信 号成分可编码单位的所述第一信号成分的编码块或可编码单位相关地满足至少一个预定 条件的情况下排除使用所述第二模式对所关注的第二信号成分可编码单位进行编码的部 件。
32. 根据权利要求31所述的编码器，其中，所述第一模式中的编码包括将可编码单位 变换成系数的步骤，并且所述第二模式中的编码排除所述将可编码单位变换成系数的步 骤。
33. 根据权利要求31或32所述的编码器，其中，所述可编码单位或各所述可编码单位 是变换单位。
34. -种解码器，用于对视频信号的系数进行解码，所述视频信号至少具有与第一颜色 相对应的第一信号成分以及与所述第一信号成分相关联并且与第二颜色相对应的第二信 号成分，其中各所述信号成分被分割成包括至少一个系数的块，以及各块具有一个或多个 可解码单位，所述解码器被配置成针对所述第二信号成分的至少一个可解码单位的解码能 够在第一模式和第二模式之间进行切换，所述解码器包括： 用于对于所述第二信号成分的至少一个所述可解码单位、在与对应于所关注的第二信 号成分可解码单位的所述第一信号成分的编码块或可解码单位相关地满足至少一个预定 条件的情况下排除使用所述第二模式对所关注的第二信号成分可解码单位进行编码的部 件。
35. 根据权利要求34所述的解码器，其中，还包括用于进行以下操作的部件：在满足所 述预定条件或一个所述预定条件的情况下，生成具有表示编码器不使用所述第二模式的预 定值的标志。
36. 根据权利要求34或35所述的解码器，其中，所述第一模式中的解码包括逆变换，并 且所述第二模式中的解码排除所述逆变换。
37. 根据权利要求34至36中任一项所述的解码器，其中，所述可解码单位或各所述可 解码单位是变换单位。
38. -种程序，其中所述程序在由计算机或处理器执行的情况下，使所述计算机或处理 器执行根据权利要求1至15中任一项所述的编码方法。
39. -种程序，其中所述程序在由计算机或处理器执行的情况下，使所述计算机或处理 器执行根据权利要求16至30中任一项所述的解码方法。
40. -种计算机可读存储介质，其存储有根据权利要求38或39所述的程序。
【文档编号】H04N19/176GK104396245SQ201380034855
【公开日】2015年3月4日 申请日期:2013年6月28日 优先权日:2012年6月29日
【发明者】E·弗朗考伊斯, G·拉罗彻, P·乌诺, C·吉斯科特 申请人:佳能株式会社