本发明涉及图像编译技术，并且更具体地涉及在图像编译系统中用于系数引起的帧内预测的方法和装置。
背景技术：
对诸如HD(高清)图像和UHD(超高清)图像的高分辨率、高质量图像的需求在各个领域不断增加。由于图像数据具有高分辨率和高质量，所以相对于传统图像数据，要传输的信息或比特量增加。因此，当使用诸如常规有线/无线宽带线路之类的介质传输图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要高效率的图像压缩技术来有效地传输、存储和再现高分辨率和高质量图像的信息。
技术实现要素：
技术问题
本发明提供了一种用于提高帧内预测效率的方法和装置。
本发明还提供了一种通过使用相邻块的变换系数来生成帧内预测样本的方法和装置。
本发明还提供了一种用于通过将缩放矩阵应用于相邻块的变换系数来导出相邻参考样本，并且基于相邻参考样本来生成帧内预测样本的方法和装置。
本发明还提供一种用于基于填充过程来导出当前块的不可用相邻参考样本的方法和装置。
技术方案
根据本发明的实施例，提供了一种由解码设备执行的帧内预测方法。所述帧内预测方法包括：确定当前块的帧内预测模式；确定是否将系数引起的帧内预测(CIIP)应用于当前块；基于是否应用CIIP来导出当前块的相邻参考样本；以及，基于帧内预测模式和相邻参考样本生成当前块的预测样本。
根据本发明的另一实施例，提供了一种由编码设备执行的帧内预测方法。该帧内预测方法包括：确定当前块的帧内预测模式；确定是否将CIIP应用于当前块；基于是否应用CIIP来导出当前块的相邻参考样本；基于帧内预测模式和相邻参考样本来产生当前块的预测样本；并编码和输出关于帧内预测模式的信息。
根据本发明的另一实施例，提供了一种用于执行帧内预测的解码设备。该解码设备包括：预测器，用于确定当前块的帧内预测模式，确定是否将CIIP应用于当前块，基于是否应用CIIP导出当前块的相邻参考样本，以及，基于帧内预测模式和相邻参考样本生成当前块的预测样本；以及，用于存储至少一个相邻块的编译信息的存储器。
根据本发明的另一实施例，提供了一种用于执行帧内预测的编码设备。该编码设备包括：预测器，用于确定当前块的帧内预测模式，确定是否将CIIP应用于当前块，基于是否应用CIIP导出当前块的相邻参考样本，以及，基于帧内预测模式和相邻参考样本产生当前块的预测样本；以及，用于编码和输出关于帧内预测模式的信息的熵编码器。
有益效果
根据本发明，可以导出适合于当前块的帧内预测的相邻参考样本，由此改进帧内预测性能。
根据本发明，与其中相邻块的重构样本被用作用于当前样本的帧内预测的相邻参考样本的传统技术不同，可以通过向相邻块的变换系数应用系数引起的帧内预测(CIIP)缩放来产生修改或改善的相邻参考样本，由此改进帧内预测性能。
附图说明
图1是示出可应用本发明的视频编码设备的配置的示意图。
图2是示出可应用本发明的视频解码设备的配置的示意图。
图3是示出考虑系数引起的帧内预测(CIIP)的帧内预测方法的示意图。
图4示出了根据在解码设备中执行的CIIP是否可用来生成用于帧内预测的相邻参考样本的示例性过程。
图5示出了根据本发明生成CIIP参考样本时与相邻块的示例性关系。
图6示出了根据本发明的考虑变换内核而生成CIIP参考样本的示例性方法。
图7示出了当将CIIP应用于当前块时生成CIIP参考样本的示例性过程。
图8示出了填充相邻参考样本的示例性方法。
图9示出了基于不能使用CIIP缩放掩码的相邻块的正常重构样本导出当前块的一些相邻参考样本的示例性方法。
图10是示出由根据本发明的编码设备执行的帧内预测方法的示例的示意图。
图11是示出由根据本发明的解码设备执行的帧内预测方法的示例的示意图。
具体实施方式
本发明可以以各种形式进行修改，并且其具体实施例将在附图中进行描述和说明。然而，这些实施例并不旨在限制本发明。以下描述中使用的术语仅用于描述具体实施例，而不旨在限制本发明。单数的表达包括复数的表达，只要其明显不同地被阅读。诸如“包括”和“具有”的术语旨在表示在下面的描述中使用的特征、数字、步骤、操作、元件、组件或其组合存在，并且因此应该理解的是，不排除一个或多个不同特征、数量、步骤、操作、元件、组件或其组合的存在或增加的可能。
另一方面，为了便于解释不同的具体功能，本发明中描述的附图中的元件被独立地绘制，并且不意味着元件由独立的硬件或独立的软件来体现。例如，可以将元件的两个或更多元件组合以形成单个元件，或者可以将一个元件分成多个元件。在不偏离本发明的构思的情况下，其中元件被组合和/或分开的实施例属于本发明。
在下文中，将参考附图详细描述本发明的实施例。另外，在所有附图中相同的附图标号用于指示相同的元件，并且将省略对相同元件的相同描述。
在本说明书中，通常，图片是指表示在特定时间的图像的单元，片是构成图片的一部分的单元。一张图片可以由多个片组成，并且可以根据需要将图片和片的术语彼此混合。
像素可以表示构成一个图片(或图像)的最小单位。此外，“样本”可以用作对应于像素的术语。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素(像素值)，并且可以仅表示色度分量的像素(像素值)。
单元表示图像处理的基本单元。单元可以包括特定区域和与该区域有关的信息中的至少一个。可选地，单元可以与诸如块或区域等的术语混合。在典型情况下，M×N块可以表示以M列和N行排列的一组样本或变换系数。
图1简要示出了可应用本发明的视频编码设备的结构。
参考图1，视频编码设备100包括图片分割器105、预测器110、减法器115、变换器120、量化器125、重排器130、熵编码器135、去量化器140、逆变换器145、加法器150、滤波器255和存储器160。
图片分割器105可将输入图片分割成至少一个处理单元。这里，处理单元可以是编译单元(CU)、预测单元(PU)或变换单元(TU)。编译单元是编译的单元块，并且最大编译单元(LCU)可以根据四叉树结构被划分为深度更深的编译单元。在这种情况下，最大编译单元可以被用作最终编译单元，或者编译单元可以根据需要被递归地分割成深度更深的编译单元，并且具有最优大小的编译单元可以基于根据视频特性的编译效率被用作最终编译单元。当最小编译单元(SCU)被设置时，编译单元不能被分成小于最小编译单元的编译单元。这里，最终编译单元是指被划分或分割成预测器或变换器的编译单元。预测单元是从编译单元块划分的块，并且可以是样本预测的单元块。这里，预测单元可以被分成子块。变换块可以根据四叉树结构从编译单元块分离，并且可以是导出变换系数的单元块和/或从变换系数导出残余信号的单元块。
在下文中，编译单元可以被称为编译块(CB)，预测单元可以被称为预测块(PB)，并且变换单元可以被称为变换块(TB)。
预测块或预测单元可以指图片中具有块形状的特定区域，并且可以包括预测样本的阵列。此外，变换块或变换单元可以表示图片中具有块形状的特定区域，并且可以包括变换系数或残余样本的阵列。
预测器110可以对处理目标块(在下文中，当前块)执行预测，并且可以生成包括当前块的预测样本的预测块。在预测器110中执行的预测单元可以是编译块，或者可以是变换块，或者可以是预测块。
预测器110可以确定帧内预测是否被应用或帧间预测被应用于当前块。例如，预测器110可以确定是以CU为单位应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可以基于当前块所属的图片(在下文中，当前图片)中的当前块外部的参考样本导出当前块的预测样本。在这种情况下，预测器110可以基于当前块的相邻参考样本的平均值或内插(情况(i))来导出预测样本，或者可以基于在关于当前块的相邻参考样本当中的预测样本的特定(预测)方向存在的参考样本来导出预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，预测模式可以包括作为示例的33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于相邻块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可以基于由参考图片上的运动向量指定的样本来导出当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动向量预测(MVP)模式中的任何一个来导出当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用相邻块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，预测样本与原始样本之间的差异(残余)不被传送。在MVP模式的情况下，相邻块的运动向量被用作运动向量预测器，并因此被用作当前块的运动向量预测器以导出当前块的运动向量。
在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括时间相邻块的参考图片也可以被称为共置图片(colPic)。运动信息可以包括运动向量和参考图片索引。诸如预测模式信息和运动信息的信息可以被(熵)编码，然后作为比特流的形式输出。
当在跳跃模式和合并模式中使用时间相邻块的运动信息时，参考图片列表中的最高图片可以用作参考图片。包括在参考图片列表中的参考图片可以基于在当前图片与对应的参考图片之间的图片顺序计数(POC)差异来对齐。POC对应于显示顺序并且可以与编译顺序区分。
减法器115生成残余样本，该残余样本是原始样本与预测样本之间的差异。如果应用跳过模式，则可能不会如上所述生成残余样本。
变换器120以变换块为单位变换残余样本以生成变换系数。变换器120可以基于对应的变换块的大小和应用于与变换块在空间上重叠的编译块或预测块的预测模式来执行变换。例如，如果帧内预测应用于与变换块重叠的编译块或者预测块，并且变换块是4×4残余阵列，则可以使用离散正弦变换(DST)对残余样本进行变换，并且在其他情况下可以使用离散变换余弦变换(DCT)对残余样本进行变换。
量化器125可以量化变换系数以生成量化的变换系数。
重排器130重新排列量化的变换系数。重排器130可以通过系数扫描方法将以块的形式的量化的变换系数重新排列为一维向量。虽然重排器130被描述为单独的组件，但重排器130可以是量化器125的一部分。
熵编码器135可以对量化的变换系数执行熵编码。熵编码可以包括编码方法，例如，指数Golomb、上下文自适应可变长度编译(CAVLC)或上下文自适应二进制算术编译(CABAC)等。除了量化的变换系数之外，熵编码器135可以一起或单独地对视频重构所需的信息(例如，句法元素值等)执行编码。经熵编码的信息可以以比特流形式被传输或存储在网络抽象层(NAL)的单元中。
去量化器140对由量化器125量化的值(变换系数)进行去量化，并且逆变换器145对由去量化器135去量化的值进行逆变换以产生残余样本。
加法器150将残余样本添加到预测样本以重构图片。可以以块为单位将残余样本添加到预测样本以生成重构块。尽管加法器150被描述为单独的组件，但是加法器150可以是预测器110的一部分。
滤波器155可以对重构图片应用去块滤波和/或样本自适应偏移。可以通过去块滤波和/或样本自适应偏移来校正重构图片中的块边界处的伪像或量化失真。在去块滤波完成之后，可以以样本为单位应用样本自适应偏移。滤波器155可以将自适应环路滤波器(ALF)应用于重构图片。可以将ALF应用于已经被应用去块滤波和/或样本自适应偏移的重构图片。
存储器160可以存储重构图片或编码/解码所需的信息。这里，重构图片可以是由滤波器155滤波的重构图片。所存储的重构图片可以用作用于其他图片的(帧间)预测的参考图片。例如，存储器160可以存储用于帧间预测的(参考)图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2简要示出了可应用本发明的视频解码设备的结构。
参考图2，视频解码设备200包括熵解码器210、重排器220、去量化器230、逆变换器240、预测器250、加法器260、滤波器270和存储器280。
当包括视频信息的比特流被输入时，视频解码设备200可以与在视频编码设备中处理视频信息的过程相关联地重构视频。
例如，视频解码设备200可以通过使用应用在视频编码设备中的处理单元来执行视频解码。因此，视频解码的处理单元块可以是编译单元块、预测单元块或变换单元块。作为解码的单元块，可以根据来自最大编译单元块的四叉树结构来分割编译单元块。作为从编译单元块划分出的块，预测单元块可以是样本预测的单元块。在这种情况下，预测单元块可以被分成子块。作为编译单元块，可以根据四叉树结构来分割变换单元块，并且变换单元块可以是用于导出变换系数的单元块或用于从变换系数导出残余信号的单元块。
熵解码器210可解析比特流以输出视频重构或图片重构所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC或CABAC等的编译方法对比特流中的信息进行解码，并且可以输出视频重构所需的语法元素的值和关于残余的变换系数的量化值。
更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息和相邻和解码目标块的解码信息或在之前的步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率，并且执行bin的算术解码以生成与每个句法元素值对应的符号。这里，CABAC熵解码方法可以在上下文模型的确定之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
可以将在熵解码器210中解码的信息之中的关于预测的信息提供给预测器250，并且可以将已经由熵解码器210执行了熵解码的残余值即量化的变换系数输入到重排器220。
重排器220可以将量化后的变换系数重新排列成二维块形式。重排器220可以执行与由编码设备执行的系数扫描对应的重排。虽然重排器220被描述为单独的组件，但重排器220可以是量化器230的一部分。
去量化器230可以基于(去)量化参数对量化的变换系数进行去量化以输出变换系数。在这种情况下，可以从编码设备以信号通知用于导出量化参数的信息。
逆变换器240可以对变换系数进行逆变换以导出残余样本。
预测器250可以对当前块执行预测，并且可以生成包括当前块的预测样本的预测块。在预测器250中执行的预测单元可以是编译块，或者可以是变换块，或者可以是预测块。
预测器250可以基于关于预测的信息来确定是应用帧内预测还是帧间预测。在这种情况下，用于确定在帧内预测和帧间预测之间将使用哪一个的单元可以与用于生成预测样本的单元不同。另外，用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如，可以以CU为单位确定将在帧间预测和帧内预测之间应用哪一个。此外，例如，在帧间预测中，可以通过以PU为单位确定预测模式来生成预测样本，并且在帧内预测中，可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器250可以基于当前图片中的相邻参考样本导出当前块的预测样本。预测器250可以通过基于当前块的相邻参考样本应用定向模式或非定向模式来导出当前块的预测样本。在这种情况下，可以通过使用相邻块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器250可以基于根据运动向量在参考图片中指定的样本来导出当前块的预测样本。预测器250可以使用跳过模式、合并模式和MVP模式中的一个来导出当前块的预测样本。这里，可以基于关于预测的信息来获取或导出由视频编码设备提供的当前块的帧间预测所需的运动信息，例如，运动向量和关于参考图片索引的信息。
在跳过模式和合并模式中，相邻块的运动信息可以被用作当前块的运动信息。这里，相邻块可以包括空间相邻块和时间相邻块。
预测器250可以使用可用相邻块的运动信息来构造合并候选列表，并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动向量。合并索引可以由编码设备以信号传输。运动信息可以包括运动向量和参考图片。当在跳过模式和合并模式中使用时间相邻块的运动信息时，参考图片列表中的最高图片可以用作参考图片。
在跳过模式的情况下，与合并模式不同，不传输预测样本与原始样本之间的差异(残余)。
在MVP模式的情况下，可以使用相邻块的运动向量作为运动向量预测器来导出当前块的运动向量。这里，相邻块可以包括空间相邻块和时间相邻块。
当应用合并模式时，例如，可以使用重构的空间相邻块的运动向量和/或与作为时间相邻块的Col块相对应的运动向量来生成合并候选列表。从合并候选列表中选择的候选块的运动向量被用作合并模式中的当前块的运动向量。上述关于预测的信息可以包括指示具有从包括在合并候选列表中的候选块选择的最佳运动向量的候选块的合并索引。这里，预测器250可以使用合并索引来导出当前块的运动向量。
当作为另一示例应用MVP(运动向量预测)模式时，可以使用重构的空间相邻块的运动向量和/或对应于作为时间相邻块的Col块的运动向量来生成运动向量预测器候选列表。也就是说，重构的空间相邻块的运动向量和/或与对应于作为时间相邻块的Col块的运动向量可以用作运动向量候选。上述关于预测的信息可以包括指示从包括在列表中的运动向量候选中选择的最佳运动向量的预测运动向量索引。这里，预测器250可以使用运动向量索引从包括在运动向量候选列表中的运动向量候选中选择当前块的预测运动向量。编码设备的预测器可获得当前块的运动向量与运动向量预测器之间的运动向量差(MVD)，对MVD进行编码并以比特流的形式输出编码的MVD。也就是说，可以通过从当前块的运动向量中减去运动向量预测器来获得MVD。这里，预测器250可以获取包括在关于预测的信息中的运动向量，并通过将运动向量差与运动向量预测器相加来导出当前块的运动向量。另外，预测器可以从上述关于预测的信息中获得或导出指示参考图片的参考图片索引。
加法器260可以将残余样本添加到预测样本以重构当前块或当前图片。加法器260可以通过以块为单位将残余样本添加到预测样本来重构当前图片。当应用跳过模式时，不传送残余，因此预测样本可能成为重构样本。虽然加法器260被描述为单独的组件，但是加法器260可以是预测器250的一部分。
滤波器270可以将去块滤波、样本自适应偏移和/或ALF应用于重构图片。这里，可以在去块滤波之后以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器280可以存储重构图片或解码所需的信息。这里，重构图片可以是由滤波器270滤波的重构图片。例如，存储器280可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以用作其他图片的参考图片。存储器280可以以输出顺序输出重构图片。
在视频或图片编译中，可以如上所述应用帧内预测或帧间预测以用于编译效率。当应用帧内预测时，对于当前块，当前图片中的当前块的相邻样本可以用作参考样本。然而，当基于相邻样本对当前块执行帧内预测时，在一定程度上不可避免地发生错误，这导致残余信号的数据量增加，由此降低了编译效率。
同时，在执行帧内预测时，为了提高帧内预测效率，可以导出修改的相邻样本作为参考样本，而不是直接使用当前图片中的相邻样本。可以通过将缩放掩码应用于包括相邻样本的变换系数来导出修改的相邻样本。在下文中，通过使用通过将缩放掩码应用于相邻块的变换系数而导出的修改的相邻样本来执行帧内预测的方法可以被称为系数引起的帧内预测(CIIP)。也就是说，在帧内预测中，CIIP可以在将缩放掩码应用于相邻块的变换系数之后通过逆变换来生成针对相邻块修改的残余样本，并基于该修改的残余样本在相邻块中生成修改的相邻样本，并且因此可以通过使用修改的相邻样本来对当前块执行预测。换句话说，CIIP可以被看做这样一种方法，其中，通过在相邻块的频域中应用缩放掩码来导出修改的相邻样本，并且基于修改的相邻样本执行帧内预测，从而可以与原始样本类似地导出当前块的预测样本。缩放掩码可以具有维纳滤波器的形式。缩放掩码可以被称为缩放矩阵，并且是在频域中应用的一种类型的滤波器。缩放矩阵可以是预定的，并且可以通过使用基于频域中的原始图像和预测图像之间的统计特性而学习的信息来导出。缩放矩阵的大小可以等于或小于变换系数的大小。将缩放掩码应用于变换系数的过程可以被称为CIIP缩放过程。可以基于CIIP导出具有与当前块的样本值类似的值的修改的相邻样本，由此改善帧内预测性能。
可以根据CIIP标志确定是否应用CIIP。如果CIIP标志为1，则将CIIP缩放应用于相邻块的变换系数，对缩放的变换系数进行逆变换以生成修改的残余样本，基于修改的残余样本导出修改的相邻样本，并且，基于修改的相邻样本执行当前块的帧内预测(即，生成当前块中的预测样本)。这里，相邻块可以是包括用于当前块的帧内预测的相邻(参考)样本中的至少一个的块。或者，相邻块可以是包括在用于当前块的帧内预测的向量样本中的、根据应用于当前块的预测模式选择的向量样本的至少一个的块。
同时，如果CIIP标志为0，则可以通过使用相邻块的现有重构样本作为当前块的相邻参考样本来对当前块执行帧内预测。
通过考虑CIIP来执行帧内预测的方法可以如下执行。
图3是示出考虑CIIP的帧内预测方法的示意图。可以由编译设备执行图3的过程。编译设备可以包括编码设备或解码设备。
参见图3，编译设备可以根据取决于是否应用CIIP的不同的过程对当前块执行帧内预测。
首先，当CIIP被应用于当前块时，编译设备通过逆量化相邻块的量化的变换系数300来导出变换系数(S305)，并且将CIIP缩放应用于变换系数(S310)。在这种情况下，如上所述，编译设备可以将预定缩放掩码应用于变换系数。
编译设备对经过了CIIP缩放的变换系数进行逆变换(S315)，并且导出修改的残余样本320。编译设备可以基于相邻块的预测器325和修改的残余样本320来生成CIIP重构图片330。预测器325可以被称为预测样本。这里，在获得相邻块的预测器325时，CIIP可能不被应用于相邻块。也就是说，可以通过CIIP不适用于的正常帧内预测方法来生成相邻块的预测器325。另外，在此，CIIP重构图片330包括CIIP重构样本335。编译设备基于CIIP重构样本335导出当前块的相邻参考样本(修改相邻样本)(S340)。编译设备可以基于所导出的相邻参考样本根据当前块的帧内预测模式生成当前块的预测器，即预测样本(S345)。用作当前块的相邻参考样本的CIIP重构样本335可以根据帧内预测模式划分为CIIP水平、CIIP垂直和CIIP对角线。也就是说，当当前块的帧内预测模块是多个方向性预测模式中的一个时，CIIP重构样本335可以用作当前块的方向性预测模式所属的类别的当前块的(CIIP)参考样本。另外，CIIP重构样本的生成包括如上所述在对逆量化系数应用滤波之后执行逆变换的处理。滤波器具有缩放掩码的形式，并且应用在相邻块中被分类为三个类别的滤波器，随后是生成重构样本的过程，并因此生成重构样本。
同时，当CIIP未被应用于当前块时，编译设备通过逆量化相邻块的量化的变换系数350来导出变换系数(S355)，并且对变换系数进行逆变换(S365)以导出残余样本370。在这种情况下，编译设备不将CIIP缩放过程应用于变换系数。编译设备可以基于相邻块的预测器325和残余样本370来生成重构图片380。重构样本380包括重构样本385。编译设备基于重构样本385导出当前块的相邻参考样本(相邻样本)(S390)。编译设备可以基于导出的参考样本根据当前块的帧内预测模式生成当前块的预测器(S395)。
在帧内预测模式的执行中，可以在PU中确定特定帧内预测模式(例如，DC模式、平面模式、方向性(角度)模式等)，并且可以在TU中执行基于相邻参考样本产生预测样本的过程。当帧内预测应用于PU时，PU的区域可以包括一个或多个TU的区域。在这种情况下，一个或多个TU可以共享相同的帧内预测模式。
也可以在具有四叉树形式的块结构中有效地执行根据本发明的CIIP方法。例如，CIIP相关信息可以通过如下的语法从编码设备用信号发送到解码设备。
[表1]
[表2]
上面的表1和2示出了序列参数集(SPS)语法的示例。表1和表2的语法可以被包括在一个SPS语法中。包括在表2中的语法元素可以在表1中包括的语法元素之后用信号发送。
CIIP相关信息可以包括CIIP可用标志信息、最大CIIP可用深度信息和最小CIIP可用深度信息中的至少一个。如以上表1和2所示，可以以语法元素ciip_enabled_flag的形式表达CIIP可用标志信息。CIIP可用标志信息可以被称为CIIP标志信息，并且可以以语法元素ciip_flag的形式来表达。
可以以语法元素maximum_ciip_enabled_depth的形式来表达最大CIIP可用深度信息，并且可以以语法元素minimum_ciip_enabled_depth的形式来表达最小CIIP可用深度信息。例如，可以仅在CIIP可用标记信息的值为1时用信号发送最大CIIP可用深度信息和最小CIIP可用深度信息。
可以基于最大CIIP可用深度信息和最小CIIP可用深度信息中的至少一个来确定根据本发明的用于应用CIIP缩放的块的大小。也就是说，可以基于目标块的大小以及CIIP可用标志信息来确定是否应用根据本发明的CIIP。
另外，可基于下面描述的最小CIIP可用块大小信息和CIIP可用块大小差异信息中的至少一个来确定根据本发明的CIIP缩放可用的块的大小。也就是说，CIIP相关信息可以包括最小CIIP可用块大小信息和CIIP可用块大小差异信息。例如，除最大CIIP可用深度信息和最小CIIP可用深度信息之外，CIIP相关信息也可包括最小CIIP可用块大小信息和CIIP可用块大小差异信息。再例如，CIIP相关信息可以包括最小CIIP可用块大小信息和CIIP可用块大小差异信息，而不是最大CIIP可用深度信息和最小CIIP可用深度信息。
例如，可以通过下表来表达用于最小CIIP可用块大小信息和CIIP可用块大小差异信息的语义。
[表3]
参考表3，最小CIIP可用块大小信息可对应于log2_min_ciip_enabled_blk_size_minus2，并且CIIP可用块大小差异信息可对应于log2_diff_max_min_ciip_enabled_blk_size。MaxCiipBlkSize和MinCiipBlkSize分别表示CIIP可用的最大和最小块大小。
具体地，例如，可以基于以下流程图来执行根据本发明的CIIP的应用。
图4示出了根据在解码设备中执行的CIIP是否可用来生成用于帧内预测的相邻参考样本的示例性过程。根据本发明的当前块可以对应于CU、PU和TU中的至少一个。
参考图4，解码设备从CU执行PU划分(S400)。解码设备可以基于从例如编码设备用信号发送的分区模式信息从CU导出一个或多个PU。
对于导出的PU，解码设备识别PU的索引是否大于numPU(S410)。numPU可以表示CU中的PU的数量。如果CU中的PU的索引从0开始，则numPU可以对应于CU中的PU的数量(即，-1)。
如果在步骤S410中PU的索引大于numPU，则可以认为直到最后的PU被完全处理，并且可以确定根据本发明的生成相邻参考样本的过程完全完成。
如果在步骤S410中PU的索引不大于numPU，则解码设备识别PU是否是非正方形的PU(S420)。可以基于PU发送CIIP标记信息，并且如果构成CU的PU是非正方形类型，则可以确定根据本发明的CIIP参考样本不被用作帧内预测中的相邻参考样本。因此，如果在步骤S420中PU是非正方形PU，则解码设备导出用于常规帧内预测的正常相邻参考样本(S480)。这里，根据本发明的CIIP缩放不应用于导出正常相邻参考样本。
如果在步骤S420中PU不是非正方形PU，则解码设备解析并识别CIIP标志(S430)。解码设备可以基于CIIP标志来确定是否将CIIP应用于PU(以及在PU区域中的TU)。
如果CIIP标志是关闭(off)，即，如果CIIP标志具有值0，则解码设备可以执行步骤S480以导出用于常规帧内预测的正常参考样本。
如果CIIP标志接通(on)，即，如果CIIP标志具有值1，则解码设备导出PU区域中的至少一个TU(S450)。在这种情况下，解码设备可以通过递归TU分割过程来导出一个或多个TU。
对于不再被分割的TU，解码设备确定TU的大小是否属于预定大小的范围(S460)。也就是说，解码设备可以确定TU的大小是否属于maxCiipBlkSize和minCIipBlkSize的范围。如果TU的大小大于maxCiipBlkSize或小于minCIipBlkSize，则解码设备可以执行步骤S480以导出用于常规帧内预测的正常相邻参考样本。
同时，如果TU的大小小于或等于maxCiipBlkSize并且大于或等于minCiipBlkSize，则可通过将CIIP缩放掩码应用于相邻块来导出CIIP参考样本(S470)。解码设备可以通过使用CIIP参考样本作为相邻参考样本来执行帧间预测。
尽管图4的确定步骤S410、S420、S440、S450和S460示为一系列步骤，但是可以省略至少一个步骤。
同时，在残余编译中，可以用与当前块的残余不同的变换内核编码当前块的相邻块的残余。根据本发明的CIIP缩放方法还可以不仅应用于向相邻块和当前块应用相同的变换内核的情况，而且还应用于其中向其应用不同变换内核的情况。可以基于例如当前块的变换内核和帧内预测模式来确定根据本发明的CIIP缩放掩码。
图5示出了根据本发明的在生成CIIP参考样本时与相邻块的示例性关系。
参考图5，如果当前块500是CIIP应用块，则以如下方式生成修改的残余样本：相邻块的量化的变换系数被逆量化，然后在将缩放掩码应用于变换系数之后被逆变换。基于修改的残余样本生成CIIP重构样本。CIIP重构样本被用作CIIP参考样本。
由于使用各种帧内预测模式和变换内核，所以用于生成缩放掩码的变换内核的类型可能不与在应用缩放掩码之后使用的变换内核的类型匹配，这可能导致性能改善的变差。为了解决这个问题，根据本发明，可以根据相邻块的变换内核的类型来确定和使用缩放掩码。也就是说，根据本发明的缩放掩码可以是根据帧内预测模式和变换内核的类型通过离线学习的滤波器。也就是说，可以根据帧内预测模式和变换内核的类型自适应地确定缩放掩码。
图6示出了根据本发明的考虑变换内核生成CIIP参考样本的示例性方法。
参考图6，可以根据相邻块的变换内核的类型来确定和使用缩放掩码。在这种情况下，可以允许在学习过程中生成缩放掩码时使用的变换内核的类型与实际应用缩放掩码时使用的变换内核的类型匹配，由此解决学习和测试过程之间的失配问题。
图7示出了当将CIIP应用于当前块时生成CIIP参考样本的示例性过程。图7的方法可以由编译设备来执行，并且编译设备可以包括编码设备或解码设备。
参考图7，编译设备检查当前块的相邻块是否可用(S700)。即，编译设备识别是否可以参照相邻块。例如，当相邻块位于当前图片之外或者位于与当前块不同的片或瓦中时，可以确定相邻块不可用。或者，当与在跳过模式编码相邻块的情况类似地，相邻块没有残余时，可以确定相邻块不可用。
编译设备识别相邻块是否可用(S705)，并且如果相邻块可用，则导出用于相邻块的量化的变换系数(S710)，导出相邻块的预测样本(S740)，并且导出关于相邻块的编译信息(S750)。这里，编译信息可以包括用于相邻块的帧内预测模式和变换内核。基于帧内预测模式导出预测样本，并且基于变换内核生成量化的变换系数。基于相邻块的帧内预测模式和变换内核来设置缩放掩码(S760)。这里，可以在逆量化步骤中使用变换内核(S725)。
编译设备通过对相邻块的量化的变换系数进行逆量化来导出变换系数(S715)。编译设备将CIIP缩放应用于变换系数(S720)。在这种情况下，如上所述，编译设备可以将在步骤S760中基于相邻块的帧内预测模式和变换内核所确定的缩放掩码应用于变换系数。编译设备通过对经过了CIIP缩放的变换系数进行逆变换来导出用于相邻块的修改的残余样本(S725)。编译设备通过根据样本位置(拓扑)将基于步骤S725导出的相邻块的修改的残余样本和基于步骤S740导出的相邻块的预测样本相加来生成相邻块的修改的重构样本(CIIP重构样本)(S730)。
编译设备基于相邻块的修改的重构样本来导出用于对当前块的帧内预测的相邻参考样本，并且如果至少一个相邻参考样本不可用，则通过基于可用的相邻参考样本执行填充而填充不可用的相邻参考(S735)。
例如，可以考虑多个相邻块来导出当前块的相邻参考样本。在这种情况下，可以在一些相邻块中生成CIIP重构样本，但是可能不会生成CIIP重构样本。具体而言，例如，当将CIIP应用于四叉树块结构时，如果将帧间预测应用于相对于当前块的相邻块，或者如果相邻块对应于具有超过可应用于诸如SPS或片头的较高层中定义的CIIP缩放掩码的大小的大小的块，则可以不通过将CIIP缩放掩码应用于相邻块来生成CIIP重构样本。当导出CIIP可用的当前块的相邻块样本时，这可能是一个问题。为了解决这个问题，可以基于以下方法来填充相邻参考样本。
图8示出了填充相邻参考样本的示例性方法。
参考图8，在导出当前块800的相邻参考样本时，可以使用可用参考样本填充不可用相邻参考样本。在这种情况下，可以执行填充过程，在该填充过程中，在按照图8中的箭头方向指示的搜索顺序检查可用性的同时，当检测不可用的相邻参考样本时，基于搜索顺序复制紧邻的前一个相邻参考样本，并将其填充到不可用的相邻参考样本。
另外，CIIP缩放掩码可能不可用。这种情况可以包括如上所述的作为相邻块的TU的大小超过允许范围的情况或者TU属于非正方形PU的情况。在这种情况下，在执行填充过程之前，可以用当前块的可用相邻参考样本填充相邻块的正常重构样本。例如，如果CIIP缩放掩码在第一相邻块中可用，则可以生成用于第一相邻块的CIIP重构样本，并且如果CIIP缩放掩码在第二相邻块中不可用，则可以生成针对第二相邻块的正常重构样本。可基于用于第一相邻块的CIIP重构样本和用于第二相邻块的正常重构样本来导出当前块的相邻参考样本。此后，还可以对仍然不可用的相邻参考样本执行前述的填充过程。
在这种情况下，可以例如如下执行通过针对不能使用CIIP缩放掩码的相邻块生成正常重构样本来导出当前块的一些相邻参考样本的过程。
图9示出了基于不能使用CIIP缩放掩码的相邻块的正常重构样本导出当前块的一些相邻参考样本的示例性方法。
参考图9，编译设备识别相邻块中是否存在变换系数(S900)。这里，相邻块中是否存在变换系数可暗示相邻块中是否存在非零变换系数。如果相邻块中存在非零变换系数，则编译设备可以确定CIIP缩放对于相邻块是可用的(适用的)。
如果在步骤S900中相邻块中存在变换系数，则导出用于相邻块的量化的变换系数(S910)，导出相邻块的预测样本(S950)，并且导出用于相邻块的编译信息(S960)。这里，编译信息可以包括用于相邻块的变换内核。这里，可以在逆量化步骤S930中使用变换内核。
编译设备通过逆量化相邻块的量化的变换系数来导出变换系数(S920)。编译设备通过对变换系数进行逆变换来导出相邻块的(正常)残余样本(S930)。编译设备通过根据样本位置(拓扑)将基于步骤S930导出的相邻块的(正常)残余样本和基于步骤S960导出的相邻块的预测样本(S940)相加来生成相邻块的(正常)重构样本。
如果在步骤S900中相邻块中不存在变换系数，则可基于前述填充过程来导出属于对应的相邻块部分的当前块的相邻参考样本。
例如，可以基于以下流程图来执行根据本发明的上述帧内预测方法。
图10是示出由根据本发明的编码设备执行的帧内预测方法的示例的示意图。图1的编码设备可以执行图10的方法。具体而言，例如，可由编码设备的预测器执行图10的S1000至S1030，并且可由编码设备的熵编码器执行S1040。
参考图10，编码设备确定当前块的帧内预测模式(S1000)。这里，帧内预测模式可以是DC模式、平面模式和角度模式中的任何一种。这里，当前块可以对应于当前TU。例如，可以从当前CU导出至少一个PU和至少一个TU。在这种情况下，PU的区域中可以存在一个或多个TU。例如，可以在当前CU中确定帧间/帧内预测类型，并且可以在PU中确定特定帧内预测模式。在这种情况下，在PU区域中的TU可以共享所确定的帧内预测模式。编码设备可以基于速率失真(RD)成本来确定最佳帧内预测模式。
编码设备确定是否将CIIP应用于当前块(S1010)。编码设备可以基于RD成本来确定是否将CIIP应用于当前块。在这种情况下，编码设备可以生成指示是否应用CIIP的CIIP可用标志，并且可以如下所述通过比特流将CIIP标志发送到解码设备。同时，根据具体情况，当确定CIIP不适用于当前块时，可以不考虑RD成本。也就是说，可以预定当特定条件被满足时，CIIP不被应用于当前块。
例如，当当前块属于特定大小的范围时，编码设备可以确定CIIP适用于当前块。在这种情况下，编码设备可以生成关于CIIP可用块大小的信息，并且可以通过比特流将其发送到解码设备，如下所述。例如，当CIIP可用标志的值为1时，可以接收关于CIIP可用块大小的信息。关于CIIP可用块大小的信息可以指示CIIP可用的最大块大小和最小块大小。
再例如，编码设备可以基于当前块所属的当前PU是否为非正方形PU来确定是否将CIIP应用于当前块。例如，如果当前PU是非正方形PU，则编码设备可以确定CIIP未被应用于当前块。在这种情况下，编码设备可以不向解码设备发送CIIP可用标志。
编码设备导出当前块的相邻参考样本(S1020)。编码设备导出当前块的相邻参考样本以用于帧内预测中。例如，如果当前块的左上样本位置是(0,0)并且如果当前块具有高度H和宽度W，则相邻参考样本可以包括高达(-1,2N-1)...(-1,-1)和(0,-1)...(2N-1,-1)的样本。
具体地，例如，编码设备可以获取相邻块的量化的变换系数，并且可以通过对量化的变换系数进行逆量化来获取变换系数。编码设备可以基于变换系数导出残余样本或修改的残余样本。
如果CIIP未被应用于当前块，则编码设备可以通过对变换系数进行逆变换来导出残余样本。
如果CIIP被应用于当前块，则在对变换系数执行CIIP缩放过程之后，编码设备可以通过对经过CIIP缩放的变换系数进行逆变换来导出修改的残余样本。在这种情况下，可以基于缩放矩阵来执行CIIP缩放过程。可以根据用于相邻块的帧内预测模式和变换内核来确定缩放矩阵。经过CIIP缩放的变换系数可以基于变换内核进行逆变换。
编码设备可以基于残余样本或修改的残余样本来导出相邻参考样本。
再例如，编码设备可以基于第一相邻块的修改的重构样本和第二相邻块的重构样本导出当前块的相邻参考样本。在这种情况下，可以为第一相邻块获取第一量化的变换系数。可以为第二相邻块获取第二量化的变换系数。可以通过对第一量化的变换系数进行逆量化来获取第一变换系数。可以通过对第二量化的变换系数进行逆量化来获取第二变换系数。可以通过对第一变换系数执行CIIP缩放过程来导出经过CIIP缩放的变换系数。可以通过对经过了CIIP缩放的变换系数进行逆变换来导出修改的残余样本。可以通过对第二变换系数进行逆变换来导出残余样本。可以基于修改的残余样本为第一相邻块导出修改的重构样本。可以基于残余样本导出用于第二相邻块的重构样本。
同时，如果在用于当前块的相邻参考样本中存在不可用的相邻参考样本，如图8中例示，则编码设备可以基于预定的搜索顺序来复制先前可用的相邻参考样本，以对不可用的相邻参考样本执行填充。
编码设备可以基于帧内预测模式和相邻参考样本来生成当前块的预测样本(S1030)。编码设备可根据帧内预测模式通过使用全部或部分相邻样本来产生预测样本。
编码设备编码并输出关于帧内预测模式的信息(S3140)。编码设备可以以比特流的形式编码和输出关于帧内预测模式的信息。比特流可以通过网络或存储介质传输到解码设备。另外，编码设备可对关于当前块的残余的信息进行编码并以比特流形式输出它。关于当前块的残余的信息可以包括关于当前块的残余样本的量化的变换系数。
同时，编码设备可对关于所生成的CIIP可用标志和CIIP可用块大小的信息进行编码，并可将其以比特流形式输出。
图11是示出由根据本发明的解码设备执行的帧内预测方法的示例的示意图。图2的解码设备可以执行图11的方法。具体地说，例如，可以由解码设备的预测器执行图11的S1100至S1130。
参考图11，解码设备确定当前块的帧内预测模式(S1100)。这里，帧内预测模式可以是DC模式、平面模式和角度模式中的任何一种。这里，当前块可以对应于当前TU。例如，可以从当前CU导出至少一个PU和至少一个TU。在这种情况下，一个或多个TU可以存在于PU的区域中。例如，可以在当前CU中确定帧间/帧内预测类型，并且可以在PU中确定特定帧内预测模式。在这种情况下，PU区域中的TU可以共享确定的帧内预测模式。
解码设备可以通过比特流来获取关于帧内预测模式的信息。解码设备可以解码从编码设备接收的比特流，并且可以获取关于帧内预测模式的信息。可以通过网络或存储介质来接收比特流。解码设备还可以通过比特流接收关于CIIP可用标志的信息和关于CIIP可用块大小的信息中的至少一个。例如，当CIIP可用标志的值为1时，可以接收关于CIIP可用块大小的信息。关于CIIP可用块大小的信息可以指示CIIP可用的最大块大小和最小块大小。
解码设备确定是否将CIIP应用于当前块(S1110)。解码设备可以从比特流解析或获取CIIP可用标志，并且可以基于CIIP标志确定是否将CIIP应用于当前块。另外，根据具体情况，当确定或归纳出CIIP未被应用于当前块时，可能不接收或解析CIIP可用标志。也就是说，当特定条件被满足时，可以预定CIIP不被应用于当前块。
例如，当当前块属于特定大小的范围时，解码设备可以确定CIIP适用于当前块。关于CIIP可用块大小的信息可以指示CIIP可用的最大块大小和最小块大小。如果当前块的大小属于最大块大小和最小块大小的范围，则解码设备可以确定将CIIP应用于当前块。
再例如，解码设备可以基于当前块所属的当前PU是否为非正方形PU来确定是否将CIIP应用于当前块。例如，如果当前PU是非正方形PU，则解码设备可以确定CIIP未被应用于当前块。在这种情况下，解码设备可能不会收到CIIP可用标志。
解码设备导出当前块的相邻参考样本(S1120)。解码设备导出当前块的相邻参考样本，以用于帧内预测。例如，如果当前块的左上样本位置是(0,0)并且如果当前块具有高度H和宽度W，则相邻参考样本可以包括高达(-1,2N-1)...(-1,-1)和(0,-1)...(2N-1,-1)的样本。
具体地，例如，解码设备可以获取用于相邻块的量化的变换系数，并且可以通过对量化的变换系数进行逆量化来获取变换系数。解码设备可以基于变换系数导出残余样本或修改的残余样本。如果CIIP未被应用于当前块，则解码设备可以通过对变换系数进行逆变换来导出残余样本。如果将CIIP应用于当前块，则解码设备可以通过在对变换系数执行CIIP缩放过程之后对经过CIIP缩放的变换系数进行逆变换来导出修改的残余样本。在这种情况下，可以基于缩放矩阵来执行CIIP缩放过程。可以根据用于相邻块的帧内预测模式和变换内核来确定缩放矩阵。经过CIIP缩放的变换系数可以基于变换内核进行逆变换。解码设备可以基于残余样本或修改的残余样本来导出相邻参考样本。
又如，解码设备可基于第一相邻块的修改的重构样本和第二相邻块的重构样本来导出当前块的相邻参考样本。在这种情况下，可以为第一相邻块获取第一量化的变换系数。可以为第二相邻块获取第二量化的变换系数。可以通过对第一量化的变换系数进行逆量化来获取第一变换系数。可以通过对第二量化的变换系数进行逆量化来获取第二变换系数。可以通过对第一变换系数执行CIIP缩放过程来导出经过CIIP缩放的变换系数。可以通过对经过了CIIP缩放的变换系数进行逆变换来导出修改的残余样本。可以通过对第二变换系数进行逆变换来导出残余样本。可以基于修改的残余样本为第一相邻块导出修改的重构样本。可以基于残余样本导出用于第二相邻块的重构样本。
同时，如果在用于当前块的相邻参考样本当中存在不可用的相邻参考样本，则如图8所示，解码设备可以基于预定的搜索顺序复制先前可用的相邻参考样本，以对不可用的相邻参考样本执行填充。
解码设备可以基于帧内预测模式和相邻参考样本生成当前块的预测样本(S1130)。解码设备可以根据帧内预测模式通过使用全部或一些相邻样本来生成预测样本。
解码设备可以从比特流获取关于当前块的残余的信息。解码设备可以基于关于当前块的残余的信息来导出当前块的残余样本，并且可以基于当前块的预测样本和当前块的残余样本来生成重构样本。关于当前块的残余的信息可以包括当前块的量化的变换系数。解码设备可以基于重构样本来生成重构图片。
根据前述的本发明，可以导出适合于当前块的帧内预测的相邻参考样本，由此改进帧内预测性能。
另外，根据本发明，与其中相邻块的重构样本被用作用于当前样本的帧内预测的相邻参考样本的传统技术不同，可以通过将CIIP缩放应用于相邻块的变换系数来生成修改或改善的相邻参考样本，由此改进帧内预测性能。
本领域技术人员将认识到，在不脱离本发明的精神和基本特征的情况下，可以以不同于在此阐述的那些的其他特定方式来实施本发明。因此，上述实施例应当在所有方面被解释为说明性的而非限制性的。本发明的范围应由所附权利要求及其合法等同物而不是由上述说明来确定，并且落入所附权利要求的含义和等同范围内的所有改变旨在被包含在其中。
根据本发明的上述方法可以以软件形式来实现。根据本发明的编码器和/或解码器可以被包括于在例如TV、计算机、智能电话、机顶盒和显示设备等的执行图像处理的设备中。
当以软件实现本发明的实施例时，可以通过执行上述功能的模块(过程和功能等)来实现上述方法。这样的模块可以存储在存储器中并由处理器执行。存储器可以在处理器的内部或外部，并且可以使用各种众所周知的手段将存储器耦合到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片集、逻辑电路和/或数据处理设备。存储器可以包括ROM(只读存储器)、RAM(随机存取存储器)、闪存、存储卡、存储介质和/或其他存储设备。