使用跳跃模式的图像编码方法及使用该方法的装置制造方法
【专利摘要】公开了一种使用跳跃模式的图像编码方法及使用该方法的装置。所述图像编码方法可包括以下步骤：基于表示残余块数据是否已被编码的预定数据，判断是否存在预测对象块的残余块数据；以及，如果存在残余块数据，则基于所述预测对象块的残余块数据和帧内屏幕预测值来恢复所述预测对象块。因此，根据屏幕相似性，通过对仅用于需要残余数据块的预测对象块的屏幕残余数据执行编码和解码，可以提高编码和解码效率。
【专利说明】使用跳跃模式的图像编码方法及使用该方法的装置
【技术领域】
[0001]本发明涉及一种解码方法及设备，并且更具体地涉及一种使用跳跃模式的视频解码方法及使用该方法的设备。
【背景技术】
[0002]近来，在各种应用中已经增加了对诸如高清(HD)视频和超高清(UHD)视频之类的高分辨率及高质量视频的需求。由于增加了视频数据的分辨率及质量，因而相比于现有的视频数据来说，数据量相对地得到了增加。因此，当使用诸如现有的有线和无线宽带线之类的介质传送视频数据、或者使用现有的存储介质存储视频数据时，传送成本及存储成本增加了。为了解决由于视频数据的分辨率和质量的增加而出现的这些问题，可以利用高效的视频压缩技术。
[0003]作为视频压缩技术，存在多种技术，例如根据先于或后于当前图的图预测包括在当前图中的像素值的帧间预测技术，使用当前图中的像素信息预测包括在当前图中的像素值的帧内预测技术，以及将短码分配给具有高的出现频率的值且将长码分配给具有低的出现频率的值的熵编码技术等。通过使用视频压缩技术，可以有效地压缩、传送或存储视频数据。
【发明内容】
[0004]技术问题
[0005]本发明提供了 一种恢复具有高像素相关性的视频的方法。
[0006]本发明还提供了一种用于对具有高像素相关性的视频执行恢复方法的设备。
[0007]技术方案
[0008]在一方面，提供了一种视频解码方法。该视频解码方法包括:基于表示残余块信息是否被编码的预定信息来确定预测对象块的残余块信息是否存在；以及当残余块信息存在时，基于帧内预测值和残余块信息来恢复所述预测对象块。该视频解码方法还可以包括:当残余块信息不存在时，通过仅使用预测对象块的帧内预测值来恢复预测对象块。帧内预测值可以是基于预测对象块的参考像素值计算的值，以及可以是当具有定向性时根据预定的帧内预测模式预测的值，或者可以是参考像素的算术平均值或加权平均值。视频解码方法还可以包括:解码在对预测对象块执行帧内预测时所选择性使用的参考像素值信息。帧内预测值可以是基于考虑到预测对象块的参考像素的特征选择的参考像素值而计算的帧内预测值。考虑到预测对象块的参考像素的特征选择的参考像素值可以是通过将预测对象块的左上像素和左参考像素的相似性与预测对象块的左上像素和上参考像素的相似性进行比较而选择的参考像素。帧内预测值可以是基于由多种帧内预测模式预测的值的平均值或加权值和而计算的值。表示残余块信息是否被编码的预定信息可以是从已解码的预测对象块的外围块信息中导出的信息。
[0009]在另一方面，提供了一种视频解码设备。该视频解码设备包括:熵解码器，解码用于表示残余块数据是否被解析的信息；以及预测器，基于解码的帧内跳跃标记信息来确定预测对象块的残余块信息和预测块生成信息的至少一个是否存在。该预测器可以是当残余块信息存在时基于预测对象块的帧内预测值和残余块信息恢复预测对象块的预测器。该预测器可以是当残余块信息不存在时、通过仅使用预测对象块的帧内预测值恢复预测对象块的预测器。帧内预测值可以是基于预测对象块的参考像素值计算的值，以及可以是当具有定向性时根据预定的帧内模式而预测的值，或者可以是参考像素的算术平均值或加权平均值。该预测器还可以是仅基于选择性使用的参考像素值信息执行帧内预测的预测器。帧内预测值可以是基于考虑到预测对象块的参考像素的特征选择的参考像素值而计算的帧内预测值。考虑到预测对象块的参考像素的特征选择的参考像素值可以是通过将预测对象块的左上像素和左参考像素的相似性与预测对象块的左上像素和上参考像素的相似性进行比较而选择的参考像素值。帧内预测值可以是基于由多种帧内预测模式预测的值的平均值或加权值和而计算的值。表示残余块数据是否被解析的信息可以是从已解码的预测对象块的外围块信息中导出的信息。
[0010]有益效果
[0011]根据本发明示范性实施例的使用跳跃模式的视频解码方法以及使用该方法的设备基于屏幕相似性，对仅用于需要残余信息块的预测对象块的屏幕的残余信息执行编码和解码，从而使得可能提高编码和解码效率。
【专利附图】
【附图说明】
[0012]图1是图示了根据本发明的示范性实施例的视频编码设备的框图。
[0013]图2是图示了根据本发明的另一示范性实施例的视频解码设备的结构的框图。
[0014]图3是图示了根据本发明的示范性实施例的深度信息视频的图像。
[0015]图4是图示了根据本发明的示范性实施例的图像和像素相似性的方向的图。
[0016]图5是图示了根据本发明的示范性实施例的块编码方法的构思图。
[0017]图6是图示了根据本发明的示范性实施例的块解码方法的构思图。
[0018]图7是图示了根据本发明的示范性实施例的定向的帧内预测模式的构思图。
[0019]图8是图示了根据本发明的示范性实施例的帧内预测方法的构思图。
[0020]图9是图示了根据本发明的示范性实施例图示帧内预测方法的构思图。
[0021]图10是图示了根据本发明的示范性实施例的帧内预测方法的构思图。
[0022]图11是图示了根据本发明的示范性实施例的确定是否生成残余块的方法的构思图。
[0023]图12是图示了根据本发明的示范性实施例的视频解码方法的流程图。
[0024]图13是图示了根据本发明的示范性实施例的用于恢复多维视频的方法的构思图。
【具体实施方式】
[0025]在下文中，将参照附图详细地描述本发明的示范性实施例。然而，在本发明描述的示范性实施例中，将不会详细地描述公知的功能或结构，因为它们可能不必要地混淆本发明的理解。[0026]应当理解的是，当将任何元件称为“连接到”或“耦合到”另一元件时，它可以是直接连接到或者直接耦合到另一元件，或者具有介入其间的其它元件地连接到或耦合到另一元件。此外，在本说明书中，在记载到“包括”具体的组件的情形中，应当理解的是，除了相应组件之外的另外的组件没有被排除，而是可以包括在本发明的示范性实施例或技术范围中。
[0027]在说明书中使用的术语“第一”、“第二”等可以用来描述各种组件，但是这些组件不被解释为限于这些术语。也就是，这些术语被用于区分一个组件和另一个组件。例如，可以将“第一”组件命名为“第二”组件，并且反之亦然，而不脱离本发明的范围。
[0028]另外，仅为了表示它们执行不同的特征功能而独立地示出了在本发明的示范性实施例中描述的组件。因此，独立示出的组件并不意味着每个组件都被实现为一个硬件或软件。也就是，为了便于解释而划分了各个组件，可以彼此地组合多个组件从而被实施为一个组件，或者可以将一个组件划分为多个组件，从而被实施为多个组件，这些都包括在本发明的范围中，只要它不脱离本发明的必要特征。
[0029]另外，一些组件可能不是执行本发明的必要功能所必需的组件，而是仅仅改善其性能的可选组件。还可以仅仅通过包括除了可选组件之外的必需组件的结构来实现本发明，并且在本发明的范围内还可以包括仅包括必需组件的结构。
[0030]图1是图示了根据本发明的示范性实施例的视频编码设备的框图。
[0031]参照图1，用于编码视频的设备100包括运动预测器111、运动补偿器112、帧内预测器120、开关115、减法器125、变换器130、量化器140、熵编码器150、去量化器160、反变换器170、加法器175、滤波器单元180、以及参考视频缓冲器190。
[0032]用于编码视频的设备100通过帧内模式(帧内预测模式)或帧间模式(帧间预测模式)对输入视频执行编码，并且输出位流。在下文中，在本发明的示范性实施例中，帧内预测可以被用作与帧内预测相同的含义，并且帧间预测被用于与帧间预测相同的含义。为了确定预测单元的最佳预测方法，可以选择性地使用预测单元的帧内预测方法和帧间预测方法。用于编码视频的设备100可以为输入视频的原始块生成预测块，并且然后，编码原始块和预测块之间的差。
[0033]在帧内预测模式的情形中，通过使用当前块周围的已编码块的像素值执行空间预测，帧内预测器120(另选地，帧内画面预测器可被用作具有相同含义的术语)生成预测块。
[0034]本发明的示范性实施例可以基于用于通过对预测对象块执行帧内预测而计算的预测对象块的预测值的视频的像素相关性，来确定是否编码残余块，该残余块是原始块的预测值和预测对象块的预测值之间的差值。例如，在具有类似深度视频的高像素相关性的块的情形中，可以向解码器传送在其中没有编码残余块且仅通过预测值构造(生成)预测对象块的信息。通过该方法可以改善视频编码效率。可以基于任何标记信息表示关于残余块和预测块生成信息是否被编码的信息。例如，(I)当标记值是O时，预测对象块是其中残余块也被编码的块，因此，熵解码器解码、去量化以及反变换残余块信息，并且然后将该信息添加到由预测器生成的预测对象块的预测值，从而使得能够恢复视频。(2)当标记值是I时，预测对象块是其中残余块没有被编码的块，并且可以仅通过由预测器生成的预测对象块的预测值来生成恢复的视频。
[0035]在帧间预测模式的情形中，运动预测器111在运动预测过程期间搜索与在参考视频缓冲器190中存储的参考视频的输入块最佳匹配的区域，以获得运动矢量。运动补偿器112使用该运动矢量执行运动补偿，以生成预测块。
[0036]减法器125可以通过输入块和所生成的预测块之间的差生成残余块。变换器130可以对残余块执行变换以输出变换系数。此外，量化器140基于量化参数对输入变换系数进行量化，以输出量化系数。熵编码器150根据概率分布对输入的量化系数执行熵编码，以输出位流。
[0037]在执行帧间预测编码时，当前编码的视频应当被解码并且存储，以用作参考视频。因此，由去量化器160对量化系数进行去量化，并且由反变换器170进行反变换。通过加法器175将去量化的、反变换的系数相加到预测块，因此，生成恢复的块。
[0038]恢复的块传过滤波器单元180，其中，滤波器单元180可以对恢复的块或恢复的画面施加去块滤波器、样本自适应偏移(SAO)、自适应循环滤波器(ALF)中的至少一个。滤波器单元180可以被称为自适应环路滤波器。去块滤波器可以移除在块之间的边界处出现的块失真。SAO可以将最佳偏移值添加到像素值，以补偿编码误差。ALF可以基于通过将恢复的视频与原始视频进行比较而获得的值来执行滤波，并且还可以仅仅在实施高效率编码时执行ALF。将穿过滤波器单元180的恢复的块存储在参考视频缓冲器190中。
[0039]图2是图示了根据本发明的另一示范性实施例的视频解码设备的结构的框图。
[0040]参照图2，用于解码视频的设备200包括熵解码器210、去量化器220、反变换器230、帧内预测器240、运动补偿器250、滤波器单元260以及参考视频缓冲器270。
[0041]用于解码视频的设备200可以接收从编码器输出的位流，并且按照帧内模式或帧间模式执行解码，以输出重构的视频，也就是恢复的视频。在帧内模式的情形中，使用帧内预测模式生成预测块，并且在帧间模式的情形中，使用帧间预测方法生成预测块。用于解码视频的设备200可以从所接收的位流获得残余块，生成预测块，并且然后将预测块添加到残余块，以生成重构的块，也就是恢复的块。
[0042]熵解码器210根据概率分布对输入的位流执行熵解码，以输出量化系数。可以通过去量化器220对量化系数进行去量化，并且通过反变换器230进行反变换。在这种情形中，可以对量化系数进行去量化/反变换，以生成残余块。
[0043]如上所述，可以将预测对象块分为通过仅编码在其中仅通过预测值构造(生成)预测对象块的信息而传送的块、以及通过与残余块信息一起编码而传送的块。在这种情形中，通过熵解码器来解码预定的标记，基于解码的帧内跳跃标记，确定预测对象块是否与残余块信息一起编码，并且其可以确定残余块是否被解码或者残余块是否没有被解码。例如，(I)当帧内跳跃标记是O时，预测对象块是其中残余块也被编码的块，因此，熵解码器解码、去量化以及反变换残余块信息，并且然后将该信息添加到从预测器生成的预测对象块的预测值，从而使得能够恢复视频。(2)当帧内跳跃标记是I时，预测对象块是其中残余块没有被编码的块，并且可以仅通过从预测器生成的预测对象块的预测值来生成恢复的视频。
[0044]在帧内预测模式的情形中，帧内预测器240(另选地，帧间画面预测器)可以通过使用当前块周围已被编码的块的像素值而执行空间预测，来生成预测块。
[0045]在帧间预测模式的情形中，运动补偿器250可以使用参考视频缓冲器270中存储的运动矢量和参考视频来执行运动补偿，以生成预测块。
[0046]通过加法器255将残余块和预测块相加，并且相加的块穿过滤波器单元260。滤波器单元260可以对恢复的块或恢复的画面施加去块滤波器、SAO、ALF的至少一个。滤波器单元260输出重构视频，也就是恢复的视频。可以将恢复的视频存储在参考视频缓冲器270中，以用于帧间预测。
[0047]作用用于改善编码/解码设备的预测性能的方法，存在一种用于提高内插视频精确度的方法和一种用于预测差信号的方法。这里，该差信号是表示原始视频和预测视频之间的差的信号。在本说明书中，根据语法，“差信号”可以替换地用作“差异信号”、“残余块”或“差异块”，在不影响本发明的思想和精髓的范围内，其可由本发明所属领域技术人员进行区分。
[0048]如上所述，在本发明的示范性实施例中，为了便于解释，将译码单元用作编码单元，但是其也可以是用于执行编码和解码的单元。在视频编码器和视频解码器中包括的各个组件的含义也可以包括硬件含义以及可通过算法执行的软件处理单元。
[0049]另外，视频编码设备和视频解码设备可以用于编码和解码二维视频编码和解码方法的视频信息，例如，深度视频信息、多视角视频信息。因此，在本发明的示范性实施例中编码和解码的视频可以是包括深度信息图的深度信息视频，并且也可以是包括亮度信息或色彩差信息的视频。
[0050]在本发明的示范性实施例中，在下文将描述的视频编码方法和视频解码方法可以在以上图1和2中所描述的视频编码器和视频解码器中包括的各个组件中执行。这些组件的含义可以包括硬件含义以及可通过算法执行的软件处理单元。
[0051]图3是图示了根据本发明的示范性实施例的深度信息视频的图。
[0052]参照图3，深度信息图包括表示照相机和对象之间的距离的信息，因此帧间像素相关性是非常高的。特别地，可以在对象或者背景部分中广泛地表示相同的深度信息。
[0053]图4是图示了根据本发明的示范性实施例的图像和像素相似性的方向的图。
[0054]图4的图表示在图3的视频深度信息视频的任何位置中按照水平方向或垂直方向表示各个像素的值的2D图。从该图中可以意识到，深度信息图与外围块具有非常高的帧间像素相关性，并且在深度信息图的对象中以及背景部分处的深度信息的值是彼此相似的。
[0055]当在具有高帧间像素相关性的视频中执行帧内预测时，实际上可以仅使用外围块的像素值来预测所述预测对象块的像素值，并且因此，对于作为当前块和预测块之间的差值的残余信号的编码过程和解码过程是不需要的。因此，可以向解码器传送其中根据视频特征仅通过预测值、无需传送残余块信息来构造(生成)预测对象块的信息，并且通过上述方法可以提高编码效率。
[0056]本发明的示范性实施例公开了一种在对类似深度信息视频的具有高帧间像素相关性的视频执行帧内预测编码时，用于降低计算复杂度并且改善编码效率的编码方法。本发明的示范性实施例还可被应用于包括亮度采样或色彩差采样的视频信息而非深度信息视频，这包括在本发明的范围内。
[0057]在下文中，在本发明的示范性实施例中，将作为帧内预测的对象的块定义为被称为预测对象块的术语，将通过对预测对象块执行帧内预测而生成的块定义为被称为预测块的术语，将作为预测块的块定义为被称为原始块的术语，并且将表示预测块和原始块之间的差的块定义为被称为残余块的术语。
[0058]图5是图示了根据本发明的示范性实施例的块编码方法的构思图。[0059]参照图5，可以通过选择以下方法之一来编码视频:方法⑴用于编码作为由预测器(帧间预测和帧内预测)生成的预测块和输入视频之间的差值的残余块，以及方法(2)用于仅编码由预测器(帧间预测和帧内预测)生成的预测块。可以基于像预定的标记信息一样的语法元素信息来表示是否对生成的残余块执行编码或者是否仅使用预测块来对视频进行编码。在下文中，将语法元素信息定义为被称为帧内跳跃标记的术语。
[0060]在对残余块执行变换和量化时，上述的方法(I)可以对所述预测对象块的残余块执行变换、量化、以及熵编码，以生成位流。已变换和量化的块可以通过经受反变换和去量化而包括于缓冲器中，以再次用于预测。
[0061]当没有对残余块执行变换和量化时，也就是当没有对残余块执行编码时，上述的方法(2)没有编码预测块生成信息(例如，在帧内预测的情形中，帧内预测模式信息；以及在帧间预测模式的情形中，运动矢量、参考画面索引信息等)，并且可以通过当前块的外围块导出预测块生成信息。例如，当预测对象块使用帧内预测时，可以基于外围块的帧内预测模式信息导出当前预测对象块的帧内预测模式信息，以在解码端生成预测块。
[0062]当没有对残余块执行变换和量化时，也就是当没有对残余块执行编码时，另一种方法可以编码预测块生成信息(例如，在帧内预测的情形中的帧内预测模式信息，以及在帧间预测模式的情形中的运动矢量、参考画面索引信息等)，并且将编码的预测块生成信息传送到解码器。
[0063]在类似于外围视频的视频的情形中，可以仅通过预测块来生成类似于原始块的块，并且因此，所恢复的预测块可以用作恢复的视频信息，无需对残余块执行变换、量化和熵编码。关于是否对残余块执行编码的信息可以表示为作为语法元素信息的帧内跳跃标记。
[0064]解码器可以解码像帧内跳跃标记一样的信息，以确定是否对残余块执行熵解码。
[0065]图6是图示了根据本发明的示范性实施例的块解码方法的构思图。
[0066]参照图6，通过熵解码器解码帧内跳跃标记，并且基于解码的帧内跳跃标记，可以确定残余块和预测块生成信息是否被解码、或者残余块和预测块生成信息是否未被解码。另外，通过熵解码器解码帧内跳跃标记，并且可以基于解码的帧内跳跃标记确定残余块是否被解码或者残余块是否未被解码。
[0067](I)当帧内跳跃标记是O时，预测对象块是其中残余块也被编码的块，并且因此，熵解码器解码、去量化以及反变换残余块信息，并且然后将该信息添加到从预测器生成的预测对象块的预测值，从而使得能够恢复视频。
[0068](2)当帧内跳跃标记是I时，预测对象块是其中残余块没有被编码的块，并且可以仅通过从预测器生成的预测对象块的预测值来生成恢复的视频。在这种情形中，为了生成预测对象块的预测值，预测块生成信息(例如，帧内预测模式信息)从外围块中导出而无需被编码，或者可以编码预测块生成信息，以将其传送到解码端。例如，外围块的帧内预测模式信息被用作预测对象块的帧内预测模式信息，或者参考像素的平均值可以被用作预测对象块的帧内预测值。
[0069]根据本发明的示范性实施例，在图5和6中公开了可以在上述编码器和解码器中使用的帧内预测方法。
[0070]在下文中，表I和图7图示了可以用于本发明的示范性实施例的帧内预测模式。然而，表1和图7图示了帧内预测模式，但是本发明的示范性实施例中所使的帧内预测模式并不限于图7所公开的帧内预测模式。
[0071]表1图示了在帧内预测模式编号和帧内预测模式之间的映射。
[0072]表1
[0073]
【权利要求】
1.一种视频解码方法，包括: 基于表示残余块信息是否被编码的预定信息来确定预测对象块的残余块信息是否存在；以及 当所述残余块信息存在时，基于帧内预测值和所述残余块信息来恢复所述预测对象块。
2.如权利要求1所述的视频解码方法，还包括:当所述残余块信息不存在时，通过仅使用所述预测对象块的帧内预测值来恢复所述预测对象块。
3.如权利要求1所述的视频解码方法，其中，所述帧内预测值是基于预测对象块的参考像素值计算的值，并且是当具有定向性时根据预定的帧内模式而预测的值，或者是参考像素的算术平均值或加权平均值。
4.如权利要求3所述的视频解码方法，还包括: 解码在对所述预测对象块执行帧内预测时所选择性使用的参考像素值信息。
5.如权利要求1所述的视频解码方法，其中，所述帧内预测值是基于考虑到所述预测对象块的参考像素的特征而选择的参考像素值来计算的帧内预测值。
6.如权利要求5所述的视频解码方法，其中，考虑到所述预测对象块的参考像素的特征而选择的参考像素值是通过将所述预测对象块的左上像素和左参考像素的相似性与所述预测对象块的左上像素和上参考像素的相似性进行比较而选择的参考像素值。
7.如权利要求1所述的视频解码方法，其中，所述帧内预测值是基于利用多种帧内预测模式预测的值的平均值 或加权值和而计算的值。
8.如权利要求1所述的视频解码方法，其中，所述表示残余块信息是否被编码的预定信息是从已解码的预测对象块的外围块信息中导出的信息。
9.一种视频解码设备，包括: 熵解码器，解码表示残余块数据是否被解析的信息；以及 预测器，基于解码的帧内跳跃标记信息来确定预测对象块的残余块信息和预测块生成信息中的至少一个是否存在。
10.如权利要求9所述的视频解码设备，其中，所述预测器是当所述残余块信息存在时基于所述预测对象块的帧内预测值和所述残余块信息来恢复预测对象块的预测器。
11.如权利要求9所述的视频解码设备，其中，所述预测器是当所述残余块信息不存在时通过仅使用所述预测对象块的帧内预测值来恢复所述预测对象块的预测器。
12.如权利要求9所述的视频解码设备，其中，所述帧内预测值是基于所述预测对象块的参考像素值计算的值，并且是当具有定向性时根据预定的帧内模式预测的值，或者是参考像素的算术平均值或加权平均值。
13.如权利要求12所述的视频解码设备，其中，所述预测器是仅基于选择性使用的参考像素值信息执行帧内预测的预测器。
14.如权利要求9所述的视频解码设备，其中，所述帧内预测值是基于考虑到所述预测对象块的参考像素的特征选择的参考像素值而计算的帧内预测值。
15.如权利要求14所述的视频解码设备，其中，考虑到所述预测对象块的参考像素的特征选择的参考像素值是通过将所述预测对象块的左上像素和左参考像素的相似性与所述预测对象块的左上像素和上参考像素的相似性进行比较而选择的参考像素值。
16.如权利要求9所述的视频解码设备，其中，所述帧内预测值是基于利用多种帧内预测模式预测的值的平均值或加权值和而计算的值。
17.如权利要求9所述的视频解码设备，其中，所述表示残余块数据是否被解析的信息是从已解码的预测对象块 的外围块信息中导出的信息。
【文档编号】H04N19/44GK103548356SQ201280017112
【公开日】2014年1月29日 申请日期:2012年4月12日 优先权日:2011年4月12日
【发明者】方健, 郑元植, 严基纹, 许南淏, 朴光勋, 金耿龙 申请人:韩国电子通信研究院, 庆熙大学校产学协力团