图像编码设备和图像编码方法
【专利摘要】本发明提供一种图像编码设备和图像编码方法。当由预测方法确定单元、预测编码单元和熵编码单元进行流水线处理时，将整数变换单位的块(变换单位：TU)的大小设置为小于CU(编码单位)的大小。以TU为单位向预测编码单元反馈生成代码量，从而减小反馈延迟并且提高量化控制精度。
【专利说明】图像编码设备和图像编码方法
【技术领域】
[0001]本发明涉及一种图像编码设备和图像编码方法，尤其涉及一种适合于在被配置为改变作为编码单位的块的大小的编码设备中使用的技术。
【背景技术】
[0002]近来，随着与包括音频信号和图像信号的所谓的多媒体相关联的信息的数字化取得了快速进展，用于图像信号的压缩编码/解码技术持续得到关注。压缩编码/解码技术可以减小存储图像信号所需的存储容量以及传输所需的带，因此其在多媒体工业中是非常重要的技术。
[0003]这些压缩编码/解码技术使用许多图像信号中所具有的自相关程度(即冗余)，来对信息量/数据量进行压缩。图像信号的冗余包括时间冗余和二维空间冗余。可以使用针对每个块的运动检测和运动补偿来减小时间冗余。与此相对，可以使用离散余弦变换(DCT)来减小空间冗余。使用这些技术的一种编码方法是H.264/MPEG-4PART10 (AVC)(下文中称为 H.264)。
[0004]当用硬件实现H.264编码处理时，通常将编码处理分割为预测编码方法确定处理、预测编码处理和熵编码处理，并且以编码块为单位使各个处理流水线化(日本特开2010-50833)。配置用于反馈以编码块为单位进行熵编码之后的代码量、并且以编码块为单位控制量化系数、使得进行熵编码之后的代码量落在预定代码量内的机制，也是常见的做法。
[0005]对量化系数的控制包含在上述流水线处理中的预测编码处理中。在将代码量的反馈反映在量化系数中之前，流水线处理产生两个宏块的延迟。图5A是示意性地示出上述流水线处理的图。在图5A中，MB表示编码块，将MBO的生成代码量的反馈反映在MB2中。
[0006]近年来，正在研究下一代编码方法。考虑中的这些技术中的其中一种是可变编码块大小。这种技术通过根据图像的特征改变作为编码单位的编码块的大小，来提高编码效率。
[0007]图4示出了将图像帧的一部分分割为具有多个大小的编码块的示例。在图4中，(⑶)表示编码块。这里，将图像帧的一部分分割为10个编码块⑶O至⑶9。
[0008]然而，当编码块的大小可变时，如果与传统编码方法类似，通过反馈编码块的生成代码量来确定量化系数，则在将代码量的反馈反映在量化系数中之前的延迟可能增大。例如，当CU大小是如图4所示的大小时,如图5B所示,将CUO的生成代码量的反馈反映在CU8中。
【发明内容】
[0009]做出了本发明来解决上述问题，本发明使得即使当在图像帧中，编码块的大小可变时，也能够减小所生成的代码量的反馈的延迟，并且以高精度控制量化系数。
[0010]根据本发明的一方面，提供一种图像编码设备，用于以包括多个像素的编码块为单位对帧图像进行编码，所述图像编码设备包括:确定部件，用于从多个不同的大小中确定编码块的大小；变换部件，用于以给定大小对关于所述编码块的图像数据进行正交变换；量化部件，用于通过使用量化系数，对所述变换部件所正交变换后的图像数据进行量化；熵编码部件，用于对所述量化部件所量化后的图像数据进行熵编码；以及量化控制部件，用于从所述熵编码部件按照正交变换单位获取生成代码量的信息，并且根据所获取的生成代码量的信息来控制后续编码块的量化系数，其中，所述正交变换的大小小于所述编码块的大小。
[0011]根据本发明的另一方面，提供一种图像编码设备，用于将帧图像分割为各自包括多个像素的编码块，并且以所述编码块为单位对所述帧图像进行编码，所述图像编码设备包括:预测方法确定部件，用于确定所述编码块的预测方法；预测编码部件，用于计算所述编码块的原始图像和基于所确定的预测方法的预测图像之间的差，并且对通过对所述差进行正交变换而获得的变换系数进行量化；以及熵编码部件，用于对所述编码块的量化后的变换系数进行熵编码，其中，所述预测方法确定部件、所述预测编码部件和所述熵编码部件并行进行处理，其中，所述熵编码部件按照小于所述编码块的大小的正交变换单位，依次对所述编码块的量化后的变换系数进行编码，并且每次对一个正交变换单位的熵编码结束时，所述熵编码部件向所述预测编码部件通知按照所述正交变换单位所生成的代码量，以及其中，所述预测编码部件根据从所述熵编码部件通知的、按照所述正交变换单位的代码量，控制所述编码块的量化系数，以获得具有预定位速率的熵编码流。
[0012]根据本发明的又一方面，提供一种图像编码方法，用于以包括多个像素的编码块为单位对帧图像进行编码，所述图像编码方法包括如下步骤:从多个不同的大小中确定编码块的大小；正交变换步骤，用于以给定大小对关于所述编码块的图像数据进行正交变换；通过使用量化系数，对正交变换后的图像数据进行量化；熵编码步骤，用于对量化后的图像数据进行熵编码；以及量化控制步骤，用于从所述熵编码步骤的结果按照正交变换单位获取生成代码量的信息，并且根据所获取的生成代码量的信息来控制后续编码块的量化系数，其中，所述正交变换的大小小于所述编码块的大小。
[0013]根据本发明的又一方面，提供一种图像编码方法，用于将帧图像分割为各自包括多个像素的编码块，并且以所述编码块为单位对所述帧图像进行编码，所述图像编码方法包括:预测方法确定步骤，用于确定所述编码块的预测方法；预测编码步骤，用于计算所述编码块的原始图像和基于所确定的预测方法的预测图像之间的差，并且对通过对所述差进行正交变换而获得的变换系数进行量化；以及熵编码步骤，用于对所述编码块的量化后的变换系数进行熵编码，其中，所述预测方法确定步骤、所述预测编码步骤和所述熵编码步骤并行进行处理，其中，在所述熵编码步骤中，按照小于所述编码块的大小的正交变换单位，依次对所述编码块的量化后的变换系数进行编码，并且每次对一个正交变换单位的熵编码结束时，向所述预测编码步骤通知按照所述正交变换单位所生成的代码量，以及其中，在所述预测编码步骤中，根据从所述熵编码步骤通知的、按照所述正交变换单位的代码量，控制所述编码块的量化系数，以获得具有预定位速率的熵编码流。
[0014]从以下参考附图对示例性实施例的描述，本发明的其它特征将变得明显。
【专利附图】
【附图说明】[0015]图1是例示包括根据第一实施例的图像编码设备的摄像设备的配置的框图。
[0016]图2是示意性地示出根据第一实施例的以编码块为单位的流水线处理的图。
[0017]图3是例示包括根据第二实施例的图像编码设备的摄像设备的配置的框图。
[0018]图4是示出将图像帧的一部分分割为具有多个大小的编码块的示例的图。
[0019]图5A和5B是示意性地示出以编码块为单位的传统流水线处理的图。
【具体实施方式】
[0020]现在，根据附图，详细描述本发明的优选实施例。
[0021]第一实施例
[0022]图1是例示包括根据本发明的第一实施例的图像编码设备100的摄像设备的配置的框图。在图1的摄像设备中，省略或者简化了与本发明的图像编码设备不特别相关的构成部件。
[0023]在图1中，摄像设备包括根据本发明的图像编码设备100、包括照相机单元的摄像单元101和记录单元118，照相机单元包括透镜和摄像传感器以获取图像数据。摄像设备被配置为可拆下地安装记录介质119。
[0024]图像编码设备100包括帧存储器102、确定作为编码单位(⑶)的编码块的大小(像素的数量)的编码块大小确定单元120、预测方法确定单元1001、临时存储诸如预测方法等的进行预测编码所需的信息的预测存储单元1004、预测编码单元1002、临时存储诸如量化系数值等的进行熵编码所需的信息的系数存储单元1005、以及熵编码单元1003。图像编码设备100的帧存储器102包括存储帧间预测要使用的参考图像的参考图像存储器114。图像编码设备100将帧图像分割为不同大小的编码块，并且以编码块为单位对其进行编码。
[0025]预测方法确定单元1001包括搜索运动矢量的帧间预测单元103和选择帧内预测方法的帧内预测单元104。此外，预测方法确定单元1001包括选择帧间预测或者帧内预测方法的帧内/帧间选择单元105。
[0026]预测编码单元1002包括预测图像生成单元106、减法器107、整数变换单元108和量化单元109。此外，预测编码单元1002包括逆量化单元110、逆整数变换单元111、加法器112、环内滤波器113和量化控制单元116。
[0027]将通过摄像单元101对被摄体进行拍摄而获得的运动图像数据依次存储在帧存储器102中，并且按照编码顺序提取图像数据。
[0028]预测方法确定单元1001、预测编码单元1002和熵编码单元1003中的每个以编码块CU为单位进行流水线处理，也就是说，每个处理在时间段中的一部分或者全部中并行工作。下面说明每个处理的详细内容。
[0029]CU预测方法确定处理
[0030]如参考图4所描述的，根据本实施例的编码块大小确定单元120通过根据图像的特征改变作为编码单位的编码块的大小，来提高编码效率。如上所述，图4示出了将帧图像的一部分分割为具有多个大小的编码块的示例。在图4中，编码单位(CU)表示编码块。这里，将帧图像的一部分分割为10个编码块⑶O至⑶9。编码块的最大大小(最大编码块)是图4中的由粗线(外围)包围的区域(最大编码单位)。[0031]根据由编码块大小确定单元120确定的编码块大小，从帧存储器102中读出编码对象CU的图像数据，并将其输入到帧间预测单元103和帧内预测单元104。编码块大小确定方法是任意的。例如，可以根据图像的边缘信息来确定编码块大小。
[0032]帧间预测单元103从参考图像存储器114中读出参考图像数据。帧间预测单元103基于运动搜索区域中的编码对象⑶的图像数据和参考图像数据之间的相关关系来检测运动矢量，并且将其通知帧内/帧间选择单元105。
[0033]帧内预测单元104从帧存储器102中读出包围编码对象⑶的像素的数据。然后，帧内预测单元104基于编码对象CU的图像数据和根据包围编码对象CU的像素的数据所生成的多个帧内预测图像数据之间的相关关系，来选择帧内预测方法。帧内预测单元104向帧内/帧间选择单元105通知所选择的帧内预测方法。注意，包围像素的数据可以是从加法器112输出的重构图像数据。
[0034]帧内/帧间选择单元105接收帧间预测单元103的结果和帧内预测单元104的结果，并且例如选择具有较小差分值的预测方法。帧内/帧间选择单元105将所选择的预测方法，与稍后要描述的CU预测编码处理所需的信息一起，临时存储在预测存储单元1004中。
[0035]CU预测编码处理
[0036]预测图像生成单元106从预测存储单元1004中读出编码对象⑶的预测方法，并且根据预测方法生成预测图像。在预测方法是帧间预测的情况下，预测图像生成单元106根据从预测存储单元1004读出的诸如运动矢量等的预测信息，从参考图像存储器114中读出相应的数据，并且生成预测图像。在预测方法是帧内预测的情况下，预测图像生成单元106根据从预测存储单元1004中读出的帧内预测方法，由从加法器112输出的重构图像数据，生成预测图像数据。
[0037]减法器107接收从帧存储器102中读出的编码对象⑶的原始图像的图像数据和上述预测图像数据。减法器107计算编码对象CU的原始图像和预测图像之间的像素值差，并且将差数据输出到整数变换单元108。整数变换单元108对像素值的差数据进行正交变换。
[0038]在本实施例中，作为正交变换例示了整数变换，但是正交变换可以是离散余弦变换(DCT)等。对作为整数变换的单位的整数变换单位块(TU:变换单位)进行整数变换。在本实施例中，TU小于编码对象CU，并且在水平方向和垂直方向中的每个方向上将其分割为例如两个。然而，分割数量不限于此。量化单元109使用从量化控制单元116通知的量化系数，对通过进行整数变换而生成的变换系数进行量化，并且将量化的变换系数临时存储在系数存储单元1005中。
[0039]量化控制单元116基于稍后要描述的熵编码单元1003生成的代码量的通知，控制量化系数，以获得预先从控制器(未示出)指定的代码量(流的位速率)。
[0040]还将由量化单元109量化的变换系数输入到逆量化单元110。逆量化单元110对输入的变换系数进行逆量化，并且逆整数变换单元111对逆量化的信号进行逆整数变换处理。
[0041]加法器112接收逆整数变换后的数据和由预测图像生成单元106生成的预测图像数据，并且将它们进行相加。将相加后的数据作为解码重构图像数据，并将其输入到预测图像生成单元106，以用于生成帧内预测图像数据。环内滤波器113对重构图像数据进行编码失真减小处理，并且将其作为在帧间编码中使用的参考图像数据存储在参考图像存储器114 中。
[0042]⑶熵编码处理
[0043]熵编码单元1003从系数存储单元1005中读出诸如编码对象CU的量化变换系数和预测方法等的信息，对其进行熵编码，并且将熵编码后的信息作为流输出到记录单元118。在对诸如预测方法的编码信息进行熵编码之后，熵编码单元1003对包含在CU中的多个TU进行熵编码，并且向量化控制单元116通知生成代码量。
[0044]以TU为单位(正交变换的单位)依次进行熵编码单元1003的熵编码。每次对一个TU的熵编码结束时，熵编码单元1003向量化控制单元116通知在该TU中生成的代码量。图2示意性地示出了如图4所示分割了多个CU时的处理序列。在本实施例中，TU大小小于CU大小，并且以TU为单位向预测编码单元1002反馈所生成的代码量。因此，在预测编码处理中的⑶5时，接收到⑶O的第一个TU的代码量的通知。
[0045]根据本实施例的操作可以缩短将生成代码量反馈到量化控制单元116的延迟，并且以高精度控制量化系数。
[0046]注意，熵编码单元1003生成的代码量不是要输出到记录单元118的流的代码量，而可以是诸如在进行熵编码时生成的中间数据的量等的与代码量相对应的量。
[0047]记录单元118将从熵编码单元1003输出的流记录在记录介质119中。不需要以CU为单位进行记录处理，而可以生成与音频数据多路复用的流，然后进行记录。
[0048]在本实施例中，编码处理是三个处理、即预测方法确定处理、预测编码处理和熵编码处理的流水线处理。然而，处理分割数量和包含在每个流水线处理中的详细处理的内容不限于此。
[0049]第二实施例
[0050]参考图3，描述本发明的第二实施例。
[0051]图3是例示包括根据第二实施例的图像编码设备300的摄像设备的配置的框图。图3的摄像设备与图1的摄像设备的不同之处在于预测方法确定单元3001，并且图3的摄像设备还包括用于确定TU大小的整数变换大小确定单元301。其余配置与在根据第一实施例的摄像设备中相同，并且不重复其描述。
[0052]在帧内/帧间选择单元105选择了预测方法之后，其向整数变换大小确定单元301通知预测方法选择信号。
[0053]当编码对象⑶的大小是32X32或者16 X 16时，整数变换大小确定单元301将TU大小设置为小于CU大小。
[0054]在编码对象⑶的大小是8 X 8的情况下，根据诸如编码对象⑶的方差值等的图像的特征，来确定TU大小。也就是说，在编码对象CU的大小是8 X 8的情况下，不需要总是将TU大小设置为小于⑶大小。虽然可以从32X 32、16X 16和8X8三个大小中选择⑶大小，但是不限于它们。
[0055]即使在根据图像的特征等选择TU大小时，根据本实施例的操作也可以缩短将生成代码量反馈到量化控制单元116的延迟，并且以高精度控制量化系数。
[0056]本发明还通过执行以下处理来实现。即，经由网络或者各种计算机可读存储媒质，向系统或者设备提供用于实现上述实施例的功能的软件(计算机程序)。然后，系统或者设备的计算机(或CPU或MPU)读出程序并执行。
[0057]虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。
【权利要求】
1.一种图像编码设备，用于以包括多个像素的编码块为单位对帧图像进行编码，所述图像编码设备包括: 确定部件，用于从多个不同的大小中确定编码块的大小； 变换部件，用于以给定大小对关于所述编码块的图像数据进行正交变换； 量化部件，用于通过使用量化系数，对所述变换部件所正交变换后的图像数据进行量化； 熵编码部件，用于对所述量化部件所量化后的图像数据进行熵编码；以及量化控制部件，用于从所述熵编码部件按照正交变换单位获取生成代码量的信息，并且根据所获取的生成代码量的信息来控制后续编码块的量化系数， 其中，所述正交变换的大小小于所述编码块的大小。
2.根据权利要求1所述的图像编码设备，其中，所述变换部件以小于所述编码块的大小的大小分割块，以进行所述正交变换。
3.根据权利要求2所述的图像编码设备，其中，所述熵编码部件以小于所述编码块的大小的所述正交变换的块为单位，依次对量化后的图像数据进行编码。
4.一种图像编码设备，用于将帧图像分割为各自包括多个像素的编码块，并且以所述编码块为单位对所述帧图像进行编码，所述图像编码设备包括: 预测方法确定部件，用于确定所述编码块的预测方法； 预测编码部件，用于计算所述编码块的原始图像和基于所确定的预测方法的预测图像之间的差，并且对通过对所述差进行正交变换而获得的变换系数进行量化；以及熵编码部件，用于对所述编码块的量化后的变换系数进行熵编码， 其中，所述预测方法确定部件、所述预测编码部件和所述熵编码部件并行进行处理，其中，所述熵编码部件按照小于所述编码块的大小的正交变换单位，依次对所述编码块的量化后的变换系数进行编码，并且每次对一个正交变换单位的熵编码结束时，所述熵编码部件向所述预测编码部件通知按照所述正交变换单位所生成的代码量，以及 其中，所述预测编码部件根据从所述熵编码部件通知的、按照所述正交变换单位的代码量，控制所述编码块的量化系数，以获得具有预定位速率的熵编码流。
5.根据权利要求4所述的图像编码设备，其中，还包括: 预测存储部件，用于存储所述预测方法确定部件所生成的、包括所述预测方法的信息；以及 系数存储部件，用于存储所述预测编码部件所生成的、包括所述量化后的变换系数的信息。
6.根据权利要求4所述的图像编码设备，其中，所述预测编码部件以小于所述编码块的大小的大小，分割所述正交变换的块，以进行所述正交变换。
7.根据权利要求4所述的图像编码设备，其中，还包括:正交变换大小确定部件，用于确定所述正交变换的块的大小， 其中，所述正交变换大小确定部件根据所述编码块的大小，确定所述正交变换的块的大小。
8.根据权利要求7所述的图像编码设备，其中，在所述编码块的大小大于预先设置的大小的情况下，所述正交变换大小确定部件将所述正交变换的块的大小确定为小于所述编码块的大小。
9.一种图像编码方法，用于以包括多个像素的编码块为单位对帧图像进行编码，所述图像编码方法包括如下步骤: 从多个不同的大小中确定编码块的大小； 正交变换步骤，用于以给定大小对关于所述编码块的图像数据进行正交变换； 通过使用量化系数，对正交变换后的图像数据进行量化； 熵编码步骤，用于对量化后的图像数据进行熵编码；以及 量化控制步骤，用于从所述熵编码步骤的结果按照正交变换单位获取生成代码量的信息，并且根据所获取的生成代码量的信息来控制后续编码块的量化系数， 其中，所述正交变换的大小小于所述编码块的大小。
10.根据权利要求9所述的图像编码方法，其中，在所述正交变换步骤中，以小于所述编码块的大小的大小分割块，以进行所述正交变换。
11.根据权利要求10所述的图像编码方法，其中，在所述熵编码步骤中，以小于所述编码块的大小的所述正交变换的块为单位，依次对量化后的图像数据进行编码。
12.—种图像编码方法，用于将帧图像分割为各自包括多个像素的编码块，并且以所述编码块为单位对所述帧图像进行编码，所述图像编码方法包括: 预测方法确定步骤，用于确定所述编码块的预测方法； 预测编码步骤，用于计算所述编码块的原始图像和基于所确定的预测方法的预测图像之间的差，并且对通过对所述差进行正交变换而获得的变换系数进行量化；以及熵编码步骤，用于对所述编码块的量化后的变换系数进行熵编码， 其中，所述预测方法确定步骤、所述预测编码步骤和所述熵编码步骤并行进行处理，其中，在所述熵编码步骤中，按照小于所述编码块的大小的正交变换单位，依次对所述编码块的量化后的变换系数进行编码，并且每次对一个正交变换单位的熵编码结束时，向所述预测编码步骤通知按照所述正交变换单位所生成的代码量，以及 其中，在所述预测编码步骤中，根据从所述熵编码步骤通知的、按照所述正交变换单位的代码量，控制所述编码块的量化系数，以获得具有预定位速率的熵编码流。
【文档编号】H04N19/625GK103517071SQ201310246843
【公开日】2014年1月15日 申请日期:2013年6月20日 优先权日:2012年6月21日
【发明者】远藤宽朗 申请人:佳能株式会社