动态图像编码装置及其动作方法
【技术领域】
[0001]本发明涉及动态图像编码装置及其动作方法，特别涉及对于减轻在填充处理时从动态图像编码装置生成的编码比特流的码量的增加而有效的技术。
【背景技术】
[0002]如公知的那样，利用在国际标准IS0/IEC 13818-2中标准化了的MPEG-2的标准的动态图像(Moving Picture)的一般的压缩方式基于通过从视频流中删除冗长的信息来削减视频存储容量和必要的频带宽度这样的原理。另外，MPEG是Moving Picture ExpertsGroup (动态图象专家组)的简称。
[0003]MPEG-2的标准仅规定了比特流的语法(压缩编码数据列的规则或者编码数据的比特流的结构方法)以及译码过程，所以是在卫星广播/服务、有线电视、交互式电视、因特网等各种状况下可充分利用的灵活的标准。
[0004]在MPEG-2的编码过程中，为了最初规定数字视频的各像素的彩色和亮度的分量，对视频信号进行采样并量化。在作为宏块已知的构造中蓄积表示彩色和亮度的分量的值。使用离散余弦变换(DCT-Discrete Cosine Transform)，将在宏块中蓄积了的彩色和亮度的值变换为频率值。通过DCT得到的变换系数根据图片的亮度和彩色而具有不同的频率。针对被量化了的DCT变换系数，通过将视频流进一步压缩的可变长编码(VLC VariableLength Coding)进行编码。
[0005]在MPEG-2的编码过程中，规定了基于运动压缩技术的附加压缩。在MPEG-2的标准中，存在I帧、P帧、B帧这3种图片或者帧。I帧是在视频流中不参照其他任意的图片或者帧而再生的被帧内编码了的帧。P帧和B帧是通过参照其他图片或者帧而再生的被帧间编码了的帧。例如，P帧和B帧包括关于参照帧而表示运动推测的运动矢量。通过运动矢量的使用，MPEG编码器能够降低在特定的视频流中所需的频带宽度。另外，I帧被称为独立(intra-coded)帧，P帧被称为单向预测(predictive-coded)帧，B帧被称为双向预测(b1-direct1nally predictive-coded)中贞。
[0006]因此，MPEG-2的动态图像编码装置(Encoder)由帧存储器、运动矢量检测部、运动补偿部、减法部、DCT变换部、量化部、逆量化部、逆DCT变换部以及可变长编码部构成。编码的动态图像信号在为了 B帧的编码、检测运动矢量而被存储于帧存储器之后，从帧存储器被读出，在减法部中被减去来自运动补偿部的运动补偿预测信号，在DCT变换部和量化部中分别执行DCT变换处理和量化处理。针对被量化了的DCT变换系数，在可变长编码部中进行可变长编码处理，并且在逆量化部和逆DCT变换部中执行局部解码处理之后，将该局部解码处理结果经由运动补偿部供给到减法部。
[0007]另一方面，MPEG-2的动态图像解码装置(Decoder)由缓冲器存储器、可变长解码部、逆量化部、逆DCT变换部、运动补偿部、加法部以及帧存储器构成。MPEG-2的编码比特流在被蓄积于缓冲器存储器之后，通过可变长解码部、逆量化部以及逆DCT变换部，分别执行可变长解码处理、逆量化处理以及逆DCT变换处理。将这些处理结果与根据在加法部中进行了可变长解码处理的运动矢量生成的参照图像相加，从加法部的输出生成再生图像信号。将该再生图像信号储存于帧存储器，用于其他帧的预测。
[0008]接着MPEG-2的标准，还提出了基于在用于电视电话等低速率的编码的国际标准IS0/IEC 14496中标准化了的MPEG-4的标准(H.263)的动态图像的一般的压缩方式。基于MPEG-4(H.263)的标准的压缩方式是与MPEG-2同样地使用帧间预测和离散余弦变换的被称为“混杂型”的方式，还被导入了半像素(半图素)单位下的运动补偿。在该压缩方式中，与MPEG-2同样地，作为熵编码，使用哈夫曼码，但新导入对运行(RUN)、水平(LEVEL)以及末尾(LAST)同时进行编码的三维可变长编码(三维VLC)这样的技术，大幅提高压缩率。另外，运行和水平是与行程编码的系数有关的参数，末尾是表示是否为最后的系数的参数。进而，在MPEG-4(H.263)的标准中，有被称为Baseline的基本部分和被称为Annex的扩展标准。
[0009]利用基于MPEG-4(H.263)的标准的压缩方式的效率改善不充分，所以为了达成更高的编码效率，通过国际标准IS0/IEC 14496-10对MPEG_4AVC(H.264)的标准进行了标准化。另外，AVC 是 Advanced Video Coding (高级视频编码)的简称，MPEG-4AVC (H.264)的标准被称为H.264/AVCo
[0010]基于标准Η.246/AVC的视频编码由视频编码层(Video Coding Layer)和网络抽象层(Network Abstract1n Layer)构成。即，视频编码层是被设计成有效地表现视频内容的层，网络抽象层是为了对视频的VCL表现进行格式化并且利用各种传送层、存储介质进行传送而按照适合的方法提供组头信息的层。
[0011 ] 在MPEG-2、MPEG-4、MPEG-4AVC(H.264)等国际标准动态图像编码方法中，为了使用时间方向的相关性来实现高的编码效率，使用了帧间编码即帧间预测编码。在帧的编码模式中，有不使用帧间的相关性而使用帧内编码的I帧、根据过去编码了的1帧进行帧间预测的P帧以及能够根据过去编码了的2帧进行帧间预测的B帧。
[0012]在该帧间预测编码中，执行作为编码对象的动态图像和进行了运动补偿的参照图像(预测图像)的减法，该减法所产生的预测残差被编码。编码的处理包括DCT(离散余弦变换)等正交变换、量化以及可变长编码的处理。运动补偿(运动校正)包括使帧间预测的参照帧在空间上移动的处理，按照被编码帧的块单位进行运动补偿的处理。当在图像内容中无运动的情况下，使用无移动且位置与被预测像素相同的像素。在有运动的情况下，探索最类似的块，将移动量设为运动矢量。运动补偿的块在MPEG-2的编码方法中是16像素X 16像素/16像素X 8像素的块，在MPEG-4的编码方法中是16像素X 16像素/16像素X 8像素/8像素X 8像素的块。运动补偿的块在MPEG-4AVC(H.264)的编码方法中是16像素X 16像素/16像素X 8像素/8像素X 16像素/8像素X 8像素/8像素X 4像素/4像素X8像素/4像素X 4像素的块。
[0013]上述编码处理是针对每个影像画面(帧或者字段)进行的处理，对画面进行细分化而得到的块(通常是16像素X 16像素，在MPEG中被称为宏块(MB))成为处理单位。SP，针对应该进行编码的每个块，从已经编码了的参照图像中选择最类似的块(预测图像)，编码图像(块)和预测图像的差分信号被编码(正交变换、量化等)。画面内的被编码的块和预测信号的相对位置的差被称为运动矢量。
[0014]另外，在下述非专利文献1中，记载为利用H.246/AVC的视频编码层(VCL)依照被称为基于块的混合视频编码的方法。VCL设计由宏块、切片(slice)构成，各图片被分割为固定尺寸的多个宏块，各宏块在亮度分量中包括16X16样本的四边形图片区域以及在与其对应的2个色差分量的各色差分量中包括的四边形采样区域。1个图片能够包括1个或者1个以上的切片。各切片在提供有效的序列参数组和图片参数组这样的意义上是自我包含的，切片表现基本上无需使用来自其他切片的信息而能够被译码，所以语法元素能够根据比特流和图片的区域的采样的值来解析。但是，为了进行更完全的解码，跨切片边界地应用去块滤波器，需要来自其他切片的若干信息。
[0015]另一方面，处置动态图像码的系统是数字HDTV (High Definit1n Televis1n，高清晰度电视)广播接收机、能够对HDTV信号进行摄影的数字视频照相机等，图像尺寸大画面化。在处理这些信号的图像编码装置、图像解码装置中，要求越来越高的处理性能。
[0016]根据这样的背景，提出了作为标准H.264/MPEG-4AVC的后续标准的新标准
H.265(IS0/IEC 23008-2)，该新标准被称为 HEVC (High Efficiency Video Coding，高效率视频编码)。HEVC标准是通过块尺寸的适当化等而优化了压缩效率的标准，相比于MPEG-2的标准具有约4倍的压缩性能，相比于标准H.264/AVC具有约2倍的压缩性能。
[0017]另一方面，在下述专利文献1中，在MPEG-1/2/4和Η.261/H.263/H.264-AVC等广泛采用的各种编码压缩标准中，将由16X16像素构成的1个宏块用作运动补偿和后续处理的处理单位，相对于此，在HEVC标准中，将更灵活的块构造用作处理单位。该灵活的块构造的单位被称为编码单元(CU)，关于编码单元，为了从最大编码单元(LCU)出发达成良好的性能，被适当地分割为使用四叉树(quadtree)的小的块。最大编码单元(LCU)的尺寸是远大于宏块的尺寸(16X16像素)的64X64像素。另外，在下述专利文献1中说明了的最大编码单元(LCU)相当于在HEVC标准中说明了的编码树块(CTB)或者编码树块(CTU)。在下述专利文献1的图1和与其相关的公开中，示出了基于四叉树的编码单元分割的例子，在其深度“零”下，最初的编码单元(CU)是由64X64像素构成的最大编码单元(LCU)。分裂标志(split flag) “0”表示该时间点的编码单元(⑶)未被分割，另一方面，分裂标志“1”表示该时间点的编码单元(CU)通过四叉树被分割为4个小的编码单元。在下述专利文献1中还记载了对分割后的编码单元(CU)进一步进行四叉树分割直至达到预先确定的最小编码单元(CU)的尺寸。
[0018]在下述非专利文献2中，记载了 HEVC的标准的概况。以前的标准的编码层的核是包括亮度样本的16X 16块和8X8块这2个色度样本的宏块，相对于此，HEVC的标准的类似结构是比传统的宏块更大且通过编码器选择尺寸的编码树单元(CTU)。编码树单元(CTU)由亮度编码树块(CTB)、色度编码树块(CTB)以及语法要素构成。编码树单元(CTU)的四叉树/语法指定其亮度和色度的编码树块(CTB)的大小和位置。为了对图片区域进行编码，在编码单元(CU)的水平下，进行是否使用帧间/图片或者帧内/图片的决定。预报(predict1n)单元(PU)的分割构造在编码单元(CU)的水平下具有其根源。依赖于基本的预报类型的决定，亮度和色度的编码块(CB)能够实现尺寸的分割，能够根据亮度和色度的预报块(PB)进行预测。HEVC标准支持从64X64样本至4X4样本的可变的预报块(PB)的尺寸。预测残差通过块变换被编码，转换单元(TU)的树构造在编码单元(CU)的水平下具有其根源。亮度的编码块(CB)的残差能够设为与亮度的转换块(TB)相同，能够分割为更小的亮度的转换块(TB)。这在色度的转换块(TB)下也是同样的。为了 4X4、8X8、16X16、32X32样本的四边形的转换块(TB)的尺寸，定义了与离散余弦变换(DCT)的函数类似的基于整数的函数。
[0019]进而，在下述非专利文献2中，记载了能够生成依照HEVC的标准的比特流的混合视频编码器的结构，并还记载了在该帧间/图片预测循环中，包括与在H.264/MPEG-4AVC的标准中使用的去块滤波器类似的去块滤波器。
[0020]在下述专利文献2中，记载了为了对任意形状的图像高效地进行编码，对埋入块内的无图像数据的空白区域的填充组件，供给从外部输入的图像信号的形状信息。由于输入图像信号的横和纵的尺寸需要是用于压缩编码的块尺寸的整数倍，所以填充组件为了对任意形状的图像进行编码，执行按图像区域的平均值埋入空白区域的动作、或者拷贝图像区域的端的像素等而埋入的动作。
[0021]在下述专利文献3中，记载了解决在对图像信号进行编码时，如果对在画面的端的部分像素值不连续地变化的信号进行编码，则由于信号的不连续性产生高频分量而产生大量的码量这样的问题的编码装置。权重系数判定器根据同步信号计算图像信号的画面内的位置，输出越接近画面的端越接近0的权重系数w。第1乘法器对输入图像信号乘以权重系数w，第2乘法器对恒定值输出器的输出乘以系数1 一 w，加法器在对2个乘法器的输出信号进行加法之后，加法器的输出通过编码器被编码。记载为在画面的端处将图像信号平滑地设为恒定值，所以无需多余的码量。
[0022]在下述专利文献4中，记载了如下电视电话装置:如果操作者在操作部中设定表示在发送图像中包含的图像的重要位置的信息，则图像编码部针对图像的重要位置内的图像数据以相比于它以外的位置的图像数据提高画质的方式进行编码。
[0023]在下述专利文献5中，记载了为了实现在MPEG-4标准中采用了的画面外运动矢量(UMV Unrestricted Mot1n Vector)(为了将画面边界外部用作参照图像)而将画面内的像素值外插到画面外的填充处理。进一步记载了填充处理的外插开始位置是有效图像区域的端还是编码宏块的端在MPEG-4标准中是不统一的，所以防止在编码器和解码器中该填充处理的外插开始位置不统一的情况下在解码器中产生的噪声的方法。
[0024]专利文献1:美国公开专利US2012/0106652A1说明书
[0025]专利文献2:日本特开平10-23404号公报
[0026]专利文献3:日本特开平5-91333号公报
[0027]专利文献4:日本特开平7-203434号公报
[0028]专利文献5:日本特开2009-100041公报
[0029]非专利文献1:GARY J.SULLIVAN et al, “Video Compress1n-From Conceptto the H.264/AVC Standard”，PROCEEDING OF THE IEEE, VOL.93, N0.1, JANUARY2005, PP.18-31.
[0030]非专利文献2:Gary J.Sullivan et al，“Overview of the High EfficiencyVideo Coding(HEVC)Standard”，IEEE TRANSACT1NS ON CIRCUITS AND SYSTEMS FOR VIDEOTECHNN0L0GY, VOL.22，N0.12，DECEMBER 2012，PP.1649-1668.
【发明内容】
[0031]本发明者等在本发明之前，从事了如下动态图像编码装置(Video Encoder)的开发，该动态图像编码装置依照作为现行标准H.264/MPEG-4AVC的后续标准的HEVC标准，通过动态图像输入信号的编码能够生成编码比特流。该动态图像编码装置不仅要求依照HEVC标准，而且还要求依照现行标准H.264/MPEG-4AVC对动态图像输入信号进行编码。
[0032]在该HEVC标准中，由于块尺寸的适当化等，压缩效率优良，相比于MPEG-2的标准具有约4倍的压缩性能、相比于标准H.264/AVC具有约2倍的压缩性能。伴随数字HDTV(High Definit1n Televis1n)广播接收机、能够对HDTV信号进行摄影的数字视频照相机等中的图像尺寸的大画面化，在动态图像编码装置、动态图像解码装置中，要求更高的处理性能，HEVC标准被期待满足这些要求。
[0033]另一方面，近年来，具有高精细HD(High Definit1n，高清晰度)的像素尺寸(1920像素X 1080像素)的约4倍的4096像素X 2160像素或者3840像素X 2160像素的大小的显示装置的4KTV得到了注目。例如，在日本，总务省发表了从2014年7月开始4K电视广播这样的方针。这样，在执行与4KTV的显示装置的显示画面相当的1张帧(图片)的动态图像信号的编码或者解码的动态图像编码装置或者动态图像解码装置中，也要求高的处理性能。
[0034]图10是示出能够依照在本发明之前由本发明者等研究了的现行标准H.264和HEVC标准的被选择了的方式通过动态图像输入信号的编码生成编码比特流的动态图像编码装置1的结构的图。
[0035]图10所示的动态图像编码装置1包括填充处理部100、减法器101、频率变换部102、量化部103、逆量化部104、逆频率变换部105、加法器106、可变长编码部114以及视频缓冲器115。进而，动态图像编码装置1包括滤波器单元107、帧存储器108、运动矢量检测部109、运动补偿部110、缓冲器存储器111、帧内预测部112以及选择器部113。
[0036]动态图像信号VS被供给到填充处理部100的输入端子，填充处理部100根据需要执行填充处理。即，如上述专利文献2记载，在对动态图像编码装置1供给的动态图像信号VS的横和纵的尺寸并非编码块尺寸的整数倍的情况下，以使填充处理后的动态图像信号的横和纵的尺寸成为编码块尺寸的整数倍的方式，填充处理部100执行填充处理。
[0037]图11是说明图10所示的在本发明之前由本发明者等研究了的动态图像编码装置1的填充处理部100中的填充处理的图。
[0038]在图11中，示出了图10所示的动态图像编码装置1依照HEVC标准来执行动态图像信号VS的编码处理的情况。即，该情况的编码块尺寸是通过HEVC标准定义了的编码单元CU。因此，关于该编码单元CU，存在是由64X64像素构成的最大编码单元(LCU)的情况和是通过最大编码单元(LCU)的分割而生成了的编码单元的情况。
[0039]如图11所示，对动态图像编码装置1供给的动态图像信号VS的横和纵的尺寸未成为作为编码块尺寸的编码单元CU的整数倍。因此，填充处理部100以使填充处理后的动态图像信号的横和纵的尺寸成为编码块尺寸的整数倍的方式执行填充处理。即，如图11所示，在动态图像信号VS的右横向和纵下方向上，通过填充处理部100的填充处理，被追加了填充处理数据ro。填充处理数据ro能够通过拷贝例如动态图像信号VS和填充处理数据PD的边界附近的动态图像信号VS的像素值自身或者像素值的平均值等而形成。其结果，以使填充处理后的动态图像信号的横和纵的尺寸成为编码块尺寸的整数倍的方式，对动态图像信号VS追加填充处理数据ro，所以在由图10所示的动态图像编码装置1实施的动态图像编码处理时，能够降低由于动态图像信号的不连续性而产生的高频分量。因此，能够通过高频分量的降低，降低从可变长编码部114生成的压缩视频编码比特流CVBS的码量。
[0040]另外，图11所示的填充处理部100的填充处理后的动态图像信号VS需要通过动态图像解码装置(Decoder)来显示。相对于此，图11所示的填充处理部100的填充处理后的填充处理数据不需要通过动态图像解码装置(Decoder)来显示。
[0041]另外，在图10所示的动态图像编码装置1依照现行标准H.264执行动态图像信号VS的编码处理的情况下，编码块尺寸为宏块(MB)。该宏块(MB)在亮度分量中具有16像素X 16像素的尺寸。在该情况下，填充处理部100以使填充