图像处理装置和方法
【专利摘要】本公开涉及一种图像处理装置以及方法，采用该图像处理装置以及方法，在对运动向量进行编码或解码时，在缓解图像劣化的同时可以实现存储器访问量和操作量的降低。时间预测控制单元对应于经由操作输入单元（未示出）所输入的用户操作，从预测运动向量之中设置针对List0和List1的每个预测方向是否使用时间预测运动向量。基于设置针对每个预测方向是否使用时间预测运动向量，时间预测控制单元控制运动向量编码单元的时间预测运动向量的使用（生成）。例如，本公开可以被应用到图像处理装置。
【专利说明】图像处理装置和方法
【技术领域】
[0001]本公开涉及一种图像处理装置和方法，并且具体地，涉及一种能够使得实现存储器访问量和计算量降低而同时抑制图像劣化的图像处理装置和方法。
【背景技术】
[0002]近年，通过采用下述编码方法对图像进行压缩编码的装置变得流行:在该方法中，对图像信息进行数字处理，并且在这种情况下针对实现信息的高效率传送和累积的目的、使用图像信息所特有的冗余，通过正交变换(诸如离散余弦变换)和运动补偿对图像信息进行压缩。此编码方法的示例包括MPEG (运动图像专家组)等。
[0003]具体地，MPEG2 (ISO (国际标准化组织)/IEC (国际电工委员会)13818-2)被定义为通用图像编码格式，并且是涵盖了隔行扫描图像和逐行扫描图像两者以及标准分辨率图像和高清晰度图像的标准。例如，当前MPEG2被广泛地用于针对专业用途和消费者用途的大范围应用中。通过使用MPEG2压缩方法，在具有例如720X480像素的标准分辨率隔行扫描图像的情况下，分配了 4Mbps至8Mbps的编码量(比特率)。另外，通过使用MPEG2压缩方法，在具有例如1920X 1088像素的高分辨率隔行扫描图像的情况下，分配了 18Mbps至22Mbps的编码量(比特率)。由此,可以实现高压缩率和良好的图像质量。
[0004]MPEG2主要用于适合于广播的高图像质量编码,但是不与编码量(比特率)低于MPEGl的编码量(换言之，较高的压缩率)的编码方法兼容。随着移动终端的广泛使用，考虑到将来对于这种编码方法的需求将增加，并且响应于此，对MPEG4编码方法进行了标准化。关于图像编码方法，其规格在1998年12月作为IS0/IEC14496-2被指定为国际标准。
[0005]作为标准化的日程，在2003年3月建立了被称为H.264和MPEG-4部分10 (先进视频编码，在下文中称为AVC)的国际标准。
[0006]此外，作为H.264/AVC的扩展，在2005年2月完成了 FRExt (保真度范围扩展)的标准化，FRExt的标准化包括商业使用所需要的编码工具(诸如，RGB,4:2:2、以及4:4:4)以及在MPEG-2中所定义的8X8DCT (离散余弦变换)和量化矩阵。因此，建立了下述编码格式:该编码格式通过使用H.264/AVC甚至能够良好地表达电影中所包括的胶卷噪声，该编码格式被用于广泛的应用(诸如，蓝光盘(注册商标))中。
[0007]然而，近来对于以较高压缩率进行编码存在增长的需求，例如意图对具有大约4000X2000像素(其为高视觉图像的像素的四倍)的图像进行压缩，或意图在具有有限的传送容量的环境中(诸如，因特网)对高视觉图像进行分发。因此，在以上所述的ITU-T下的VCEG (视频编码专家组)中，继续并且执行针对改进编码效率的研究。
[0008]作为这种编码效率改进之一，为了改进AVC中利用中值预测的运动向量的编码，提出了除了在AVC中所定义的并且通过中值预测所获得的“空间预测器(predictor)”之夕卜，还自适应地使用“时间预测器”和“空间时间预测器”中的一个作为预测运动向量信息(在下文中，称为MV竞争(MV Competition))(例如，参见非专利文献I)。
[0009]另外，在AVC中，在选择预测运动向量信息的情况下，使用下述成本函数值，该成本函数值基于被实现为AVC的参考软件(所谓的JM (联合模型))的高复杂度模式或低复杂度模式。
[0010]换言之，计算使用预测运动向量信息的情况下的成本函数值，并且执行最佳预测运动向量信息的选择。在图像压缩信息中，传送标志(flag)信息,该标志信息指示与对于每个块使用了哪个预测运动向量信息有关的信息。
[0011]顺便提及，存在下述可能性:关于作为下一代编码方法的目标的大图像帧(诸如UHD (超高清晰度；4000像素X 2000像素)，将宏块尺寸设置为16像素X 16像素可能不是最合适的。
[0012]因此，针对与AVC相比进一步改进编码效率的目的，当前，作为ITU-T和IS0/IEC的联合标准化组的JCTVC (联合合作组-视频编码)正在进行被称为HEVC (高效率视频编码)的编码方法的标准化(例如，参见非专利文献2)。
[0013]在HEVC编码方法中，编码单位(⑶(Coding Unit))被定义为与在AVC中所使用的宏块类似的处理单位。不同于在AVC中所使用的宏块，此编码单位(CU)的尺寸未被固定为16X16个像素，而是在每个序列的图像压缩信息中指定编码单位的尺寸。另外，在每个序列中，还指定编码单位的最大尺寸(LCU (最大编码单位))和最小尺寸(SCU (最小编码单位)。
[0014]此外，另外在非专利文献2中，可以以子IXU(Sub-1XU)为单位传送量化参数(QP)。关于每个画面，在图像压缩信息中指定要以哪个编码单位的尺寸来传送量化参数。另外，以各自的编码单位为单位来传送在图像压缩信息中所包括的、与量化参数有关的信息。
[0015]另外，作为用于运动信息的编码方法之一，提出了称为运动分区(partition)合并(在下文中，也称为合并模式(Merge mode))的方法(例如，参见非专利文献3)。在此方法中，在相关块的运动信息与邻近块的运动信息相同的情况下，仅传送标志信息，并且在进行解码的情况下，使用邻近块的运动信息对相关块的运动信息进行重构。
[0016]此外，在HEVC方法中，除了在AVC中所指定的序列参数集(SPS (SequenceParameter Set))和画面参数集(PPS (Picture Parameter Set))之外，指定了在非专利文献4中所提出的这种自适应参数集(APS (Adaptation Parameter Set))。
[0017]自适应参数集(APS)是画面单位的参数集(Parameter Set),并且是用于传送在画面单位(诸如自适应环路滤波器(Adaptive Loop Filter)中自适应地更新的编码参数的语法。
[0018]顺便提及，在以上提及的MV竞争(MV Competition)或合并模式(Merge mode)中，将运动向量信息存储在线缓冲器中，运动向量信息与应用空间预测运动向量(空间预测器)所需要的空间邻近PU (预测单位)相关。
[0019]引用列表
[0020]非专利文献
[0021]非专利文献1:
Joel Jung,Guillaume Laroche, “Competition-Based Scheme for Motion VectorSelection and Coding”，VCEG-AC06, ITU-Telecommunications StandardizationSector STUDY GR0UP16Question6Video Coding Experts Group (VCEG)29thMeeting:Klagenfurt, Austria, 17 - 18July, 2006[0022]非专利文献2:
Thomas Wiegand，Woo-Jin Hanj Benjamin BrossjJens-Rainer Ohm,GaryJ.Sullivan, “Working Draft4of High-Efficiency Video Coding，，，JCTVC-F803，JointCollaborative Team on Video Coding (JCT-VC)of ITU-T SG16WP3and ISO/IEC JTCl/SC29/WG116th Meeting:Torino, IT, 14_22July，2011
[0023]非专利文献3:
Martin Winkenj Sebastian Bosse，Benjamin Bross，Philipp Hellej Tobias Hinzj HeinerKirchhofferj Haricharan Lakshmanj Detlev Marpej Simon Oudinj Matthias Preissj HeikoSchawarzj Mischa Siekmannj Karsten Suehringj and Thomas Wiegandj “Description ofvideo coding technology proposed by Fraunhofer HHI，，，JCTVC-A116，April，2010
[0024]非专利文献4:
Stephan Wenger,Jill Boyce, Yu-Wen Huang, Chia-Yang Tsai, Ping Wuj and MingLi, “Adaption Parameter Set (APS) ”，JCTVC_F747r3，Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTCl/SC29/WG116th Meeting:Torino, IT，14-22July, 2011
【发明内容】
[0025]技术问题
[0026]然而,在以上提及的MV竞争(MV Competition)或合并模式(Merge mode)中，运动向量信息存储在存储器中，该运动向量信息与应用时间预测运动向量(时间预测器)所需要的时间邻近PU (预测单位)相关。因此，存在需要提取在存储器中所存储的信息并且导致增加存储器访问的可能性。
[0027]另一方面,如果在MV竞争中(MV Competition)或合并模式(Merge mode)中，仅使用空间预测运动向量(空间预测器)而不使用时间预测运动向量(时间预测器)执行编码处理，则存在降低编码效率的可能性。
[0028]鉴于这些情形提出了本公开，并且本公开针对在运动向量的编码或解码中，实现存储器访问量和计算量降低而同时抑制图像劣化。
[0029]本公开的一个方面的图像处理装置包括:接收单元，以在对图像中的当前区域的运动向量进行解码中所使用的预测运动向量作为目标，接收关于每个预测方向的标志和编码流，所述标志指示使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的时间预测向量是否可用；预测运动向量生成单元，基于由所述接收单元所接收的标志所指示的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量，生成所述当前区域的预测运动向量；运动向量解码单元，使用由所述预测运动向量生成单元所生成的预测运动向量，对所述当前区域的运动向量进行解码；以及解码单元，使用由所述运动向量解码单元所解码的运动向量，对所述接收单元所接收的编码流进行解码，并且生成所述图像。
[0030]接收单元可以接收关于每个预测方向的标志，所述标志指示所述时间预测向量是否可用并且被设置在画面单位的参数中。
[0031]时间预测向量被设置为关于所述预测方向中的一个预测方向可用，并且被设置为关于所述预测方向中的另一预测方向不可用。
[0032]在当前画面是其中存在重排的画面的情况下，所述预测方向中的所述一个预测方向是ListO方向；并且在所述当前画面是其中不存在重排的画面的情况下，所述预测方向中的所述一个预测方向是Listl方向。
[0033]在参考画面与当前画面在LsitO方向上的距离不同于参考画面与所述当前画面在Listl方向上的距离的情况下，所述预测方向中的所述一个预测方向是关于在时间轴上接近所述当前画面的参考画面的方向。
[0034]在AMVP (先进运动向量预测)和合并模式中，独立地生成关于每个预测方向的标志，所述标志指示所述时间预测向量是否可用。
[0035]在本公开的一个方面的图像处理方法中，图像处理装置以在对图像中的当前区域的运动向量进行解码中所使用的预测运动向量作为目标，接收关于每个预测方向的标志以及编码流，所述标志指示使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的时间预测向量是否可用，基于由所接收的标志所指示的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量，生成所述当前区域的预测运动向量，使用所生成的预测运动向量，对所述当前区域的运动向量进行解码，以及使用所解码的运动向量，对所接收的编码流进行解码并且生成所述图像。
[0036]本公开的另一方面的图像处理装置包括:时间预测控制单元，以在对图像中的当前区域的运动向量进行编码中所使用的预测运动向量为目标，关于每个预测方向设置时间预测向量是否可用，所述时间预测向量是使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的；预测运动向量生成单元，基于由所述时间预测控制单元所设置的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量，生成所述当前区域的预测运动向量；标志设置单元，设置关于每个预测方向的标志，所述标志指示由所述时间预测控制单元所设置的时间预测向量是否可用；以及传送单元，传送由所述标志设置单元所设置的标志以及对所述图像进行编码所得到的编码流。
[0037]标志设置单元可以在画面单位的参数中设置关于每个预测方向的标志，所述标志指示由所述时间预测控制单元所设置的时间预测向量是否可用。
[0038]时间预测控制单元可以将所述时间预测向量设置为关于所述预测方向中的一个预测方向可用，并且将所述时间预测向量设置为关于所述预测方向中的另一预测方向不可用。
[0039]在当前画面是在其中存在重排的画面的情况下，所述预测方向中的所述一个预测方向是ListO方向；并且在所述当前画面是在其中不存在重排的画面的情况下，所述预测方向中的所述一个预测方向是Listl方向。
[0040]在参考画面与当前画面在ListO方向上的距离不同于参考画面与所述当前画面在Listl方向上的距离的情况下，所述预测方向中的所述一个预测方向是关于在时间轴上接近所述当前画面的参考画面的方向。
[0041]在AMVP (先进运动向量预测)和合并模式中，所述时间预测控制单元独立地设置所述时间预测向量是否可用。
[0042]本公开的另一方面的图像处理方法包括:以在对图像中的当前区域的运动向量进行编码中所使用的预测运动向量作为目标，关于每个预测方向设置时间预测向量是否可用，所述时间预测向量是使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的；基于所设置的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量生成所述当前区域的预测运动向量；设置关于每个预测方向的标志，所述标志指示所设置的时间预测向量是否可用；以及传送所设置的标志以及对所述图像进行编码所得到的编码流。
[0043]本公开的又一方面的图像处理装置包括:接收单元，接收在对图像进行编码中所使用的参数的编码数据、以及指示是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式(pattern)的信息；预测参数生成单元，依照由所述接收单元所接收的所述模式，生成用作所述参数的预测值的预测参数；以及参数解码单元，使用由所述预测参数生成单元所生成的所述预测参数，对由所述接收单元所接收的所述参数的编码数据进行解码，并且重构所述参数。
[0044]所述模式是关于多个画面、指定针对每个画面是否要使用所述时间预测的模式。
[0045]所述模式基于由所述多个画面所形成的层级结构的层，对是否要使用所述时间预测进行分类。
[0046]所述模式基于所述多个画面的排列顺序，对是否要使用所述时间预测进行分类。
[0047]所述参数可以是运动向量，并且所述预测参数可以是预测运动向量，所述接收单元可以接收所述运动向量的编码数据、以及指示是否要使用所述时间预测的模式的信息，所述预测参数生成单元可以依照由所述接收单元所接收的所述模式，使用在所述运动向量的编码数据中所指定的预测方法，生成所述预测运动向量，以及所述参数解码单元可以使用由所述预测参数生成单元所生成的所述预测运动向量，对由所述接收单元所接收的所述运动向量的编码数据进行解码，并且重构所述运动向量。
[0048]所述参数可以是之前一个处理的块的量化参数与当前块的量化参数之间的差。
[0049]参数可以是用于图像的编码的CABAC (基于上下文的自适应二进制算术编码)的参数。
[0050]所述接收单元还可以接收图像的编码数据，并且所述图像处理装置还可以包括图像解码单元，其使用由所述参数解码单元所重构的所述参数，对由所述接收单元所接收的所述图像的编码数据进行解码。
[0051]本公开的另一方面的图像处理方法包括:接收在对图像进行编码时所示使用的参数的编码数据、以及指示是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式的信息，依照所接收的所述模式，生成用作所述参数的预测值的预测参数，以及使用所生成的所述预测参数对所接收的所述参数的编码数据进行解码，并且重构所述参数。
[0052]本公开的又一方面的图像处理装置包括:设置单元，设置是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式；预测参数生成单元，依照由所述设置单元所设置的所述模式，生成用作所述参数的预测值的预测参数；参数编码单元，使用由所述预测参数生成单元所生成的所述预测参数，对所述参数进行编码；以及传送单元，传送由所述参数编码单元所生成的所述参数的编码数据、以及指示由所述设置单元所设置的所述模式的信息。
[0053]还包括:参数生成单元,生成所述参数；以及图像编码单元，使用由所述参数生成单元所生成的所述参数，对所述图像进行编码，其中所述设置单元可设置是否要使用所述时间预测的模式，所述参数编码单元可使用所述预测参数，对由所述参数生成单元所生成的所述参数进行编码，以及所述传送单元还可传送由所述图像编码单元所生成的所述图像的编码数据。
[0054]本公开的另一方面的图像处理方法包括:设置是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式，依照所述所设置的模式，生成用作所述参数的预测值的预测参数，使用所生成的预测参数对所述参数进行编码，以及传送所生成的所述参数的编码数据以及指示所设置的模式的信息。
[0055]在本公开的一个方面中，以在对图像中的当前区域的运动向量进行解码中所使用的预测运动向量作为目标，接收关于每个预测方向的标志和编码流，所述标志指示使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的时间预测向量是否可用；基于由所接收的标志所指示的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量，生成所述当前区域的预测运动向量。另外，使用所生成的预测运动向量，对所述当前区域的运动向量进行解码，以及使用由所解码的运动向量，对所接收的编码流进行解码，并且生成所述图像。
[0056]在本公开的另一方面中，以在对图像中的当前区域的运动向量进行编码时所使用的预测运动向量作为目标，关于每个预测方向设置时间预测向量是否可用，使用时间上位于所述当前区域周围的时间邻近区域的运动向量生成所述时间预测向量；并且基于所设置的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量生成所述当前区域的预测运动向量。另外，设置关于每个预测方向的标志，所述标志指示所设置的时间预测向量是否可用，并且传送所设置的标志以及对图像进行编码所得到的编码流。
[0057]在本公开的另一方面中，接收在对图像进行编码时所示使用的参数的编码数据、以及指示是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式的信息，依照所接收的所述模式，生成用作所述参数的预测值的预测参数，使用所生成的所述预测参数对所接收的所述参数的编码数据进行解码，并且重构所述参数。
[0058]在本公开的又一方面中，设置是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式；依照所设置的所述模式，生成用作所述参数的预测值的预测参数；使用所生成的所述预测参数，对所述参数进行编码；以及传送所生成的所述参数的编码数据、以及指示所设置的所述模式的信息。
[0059]另外，以上提及的图像处理装置可以是独立的装置，并且还可以是构成一个图像编码装置或一个图像解码装置的内部块。
[0060]有利效果
[0061]根据本公开的一个方面，可以对图像进行解码。具体地，可以实现存储器访问量和计算量的降低而同时抑制图像劣化。
[0062]根据本公开的另一方面，可以对图像进行编码。具体地，可以实现存储器访问量和计算量的降低而同时抑制图像劣化。
【专利附图】
【附图说明】
[0063]图1是示出图像编码装置的主要配置的示例的框图。[0064]图2是示出具有小数像素精确度的运动预测/补偿处理的示例的图。
[0065]图3是示出宏块的示例的图。
[0066]图4是说明中值运算的图。
[0067]图5是说明多参考帧的图。
[0068]图6是说明时间直接(temporal direct)模式的图。
[0069]图7是说明运动向量编码方法的图。
[0070]图8是说明编码单位的配置的示例的图。
[0071]图9是说明运动分区合并的图。
[0072]图10是说明在双预测的情况下利用时间预测运动向量对运动向量进行编码的图。
[0073]图11是说明在双预测的情况下利用时间预测运动向量对运动向量进行编码的图。
[0074]图12是示出运动向量编码单元、时间预测控制单元、以及无损编码单元的主要配置的示例的框图。
[0075]图13是说明编码处理的流程的示例的流程图。
[0076]图14是说明帧间运动预测处理的流程的示例的流程图。
[0077]图15是示出图像解码装置的主要配置的示例的框图。
[0078]图16是示出无损解码单元、运动向量解码单元、以及时间预测控制单元的主要配置的示例的框图。
[0079]图17是说明解码处理的流程的示例的流程图。
[0080]图18是说明运动向量重构处理的流程的示例的流程图。
[0081]图19是说明图像编码装置的配置的另一示例的框图。
[0082]图20是说明运动向量信息的编码的情形的示例的图。
[0083]图21是示出画面参数集的示例的图。
[0084]图22是说明时间预测控制的示例的图。
[0085]图23是说明序列参数集的示例的图。
[0086]图24是说明序列参数集的示例并且在图23之后的图。
[0087]图25是说明时间预测控制的示例的图。
[0088]图26是说明时间预测控制的示例的图。
[0089]图27是示出时间预测控制单元和运动向量编码单元的配置的另一示例的框图。
[0090]图28是说明帧间运动预测处理的流程的另一示例的流程图。
[0091]图29是说明时间预测层指定处理的流程的示例的流程图。
[0092]图30是说明候选预测运动向量生成处理的流程的示例的流程图。
[0093]图31是示出图像解码装置的配置的另一示例的框图。
[0094]图32是示出运动向量解码单元和时间预测控制单元的配置的另一示例的框图。
[0095]图33是说明解码处理的流程的另一示例的流程图。
[0096]图34是说明时间预测控制处理的流程的示例的流程图。
[0097]图35是说明运动向量重构处理的流程的另一示例的流程图。
[0098]图36是示出视频参数集的语法的示例的图。[0099]图37是示出缓冲时段SEI的语法的示例的图。
[0100]图38是示出缓冲时段SEI的语法的另一示例的图。
[0101]图39是示出多视图图像编码方法的示例的图。
[0102]图40是示出应用了本技术的多视图图像编码装置的主要配置的示例的图。
[0103]图41是示出应用了本技术的多视图图像解码装置的主要配置的示例的图。
[0104]图42是示出层级图像编码方法的示例的图。
[0105]图43是示出了应用了本技术的层级图像编码装置的主要配置的示例的图。
[0106]图44是示出了应用了本技术的层级图像解码装置的主要配置的示例的图。
[0107]图45是示出了计算机的主要配置的示例的框图。
[0108]图46是示出了电视机装置的示意配置的示例的框图。
[0109]图47是示出了移动电话的示意配置的示例的框图。
[0110]图48是示出了记录/再现装置的示意配置的示例的框图。
[0111]图49是示出了成像装置的示意配置的示例的框图。
【具体实施方式】
[0112]在下文中，将描述用于实现本公开的实施例(在下文中，称为实施例)。另外，将按照下面顺序执行说明。
[0113]1.第一实施例(图像编码装置)
[0114]2.第二实施例(图像解码装置)
[0115]3.第三实施例(图像编码装置)
[0116]4.第四实施例(图像解码装置)
[0117]5.第五实施例(语法)
[0118]6.第六实施例(多视图图像编码装置/多视图图像解码装置)
[0119]7.第七实施例(层级图像编码装置/层级图像解码装置)
[0120]8.第八实施例(计算机)
[0121]9.应用示例
[0122]〈1.第一实施例〉
[0123][图像编码装置]
[0124]图1是示出了图像编码装置的主要配置的示例的框图。
[0125]图1所示的图像编码装置100使用用作例如基于HEVC (高效率视频编码)的方法的预测处理对图像数据进行编码。
[0126]如图1所示，图像编码装置100包括A/D转换单元101、画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106、累积缓冲器107、逆量化单元108、以及逆正交变换单元109。另外，图像编码装置100包括计算单元110、去块效应滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116、以及速率控制单元117。
[0127]图像编码装置100还包括运动向量编码单元121和时间预测控制单元122。
[0128]A/D转换单元101对输入图像数据进行A/D转换，将转换之后的图像数据(数字数据)提供给画面重排缓冲器102，以及使得图像数据存储在画面重排缓冲器102中。画面重排缓冲器102依照GOP (画面组)，将与显示顺序相对应的所存储的帧的图像重排为用于编码的帧的顺序，以及将其中对帧的顺序进行了重排的图像提供给计算单元103。另外，画面重排缓冲器102还将其中对帧的顺序进行了重排的图像提供给帧内预测单元114和运动预测/补偿单元115。
[0129]计算单元103从在画面重排缓冲器102中所读出的图像中减去经由预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115所提供的预测图像，并且将其差分信息输出到正交变换单元104。
[0130]例如，在对其执行了帧间编码的图像的情况下，计算单元103从在画面重排缓冲器102中所读出的图像中减去从运动预测/补偿单元115所提供的预测图像。
[0131]正交变换单元104对从计算单元103所提供的差分信息执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换。另外，用于正交变换的方法是任意的。正交变换单元104将其变换系数提供给量化单元105。
[0132]量化单元105对从正交变换单元104所提供的变换系数进行量化。量化单元105基于与从速率控制单元117所提供的编码量的目标值有关的信息设置量化参数，并且对其执行量化。另外，用于量化的方法是任意的。量化单元105将量化的变换系数提供给无损编码单元106。
[0133]无损编码单元106使用任意编码方法对在量化单元105中所量化的变换系数进行编码。因为在速率控制单元117的控制之下对系数数据进行量化，所以其编码量变为由速率控制单元117所设置的目标值(或近似为目标值)。
[0134]另外，无损编码单元106从帧内预测单元114获取指示帧内预测的模式等的信息，并且从运动预测/补偿单元115获取指示帧间预测的模式的信息、差分运动向量信息等。
[0135]无损编码单元106使用任意编码方法对这些各种信息进行编码，并且将这些信息设置为编码数据(也称为编码流)的数据头信息的一部分(执行复用)。无损编码单元106将通过进行编码所获得的编码数据提供给累积缓冲器107，并且使得编码数据累积在累积缓冲器107中。
[0136]例如，作为用于无损编码单元106的编码方法，列举了可变长度编码、算术编码等。作为可变长度编码，可以列举在H.264/AVC方法等中所定义的CAVLC(上下文自适应可变长度编码)等。作为算术编码，可以列举CABAC (基于上下文的自适应二进制算术编码)
坐寸ο
[0137]累积缓冲器107临时地保存从无损编码单元106所提供的编码数据。累积缓冲器107在随后的阶段(未在附图中示出)，以给定的定时，将所保存的编码数据输出到例如记录装置，传送路径等。换言之，累积缓冲器107还用作传送编码数据的传送单元。
[0138]另外，在量化单元105中所量化的变换系数还被提供给逆量化单元108。逆量化单元108使用与由量化单元105所执行的量化相对应的方法对量化的变换系数执行逆量化。如果用于逆量化的方法与由量化单元105所执行的量化处理相对应，则该方法可以是任意方法。逆量化单元108将所获得的变换系数提供给逆正交变换单元109。
[0139]逆正交变换单元109使用与由正交变换单元104所执行的正交变换处理相对应的方法，对从逆量化单元108所提供的变换系数执行逆正交变换。如果用于逆正交变换的方法与由正交变换单元104所执行的正交变换处理相对应，则该方法可以是任意方法。将经受了逆正交变换的输出(恢复的差分信息)提供给计算单元110。
[0140]计算单元110将经由预测图像选择单元116来自帧内预测单元114或运动预测/补偿单元115的预测图像加到用作从逆正交变换单元109所提供的逆正交变换结果的恢复的差分信息，并且获得本地解码图图像(解码图像)。将解码图像提供给去块效应滤波器111或帧存储器112。
[0141]去块效应滤波器111对从计算单元110所提供的解码图像适当地执行去块效应滤波处理。例如，去块效应滤波器111对解码图像执行去块效应滤波处理，并且因此移除解码图像的块失真。
[0142]去块效应滤波器111将滤波处理结果(滤波处理之后的解码图像)提供给帧存储器112。另外，如上所述，可以将从计算单元110所输出的解码图像提供给帧存储器112而不通过去块效应滤波器111。换言之，可以跳过由去块效应滤波器111所执行的滤波处理。
[0143]帧存储器112将所提供的解码图像存储在其中，并且以给定的定时将所存储的解码图像作为参考图像提供给选择单元113。
[0144]选择单元113选择从帧存储器112所提供的参考图像的供给目的地。例如，在帧间预测的情况下，选择单元113将从帧存储器112所提供的参考图像提供给运动预测/补偿单元115。
[0145]使用用作经由选择单元113从帧存储器112所提供的参考图像的处理目标画面(也称为当前画面)中的像素值，帧内预测单元114执行帧内预测(帧内画面预测)，其中，采用基本上用作处理单位的预测单位(PU (Prediction Unit))生成预测图像。巾贞内预测单元114使用预先准备的多个帧内预测模式执行帧内预测。
[0146]帧内预测单元114使用用作候选的所有帧内预测模式生成预测图像，使用从画面重排缓冲器102所提供的输入图像评估每个预测图像的成本相关值，以及选择最佳模式。当选择了最佳帧内预测模式时，帧内预测单元114将采用该最佳模式所生成的预测图像提供给预测图像选择单元116。
[0147]另外，如上所述，帧内预测单元114适当地将诸如指示所采用的帧内预测模式的帧内预测模式信息的信息提供给无损编码单元106，并且使得该信息被编码。
[0148]使用从画面重排缓冲器102所提供的输入图像和经由选择单元113从帧存储器112所提供的参考图像，运动预测/补偿单元115采用基本上用作处理单位的预测单位(PU)执行运动预测(帧间预测)。运动预测/补偿单元115将所检测到的运动向量提供给运动向量编码单元121，依照所检测到的运动向量执行运动补偿处理，以及生成预测图像(帧间预测图像信息)。运动预测/补偿单元115使用预先准备的多个帧间预测模式执行这样的帧间预测。
[0149]运动预测/补偿单元115使用用作候选的所有帧间预测模式生成预测图像。运动预测/补偿单元115生成用作目标区域(也称为当前区域)的运动向量与来自运动向量编码单元121的目标区域的预测运动向量之间的差异的差分运动向量。另外，运动预测/补偿单元115使用从画面重排缓冲器102所提供的输入图像、所生成的差分运动向量的信息等评估每个预测图像的成本函数值，并且选择最佳模式。当选择了最佳帧间预测模式时，运动预测/补偿单元115将采用该最佳模式所生成的预测图像提供给预测图像选择单元116。
[0150]运动预测/补偿单元115将指示所采用的帧间预测模式的信息、在对编码数据进行解码的情况下使用帧间预测模式执行处理所需要的信息等提供给无损编码单元106，并且使得这些信息被编码。需要的信息的示例包括:所生成的差分运动向量的信息、指示作为预测运动向量信息的预测运动向量指标的标志等。
[0151]预测图像选择单元116选择要被提供给计算单元103和计算单元110的预测图像的供给源。例如，在帧间编码的情况下，预测图像选择单元116选择运动预测/补偿单元115作为预测图像的供给源，并且将从运动预测/补偿单元115所提供的预测图像提供给计算单元103和计算单元110。
[0152]基于在累积缓冲器107中所累积的编码数据的编码量，速率控制单元117控制在量化单元105中的量化操作的速率，使得不发生上溢或下溢。
[0153]运动向量编码单元121将由运动预测/补偿单元115所获得的运动向量存储在其中。运动向量编码单元121预测目标区域的运动向量。换言之,运动向量编码单元121生成被用于对运动向量进行编码或解码的预测运动向量。
[0154]具体地，在时间预测控制单元122的控制之下，运动向量编码单元121使用时间上或空间上邻近目标区域的邻近区域的运动向量生成目标区域的预测运动向量(预测器)。运动向量编码单元121将被识别为所生成的预测运动向量中的最佳预测运动向量的最佳预测运动向量提供给运动预测/补偿单元115和时间预测控制单元122。
[0155]在此，作为预测运动向量的类型，存在时间预测运动向量(时间预测器)和空间预测运动向量(空间预测器)。时间预测运动向量是使用时间上邻近目标区域的邻近区域的运动向量所生成的预测运动向量。空间预测运动向量是使用空间上邻近目标区域的邻近区域的运动向量所生成的预测运动向量。
[0156]响应于用户的操作、经由未在附图中示出的操作输入单元的输入，时间预测控制单元122关于预测方向ListO和Listl中的每个设置在预测运动向量中的时间预测运动向量是否可用。基于设置在每个预测方向上的时间预测运动向量是否可用，时间预测控制单元122控制运动向量编码单元121对时间预测运动向量的使用(生成)。另外，时间预测控制单元122生成指示在每个预测方向上时间预测运动向量是否可用的标志，并且将该标志提供给无损编码单元106。
[0157]将从时间预测控制单元122所提供的并且指示时间预测运动向量是否可用的标志设置为由无损编码单元106 (所复用的)编码数据的数据头信息的一部分。
[0158]另外，在本实施例中，将假定运动向量的预测代表用于生成预测运动向量的处理以及运动向量的编码代表用于生成运动预测向量并且使用所生成的预测运动向量获得差分运动向量的处理，来进行说明。换言之，用于运动向量的编码处理包括用于运动向量的预测处理。以相同的方式，将假定运动向量的解码代表用于生成预测运动向量并且使用所生成的预测运动向量重构运动向量的处理。换言之，用于运动向量的解码处理包括用于运动向量的预测处理。
[0159]另外，以上提及的邻近目标区域的邻近区域也是位于目标区域周围的邻近区域，并且在下文中，将假定两个词意指同一区域而进行说明。
[0160][1/4像素精确度运动预测]
[0161]图2是示出在AVC方法中所指定的、具有1/4像素精确度的运动预测/补偿处理的情形的示例的图。在图2中，各个方块指示像素。在这些像素中，A指示在帧存储器112中所存储的整数精确度像素的位置，b、c和d指示具有1/2像素精确度的位置，以及el、e2和e3指示具有1/4像素精确度的位置。
[0162]在下文中，在下面的表达式(I)中定义函数Clipl O。
[0163][数学表达式I]
【权利要求】
1.一种图像处理装置，包括: 接收单元，以在对图像中的当前区域的运动向量进行解码中所使用的预测运动向量作为目标，接收关于每个预测方向的标志和编码流，所述标志指示使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的时间预测向量是否可用； 预测运动向量生成单元，基于由所述接收单元所接收的标志所指示的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量，生成所述当前区域的预测运动向量； 运动向量解码单元，使用由所述预测运动向量生成单元所生成的预测运动向量，对所述当前区域的运动向量进行解码；以及 解码单元，使用由所述运动向量解码单元所解码的运动向量，对所述接收单元所接收的编码流进行解码，并且生成所述图像。
2.根据权利要求1所述的图像处理装置，其中 所述接收单元接收关于每个预测方向的标志，所述标志指示所述时间预测向量是否可用并且被设置在画面单位的参数中。
3.根据权利要求2所述的图像处理装置，其中 所述时间预测向量被设置为关于所述预测方向中的一个预测方向可用，并且被设置为关于所述预测方向中的另一预测方向不可用。
4.根据权利要求3所述的图像处理装置，其中 在当前画面是其中存在重排的画面的情况下，所述预测方向中的所述一个预测方向是ListO方向；并且在所述当前画面是其`中不存在重排的画面的情况下，所述预测方向中的所述一个预测方向是Listl方向。
5.根据权利要求3所述的图像处理装置，其中 在参考画面与当前画面在LsitO方向上的距离不同于参考画面与所述当前画面在List I方向上的距离的情况下，所述预测方向中的所述一个预测方向是关于在时间轴上接近所述当前画面的参考画面的方向。
6.根据权利要求2所述的图像处理装置，其中 在先进运动向量预测和合并模式中，独立地生成关于每个预测方向的标志，所述标志指示所述时间预测向量是否可用。
7.一种图像处理方法，其中 图像处理装置: 以在对图像中的当前区域的运动向量进行解码中所使用的预测运动向量作为目标，接收关于每个预测方向的标志以及编码流，所述标志指示使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的时间预测向量是否可用， 基于由所接收的标志所指示的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量，生成所述当前区域的预测运动向量， 使用所生成的预测运动向量，对所述当前区域的运动向量进行解码，以及 使用所解码的运动向量，对所接收的编码流进行解码并且生成所述图像。
8.一种图像处理装置，包括: 时间预测控制单元，以在对图像中的当前区域的运动向量进行编码中所使用的预测运动向量为目标，关于每个预测方向设置时间预测向量是否可用，所述时间预测向量是使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的； 预测运动向量生成单元，基于由所述时间预测控制单元所设置的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量，生成所述当前区域的预测运动向量; 标志设置单元，设置关于每个预测方向的标志，所述标志指示由所述时间预测控制单元所设置的时间预测向量是否可用；以及 传送单元，传送由所述标志设置单元所设置的标志以及对所述图像进行编码所得到的编码流。
9.根据权利要求8所述的图像处理装置，其中 所述标志设置单元在画面单位的参数中设置关于每个预测方向的标志，所述标志指示由所述时间预测控制单元所设置的时间预测向量是否可用。
10.根据权利要求9所述的图像处理装置，其中 所述时间预测控制单元将所述时间预测向量设置为关于所述预测方向中的一个预测方向可用，并且将所述时间预测向量设置为关于所述预测方向中的另一预测方向不可用。
11.根据权利要求10所述的图像处理装置，其中 在当前画面是在其中存在重排的画面的情况下，所述预测方向中的所述一个预测方向是ListO方向；并且在所述当前画面是在其中不存在重排的画面的情况下，所述预测方向中的所述一个预测方向是Li stl方向。
12.根据权利要求10所述的图像处理装置，其中 在参考画面与当前画面在ListO方向上的距离不同于参考画面与所述当前画面在Listl方向上的距离的情况下，所述预测方向中的所述一个预测方向是关于在时间轴上接近所述当前画面的参考画面的方向。
13.根据权利要求9所述的图像处理装置，其中 在先进运动向量预测和合并模式中，所述时间预测控制单元独立地设置所述时间预测向量是否可用。
14.一种图像处理方法，包括: 以在对图像中的当前区域的运动向量进行编码中所使用的预测运动向量作为目标，关于每个预测方向设置时间预测向量是否可用，所述时间预测向量是使用时间上位于所述当前区域周围的时间邻近区域的运动向量所生成的； 基于所设置的时间预测向量是否可用，使用位于所述当前区域周围的邻近区域的运动向量生成所述当前区域的预测运动向量； 设置关于每个预测方向的标志，所述标志指示所设置的时间预测向量是否可用；以及 传送所设置的标志以及对所述图像进行编码所得到的编码流。
15.一种图像处理装置，包括: 接收单元，接收在对图像进行编码中所使用的参数的编码数据、以及指示是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式的信息； 预测参数生成单元，依照由所述接收单元所接收的所述模式，生成用作所述参数的预测值的预测参数；以及 参数解码单元，使用由所述预测参数生成单元所生成的所述预测参数，对由所述接收单元所接收的所述参数的编码数据进行解码，并且重构所述参数。
16.根据权利要求15所述的图像处理装置，其中 所述模式是关于多个画面、指定针对每个画面是否要使用所述时间预测的模式。
17.根据权利要求16所述的图像处理装置，其中 所述模式基于由所述多个画面所形成的层级结构的层，对是否要使用所述时间预测进行分类。
18.根据权利要求16所述的图像处理装置，其中 所述模式基于所述多个画面的排列顺序，对是否要使用所述时间预测进行分类。
19.根据权利要求15所述的图像处理装置，其中， 所述参数是运动向量，并且所述预测参数是预测运动向量， 所述接收单元接收所述运动向量的编码数据、以及指示是否要使用所述时间预测的模式的信息， 所述预测参数生成单元依照由所述接收单元所接收的所述模式，使用在所述运动向量的编码数据中所指定的预测方法，生成所述预测运动向量，以及 所述参数解码单元使用由所述预测参数生成单元所生成的所述预测运动向量，对由所述接收单元所接收的所述运动向量的编码数据进行解码，并且重构所述运动向量。
20.根据权利要求15所述的图像处理装置，其中 所述参数是之前一个处理的块的量化参数与当前块的量化参数之间的差。
21.根据权利要求15所述的图像处理装置，其中 所述参数是利用上下文的算术编码的参数。
22.根据权利要求15所述的图像处理装置，其中 所述接收单元还接收所述图像的编码数据，并且 所述图像处理装置还包括: 图像解码单元，使用由所述参数解码单元所重构的所述参数，对由所述接收单元所接收的所述图像的编码数据进行解码。
23.一种用于图像处理装置的图像处理方法，其中 所述图像处理装置: 接收在对图像进行编码时所示使用的参数的编码数据、以及指示是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式的信息， 依照所接收的所述模式，生成用作所述参数的预测值的预测参数，以及使用所生成的所述预测参数、对所接收的所述参数的编码数据进行解码，并且重构所述参数。
24.—种图像处理装置，包括: 设置单元，设置是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式； 预测参数生成单元，依照由所述设置单元所设置的所述模式，生成用作所述参数的预测值的预测参数；参数编码单元，使用由所述预测参数生成单元所生成的所述预测参数，对所述参数进行编码；以及 传送单元，传送由所述参数编码单元所生成的所述参数的编码数据、以及指示由所述设置单元所设置的所述模式的信息。
25.根据权利要求24所述的图像处理装置，还包括: 参数生成单元，生成所述参数；以及 图像编码单元，使用由所述参数生成单元所生成的所述参数，对所述图像进行编码， 其中 所述设置单元设置是否要使用所述时间预测的模式， 所述参数编码单元使用所述预测参数，对由所述参数生成单元所生成的所述参数进行编码，以及 所述传送单元传送由所述图像编码单元所生成的所述图像的编码数据。
26.一种用于图像处理装置的图像处理方法，其中 所述图像处理装置: 设置是否要使用利用时间上位于当前区域周围的时间邻近区域的参数执行预测的时间预测的模式， 依照所述所设置的模式，生成用作所述参数的预测值的预测参数， 使用所生成的预测参数对所述参数进行编码，以及 传送所生成的所述参数的编码数据以及指示所设置的模式的信息。
【文档编号】H04N19/129GK103891285SQ201280050005
【公开日】2014年6月25日 申请日期:2012年10月19日 优先权日:2011年10月20日
【发明者】佐藤数史 申请人:索尼公司