专利名称：图像处理装置和方法
技术领域：
本技术涉及一种图像处理装置和方法，并且更具体地，涉及一种能够实现更高的编码效率的图像处理装置和方法。
背景技术：
近年来，在广播电台等的信息发送和普通家庭的信息接收双方中如下装置正变得普及该装置通过采用把图像信息处理为数字信号的编码方式来使图像经受压缩编码、同时为了执行对信息的高效传输和存储，利用作为图像信息的特征的冗余，通过正交变换(诸如离散余弦变换等)和运动补偿来压缩图像。该编码方法的示例包括MPEG (运动图片专家组)等。具体地，MPEG2 (ISO (国际标准化组织)/IEC (国际电工技术委员会)13818-2)被定义为通用图像编码方式，并且是涵盖了隔行扫描图像和逐行扫描图像、以及标准分辨率图像和高清晰度图像的标准。例如，当前在用于专业使用和用于消费使用的广泛而多样的应用程序中广泛地使用MEPG2。通过采用MPEG2压缩方式，在具有720X480像素的标准分辨率隔行扫描图像的情况下，分配4至8Mbps的编码量(比特率)。通过采用MPEG2压缩方式，例如在具有1920X 1080像素的高清晰度隔行扫描图像的情况下，分配18至22Mbps的编码量(比特率)，借此可以实现高压缩比和优秀的图像质量。MPEG2主要针对适合于广播使用的高图像质量编码，但是不处理比MPEGl的编码量更低的编码量(比特率)，即具有更高的压缩率的编码方式。预期由于个人数字助理的普遍因此对于这样的编码方式的需求将增长，并且响应于此，执行了 MPEG4编码方案的标准化。关于图像编码方式，其规范在1998年12月被确认为IS0/IEC 14496-2的国际标准。此外，近年来，以用于电视会议使用的图像编码为目的的、被称为H. 26L的标准(ITU-T (国际电信联盟远程通信标准部)Q6/16VCEG (视频编码专家组))的标准化处于发展之中。已知尽管相比于传统的编码方法(诸如MPEG2和MEPG4)，利用H. 26L进行编码和解码需要较大计算量，但是，H. 26L实现更高的编码效率。此外，当前，作为MPEG4活动的一部分，基于该H. 26L、用于利用H. 26L所不支持的功能以实现更高编码效率的标准化被执行为增强的压缩视频编码的联合模型。关于标准化的时间表，H. 264和MPEG-4部分10(高级视频编码，在下文中称为AVC)在2003年3月成为国际标准。现在，对于将由下一代编码方法处理的、诸如UHD (超高清晰度；4000X2000像素)的大图像帧，16X16个像素的传统宏块尺寸不是最优的。因此，NPL (非专利文献)1等提议将宏块尺寸放大为64 X 64个像素、32 X 32个像素等的尺寸。S卩，利用NPL 1，通过采用层级结构，16X16个像素或更小的块保持与当前AVC中的宏块兼容，同时定义更大的块作为其超集。这些块(宏块、宏块被划分成多个区域的子宏块)用作运动预测/补偿处理的单位(increment)的运动分区。
现在，利用AVC编码方式，提供了跳过模式和直接模式。跳过模式和直接模式不需要传送运动向量信息，并且具体地，被用于更大的区域，由此有助于改进的编码效率。引用列表非专利文献非专利文献I :Peisong Chenn, Yan Ye, Marta Karczewicz, “VideoCoding UsingExtended Block Sizes”，C0M16-C123-E，Qualcomm Inc，January 2009
发明内容
技术问题然而，利用NPL I提议的技术，跳过模式和直接模式仅应用于作为运动分区的块中的正方形块，因此存在如下忧虑编码效率有可能不提高。鉴于这样的情况做出了本公开内容，并且其目的是使得跳过模式和直接模式应用于长方形块以及提高编码效率。问题的解决方案本公开的一个方面是一种图像处理装置，其包括运动预测/补偿单元，其被配置成对于作为要编码图像的非正方形的运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及编码单元，其被配置成对通过运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。该图像处理装置还可包括标志生成单元，其被配置成在运动预测/补偿单元对非正方形运动分区执行运动预测/补偿的情况下，生成指示是否以所述预测模式执行运动预测/补偿的标志信息。在运动预测/补偿单元以所述预测模式对非正方形运动分区执行运动预测/补偿的情况下，标志生成单元可将标志信息的值设置为1，并且在以不同于所述预测模式的模式执行运动预测/补偿的情况下，标志生成单元可将标志信息值设置为O。编码单元可对标志生成单元生成的标志信息连同差分信息一起进行编码。运动分区可以是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个的非正方形子宏块。预定尺寸可以是16X16像素。子宏块可以是长方形。子宏块可以是二分割宏块的区域。子宏块可以是不对称地二分割宏块的区域。子宏块可以是在斜方向上二分割宏块的区域。本公开的另一方面还是一种图像处理装置的图像处理方法，该方法包括运动预测/补偿单元对于作为要编码图像的非正方形的运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及编码单元对通过已执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。本公开的另一方面是一种图像处理装置，其包括解码单元，其被配置成解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；运动预测/补偿单元，其被配置成以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码单元解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及生成单元，其被配置成通过使通过解码单元解码码流而获得的差分信息和运动预测/补偿单元生成的预测图像相加，生成解码图像。在由解码单元解码并且指示是否以所述预测模式执行运动预测/补偿的标志信息指示非正方形运动分区经受了所述预测模式的运动预测/补偿的情况下，运动预测/补偿单元可以以所述预测模式执行非正方形运动分区的运动预测/补偿。运动分区可以是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个的非正方形子宏块。预定尺寸可以是16X16像素。子宏块可以是长方形。子宏块可以是二分割宏块的区域。子宏块可以是不对称地二分割宏块的区域。子宏块可以是在斜方向上二分割宏块的区域。本公开的另一方面是一种图像处理装置的图像处理方法，该方法包括解码单元解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；运动预测/补偿单元以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及生成单元通过使通过解码码流而获得的差分信息和所生成的预测图像相加，生成解码图像。根据本公开的一个方面，对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及对通过已执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。根据本公开的另一方面，解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及通过使通过解码码流而获得的差分信息和所生成的预测图像相加，生成解码图像。根据本公开，可以处理图像。具体地，可以改进编码效率。
图I是示出小数像素精确度的运动预测/补偿处理的示例的图。图2是示出宏块的示例的图。图3是用于描述如何执行中值运算的示例的图。图4是用于描述多参考帧的示例的图。图5是用于描述如何执行时间直接模式的示例的图。图6是用于说明宏块的另一示例的图。图7是示出图像编码装置的主要配置的框图。
图8是示出运动预测/补偿单元的详细配置示例的框图。图9是示出成本函数计算单元的详细配置示例的框图。图10是示出长方形跳过/直接编码单元的详细配置示例的框图。图11是用于描述编码处理的流程的示例的流程图。图12是用于描述帧内预测处理的流程的示例的流程图。图13是用于描述长方形跳过/直接运动向量信息生成处理的流程的示例的流程图。图14是示出图像解码装置的主要配置示例的框图。图15是示出运动预测/补偿单元的详细配置示例的框图。图16是示出长方形跳过/直接解码单元的详细配置示例的框图。图17是用于描述解码处理的的流程的示例的流程图。图18是用于描述预测处理的流程的示例的流程图。图19是用于描述帧内预测处理的流程的示例的流程图。图20是用于描述NPL 2中描述的技术的图。图21是用于描述NPL 3中描述的技术的图。图22是用于描述NPL 4中描述的技术的图。图23是示出个人计算机的主要配置示例的框图。图24是示出电视接收器的主要配置示例的框图。图25是示出移动电话的主要配置示例的框图。图26是示出硬盘记录器的主要配置示例的框图。图27是示出摄像装置的主要配置示例的框图。
具体实施例方式在下文中，将描述用于实施本技术的实施例(在下文中称为实施例)。将以下述顺序进行描述I.第一实施例(图像编码装置)2.第二实施例(图像解码装置)3.第三实施例(个人计算机)4.第四实施例(电视接收器)5.第五实施例(移动电话)6.第六实施例(硬盘记录器)
7.第七实施例(摄像装置)〈I.第一实施例>[具有小数像素精确度的运动预测/补偿处理]利用诸如MPEG-2等的编码方式，通过线性插值处理执行了具有1/2像素精确度的运动预测/补偿处理，利用AVC编码方式，使用6抽头FIR (有限冲激响应)滤波器作为插值滤波器执行了具有1/4像素精确度的运动预测/补偿处理，并且因此改善了编码效率。图I是用于描述AVC编码方式中规定的具有1/4像素精确度的运动预测/补偿处理的图。在图I中，正方形表示像素。其中，“A”表示帧存储器112中所存储的具有整数像素精确度的位置，位置b、c以及d表示具有1/2像素精确度的位置，以及位置el、e2以及e3表示具有1/4像素精确度的位置。在此，如在以下表达式(I)中限定函数Clipl ()。[数学表达式I]···(]_)例如，在输入图像具有8比特精确度的情况下,表达式(I)中的max_pix的值为255。如根据以下表达式(2)和表达式(3)，使用6抽头FIR滤波器生成位置b和d中的
像素值。[数学表达式2]F=A_2_5 · A_j+20 · A0+20 · A「5 · A2+A3 . . . (2)[数学表达式3]b, d=clipl ((F+16) >>5) ... (3)如根据以下表达式(4)至(6)、通过在水平方向和垂直方向上应用6抽头FIR滤波器生成位置c中的像素值。[数学表达式4]F=b_2_5 · b_!+20 · b0+20 · b「5 · b2+b3 ... (4)或者[数学表达式5]F=d_2_5 · d—i+20 · d0+20 · d「5 · d2+d3 ... (5)[数学表达式6]C=Clipl ((F+512) 10)…(6)注意，在水平方向和垂直方向上均执行了积和处理之后，仅在最后执行一次Clip处理。如以下表达式(7)至(9)所示、通过线性插值生成el至e3。[数学表达式7]
权利要求
1.一种图像处理装置，其包括 运动预测/补偿单元，其被配置成对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及 编码单元，其被配置成对通过所述运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。
2.根据权利要求I所述的图像处理装置，还包括 标志生成单元，其被配置成在所述运动预测/补偿单元对所述非正方形运动分区执行运动预测/补偿的情况下，生成指示是否以所述预测模式执行运动预测/补偿的标志信息。
3.根据权利要求2所述的图像处理装置，其中，在所述运动预测/补偿单元以所述预测模式对所述非正方形运动分区执行运动预测/补偿的情况下，所述标志生成单元将所述标志信息的值设置为1，并且在以不同于所述预测模式的模式执行运动预测/补偿的情况下，所述标志生成单元将所述标志信息值设置为O。
4.根据权利要求2所述的图像处理装置，其中，所述编码单元对所述标志生成单元生成的所述标志信息连同所述差分信息一起进行编码。
5.根据权利要求I所述的图像处理装置，其中，所述运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
6.根据权利要求5所述的图像处理装置，其中，所述预定尺寸是16X16像素。
7.根据权利要求5所述的图像处理装置，其中，所述子宏块是长方形。
8.根据权利要求5所述的图像处理装置，其中，所述子宏块是二分割所述宏块的区域。
9.根据权利要求8所述的图像处理装置，其中，所述子宏块是不对称地二分割所述宏块的区域。
10.根据权利要求8所述的图像处理装置，其中，所述子宏块是在斜方向上二分割所述宏块的区域。
11.一种图像处理装置的图像处理方法，所述方法包括 运动预测/补偿单元对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及 编码单元对通过已执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。
12.—种图像处理装置，其包括 解码单元，其被配置成解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为所述要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成所述预测图像； 运动预测/补偿单元，其被配置成以所述预测模式对所述非正方形运动分区执行运动预测/补偿，使用通过所述解码单元解码所述码流而获得的所述周围运动分区的运动向量信息来生成所述运动向量，并且生成所述预测图像；以及 生成单元，其被配置成通过使通过所述解码单元解码所述码流而获得的所述差分信息和所述运动预测/补偿单元生成的所述预测图像相加，生成解码图像。
13.根据权利要求12所述的图像处理装置，其中，在由所述解码单元解码并且指示是否以所述预测模式执行了运动预测/补偿的标志信息指示所述非正方形运动分区经受了所述预测模式的运动预测/补偿的情况下，所述运动预测/补偿单元以所述预测模式执行所述非正方形运动分区的运动预测/补偿。
14.根据权利要求12所述的图像处理装置，其中，所述运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
15.根据权利要求14所述的图像处理装置，其中，所述预定尺寸是16X16像素。
16.根据权利要求14所述的图像处理装置，其中，所述子宏块是长方形。
17.根据权利要求14所述的图像处理装置，其中，所述子宏块是二分割所述宏块的区域。
18.根据权利要求17所述的图像处理装置，其中，所述子宏块是不对称地二分割所述宏块的区域。
19.根据权利要求17所述的图像处理装置，其中，所述子宏块是在斜方向上二分割所述宏块的区域。
20.一种图像处理装置的图像处理方法，所述方法包括 解码单元解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为所述要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成所述预测图像； 运动预测/补偿单元以所述预测模式对所述非正方形运动分区执行运动预测/补偿，使用通过解码所述码流而获得的所述周围运动分区的运动向量信息来生成所述运动向量，并且生成所述预测图像；以及 生成单元通过使通过解码所述码流而获得的所述差分信息和所生成的预测图像相加，生成解码图像。
全文摘要
公开了一种可以改进编码效率的图像处理装置和方法。该图像处理装置包括运动预测/补偿单元，其对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及编码单元，其对通过运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。所公开的技术可应用到例如图像处理装置。
文档编号H04N7/32GK102986226SQ20118003307
公开日2013年3月20日 申请日期2011年7月1日 优先权日2010年7月9日
发明者佐藤数史 申请人:索尼公司