专利名称：图像处理设备和方法
技术领域：
本发明图像处理设备和方法，并且更具体地涉及能够抑制将被压缩的压缩信息的增加并且还能够提高预测精度的图像处理设备和方法。
背景技术：
近年来，为了执行信息的高效发送和累积，利用作为图像信息的特征的冗余，通过采用将图像信息处理为数字信号的编码系统来对图像进行压缩编码并且此时通过诸如离散余弦变换等的正交变换和运动补偿对图像进行压缩的设备已广泛普及。这样的编码方法的示例包括MPEG (运动图像专家组)等。具体地，MPEG2(IS0/IEC 13818-2)被定义为通用图像编码系统，并且是一种涵盖了隔行扫描图像和逐行扫描图像两者以及标准清晰图像和高清晰图像的标准。例如，MPEG2 当前被广泛用在用于专业运用和消费者运用的广范围应用中。例如在具有720X480像素的标准分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩系统，4至8Mbps的代码量 (比特率)被分配。例如在具有1920X 1088像素的高分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩系统，18至22Mbps的代码量(比特率)被分配。因此，可以实现高压缩率和优良的图像质量。MPEG2起初致力于适合于广播运用的高图像质量编码，但不处理低于MPEGl的代码量(比特率)，即，具有较高压缩率的编码系统。由于个人数字助理的普及，预期对这种编码系统的需求将增长，并且响应于此，MPEG4编码系统的标准化已被执行。关于图像编码系统，其规范已在1998年12月被确认为如IS0/IEC 14496-2的国际标准。此外，近年来，已在进行以用于电视会议运用的图像编码为目标的、称为 H. 26L (ITU-T Q6/16 VCEG)的标准的标准化。对于H. ^L，虽然众所周知与诸如MPEG2和 MPEG4之类的传统编码系统相比需要用于其编码和解码的更大计算量，但是实现了更高的编码效率。此外，当前，作为MPEG4的活动的一部分，以该H. 26L为基础利用H. 26L所不支持的功能以实现更高编码效率的标准化已被执行，如增强压缩视频编码联合模型。作为标准化的日程表，H. 264和MPEG-4第10部分(高级视频编码，以下被写为H. 264/AVC)在2003 年3月成为国际标准。顺便提及，在MPEG2系统中，1/2像素精度的运动预测/补偿处理已通过线性插值处理被执行。另一方面，在H. ^4/AVC系统中，1/4像素精度的预测/补偿利用6抽头FIR(有限冲激响应滤波器)滤波器被执行。在MPEG2系统中，在帧运动补偿模式的情况中，运动预测和补偿处理是以16X 16 像素为单位来执行的。在场运动补偿模式的情况中，运动预测和补偿处理是针对第一场和第二场的每场以16X8像素为单位来执行的。另一方面，在H. 264/AVC系统中，运动预测和补偿处理可以以块大小作为变量来执行。具体地，在H. 264/AVC系统中，由16X 16像素构成的一个宏块可被划分为16X 16， 16X8，8X 16或8X8的分割中的一种，其中每种分割具有独立的运动向量信息。此外，8X8分割可被划分为8X8，8X4，4X8或4X4的子分割中的一种，其中，每种子分割具有独立的
运动向量信息。然而，在H. 264/AVC系统中，通过执行1/4像素精度和块可变的运动预测和补偿处理，使得大量运动向量信息被生成，如果它们不加改变地被编码则导致编码效率恶化。因此，已提出通过如下方法来抑制编码效率的恶化，该方法通过中间操作等利用已被编码的相邻块的运动向量信息来生成从现在起将被编码的对象块的预测运动向量信肩、O此外，由于B图片中的运动向量信息的信息量巨大，因此在H. ^4/AVC系统中提供了称为直接模式(direct mode)的编码模式。该直接模式是一种用于通过预测从经编码块的运动信息生成运动信息的编码模式，并且不需要用于编码运动信息所需的比特数目，从而可以改进压缩编码。直接模式包括空间直接模式(Spatial Direct Mode)和时间直接模式(Temporal Direct Mode)两种。空间直接模式是一种主要利用空间方向(图片内的水平和垂直二维空间)上的运动信息的相关性的模式，并且时间直接模式是一种主要利用时间方向上的运动信息的相关性的模式。在这些空间直接模式和时间直接模式中，可以针对每个片段(slice)来切换所采用的模式。具体地，在NPL 1中的“7. 3. 3. Slice header syntax”中进行了描述，其中，指明了在对象片段中，“direct_Spatial_mV_pred_flag”指定要采用空间直接模式和时间直接模式中的哪个。引用列表非专利文献NPL 1 “ITU-T Recommendation H. 264 Advanced video coding for generic audiovisual”，November 2007(2007 年 11 月)
发明内容
技术问题顺便提及，即使在同一片段中，上述空间直接模式和时间直接模式中的哪个提供更好的编码效率对于每个宏块或每个块来说是不同的。然而，在H. ^4/AVC系统中，对它们的切换仅针对每个片段来执行。此外，如果为将被编码的每个宏块或每块选择最优直接模式，并且指示哪个直接模式被使用的信息被发送给图像解码设备，则这将导致编码效率的恶化。本发明是鉴于这样的情形作出的，本发明抑制压缩信息的增加并且还提高预测精度。问题的解决方案根据本发明第一方面的图像处理设备包括空间模式残余能量计算装置，被配置为使用对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，外围像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；时间模式残余能量计算装置，被配置为使用对象块的根据时间直接模式的运动向量信息来计算采用了外围像素的时间模式残余能量；以及直接模式确定装置，被配置为在由空间模式残余能量计算装置计算出的空间模式残余能量等于或小于由时间模式残余能量计算装置计算出的时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的编码，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对对象块的编码。图像处理设备还可以包括编码装置，被配置为根据由直接模式确定装置确定的空间直接模式或时间直接模式来对对象块编码。空间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算空间模式残余能量，时间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算时间模式残余能量，并且直接模式确定装置可以比较针对Y信号分量、Cb信号分量和Cr信号分量的每个的空间模式残余能量与时间模式残余能量之间的大小关系， 以判断对象块在空间直接模式中被编码还是对象块在时间直接模式中被编码。空间模式残余能量计算装置可以从对象块的亮度信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量来计算时间模式残余能量°空间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算时间模式残余能量。图像处理设备还可以包括空间模式运动向量计算装置，被配置为计算根据空间直接模式的运动向量信息；以及时间模式运动向量计算装置，被配置为计算根据时间直接模式的运动向量信息。根据本发明第一方面的图像处理方法包括以下步骤使得图像处理设备使用对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，外围像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；使用对象块的根据时间直接模式的运动向量信息来计算采用了外围像素的时间模式残余能量；以及在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的编码，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对对象块的编码。根据本发明第二方面的图像处理设备包括空间模式残余能量计算装置，被配置为使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，外围像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；时间模式残余能量计算装置，被配置为使用对象块的根据时间直接模式的运动向量信息来计算采用了外围像素的时间模式残余能量；以及直接模式确定装置，被配置为在由空间模式残余能量计算装置计算出的空间模式残余能量等于或小于由时间模式残余能量计算装置计算出的时间模式残余能量的情况中，确定在空间直接模式中执行对象块的预测图像的生成，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对象块的预测图像的生成。图像处理设备还可以包括运动补偿装置，被配置为根据由直接模式确定装置确定的空间直接模式或时间直接模式来生成对象块的预测图像。空间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算空间模式残余能量，时间模式残余能量计算装置可以从Y信号分量、Cb信号分量和Cr信号分量来计算时间模式残余能量，并且直接模式确定装置可以比较针对Y信号分量、Cb信号分量和Cr信号分量的每个的空间模式残余能量与时间模式残余能量之间的大小关系， 以判断对象块的预测图像的生成在空间直接模式中被执行还是对象块的预测图像的生成在时间直接模式中被执行。空间模式残余能量计算装置可以从对象块的亮度信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量来计算时间模式残余
能量°空间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算空间模式残余能量，并且时间模式残余能量计算装置可以从对象块的亮度信号分量和色差信号分量来计算时间模式残余能量。根据本发明第二方面的图像处理方法包括以下步骤使得图像处理设备使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，外围像素以预定位置关系与对象块相邻并且还被包括在经解码图像中；使用对象块的根据时间直接模式的运动向量信息来计算采用了外围像素的时间模式残余能量；以及在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对象块的预测图像的生成，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对象块的预测图像的生成。在本发明的第一方面中，对象块的根据空间直接模式的运动向量信息被用来计算采用了外围像素的空间模式残余能量，外围像素以预定位置关系与对象块相邻并且还被包括在经解码图像中，对象块的根据时间直接模式的运动向量信息被用来计算采用了外围像素的时间模式残余能量。接下来，在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的编码，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对对象块的编码。在本发明的第二方面中，在直接模式中被编码的对象块的根据空间直接模式的运动向量信息被用来计算采用了外围像素的空间模式残余能量，外围像素以预定位置关系与对象块相邻并且还被包括在经解码图像中，并且对象块的根据时间直接模式的运动向量信息被用来计算采用了外围像素的时间模式残余能量。接下来，在空间模式残余能量等于或小于时间模式残余能量的情况中，确定在空间直接模式中执行对对象块的预测图像的生成，并且在空间模式残余能量大于时间模式残余能量的情况中，确定在时间直接模式中执行对象块的预测图像的生成。注意，上述图像处理设备可以是单独设备，或者可以是组成单个图像编码设备或图像解码设备的内部块。本发明的有益效果根据本发明的第一方面，用于对对象块执行编码的直接模式可被确定。因此，根据本发明的第一方面，可以抑制压缩信息的增加，并且还可以提高预测精度。根据本发明的第二方面，用于执行对象块的预测图像的生成的直接模式可被确定。此外，根据本发明的第二方面，可以抑制压缩信息的增加，并且还可以提高预测精度。
图1是图示出应用了本发明的图像编码设备的实施例的配置的框图。图2是用于描述具有可变块大小的运动预测和补偿处理的示图。图3是用于描述1/4像素精度的运动预测和补偿处理的示图。图4是用于描述多参考帧的运动预测和补偿方法的示图。图5是用于描述运动向量信息生成方法的示例的示图。图6是图示出直接模式选择单元的配置示例的框图。图7是用于描述图1中的图像编码设备的编码处理的流程图。图8是用于描述图7的步骤S21中的预测处理的流程图。图9是用于描述图8的步骤S31中的帧内预测处理的流程图。图10是用于描述图8的步骤S32中的帧间运动预测处理的流程图。图11是用于描述图8的步骤S33中的直接模式预测处理的流程图。图12是用于描述时间直接模式的示图。图13是用于描述残余能量(residual energy)计算的示例的示图。图14是图示出应用了本发明的图像解码设备的实施例的配置的框图。图15是用于描述图14中的图像解码设备的解码处理的流程图。图16是用于描述图15的步骤S138中的预测处理的流程图。图17是用于描述图16的步骤S175中的帧间模板运动预测处理的流程图。图18是图示出扩展块大小的示例的示图。图19是图示出计算机硬件的配置示例的框图。图20是图示出应用了本发明的电视接收机的主要配置示例的框图。图21是图示出应用了本发明的蜂窝电话的主要配置示例的框图。图22是图示出应用了本发明的硬盘记录器的主要配置示例的框图。图23是图示出应用了本发明的相机的主要配置示例的框图。
具体实施例方式现在参考附图描述本发明的实施例。图像编码设备的配置示例图1表示用作应用了本发明的图像处理设备的图像编码设备的实施例的配置。该图像编码设备51例如利用H. 264和MPEG-4第10部分(高级视频编码)(下面描述为H. 264/AVC)系统来对图像进行压缩编码。注意，图像编码设备51中的编码以块或宏块为单位来执行。下面，当提及将被编码的对象块时，将在块或宏块被包括在对象块中的假设下进行描述。在图1的示例中，图像编码设备51包括A/D转换单元61、画面排序缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、累积缓冲器67、逆量化单元68、 逆正交变换单元69、计算单元70、解块滤波器71、帧存储器72、开关73、帧内预测单元74、 运动预测/补偿单元75、直接模式选择单元76、预测图像选择单元77以及速率控制单元 78。A/D转换单元61对输入图像进行模数转换，并输出给画面排序缓冲器62以进行排序。画面排序缓冲器62将具有被排序用于显示的顺序的帧的图像排序为用于根据G0P(图片组)进行编码的帧顺序。计算单元63从自画面排序缓冲器62读出的图像中减去由预测图像选择单元77 选择的来自帧内预测单元74的预测图像或者来自运动预测/补偿单元75的预测图像，并且将其差分信息输出给正交变换单元64。正交变换单元64对来自计算单元63的差分信息执行诸如离散余弦变换、Karhunen-Loeve变换等的正交变换，并且输出其变换系数。量化单元65对正交变换单元64输出的变换系数进行量化。作为量化单元65的输出的经量化变换系数被输入无损编码单元66，并且经过诸如可变长度编码、算术编码等的无损编码并被压缩。无损编码单元66从帧内预测单元74获取指示帧内预测，并且从运动预测/补偿单元75获取指示帧间预测和直接模式等的信息。注意，下面，指示帧内预测的信息也被称为帧内预测模式信息。此外，指示帧间预测的信息和指示直接模式的信息也分别被称为帧间预测模式信息和直接模式信息。无损编码单元66对经量化的变换系数编码，并且还对指示帧内预测的信息和指示帧间预测和直接模式的信息等进行编码，并且将它们作为经压缩图像的头部信息的一部分。无损编码单元66将经编码数据提供给累积缓冲器67以用于累积。例如，在无损编码单元66中，执行诸如可变长度编码或算术编码等的无损编码。 可变长度编码的示例包括由H. 264/AVC系统确定的CAVLC(基于上下文的自适应可变长度编码)等。算术编码的示例包括CABAC(基于上下文的自适应二进制算术编码)。累积缓冲器67将从无损编码单元66提供来的数据作为通过H. 264/AVC系统被编码的压缩图像输出给例如未在图中示出的下游存储设备或传送路径等。此外，从量化单元65输出的经量化变换系数还被输入逆量化单元68，经过逆量化，并且然后在逆正交变换单元69中再经过逆正交变换。经过了逆正交变换的输出被计算单元70与从预测图像选择单元77提供来的预测图像相加，并被变为本地解码图像。解块滤波器71去除该解码图像中的块失真，并且然后提供给帧存储器72用于累积。图像在由解块滤波器71执行解块滤波器处理之前也被提供给帧存储器72用于累积。开关73将累积在帧存储器72中的参考图像输出给运动预测/补偿单元75或帧内预测单元74。在该图像编码设备51中，例如，I图片、B图片和P图片从画面排序缓冲器62被提供给帧内预测单元74作为将经过帧内预测(也称为帧内处理)的图像。此外，从画面排序缓冲器62读出的B图片和P图片被提供给运动预测/补偿单元75作为将经过帧间预测 (也称为帧间处理)的图像。帧内预测单元74基于从画面排序缓冲器62读出的将经过帧内预测的图像和从帧存储器72提供来的参考图像来对作为候选的所有帧内预测模式执行帧内预测处理，以生成预测图像。此时，帧内预测单元74计算针对作为候选的所有帧内预测模式的成本函数值，并且将所计算出的其成本函数值提供了最小值的帧内预测模式选为最优帧内预测模式。帧内预测单元74将在最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。当在最优帧内预测模式中生成的预测图像被预测图像选择单元
1077选择时，帧内预测单元74将指示该最优帧内预测模式的信息提供给无损编码单元66。无损编码单元66对该信息编码，并且将其作为压缩图像中的头部信息的一部分。运动预测/补偿单元75针对作为候选的所有帧间预测模式执行运动预测和补偿处理。具体地，对于运动预测/补偿单元75，从画面排序缓冲器62读出的将经过帧内预测的图像被提供来，并且参考图像经由开关73从帧存储器72被提供来。运动预测/补偿单元 75基于将经过帧帧间处理的图像以及参考图像，检测作为候选的所有帧间预测模式的运动向量，基于运动向量对参考图像进行压缩处理，并生成预测图像。注意，运动预测/补偿单元75基于将经过帧间处理的图像以及参考图像来对B图片进行运动预测和补偿处理，并且基于直接模式生成预测图像。运动向量信息在直接模式中不被存储在压缩图像中。具体地，在解码侧，在对象块周围的运动向量信息或者参考图片中，从共位块(co-located block)的运动向量信息提取对象块的运动向量信息，共位块是具有与对象块相同坐标的块。因此，无需将运动向量信息发送给解码侧。该直接模式包括空间直接模式(Spatial Direct Mode)和时间直接模式 (Temporal Direct Mode)两种。空间直接模式是一种主要利用空间方向上(图片内的水平和垂直二维空间)的运动信息的相关性的模式，并且通常在图像包括运动速度不同的类似运动的情况中具有优点。另一方面，时间直接模式是一种主要利用时间方向上的运动信息的相关性的模式，并且通常在图像包括运动速度恒定的不同运动的情况中具有优点。具体地，即使在同一片段中，最优直接模式是空间直接模式还是时间直接模式对于每个对象块来说是不同的。因此，根据空间直接模式的运动向量信息以及根据空间和时间直接模式的运动向量信息由运动预测/补偿单元75计算出，并且由直接模式选择单元76 针对将被编码的对象块利用其运动向量信息来选出最优直接模式。运动预测/补偿单元75计算根据空间直接模式和时间直接模式的运动向量信息， 并且使用计算出的运动向量信息执行压缩处理并生成预测图像。此时，运动预测/补偿单元75将计算出的根据空间直接模式的运动向量信息和计算出的根据时间直接模式的运动向量信息输出给直接模式选择单元76。此外，运动预测/补偿单元75计算对于用作候选的所有帧间预测模式以及由直接模式选择单元76选择的直接模式的成本函数值。运动预测/补偿单元75将计算出的成本函数值中提供了最小值的预测模式确定为最优帧间预测模式。运动预测/补偿单元75将在最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。当在最优帧间预测模式中生成的预测图像被预测图像选择单元77选择时，运动预测/补偿单元75将指示该最优帧间预测模式的信息(帧间预测模式信息或直接模式信息)输出给无损编码单元66。注意，根据需要，运动向量信息、标志信息、参考信息等被输出给无损编码单元66。 无损编码单元66也对来自运动预测/补偿单元75的信息进行诸如可变长度编码、算术编码之类的无损编码处理，并且插入压缩图像的头部部分中。直接模式选择单元76使用来自运动预测/补偿单元75的根据空间直接模式和时间直接模式的运动向量信息来计算对应残余能量(预测误差)。此时，以预定位置关系与将被编码的对象块相邻的并被包括在经解码图像中的外围像素与运动向量信息一起被用来计算残余能量。直接模式选择单元76将根据空间直接模式和时间直接模式的两种残余能量相比较，选择具有较小残余能量的一个作为最优直接模式，并且将指示所选直接模式的类型的信息输出给运动预测/补偿单元75。预测图像选择单元77基于从帧内预测单元74或运动预测/补偿单元75输出的成本函数值来从最优帧内预测模式和最优帧间预测模式中确定最优预测模式。预测图像选择单元77然后选择所确定的最优预测模式中的预测图像，并提供给计算单元63和70。此时，预测图像选择单元77将预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元75。速率控制单元78基于累积在累积缓冲器67中的压缩图像来控制量化单元65的量化操作的速率，以使得不会出现上溢或下溢。H. 264/AVC系统的描述图2是描述根据H. ^4/AVC系统的运动预测和补偿中的块大小的示例的示图。在 H. 264/AVC系统中，运动预测和补偿处理在以块大小作为变量的情况下来执行。图2的上面一排按照从左边起的顺序示出了由16 X 16像素构成的宏块，该宏块被划分为16X16像素、16X8像素、8X16像素和8X8像素的分割。此外，图2的下面一排按照从左边起的顺序示出了 8X8像素分割，该分割被划分为8X8像素子分割、8X4像素子分割、4 X 8像素子分割和4 X 4像素子分割。具体地，在H. ^4/AVC系统中，一个宏块可被划分为16X 16像素、16X8像素、 8X16像素或8X8像素分割中的一种，其中每种分割具有独立的运动向量信息。此外，8X8 像素分割可被划分为8X8像素、8X4像素、4X8像素或4X4像素子分割中的一种，其中每种子分割具有独立的运动向量信息。图3是用于描述利用H. 264/AVC格式的1/4(四分之一)像素精度的预测/补偿处理的示图。在该H. 264/AVC格式中，1/4像素精度的预测/补偿处理利用6抽头FIR(有限冲激响应滤波器)滤波器来执行。在图3的示例中，位置A指示整数精度像素位置，位置b、c和d指示1/2像素精度位置，并且位置el、e2和e3指示1/4像素精度位置。首先，下面，Clip ()在以下的表达式 ⑴中被定义。[数学表达式1]
Γ 0;if(a<0)Clip 1(a) = ^ja; otherwise···(!)
、max—pix; if(a>max_pix)注意，当输入图像具有8比特精度时，max_pix的值为255。利用6抽头FIR滤波器如下面的表达式( 这样来生成位置b和d处的像素值。[数学表达式2]
权利要求
1.一种图像处理设备，包括空间模式残余能量计算装置，被配置为使用对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，所述外围像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；时间模式残余能量计算装置，被配置为使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述外围像素的时间模式残余能量；以及直接模式确定装置，被配置为在由所述空间模式残余能量计算装置计算出的所述空间模式残余能量等于或小于由所述时间模式残余能量计算装置计算出的所述时间模式残余能量的情况中，确定在所述空间直接模式中执行对所述对象块的编码，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行对所述对象块的编码。
2.根据权利要求1所述的图像处理设备，还包括编码装置，被配置为根据由所述直接模式确定装置确定的所述空间直接模式或所述时间直接模式来对所述对象块编码。
3.根据权利要求1所述的图像处理设备，其中，所述空间模式残余能量计算装置从Y信号分量、Cb信号分量和Cr信号分量来计算所述空间模式残余能量；并且其中，所述时间模式残余能量计算装置从Y信号分量、Cb信号分量和Cr信号分量来计算所述时间模式残余能量；并且其中，所述直接模式确定装置比较针对所述Y信号分量、所述Cb信号分量和所述 Cr信号分量的每个的所述空间模式残余能量与所述时间模式残余能量之间的大小关系，以判断所述对象块在所述空间直接模式中被编码还是所述对象块在所述时间直接模式中被编码。
4.根据权利要求1所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述空间模式残余能量；并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述时间模式残余能量。
5.根据权利要求1所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述空间模式残余能量；并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述时间模式残余能量。
6.根据权利要求1所述的图像处理设备，还包括空间模式运动向量计算装置，被配置为计算根据所述空间直接模式的运动向量信息；以及时间模式运动向量计算装置，被配置为计算根据所述时间直接模式的运动向量信息。
7.一种图像处理方法，包括以下步骤使得图像处理设备使用对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，所述外围像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述外围像素的时间模式残余能量；以及在所述空间模式残余能量等于或小于所述时间模式残余能量的情况中，确定在所述空间直接模式中执行对所述对象块的编码，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行对所述对象块的编码。
8.一种图像处理设备，包括空间模式残余能量计算装置，被配置为使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，所述外围像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；时间模式残余能量计算装置，被配置为使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述外围像素的时间模式残余能量；以及直接模式确定装置，被配置为在由所述空间模式残余能量计算装置计算出的所述空间模式残余能量等于或小于由所述时间模式残余能量计算装置计算出的所述时间模式残余能量的情况中，确定在所述空间直接模式中执行所述对象块的预测图像的生成，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行所述对象块的预测图像的生成。
9.根据权利要求8所述的图像处理设备，还包括 运动补偿装置，被配置为根据由所述直接模式确定装置确定的所述空间直接模式或所述时间直接模式来生成所述对象块的预测图像。
10.根据权利要求8所述的图像处理设备，其中，所述空间模式残余能量计算装置从Y 信号分量、Cb信号分量和Cr信号分量来计算所述空间模式残余能量；并且其中，所述时间模式残余能量计算装置从Y信号分量、Cb信号分量和Cr信号分量来计算所述时间模式残余能量；并且其中，所述直接模式确定装置比较针对所述Y信号分量、所述Cb信号分量和所述 Cr信号分量的每个的所述空间模式残余能量与所述时间模式残余能量之间的大小关系，以判断所述对象块的预测图像的生成在所述空间直接模式中被执行还是所述对象块的预测图像的生成在所述时间直接模式中被执行。
11.根据权利要求8所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述空间模式残余能量；并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量来计算所述时间模式残余能量。
12.根据权利要求8所述的图像处理设备，其中，所述空间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述空间模式残余能量；并且其中，所述时间模式残余能量计算装置从所述对象块的亮度信号分量和色差信号分量来计算所述时间模式残余能量。
13.根据权利要求8所述的图像处理设备，还包括空间模式运动向量计算装置，被配置为计算根据所述空间直接模式的运动向量信息；以及时间模式运动向量计算装置，被配置为计算根据所述时间直接模式的运动向量信息。
14. 一种图像处理方法，包括以下步骤 使得图像处理设备使用在直接模式中被编码的对象块的根据空间直接模式的运动向量信息来计算采用了外围像素的空间模式残余能量，所述外围像素以预定位置关系与所述对象块相邻并且还被包括在经解码图像中；使用所述对象块的根据时间直接模式的运动向量信息来计算采用了所述外围像素的时间模式残余能量；以及在所述空间模式残余能量等于或小于所述时间模式残余能量的情况中，确定在所述空间直接模式中执行所述对象块的预测图像的生成，并且在所述空间模式残余能量大于所述时间模式残余能量的情况中，确定在所述时间直接模式中执行所述对象块的预测图像的生成。
全文摘要
本发明涉及能够抑制压缩信息的增加并且还能够提高预测精度的图像处理设备和方法。SDM残余能量计算单元(91)和TDM残余能量计算单元(92)分别利用空间直接模式和时间直接模式中的运动向量信息、对象块的经编码外围像素组来计算残余能量。比较单元(93)将空间直接模式中的残余能量与时间直接模式中的残余能量相比较。直接模式确定单元(94)根据比较结果选择较小残余能量作为对象块的最优直接模式。该设备例如可以应用于利用H.264/AVC系统执行编码的图像编码设备。
文档编号H04N7/32GK102318347SQ20108000789
公开日2012年1月11日 申请日期2010年2月12日 优先权日2009年2月20日
发明者佐藤数史, 矢崎阳一 申请人:索尼公司