图像处理设备和方法

专利名称：图像处理设备和方法
技术领域：
本公开内容涉及ー种图像处理设备及其方法，更具体地，涉及能够减少帧内预测所需的存储量的图像处理设备及其方法。
背景技术：
在标准图像编码系统(诸如，ITU-T(国际电信联盟电信标准化部门)H. 264和MPEG4(运动图像专家组4)-AVC (高级视频编码))中，传统上采用了帧内预测(内预测)编码作为图片内预测编码。在ITU-T H. 264和MPEG4-AVC中的帧内预测中，使用在重构像素值当中与要处理的块相邻的相邻像素的像素值，其中重构像素值是在应用解块滤波器之前与要处理的块相 邻的块的像素数据。相应地，将每个帧内预测模式下的预测像素值和剩余成分相加，并且保存在解码块的右端处的ー个像素列和底端处的ー个像素行作为重构像素值，以对下一块进行帧内预測。这些重构像素值被保存在与在向其施加了解块滤波器之后的解码像素值的区域不同的区域中，其中解码像素值是完成了解码的像素数据。同时，提出了扩展在宏块的水平方向和垂直方向上的像素数量作为下一代图像编码标准的基本技术(例如，參见非专利文献I)。根据该提议，还提出了除了例如MEPG1、MPEG2、ITU-T H. 264或MEPG4-AVC中所指定的16X 16像素的宏块大小外，还使用例如32X32像素的宏块和64X64像素的宏块。另外，要编码和解码的图像的大小近来已年复一年地増大。引用列表非专利文献非专利文献I :Peisong Chenn, Yan Ye, Marta Karczewicz, “Video Coding UsingExtended Block Sizes，，，C0M16-C 123-E，Qualcomm Inc

发明内容
本发明要解决的问题然而，采用传统方法，由于为了处理宏块要保存的相邻重构像素的数量随着宏块的垂直方向上的像素的大小而增加，因此，保存相邻重构像素值所需的容量可能不利地增カロ。此外，由于需要保持与作为在要处理的宏块之上的一个宏块的宏块的一条线相对应的底部像素行作为相邻像素值，因此，图像的水平大小的増加可能不利地使保存相邻重构像素值所需的容量増加。例如，将需要对于彩色标准为4:2:0、8比特以及大小在水平方向上为4096个像素的渐进图像为6千字节以及对于考虑宏块自适应帧/场解码的交错图像为12千字节的存储区或线缓冲器(line buffer)0当在水平方向上的像素的数量为7680吋，将分别需要11. 5千字节和23千字节。鉴于这样的情况而实现了本公开内容，并且其目的在于以更小的存储量实现帧内预测。解决问题的技术方案本公开内容的一方面是ー种图像处理设备，包括采样单元，根据要被编码的图像在水平方向上的大小或者通过分割该图像所获得的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样；重构单元，通过使用采样单元采样的像素值来执行内插，以重构相邻像素；预测图像生成単元，通过使用重构单元重构的相邻像素来执行帧内预测，以生成预测图像；以及编码单元，通过使用预测图像生成単元生成的预测图像来对图像进行编码。图像处理设备还包括确定单元，确定是否执行使在帧内预测中要用作相邻像素 的像素值稀疏化的采样，其中采样单元可在确定单元确定执行采样时执行采样。确定单元可根据图像的内容或者在对图像编码时的图片类型来确定是否执行采样。图像处理设备还包括采样方法确定单元，当确定单元确定执行采样时，根据图像在水平方向上的大小或区域在垂直方向上的大小确定采样的方法，其中采样单元可通过采样方法确定单元确定的方法执行采样。采样方法确定单元可根据图像的内容确定采样的方法。采样方法确定单元可根据在对图像编码时的图片类型确定采样的方法。采样方法确定单元可确定内插的方法，并且重构单元可通过采样方法确定单元确定的内插方法来执行内插以重构相邻像素。采样单元可对图像被分割而成的每个区域中的最下像素行的一部分和最右像素列的一部分进行采样。采样单元可对图像被分割而成的每个区域中的最下像素行的一部分进行采样。图像处理设备还包括特征量提取单元，提取图像的特征量，其中确定单元可根据特征量提取单元提取作为图像的特征量的、图像在水平方向上的大小或者区域在垂直方向上的大小来确定是否执行采样。编码单元可传送预测图像生成単元生成的预测图像、通过对来自图像的每个区域的差异信息进行编码所获得的编码数据、以及表示采样单元是否执行采样的信息。编码单元可传送通过对差异信息进行编码所获得的编码数据以及表示采样单元执行的采样的方法的信息。本公开内容的一方面是ー种用于图像处理设备的图像处理方法，包括由采样单元根据要被编码的图像在水平方向上的大小或者图像被分割而成的矩阵中的区域在垂直方向上的大小，执行使在帧内预测中用作相邻像素的像素值稀疏化的采样；由重构单元通过使用采样后的像素值来执行内插，以重构相邻像素；由预测图像生成単元通过使用重构后的相邻像素来执行帧内预测，以生成预测图像；以及由编码单元通过使用所生成的预测图像来对图像进行编码。本公开内容的另一方面是ー种图像处理设备，包括解码单元，对通过对图像进行编码所获得的编码数据进行解码；采样单元，根据通过解码单元对编码数据进行解码所获得的图像在水平方向上的大小或者图像被分割而成的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样；重构单元，通过使用采样单元采样的像素值来执行内插，以重构相邻像素；以及预测图像生成単元，通过使用重构单元重构的相邻像素来执行帧内预测，以生成预测图像。图像处理设备还包括确定单元，确定是否执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样；以及采样方法确定单元，当确定单元确定执行采样时，根据图像在水平方向上的大小或区域在垂直方向上的大小确定采样的方法，其中采样单元可在确定单元确定执行采样时，通过采样方法确定单元确定的方法来执行采样。采样单元可对图像被分割而成的每个区域中的最下像素行的一部分和最右像素列的一部分进行采样。采样单元可对图像被分割而成的每个区域中的最下像素行的一部分进行采样。
解码单元可获取所传送的、通过对预测图像与图像的每个区域之间的差异信息进行编码所获得的编码数据以及表示采样单元是否执行采样的信息。解码单元可获取所传送的、通过对差异信息进行编码所获得的编码数据以及表示采样单元执行的采样方法的信息。本公开内容的一方面是ー种用于图像处理设备的图像处理方法，包括由解码单元对通过对图像进行编码所获得的编码数据进行解码；由采样单元根据通过解码单元对编码数据进行解码所获得的图像在水平方向上的大小或者图像被分割而成的区域在垂直方向上的大小，执行使在帧内预测中用作相邻像素的像素值稀疏化的采样；由重构单元通过使用采样后的像素值来执行内插，以重构相邻像素；以及由预测图像生成単元通过使用重构后的相邻像素来执行帧内预测，以生成预测图像。根据本公开内容的一方面，确定是否根据要被编码的图像在水平方向上的大小或者在图像被分割而成的矩阵中的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样；当确定执行采样时，对像素值进行采样；从存储采样后的像素值的存储单元读出采样后的像素值；执行内插以重构相邻像素；以及使用重构后的相邻像素执行帧内预测，以生成预测图像。根据本公开内容的另一方面，对通过对图像进行编码所获得的编码数据进行解码；根据通过对编码数据进行解码所获得的图像在水平方向上的大小或者图像被分割而成的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样；以及使用采样后的像素值执行内插以生成预测图像。本发明的效果根据本公开内容，可以执行对图像数据的编码或对编码后的图像数据的解码。特别地，可以减少帧内预测所需的存储量。


图I是示出图像编码设备的主要配置的示例的框图。图2是示出宏块的分割示例的图。图3是说明帧内4 X 4预测模式的图。
图4是说明帧内8 X 8预测模式的图。图5是说明帧内16 X 16预测模式的图·图6是说明关于色度分量的帧内预测模式的图。图7是说明处理宏块的顺序的图。图8是示出图I中的帧内预测单元的配置示例的框图。图9是说明采样方法的示例的图。图10是说明采样方法的另ー示例的图。图11是说明采样方法的又一示例的图。

图12是说明采样方法的又一示例的图。图13是说明编码处理的流程示例的流程图。图14是说明预测处理的流程示例的流程图。图15是说明帧内预测处理的流程示例的流程图。图16是说明重构像素存储处理的流程示例的流程图。图17是示出图像解码设备的主要配置的示例的框图。图18是示出图16中的帧内预测单元的主要配置的示例的框图。图19是说明解码处理的流程示例的流程图。图20是说明预测处理的流程示例的流程图。图21是说明帧内预测处理的流程示例的流程图。图22是示出宏块的其他示例的图。图23是示出个人计算机的主要配置的示例的框图。图24是示出电视机接收器的主要配置的示例的框图。图25是示出移动电话的主要配置的示例的框图。图26是示出硬盘记录器的主要配置的示例的框图。图27是示出摄像装置的主要配置的示例的框图。
具体实施例方式以下将描述用于实现本技术的模式(下文中，被称为实施例)。将按以下顺序进行描述I.第一实施例(图像编码设备)；2.第二实施例(图像解码设备)；3.第三实施例(个人计算机);4.第四实施例(电视机接收器)5.第五实施例(移动电话)；6.第六实施例(硬盘记录器)；以及7.第七实施例(摄像装置)。〈I.第一实施例>[图像编码设备]图I示出根据作为图像处理设备的图像编码设备的实施例的配置。图I中所示的图像编码设备100是以例如H. 264和MPEG (运动图像专家组)4部分10 (AVC (高级视频编码))(下文中，称为H. 264/AVC)格式对图像进行编码的编码设备。应注意，图像编码设备100通过预定方法对在帧内预测(帧内预测)中要使用的相邻像素进行采样(稀疏化)，并且存储采样后的相邻像素。然后，图像编码设备100根据预定方法对采样后的相邻像素进行内插，然后使用所内插的相邻像素来进行帧内预测。在图I的示例中，图像编码设备100包括A/D (模数)转换单元101、帧重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。图像编码设备100还包括逆量化单元108、逆正交变换单元109和计算单元110。图像编码设备100还包括解块滤波器111和帧存储器112。另外，图像编码设备100包括帧内预测单元114、运动预测/补偿单元115和选择单元116。此外，图像编码设备100还包括比率控制单元117。另外，图像编码设备100包括特征量提取单元121、采样执行确定单元122和采样方法确定单元123。
A/D转换单元101对输入图像数据进行A/D转换，将转换后的图像数据输出到并存储在帧重排缓冲器102中。帧重排缓冲器102根据GOP (图片组)结构将所存储的、具有按显示顺序的帧的图像重排成按编码顺序的帧。帧重排缓冲器102将具有重排后的帧的图像提供给计算単元103、帧内预测单元114和运动预测/补偿单元115。计算单元103从自帧重排缓冲器102读出的图像减去从选择单元116提供的预测图像，并将所得到的差异信息输出到正交变换单元104。在例如要经受帧内编码的图像的情况下，计算单元103将从帧内预测图像114提供的预测图像与从帧重排缓冲器102读出的图像相加。此外，在例如要经受帧间编码的图像的情况下，计算单元103将从运动预测/补偿单元115提供的预测图像与从帧重排缓冲器102读出的图像相加。正交变换单元104对来自计算单元103的差异信息执行正交变换(诸如，离散余弦变换和卡洛变换(Karhunen-Loeve transform)),并将其变换系数提供给量化单元105。量化単元105对正交变换单元104输出的变换系数进行量化。量化単元105将量化后的变换系数提供给无损编码单元106。无损编码单元106对量化后的变换系数执行无损编码(诸如，可变长编码和算木编码)。无损编码单元106从帧内预测单元114获取表示帧内预测的信息等并从运动预测/补偿单元115获取表示帧间预测模式的信息等。应注意，下文中还将表示帧内预测的信息称为帧内预测模式信息。此外，下文中还将表示指示帧间预测的信息模式的信息称为帧间预测模式信息。无损编码单元106对量化后的变化系数进行编码，并使得(多路复用)滤波器系数、帧内预测模式信息、帧间预测模式信息、量化參数等作为编码数据的报头信息的一部分。无损编码単元106将通过编码所获得的编码数据提供给累积缓冲器107并存储在累积缓冲器107 中。例如，在无损编码单元106中，执行诸如可变长编码或算术编码的无损编码。可变长编码的示例包括以H. 264/AVC格式定义的CAVLC (上下文自适应可变长编码)。算木编码的示例包括CABAC (上下文自适应ニ进制算术编码)。累积缓冲器107临时保存从无损编码单元106提供的编码数据，并在预定定时将编码数据作为以H. 264/AVC格式编码的编码图像输出到未示出的下游存储装置或下游传送通道。另外，量化単元105还将量化后的变换系数提供给逆量化単元108。逆量化単元108通过与量化単元105进行的量化对应的方法来对量化后的变换系数进行逆量化，并将所得到的变换系数提供给逆正交变换单元109。逆正交变换单元109通过与正交变换单元104进行的正交变换对应的方法来对所提供的变换系数执行逆正交变换。由逆正交变换产生的输出被提供给计算単元110。计算单元110将从选择单元116提供的预测图像与从逆正交变换单元109提供的逆正交变换结果(即，恢复后的差异信息)相加，以获得局部解码后的图像(解码图像)。当差异信息对应于例如要经受帧内编码的图像时，计算単元110将从帧内预测单元114提供的预测图像与差异信息相加。替选地，当差异信息对应于例如要经受帧间编码的图像时，计算単元110将从运动预测/补偿单元115提供的预测图像与差异信息相加。
相加结果被提供给解块滤波器111或帧内预测单元114。解块滤波器111通过按需要执行解块滤波来去除解码图像的块失真，并且通过按需要使用例如维纳(Wiener)滤波器执行环路滤波来改进图像质量。解块滤波器111将像素分类为各类别，并对每种类别执行适当滤波。解块滤波器111将滤波结果提供给帧存储器 112。帧存储器112在预定定时将存储在其中的參考图像输出到运动预测/补偿单元115。帧内预测单元114执行帧内预测(帧内预测)以通过使用帧内的像素值来生成预测图像。帧内预测单元114以多种模式(帧内预测模式)执行帧内预测。帧内预测模式包括基于从计算单元HO提供的局部解码图像生成预测图像的模式。应注意，局部解码图像是不经受解块滤波的图像。在以下描述中，将解块滤波前的局部解码图像的像素值称为重构像素值，以与经受解块滤波器111的解块滤波并存储在帧存储器112中的像素值区分。即，重构像素值存储在帧内预测单元114中。在帧内预测单元114中为了对另一宏块的预测处理而将重构像素值部分地用作相邻像素值。更具体地，将在以宏块为单位提供给帧内预测单元114的重构像素值当中的关于最下像素行和关于最右像素列的像素值用作相邻像素值。因此，帧内预测单元114保存以宏块为单位从计算单元110提供的重构像素值当中的关于最下像素行和关于最右像素列的像素值。帧内预测单元114对于具有一行或多行的宏块(一个或多个宏块行)以该方式存储ー些重构像素值。帧内预测单元114使用所存储的重构像素值作为相邻像素值，对后续的宏块执行帧内预测。应注意，与重构像素值相对比，经受了解块滤波器111的解块滤波且存储在帧存储器112中的局部解码图像的像素值被称为解码像素值。解码像素值作为參考图像被提供给运动预测/补偿单元115。帧内预测单元114在全部帧内预测模式下生成预测图像，评价预测图像，并选择最佳模式。在选择最佳帧内预测模式之后，帧内预测单元114将在最佳模式下所生成的预测图像经由选择单元116提供给计算単元103和计算单元110。
此外，如上所述，帧内预测单元114按需要将表示所采用的帧内预测模式的帧内预测模式信息等提供给无损编码单元106。运动预测/补偿单元115通过使用从帧重排缓冲器102提供的输入图像和从帧存储器112提供的參考图像(解码像素值)，针对要经受帧间编码的图像而计算运动矢量。运动预测/补偿单元115根据所算出的运动矢量执行运动补偿，以生成预测图像(帧间预测图像イM息)。运动预测/补偿单元115在全部候选帧间预测模式下执行帧间预測，以生成预测图像。运动预測/补偿单元115将所生成的预测图像经由选择单元116提供给计算単元103和计算单兀110。运动预測/补偿单元115将表示所采用的帧间预测模式的帧间预测模式信息和表示所算出的运动矢量的运动矢量信息提供给无损编码单元106。 选择单元116针对要经受帧内编码的图像而将帧内预测单元114的输出提供给计算单元103，并针对要经受帧间编码的图像而将运动预测/补偿单元115的输出提供给计算单元103。比率控制单元117基于累积缓冲器107中所累积的压缩图像而控制量化単元105的量化操作的比率，以不引起上溢或下溢。特征量提取单元121提取从A/D转换单元101输出的图像数据的特征量。例如，特征量提取单元121參考图像数据的报头信息并分析真实数据，以确定图像的水平大小或宏块的垂直大小中的至少ー个。特征量提取单元121提取的图像的特征的内容可以是任意内容。例如，特征量提取単元121可分析图像的内容(诸如，纹理图案或复杂度)并生成表示该内容的信息。替选地，例如，特征量提取单元121可确定图像的图片类型(I图片、P图片或B图片)或者扫描方法。不必说，特征量提取单元121可提取除了上述外的參数作为特征量，并且可提取多种类型的特征量。特征量提取单元121将所提取的特征量(表示图像的特征的信息)提供给采样执行确定单元122。采样执行确定单元122根据所提供的图像的特征，确定是否在存储前对帧内预测単元114要用作相邻像素值的重构像素值进行采样(稀疏化)，并且生成控制是否对重构像素值进行采样的控制信息。采样执行确定单元122将所生成的控制信息与图像的特征量(表示图像的特征的信息)一起提供给采样方法确定单元123。采样方法确定单元123基于控制信息确定是否执行采样，在要执行采样时确定用于采样的方法(采样方法)，并生成指定采样方法的控制信息。采样方法确定单元123将所生成的各种控制信息等与图像的特征量(表示图像的特征的信息)一起提供给帧内预测单元 114。帧内预测单元114根据从采样方法确定单元123提供的控制信息执行重构像素值的采样。[宏块]针对亮度分量，定义H. 264/AVC中对宏块中的系数数据的两种类型的块分割，即，如图2的A所示的以4 X 4像素(4 X 4块)为单位的块分割以及如图2的B所示的以8 X 8像素(8X8块)为单位的块分割。图2中所示的正方形表示块(4X4块或8X8块)，以及块中的数字表示宏块中的块扫描顺序。应注意，针对色度分量仅定义以4X4像素为单位的块分割。[帧内预测模式]在H. 264/AVC的帧内预测中，定义以4X4块、8X8块和宏块为单位的帧内预测方法。图3是说明作为以4 X 4块为单位的帧内预测的帧内4 X 4预测的预测模式的图。在这种情况下，针对要处理的4X4块，可将左像素、左上像素、上像素和右上像素这13个像素的相邻重构像素值用于帧内预测。图4是说明作为以8X8块为单位的帧内预测的帧内8X8预测的预测模式的图。 在这种情况下，针对要处理的8 X 8块，可将左像素、左上像素、上像素和右上像素这25个像素的相邻重构像素值用于帧内预测。应注意，在帧内8X8预测中，作为在根据相邻重构像素生成预测图像之前的处理，对每个像素执行平滑滤波。根据滤波之后的相邻重构像素计算预测图像的生成。图5示出作为以宏块为单位的帧内预测的帧内16X16预测的预测模式和用于预测的相邻重构像素。在这种情况下，针对16X 16块，可将左像素、左上像素、上像素和右上像素这33个像素的相邻重构像素值用于帧内预测。对于色度分量，以宏块为单位提供了预测模式，而与亮度分量无关。图6示出在色度格式为4:2:0时用于色度分量的帧内预测的相邻重构像素。在图4至图6中的每幅图中，由白色正方形表示的像素是要处理的宏块中要预测的像素。相反，由灰色正方形表示的图像是执行其帧内预测所需的相邻像素(重构像素)。即，帧内预测单元114需要存储图4至图6中以灰色呈现的像素值。因此，随着图像的水平大小或宏块大小増加，帧内预测单元114必须存储的重构像素值的数据量可能不利地増加。[宏块编码顺序]当以H. 264/AVC对交错图像编码时执行宏块自适应帧/场编码时，对宏块解码的顺序改变，这使保存所需的像素数量増加。例如，在除宏块自适应帧/场编码以外的编码中处理宏块的顺序是如图7的A所示的光栅扫描顺序。相反，在宏块自适应帧/场编码中处理深黑块的顺序是如图7的B所示的顺序。因此，在这种情况下，需要将两条线的像素值作为宏块对保存在存储区或线缓冲器中，以对在正下方的宏块对进行帧内预测。类似地，由于编码按宏块对进行，因此需要为ー个右端像素的像素值保存32 (其是该数量的两倍)个像素值。如上所述，帧内预测单元114必须处理的重构像素值的数据量还可能根据例如扫描方法(宏块处理顺序)不利地増加。而且，采样对解码图像的影响量会根据例如图像的内容(诸如有无边缘和纹理复杂度)以及图片类型而变化。因此，采样执行确定单元122根据图像的特征确定是否使帧内预测单元114执行对要存储的重构像素值的采样。例如，当要编码的图像在水平方向上的大小(水平大小)大于预定阈值吋，采样执行确定单元122确定执行对重构像素值的采样，以抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。另ー方面，当图像的水平大小等于或小于预定阈值吋，采样执行确定单元122确定执行对重构像素值的采样以抑制不必要的图像质量劣化，并且生成表示确定结果的控制信息。此外，例如，当宏块在垂直方向上的大小(垂直方向上的宏块大小)大于预定阈值(在例如扩展宏块的情况下)时，采样执行确定单元122确定对重构像素值的采样，以抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。另一方面，当垂直方向上的宏块大小等于或小于预定阈值时(在16X16个像素或更小的宏块的情况下)，采样执行确定单元122确定不执行对重构像素值的采样，以抑制不必要的图像质量劣化，并且生成表示确定结果的控制信息。另外，当宏块的处理顺序例如不是光栅扫描顺序时，采样执行确定单元122确定 执行对重构像素值的采样以抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。另ー方面，当宏块的处理顺序是光栅扫描顺序吋，采样执行确定单元122确定不执行对重构像素值的采样以抑制不必要的图像质量劣化，并且生成表示确定结果的控制信息。另外，当包括在图像中的边缘分量、纹理复杂度、纹理的改变频率等等于或超过例如预定水平吋，采样执行确定单元122确定执行对重构像素值的采样以抑制要由帧内预测単元114存储的数据量的増加，并且生成表示确定结果的控制信息。另ー方面，当多个边缘分量包括在图像中、纹理较复杂或者纹理的改变频率高于预定水平吋，采样执行确定单元122确定不执行对重构像素值的采样以抑制不必要的图像质量劣化，并且生成表示确定结果的控制信息。另外，当图片类型例如是P图片或B图片时，采样对解码图像的视觉影响相对小，因此，采样执行确定单元122确定执行对重构像素值的采样，以抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。另ー方面，当图片类型是I图片吋，采样对解码图像的视觉影响相对大，因此，采样执行确定单元122确定不执行对重构像素值的采样，并且生成表示确定结果的控制信息。不必说，采样执行确定单元122可根据除上述之外的准则确定是否执行采样。类似地，采样方法确定单元123根据图像的特征来确定帧内预测单元114以多少比率对要存储的重构像素值进行采样。例如，当要编码的图像在水平方向上的大小(水平大小)较大时，采样方法确定单元123确定減少要采样的像素数量(増加要稀疏化的像素数量)以更大程度地抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。此外，例如，当宏块在垂直方向上的大小(垂直方向上的宏块大小)较大时，采样方法确定单元123确定減少要采样的像素数量(増加要稀疏化的像素数量)以更大程度地抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。另外，当宏块的处理顺序不是例如光栅扫描顺序时，采样方法确定单元123确定減少要采样的像素数量(増加要稀疏化的像素数量)以更大程度地抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。另ー方面，当宏块的处理顺序是光栅扫描顺序时，采样方法确定单元123确定增加要采样的像素数量(減少要稀疏化的像素数量)以尽可能地抑制不必要的图像质量劣化，并且生成表示确定结果的控制信息。另外，例如，当包括在图像中的边缘分量的数量较大时，当纹理较复杂时，或者当纹理的改变频率较高时，采样方法确定单元123确定減少要采样的像素数量(増加要稀疏化的像素数量)以更大程度地抑制要由帧内预测单元114存储的数据量的増加，并且生成表示确定结果的控制信息。另外，当图片类型例如是P图片或B图片时，采样对解码图像的视觉影响相对小，因此，采样方法确定单元123确定減少要采样的像素数量(増加要稀疏化的像素数量)，并且生成表示确定结果的控制信息。另ー方面，当图片类型是I图片时，采样对解码图像的视觉影响相对大，并且采样方法确定单元123确定增加要采样的像素数量(減少要稀疏化的像素数量)以尽可能地抑制不必要的图像质量劣化，而且生成表示确定结果的控制信息。不必说，采样方法确定单元123可根据除了上述之外的准则确定采样比率。 应注意，除了采样方法(稀疏化的程度)外，采样方法确定单元123还确定采样后的重构像素值(相邻像素值)的内插方法(方式)，生成表示内插方法的控制信息，并且将控制信息提供给帧内预测单元114。帧内预测单元114在内插稀疏化后的像素值之后使用采样后的重构像素值。任何方法都可用作内插方法。采样方法确定单元123根据例如图像的内容或者设备的呑吐量来确定内插方法。[帧内预测单元的配置]图8是示出图I中的帧内预测单元114的主要配置的示例的框图。如图8所示，帧内预测单元114包括采样单元151、重构像素存储单元152、相邻像素重构单元153以及预测图像生成単元154。帧内预测单元114还包括成本函数计算单元155和模式确定单元156。采样单元151获取从采样方法确定单元123提供的表示是否执行采样的控制信息以及表示采样方法的控制信息，并且根据控制信息对在从计算单元110提供的重构像素值当中作为相邻像素要用于处理后续宏块的像素值执行采样(稀疏化)。采样单元151将基于控制信息所采样的重构像素值(在通过采样単元151稀疏化之后剰余的重构像素值)或者不是基于控制信息采样的重构像素值提供给重构像素存储单元152。重构像素存储单元152存储从采样单元151提供的重构像素值。相邻像素重构单元153从重构像素存储单元152读出要处理的宏块的相邻像素的像素值。当所读取的像素值是经采样单元151采样后的像素值时，相邻像素重构单元153通过由从采样方法确定单元123提供的控制信息指定的内插方法对所读取的像素值执行内插，以恢复稀疏化后的像素值。相邻像素重构单元153在必要时将这样内插的相邻像素值提供给预测图像生成单元154。预测图像生成単元154通过使用所提供的相邻像素值来生成要处理的宏块的预测图像，并且将预测图像提供给成本函数计算单元155。预测图像生成単元154在全部帧内预测模式下生成预测图像。相邻像素重构单元153在必要时从重构像素存储单元152读出重构像素，并将重构像素作为相邻像素值提供给预测图像生成単元154。
成本函数计算单元155针对预测图像生成単元154生成的预测图像，对于4X4像素、8X8像素和16X 16像素的各个预测模式来计算成本函数值。应注意，成本函数值基于高复杂度模式或低复杂度模式任一的技木。在作为參考软件的JM (联合模型)中以H. 264/AVC格式定义这些模式。成本函数计算单元155将如上所述所算出的成本函数值提供给模式确定单元156。模式确定单元156基于所提供的成本函数值选择最佳帧内预测模式。具体地，在帧内预测模式当中选择成本函数值最小的模式作为最佳帧内预测模式。模式确定单元156在必要时将被选择作为最佳帧内预测模式的预测模式下的预测图像经由选择单元116提供给计算単元103和计算单元110。另外，模式确定单元156在必要时将预测模式的信息提供给无损编码单元106。[采样的示例和内插的示例]
接下来，将描述采样方法和内插方法的示例。在提供给帧内预测单元114的每个宏块的重构像素当中被用作用于针对后续宏块而生成预测图像的相邻像素的像素是宏块的最下像素行和最右像素列。采样方法的第一示例是以每两个像素I个像素的比率使宏块的最下像素行和最右像素列稀疏化(每隔ー个像素进行采样)的方法。图9示出了将通过第一示例的方法采样的重构像素用作相邻像素的示例。图9中所示的白色正方形表示宏块被分割而成的块。也就是说，每个正方形表示块，而正方形群的外框表不要处理的宏块。正方形中的数字表不宏块内的处理顺序(块号)。灰色正方形表不为了预测首先要处理的具有块号O的块而要使用的相邻像素的示例。相邻像素是根据上述的第一示例的方法来采样的。图9的A示出在帧内4X4预测模式下对要处理的宏块(亮度分量)进行帧内预测的示例。图9的B示出在帧内8X8预测模式下对要处理的宏块(亮度分量)进行帧内预测的示例。图9的C示出在帧内16X16预测模式下对要处理的宏块(亮度分量)进行帧内预测的示例。图9的D示出对要处理的宏块(色度分量的Cb)进行帧内预测的示例。如图9所示，要帧内预测的宏块的水平方向被表示为X轴，其垂直方向被表示为y轴，以及宏块的左上端点被表示为原点。可以如在以下等式(I)至(4)中那样表示在对第一块的帧内预测中要用作相邻像素的、被保存而未被稀疏化的重构像素的位置P (X，y)。应注意，等式(I)对应于图9的A，等式(2)对应于图9的B，等式(3)对应于图9的C，以及等式
(4)对应于图9的D。P (2n-l, —I) n=0. . 4, p (_1，2m-1) m=0. . 2. . . (I)p (2n-l, —I) n=0. . 8, p (—1，2m-1) m=0. . 4. . . (2)p (2n-l, —I) n=0. . 8, p (—1，2m-1) m=0. . 8. . . (3)p (2n-l, —I) n=0. . 4, p (—1，2m-1) m=0. . 4. . . (4)具体地，在对第一块的帧内预测中，相邻像素重构单元153根据帧内预测模式从重构像素存储单元152读出由如上所述的等式(I)至(4)之一表示的位置处的重构像素作为相邻像素。相邻像素重构单元153通过例如由以下等式(5)至(8)表示的方法，对所读取的相邻像素执行内插。
对于x=2n, n=0, 1,2..,p，(x, -l) = {p (x-1, -I)+p (x+1, -I)}/2. . . (5)否则，p，(X，-I) =P (X，-I). . . (6)对于y=2n, n=0, 1，2. ·， p’ (-1, y) = {p (-1, y-l)+p (-1, y+l)}/2. . . (7)否则，p，(-1, y) =p (—1，y). . . (8)应注意，由以下等式(9)至(12)表示的方法还可以当作内插方法的另ー示例。采用这样的方法，減少了计算量，并且降低了内插处理负荷。对于x=2n, n=0, 1,2..,p' (x, -I) =ρ (χ-1, -I). . . (9)否则，ρ’(X，-1)=ρ(χ,-I). · · (10)对于y=2n, η=0, 1，2· ·，ρ’ (-1, y) = {p (-1, y-1). . . (11)否则，ρ，(-1, y) =ρ (-1，y) · · · (12)不必说，可使用除了上述外的内插，只要该方法是由采样方法确定单元123确定的即可。应注意，在宏块内，为了预测后续块而将每个块的帧内预测结果当中的最下像素行和最右像素列用作相邻像素。例如，在具有块号O的块的预测结果当中的最下像素行在对具有块号2的块的帧内预测中被用作相邻像素。此外，在具有块号O的块的预测结果当中的最右像素列在对例如具有块号I的块的帧内预测中被用作相邻像素。然而，由于这些像素值的数量小且这些像素被保存的时间短(仅在处理宏块期间)，因此，采样単元151不对这些像素进行采样(稀疏化)。采样方法的第二示例是以每两个像素I个像素的比率仅对宏块的最下像素行进行稀疏化(每隔ー个像素进行采样)的方法。图10中示出了将通过第二示例的方法采样的重构像素用作相邻像素并且在帧内4X4预测模式下对要处理的宏块(亮度分量)进行帧内预测的示例。在这种情况下，可以如在以下等式(13)中那样表示在对第一块的帧内预测中要用作相邻像素的、被保存而未被稀疏化的重构像素的位置P (X，y)。ρ (2n-l, -I) n=0. . 4, ρ (_1，m_l) m=0. . 4. . . (13)在对具有块号O的块的帧内预测中，使用如图10的A中所示的位置处的相邻像素。在这种情况下，如图10的A中所示，与要处理的块(具有块号O的块)的左边相邻的、布置在垂直方向上的相邻像素是相邻宏块的重构像素，其在图9的示例中被稀疏化而该示例中未被稀疏化。因此，相邻像素重构单元153仅需要对上部相邻像素进行内插。在终止对具有块号O的块的预测之后，接下来执行对块号I的帧内预测，如图10的B中所示。
在对具有块号I的块的帧内预测中，使用在如图10的B中所示的位置处的相邻像素。如图10的B中所示，不对具有块号O的块的预测结果进行稀疏化。因此，相邻像素重构单元153仅需要内插上部相邻像素。在终止对具有块号I的块的预测之后，接下来执行块号2的帧内预测，如图10的C所示。在具有块号2的块的帧内预测中，使用如图10的C中所示的位置处的相邻像素。具体地，由于将具有块号O的块的预测结果的最下行和具有块号I的块的预测结果的最下像素行用作相邻像素，因此，不对这些像素进行稀疏化。另外，类似于图10的A中的情況，不对与要处理的块(具有块号2的块)的左边相邻的、布置在垂直方向上的相邻像素进行稀疏化。因此，相邻像素重构单元153不执行对相邻像素的内插。图10中的D和图10中的E分别示出块号4的帧内预测的情况和块号5的帧内预 测的情况。在这些情况下，由于相邻像素的位置与在图10中的A的情况和图10中的B的情况下的位置相同，因此，相邻像素重构单元153仅需要内插上部相邻像素。图11是示出在帧内8X8预测模式下的帧内预测的情况的图。在如图11的A中所示那样执行对具有块号O的块的预测之后，如图11的B中所示那样执行对具有块号I的块的预测，然后如图11的C中所示那样执行对具有块号2的块的预测，并且最終，如图11的D中所示那样执行对具有块号3的块的预測。在这种情况下，如图11的A和图11的B所示，相邻像素重构单元153在块号O和块号I的预测中仅内插上部相邻像素。相反，如图11的C和图11的D所示，相邻像素重构単元153在块号2和块号3的预测中不执行相邻像素的内插。采用该方法，图像编码设备100可以减少存储区或线缓冲器的容量以保存宏块的最下面的一条线，并且还通过保存数量与用于其他像素的传统方法相同的相邻重构像素来抑制图像质量的劣化。采样方法的第三示例是以每四个像素三个像素的比率仅对宏块的最下像素行进行稀疏化(每隔四个像素进行采样)的方法。图12中示出了使用通过第三示例的方法采样的重构像素的示例。图12的A示出在帧内4X4预测模式下对要处理的宏块(亮度分量)进行帧内预测的示例。图12的B示出在帧内8X8预测模式下对要处理的宏块(亮度分量)进行帧内预测的示例。图12的C示出在帧内16X16预测模式下对要处理的宏块(亮度分量)进行帧内预测的示例。如图12所示，可以如以下等式(14)至(17)中ー样表示在对第一块的帧内预测中要用作相邻像素的、被保存但未被稀疏化的重构像素的位置P (X，y)。注意，等式(14)对应于图12的A，等式(15)对应于图12的B，以及等式(16)对应于图12的C。ρ (4η_1, _1)η=0· · 2，ρ (-1，4m_l)m=0，I. · · (14)ρ (4n-l, -I) n=0. . 4, p (—1，4m-1) m=0. . 2. . . (15)p (4n_l, _l)n=0. · 4，p (-1，4m-l)m=0. · 4. · · (16)p (4n_l, _l)n=0. · 2，p (-1，4m-l)m=0. · 2. · · (17)在这种情况下，相邻像素重构单元153如由例如以下等式(18)至(25)表示的那样内插稀疏化后的相邻像素。
对于x=4n, n=0, I, 2· ·，p’(X，-1) = {ρ (χ-1, -I) X 3+ρ (χ+3, _1)}/4· . . (18)对于χ=4η+1, η=0, I, 2· ·，ρ，(X，-I) = {ρ (χ_2,-I)+ρ (χ+2,-I)}/2. · · (19)对于χ=4η+2, η=0, I, 2· ·，ρ，(X，-I) = {ρ (χ_3,-I)+ρ (χ+1,-I) X 3}/2. · · (20)否则，
ρ’(X，-I) =ρ (X，-I). . . (21)对于y=4n, η=0, 1，2· ·，ρ’ (-1, y) = {ρ (—1，y-1) X 3+ρ (—1，y+3) }/4. . . (22)对于y=4n+l, η=0, 1,2··，ρ’ (-1，y) = {p(-l, y-2)+p(_l, _y+2)}/2. · · (23)对于y=4n+2, n=0, 1,2..,p’ (-1, y) = {p (—1，y_3) +p (—1，y+1) X 3} /4. · · (24)否则，p，(-1, y) =p (-1，y). . . (25)根据该方法，由于稀疏化后的像素的量大但可以极大地减小保存相邻像素所需的存储区或线缓冲器的容量，因此，相比于上述方法，可降低编码效率。如上所述，仅当存储在重构像素存储单元152中的重构像素被稀疏化时，相邻像素重构单元153才通过适当的方法内插相邻像素。因此，预测图像生成単元154可以适当地生成预测图像，无论使用哪种方法来对重构像素进行采样。[编码处理]接下来，将描述由如上所述的图像编码设备100执行的处理的流程。首先，将參照图13的流程图描述编码处理的流程示例。在步骤SlOl中，A/D转换单元101对输入图像进行A/D转换。在步骤S102中，特征量提取単元121提取A/D转换后的图像的特征量。在步骤S103中，采样执行単元122基于被提取作为图像的特征量的、图像的水平大小和垂直方向上的宏块大小中的至少ー个来确定是否执行重构像素值的采样。在步骤S104中，如果在步骤S103中确定执行采样，则采样方法确定单元123基于被提取作为图像的特征量的、图像的水平大小和垂直方向上的宏块大小中的至少ー个来确定其采样方法。在步骤S105中，帧重排缓冲器102存储从A/D转换单元101提供的图像，并且将图片从显示顺序重排成编码顺序。在步骤S106中，帧内预测单元114和运动预测/补偿单元115中的每个执行图像的预测。具体地，在步骤S106中，帧内预测单元114以帧内预测模式执行帧内预测处理。运动预测/补偿单元115以帧间预测模式执行运动预测/补偿处理。在步骤S107中，选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的成本函数值来确定最佳预测模式。具体地，选择单元116选择帧内预测单元114生成的预测图像和运动预测/补偿单元115生成的预测图像中的任ー个。
然后，将预测图像的选择信息提供给帧内预测单元114或运动预测/补偿单元115。当选择最佳帧内预测模式下的预测图像时，帧内预测单元114将表示最佳帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元106。注意，当要在帧内预测中执行重构像素的采样时，帧内预测单元114将包含要执行采样的通知以及采样方法和内插方法的指定的信息提供给无损编码单元106。当选择最佳帧间预测模式下的预测图像时，运动预测/补偿单元115在必要时将表示最佳帧间预测模式的信息和根据最佳帧间预测模式的信息输出到无损编码单元106。根据最佳帧间预测模式的信息的示例包括运动矢量信息、标志信息和參考帧信息。在步骤S108中，计算单元103计算在步骤S105中通过重排获得的图像与在步骤S106中通过预测处理获得的预测图像之间的差。在任ー情况下，经由选择单元116，在执行帧间预测时将预测图像从运动预测/补偿单元115提供给计算単元103，或者在执行帧内预测时将预测图像从帧内预测单元114提供给计算単元103。
与原始图像数据的数据量相比，差异数据的数据量減少。因此，与在没有任何改变的情况下对图像编码的情况相比，可以压缩数据量。在步骤S109中，正交变换单元104对从计算单元103提供的差异信息执行正交变换。具体地，执行诸如离散余弦变换或卡洛变换的正交变换，并且输出变换系数。在步骤SllO中，量化単元105对变换系数进行量化。在步骤Slll中，无损编码单元106对从量化単元105输出的量化后的变换系数进行编码。具体地，对差异图像(在帧间的情况下为第二差异图像)执行诸如可变长编码或算术编码的无损编码。注意，无损编码单元106对与在步骤S104的处理中选择的预测图像的预测模式相关的信息进行编码，并且将编码后的信息添加到通过对差异图像进行编码获得的编码数据的报头信息。也就是说，无损编码单元106还对从帧内预测单元114提供的帧内预测模式信息或从运动预测/补偿单元115提供的根据最佳帧间预测模式的信息进行编码，并且将编码后的信息添加到报头信息。另外，当从帧内预测单元114提供要执行采样的通知、采样方法和内插方法的指定等时，无损编码单元106还将这样的信息添加到编码数据的报头信息
坐寸ο在步骤SI 12中，累积缓冲器107累积从无损编码单元106输出的编码数据。在适当时读出累积在累积缓冲器107中的编码数据，并且将其经由传送通道传送到解码侧。在步骤S113中，比率控制单元117基于累积在累积缓冲器107中的压缩图像来控制量化单元105的量化比率，以不引起上溢或下溢。另外，如下对在步骤SllO的处理中量化的差异信息进行局部解码。具体地，在步骤S114中，逆量化単元108利用与量化単元105的特性对应的特性，对量化単元105量化后的变换系数进行逆量化。在步骤S115中，逆正交变换单元109利用与正交变换单元104的特性对应的特性，对逆量化単元108逆量化后的变换系数执行逆正交变换。在步骤S116中，计算单元110将经由选择单元116输入的预测图像与局部解码后的差异信息相加，以生成作为局部解码图像(与计算单元103的输入对应的图像)的重构像素。
在步骤S117中，帧内预测单元114存储在步骤S116中生成的重构像素。在步骤S118中，解块滤波器111对从计算单元110输出的图像进行滤波。結果，去除了块失真。在步骤S119中，帧存储器112存储滤波后的图像。[预测处理]接下来，将參照图14的流程图描述在图13的步骤S106中执行的预测处理的流程示例。在步骤S131中，帧内预测单元114以所有候选帧内预测模式对要处理的块的像素进行帧内预测。当从帧重排缓冲器102提供的要处理的图像是要进行帧间处理的图像吋，从帧存储器112读出要參考的图像，并且将其提供给运动预测/补偿单元115。在步骤S132中，运动预测/补偿单元115基于这些图像执行帧间运动预测处理。具体地，运动预测/补偿单 元115參考从帧存储器112提供的图像，并且以所有候选帧间预测模式执行运动预测处理。在步骤S133中，运动预测/补偿单元115将提供在步骤S132中算出的帧间预测模式的成本函数值当中的最小成本函数值的预测模式确定为最佳帧间预测模式。然后，运动预测/补偿单元115将在要进行帧间处理的图像与以最佳帧间预测模式生成的第二差异信息之间的差以及最佳帧间预测模式的成本函数值提供给选择単元116。[帧内预测处理]图15是说明在图14的步骤S131中执行的帧内预测处理的流程示例的流程图。当开始帧内预测处理时，相邻像素重构单元153在步骤S151中根据采样方法确定单元123的指定而确定内插方法。在步骤S152中，预测图像生成单元154从未处理的预测模式中选择要执行的预测模式。在步骤S153中，相邻像素重构单元153根据在步骤S152中选择的预测模式从重构像素存储单元152读出相邻像素。在步骤S154中，相邻像素重构单元153在必要时对所读取的相邻像素执行内插处理，以重构要用于预测的相邻像素。在步骤S155中，预测图像生成単元154通过使用在步骤S154中重构的相邻像素来生成预测图像。在步骤S156中，预测图像生成単元154确定是否在所有预测模式下都生成了预测图像，并且如果确定存在没有生成预测图像的预测模式，则处理返回到步骤S152并且重复后续的处理。也就是说，作为重复从步骤S152至步骤S156的处理的結果，预测图像生成単元154以所有预测模式生成预测图像。如果在步骤S156中确定生成了所有预测模式下的预测图像，则预测图像生成単元154使处理进行到步骤S157。在步骤S157中，成本函数计算单元155计算关于各个预测模式的成本函数值。在步骤S158中，模式确定单元156基于在步骤S157的处理中算出的各个模式的成本函数值，确定各帧内预测模式中的最佳模式。在步骤S159中，模式确定单元156基于在步骤S157的处理中算出的各个模式的成本函数值，选择最佳帧内预测模式。模式确定单元156将在被选择作为最佳帧内预测模式的模式下生成的预测图像提供给计算単元103和计算单元110。模式确定单元156还将表示所选择的预测模式的信息、要执行采样的通知、采样方法和内插方法的指定等提供给无损编码单元106。
在步骤S159中的处理终止之后，帧内预测单元114将处理返回到图14并且执行步骤S132和后续的步骤中的处理。[重构像素存储处理]接下来，将參照图16的流程图描述在图13的步骤S117中执行的重构像素存储处理的流程示例。当开始重构像素存储处理时，采样单元151在步骤S171中基于从采样方法确定单元123提供的通知，确定是否对要存储在重构像素存储单元152中的重构像素执行采样。如果确定执行采样，则采样单元151使处理进行到步骤S172。在步骤S172中，采样单元151基于从采样方法确定单元123提供的通知，确定对于重构像素的采样方法。在步骤S173中，采样单元151对宏块的重构像素当中的、每个所提供的宏块的右端和底部的像素进行采样。 在步骤S174中，重构像素存储单元152存储在步骤S173中所采样的重构像素(在稀疏化之后的剩余重构像素)。在步骤S174中的处理终止之后，帧内预测单元114终止重构像素存储处理，将处理返回到图13中的步骤S117并且使处理进行到步骤S118。如果在图16的步骤S171中确定不执行采样，则采样单元151使处理进行到步骤S175。在步骤S175中，重构像素存储单元152存储宏块的重构像素当中的、每个所提供的宏块的右端和底部的所有像素。在步骤S175中的处理终止之后，帧内预测单元114终止重构像素存储处理，将处理返回到图13中的步骤S117并且使处理进行到步骤S118。如上所述，图像编码设备100可以通过对要用于帧内预测的重构像素进行采样来以较小存储量实现帧内预测。結果，图像编码设备100可以实现较小尺寸的设备以及成本和功耗的减小。注意，上述块的大小仅是示例性的，并且大小可以是除上述大小之外的大小。另夕卜，尽管要执行采样的通知、采样方法和内插方法的指定等如上所述被复用到编码数据的报头信息作为用于传送这样的信息的方法，但是该信息可存储在任何地方。例如，信息可存储在诸如SEI (补充增强信息)的參数集(例如，序列或图片的报头)中。替选地，信息可与编码数据分开(作为单独文件)从图像编码设备传送到图像解码设备。注意，可以以任意处理单位来执行对是否执行采样的控制和对其方法的控制等。例如，控制可以以图片为单位或者以序列为单位来执行。不必说，控制可以以除这些单位之外的处理单位来执行。〈2.第二实施例>[图像解码设备]由在第一实施例中描述的图像编码设备100编码的编码数据经由预定的传送通道传送到与图像编码设备100相关联的图像解码设备并被解码。以下将描述图像解码设备。图17是示出图像解码设备的主要配置的示例的框图。如图17所示，图像解码设备200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、解块滤波器206、帧重排缓冲器207和D/A转换单元208。另外，图像解码设备200还包括帧存储器209、帧内预测单元211、运动预测/补偿单元212和选择单元213。累积缓冲器201累积所传送的编码数据。编码数据是图像编码设备100所编码的数据。无损解码单元202以与图I中的无损编码单元106的编码方法对应的方法，在预定定时对从累积缓冲器201读出的编码数据进行解码。逆量化単元203以与图I中的量化単元105的量化方法对应的方法，对通过无损解码单元202的解码所获得的系数数据进行逆量化。逆量化単元203将逆量化后的系数数据提供给逆正交变换单元204。逆正交变换单元204以与图I中的正交变换单元104的正交变换方法对应的方法，对系数数据执行逆正交变换，以获得与在图像编码设备100中执行正交变换之前的剰余数据对应的解码剩余数据。通过执行逆正交变换所获得的解码剩余数据被提供给计算単元205。另外，预测图像还经由选择单元213从帧内预测单元211或运动预测/补偿单元212被提供给计算単元205。计算单元205将解码剰余数据和预测图像相加，以获得与图像编码设备100的计 算单元103减去预测图像之前的图像数据对应的解码图像数据。计算单元205将解码图像数据提供给帧内预测单元211和解块滤波器206。解块滤波器206去除解码图像的块失真并且然后将解码图像提供给并累积在帧存储器209中，并且还将解码图像提供给帧重排缓冲器207。帧重排缓冲器207执行图像的重排。具体地，由图I的帧重排缓冲器102以编码顺序重排的帧被以原始显示顺序来重排。D/A转换单元208对从帧重排缓冲器207提供的图像进行D/A转换，将转换后的图像输出到未示出的显示器，并且在其上显示该图像。通过对报头信息进行解码所获得的表示帧内预测模式的信息、要执行采样的通知、采样方法和内插方法的指定等在适当时从无损解码单元202提供给帧内预测单元211。帧内预测单元211基于这样的信息，在必要时执行相邻像素的内插，生成预测图像并且将所生成的预测图像提供给选择単元213。运动预测/补偿单元212获得通过对来自无损解码单元202的报头信息进行解码而获得的信息(预测模式信息、运动矢量信息、參考帧信息)。当提供表示帧间预测模式的信息时，运动预测/补偿单元212基于来自无损解码单元202的帧间运动矢量信息而从帧存储器209获得參考帧，通过使用參考图像和运动矢量信息生成预测图像，并且将所生成的预测图像提供给选择単元213。 选择单元213选择运动预测/补偿单元212或帧内预测单元211生成的预测图像，并且将所选择的预测图像提供给计算単元205。[帧内预测单元]图18是示出图17中的帧内预测单元211的主要配置的示例的框图。如图18所示，帧内预测单元211包括控制单元231、采样单元232、重构像素存储单元233、相邻像素重构单元234和预测图像生成单元235。控制单元231基于从无损解码单元202提供的预测模式、要执行采样的通知、采样方法和内插方法的指定等，控制从采样单元232到预测图像生成単元235的各个单元，并且与图像编码设备100的帧内预测单元114的情况类似地执行重构像素的采样和内插。采样单元232具有与采样单元151基本上相同的配置并且执行基本上相同的处理。也就是说，采样单元232根据控制单元231的控制，在必要时对从计算单元205提供的重构像素执行采样，并且将所采样的重构像素值(在采样单元232进行稀疏化之后剰余的重构像素值)或者不是基于控制信息所采样的重构像素值提供给重构像素存储单元233。重构像素存储单元233具有与重构像素存储单元152基本上相同的配置并且执行基本上相同的处理。也就是说，重构像素存储单元233由控制单元231控制并且存储从采样单元232提供的重构像素值。相邻像素重构单元234具有与相邻像素重构单元153基本上相同的配置并且执行基本上相同的处理。也就是说，相邻像素重构单元234由控制单元231控制，并且从重构像素存储单元233读出要处理的宏块的相邻像素的像素值。当所读取的像素值是采样单元232采样的像素值时，相邻像素重构单元234以经由控制单元231提供的控制信息指定的内插方法对所读取的像素值执行内插，以恢复稀疏化后的像素值。相邻像素重构单元234在必要时将如此内插的相邻像素值提供给预测图像生成単元235。预测图像生成単元235具有与预测图像生成単元154基本上相同的配置并且执行基本上相同的处理。也就是说，预测图像生成単元235由控制单元231控制，通过使用从相 邻像素重构单元234提供的相邻像素值来生成要处理的宏块的预测图像，并且将预测图像提供给计算単元205。预测图像生成単元235以此方式以所有帧内预测模式生成预测图像。相邻像素重构单元234在必要时从重构像素存储单元233读出重构像素，并且将所读取的重构像素作为相邻像素值提供给预测图像生成単元235。因此，与图像编码设备100的帧内预测单元114执行的帧内预测类似的帧内预测也由图像解码设备200的帧内预测单元211来执行，并且与帧内预测单元114的情况类似地，帧内预测单元211在必要时对在帧内预测中要用作相邻像素的重构像素执行采样(稀疏化)。在该处理中，图像解码设备200的帧内预测单元211基于从图像编码设备100提供的信息(诸如要执行采样的通知以及采样方法和内插方法的指定)，执行与在图像编码设备100中执行的采样和内插类似的采样和内插。結果，图像解码设备200可以减少帧内预测所需的存储量。[解码处理]接下来，将描述由如上所述的图像解码设备200执行的处理的流程。首先，将參照图19的流程图描述解码处理的流程示例。当解码处理开始吋，累积缓冲器201累积在步骤S201中传送的编码数据。在步骤S202中，无损解码单元202对从累积缓冲器201提供的编码数据进行解码。具体地，对图I中的无损编码单元106编码的I图片、P图片和B图片进行解码。在该处理中，还对运动矢量信息、參考帧信息、预测模式信息(帧内预测模式或帧间预测模式)、标志信息、要执行采样的通知、采样方法和内插方法的指定等进行解码。具体地，当预测模式信息是帧内预测模式信息时，将预测模式信息提供给帧内预测单元211。当预测模式信息是帧间预测模式信息时，将与预测模式信息相关联的运动矢量信息提供给运动预测/补偿单元212。另外，将诸如要执行采样的通知以及采样方法和内插方法的指定的信息提供给帧内预测单元211。在步骤S203中，逆量化单元203利用与图I中的量化单元105的特性对应的特性，对无损解码单元202解码后的变换系数进行逆量化。在步骤S204中，逆正交变换单元204利用与图I中的正交变换单元104的特性对应的特性，对逆量化単元203逆量化后的变换系数执行逆正交变换。結果，对与图I中的正交变换单元104的输入(计算单元103的输出)对应的差异信息进行解码。在步骤S205中，帧内预测单元211或运动预测/补偿单元212均根据从无损解码単元202提供的预测模式信息来执行图像的预测。具体地，当从无损解码单元202提供帧内预测模式信息时，帧内预测单元211以帧内预测模式执行帧内预测处理。另外，当还从无损解码単元202提供要执行采样的通知、采样方法和内插方法的指定等时，帧内预测单元211通过使用信息来执行帧内预测处理(包括重构像素的采样、内插等的帧内预测)。当从无损解码单元202提供帧间预测模式信息时，运动预测/补偿单元212以帧间预测模式执行运动预测处理。 在步骤S206中，选择单元213选择预测图像。具体地，将帧内预测单元211生成的预测图像或运动预测/补偿单元212生成的预测图像提供给选择単元213。选择单元213选择这些预测图像的任ー个。将所选择的预测图像提供给计算単元205。在步骤S207中，计算单元205将在步骤S206的处理中选择的预测图像与在步骤S204的处理中获得的差异信息相加。结果，恢复了原始图像数据。在步骤S208中，帧内预测单元211存储作为在步骤S207中恢复的图像数据的重
构像素。在步骤S209中，解块滤波器206对从计算单元205提供的解码图像数据进行滤波。结果，去除了块失真。在步骤S210中，帧存储器209存储滤波后的解码图像数据。在步骤S211中，帧重排缓冲器207重排解码图像数据的帧。具体地，将解码图像数据的帧从编码顺序重排成用于显示的原始顺序，其中该编码顺序是图像编码设备100的帧重排缓冲器102 (图I)对帧进行重排的顺序。在步骤S212中，D/A转换单元208对具有帧重排缓冲器207重排后的帧的解码图像数据进行D/A转换。将解码图像数据输出到未示出的显示器，并且显示其图像。[预测处理]接下来，将參照图20的流程图描述在图19的步骤S205中执行的预测处理的流程示例。当预测处理开始时，无损解码单元202基于帧内预测模式信息确定图像是否是帧内编码的。如果确定图像是帧内编码的，则无损解码单元202将帧内预测模式信息提供给帧内预测单元211，并且使处理进行到步骤S232。注意，当存在要执行采样的通知、采样方法和内插方法的指定等时，无损解码单元202还将这样的信息提供给帧内预测单元211。在步骤S232中，帧内预测单元211执行帧内预测处理。当帧内预测处理终止时，图像解码设备200将处理返回到图19中的步骤S205，并且执行步骤S206和后续步骤中的处理。另ー方面，如果在步骤S231中确定图像是帧间编码的，则无损解码单元202将帧间预测模式信息提供给运动预测/补偿单元212，并且使处理进行到步骤S233。在步骤S233中，运动预測/补偿单元212执行帧间运动预测/补偿处理。当帧间运动预测/补偿处理终止吋，图像解码设备200将处理返回到图19中的步骤S205，并且执行步骤S206和后续步骤中的处理。[帧内预测处理]接下来，将參照图21的流程图描述在图20的步骤S232中执行的帧内预测处理的流程示例。当帧内预测处理开始时，相邻像素重构单元234根据控制单元231的控制来确定内插方法。在步骤S252中，预测图像生成単元235根据控制単元231的控制来确定预测模式。在步骤S253中，相邻像素重构单元234根据在步骤S252中确定的预测模式读出相邻像素。
在步骤S254中，相邻像素重构单元234根据在步骤S251中确定的内插方法来重构相邻像素。在步骤S255中，预测图像生成単元235通过使用重构的相邻像素来生成预测图像。在步骤S255中的处理终止之后，控制单元231終止帧内预测处理，将处理返回到图20中的步骤S232，并且执行后续处理。由于与图16的流程图中示出的情况类似地执行在图19的步骤S208中执行的重构像素存储处理，因此将不再重复其描述。如上所述，图像解码设备200可以减少帧内预测所需的存储量。注意，可替代上述正交变换和逆正交变换而使用阿达马(Hadamard)变换等。此外，上述块的大小仅是示例性的。在以上描述中，将表示在图像编码设备100中是否执行采样的信息以及表示在图像编码设备100中使用的采样方法和内插方法的信息从图像编码设备100传送到图像解码设备200，并且图像解码设备200基于这些信息与图像编码设备100中的采样和内插类似地执行采样和内插。然而，采样和内插不限于此，并且图像解码设备200可与图像编码设备100类似地提取图像的特征量，并且基于所提取的特征量执行采样和内插。在该情况下，可以省略表示是否执行采样的信息、表示在图像编码设备100中使用的采样方法和内插方法的信息等的传送。图像编码设备200可从编码数据的报头信息等提取图像的特征量或者可通过分析解码图像数据来提取特征量。[宏块]尽管以上已描述了 16X16或更小的宏块，但是宏块的大小可大于16X16。本技术可以应用于例如如图22所示的任意大小的宏块。例如，除了 16X16个像素的正常宏块之外，本技术还可以应用于被扩展到32X32个像素的这种宏块(扩展宏块)。在图22的顶部行中，按从左开始的顺序示出了被分割成32 X 32个像素、32 X 16个像素、16X 32个像素以及16X16个像素的块(分区)的、由32X 32个像素构成的宏块。另夕卜，在中部行中，按从左开始的顺序示出了被分割成16X 16个像素、16X8个像素、8X 16个像素以及8X8个像素的块的、由16X16个像素构成的宏块。此外，在底部行中，按从左开始的顺序示出了被分割成8X8个像素、8X4个像素、4X8个像素以及4X4个像素的块的、由8X8个像素构成的宏块。因此，可以以如顶部行所示的32 X 32个像素、32 X 16个像素、16 X 32个像素以及16X16个像素的块对32X32个像素的宏块进行处理。
与H. 264/AVC格式类似地，可以以如中部行所示的16 X 16个像素、16 X 8个像素、8X16个像素以及8X8个像素的块对顶部行的右侧示出的16X 16个像素的块进行处理。与H. 264/AVC格式类似地，可以以如底部行所示的8X8个像素、8X4个像素、4X8个像素以及4X4个像素的块对中部行的右侧示出的8X8个像素的块进行处理。这些块可以被分类成以下三个层次。具体地，图20的顶部行示出的32X32个像素、32 X 16个像素以及16X32个像素的块被称为第一层次。顶部行的右侧示出的16X16个像素的块以及中部行示出的16X 16个像素、16X8个像素以及8X 16个像素的块被称为第二层次。中部行的右侧示出的8X8个像素的块以及在底部行示出的8X8个像素、8X4个像素、4X8个像素以及4X4个像素的块被称为第三层次。这样的层级结构的采用允许对于16X16或更小的块以及要定义为其超集的更大
的块，維持与H. 264/AVC格式的兼容性。<3.第三实施例>[个人计算机]上述系列处理可以由硬件或由软件来实现。在该情况下，这可被配置为例如如图23所示的个人计算机。在图23中，个人计算机500的CPU 501根据存储在ROM (只读存储器)502中的程序或从存储单元513加载到RAM (随机存取存储器)503的程序而执行各种处理。RAM 503还适当地在其中存储CPU 501执行各种处理所需的数据。CPU 50KROM 502和RAM 503经由总线504相互连接。输入/输出接ロ 510也连接到总线504。输入/输出接ロ 510与输入单元511 (包括键盘、鼠标等)、输出单元512 (包括诸如CRT (阴极射线管)或IXD (液晶显示器)的显示器、扬声器等)、存储单元513 (包括硬盘等)以及通信単元514 (包括调制解调器等)连接。通信単元514经由包括因特网的网络执行通信。输入/输出接ロ 510在必要时还与驱动器515连接，诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸介质521在适当时与其附接，并且从其读出的计算机程序在必要时安装在存储单元513上。当上述系列处理要由软件来执行时，从网络或记录介质安装构成该软件的程序。除了可拆卸介质521 (诸如磁盘(包括软盘)、光盘(包括⑶-ROM (光盘-只读存储器)、DVD (数字通用盘))、磁光盘(包括MD (迷你盘))或半导体存储器)之外，记录介质还包括其上记录有程序的并且以嵌入在设备中的状态分发给用户的ROM 502、包括在存储单元513中的硬盘等，其中程序记录在可拆卸介质521上并且可拆卸介质521被分发给用户以与例如图23所的设备分开分发程序。注意，要由计算机执行的程序可以是按本说明书中描述的顺序以时间序列执行处理所根据的程序，或者可以是并行地或在必要的定时(当调用程序时等)执行处理所根据的程序。此外，在本说明书中描述要记录在记录介质上的程序的步骤显然包括按上述顺序以时间序列执行的处理，并且还包括不一定以时间序列执行的、并行地或独立地执行的处理。
此外，在本说明书中，系统指的是包括多个装置的整个设备。另外，以上描述为ー个装置(或处理单元)的配置可被分割成多个装置(或处理单元)。相反，以上描述为多个装置(或处理单元)的配置可集成为ー个装置(或处理单元)。另夕卜，除上述配置之外的配置显然可添加到装置(或处理单元)的配置。此外，装置(或处理单元)的配置的一部分可包括在另ー装置(或另一处理单元)的配置中，只要系统的配置和操作整体上基本相同即可。也就是说，本技术的实施例不限于上述实施例，并且在不背离本技术的主g的情况下可以进行各种修改。例如，任意电子装置可应用于上述图像编码设备100和图像解码设备200。以下将描述其示例。
〈4.第四实施例〉[电视接收器]图24是示出使用图像解码设备200的电视接收器的主要配置示例的框图。图24所示的电视接收器1000包括地面调谐器1013、视频解码器1015、视频信号处理单元1018、图形生成电路1019、面板驱动电路1020以及显示面板1021。地面调谐器1013经由天线接收用于地面模拟广播的广播波信号，对信号进行解调，获得视频信号并将视频信号提供给视频解码器1015。视频解码器1015对从地面调谐器1013提供的视频信号执行解码，并且将所得到的数字分量信号提供给视频信号处理电路 1018。视频信号处理电路1018对从视频解码器1015提供的视频数据执行诸如去噪的预定处理，并且将所得到的视频数据提供给图形生成电路1019。图形生成电路1019生成要显示在显示面板1021上的表演的视频数据、根据基于经由网络提供的应用程序的处理的图像数据等，并且将所生成的视频数据或图像数据提供给面板驱动电路1020。图形生成电路1019还执行如下处理诸如，在必要时将通过生成用于显示用于供用户选择项目的画面的视频数据(图形)以及将该数据叠加在表演的图像数据上而获得的视频数据提供给面板驱动电路1020。面板驱动电路1020基于从图形生成电路1019提供的数据而驱动显示面板1021，并且在显示面板1021上显示如上所述的表演的视频和各种画面。显示面板1021可包括IXD (液晶显示器)等，并根据面板驱动电路1020的控制而显不表演的视频等。电视接收器1000还包括音频A/D (模拟/数字)转换电路1014、音频信号处理电路1022、回声消除/语音合成电路1023、音频放大电路1024以及扬声器1025。地面调谐器1013通过对所接收的广播波信号进行解调，除视频信号之外还获得音频信号。地面调谐器1013将所获得的音频信号提供给音频A/D转换电路1014。音频A/D转换电路1014对从地面调谐器1013提供的音频信号执行A/D转换，并且将所得到的数字音频信号提供给音频信号处理电路1022。音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行诸如去噪的预定处理，并且将所得到的音频数据提供给回声消除/语音合成电路1023。回声消除/语音合成电路1023将从音频信号处理电路1022提供的音频数据提供给音频放大电路1024。
音频放大电路1024对从回声消除/语音合成电路1023提供的音频数据执行D/A转换和放大，将音量调整至预定水平，并且然后通过扬声器1025输出音频。电视接收器1000还包括数字调谐器1016和MPEG解码器1017。数字调谐器1016经由天线接收用于数字广播(地面数字广播、BS (广播卫星)/CS(通信卫星)数字广播)的广播波信号，对信号进行解调，获得MPEG-TS (运动图片专家组-输送流)，并且将MPEG-TS提供给MPEG解码器1017。MPEG解码器1017对从数字调谐器1016提供的MPEG-TS进行解扰，并且提取包含要再现(要观看)的表演数据的流。MPEG解码器1017对所提取的流中包括的音频分组进行解码并将所得到的音频数据提供给音频信号处理电路1022，并且还对流中包括的视频分组进行解码并将所得到的视频数据提供给视频信号处理电路1018。另外，MPEG解码器1017将从MPEG-TS提取的EPG (电子节目指南)数据经由未示出的路径提供给CPU 1032。 电视接收器1000使用上述图像解码设备200作为以此方式对视频分组进行解码的MPEG解码器1017。注意，广播站等传送的MPEG-TS是由图像编码设备100编码的。与图像解码设备200的情况类似地，MPEG解码器1017通过使用从自广播站(图像编码设备100)提供的编码数据提取的信息(诸如是否在广播站(图像编码设备100)中执行采样的通知以及采样方法和内插方法的指定)来在必要时执行相邻像素的采样和内插，通过使用相邻像素生成预测图像，并且通过使用预测图像根据剩余信息生成解码图像数据。因此，MPEG解码器1017可以减少帧内预测所需的存储量。与从视频解码器1015提供的视频数据的情况类似地，从MPEG解码器1017提供的视频数据在视频信号处理电路1018中经受预定处理，在必要时在图形生成电路1019中与叠加在其上的所生成的视频数据组合，并且经由面板驱动电路1020被提供给显示面板1021，并且显示其图像。与从音频A/D转换电路1014提供的音频数据的情况类似地，从MPEG解码器1017提供的音频数据在音频信号处理电路1022中经受预定处理，经由回声消除/语音合成电路1023被提供给音频放大电路1024，并且经受D/A转换和放大。结果，通过扬声器1025输出被调整至预定音量的音频。电视接收器1000还包括麦克风1026和A/D转换电路1027。A/D转换电路1027接收通过设置在电视接收器1000中用于音频会话的麦克风1026取得的用户语音信号，对所接收的语音信号执行A/D转换，并且将所得到的数字音频数据提供给回声消除/语音合成电路1023。当从A/D转换电路1027提供电视接收器1000的用户(用户A)的语音信号时，回声消除/语音合成电路1023经由音频放大电路1024通过扬声器1025输出通过对用户A的语音数据执行回声消除并组合该语音数据与其它语音数据而获得的语音数据。此外，电视接收器1000还包括音频编解码器1028、内部总线1029、SDRAM (同步动态随机存取存储器)1030、闪存1031、CPU 1032,USB (通用串行总线)I/F 1033以及网络I/F 1034。A/D转换电路1027接收通过设置在电视接收器1000中用于音频会话的麦克风1026取得的用户语音信号，对所接收的语音信号执行A/D转换，并且将所得到的数字音频数据提供给音频编解码器1028。
音频编解码器1028将从A/D转换电路1027提供的音频数据转换成预定格式的用于经由网络传送的数据，并且经由内部总线1029将数据提供给网络I/F 1034。网络I/F 1034经由附接到网络端子1035的线缆而连接到网络。网络I/F 1034例如将从音频编解码器1028提供的音频数据传送到连接到网络的另ー装置。网络I/F 1034还例如经由网络端子1035接收从连接到网络的另ー装置传送的音频数据，并且经由内部总线1029将数据提供给音频编解码器1028。音频编解码器1028将从网络I/F 1034提供的音频数据转换成预定格式的数据，并且将该数据提供给回声消除/语音合成电路1023。
回声消除/语音合成电路1023经由音频放大电路1024通过扬声器1025输出通过对从音频编解码器1028提供的音频数据执行回声消除并且组合该音频数据与其它音频数据而获得的音频数据。SDRAM 1030存储CPU 1032执行处理所需的各种数据。闪存1031存储要由CPU 1032执行的程序。存储在闪存1031中的程序由CPU 1032在预定定时(诸如在启动电视接收器1000吋)读取。闪存1031还在其中存储通过数字广播获取的EPG数据、经由网络从预定服务器获取的数据等。例如，闪存1031在其中存储包括根据CPU 1032的控制经由网络从预定服务器获取的内容数据的MPEG-TS。闪存1031例如根据CPU 1032的控制经由内部总线1029将MPEG-TS提供给MPEG解码器1017。MPEG解码器1017与从数字调谐器1016提供的MPEG-TS的情况类似地对MPEG-TS进行处理。如上所述，电视接收器1000可以经由网络接收包含视频、音频等的内容数据，通过使用MPEG解码器1017对数据进行解码，显示其视频并输出其音频。电视接收器1000还包括接收从遥控器1051传送的红外信号的光接收单元1037。光接收单元1037从遥控器1051接收红外光，对红外光进行解调，并且将表示用户操作的所得到的控制码输出到CPU 1032。CPU 1032执行存储在闪存1031中的程序，并且根据从光接收单元1037提供的控制码等而控制电视接收器1000的总体操作。CPU 1032和电视接收器1000的各个部件经由未示出的路径而连接。USB I/F 1033将数据传送到电视接收器1000外部的装置/从这些装置接收数据，这些装置经由附接到USB端子1036的USB线缆而连接。网络I/F 1034经由附接到网络端子1035的线缆而连接到网络，并且还将除音频数据之外的数据传送到连接到网络的各种装置/从这些装置接收除音频数据之外的数据。电视接收器1000可以通过使用图像解码设备200作为MPEG解码器1017来减少帧内预测所需的存储量。結果，电视接收器1000可以减少经由天线接收的广播波信号和经由网络获取的内容数据的帧内预测所需的存储量，并且以较低成本实现实时处理。<5.第五实施例>[移动电话]图25是示出使用图像编码设备100和图像解码设备200的移动电话的主要配置示例的框图。图25所示的移动电话1100包括被配置成总体上控制各个部件的主控制单元1150、供电电路单元1151、操作输入控制单元1152、图像编码器1153、摄像装置I/F单元1154、IXD控制单元1155、图像解码器1156、解复用单元1157、记录/再现单元1162、调制/解调单元1158以及音频编解码器1159。这些经由总线1160相互连接。移动电话1100还包括操作键1119、(XD (电荷稱合器件)摄像装置1116、液晶显示器1118、存储单元1123、传送/接收电路单元1163、天线1114、麦克风(MIC)1121以及扬声器 1117。当通过用户的操作接通清除和电源键时，供电电路单元1151将电力从电池组供应给各个部件，以启动移动电话1100进入可操作状态。移动电话1100根据包括CPU、ROM、RAM等的主控制单元1150的控制，以各种模式(诸如语音呼叫模式和数据通信模式)执行各种操作，诸如音频信号的传送/接收、电子邮件和图像数据的传送/接收、成像以及数据记录。例如，在语音呼叫模式，移动电话1100通过音频编解码器1159将麦克风(MIC)·1121收集的音频信号转换成数字音频数据，通过调制/解调电路单元1158对数字音频数据进行频谱扩展，并且通过传送/接收电路单元1163对音频数据执行数字到模拟转换和频率转换。移动电话1100经由天线1114将通过转换获得的用于传送的信号传送到未示出的基站。传送到基站的、用于传送的信号(音频信号)经由公共电话网被提供给其他方的移动电话。另外，例如，在语音呼叫模式中，移动电话1100对由传送/接收电路单元1163在天线1114处接收的接收信号进行放大，并且还对其执行频率转换和模数转换，由调制/解调电路单元1158执行逆频谱扩展，并且还由音频编解码器1159将信号转换为模拟音频信号。移动电话1100通过扬声器1117输出通过转换获得的模拟音频信号。此外，当例如要在数据通信模式中传送电子邮件时，移动电话1100在操作输入控制单元1152处接收通过操作键1119的操作而输入的电子邮件的文本数据。移动电话1100通过主控制单元1150对文本数据进行处理，并且经由IXD控制单元1155在液晶显示器1118上显示为图像。移动电话1100还基于操作输入控制单元1152接收的文本数据、用户指令等而通过主控制单元1150生成电子邮件数据。移动电话1100通过调制/解调电路单元1158对电子邮件数据进行频谱扩展，并且通过传送/接收电路单元1163对其执行数模转换和频率转换。移动电话1100经由天线1114将通过转换获得的用于传送的信号传送到未示出的基站。传送到基站的用于传送的信号(电子邮件)经由网络以及主服务器等被提供给预定目的地。另外，当例如要在数据通信模式中接收电子邮件时，移动电话1100经由天线1114通过传送/接收电路单元1163接收从基站传送的信号，对信号进行放大并且进一步对其执行频率转换和模数转换。移动电话1100通过调制/解调电路单元1158对所接收的信号执行逆频谱扩展，以恢复原始电子邮件数据。移动电话1100经由LCD控制单元1155在液晶显示器1118上显示恢复后的电子邮件数据。注意，移动电话1100还可以经由记录/再现单元1162将所接收的电子邮件数据记录(存储)在存储单元1123中。 存储单元1123是任意可重写存储介质。存储单元1123可以是诸如RAM和内置闪存的半导体存储器，或者可以是硬盘，或者可以是可拆卸介质，诸如磁盘、磁光盘、光盘、USB存储器和存储卡。不必说，存储单元1123可以是除上述以外的存储介质。此外，当例如要在数据通信模式中传送图像数据时，移动电话1100通过利用CXD摄像装置1116进行成像来生成图像数据。CXD摄像装置1116包括诸如透镜和光圈的光学装置以及作为光电转换元件的CCD，对对象进行成像，将所接收光的强度转换成电信号并且生成对象图像的图像数据。C⑶摄像装置1116经由摄像装置I/F 1154利用图像编码器1153对图像数据进行编码，以将图像数据转换成编码图像数据。移动电话1100使用上述图像编码设备1100作为执行这样处理的图像编码器1153。类似于图像编码设备100的情况，图像编码器1153基于从图像数据提取的特征量来关于是否对相邻采样进行确定以及关于执行采样时的采样方法和内插方法进行确定，在必要时对相邻像素进行采样并且存储像素。图像编码器1153读出执行帧内预测时的相邻像素，并且在必要时内插像素以重构相邻像素。图像编码器1153然后通过使用重构的相邻像素来生成预测图像，并且通过使用预测图像根据剩余信息生成编码数据。图像编码器1153 因此可以减少帧内预测所需的存储量。注意，同时，移动电话1100对在C⑶摄像装置1116进行成像期间由麦克风(MIC)1121收集的音频执行模数转换，并且由音频编解码器1159对音频进行编码。移动电话1100通过解复用单元1157根据预定方法对从图像编码器1153提供的编码图像数据和从音频编解码器1159提供的数字音频数据进行复用。移动电话1100通过调制/解调电路单元1158对所得到的复用数据执行频谱扩展，并且通过传送/接收电路单元1163对其执行数模转换和频率转换。移动电话1100经由天线1114将通过转换获得的用于传送的信号传送到未示出的基站。传送到基站的用于传送的信号(图像数据)经由网络等被提供给其他方。注意，如果不传送图像数据，则移动电话1100也可以经由IXD控制单元1155在液晶显示器1118上显示CXD摄像装置1116生成的图像数据而不用图像编码器1153。另外，当例如要在数据通信模式中接收链接到简单网站等的运动图片文件的数据时，移动电话1100经由天线1114通过传送/接收电路单元1163接收从基站传送的信号，对信号进行放大并且进一步对其执行频率转换和模数转换。移动电话1100通过调制/解调电路单元1158对所接收的信号执行逆频谱扩展以恢复原始复用数据。移动电话1100通过解复用单元1157对复用数据进行解复用，以将数据分割成编码图像数据和音频数据。移动电话1100通过图像解码器1156对编码图像数据进行解码以生成再现运动图片数据，并且经由IXD控制单元1155在液晶显示器1118上显示再现数据。结果，例如在液晶显示器1118上显示链接到简单网站的运动图片文件中包括的运动图片数据。移动电话1100使用如上所述的图像解码设备200作为执行这样处理的图像解码器1156。也就是说，类似于图像解码设备200的情况，图像解码器1156通过使用从自其它装置的图像编码器1153 (图像编码设备100)提供的编码数据提取的信息(诸如是否在另一装置的图像编码器1153 (图像编码设备100)中执行采样的通知以及采样方法和内插方法的指定)来在必要时执行相邻像素的采样和内插，通过使用相邻像素生成预测图像，并且通过使用预测图像来根据剩余信息生成解码图像数据。因此，图像解码器1156可以减少帧内预测所需的存储量。
在该处理中，同时，移动电话1100通过音频编解码器1159将数字音频数据转换成模拟音频信号，并且通过扬声器1117输出模拟音频信号。结果，例如再现链接到简单网站的运动图片文件中包括的音频数据。类似于电子邮件的情况，移动电话1100还可以经由记录/再现单元1162将链接到简单网站等的接收数据记录(存储)在存储单元1123中。移动电话1100还可以通过主控制单元1150来分析由(XD摄像装置1116所成像
和获得的二维码，并且获得记录在二维码中的信息。此外，移动电话1100可以借助于红外光通过红外通信单元1181与外部装置通信。移动电话1100可以减少在传送例如C⑶摄像装置1116生成的图像数据时的帧内预测所需的存储量，并且通过使用图像编码设备100作为图像编码器1153而以较低成本实现实时处理。 移动电话1100还可以减少例如在对链接到简单网站的运动图片文件的数据(编码数据)解码时的帧内预测所需的存储量，并且通过使用图像解码设备200作为图像解码器1156而以较低成本实现实时处理。尽管以上将移动电话1100描述为在其中使用C⑶摄像装置1116，但是可替代CXD摄像装置1116而使用利用CMOS (互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在该情况下，类似于使用C⑶摄像装置1116的情况，移动电话1100还可以对对象进行成像并且生成对象图像的图像数据。此外，尽管以上描述了移动电话1100的情况，但是类似于移动电话1100的情况，图像编码设备100和图像解码设备200可以应用于具有如移动电话1100的那些功能的成像功能和通信功能的任意装置，诸如PDA (个人数字助理)、智能电话、UMPC (超级移动个人计算机)、上网本以及膝上个人计算机。<6.第六实施例>[硬盘记录器]图26是示出使用图像编码设备100和图像解码设备200的硬盘记录器的主要配置示例的框图。图26所示的硬盘记录器(HDD记录器)1200是保存从地上的卫星或天线传送的并且由内置硬盘中的调谐器接收的广播波信号中包括的广播节目中的音频数据和视频数据的设备，并且在根据用户的指令的定时向用户提供所保存的数据。硬盘记录器1200可以例如从广播波信号提取音频数据和视频数据，在适当时对数据解码，并且将数据存储在内置硬盘中。硬盘记录器1200还可以例如经由网络从另一装置获取音频数据和视频数据，在适当时对数据进行解码并且将数据存储在内置硬盘中。此外，硬盘记录器1200可以例如对记录在内置硬盘上的音频数据和视频数据进行解码，将解码后的数据提供给监视器1260，在监视器1260的屏幕上显示其图像，并且通过监视器1260的扬声器输出其音频。另外，硬盘记录器1200还可以例如对从经由调谐器获取的广播波信号提取的音频数据和视频数据或经由网络从另一装置获取的音频数据和视频数据进行解码，将解码后的数据提供给监视器1260，在监视器1260的屏幕上显示其图像并且通过监视器1260的扬声器输出其音频。不必说，其它操作也是可能的。
如图26所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD (在屏显示)控制单元1231、显示控制单元1232、记录/再现单元1233、D/A转换器1234和通信单元1235。显示转换器1230包括视频编码器1241。记录/再现单元1233包括编码器1251和解码器1252。接收单元1221从遥控器(未示出)接收红外信号，将信号转换成电信号，并且将电信号输出到记录器控制单元1226。记录器控制单元1226例如可包括微处理器等，并且根据存储在程序存储器1228中的程序而执行各种处理。记录器控制单元1226在该情况下在必要时使用工作存储器1229。 通信单元1235连接到网络，并且经由网络与其它装置执行通信。例如，通信单元1235由记录器控制单元1226控制，与调谐器(未示出)通信，并且主要将调谐控制信号输出到调谐器。解调单元1222对从调谐器提供的信号进行解调并且将解调后的信号输出到解复用器1223。解复用器1223将从解调单元1222提供的数据分割成音频数据、视频数据和EPG数据，并且分别将音频数据、视频数据和EPG数据输出到音频解码器1224、视频解码器1225和记录器控制单元1226。音频解码器1224对输入的音频数据进行解码，并且将解码后的音频数据输出到记录/再现单元1233。视频解码器1225对输入的视频数据进行解码，并且将解码后的视频数据输出到显示转换器1230。记录器控制单元1226将输入的EPG数据提供给EPG数据存储器1227并且在其中存储EPG数据。显示转换器1230通过视频编码器1241将视频解码器1225或记录器控制单元1226提供的视频数据编码成例如NTSC (美国电视标准委员会)格式的视频数据，并且将编码后的视频数据输出到记录/再现单元1233。另外，显示转换器1230将视频解码器1225或记录器控制单元1226提供的视频数据的屏幕的大小转换为与监视器1260的大小对应的大小，通过视频编码器1241将视频数据转换成NTSC格式的视频数据，将视频数据转换成模拟信号并且将模拟信号输出到显示控制单元1232。显示控制单元1232在记录器控制单元1226的控制下，将OSD (在屏显示)控制单元1231输出的OSD信号叠加在显示转换器1230输入的视频信号上，并且将所得到的信号输出并显示在监视器1260的显示器上。监视器1260还提供有音频解码器1224输出的并被D/A转换器1234转换成模拟信号的音频数据。监视器1260通过内置扬声器输出音频信号。记录/再现单元1233包括硬盘作为用于记录视频数据、音频数据等的存储介质。记录/再现单元1233通过例如编码器1251对音频解码器1224提供的音频数据进行编码。另外，记录/再现单元1233通过编码器1251对显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/再现单元1233通过复用器组合音频数据的编码数据和视频数据的编码数据。记录/再现单元1233通过其信道编码而放大组合后的数据，并且利用记录头将数据写入硬盘中。
记录/再现单元1233利用再现头再现记录在硬盘上的数据，放大数据，并且通过解复用器将数据分割成音频数据和视频数据。记录/再现单元1233通过解码器1252对音频数据和视频数据进行解码。记录/再现单元1233对解码后的音频数据进行D/A转换，并且将转换后的音频数据输出到监视器1260的扬声器。记录/再现单元1233还对解码后的视频数据进行D/A转换并且将转换后的视频数据输出到监视器1260的显示器。记录器控制单元1226基于经由接收单元1221从遥控器接收的红外信号表示的用户指令，从EPG数据存储器1227读出最新的EPG数据并且将所读取的EPG数据提供给OSD控制单元1231。OSD控制单元1231生成与输入的EPG数据相关联的图像数据，并且将所生成的图像数据输出到显示控制单元1232。显示控制单元1232将OSD控制单元1231输入的视频数据输出并显示到监视器1260的显示器。结果，EPG (电子节目指南)显示在监视器1260的显示器上。硬盘记录器1200还可以经由诸如因特网的网络获取从其它装置提供的诸如视频 数据、音频数据或EPG数据的各种数据。通信单元1235由记录器控制单元1226控制，获取经由网络从其它装置传送的诸如视频数据、音频数据和EPG数据的编码数据，并且将编码数据提供给记录器控制单元1226。记录器控制单元1226例如将所获取的视频数据和音频数据的编码数据提供给记录/再现单元1233，并且将编码数据存储在硬盘中。在该情况下，记录器控制单元1226和记录/再现单元1233可在必要时执行诸如重编码的处理。记录器控制单元1226还对所获取的视频数据和音频数据的编码数据进行解码，并且将所得到的视频数据提供给显示转换器1230。与从视频解码器1225提供的视频数据类似，显示转换器1230对从记录器控制单元1226提供的视频数据进行处理，经由显示控制单元1232将视频数据提供给监视器1260，并且显示其图像。对于图像的显示，记录器控制单元1226可经由D/A转换器1234将解码后的音频数据提供给监视器1260，并且通过扬声器输出其音频。此外，记录器控制单元1226对所获取的EPG数据的编码数据进行解码，并且将解码后的EPG数据提供给EPG数据存储器1227。如上所述的硬盘记录器1200使用图像解码设备200作为内置于视频解码器1225、解码器1252和记录器控制单元1226中的解码器。也就是说，与图像解码设备200的情况类似，内置于视频解码器1225、解码器1252或记录器控制单元1226中的解码器通过使用从自图像编码设备100提供的编码数据提取的信息(诸如是否在图像编码设备100中执行采样的通知以及采样方法和内插方法的指定)来在必要时执行相邻像素的采样和内插，通过使用相邻像素生成预测图像，并且通过使用预测图像根据剩余信息生成解码图像数据。因此，内置于视频解码器1225、解码器1252或记录器控制单元1226中的解码器可以减少帧内预测所需的存储量。硬盘记录器1200因此可以例如减少在对调谐器和通信单元1235接收的视频数据(编码数据)和要由记录/再现单元1233再现的视频数据(编码数据)进行解码时的帧内预测所需的存储量，并且以较低成本实现实时处理。硬盘记录器1200还使用图像编码设备100作为编码器1251。因此,与图像编码设备100的情况类似，编码器1251基于从图像数据提取的特征量关于是否对相邻像素进行采样执行确定以及关于执行采样时的采样方法和内插方法进行确定，在必要时对相邻像素进行采样并且存储像素。编码器1251读出在执行帧内预测时的相邻像素，并且在必要时内插像素以重构相邻像素。编码器1251然后通过使用重构后的相邻像素生成预测图像，并且通过使用预测图像根据剩余信息生成编码数据。编 码器1251因此可以减少帧内预测所需的
存储量。硬盘记录器1200因此可以例如计算减少生成要记录在硬盘上的编码数据时的帧内预测所需的存储量，并且以较低成本实现实时处理。尽管以上描述了将视频数据和音频数据记录在硬盘上的硬盘记录器1200，但是记录介质明显可以是任意介质。例如，图像编码设备100和图像解码设备200可应用于与上述硬盘记录器1200的情况类似的、应用了除硬盘以外的记录介质(诸如闪存、光盘或录像带)的记录器。<7.第七实施例>[摄像装置]图27是示出使用图像编码设备100和图像解码设备200的摄像装置的主要配置示例的框图。图27所示的摄像装置1300对对象进行成像，在IXD 1316上显示对象图像，并将图像作为图像数据记录在记录介质1333上。透镜组件1311使得光(B卩，对象的视频)进入CCD/CM0S 1312。CCD/CM0S 1312是使用CCD或CMOS的图像传感器，其将所接收的光的强度转换成电信号并且将电信号提供给摄像装置信号处理单元1313。摄像装置信号处理单元1313将从(XD/CM0S 1312提供的电信号转换成Y、Cr和Cb的色度信号，并且将色度信号提供给图像信号处理单元1314。图像信号处理单元1314在控制器1321的控制下，对从摄像装置信号处理单元1313提供的图像信号执行预定的图像处理并且通过编码器1341对图像信号进行编码。图像信号处理单元1314将通过对图像信号进行编码生成的编码数据提供给解码器1315。此外，图像信号处理单元1314获得通过在屏显示器(OSD) 1320生成的用于显示的数据，并且将该数据提供给解码器1315。在上述处理中，摄像装置信号处理单元1313在适当时使用经由总线1317连接的DRAM (动态随机存取存储器)1318并且使得图像数据、通过对图像数据进行编码获得的编码数据等保持在DRAM 1318中。解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并且将所得到的图像数据(解码图像数据)提供给LCD 1316。另外，解码器1315将从图像信号处理单元1314提供的用于显示的数据提供给IXD1316。IXD 1316适当地组合从解码器1315提供的解码图像数据的图像与用于显示的数据的图像，并且显示组合后的图像。在屏显示器1320在控制器1321的控制下经由总线1317将用于显示的数据(诸如包括符号、字符或图形的菜单画面和图标)输出到图像信号处理单元1314。控制器1321基于表示用户通过使用操作单元1322做出的指令的信号而执行各种处理，并且经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口 1319、在屏显示器1320、介质驱动器1323等。控制器1321执行各种处理所需的程序和数据存储在闪速ROM 1324 中。
例如，控制器1321可以取代图像信号处理单元1314和解码器1315而对存储在DRAM 1318中的图像数据进行编码并对存储在DRAM 1318中的编码数据进行解码。在该情况下，控制器1321可利用与图像信号处理单元1314和解码器1315的编码方法和解码方法相同的方法来执行编码和解码，或者可利用图像信号处理单元1314和解码器1315不支持的方法来执行编码和解码。另外，当例如通过操作单元1322指示开始图像的打印时，控制器1321从DRAM1318读出图像数据，并且将所读取的图像数据提供给与经由总线1317连接的外部接口1319连接的打印机1334以进行打印。此外，当例如通过操作单元1322指示记录图像时，控制器1321从DRAM 1318读出编码数据，并且将所读取的数据提供到并存储在经由总线1317附接到介质驱动器1323的记录介质1333。记录介质1333是任意读取/写入可拆卸介质，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质1333显然可以是作为可拆卸介质的任意类型，并且可以是磁带装置、盘或 存储卡。记录介质1333当然可以是无接触式IC卡等。替选地，介质驱动器1323和记录介质1333可集成并且可被配置为诸如内置硬盘驱动器和SSD (固态驱动器)的非便携式存储介质。外部接口 1319例如是USB输入/输出端子，并且连接到用于打印图像的打印机1334。外部接口 1319在必要时还与驱动器1331连接，诸如磁盘、光盘或磁光盘的可拆卸介质1332在适当时与其附接，并且在必要时将从其读出的计算机程序安装到闪速ROM 1324中。此外，外部接口 1319包括连接到诸如LAN和因特网的预定网络的网络接口。控制器1321可以根据例如来自操作单元1322的指令，从DRAM1318读出编码数据，并且通过外部接口 1319将所读取的编码数据提供给经由网络连接的其它装置。另外，控制器1321可以通过外部接口 1319经由网络获取从其它装置提供的编码数据和图像数据，并且将所获取的数据保持在DRAM 1318中或者将所获取的数据提供给图像信号处理单元1314。如上所述的摄像装置1300使用图像解码设备200作为解码器1315。也就是说，与图像解码设备200的情况类似，解码器1315通过使用从自图像编码设备100提供的编码数据提取的信息(诸如是否在图像编码设备100中执行采样的通知以及采样方法和内插方法的指定)在必要时执行相邻像素的采样和内插，通过使用相邻像素生成预测图像，并且通过使用预测图像根据剩余信息生成解码图像数据。因此，解码器1315可以减少帧内预测所需的存储量。摄像装置1300因此可以例如减少在对(XD/CM0S 1312生成的图像数据、从DRAM1318或记录介质1333读出的视频数据的编码数据或经由网络获取的视频数据的编码数据进行解码时的帧内预测所需的存储量，并且以较低成本实现实时处理。摄像装置1300还使用图像编码设备100作为编码器1341。与图像编码设备100的情况类似，编码器1341基于从图像数据提取的特征量关于是否对相邻像素进行采样执行确定，以及关于执行采样时的采样方法和内插方法进行确定，在必要时对相邻像素进行采样，并且存储像素。编码器1341读出执行帧内预测时的相邻像素，并且在必要时内插像素以重构相邻像素。编码器1341然后通过使用重构的相邻像素生成预测图像，并且通过使用预测图像根据剩余信息生成编码数据。编码器1341因此可以减少帧内预测所需的存储量。因此，摄像装置1300可以例如减少在生成要记录在DRAM 1318和记录介质1333上的编码数据和要提供到其它装置的编码数据时的帧内预测所需的存储量，并且可以以较小成本实现实时处理。注意，用于图像解码设备200的解码方法可应用于控制器1321执行的解码。类似地，用于图像编码设备100的编码方法可应用于控制器1321执行的编码。此外，摄像装置1300获取的图像数据可以是运动图像或静止图像。
不必说，图像编码设备100和图像解码设备200也可以应用于除上述之外的设备或系统。注意，本技术还可以具有如下配置。(I) 一种图像处理设备，包括采样单元，根据要被编码的图像在水平方向上的大小或者通过分割所述图像所获得的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样；重构单元，通过使用所述采样单元采样的像素值来执行内插，以重构所述相邻像素；预测图像生成单元，通过使用所述重构单元重构的相邻像素来执行所述帧内预测，以生成预测图像；以及编码单元，通过使用所述预测图像生成单元生成的预测图像来对所述图像进行编码。(2)根据(I)所述的图像处理设备，还包括确定单元，确定是否执行所述使在帧内预测中要用作相邻像素的像素值稀疏化的采样，其中，所述采样单元在所述确定单元确定执行所述采样时执行所述采样。 ( 3 )根据(2 )所述的图像处理设备，其中，所述确定单元根据所述图像的内容或者在对所述图像编码时的图片类型来确定是否执行所述采样。(4)根据(2)所述的图像处理设备，还包括采样方法确定单元，当所述确定单元确定执行所述采样时，根据所述图像在水平方向上的大小或所述区域在垂直方向上的大小确定所述采样的方法，其中，所述采样单元通过所述采样方法确定单元确定的方法执行所述采样。( 5 )根据(4 )所述的图像处理设备，其中，所述采样方法确定单元根据所述图像的内容确定所述采样的方法。( 6 )根据(4 )所述的图像处理设备，其中，所述采样方法确定单元根据在对所述图像编码时的图片类型来确定所述采样的方法。(7)根据(4)至(6)中任一项所述的图像处理设备，其中，所述采样方法确定单元确定所述内插的方法，以及
所述重构单元通过所述采样方法确定单元确定的所述内插的方法执行所述内插，以重构所述相邻像素。(8)根据(I)至(7)中任一项所述的图像处理设备，其中，所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分和最右像素列的一部分进行采样。(9)根据(I)至(7)中任一项所述的图像处理设备，其中，所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分进行采样。(10)根据(I)至(9)中任一项所述的图像处理设备，还包括特征量提取单元，提取所述图像的特征量，其中， 所述确定单元根据所述特征量提取单元提取作为所述图像的特征量的、所述图像在水平方向上的大小或者所述区域在垂直方向上的大小来确定是否执行所述采样。(11)根据(I)至(10)中任一项所述的图像处理设备，其中，所述编码单元传送所述预测图像生成单元生成的预测图像、通过对来自所述图像的每个所述区域的差异信息进行编码所获得的编码数据、以及表示所述采样单元是否执行所述采样的信息。(12 )根据(11)所述的图像处理设备，其中，所述编码单元传送通过对所述差异信息进行编码所获得的所述编码数据以及表示所述采样单元执行的采样的方法的信息。(13) 一种用于图像处理设备的图像处理方法，包括由采样单元根据要被编码的图像在水平方向上的大小或者所述图像被分割而成的矩阵中的区域在垂直方向上的大小，执行使在帧内预测中用作相邻像素的像素值稀疏化的采样；由重构单元通过使用采样后的像素值来执行内插，以重构所述相邻像素；由预测图像生成单元通过使用重构后的相邻像素来执行所述帧内预测，以生成预测图像；以及由编码单元通过使用所生成的预测图像来对所述图像进行编码。(14) 一种图像处理设备，包括解码单元，对通过对图像进行编码所获得的编码数据进行解码；采样单元，根据通过所述解码单元对所述编码数据进行解码所获得的图像在水平方向上的大小或者所述图像被分割而成的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样；重构单元，通过使用所述采样单元采样的像素值来执行内插，以重构所述相邻像素；以及预测图像生成单元，通过使用所述重构单元重构的相邻像素来执行所述帧内预测，以生成预测图像。(15)根据(14)所述的图像处理设备，还包括确定单元，确定是否执行所述使在帧内预测中要用作相邻像素的像素值稀疏化的采样；以及
采样方法确定单元，当所述确定单元确定执行所述采样时，根据所述图像在水平方向上的大小或所述区域在垂直方向上的大小确定所述采样的方法，其中，所述采样单元在所述确定单元确定执行所述采样时，通过所述采样方法确定单元确定的方法来执行所述采样。(16)根据(14)或(15)所述的图像处理设备，其中，所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分和最右像素列的一部分进行采样。(17)根据(14)或(15)所述的图像处理设备，其中，所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分进行采样。
(18)根据(14)至(17)中任一项所述的图像处理设备，其中，所述解码单元获取所传送的、通过对所述预测图像与所述图像的每个所述区域之间的差异信息进行编码所获得的编码数据以及表示所述采样单元是否执行所述采样的信
肩、O(19)根据(18)所述的图像处理设备，其中，所述解码单元获取所传送的、通过对所述差异信息进行编码所获得的所述编码数据以及表示所述采样单元执行的采样的方法的信息。(20) 一种用于图像处理设备的图像处理方法，包括由解码单元对通过对图像进行编码所获得的编码数据进行解码；由采样单元根据通过对所述编码数据进行解码所获得的图像在水平方向上的大小或者所述图像被分割而成的区域在垂直方向上的大小，执行使在帧内预测中用作相邻像素的像素值稀疏化的采样；由重构单元通过使用采样后的像素值来执行内插，以重构所述相邻像素；以及由预测图像生成单元通过使用重构后的相邻像素来执行所述帧内预测，以生成预测图像。附图标记列表100图像编码设备114帧内预测单元121特征量提取单元122采样执行确定单元123采样方法确定单元151采样单元152重构像素存储单元153相邻像素重构单元154预测图像生成单元200图像解码设备211帧内预测单元231控制单元232采样单元
233重构像素存储单元
234相邻像素重构单元235预测图像生成单元
权利要求
1.一种图像处理设备，包括 采样单元，根据要被编码的图像在水平方向上的大小或者通过分割所述图像所获得的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样； 重构单元，通过使用所述采样单元采样的像素值来执行内插，以重构所述相邻像素； 预测图像生成单元，通过使用所述重构单元重构的相邻像素来执行所述帧内预测，以生成预测图像；以及 编码单元，通过使用所述预测图像生成单元生成的预测图像来对所述图像进行编码。
2.根据权利要求I所述的图像处理设备，还包括 确定单元，确定是否执行所述使在帧内预测中要用作相邻像素的像素值稀疏化的采样，其中 所述采样单元在所述确定单元确定执行所述采样时执行所述采样。
3.根据权利要求2所述的图像处理设备，其中， 所述确定单元根据所述图像的内容或者在对所述图像编码时的图片类型来确定是否执行所述采样。
4.根据权利要求2所述的图像处理设备，还包括 采样方法确定单元，当所述确定单元确定执行所述采样时，根据所述图像在水平方向上的大小或所述区域在垂直方向上的大小确定所述采样的方法，其中 所述采样单元通过所述采样方法确定单元确定的方法执行所述采样。
5.根据权利要求4所述的图像处理设备，其中， 所述采样方法确定单元根据所述图像的内容确定所述采样的方法。
6.根据权利要求4所述的图像处理设备，其中， 所述采样方法确定单元根据在对所述图像编码时的图片类型来确定所述采样的方法。
7.根据权利要求4所述的图像处理设备，其中， 所述采样方法确定单元确定所述内插的方法，以及 所述重构单元通过所述采样方法确定单元确定的所述内插的方法执行所述内插，以重构所述相邻像素。
8.根据权利要求I所述的图像处理设备，其中， 所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分和最右像素列的一部分进行采样。
9.根据权利要求I所述的图像处理设备，其中， 所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分进行采样。
10.根据权利要求I所述的图像处理设备，还包括 特征量提取单元，提取所述图像的特征量，其中， 所述确定单元根据所述特征量提取单元提取作为所述图像的特征量的、所述图像在水平方向上的大小或者所述区域在垂直方向上的大小来确定是否执行所述采样。
11.根据权利要求I所述的图像处理设备，其中， 所述编码单元传送所述预测图像生成单元生成的预测图像、通过对来自所述图像的每个所述区域的差异信息进行编码所获得的编码数据、以及表示所述采样单元是否执行所述采样的信息。
12.根据权利要求11所述的图像处理设备，其中， 所述编码单元传送通过对所述差异信息进行编码所获得的所述编码数据以及表示所述采样单元执行的采样的方法的信息。
13.一种用于图像处理设备的图像处理方法，包括 由采样单元根据要被编码的图像在水平方向上的大小或者所述图像被分割而成的矩阵中的区域在垂直方向上的大小，执行使在帧内预测中用作相邻像素的像素值稀疏化的采样； 由重构单元通过使用采样后的像素值来执行内插，以重构所述相邻像素； 由预测图像生成单元通过使用重构后的相邻像素来执行所述帧内预测，以生成预测图像；以及 由编码单元通过使用所生成的预测图像来对所述图像进行编码。
14.一种图像处理设备，包括 解码单元，对通过对图像进行编码所获得的编码数据进行解码； 采样单元，根据通过所述解码单元对所述编码数据进行解码所获得的图像在水平方向上的大小或者所述图像被分割而成的区域在垂直方向上的大小，执行使在帧内预测中要用作相邻像素的像素值稀疏化的采样； 重构单元，通过使用所述采样单元采样的像素值来执行内插，以重构所述相邻像素；以及 预测图像生成单元，通过使用所述重构单元重构的相邻像素来执行所述帧内预测，以生成预测图像。
15.根据权利要求14所述的图像处理设备，还包括 确定单元，确定是否执行所述使在帧内预测中要用作相邻像素的像素值稀疏化的采样；以及 采样方法确定单元，当所述确定单元确定执行所述采样时，根据所述图像在水平方向上的大小或所述区域在垂直方向上的大小确定所述采样的方法，其中， 所述采样单元在所述确定单元确定执行所述采样时，通过所述采样方法确定单元确定的方法来执行所述采样。
16.根据权利要求14所述的图像处理设备，其中， 所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分和最右像素列的一部分进行采样。
17.根据权利要求14所述的图像处理设备，其中， 所述采样单元对所述图像被分割而成的每个所述区域中的最下像素行的一部分进行采样。
18.根据权利要求14所述的图像处理设备，其中， 所述解码单元获取所传送的、通过对所述预测图像与所述图像的每个所述区域之间的差异信息进行编码所获得的编码数据以及表示所述采样单元是否执行所述采样的信息。
19.根据权利要求18所述的图像处理设备，其中， 所述解码单元获取所传送的、通过对所述差异信息进行编码所获得的所述编码数据以及表示所述采样单元执行的采样的方法的信息。
20.一种用于图像处理设备的图像处理方法，包括 由解码单元对通过对图像进行编码所获得的编码数据进行解码； 由采样单元根据通过对所述编码数据进行解码所获得的图像在水平方向上的大小或者所述图像被分割而成的区域在垂直方向上的大小，执行使在帧内预测中用作相邻像素的像素值稀疏化的采样； 由重构单元通过使用采样后的像素值来执行内插，以重构所述相邻像素；以及 由预测图像生成单元通过使用重构后的相邻像素来执行所述帧内预测，以生成预测图像。
全文摘要
公开了一种能够减少在帧内预测时所需的存储量的图像处理设备和方法。该设备被设置有采样单元，根据编码图像在水平方向上的大小或者上述图像被分割而成的区域在垂直方向上的大小，执行采集在帧内预测中用作相邻像素的像素值的采样；重构单元，使用由上述采样单元采样的上述像素值来执行内插处理，并重构上述相邻像素；预测图像生成单元，使用由上述重构单元重构的上述相邻像素来执行上述帧内预测，并且生成预测图像；以及编码单元，使用由上述预测图像生成单元生成的上述预测图像来对上述图像进行编码。本技术可以例如应用在图像处理设备中。
文档编号H04N7/32GK102823254SQ20118001757
公开日2012年12月12日 申请日期2011年3月31日 优先权日2010年4月9日
发明者小川一哉 申请人:索尼公司