图像处理设备和方法与流程

本申请是国家申请号为201280004667.8，进入中国国家阶段的日期为2013年7月4日，发明名称为“图像处理设备和方法”的pct申请的分案申请。

本公开涉及一种图像处理设备和方法，并且更具体地涉及一种能够增强编码效率而同时抑制编码处理效率的降低的图像处理设备和方法。

背景技术：

近年来，与诸如mpeg(运动专家图像组)的压缩格式兼容的设备已经变得广泛用于广播站的信息发布和普通家庭的信息接收两者中，在该压缩格式中，针对获得信息的高效率传送和累积的目的、通过利用图像信息所特有的冗余，对图像信息进行数字处理并且使用正交变换(诸如，离散余弦变换)和运动补偿对图像信息进行压缩。

具体地，mpeg-2(iso(国际标准化组织)/iec(国际电工委员会)13818-2)被定义为通用图像编码格式，是涵盖了隔行扫描图像和渐近扫描图像两者以及标准清晰度图像和高清晰度图像的标准，以及当前被广泛地用于针对专业用途和消费者用途的大范围的应用。采用mpeg-2压缩格式，例如，通过将4至8mbps的编码量(比特率)分配给具有720×480像素的标准清晰度隔行扫描图像，或通过将18至22mbps的编码量(比特率)分配给具有1920×1088像素的高清晰度隔行扫描图像，可以实现高压缩率和良好的图像质量。

mpeg-2主要用于适合于广播的高图像质量编码，但是不与具有低于mpeg-1的编码量(比特率)的编码量(即，较高的压缩率)的编码格式兼容。随着移动终端的广泛使用，将来对于这样的编码格式的需求将会增加，并且作为响应，mpeg-4编码格式被标准化。关于图像编码格式，mpeg-4在1998年12月作为iso/iec14496-2被指定为国际标准。

此外，近年来，最初针对用于视频会议的图像编码的目的的格式h.26l(itu-t(国际电信联盟远程通信标准部)q6/16vceg(视频编码专家组))的标准化处于发展之中。已知尽管根据h.26l的编码和解码涉及较大的计算量，但是相比于之前的编码格式(诸如mpeg-2和mepg-4)，h.26l实现了较高的编码效率。另外，当前，作为mpeg-4活动的一部分，基于h.26l、通过引入h.26l所不支持的功能，用于实现较高编码效率的标准化正进行作为增强压缩视频编码的联合模型。

作为标准化的日程，在2003年3月被称为h.264和mpeg-4部分10(高级视频编码，在下文中称为avc)的标准被指定为国际标准。

此外，作为以上的扩展，在2005年2月完成了frext(保真度范围扩展)的标准化，frext标准化包括商业使用所需要的编码工具(诸如，rgb、4：2：2、以及4：4：4)以及在mpeg-2中所定义的8×8dct(离散余弦变换)和量化矩阵。因此，已经建立了如下编码格式：该编码格式通过使用avc甚至能够良好地表达电影中所包括的胶卷噪声，该编码格式被用于广泛的应用(诸如，蓝光盘)。

但是，近来对于以较高压缩率进行编码存在增长的需求，例如具有大约4000×2000像素(其为高清晰度图像中所包括的像素数的四倍)的图像的压缩，或在具有有限的传送容量的环境中(诸如，因特网)的高清晰度图像的分发。因此，在itu-t下的vceg(视频编码专家组)中，针对增强编码效率已经执行了进行中的研究。

同时，针对实现相比于avc更高的编码效率的目的，当前，作为itu-t和iso/iec的标准化组的jctvc(联合合作组-视频编码)正在进行被称为hevc(高效率视频编码)的编码格式的标准化(例如，参见npl1)。

在hevc编码格式中，编码单位(cu)被定义为与avc中所使用的宏块类似的处理单位。不同于avc中所使用的宏块，cu的尺寸未被固定为16×16个像素，而是在每个序列的图像压缩信息中指定cu的尺寸。

从最大编码单位(lcu)到最小编码单位(scu)层级地对cu进行配置。即，通常可以认为lcu对应于在avc中所使用的宏块，并且在低于lcu的层中的cu对应于avc中所使用的子宏块。

同时，存在如下编码格式：在该编码格式中，提供了用于对图像数据进行编码并且输出图像数据的编码模式和用于输出图像数据而不对图像数据进行编码的非编码模式，以宏块为单位来选择是要使用编码模式还是非编码模式，并且在单一图片中可以组合地使用编码模式和非编码模式(例如，参见ptl1)。另外，在avc编码格式中，用于输出图像数据而不对图像数据进行编码的i_pcm模式被支持为mb_type(例如，参见ptl2)。这是用于在量化参数被设置为较小的值(诸如qp＝0)的情况下以及在编码数据的信息量大于输入图像的信息量的情况下，确保算术编码处理的实时操作。另外，可以通过使用i-pcm实现无损编码。

另外，提出了一种用于增加内部运算的方法(例如，参见npl2)。因此，可以减少在处理(诸如正交变换和运动补偿)中所导致的内部运算误差，并且可以增强编码效率。

此外，提出了一种在运动补偿环路中设置fir滤波器的技术(例如，参见npl3)。在编码设备中，通过使用维纳(wiener)滤波器获得fir滤波器系数以便使关于输入图像的误差最小化，可以使参考图像的退化最小化，以及可以增强要输出的图像压缩信息的编码效率。

引用列表

专利文献

ptl1：日本专利第3992303号

ptl2：日本专利第4240283号

非专利文献

npl1：“testmodelunderconsideration”，jctvc-b205，jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg112ndmeeting:geneva,ch,21-28july,2010

npl2：takeshichujoh，reikonoda，“internalbitdepthincreaseexceptframememory”,vceg-af07,itu-telecommunicationsstandardizationsectionstudygroup16question6videocodingexpertsgroup(vceg)32ndmeeting：sanjose，usa，20-21april，2007

npl3：takeshichujoh，gokiyasuda，naofumiwada，takashiwatanabe，tomooyamakage，“block-basedadaptiveloopfilter”,vceg-ai18，itu-telecommunicationsstandardizationsectionstudygroup16question6videocodingexpertsgroup(vceg)35thmeeting：berlin，germany，16-18july，2008

技术实现要素：

技术问题

但是，在如同hevc中一样定义cu以及以cu为单位执行各种处理操作的编码格式的情况下，考虑到在avc中所使用的宏块对应于lcu，但是如果仅可以以lcu为单位设置i_pcm，则因为处理的单位为最大的128×128个像素，所以增加了不需要的编码处理，并且可能降低编码处理的效率。例如，可能难以确保cabac的实时操作。

另外，在npl2和npl3中所提出的编码格式未被包括在avc编码格式中，并且其中未公开与i_pcm模式的兼容性。

鉴于这些情况提出了本公开，并且本公开旨在增强编码效率而同时抑制编码处理效率的降低。

问题的解决方案

根据本公开的方面，提供了一种图像处理设备。该图像处理设备包括：解码器，以通过对最大编码单位进行递归分割而得到的编码单位为单位，对包含被设置为非压缩模式的编码单位的非编码数据的编码数据进行解码，以生成图像数据，非压缩模式是将图像数据作为编码数据的编码模式；以及控制器，对包含所述非编码数据的编码单位执行控制，以跳过对由解码器生成的图像数据在去块滤波器处理之后执行的滤波器处理。

根据本公开的方面，提供了一种用于图像处理设备的图像处理方法。该图像处理方法包括：以通过对最大编码单位进行递归分割而得到的编码单位为单位，对包含被设置为非压缩模式的编码单位的非编码数据的编码数据进行解码，以生成图像数据，非压缩模式是将图像数据作为编码数据的编码模式；以及对包含所述非编码数据的编码单位执行控制，以跳过对由解码生成的图像数据在去块滤波器处理之后执行的滤波器处理。

根据本公开的方面，提供了一种图像处理设备。该图像处理设备包括：编码模式设置器，以具有层级结构的编码单位为单位，设置是否要选择非压缩模式作为用于对图像数据进行编码的编码模式，非压缩模式是图像数据作为编码数据而输出的编码模式；以及编码器，依照由编码模式设置器所设置的模式、以编码单位为单位对图像数据进行编码。

图像处理设备还可以包括：移位处理控制器，对由编码模式设置器设置了非压缩模式的编码单位执行控制以跳过移位处理，在移位处理中，增加用于编码或解码位精度；以及移位处理器，对图像数据的编码单位执行移位处理，该编码单位由移位处理控制器所控制以便经历移位处理。

图像处理设备还可以包括：滤波器处理控制器，对由编码模式设置器设置了非压缩模式的编码单位执行控制以跳过滤波器处理，在滤波器处理中，对本地解码图像执行滤波；滤波器系数计算器，通过使用与由滤波器处理控制器所控制以便经历滤波器处理的编码单位相对应的图像数据来计算用于滤波器处理的滤波器系数；以及滤波器处理器，通过使用由滤波器系数计算器所计算的滤波器系数来以块为单位执行滤波器处理，该块是滤波器处理的单位。

滤波器处理器可以仅对由滤波器处理控制器控制以便经历滤波器处理的像素执行滤波器处理，该像素包括在作为要处理的目标的当前块中。

图像处理设备还可以包括：滤波器标识信息生成器，以块为单位生成滤波器标识信息，滤波器标识信息是指示是否要执行滤波器处理的标识信息。

滤波器处理器可以对本地编码图像执行自适应环路滤波，自适应环路滤波是使用分类处理的自适应滤波器处理。

在通过对与作为编码处理的目标的当前编码单位相对应的图像数据进行编码而获得的编码数据的编码量小于或等于作为与当前编码单位相对应的图像数据的数据量的输入数据的量的情况下，编码模式设置器可以将当前编码单位的编码模式设置为非压缩模式。

图像处理设备还可以包括：输入数据量计算器，计算输入数据的量。编码模式设置器可以关于当前编码单位，将由输入数据量计算器所计算的输入数据的量与编码量进行比较。

图像处理设备还可以包括：标识信息生成器，以编码单位为单位生成标识信息，标识信息指示编码模式设置器是否设置了非压缩模式。

根据本公开的方面，提供了一种用于图像处理设备的图像处理方法。该图像处理方法包括：采用编码模式设置器、以具有层级结构的编码单位为单位，设置是否要选择非压缩模式作为用于对图像数据进行编码的编码模式，非压缩模式是图像数据作为编码数据而输出的编码模式；以及，采用编码器，依照所设置的模式、以编码单位为单位对图像数据进行编码。

根据本公开的另一方面，提供了一种图像处理设备。该图像处理设备包括：编码模式确定器，以具有层级结构的编码单位为单位，确定非压缩模式是否被选择作为用于对图像数据进行编码的编码模式，非压缩模式是图像数据作为编码数据而输出的编码模式；以及解码器，依照由编码模式确定器所确定的模式、以编码单位为单位对编码结果进行解码。

图像处理设备还可以包括：移位处理控制器，对由编码模式确定器确定为选择了非压缩模式的编码单位执行控制，以跳过移位处理，在移位处理中增加了用于编码或解码的位精度；以及移位处理器，对图像数据的编码单位执行移位处理，编码单位由移位处理控制器所控制以便经历移位处理。

图像处理设备还可以包括：滤波器处理控制器，对由编码模式确定器确定为选择了非压缩模式的编码单位执行控制，以跳过滤波器处理，在滤波器处理中对本地解码图像执行滤波；以及滤波器处理器，以块为单位对图像数据执行滤波器处理，该块是滤波器处理的单位。滤波器处理器可以仅对由滤波器处理控制器控制以便经历滤波器处理的像素执行滤波处理，该像素包括作为要处理的目标的当前块中。

滤波器处理器可以对本地解码图像执行自适应环路滤波，自适应环路滤波是使用分类处理的自适应滤波器处理。

在指示是否执行了滤波器处理的滤波器标识信息指示对与作为要处理的目标的当前块相对应的图像数据执行了滤波器处理的情况下，仅当滤波器处理控制器执行控制以便对当前块中所包括的所有像素执行滤波器处理时，滤波器处理器可以执行滤波器处理。

编码模式确定器可以基于指示是否以编码单位为单位选择了非压缩模式的标识信息来确定是否选择了非压缩模式。

根据本公开的另一方面，提供了一种用于图像处理设备的图像处理方法。该图像处理方法包括：采用编码模式确定器，以具有层级结构的编码单位为单位，确定是否选择了非压缩模式作为用于对图像数据进行编码的编码模式，非压缩模式是图像数据作为编码数据而输出的编码模式；以及采用解码器，依照所确定的模式、以编码单位为单位对编码数据进行解码。

根据本公开的方面，以具有层级结构的编码单位为单位来设置是否要选择非压缩模式作为用于对图像数据进行编码的编码模式，非压缩模式是图像数据作为编码数据而输出的编码模式，并且依照所设置的模式、以编码单位为单位对图像数据进行编码。

根据本公开的另一方面，以具有层级结构的编码单位为单位来确定是否选择了非压缩模式作为用于对图像数据进行编码的编码模式，非压缩模式是图像数据作为编码数据而输出的编码模式，并且依照所确定的模式、以编码单位为单位对编码数据进行解码。

发明的有利效果

根据本公开，可以对图像进行处理。具体地，可以增强编码效率而同时抑制编码处理效率的降低。

附图说明

图1是示出输出基于avc编码格式的图像压缩信息的图像编码设备的框图。

图2是示出接收基于avc编码格式的图像压缩信息的图像解码设备的框图。

图3是示出宏块的类型的示例的图。

图4是示出描述编码单位的示例配置的图。

图5是描述用于增加内部运算中的比特量的方法的图。

图6是描述自适应环路滤波器的图。

图7是示出图像编码设备的主要示例配置的框图。

图8是示出图7中的无损编码器、环路滤波器以及pcm编码器的主要示例配置的框图。

图9是示出图8中的pcm决定单元的主要示例配置的框图。

图10是描述编码处理的流程的示例的流程图。

图11是描述pcm编码控制处理的流程的示例的流程图。

图12是描述pcm编码处理的流程的示例的流程图。

图13是描述参考图像生成处理的流程的示例的流程图。

图14是描述环路滤波器处理的流程的示例的流程图。

图15是示出图像解码设备的主要示例配置的框图。

图16是示出图15中的无损解码器、环路滤波器以及pcm解码器的主要示例配置的框图。

图17是描述解码处理的流程的示例的流程图。

图18是继续图17、描述解码处理的流程的示例的流程图。

图19是描述环路滤波器处理的流程的示例的流程图。

图20是描述i_pcm信息的示例的图。

图21是示出个人计算机的主要示例配置的框图。

图22是示出电视接收机的主要示例配置的框图。

图23是示出移动电话的主要示例配置的框图。

图24是示出硬盘记录器的主要示例配置的框图。

图25是示出摄像装置的主要示例配置的框图。

具体实施方式

在下文中，将描述用于实施本技术的实施例(在下文中称为实施例)。注意将按照下面的顺序进行描述。

1.第一实施例(图像编码设备)

2.第二实施例(图像解码设备)

3.第三实施例(个人计算机)

4.第四实施例(电视接收机)

5.第五实施例(移动电话)

6.第六实施例(硬盘记录器)

7.第七实施例(摄像装置)

<1.第一实施例>

[与avc编码格式兼容的图像编码设备]

图1示出了根据实施例的图像编码设备的配置，该图像编码设备使用h.264和mpeg(运动专家组)4部分10(avc(先进视频编码))编码格式对图像进行编码。

图1中所示的图像编码设备100是使用基于avc标准的编码格式对图像进行编码并且输出编码图像的设备。如在图1中所示，图像编码设备100包括a/d转换器101、画面重排缓冲器102、计算单元103、正交变换单元104、量化器105、无损编码器106以及累积缓冲器107。另外，图像编码设备100包括去量化器108、逆正交变换单元109、计算单元110、去块滤波器111、帧存储器112、选择器113、帧内预测单元114、运动预测/补偿单元115、选择器116以及码率控制器117。

a/d转换器101对输入至其的图像数据进行a/d转换，并且将图像数据输出至画面重排缓冲器102以将图像数据存储在其中。画面重排缓冲器102依照gop(图片组)结构对以显示顺序排列的、存储在其中的帧图像进行重排，以使得以编码顺序对帧图像进行重排。画面重排缓冲器102将重排的帧图像供给至计算单元103。另外，画面重排缓冲器102将重排的帧图像供给至帧内预测单元114和运动预测/补偿单元115

计算单元103在从画面重排缓冲器102所读出的图像中减去从帧内预测单元114或运动预测/补偿单元115经由选择器116所供给的预测图像，并且将其差分信息输出至正交变换单元104。

例如，在要对其执行帧内编码的图像的情况下，计算单元103在从画面重排缓冲器102所读出的图像中减去从帧内预测单元114所供给的预测图像。另外，例如，在要对其执行帧间编码的图像的情况下，计算单元103在从画面重排缓冲器102所读出的图像中减去从运动预测/补偿单元115所供给的预测图像。

正交变换单元104对从计算单元103所供给的差分信息执行正交变换(诸如，离散余弦变换或karhunen-loeve变换)，并且将其变换系数供给至量化器105。

量化器105对从正交变换单元104所输出的变换系数进行量化。量化器105通过基于与从码率控制器117所供给的编码量的目标值有关的信息设置量化参数来执行量化。量化器105将量化的变换系数供给至无损编码器106。

无损编码器106对量化的变换系数执行无损编码(诸如可变长度编码或算术编码)。在由码率控制器117所执行的控制之下对系数数据进行量化，并且因此其编码量等于(或近似于)由码率控制器117所设置的目标值。

无损编码器106从帧内预测单元114获取指示帧内预测的信息等，并且从运动预测/补偿单元115获取指示帧间预测模式的信息、运动向量信息等。注意在下文中指示帧内预测(帧内画面预测)的信息还将被称为帧内预测模式信息。另外，指示如下信息模式的信息还将被称为帧间预测模式信息：该信息模式指示帧间预测(帧间画面预测)。

无损编码器106对量化的变换系数进行编码，并且还使得各种信息(诸如滤波器系数、帧内预测模式信息、帧间预测模式信息以及量化参数)成为编码数据的头信息的一部分(对各种信息进行复用)。无损编码器106将通过编码所获得的编码数据供给至累积缓冲器107以将编码数据存储在其中。

例如，在无损编码器106中，执行无损编码处理(诸如可变长度编码或算术编码)。可变长度编码的示例包括在h.264/avc格式中所定义的cavlc(上下文自适应可变长度编码)。算术编码的示例包括cabac(上下文自适应二进制算术编码)。

累积缓冲器107暂时保存从无损编码器106所供给的编码数据，并且例如在特定定时将编码数据输出至在随后阶段(未示出)的记录装置或传送信道，作为使用h.264/avc格式进行编码的编码图像。

另外，由量化器105所量化的变换系数还被供给至去量化器108。去量化器108使用与由量化器105所执行的量化相对应的方法对量化的变换系数进行去量化。去量化器108将由此所获得的变换系数供给至逆正交变换单元109。

逆正交变换单元109使用与由正交变换单元104所执行的正交变换处理相对应的方法对供给至其的变换系数执行逆正交变换。通过逆正交变换所获得的输出(恢复的差分信息)被供给计算单元110。

计算单元110将从帧内预测单元114或运动预测/补偿单元115经由选择器116所供给的预测图像加到从逆正交变换单元109所供给的逆正交变换的结果(即，恢复的差分信息)，并且获得本地解码图像(解码图像)。

例如，在差分信息对应于要对其执行帧内编码的图像的情况下，计算单元110将从帧内预测单元114所供给的预测图像加到差分信息。另外，例如，在差分信息对应于要对其执行帧间编码的图像的情况下，计算单元110将从运动预测/补偿单元115所供给的预测图像加到差分信息。

相加的结果被供给至去块滤波器111或帧存储器112。

去块滤波器111适当地执行去块滤波器处理，由此移除解码图像的块失真。去块滤波器111将滤波器处理的结果供给至帧存储器112。注意从计算单元110所输出的解码图像可以不经由去块滤波器111而被供给至帧存储器112。即，可以跳过由去块滤波器111所进行的去块滤波器处理。

帧存储器112存储供给至其的解码图像，并且在特定定时将所存储的解码图像作为参考图像经由选择器113输出至帧内预测单元114或运动预测/补偿单元115。

例如，在要对其执行帧内编码的图像的情况下，帧存储器112将参考图像经由选择器113供给至帧内预测单元114。另外，例如，在要执行帧间编码的情况下，帧存储器112将参考图像经由选择器113供给至运动预测/补偿单元115。

在从帧存储器112所供给的参考图像是要对其执行帧内编码的图像的情况下，选择器113将参考图像供给至帧内预测单元114。另一方面，在从帧存储器112所供给的参考图像是要对其执行帧间编码的图像的情况下，选择器113将参考图像供给至运动预测/补偿单元115。

帧内预测单元114执行帧内预测(帧内画面预测)，在帧内预测中，使用经由选择器113从帧存储器112所供给的要处理的目标图像的像素值生成预测图像。帧内预测单元114使用多个所准备的模式(帧内预测模式)执行帧内预测。

在h.264图像信息编码格式中，针对亮度信号定义了帧内4×4预测模式、帧内8×8预测模式、以及帧内16×16预测模式。另外，关于色差信号，针对各个宏块可以定义独立于亮度信号的预测模式的预测模式。关于帧内4×4预测模式，对于每个4×4亮度块定义一个帧内预测模式。关于帧内8×8预测模式，对于每个8×8亮度块定义一个帧内预测模式。关于帧内16×16预测模式和色差信号，对于一个宏块定义一个预测模式。

帧内预测单元114使用所有候选帧内预测模式生成预测图像，使用从画面重排缓冲器102所供给的输入图像来评估各个预测图像的成本函数值，以及选择最佳模式。在选择了最佳帧内预测模式中，帧内预测单元114将使用最佳模式所生成的预测图像经由选择器116供给至计算单元103和计算单元110。

另外，如上所述，帧内预测单元114适当地将信息(诸如指示所采用的帧内预测模式的帧内预测模式信息)供给至无损编码器106。

运动预测/补偿单元115使用从画面重排缓冲器102所供给的输入图像和经由选择器113从帧存储器112所供给的参考图像来对要对其执行帧间编码的图像执行运动预测(帧间预测)，依照所检测的运动向量来执行运动补偿处理，以及生成预测图像(帧间预测图像信息)。运动预测/补偿单元115使用多个所准备的模式(帧间预测模式)来执行这样的帧间预测。

运动预测/补偿单元115使用所有候选帧间预测模式来生成预测图像，评估各个预测图像的成本函数值，以及选择最佳模式。运动预测/补偿单元115将所生成的预测图像经由选择器116供给至计算单元103和计算单元110。

另外，运动预测/补偿单元115将指示所采用的帧间预测模式的帧间预测模式信息和指示所计算的运动向量的运动向量信息供给至无损编码器106。

在要对其执行帧内编码的图像的情况下，选择器116将帧内预测单元114的输出供给至计算单元103和计算单元110。在要对其执行帧间编码的图像的情况下，选择器116将运动预测/补偿单元115的输出供给至计算单元103和计算单元110。

码率控制器117基于在累积缓冲器107中所累积的压缩图像来控制由量化器105所执行的量化操作的比率，以使得不发生上溢或下溢。

[与avc编码格式兼容的图像解码设备]

图2是示出使用正交变换(诸如离散余弦变换或karhunen-loeve)和运动补偿来实现图像压缩的图像解码设备的主要示例配置的框图。图2中所示的图像解码设备200是与图1中所示的图像编码设备100相对应的解码设备。

由图像编码设备100所编码的编码数据经由任意路径(例如，传送信道、记录介质等)被供给至与图像编码设备100相对应的图像解码设备200，并且被解码。

如在图2中所示，图像解码设备200包括累积缓冲器201、无损解码器202、去量化器203、逆正交变换单元204、计算单元205、去块滤波器206、画面重排缓冲器207、以及d/a转换器208。另外，图像解码设备200包括帧存储器209、选择器210、帧内预测单元211、运动预测/补偿单元212、以及选择器213。

累积缓冲器201对传送至其的编码数据进行累积。编码数据已由图像编码设备100所编码。无损解码器202使用与由图1中所示的无损编码器106所使用的编码格式相对应的格式，对在特定定时从累积缓冲器201所读出的编码数据进行解码。

另外，在对目标帧进行帧内编码的情况下，帧内预测模式信息被存储在编码数据的头部分中。无损解码器202还对帧内预测模式信息进行解码，并且将该信息供给至帧预测单元211。相反，在对目标帧执行帧间编码的情况下，运动向量信息被存储在编码数据的头部分中。无损解码器202还对运动向量信息进行解码，并且将该信息供给至运动预测/补偿单元212。

去量化器203使用与由图1中所示的量化器105所使用的量化方法相对应的方法，对通过由无损解码器202所执行的解码所获得的系数数据(量化的系数)进行去量化。即，去量化器203使用与由图1中所示的去量化器108所使用的方法类似的方法来对量化的系数进行去量化。

去量化器203将去量化的系数数据(即，正交变换系数)供给至逆正交变换单元204。逆正交变换单元204使用与由图1中所示的正交变换单元104所使用的正交变换方法相对应的方法(与由图1中所示的逆正交变换单元109所使用的方法类似的方法)，对正交变换系数执行逆正交变换，并且获得与由图像编码设备100执行正交变换之前的残差数据相对应的解码残差数据。例如，执行四阶逆正交变换。

通过逆正交变换所获得的解码残差数据被供给至计算单元205。另外，将来自帧内预测单元211或运动预测/补偿单元212的预测信息经由选择器213供给至计算单元205。

计算单元205将解码残差数据和预测图像相加，由此获得与如下图像数据相对应的解码图像数据：未由图像编码设备100的计算单元103从该图像数据中减去预测图像。计算单元205将解码图像数据供给至去块滤波器206。

去块滤波器206移除供给至其的解码图像的块失真，并且将解码的图像供给至画面重排缓冲器207。

画面重排缓冲器207对图像进行重排。即，对由图1中所示的画面重排缓冲器102以编码顺序所重排的帧以原始显示顺序进行重排。d/a转换器208对从画面重排缓冲器207所供给的图像进行d/a转换，并且将图像输出至显示器(未示出)以在其上显示图像。

去块滤波器206的输出还被供给至帧存储器209。

帧存储器209、选择器210、帧内预测单元211、运动预测/补偿单元212以及选择器213分别地对应于图像编码设备100的帧存储器112、选择器113、帧内预测单元114、运动预测/补偿单元115以及选择器116。

选择器210从帧存储器209读出要对其执行帧间处理的图像和参考图像，并且将图像供给至运动预测/补偿单元212。另外，选择器210从帧存储器209读出用于帧内预测的图像，并且将图像供给至帧内预测单元211。

例如，从无损解码器202适当地向帧内预测单元211供给指示通过对头信息进行解码所获得的帧内预测模式的信息。帧内预测单元211基于该信息，根据从帧存储器209所获得的参考图像生成预测图像，并且将所生成的预测图像供给至选择器213。

运动预测/补偿单元212从无损解码器202获得通过对头信息(预测模式信息、运动向量信息、参考帧信息、标志、各种参数等)进行解码所获的信息。

运动预测/补偿单元212基于从无损解码器202所供给的信息、根据从帧存储器209所获得的参考图像生成预测图像，并且将所生成的预测图像供给至选择器213。

选择器213选择由运动预测/补偿单元212或帧内预测单元211所生成的预测图像，并且将该图像供给至计算单元205。

[宏块类型]

顺便提及，如在ptl1中所公开地，存在如下的编码格式：在该编码格式中，提供有用于对图像数据进行编码并且输出图像数据的编码模式，和用于输出图像数据而不对图像数据进行编码的非编码模式，以宏块为单位选择要使用编码模式还是非编码模式，并且可以在单一图片中组合地使用编码模式和非编码模式。如在ptl2中所公开地，也在avc编码格式中，如在图3中所示，用于输出图像数据而不对图像数据进行编码的i_pcm(块内脉冲编码调制)模式(非压缩模式)被支持为宏块类型(mb_type)的一种。

这是用于，在量化参数被设置为较小的值(诸如qp＝0)的情况下以及在编码数据的信息量大于输入图像的信息量的情况下，确保算术编码处理的实时操作。另外，可以通过使用i-pcm模式(非压缩模式)来实现无损编码。

[成本函数]

同时，为了在avc编码格式中获得较高的编码效率，重要的是选择适当的预测模式。

选择方法的示例是在h.264/mpeg-4avc的参考软件(所谓的jm(联合模型))中所载入的方法(发布在http://iphome.hhi.de/suehring/tml/index.htm)。

根据jm，可以选择下面的两种模式确定方法，即，高复杂度模式和低复杂度模式。在两种模式的任一种中，关于各个预测模式计算成本函数值，并且具有最小的成本函数值的预测模式被选择为用于目标块或宏块的最佳模式。

关于高复杂度模式的成本函数由下面的等式(1)所表达。

cost(mode∈ω)＝d+λ*r…(1)

在此，“ω”代表用于对目标块或宏块进行编码的候选模式的全集，并且“d”代表在使用预测模式执行编码的情况下，解码图像和输入图像之间的差分能量。“λ”代表作为量化参数的函数而给定的拉格朗日待定乘子。“r”代表在使用模式执行编码的情况下的总编码量，其包括正交变换系数。

即，为了使用高复杂度模式执行编码，需要一次使用所有候选模式来执行初步编码处理以计算参数d和r，其涉及较大的计算量。

在低复杂度模式中的成本函数由下面的等式(2)所表达。

cost(mode∈ω)＝d+qp2quant(qp)*headerbit…(2)

在此，不同于高复杂度模式，“d”代表预测图像和输入图像之间的差分能量。“qp2quant(qp)”是作为量化参数qp的函数而给定的，并且“headerbit”代表与属于header的信息(诸如运动向量和模式，不包括正交变换系数)有关的编码量。

即，在低复杂度模式中，需要关于各个候选模式执行预测处理，但是不需要解码图像，并且因此不需要执行编码处理。因此，可以以低于高复杂度模式的计算量的计算量实现低复杂度模式。

[编码单位]

接下来，将对在npl1中所描述的hevc编码格式中所定义的编码单位进行描述。

编码单位(cu)还被称为编码树块(ctb)，是与avc中的宏块发挥类似的作用的各个图片的图像的部分区域，并且是具有层级结构的编码单位。宏块的尺寸被固定为16×16个像素，然而未固定cu的尺寸并且在每个序列的图像压缩信息中指定cu的尺寸。

具体地，具有最大尺寸的cu被称为lcu(最大编码单位)，并且具有最小尺寸的cu被称为scu(最小编码单位)。例如，在图像压缩信息中所包括的序列参数集(sps)中指定这些区域的尺寸。各个区域是正方形形状的，并且其尺寸被限制为由2的乘方所表达的尺寸。

图4示出了在hevc中所定义的编码单位的示例。在图4中所示的示例中，lcu的尺寸为128，并且最大层深度为5。当split_flag的值为“1”时，具有2n×2n尺寸的cu被分割为在紧邻下一层中各个具有n×n尺寸的cu。

此外，cu被分割为预测单位(pu)，每个预测单位是用作用于帧内或帧间预测的处理单位的区域(每个图片的图像的部分区域)；或被分割为变换单位(tu)，每个变换单位是用作用于正交变换的处理单位的区域(每个图片的图像的部分区域)。目前，在hevc中，除了4×4和8×8正交变换之外还可以使用16×16和32×32正交变换。

[ibdi]

同时，npl2提出了一种图5中所示的用于增加内部运算(ibdi(internalbitdepthincreaseexceptframememory，除了帧存储器之外的内部位深增加))的方法。在这种方法中，如在图5中所示，在由编码设备和解码设备所执行的量化处理、无损编码处理、去量化处理、滤波器处理、预测处理、无损解码处理等中增加数据的位深，例如，从8比特增加至12比特。因此，可以减少处理(诸如正交变换或运动补偿)中的内部运算误差，并且可以增强编码效率。

[balf]

同时，npl3提出了一种方法，在该方法中，在运动补偿环路中提供了fir滤波器，并且自适应地执行使用滤波器(balf(基于块的自适应环路滤波器))的环路滤波器处理，如图5所示。在编码设备中，使用维纳滤波器获得fir滤波器系数以便使关于输入图像的误差最小化，并且由此可以使参考图像的退化最小化，以及可以增强要输出的图像压缩信息的编码效率。

[编码处理的效率]

同时，在定义了cu并且以cu为单位执行各种处理操作的编码格式的情况下，如同在hevc中一样，可以考虑avc中的宏块对应于lcu。但是，因为cu具有如图4中所示的层级结构，所以在顶层中的lcu的尺寸通常被设置为大于avc中的宏块，例如，被设置为128×128个像素。

因此，在这样的编码格式中，如同在hevc的情况下一样，如果以lcu为单位设置i_pcm模式，则处理的单位变为大于avc中处理的单位，例如，被设置为128×128个像素。

如上所述，通过计算并且比较成本函数值来确定帧内预测或帧间预测模式。即，使用所有模式执行预测和编码，计算各个成本函数值，选择最佳模式，以及使用最佳模式生成编码数据。

但是，当采用i_pcm模式时，放弃使用最佳模式所生成的编码数据，并且采用输入图像(非编码数据)作为编码结果。因此，当选择了i_pcm模式时，不需要用于生成最佳模式的编码数据的所有处理操作。即，如果i_pcm模式的选择控制单位变大，则进一步增加了不需要的处理操作。即，如上所述，如果针对每个lcu来选择是否采用i_pcm模式，则编码处理的效率会进一步降低。因此，例如，可能难以确保cabac的实时操作。

另外，上述技术(诸如ibdi和balf)不包括在avc编码格式中。在采用i_pcm模式的情况下，已知如何控制这些处理操作。

因此，本实施例能够对i_pcm模式(非压缩模式)的选择进行更详细的控制，并且还能够增强编码效率而同时抑制编码处理效率的降低。另外，本实施例能够根据i_pcm模式的选择对ibdi和balf的执行进行适当的控制，并且还能够进一步抑制编码处理效率的降低。

[图像编码设备]

图7是示出图像编码设备的主要示例配置的框图。

图7中所示的图像编码设备300基本上与图1中所示的图像编码设备100类似，并且对图像数据进行编码。如在图7中所示，图像编码设备300包括a/d转换器301、画面重排缓冲器302、自适应向左移位单元303、计算单元304、正交变换单元305、量化器306、无损编码器307以及累积缓冲器308。另外，图像编码设备300包括去量化器309、逆正交变换单元310、计算单元311、环路滤波器312、自适应向右移位单元313、帧存储器314、自适应向左移位单元315、选择器316、帧内预测单元317、运动预测/补偿单元318、选择器319以及码率控制器320。

图像编码设备300进一步包括pcm编码器321。

如同a/d转换器101的情况一样，a/d转换器301对输入至其的图像数据进行a/d转换。a/d转换器301将所转换的图像数据(数字数据)供给至画面重排缓冲器302以将图像数据存储在其中。如同画面重排缓冲器102的情况一样，画面重排缓冲器320依照gop(图片组)结构对在其中所存储的、以显示顺序所排列的帧图像进行重排，以使得以编码顺序对帧图像进行重排。画面重排缓冲器302将重排的帧图像供给至自适应向左移位单元303。

另外，画面重排缓冲器302还将重排的帧图像供给至无损编码器307和pcm编码器321。

自适应向左移位单元303由pcm编码器321所控制，其对从画面重排缓冲器302所读出的图像数据在向左的方向上进行移位，并且以特定比特量(例如，4比特)来增加其位深。例如，自适应向左移位单元303将从画面重排缓冲器302所读出的图像数据的位深从8比特增加至12比特。作为以这样的方式增加位深的结果，可以增加每个处理操作(诸如正交变换处理、量化处理、无损编码处理、预测处理等)的内部运算的精度，并且可以抑制误差。

注意未指定向左移位的量(比特量)，并且其可以是固定的或是可变的。另外，可以依照由pcm编码器321所执行的控制来跳过向左移位处理。

自适应向左移位单元303将执行了向左移位处理的图像数据供给至计算单元304(在跳过处理的情况下，从画面重排缓冲器302所输出的图像数据被供给至计算单元304)。另外，自适应向左移位单元303还将图像数据供给至帧内预测单元317和运动预测/补偿单元318。

如同计算单元103的情况一样，计算单元304在从自适应向左移位单元303所供给的图像中减去从帧内预测单元317或运动预测/补偿单元318经由选择器319所供给的预测图像。计算单元304将其差分信息输出至正交变换单元305。

例如，在要对其执行帧内编码的图像的情况下，计算单元304在从自适应向左移位单元303所供给的图像中减去从帧内预测单元317所供给的预测图像。另外，例如，在要对其执行帧间编码的图像的情况下，计算单元304在从自适应向左移位单元303所供给的图像中减去从运动预测/补偿单元318所供给的预测图像。

如同正交变换单元104的情况一样，正交变换单元305对从计算单元304所供给的差分信息执行正交变换(诸如离散余弦变换或karhunen-loeve变换)。未指定用于正交变换的方法。正交变换单元305将其变换系数供给至量化器306。

如同量化器105的情况一样，量化器306对从正交变换单元305所供给的变换系数进行量化。量化器306通过基于关于从码率控制器320所供给的编码量的目标值的信息设置量化参数来执行量化。未指定用于量化的方法。量化器306将量化的变换系数供给至无损编码器307。

如同无损编码器106的情况一样，无损编码器307对由量化器306所量化的变换系数执行无损编码(诸如可变长度编码或算术编码)。在由码率控制器320所执行的控制之下对系数数据进行量化，并且因此其编码量等于(或近似于)由码率控制器320所设置的目标值。

注意，在pcm编码器321选择了i_pcm模式的情况下，无损编码器307将从画面重排缓冲器302所供给的输入图像(非编码数据)当做编码结果(即，实际上跳过编码)。

另外，无损编码器307从帧内预测单元317获得指示帧内预测模式的信息等，并且从运动预测/补偿单元318获得指示帧间预测模式的信息、运动向量信息等。此外，无损编码器307获得由环路滤波器312所使用的滤波器系数。

如同无损编码器106的情况一样，无损编码器307对各种信息(诸如滤波器系数、指示帧内预测模式或帧间预测的模式的信息以及量化参数)进行编码，并且使得各种信息成为编码数据的头信息的一部分(对各种信息进行复用)。无损编码器307将通过编码所获得的编码数据(包括i_pcm模式的情况下的非编码数据)供给至累积缓冲器308以将编码数据存储在其中。

例如，如同无损编码器106的情况一样，在无损编码器307中，执行无损编码处理(诸如可变长度编码或算术编码)。可变长度编码的示例包括在h.264/avc格式中所定义的cavlc(上下文自适应可变长度编码)。算术编码的示例包括cabac(上下文自适应二进制算术编码)。当然，无损编码器307可以使用除了这些方法之外的方法来执行编码。

如同累积缓冲器107的情况一样，累积缓冲器308暂时保存从无损编码器307所供给的编码数据(包括i_pcm模式的情况下的非编码数据)。例如，累积缓冲器308在特定定时将在其中所保存的编码数据输出至在随后阶段(未示出)的记录装置(记录介质)或传送信道。

另外，由量化器306所量化的变换系数还被供给至去量化器309。如同在去量化器108的情况一样，去量化器309使用与由量化器306所执行的量化相对应的方法对量化的变换系数进行去量化。未对用于去量化的方法进行限制，只要该方法对应于由量化器306所执行的量化处理即可。去量化器309将由此所获得的变换系数供给至逆正交变换单元310。

如同逆正交变换109的情况一样，逆正交变换单元310使用与由正交变换单元305所执行的正交变换处理相对应的方法，对从去量化器309所供给的变换系数执行逆正交变换。未对用于逆正交变换的方法进行限制，只要该方法对应于由正交变换单元305所执行的正交变换处理即可。通过逆正交变换所获得的输出(恢复的差分信息)被供给至计算单元311。

如同计算单元110的情况一样，计算单元311将从帧内预测单元317或运动预测/补偿单元318经由选择器319所供给的预测图像加到从逆正交变换单元310所供给的逆正交变换的结果(即，恢复的差分信息)，并且获得本地解码图像(解码图像)。

例如，在差分信息对应于要对其执行帧内编码的图像的情况下，计算单元311将从帧内预测单元317所供给的预测图像加到差分信息。另外，例如，在差分信息对应于要对其执行帧间编码的图像的情况下，计算单元311将从运动预测/补偿单元318所供给的预测图像加到差分信息。

相加的结果(解码图像)被供给至环路滤波器302或自适应向右移位单元313。

环路滤波器312包括去块滤波器、自适应环路滤波器等，并且对从计算单元311所供给的解码图像适当地执行滤波器处理。例如，环路滤波器312对解码图像执行与由去块滤波器111所执行的去块滤波器处理类似的去块滤波器处理，由此移除解码图像的块失真。另外，例如，环路滤波器312由pcm编码器321所控制，并且通过使用维纳滤波器对去块滤波器处理的结果(从其移除了块失真的解码图像)执行环路滤波器处理，由此改进图像质量。注意依照由pcm编码器321所执行的控制可以跳过自适应环路滤波器处理。

替选地，环路滤波器312可以对解码图像执行任意滤波器处理。另外，如果需要环路滤波器312可以将用于滤波器处理的滤波器系数供给至无损编码器307，以使得对滤波器系数进行编码。

环路滤波器312将滤波器处理的结果(执行了滤波器处理的解码图像)供给至自适应向右移位单元313。注意，如上所述，从计算单元311所输出的解码图像可以被供给至自适应向右移位单元313而不经由环路滤波器312。即，可以跳过由环路滤波器312所进行的滤波器处理。

自适应向右移位单元313由pcm编码器321所控制，其对从计算单元311或环路滤波器312所供给的图像数据在向右的方向上进行移位，以及以特定比特量(例如，4比特)减少其位深。即，自适应向右移位单元313以由自适应向左移位单元303对图像数据向左移位的比特量对图像数据进行向右移位，以便将图像数据的位深改变为向左移位图像数据之前的状态(当图像数据被从画面重排缓冲器302读出时的状态)。

例如，自适应向右移位单元313将从计算单元311或环路滤波器312所供给的图像数据的位深从12比特减少至8比特。作为以这种方式减少位深的结果，可以减少在帧存储器中所存储的图像数据的数据量。

注意，未指定向右移位的量(比特量)，只要该量与在自适应向左移位单元303中向左移位的量相匹配即可。即，该量可以是固定的或可变的。另外，可以依照由pcm编码器321所执行的控制跳过向右移位处理。

自适应向右移位单元313将执行了向右移位处理的图像数据供给至帧存储器314(在跳过处理的情况下，从计算单元311或环路滤波器312所输出的图像数据被供给至帧存储器314)。

如同帧存储器112的情况一样，帧存储器314存储供给至其的解码图像，并且在特定定时将所存储的解码图像作为参考图像输出至自适应向左移位单元315。

自适应向左移位单元315是与自适应向左移位单元303类似的处理单元，由pcm编码器321所控制，对从帧存储器314所读出的图像数据(参考图像)在向左的方向上适当地进行移位，以及以特定比特量(例如，4比特)增加其位深。

例如，在模式不是i_pcm模式的情况下，输入图像的数据被自适应向左移位单元303向左移位。因此，自适应向左移位单元315依照由pcm编码器321所执行的控制，将从帧存储器314所读出的参考图像的数据向左移位，并且以与自适应向左移位单元303的情况相同的比特量增加位深(例如，将位深从8比特改变为12比特)。

然后，自适应向左移位单元315将执行了向左移位处理的图像数据供给至选择器316。作为以这种方式增加位深的结果，可以使得参考图像的位深与输入图像的位深相同，并且可以将参考图像加到输入图像。另外，可以增加内部运算(诸如预测处理)的精度，并且可以抑制误差。

相反，例如，在i_pcm模式的情况下，自适应向左移位单元303未将输入图像的数据向左移位。因此，自适应向左移位单元315依照由pcm编码器321所执行的控制，将从帧存储器314所读出的参考图像供给至选择器316而不增加位深。

如同选择器113的情况一样，在帧内预测的情况下，选择器316将从自适应向左移位单元315所供给的参考图像供给至帧内预测单元317。另外，如同选择器113的情况一样，在帧间预测的情况下，选择器316将从自适应向左移位单元315所供给的参考图像供给至运动预测/补偿单元318。

帧内预测单元317执行帧内预测(帧内画面预测)，在该帧内预测中，使用从自适应向左移位单元315经由选择器316所供给的参考图像生成预测图像。帧内预测单元317使用多个所准备的模式(帧内预测模式)执行帧内预测。帧内预测单元317还能够使用除了在avc编码格式中所定义的模式之外的任意模式执行帧内预测。

帧内预测单元317使用所有候选帧内预测模式来生成预测图像，使用从自适应向左移位单元303所供给的输入图像来评估各个预测图像的成本函数值，以及选择最佳模式。在选择了最佳帧内预测模式之后，帧内预测单元317将使用最佳模式所生成的预测图像经由选择器319供给至计算单元304和计算单元311。

另外，如上所述，帧内预测单元317将信息(诸如指示所采用的帧内预测模式的帧内预测模式信息)适当地供给至无损编码器307，以使得对该信息进行编码。

运动预测/补偿单元318使用从自适应向左移位单元303所供给的输入图像和从自适应向左移位单元315经由选择器316所供给的参考图像来对要对其执行帧间编码的图像执行运动预测(帧间预测)，依照所检测到的运动向量执行运动补偿处理，以及生成预测图像(帧间预测图像信息)。运动预测/补偿单元318使用多个所准备的模式(帧间预测模式)执行这样的帧间预测。运动预测/补偿单元318还能够使用除了在avc编码格式中所定义的模式之外的任意模式执行帧间预测。

运动预测/补偿单元318使用所有候选帧间预测模式生成预测图像，评估各个预测图像的成本函数值，以及选择最佳模式。在选择了最佳帧间预测模式之后，运动预测/补偿单元318将使用最佳模式所生成的预测图像经由选择器319供给至计算单元304和计算单元311。

另外，运动预测/补偿单元318将指示所采用的帧间预测模式的帧间预测模式信息和指示所计算的运动向量的运动向量信息供给至无损编码器307，以使得对该信息进行编码。

如同选择器116的情况一样，在要对其执行帧内编码的图像的情况下，选择器319将帧内预测单元317的输出供给至计算单元304和计算单元311。在要对其执行帧间编码的图像的情况下，选择器319将运动预测/补偿单元318的输出供给至计算单元304和计算单元311。

码率控制器320基于在累积缓冲器308中所累积的编码数据的编码量，来控制由量化器306所执行的量化操作的码率，以使得不发生上溢或下溢。

另外，码率控制器320将在累积缓冲器308中所累积的编码数据的编码量(所生成的编码量)供给至pcm编码器321。

pcm编码器321将从码率控制器320所供给的编码量与从画面重排缓冲器302所供给的输入图像的数据量进行比较，并且选择是否要采用i_pcm模式。此时，pcm编码器321以小于lcu的cu为单位执行选择。即，pcm编码器321更详细地控制是否要采用i_pcm模式。

依照选择的结果，pcm编码器321控制无损编码器307、自适应向左移位单元303、自适应向右移位单元313、自适应向左移位单元315以及环路滤波器312的操作。

[无损编码器、pcm编码器以及环路滤波器]

图8是示出图7中所示的无损编码器307、pcm编码器321以及环路滤波器312的主要示例配置的框图。

如图8中所示，无损编码器307包括nal(网络抽象层)编码器331和cu编码器332。

nal编码器331基于经由用户接口(未示出)所输入的用户指令、规范等对例如sps(序列参数集)、pps(图片参数集)等的nal进行编码。nal编码器331将编码nal(nal数据)供给至累积缓冲器308以使得将nal数据加到cu数据，其为从cu编码器332供给至累积缓冲器308的编码vcl(视频编码层)。

cu编码器332由pcm编码器321所控制(基于从pcm编码器321所供给的on/off控制信号)，并且对vcl进行编码。例如，在pcm编码器321未选择i_pcm模式的情况下(在pcm编码器321供给代表“on”的控制信号的情况下)，cu编码器332对各个cu的量化正交变换系数进行编码。cu编码器332将各个cu的编码数据(cu数据)供给至累积缓冲器308。

另外，例如，在pcm编码器321选择了i_pcm模式的情况下(在pcm编码器321供给代表“off”的控制信号的情况下)，cu编码器332将从画面重排缓冲器302所供给的输入像素值供给至累积缓冲器308作为编码结果(cu数据)。

另外，cu编码器332还对指示编码模式是否为i_pcm模式并且从pcm编码器321所供给的标志(i_pcm_flag)进行编码，并且将编码标志作为cu数据供给至累积缓冲器308。此外，cu编码器332对从环路滤波器312所供给的关于滤波器处理的信息(诸如自适应滤波器标志和滤波器系数)进行编码，并且将编码信息作为cu数据供给至累积缓冲器308。

未指定由cu编码器332所使用的、用于编码的方法(例如，cabac、cavlc等)。被供给至累积缓冲器308的nal数据和cu数据被组合在一起并且被累积在其中。

注意，实际上pcm编码器321通过使用采用cu编码器332对量化正交变换系数进行编码所生成的编码数据的编码量，控制是否选择i_pcm模式。

因此，例如，在未选择i_pcm模式的情况下，采用被供给至累积缓冲器308的编码数据作为目标cu的量化正交变换系数的编码结果。因此，对于cu编码器332仅需要对额外的信息(诸如i_pcm_flag)进行编码。

相反，例如，在选择了i_pcm模式的情况下，cu编码器332将从画面重排缓冲器302所供给的目标cu的输入像素值作为编码结果(cu数据)供给至累积缓冲器308。因此，在这种情况下，放弃所供给的目标cu的编码数据(通过对量化的正交变换系数进行编码所生成的编码数据)。即，关于编码数据的生成的所有处理操作是冗余的。

如在图8中所示，pcm编码器321包括i_pcm_flag生成器341和pcm决定单元342。

i_pcm_flag生成器341依照由pcm决定单元342所做出的决定生成i_pcm_flag，并且决定其值。i_pcm_flag生成器341将所生成的i_pcm_flag供给至无损编码器307的cu编码器332。例如，在pcm决定单元342选择了i_pcm模式的情况下，i_pcm_flag生成器341将i_pcm_flag的值设置为指示选择i_pcm模式的值(例如“1”)，并且将i_pcm_flag供给至cu编码器332。另外，例如，在pcm决定单元342未选择i_pcm模式的情况下，i_pcm_flag生成器341将i_pcm_flag的值设置为指示未选择i_pcm模式的值(例如“0”)，并且将i_pcm_flag供给至cu编码器332。

pcm决定单元342决定编码模式是否为i_pcm模式。pcm决定单元342获得从画面重排缓冲器302所供给的输入像素值的数据量，将该数据量与从码率控制器320所供给的生成的编码量进行比较，以及基于比较结果决定是否选择i_pcm模式。pcm决定单元342将代表选择结果的on/off控制信号供给至cu编码器332和i_pcm_flag生成器341，因此依照选择结果来控制操作。

例如，在输入像素值的数据量大于所生成的编码量的情况下，pcm决定单元342不选择i_pcm模式。在这种情况下，pcm决定单元342将代表“on”的控制信号供给至cu编码器322，并且使得cu编码器332对量化的正交系数进行编码。另外，pcm决定单元342将代表“on”的控制信号供给至i_pcm_flag生成器341，并且使得i_pcm_flag生成器341生成具有指示未选择i_pcm模式的值(例如，“0”)的i_pcm_flag。

相反，例如，在输入像素值的数据量小于或等于所生成的编码量的情况下，pcm决定单元342选择i_pcm模式。在这种情况下，pcm决定单元342将代表“off”的控制信号供给至cu编码器332，并且使得cu编码器332输出输入像素值作为编码结果(cu数据)。另外，pcm决定单元342将代表“off”的控制信号供给至i_pcm_flag生成器341，并且使得i_pcm_flag生成器341生成具有指示选择了i_pcm模式的值(例如，“1”)的i_pcm_flag。

pcm决定单元342能够以在序列参数集中所设置的所有尺寸(在任意层中)的cu以及lcu为单位，来决定是否选择i_pcm模式。因此，例如，可以以较小的cu为单位执行通过使用i_pcm模式抑制具有低qp的许多比特的生成的处理。因此，可以更详细地控制编码量(包括在i_pcm模式中的非编码数据的数据量)，并且可以减少在i_pcm模式中发生的冗余处理。

另外，pcm决定单元342将代表选择结果的on/off控制信号供给至自适应向左移位单元303、自适应向右移位单元313以及自适应向左移位单元315，因此依照选择结果来控制ibdi。即，在目标cu的模式是i_pcm模式的情况下，pcm决定单元342执行控制以使得自适应移位装置不执行增加和减少位精度的处理。

例如，在未选择i_pcm模式的情况下，pcm决定单元342将代表“on“的控制信号供给至自适应向左移位单元303、自适应向右移位单元313以及自适应向左移位单元315，并且使得执行向左移位处理和向右移位处理，以使得增加内部处理中的位精度。

相反，例如，在选择了i_pcm模式的情况下，pcm决定单元342将代表“off“的控制信号供给至自适应向左移位单元303、自适应向右移位单元313以及自适应向左移位单元315，并且使得跳过向左移位处理和向右移位处理，以使得不增加内部处理中的位精度。

在i_pcm模式中，输入图像像素值被传送至图像压缩信息，并且因此不发生运算误差。增加比特运算精度因此是冗余处理。pcm决定单元342能够通过以上述方式执行处理来消除这样的冗余处理。

此外，pcm决定单元342将代表选择结果的on/off控制信号供给至环路滤波器312，由此依照选择结果控制自适应环路滤波处理(balf)。即，在目标cu的模式是i_pcm模式的情况下，pcm决定单元342执行控制以使得环路滤波器312不执行自适应环路滤波器处理。

例如，在未选择i_pcm模式的情况下，pcm决定单元342将代表“on”的控制信号供给至环路滤波器312，以使得执行自适应环路滤波器处理。相反，例如，在选择了i_pcm模式的情况下，pcm决定单元342将代表“off”的控制信号供给至环路滤波器312，以使得跳过自适应环路滤波器处理。

在i_pcm模式中，输入图像像素值被传送至图像压缩信息，并且因此不发生退化。在其上执行自适应环路滤波器处理是冗余的。pcm决定单元342能够通过以上述方式执行处理来消除这样的冗余处理。

如图8中所示，环路滤波器312包括去块滤波器351、像素分类单元352、滤波器系数计算器353以及滤波单元354。

如同去块滤波器111的情况一样，去块滤波器351对从计算单元311所供给的解码图像(在去块滤波器之前的像素值)执行去块滤波器处理，由此移除块失真。

即使使用i_pcm模式对要处理的目标cu进行处理，也不是总能使用i_pcm模式对与目标cu邻近的cu进行处理。因此，即使使用i_pcm模式对目标cu进行处理，也可能发生块失真。因此，无论目标cu的模式是否为i_pcm模式均执行去块滤波器处理。

去块滤波器351将滤波器处理的结果(在去块滤波器之后的像素值)供给至像素分类单元352。

像素分类单元352依照从pcm决定单元342所供给的on/off控制信号的值，将滤波器处理的各个结果(在去块滤波器之后的像素值)分类为要对其执行自适应环路滤波器处理的像素值或不要执行自适应环路滤波器处理的像素值。

例如，在pcm决定单元342供给代表“on”的控制信号的情况下，像素分类单元352将相对应的cu的在去块滤波器之后的像素值分类为要对其执行自适应环路滤波器处理的像素值。相反，例如，在pcm决定单元342供给代表“off”的控制信号的情况下，像素分类单元352将相对应的cu的在去块滤波器之后的像素值分类为不要执行自适应环路滤波器处理的像素值。

像素分类单元352将分类之后的各个像素的像素值(在去块滤波器之后的像素值)供给至滤波器系数计算器353。

滤波器系数计算器353使用维纳滤波器，对于供给至其的在去块滤波器之后的像素值之中、要对其执行自适应环路滤波器处理的像素值，计算自适应环路滤波器的滤波器系数(fir滤波器系数)，以便使得关于输入图像的误差最小化。即，滤波器系数计算器353通过排除要使用i_pcm模式处理的像素来计算滤波器系数。

滤波器系数计算器353将在去块滤波器之后的像素值和所计算的滤波器系数供给至滤波单元354。

滤波单元354使用供给至其的滤波器系数来对被分类为要对其执行自适应环路滤波器处理的像素值的像素值执行自适应环路滤波器处理。滤波单元354将作为在自适应滤波器之后的像素值的、对其执行了滤波器处理的像素值和被分类为不要对其执行自适应环路滤波器处理的像素值的像素值供给至自适应向右移位单元313。

另外，滤波器单元354针对独立于cu所设置的特定块中的每个块，生成作为指示是否执行了滤波器处理的滤波器标志信息的自适应滤波器标志(on/off_flag)。未指定用于设置自适应滤波器标志的值的方法。

例如，在对要处理的目标块(当前块)中的一些或所有像素执行了自适应环路滤波器处理的情况下，自适应滤波器标志可以被设置为具有指示执行了滤波器处理的值(例如，“1”)。另外，例如，在未对块中的所有像素执行自适应环路滤波器处理的情况下，自适应滤波器标志可以被设置为具有指示未执行滤波器处理的值(例如，“0”)。可以基于另外的标准来设置自适应环路滤波器标志的值。

滤波单元354将所生成的自适应滤波器标识供给至无损编码器307的cu编码器332，以使得对自适应滤波器标志进行编码并且将其提供至解码侧。注意，在自适应滤波器标志的值是指示未执行滤波器处理的值(例如，“0”)时，可以跳过将自适应滤波器标志提供至解码侧(自适应滤波器标志未被提供至解码侧)。

例如，在自适应滤波器标志的值是指示未执行滤波器处理的值(例如，“0”)并且由无损编码器307(cu编码器332)所使用的编码格式是vlc的情况下，滤波单元354跳过自适应滤波器标志的供给(不将自适应滤波器标志提供至解码侧)。另外，例如，在自适应滤波器标志的值是指示未执行滤波器处理的值(例如，“0”)并且由无损编码器307(cu编码器332)所使用的编码格式是cabac的情况下，滤波单元354将自适应滤波器标志供给至无损编码器307的cu编码器332(将自适应滤波器标志提供至解码侧)。

这是因为，在vlc的情况下，如果输入的信息量很小，则可以实现较高的编码效率，但是在cabac的情况下，如果连续地输入相同的信息，则执行算术编码时的概率发生偏差，并且可以实现较高的编码效率。

此外，滤波单元354将用于自适应环路滤波器处理的滤波器系数供给至无损编码器307的cu编码器332，以使得对滤波器系数进行编码并且将其提供至解码侧。

[pcm决定单元]

图9是示出图8中所示的pcm决定单元342的主要示例配置的框图。

如在图9中所示，pcm决定单元342包括输入数据量计算器361、pcm确定单元362、编码控制器363、自适应移位控制器364以及滤波器控制器365。

输入数据量计算器361针对目标cu计算作为从画面重排缓冲器302所供给的输入像素值的数据量的输入数据量，并且将所计算的输入数据量供给至pcm确定单元362。

pcm确定单元362获得从码率控制器320所供给的所生成的编码量(所生成的比特)，将所生成的编码量与从输入数据量计算器361所供给的输入数据量进行比较，以及基于比较结果确定对于cu是否选择i_pcm模式。即，pcm确定单元362针对在任意层中的每个cu确定是否选择i_pcm模式。pcm确定单元362将确定结果供给至编码控制器363、自适应移位控制器364以及滤波器控制器365。

基于从pcm确定单元362所供给的确定结果(指示是否选择i_pcm模式的标识信息)，编码控制器363将on/off控制信号供给至cu编码器332和i_pcm_flag生成器341。

因此，编码控制器361能够控制在任意层中以cu为单位的编码模式。因此，编码控制器363能够更详细地控制编码量(包括i_pcm模式中的非编码数据的数据量)，并且还能够在选择了i_pcm模式时减少冗余处理。

基于从pcm确定单元362所供给的确定结果(指示是否选择i_pcm模式的信息)，自适应移位控制器364将on/off控制信号供给至自适应向左移位单元303、自适应向右移位单元313以及自适应向左移位单元315。

因此，自适应移位控制器364能够执行控制以使得当选择了i_pcm模式时不增加内部运算中的位深。因此，自适应移位控制器364能够减少冗余处理。

基于从pcm确定单元362所供给的确定结果(指示是否选择i_pcm模式的信息)，滤波器控制器365将on/off控制信号供给至像素分类单元352。

因此，滤波器控制器365能够执行控制以使得当选择了i_pcm模式时不执行自适应环路滤波器处理。因此，滤波器控制器365能够减少冗余处理。

如上所述，图像编码设备300能够减少冗余处理并且抑制编码处理效率的降低。另外，图像编码设备300能够更详细地(以较小的数据单位为单位)选择i_pcm模式(非压缩模式)，并且增强编码效率。因此，图像编码设备300能够增强编码效率而同时抑制编码处理效率的降低。

[编码处理的流程]

接下来，将对由上述的图像编码设备300所执行的各个处理操作的流程进行描述。首先，将参照图10中的流程图描述编码处理的流程的示例。

在步骤s301中，a/d转换器301对输入图像进行a/d转换。在步骤s302中，画面重排缓冲器302将a/d转换后的图像存储在其中并且将图片从显示顺序重排为编码顺序。

在步骤s303中，自适应向左移位单元303基于由pcm编码器321所执行的控制对输入图像自适应地执行向左移位。在步骤s304中，自适应向左移位单元315对参考图像自适应地执行向左移位。

在步骤s305中，帧内预测单元317通过使用在步骤s304中被向左移位的参考图像，在帧内预测模式中执行帧内预测处理。在步骤s306中，运动预测/补偿单元318通过使用在步骤s304中被向左移位的参考图像来执行帧间运动预测处理，其中在帧间预测模式中执行运动预测或运动补偿。

注意，实际上在帧内预测处理或帧间运动预测处理中，当从帧存储器314读出参考图像时可以执行将参考图像的位深向左移位的处理。

在步骤s307中，选择器319基于从帧内预测单元317和运动预测/补偿处理单元318所输出的各个成本函数值来确定最佳模式。即，选择器319选择由帧内预测单元317所生成的预测图像和由运动预测/补偿单元318所生成的预测图像中的任一个。

另外，指示选择了哪个预测图像的选择信息被供给至帧内预测单元317和运动预测/补偿单元318之中对应于所选择的预测图像的一个。在选择最佳帧内预测模式的预测图像的情况下，帧内预测单元317将指示最佳帧内预测模式的帧内预测模式信息等供给至无损编码器307。在选择最佳帧间预测模式的预测图像的情况下，运动预测/补偿单元318将指示最佳帧间预测模式的信息、并且如果需要将基于最佳帧间预测模式的信息供给至无损编码器307。基于最佳帧间预测模式的信息的示例包括运动向量信息、标志信息以及参考帧信息。

在步骤s308中，计算单元304计算通过步骤s303中的处理对位深进行了向左移位的图像与通过步骤s307中的处理所选择的预测图像之间的差异。在要执行帧间预测的情况下，预测图像经由选择器319从运动预测/补偿单元318被供给至计算单元304，并且在要执行帧内预测的情况下，预测图像经由选择器319从帧内预测单元317被供给至计算单元304。

差异数据量小于原始图像数据量。因此，与对图像自身进行编码的情况相比可以减少数据量。

在步骤s309中，正交变换单元305对通过步骤s308中的处理所生成的差分信息执行正交变换。具体地，执行正交变换(诸如离散余弦变换或karhunen-loeve变换)，并且输出变换系数。

在步骤s310中，量化器306对通过步骤s309中的处理所获得的正交变换系数进行量化。

在步骤s311中，无损编码器307对通过步骤s310中的处理所量化的变换系数进行编码。即，对差分图像执行无损编码(诸如可变长度编码或算术编码)。

无损编码器307对在步骤s310中所计算的量化参数进行编码，并且将量化参数加到编码数据。另外，无损编码器307对关于通过步骤s307中的处理所选择的预测图像的模式的信息进行编码，并且将该信息加到通过对差分图像进行编码所获得的编码数据。即，无损编码器307还对从帧内预测单元317所供给的最佳帧内预测模式信息或从运动预测/补偿单元318所供给的基于最佳帧间预测模式的信息基进行编码，并且将该信息加到编码数据。

此外，无损编码器307对从环路滤波器312所获得的滤波器系数和标志信息进行编码，并且将其加到编码数据。此外，无损编码器307对nal数据进行编码。

在步骤s312中，累积缓冲器308对从无损编码器307所输出的编码数据进行累积。在累积缓冲器308中所累积的编码数据被适当地读出，并且经由传送信道或记录介质被传送到解码侧。

在步骤s313中，码率控制器320计算通过步骤s312中的处理而在累积缓冲器308中所累积的编码数据的编码量(所生成的编码量)，并且基于编码量控制由量化器306所执行的量化操作的比率，以使得不发生上溢或下溢。另外，码率控制器320将所生成的编码量供给至pcm编码器321。

在步骤s314中，pcm编码器321通过使用在步骤s313中所计算的生成的编码量来执行pcm编码控制处理。在步骤s315中，无损编码器307依照由pcm编码器321所执行的控制执行pcm编码处理。

在步骤s316中，去量化器309至帧存储器314执行参考图像生成处理，在该处理中，对通过步骤s310中的处理所量化的差分信息进行本地地解码以生成参考图像。

在步骤s316中的处理结束之后，编码处理结束。例如，对各个cu反复地执行编码处理。

[pcm编码控制处理]

接下来，将参照图11中的流程图描述在图10的步骤s314中所执行的pcm编码控制处理的流程的示例。

在pcm编码控制处理开始之后，在步骤s331中，pcm决定单元342的pcm确定单元362从码率控制单元320获得目标cu的量化的正交变换系数的编码数据的所生成的编码量。

在步骤s332中，输入数据量计算器361计算目标cu的输入像素值的输入数据量。

在步骤s333中，pcm确定单元362将在步骤s331中所获得的编码量与在步骤s332中所计算的输入数据量进行比较，并且确定是否使用i_pcm模式进行编码。

在步骤s334中，i_pcm_flag生成器341基于代表在步骤s333中所生成的确定结果的、并且从编码控制器363所供给的on/off控制信号来生成i_pcm_flag。

在步骤s335中，编码控制器363将代表在步骤s333中所生成的确定结果的on/off控制信号供给至cu编码器332，由此控制cu数据的编码。

在步骤s336中，自适应移位控制器364将代表在步骤s333中所生成的确定结果的on/off控制信号供给至自适应向左移位单元303、自适应向右移位单元313以及自适应向左移位单元315，由此控制自适应移位处理。

在步骤s337中，编码控制器363将代表在步骤s333中所生成的确定结果的on/off控制信号供给至环路滤波器312的像素分类单元352，由此控制自适应环路滤波器处理。

在步骤s337中的处理结束之后，pcm决定单元342结束pcm编码控制处理，处理返回至图10中的步骤s314，以及从步骤s315起执行处理。

[pcm编码处理的流程]

接下来，将参照图12中的流程图描述在图10的步骤s315中所执行的pcm编码处理的流程的示例。

在pcm编码处理开始之后，在步骤s351中，cu编码器332确定是否使用i_pcm模式执行编码。在上述的pcm编码控制处理中执行控制以使得使用i_pcm模式执行编码的情况下，cu编码器332使得处理继续至步骤s352。在步骤s352中，cu编码器332选择目标cu的输入像素值作为编码结果。cu编码器332使得放弃在累积缓冲器308中的目标cu的cu数据，并且使得输入像素值在累积缓冲器308中累积。

在步骤s352结束之后，cu编码器332使得处理继续至步骤s353。另一方面，如果在步骤s351中确定未使用i_pcm模式执行编码，则cu编码器332使得处理继续至步骤s353。

在步骤s353中，cu编码器332对在上述pcm编码控制处理中所生成的i_pcm_flag进行编码，并且在累积缓冲器308中累积i_pcm_flag。

在步骤s353结束之后，cu编码器332结束pcm编码处理，处理返回至图10中的步骤s315，并且从步骤s316起执行处理。

[参考图像生成处理的流程]

接下来，将参照图13中的流程图描述在图10的步骤s316中所执行的参考图像生成处理的流程的示例。

在参考图像生成处理开始之后，自适应向左移位单元315在步骤s371中基于由自适应移位控制器364所执行的控制来确定是否选择i_pcm模式。如果选择了i_pcm模式，则在内部运算中不增加位深，并且因此从预测处理开始再次执行处理。即，如果确定选择了i_pcm模式，则自适应向左移位单元315使得处理继续至步骤s372而不对参考图像执行向左移位处理。

在步骤s372中，帧内预测单元317使用位深未被向左移位的参考图像执行帧内预测处理。在步骤s373中，运动预测/补偿单元318使用位深未被向左移位的参考图像执行帧间运动预测处理。

在步骤s374中，选择器319基于从帧内预测单元317和运动预测/补偿单元318所输出的各个成本函数值来决定最佳模式。即，选择器319选择由帧内预测单元317所生成的预测图像和由运动预测/补偿单元318所生成的预测图像中的任一个。

另外，指示选择了哪个预测图像的选择信息被供给至帧内预测单元317和运动预测/补偿单元318之中对应于所选择的预测图像的一个。在选择最佳帧内预测模式的预测图像的情况下，帧内预测单元317将指示最佳帧内预测模式的帧内预测模式信息等供给至无损编码器307。在选择最佳帧间预测模式的预测图像的情况下，运动预测/补偿单元318将指示最佳帧间预测模式的信息、并且如果需要将基于最佳帧间预测模式的信息供给至无损编码器307。基于最佳帧间预测模式的信息的示例包括运动向量信息、标志信息以及参考帧信息。

在选择了i_pcm模式的情况下，不增加在内部运算中的位深。即，跳过由自适应向左移位单元303对参考图像所执行的向左移位处理。在步骤s375中，计算单元304计算位深未被向左移位的输入图像与通过步骤s374中的处理所选择的预测图像之间的差异。在执行了帧间预测的情况下，预测图像经由选择器319从运动预测/补偿单元318被供给至计算单元304，并且在执行了帧内预测的情况下，预测图像经由选择器319从帧内预测单元317被供给至计算单元304。

在步骤s376中，正交变换单元305对通过步骤s375中的处理所生成的差分信息执行正交变换。具体地，执行正交变换(诸如离散余弦变换或karhunen-loeve变换)，并且输出变换系数。在步骤s377中，量化器306对通过步骤s376中的处理所获得的正交变换系数进行量化。

在对正交变换系数进行量化之后，量化器306使得处理继续至步骤s378，其中使用在步骤s377中所量化的正交变换系数(未执行向左移位处理的数据)生成参考图像。

相反，如果在步骤s371中确定未选择i_pcm模式，则自适应向左移位单元315跳过步骤s372至步骤s377中的处理，并且使得处理继续至步骤s378。即，在未选择i_pcm模式的情况下，使用在图10中的步骤s310中所量化的正交变换系数(执行了向左移位处理的数据)生成参考图像。

在步骤s378中，去量化器309依照与量化器306的特性相对应的特性对量化的正交变换系数(也称为量化的系数)进行逆量化。在步骤s379中，逆正交变换单元310依照与正交变换单元305的特性相对应的特性来对通过步骤s378中的处理所获得的正交变换系数执行逆正交变换。

在步骤s380中，计算单元311将预测图像加到本地解码的差分信息，由此生成本地解码图像(与计算单元304的输入相对应的图像)。例如，在选择了i_pcm模式的情况下，计算单元311将未被执行向左移位处理的预测图像加到未被执行向左移位处理的差分信息，以便生成未被执行向左移位处理的解码图像。另外，例如，在未选择i_pcm模式的情况下，计算单元311将被执行了向左移位处理的预测图像加到被执行了向左移位处理的差分信息，以便生成被执行了向左移位处理的解码图像。

在步骤s381中，环路滤波器312基于由滤波器控制器365所执行的控制对通过步骤s380中的处理所获得的本地解码图像执行环路滤波处理，并且适当地执行环路滤波器处理(包括去块滤波器处理、自适应环路滤波器处理等)。

在步骤s382中，自适应向右移位单元313基于由自适应移位控制器364所执行的控制来确定是否选择i_pcm模式。如果确定未选择i_pcm模式，则自适应向右移位单元313使得处理继续至步骤s383。

在未选择i_pcm模式的情况下，解码图像经历了内部运算中的位深的增加。因此，在步骤s383中，自适应向右移位单元313对通过步骤s381中的环路滤波器处理所获得的滤波器处理的结果(解码图像)的位深执行向右移位。在步骤s383中的处理结束之后，自适应向右移位单元313使得处理继续至步骤s384。

如果在步骤s382中确定选择了i_pcm模式，则自适应向右移位单元313使得处理继续至步骤s384而不执行向右移位处理。

在步骤s384中，帧存储器314存储解码图像。在步骤s384中的处理结束之后，帧存储器314结束参考图像生成处理，处理返回至图10中的步骤s316，并且编码处理结束。

[环路滤波器处理的流程]

接下来，将参照图14中的流程图描述图13中的步骤s381中所执行的环路滤波器处理的流程的示例。

在环路滤波器处理开始之后，在步骤s401中，环路滤波器312的去块滤波器351对从计算单元311所供给的解码图像(在去块滤波器之前的像素值)执行去块滤波器处理。

在步骤s402中，像素分类单元352在由pcm决定单元342的滤波器控制器365所执行的控制之下，基于模式是否为i_pcm模式来对解码图像的各个像素进行分类。

在步骤s403中，滤波器系数计算器353针对被分类为经历滤波器处理的像素(要处理的目标像素)计算滤波器系数。在步骤s404中，滤波单元354使用在步骤s403中所计算的滤波器系数，对要处理的目标像素执行自适应滤波器处理。

在步骤s405中，滤波单元354针对要处理的目标块设置自适应滤波器标志，并且将自适应滤波器标志和滤波器系数供给至cu编码器332，以使得对自适应滤波器标志和滤波器系数进行编码。

在步骤s405中的处理结束之后，环路滤波器321结束环路滤波器处理，处理返回至图13中的步骤s381，并且从步骤s382起执行处理。

通过以上述方式执行各个处理操作，图像编码设备300能够增强编码效率而同时抑制编码处理效率的降低。

[第二实施例]

[图像解码设备]

图15是示出图像解码设备的主要示例配置的框图。图15中所示的图像解码设备500是基本上与图2中所示的图像解码设备200类似的设备，并且对通过对图像数据进行编码所生成的编码数据进行解码。

图15中所示的图像解码设备500是与图7中所示的图像编码设备300相对应的解码设备。由图像编码设备300所编码的编码数据经由任意路径(例如，传送信道、记录介质等)被供给至图像解码设备500，并且被解码。

如在图15中所示，图像解码设备500包括累积缓冲器501、无损解码器502、去量化器503、逆正交变换单元504、计算单元505、环路滤波器506、自适应向右移位单元507、画面重排缓冲器508以及d/a转换器509。另外，图像解码设备500包括帧存储器510、自适应向左移位单元511、选择器512、帧内预测单元513、运动预测/补偿单元514以及选择器515。

图像解码设备500还包括pcm解码器516。

如同累积缓冲器201的情况一样，累积缓冲器501对传送至其的编码数据进行累积。编码数据由图像编码设备300所编码。

无损解码器502在特定定时从累积缓冲器501读出编码数据，并且使用与由图15中所示的无损编码器307所使用的编码格式相对应的格式对编码数据进行解码。此时，无损解码器502将编码数据中所包括的i_pcm_flag供给至pcm解码器516，并且使得pcm解码器516确定模式是否为i_pcm模式(非压缩模式)。

在模式是i_pcm模式的情况下，从累积缓冲器501所获得的cu数据是非编码数据。因此，无损解码器502依照由pcm解码器516所执行的控制将cu数据供给至去量化器503。

在模式不是i_pcm模式的情况下，从累积缓冲器501所获得的cu数据是编码数据。因此，无损解码器502依照由pcm解码器516所执行的控制对cu数据进行解码，并且将解码结果供给至去量化器503。

注意，例如，在对目标cu进行帧内编码的情况下，帧内预测模式信息被存储在编码数据的头部分中。无损解码器502还对帧内预测模式信息进行解码，并且将该信息供给至帧内预测单元513。另一方面，在对目标cu进行帧间编码的情况下，运动向量信息和帧间预测模式信息被存储在编码数据的头部分中。无损解码器502还对运动向量信息和帧间预测模式信息进行解码，并且将该信息供给至运动预测/补偿单元514。

如同去量化器203的情况一样，在模式不是i_pcm模式的情况下，去量化器503使用与由图7中所示的量化器306所使用的量化方法相对应的方法，对从无损解码器502所供给的系数数据(量化的系数)进行去量化。即，去量化器503使用与图7中所示的去量化器309所使用的方法类似的方法来对量化的系数进行去量化。去量化器503将去量化的系数数据(即，正交变换系数)供给至逆正交变换单元504。

另外，在模式是i_pcm模式的情况下，去量化器503将从无损解码器502所供给的cu数据(未编码的图像数据)供给至逆正交变换单元504。

如同逆正交变换单元204的情况一样，在模式不是i_pcm模式的情况下，逆正交变换单元504使用与图7中所示的正交变换单元305所使用的正交变换方法相对应的方法(与由图7中所示的逆正交变换单元310所使用的方法类似的方法)，对正交变换系数执行逆正交变换。采用逆正交变换处理，逆正交变换单元504获得与在图像编码设备300中执行正交变换之前的残差数据相对应的解码残差数据。例如，执行四阶逆正交变换。逆正交变换单元504将通过逆正交变换所获得的解码残差数据供给至计算单元505。

另外，在模式是i_pcm模式的情况下，逆正交变换单元504将从去量化器503所供给的cu数据(未编码的图像数据)供给至计算单元505。

另外，预测图像从帧内预测单元513或运动预测/补偿单元514经由选择器515被供给至计算单元505。

如同计算单元205的情况一样，在模式不是i_pcm模式的情况下，计算单元505将解码残差数据和预测图像相加，并且由此获得与由图像编码设备300的计算单元304减去预测图像之前的图像数据相对应的解码图像数据。计算单元505将解码图像数据供给至环路滤波器506。

在模式是i_pcm模式的情况下，计算单元505将从逆正交变换单元504所供给的cu数据(未编码的图像数据)供给至环路滤波器506。在这种情况下，cu数据不是残差信息，并且因此不需要加到预测图像。

环路滤波器506在由pcm解码器516所执行的控制之下，对从计算单元505所供给的解码图像适当地执行环路滤波器处理(包括去块滤波器处理、自适应滤波器处理等)。

更具体地，环路滤波器506对解码图像执行与由去块滤波器206所执行的去块滤波器处理类似的去块滤波器处理，由此移除解码图像的块失真。另外，环路滤波器506依照由pcm解码器516所执行的控制，使用维纳滤波器对去块滤波器处理的结果(移除了块失真的解码图像)执行环路滤波器处理，由此改进图像质量。

替选地，环路滤波器506可以对解码图像执行任意滤波器处理。替选地，环路滤波器506可以通过使用从图7中所示的图像编码设备300所供给的滤波器系数来执行滤波器处理。

环路滤波器506将滤波器处理的结果(执行了滤波器处理的解码图像)供给至自适应向右移位单元507。

自适应向右移位单元507是与自适应向右移位单元313(图7)类似的处理单元，并且由pcm解码器516所控制。在模式不是i_pcm模式的情况下，自适应向右移位单元507对从环路滤波器506所供给的解码图像数据在向右的方向上移位，以便以特定比特量(例如，4比特)减少位深，例如，将位深从12比特减少至8比特。即，自适应向右移位单元507以在图像编码设备300中图像数据被向左移位的比特量将解码图像数据向右移位，以便将图像数据的位深改变为未执行向左移位的状态(当图像数据被从画面重排缓冲器302(图7)所读出时的状态)。

自适应向右移位单元507将执行了向右移位处理的图像数据供给至画面重排缓冲器508和帧存储器510。

注意未指定向右移位的量(比特量)，只要该量与在图像编码设备300(自适应向左移位单元303)中向左移位的量相同即可。即，该量可以是固定的或是可变的。例如，可以预先确定移位的量(在图像编码设备300与图像解码设备500之间预先共享)、或图像解码设备500可以被允许计算在图像编码设备300中的移位的量、或可以从图像编码设备300提供指示移位的量的信息。

替选地，依照由pcm解码器516所执行的控制可以跳过向右移位处理。例如，在i_pcm模式的情况下，图像数据在图像编码设备300中不经历向左移位处理。因此，在这种情况下，自适应向右移位单元507由pcm解码器516所控制，并且将从环路滤波器506所供给的解码图像数据供给至画面重排缓冲器508和帧存储器510而不在向右的方向上对解码图像数据进行移位。

如同画面重排缓冲器207的情况一样，画面重排缓冲器508对图像进行重排。即，由图7中所示的画面重排缓冲器302以编码顺序所重排的帧被以原始显示顺序进行重排。画面重排缓冲器508以原始显示顺序将各个帧的解码图像数据供给至d/a转换器509。

如同d/a转换器208的情况一样，d/a转换器509对从画面重排缓冲器508所供给的帧图像进行d/a转换，并且将帧图像输出至显示器(未示出)以使得显示帧图像。

帧存储器510存储从自适应向右移位单元507所供给的解码图像，并且在特定定时将所存储的解码图像作为参考图像供给至自适应向左移位单元511。

自适应向左移位单元511是与自适应向左移位单元315类似的处理单元，由pcm解码器516所控制，对从帧存储器510所读出的图像数据(参考图像)在向左的方向上适当地进行移位，以及以特定比特数量(例如，4比特)增加其位深。

例如，在模式不是i_pcm模式的情况下，从逆正交变换单元504供给至计算单元505的解码图像数据是在图像编码设备300中被向左移位的图像数据(例如，位深为12比特)。因此，自适应向左移位单元511依照由pcm解码器516所执行的控制，以特定比特数量增加从帧存储器510所读出的参考图像的位深(例如，将位深从8比特增加至12比特)。

然后，自适应向左移位单元511将执行了向左移位处理的图像数据供给至选择器512。作为以这种方式增加位深的结果，可以使得参考图像的位深与解码图像的位深相同，以使得参考图像可以被加到解码图像。另外，可以增加内部运算(诸如预测处理)的精度，并且可以抑制误差。

另一方面，例如，在模式是i_pcm模式的情况下，从逆正交变换单元504供给至计算单元505的解码图像数据是在图像编码设备300中未执行向左移位处理的图像数据(例如，位深为8比特)。因此，自适应向左移位单元511依照由pcm解码器516所执行的控制，将从帧存储器510所读出的参考图像供给至选择器512而不增加位深。

在帧内预测的情况下，选择器512将从自适应向左移位单元511所供给的参考图像供给至帧内预测单元513。另一方面，在帧间预测的情况下，选择器512将从自适应向左移位单元511所供给的参考图像供给至运动预测/补偿单元154。

通过对头信息进行解码所获得的、指示帧内预测模式的信息等从无损解码器502适当地被供给至帧内预测单元513。帧内预测单元513使用从帧存储器510所获得的参考图像、使用由帧内预测单元317所使用的帧内预测模式来执行帧内预测，并且生成预测图像。即，类似于帧内预测单元317，帧内预测单元513还能够使用除了在avc编码格式中所定义的模式之外的任意模式执行帧内预测。

帧内预测单元513将所生成的预测图像供给至选择器515。

通过对头信息进行解码所获得的信息(预测模式信息、运动向量信息、参考帧信息、标识、各种参数等)从无损解码器502被供给至运动预测/补偿单元514。

运动预测/补偿单元514使用从帧存储器510所获得的参考图像、使用由运动预测/补偿单元318所使用的帧间预测模式执行帧间预测，由此生成预测图像。即，类似于运动预测/补偿单元318，运动预测/补偿单元514还能够使用除了在avc编码格式中所定义的模式之外的任意模式来执行帧内预测。

运动预测/补偿单元514将所生成的预测图像供给至选择器515。

如同选择器213的情况一样，选择器515选择由运动预测/补偿单元514或帧内预测单元513所生成的预测图像，并且将预测图像供给至计算单元505。

pcm解码器516基于从无损解码器502所供给的i_pcm_flag控制无损解码器502、环路滤波器506、自适应向右移位单元507以及自适应向左移位单元511。

[无损解码器、pcm解码器以及环路滤波器]

图16是示出图15中所示的无损解码器502、pcm解码器516以及环路滤波器506的主要示例配置的框图。

如在图16中所示，无损解码器502包括nal解码器531和cu解码器532。nal解码器531对从累积缓冲器501所供给的编码nal数据进行解码，并且将解码nal数据供给至cu解码器532。

cu解码器532基于从nal解码器531所供给的nal数据对从累积缓冲器501所供给的编码cu数据进行解码。

另外，当通过对cu数据进行解码获得i_pcm_flag时，cu解码器532将i_pcm_flag供给至pcm解码器516。cu解码器532基于i_pcm_flag(基于从pcm编码器321所供给的on/off控制信号)、依照由pcm解码器516所执行的控制对编码cu数据进行解码。

例如，在i_pcm_flag具有指示模式不是i_pcm模式的值，并且从pcm解码器516获得代表“on”的控制信号的情况下，cu解码器532基于从nal解码器531所供给的nal数据对从累积缓冲器501所供给的编码cu数据进行解码，并且将量化的正交变换系数供给至去量化器503。

另一方面，在i_pcm_flag具有指示模式是i_pcm模式的值，并且从pcm解码器516获得代表“off”的控制信号的情况下，cu解码器532将从累积缓冲器501所供给的cu数据(未编码图像数据)供给至去量化器503。

注意，cu解码器532将通过对cu数据进行解码所获的信息(诸如滤波器系数和自适应滤波器标志)供给至环路滤波器506。

如图8中所示，pcm解码器516包括i_pcm_flag缓冲器541和pcm控制器542。

i_pcm_flag缓冲器541存储从无损解码器502的cu解码器532所供给的i_pcm_flag，并且在特定定时将i_pcm_flag供给至pcm控制器542。

pcm控制器542基于从i_pcm_flag缓冲器541所获得的i_pcm_flag的值，确定在图像编码设备300中进行编码时是否选择了i_pcm模式。基于确定结果，pcm控制器542将on/off控制信号供给至cu解码器532，并且控制其操作。

例如，在确定未选择i_pcm模式的情况下，pcm控制器542将代表“on”的控制信号供给至cu解码器532，使得cu解码器532对编码cu数据进行解码，以及使得cu解码器532将通过解码所获的量化的正交变换系数供给至去量化器503。

另一方面，例如，在确定选择i_pcm模式的情况下，pcm控制器542将代表“off”的控制信号供给至cu解码器532，并且使得cu解码器532将作为非编码数据的cu数据供给至去量化器503作为输出像素值。

采用上述控制，cu解码器532能够适当地对从图像编码设备300所供给的编码数据进行解码。即，cu解码器532能够更适当地对编码数据进行解码，即使在以小于lcu的cu为单位来控制模式是否为i_pcm模式的情况下，也能够对编码数据进行编码。

另外，pcm控制器542基于关于i_pcm模式的确定结果，将on/off控制信号供给至自适应向右移位单元507和自适应向左移位单元511，并且控制其操作。

例如，在确定未选择i_pcm模式的情况下，pcm控制器542将代表“on”的控制信号供给至自适应向右移位单元507和自适应向左移位单元511，并且使得执行向左移位处理和向右移位处理，以使得增加内部处理中的位精度。

另一方面，在确定选择了i_pcm模式的情况下，pcm控制542将代表“off”的控制信号供给至自适应向右移位单元507和自适应向左移位单元511，并且使得跳过向左移位处理和向右移位处理，以使得不增加内部处理中的位精度。

采用上述控制，pcm控制器542能够适当地消除冗余处理，即使在以小于lcu的cu为单位来控制模式是否为i_pcm模式的情况下也能够适当地消除冗余处理。

此外，pcm控制器542基于关于i_pcm模式的确定结果，将on/off控制信号供给至环路滤波器506，并且控制其操作。例如，在确定未选择i_pcm模式的情况下，pcm控制器542将代表“on”的控制信号供给至环路滤波器506。另一方面，例如，在确定选择i_pcm模式的情况下，pcm控制器542将代表“off”的控制信号供给至环路滤波器506。

采用上述控制，pcm控制器542能够更适当地消除冗余处理，即使在以小于lcu的cu为单位来控制模式是否为i_pcm模式的情况下也能够适当地消除冗余处理。

如在图8中所示，环路滤波器506包括去块滤波器551、像素分类单元552以及滤波单元553。

如同去块滤波器206的情况一样，去块滤波器551对从计算单元505所供给的解码图像(在去块滤波器之前的像素值)执行去块滤波器处理，由此移除块失真。

如同图像编码设备300的情况一样，无论用于目标cu的模式是否为i_pcm模式，执行去块滤波器处理。去块滤波器551将滤波器处理的结果(在去块滤波器之后的像素值)供给至像素分类单元552。

依照从pcm控制器542所供给的on/off控制信号的值，像素分类单元552将滤波器处理的各个结果(在去块滤波器之后的像素值)分类为要对其执行自适应环路滤波器处理的像素值和不要对其执行自适应环路滤波器处理的像素值。

例如，在pcm控制器542供给代表“on”的控制信号的情况下，像素分类单元552将cu的在去块滤波器之后的像素值分类为要对其执行自适应环路滤波器处理的像素值。相反，例如，在pcm控制器542供给代表“off”的控制信号的情况下，像素分类单元552将cu的在去块滤波器之后的像素值分类为不要对其执行自适应环路滤波器处理的像素值。

像素分类单元552将各个像素的分类之后的像素值(去块滤波器之后的像素值)供给至滤波单元553。

滤波单元553基于从cu解码器532所供给的自适应环路滤波器标志，对已经被分类为要对其执行自适应环路滤波处理的像素值的像素值执行自适应环路滤波器处理。

以独立于cu而设置的特定块为单位执行自适应环路滤波器处理。在目标块的自适应环路滤波器标志的值是指示在编码侧未执行滤波处理的值(例如，“0”)的情况下，滤波单元553跳过对于目标块的自适应环路滤波器处理，并且将供给至其的在去块滤波器之后的像素值供给至自适应向右移位单元507作为在自适应滤波器之后的像素值。

顺便提及，用于设置自适应环路滤波器标志的方法依赖于图像编码设备300的规范等。因此，依赖于用于由图像编码设备300设置自适应环路滤波器标志的方法，即使目标块的自适应环路滤波器标志的值是指示在编码侧执行了滤波器处理的值(例如，“1”)，也存在i_pcm模式的像素被包括在目标块中的可能性。

因此，在目标块中存在被分类为不要对其执行自适应环路滤波器处理的像素值的像素值的情况下，滤波单元553跳过对于目标块的自适应环路滤波器处理，即使目标块的自适应环路滤波器标志的值是指示在编码侧执行了滤波器处理的值(例如，“1”)的情况下也跳过对于目标块的自适应环路滤波器处理，并且将供给至其的在去块滤波器之后的像素值供给至自适应向右移位单元507作为在去块滤波器之后的像素值。

即，仅在目标块的自适应环路滤波器标志的值是指示在编码侧执行了滤波器处理的值(例如，“1”)，并且目标块中的所有像素被分类为要对其执行自适应环路滤波器处理的像素的情况下，滤波单元553对目标块执行自适应环路滤波器处理。

注意，在执行自适应环路滤波器处理的情况下，滤波单元553使用从cu解码器32所供给的滤波器系数(在编码侧的自适应环路滤波器处理中所使用的滤波器系数)执行自适应环路滤波器处理。

滤波单元553将对其执行了自适应环路滤波器处理的像素值供给至自适应向右移位单元507作为在自适应滤波器之后的像素值。

采用上述控制，pcm控制器542能够适当地消除冗余处理，即使在以小于lcu的cu为单位来控制模式是否为i_pcm模式(非压缩模式)的情况下也能够适当地消除冗余处理。

如上所述，采用由各个处理单元所执行的处理操作，图像解码设备500能够实现增强编码效率而同时抑制编码处理效率的降低。

[解码处理的流程]

接下来，将描述通过上述图像解码设备500所执行的各个处理操作的流程。首先，将参照图17和图18中的流程图描述解码处理的流程的示例。

在解码处理开始之后，在步骤s501中，累积缓冲器501对传送至其的图像(编码数据)进行累积。在步骤s502中，cu解码器532从在步骤s501中所累积的编码数据获取自适应滤波器标志。在步骤s503中，cu解码器532从在步骤s501中所累积的编码数据获取i_pcm_flag。i_pcm_flag缓冲器541存储i_pcm_flag。

在步骤s504中，pcm控制器542基于在i_pcm_flag缓冲器541中所存储的i_pcm_flag的值，确定在步骤s501中所累积的编码数据(cu数据)的编码模式是否为i_pcm模式(即，非编码数据)。

如果确定编码模式不是i_pcm模式，则pcm控制器542使得处理继续至步骤s505。在步骤s505中，无损解码器502执行无损解码处理、对在步骤s501中所累积的编码数据(cu数据)进行解码，以及获得量化的正交变换系数、滤波器系数等。

在步骤s506中，去量化器503对通过步骤s505中的处理所获得的量化的正交变换系数进行去量化。在步骤s507中，逆正交变换单元504对通过步骤s506中的处理所去量化的正交变换系数执行逆正交变换，并且生成解码图像数据。

在步骤s508中，自适应向左移位单元511从帧存储器510获得与目标cu相对应的参考图像，并且依照由pcm解码器516所执行的控制对参考图像执行向左移位处理。

在步骤s509中，帧内预测单元513或运动预测/补偿单元514使用在步骤s508执行了向左移位处理的参考图像执行预测处理，由此生成预测图像。

在步骤s510中，计算单元505将在步骤s509中由帧内预测单元513或运动预测/补偿单元514所生成的预测图像加到通过步骤s507中的处理所获得的差分信息。

在步骤s511中，环路滤波器506对在步骤s510中所获得的相加结果执行环路滤波器处理。

在步骤s512中，自适应向右移位单元507依照由pcm解码器516所执行的控制，对在步骤s511中所获得的环路滤波器处理的结果执行向右移位处理。

在步骤s513中，帧存储器510将解码图像数据存储为参考图像。

在步骤s514中，画面重排缓冲器508对解码图像数据的帧进行重排。即，对由图像编码设备300的画面重排缓冲器302(图7)以编码顺序重排的解码图像数据的帧以原始显示顺序进行重排。

在步骤s515中，d/a转换器509对在步骤s514中重排了帧的解码图像数据执行d/a转换。解码图像数据被输出至显示器(未示出)，并且显示其图像。

另外，如果在步骤s504中确定编码模式是i_pcm模式，则pcm控制器542使得处理继续至图18中的步骤s521。在步骤s521中，无损解码器502执行无损解码处理，并且把在步骤s501中所累积的编码数据(非压缩数据)当作编码结果(输出像素值)。

在步骤s522中，环路滤波器506对在步骤s521中所获得的输出像素值执行环路滤波器处理。在步骤s522中的处理结束之后，环路滤波器506将处理返回至图17中步骤s513，以使得执行随后的步骤。

[环路滤波处理的流程]

接下来，将参照图19中的流程图描述图17中的步骤s511和图18中的步骤s522中执行的环路滤波器处理的流程的示例。

在环路滤波器处理开始之后，在步骤s541中，去块滤波器551对在步骤s510或步骤s521中所获得的在去块滤波器之前的像素值执行去块滤波器处理。

在步骤s542中，滤波单元553获得滤波器系数。在步骤s543中，像素分类单元552基于自适应环路滤波器标志的值确定是否执行自适应环路滤波。在确定执行自适应环路滤波器处理的情况下，像素分类单元552使得处理继续至步骤s544。

在步骤s544中，像素分类单元552依照由pcm控制器542所执行的控制、依照模式是否为i_pcm模式，对在去块滤波器之后的像素值进行分类。

在步骤s545中，滤波单元545通过使用在步骤s542中所获得的滤波器系数，对被分类为经历自适应环路滤波器处理的在去块滤波器之后的像素值执行自适应环路滤波器处理。在步骤s545中的处理结束之后，滤波单元545结束环路滤波器处理，处理返回至图17中的步骤s511或图18中的步骤s522，并且处理继续至图17中的步骤s512或图17中的步骤s513。

如果在图19中的步骤s543中确定不要执行自适应环路滤波器处理，则像素分类单元52结束环路滤波器处理，处理返回至图17中的步骤s511或图18中的步骤s512，并且处理继续至图17中的步骤s512或图17中的步骤s513。

作为以上述方式执行各个处理操作的结果，图像解码设备500能够实现增强编码效率而同时抑制编码处理效率的降低。

[i_pcm信息的位置]

如上所述，可以以cu为单位执行i_pcm模式的选择控制，使得可以仅对lcu中的一些cu执行使用i_pcm模式的编码，例如图20的部分a中所示。图20的部分a示出了一个lcu中的cu的结构。图20的部分a中所示的lcu由七个cu(即，cu0至cu6)构成。各个标记指示lcu中的处理顺序。在图20的部分a所示的示例中，使用i_pcm模式对阴影cu(cu1、cu3以及cu6)进行编码。

在这种情况下，如在图20的部分b中所示，作为与lcu内部的i_pcm有关的信息的i_pcm信息可以被加到编码流的lcu的数据的顶部。

例如，i_pcm信息包括指示lcu是否包括要使用i_pcm模式进行编码的cu的标志信息。在图20中所示的示例的情况下，cu1、cu3以及cu6是要使用i_pcm模式进行编码的cu，并且因此标志信息被设置为指示lcu包括要使用i_pcm模式进行编码的cu的值(例如，“1”)。

以这种方式，图像编码设备300将与lcu内部的i_pcm有关的信息加到lcu的顶部，并且由此在对lcu进行解码之前，图像解码设备500能够容易地确定lcu是否包括要使用i_pcm模式进行编码的cu。

另外，例如，i_pcm信息包括指示lcu中所包括的、要使用i_pcm模式进行编码的cu的信息。在图20中所示的示例的情况下，cu1、cu3以及cu6是要使用i_pcm模式进行编码的cu，并且因此i_pcm信息包括指示这些cu(cu1、cu3以及cu6)的信息。

以这样的方式，图像编码设备300将与lcu内部的i_pcm有关的信息加到lcu的顶部，并且由此在对lcu进行解码之前，图像解码设备500能够容易地确定使用i_pcm模式(非压缩模式)对lcu中的哪个cu进行了编码。

注意，在以上给出的描述中，如果需要，除了图像数据之外的信息，诸如i_pcm_flag、自适应滤波器标志、滤波器系数以及i_pcm信息从图像编码设备300被提供至图像解码设备500，但是这些信息可以被加到编码数据的任意位置。例如，信息可以被加到lcu或cu的顶部，或可以被加入到切片头，或可以被存储在序列参数集(sps)、图片参数集(pps)等中。替选地，例如，信息可以被存储在sei(补充增强信息)等的参数集(例如，序列或图片的头)中。

此外，信息可以与编码数据相分离地被传送到解码侧。在那种情况下，需要阐明(允许解码侧确定)信息与编码数据之间的对应关系，但是未指定用于其的方法。例如，可以分离地建立指示对应关系的表格信息，或指示另一侧的链接信息可以被嵌入每侧的数据中。

替选地，图像编码设备300和图像解码设备500可以预先共享信息。在那种情况下，可以省略信息的传送。

<3.第三实施例>

[个人计算机]

上述的处理操作的序列可以由硬件所执行或可以由软件所执行。在这种情况下，例如，硬件或软件可以被构成为图21中所示的个人计算机。

在图21中，个人计算机600的cpu(中央处理器单元)601依照rom(只读存储器)602中所存储的程序或依照从存储单元613载入到ram(随机存取存储器)603的程序来执行各种处理操作。另外，cpu601执行各种处理操作所需要的数据适当地被存储在ram603中。

cpu601、rom602以及ram603经由总线604互相连接。另外，输入/输出接口610连接至总线604。

在输入/输出接口610上连接有：输入单元611，包括键盘、鼠标等；输出单元612，包括显示器(诸如crt(阴极射线管)或lcd(液晶显示器))以及扬声器等；存储单元613，包括硬盘等；以及通信单元614，包括调制解调器等。通信单元614经由网络(包括因特网)执行通信处理。

另外，如果需要，驱动器615连接至输入/输出接口610，可移除介质621(诸如磁盘、光盘、磁光盘或半导体存储器)适当地被载入到输入/输出接口610，以及如果需要，从输入/输出接口610所读出的计算机程序被安装在存储单元613中。

在使得软件执行上述的处理操作序列的情况下，构成软件的程序经由网络或记录介质而安装。

例如，如图21中所示，记录介质由可移除介质621构成，可移除介质621与设备的主体相分离地提供以将程序分发给用户，包含在记录在其上的程序，以及由磁盘(包括软盘)、光盘(包括cd-rom(压缩盘只读存储器)和dvd(数字通用光盘))、磁光盘(包括md(迷你盘))或半导体存储器构成。替选地，记录介质由包含记录在其上的程序的rom602或存储单元613中所包括的硬盘构成，该记录介质以并入设备的主体的状态预先地提供给用户。

由计算机所执行的程序可以是依照本说明书中所描述的顺序按照时间序列执行处理操作的程序，或可以是并行或以需要的定时(例如，当调用处理操作时)执行处理操作的程序。

另外，在本说明书中，描述在记录介质上所记录的程序的步骤可以是依照所描述的顺序按照时间序列执行的处理操作，或可以是并行地或独立地执行的处理操作。

另外，在本说明书中，“系统”是由多个装置所构成的整体设备。

另外，以上作为单一装置(或处理单元)所描述的配置可以被分成多个装置(或处理单元)。相反，以上作为多个装置(或处理单元)所描述的配置可以被组合成单一装置(或处理单元)。另外，除了以上所描述的配置之外的配置当然可以被加入到各个装置(处理单元)的配置。此外，只要整体系统的操作和配置基本上相同，某一装置(或处理单元)的配置的一部分可以被包括在另外的装置(或处理单元)的配置中。即，本技术的实施例不限于上述的实施例，并且可以进行各种修改而不背离本技术的主旨。

例如，图8中所示的无损编码器307、环路滤波器312以及pcm编码器321中的每个可以被配置成独立的装置。另外，图8中所示的nal编码器331、cu编码器332、i_pcm_flag生成器341、pcm决定单元342、去块滤波器351、像素分类单元352、滤波器系数计算器353以及滤波单元354中的每个可以被配置为独立装置。

此外，图9中所示的输入数据量计算器361、pcm确定单元362、编码控制器363、自适应移位控制器364以及滤波器控制器中的每个可以被配置为独立装置。

替选地，这些处理单元可以任意地组合在一起以构成独立装置。当然，这些处理单元可以与图7至图9中所示的任意处理单元组合，或可以与未示出的处理单元组合。

这与图像解码设备500中相同。例如，图15中所示的无损解码器502、环路滤波器506以及pcm解码器516中的每个可以被配置为独立装置。另外，图16中所示的nal解码器531、cu解码器532、i_pcm_flag缓冲器541、pcm控制器542、去块滤波器551、像素分类单元552、以及滤波单元553中的每个可以被配置为独立装置。

此外，这些处理单元可以任意地组合在一起以构成独立装置。当然，这些处理单元可以与图15和图16中所示的任意处理单元组合，或可以与未示出的处理单元组合。

另外，例如，上述图像编码设备和图像解码设备可以被施加至任意的电子设备。在下文中，将描述其示例。

<4.第四实施例>

[电视接收机]

图22是示出了包括图像解码设备500的电视接收机的主要示例配置的框图。

图22中所示的电视接收机1000包括地面广播调谐器1013、视频解码器1015、视频信号处理电路1018、图像生成电路1019、面板驱动电路1020以及显示面板1021。

地面广播调谐器1013经由天线接收地面模拟广播的广播波信号，对信号进行解码，获得视频信号，以及将视频信号供给至视频解码器1015。视频解码器1015对从地面广播调谐器1013所供给的视频信号执行解码处理，并且将由此所获得的数字分量信号供给至视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015所供给的视频数据执行特定处理(诸如噪声减弱)，并且将所获得的视频数据供给至图形生成电路1019。

例如，图形生成电路1019生成要显示在显示面板1021上的节目的视频数据，或通过基于经由网络所供给的应用执行处理来生成图像数据，以及将所生成的视频数据或图像数据供给至面板驱动电路1020。另外，图形生成电路1019适当地执行如下处理：生成用于显示用户选择项目等所使用的屏幕的视频数据(图形)，并且将通过将所生成的视频数据叠加在节目的视频数据上所获得的视频数据供给至面板驱动电路1020。

面板驱动电路1020基于从图形生成电路1019所供给的数据来驱动显示面板1021，并且使得显示面板1021显示节目的视频或上述各种屏幕。

显示面板1021由lcd(液晶显示器)等构成，并且依照由面板驱动电路1020所执行的控制来显示节目的视频等。

另外，电视接收机1000包括音频a/d(模拟/数字)转换器电路1014、音频信号处理电路1022、回波消除/音频合成电路1023、音频放大器电路1024以及扬声器1025。

地面广播调谐器1013对所接收的广播波信号进行解调，并且由此获得音频信号以及视频信号。地面广播调谐器1013将所获得的音频信号供给至音频a/d转换器电路1014。

音频a/d转换器电路对从地面广播调谐器1013所供给的音频信号执行a/d转换处理，并且将由此所获得的数字音频信号供给至音频信号处理电路1022。

音频信号处理电路1022对从音频a/d转换器电路1014所供给的音频数据执行特定处理(诸如噪声降低)，并且将由此所获得的音频数据供给至回波消除/音频合成电路1023。

回波消除/音频合成电路1023将从音频信号处理电路1022所供给的音频数据供给至音频放大器电路1024。

音频放大器电路1024对从回波消除/音频合成电路1023所供给的音频数据执行d/a转换处理和放大处理，调整音频数据以使得其具有特定音量，以及使得音频从扬声器1023输出。

此外，电视接收机1000包括数字调谐器1016和mpeg解码器1017。

数字调谐器1016经由天线接收数字广播(地面数字广播、bs(广播卫星)/cs(通信卫星)数字广播)的广播波信号，对信号进行解调，获得mpeg-ts(运动图像专家组-传输流)，以及将其供给至mpeg解码器1017。

mpeg解码器1017对从数字调谐器1016所供给的mpeg-ts进行解扰，并且提取包括作为要再现的目标(要被观看或聆听的目标)的节目的数据的流。mpeg解码器1017对构成所提取的流的音频包进行解码，并且将由此所获得的音频数据供给至音频信号处理电路1022，以及还对构成流的视频数据进行解码，并且将由此所获得的视频数据供给至视频信号处理电路1018。另外，mpeg解码器1017将从mpeg-ts中所提取的epg(电子节目指南)数据经由未示出的路径供给至cpu1032。

电视接收机1000包括用作mpeg解码器1017的上述的图像解码设备500，mpeg解码器1017按照这种方式对视频包进行解码。注意从广播站等所传送的mpeg-ts由图像编码设备300所编码。

如同图像解码设备500的情况一样，mpeg解码器1017适当地对以小于lcu的cu为单位控制其i_pcm模式的选择的编码数据进行解码。因此，mpeg解码器1017能够实现减少用于编码的冗余处理和减少编码数据中所包括的冗余信息。因此，mpeg解码器1017能够实现增强编码效率而同时抑制编码处理效率的降低。

如同从视频解码器1015所供给的视频数据的情况一样，从mpeg解码器1017所供给的视频数据在视频信号处理电路1018中经历了特定处理，在图形生成电路1019中所生成的视频数据等被适当地叠加在其上，视频数据经由面板驱动电路1020被供给至制显示面板1021，以及显示其图像。

如同从音频a/d转换器电路1014供给的音频数据的情况一样，从mepg解码器1017所供给的音频数据在音频信号处理电路1022中经历了特定处理，经由回波消除/音频合成电路1023被供给至音频放大器电路1024，以及经历d/a转换处理和放大器处理。结果，被调整为具有特定音量的音频被从扬声器1025输出。

另外，电视接收机1000包括麦克风1026和a/d转换器电路1027。

a/d转换器电路1027接收由设置在电视接收机1000中的用于声音转换的麦克风1026所捕获的用户声音的信号，对所接收的音频信号执行a/d转换，以及将所获得的数字音频数据供给至回波消除/音频合成电路1023。

在电视接收机1000的用户(用户a)的音频数据从a/d转换器电路1027供给时，回波消除/音频合成电路1023对用户a的音频数据执行回波消除，并且使得通过与其他音频进行合成所获得的音频数据经由音频放大器电路1024从扬声器1025输出。

此外，电视接收机1000包括音频解码编码器1028、内部总线1029、sdram(同步动态随机存取存储器)1030、闪速存储器1031、cpu1032、usb(通用串行总线)i/f1033以及网络i/f1034。

a/d转换器电路1027接收由设置在电视接收机1000中的用于声音转换的麦克风1026所捕获的用户声音的信号，对所接收的音频信号执行a/d转换处理，以及将所获得的数字音频数据供给至音频编解码器1028。

音频编解码器1028将从a/d转换器电路1027所供给的音频信号转换为用于经由网络传送其的特定格式的数据，并且经由内部总线1029将音频数据供给至网络i/f1034。

网络i/f1034经由附接至网络终端1035的电缆连接至网络。例如，网络i/f1034将从音频编解码器1028所供给的音频数据传送至连接至网络的另一设备。另外，例如，网络i/f1034经由网络终端1035接收从经由网络所连接的另一设备所传送的音频数据，并且将音频数据经由内部总线1029供给至音频编解码器1028。

音频编解码器1028将从网络i/f1034所供给的音频数据转换为特定格式的数据，并且将数据供给至回波消除/音频合成电路1023。

回波消除/音频合成电路1023对从音频编解码器1028所供给的音频数据执行回波消除，并且使得通过与其他音频数据进行合成所获得的音频数据经由音频放大器电路1024而从扬声器1025输出。

sdram1030存储cpu1032执行处理所需要的各种数据。

闪速存储器1031存储由cpu1032所执行的程序。闪速存储器1031中所存储的程序被cpu1032在特定定时(例如，在电视接收机1000启动时)读出。闪速存储器1031还存储经由数字广播所获得的epg数据和经由网络从特定服务器所获得的数据。

例如，闪速存储器1031存储mpeg-ts，mpeg-ts包括在由cpu1032所执行的控制之下经由网络从特定服务器所获得的内容数据。例如，在由cpu1032所执行的控制之下，闪速存储器1031将mpeg-ts经由内部总线1029供给至mpeg解码器1017。

如同从数字调谐器1016供给mpeg-ts的情况一样，mpeg解码器1017对mpeg-ts进行处理。以这种方式，电视接收机1000能够经由网络接收视频、音频等的内容数据，使用mpeg解码器1017对数据进行解码，以及使得显示视频或输出音频。

另外，电视接收机1000包括光接收器1037，该光接收器1037接收从远程控制器1051所传送的红外信号。

光接收器1037从远程控制器1051接收红外射线，并且将通过解调所获得的代表用户操作的详情的控制代码输出至cpu1032。

cpu1032执行闪速存储器1031中所存储的程序，并且依照从光接收器1037所供给的控制代码等控制电视接收机1000的全部操作。cpu1032经由未示出的路径连接至电视接收机1000的各个单元。

usbi/f1033将数据传送至电视接收机1000的外部设备/从电视接收机1000的外部设备接收数据，该设备经由附接至usb终端1036的usb电缆而连接。网络i/f1034经由附接至网络终端1035的电缆连接至网络，并且将除了音频数据之外的数据传送至连接至网络的各种设备/从连接至网络的各种设备接收除了音频数据之外的数据。

电视接收机1000包括用作mpeg解码器1017的图像解码设备500，由此能够在生成内容数据时实现增强内容数据的编码效率而同时抑制编码处理效率的降低，该内容数据是经由通过天线或网络所接收的广播波信号所获得的。

<5.第五实施例>

[移动电话]

图23是示出包括图像编码设备300和图像解码设备500的移动电话的主要示例配置的框图。

图23中所示的移动电话1100包括：被配置成总体地控制各个单元的主控制器1150、电力供给电路单元1151、操作输入控制器1152、图像编码器1153、摄像装置i/f单元1154、lcd控制器1155、图像解码器1156、复用器/解复用器单元1157、记录/再现单元1162、调制/解调电路单元1158、以及音频编解码器1159。这些单元经由总线1160互相连接。

另外，移动电话1100包括操作键1119、ccd(电荷耦合装置)摄像装置1116、液晶显示器1118、存储单元1123、传送/接收电路单元1163、天线1114、麦克风1121以及扬声器1117。

当通过用户操作结束呼叫或接通电源键时，电力供给电路单元1151将电力从电池组供给至各个单元，由此使移动电话1100进入可操作状态。

基于由包括cpu、rom、ram等的主控制器1150所执行的控制，移动电话1100在各种模式(诸如音频呼叫模式或数据通信模式)中执行各种操作(诸如音频信号的传送/接收、电子邮件或图像数据的传送/接收、图像捕获或数据记录)。

例如，在音频呼叫模式中，移动电话1100使用音频编解码器1159将由麦克风1121所收集的音频信号转换为数字音频数据，使用调制/解调电路单元1158在其上执行频谱扩展处理，以及使用传送/接收电路单元1163执行数字-模拟转换处理和频率转换处理。移动电话1100将通过转换处理所获得的要传送的信号经由天线1114传送至基站(未示出)。被传送至基站的要传送的信号(音频信号)经由公共电话线网络被供给至呼叫另一端的移动电话。

另外，例如，在音频呼叫模式中，移动电话1100使用传送/接收电路单元1163对由天线1114所接收的接收信号进行放大，进一步执行频率转换处理和模拟-数字转换处理，使用调制/解调电路单元1158执行频谱逆扩展处理，以及使用音频编解码器1159将信号转换为模拟音频信号。移动电话1100将通过转换所获得的模拟音频信号从扬声器1117输出。

此外，例如，当在数据通信模式中传送电子邮件的情况下，移动电话1100在操作输入控制器1152中接收通过操作键1119的操作所输入的电子邮件的文本数据。移动电话1100使用主控制器1150对文本数据进行处理，并且使得文本数据作为图像经由lcd控制器1155而显示在液晶显示器1118上。

另外，移动电话1100基于由操作输入控制器1152所接收的文本数据或用户指令在主控制器1150中生成电子邮件数据。移动电话1100使用调制/解调电路单元1158对电子邮件数据执行频谱扩展处理，并且使用传送/接收电路单元1163执行数字-模拟转换处理和频率转换处理。移动电话1100将通过转换处理所获得的要传送的信号经由天线1114传送至基站(未示出)。被传送至基站的要传送的信号(电子邮件)经由网络或邮件服务器等被供给至特定目的地。

另外，例如，当在数字通信模式中接收电子邮件的情况下，移动电话1100使用传送/接收电路单元1163经由天线1114接收从基站所传送的信号，对信号进行放大，以及进一步执行频率转换处理和模拟-数字转换处理。移动电话1100使用调制/解调电路单元1158对所接收的信号执行频谱逆扩展处理以恢复原始电子邮件数据。移动电话1100将所恢复的电子邮件数据经由lcd控制器1155而显示在液晶显示器1118上。

另外，移动电话1100还能够使得所接收的电子邮件数据经由记录/再现单元1162被记录(存储)在存储单元1123中。

存储单元1123是任意可重写存储介质。例如，存储单元1123可以是半导体存储器(诸如ram或内置闪速存储器)、硬盘或可移除介质(诸如磁盘、磁光盘、光盘、usb存储器或存储卡)。当然可以使用其他类型的介质。

此外，例如，当在数据通信模式中传送图像数据的情况下，移动电话1100通过使用ccd摄像装置1116进行图像捕获来生成图像数据。ccd摄像装置1116包括光学装置(诸如镜头和光阑)以及用作光电转换元件的ccd，捕获对象的图像，将所接收的光的强度转换为电信号，以及生成对象的图像的图像数据。ccd摄像装置1116使用图像编码器1153经由摄像装置i/f单元1154对图像数据进行编码，由此将图像数据转换为编码图像数据。

移动电话1100包括用作执行上述处理的图像编码器1153的上述图像编码设备300。如同图像编码设备300的情况一样，图像编码器1153以小于lcu的cu为单位控制i_pcm模式的选择。即，图像编码器1153能够进一步减少用于编码的冗余处理，并且还能够进一步减少编码数据中所包括的冗余信息。因此，图像编码器1153能够增强编码效率而同时抑制编码处理效率的降低。

另外，同时，在由ccd摄像装置1116进行的图像捕获的期间，移动电话1100在音频编解码器1159中对由麦克风1121所收集的音频执行模拟-数字转换，并且还对其进行编码。

移动电话1100在复用器/解复用器单元1157中，使用特定方法对从图像编码器1153所供给的编码图像数据和从音频编解码器1159所供给的数字音频数据进行复用。移动电话1100使用调制/解调电路单元1158对作为结果所获得的复用数据执行频谱扩展处理，并且使用传送/接收电路单元1163执行数字-模拟转换处理和频率转换处理。移动电话1100将通过转换处理所获得的要传送的信号经由天线1114传送至基站(未示出)。被传送至基站的要传送的信号(图像数据)经由网络等被供给至通信的另一端。

注意在不传送图像数据的情况下，移动电话1100能够使得由ccd摄像装置1116所生成的图像数据经由lcd控制器1155而不是经由图像编码器1153被显示在液晶显示器1118上。

另外，例如，当在数据通信模式中接收链接至简单网页等的运动图像文件的数据的情况下，移动电话1100使用传送/接收电路单元1163经由天线1114接收从基站所传送的信号，对信号进行放大，以及进一步在其上执行频率转换处理和模拟-数字转换处理。移动电话1100使用调制/解调电路单元1158对所接收的信号执行频谱逆扩展处理以恢复原始复用数据。移动电话1100使用复用器/解复用器单元1157将复用数据解复用为编码图像数据和音频数据。

移动电话1100使用图像解码器1156对编码图像数据进行解码以生成再现运动图像数据，并且使得该数据经由lcd控制器1155而显示在液晶显示器1118上。因此，例如，在链接至简单网页的运动图像文件中所包括的运动图像数据被显示在液晶显示器1118上。

移动电话1100包括用作用于执行这样的处理的图像解码器1156的上述图像解码设备500。即，如同图像解码设备500的情况一样，图像解码器1156适当地对以小于lcu的cu为单位控制其i_pcm模式的选择的编码数据进行解码。因此，图像解码器1156能够实现减少用于编码的冗余处理并且减少编码数据中所包括的冗余信息。因此，图像解码器1156能够实现增强编码效率而同时抑制编码处理效率的降低。

此时，移动电话1100使用音频编解码器1159将数字音频数据转换为模拟音频信号，并且使得信号从扬声器1117输出。因此，例如，再现在链接至简单网页的运动图像文件中所包括的音频数据。

注意，如同电子邮件的情况一样，移动电话1100还能够使得所接收的链接至简单网页等的数据经由记录/再现单元1162被记录(存储)在存储单元1123中。

另外，移动电话1100能够使用主控制器1150对由ccd摄像装置1116通过图像捕获所获得的二维码进行分析，并且获得在二维码中所记录的信息。

此外，移动电话1100能够使用红外通信单元1181通过红外线与外部设备进行通信。

通过包括用作图像编码器1153的图像编码设备300，例如，当对由ccd摄像装置1116所生成的图像数据进行编码和传送时，移动电话1100能够增强编码效率而同时抑制编码处理效率的降低。

另外，通过包括用作图像解码器1156的图像解码设备500，在生成链接至简单网页等运动图像文件的数据(编码数据)时，移动电话1100能够实现增强的数据编码效率而同时抑制编码处理效率的降低。

注意，尽管以上描述了移动电话1100包括ccd摄像装置1116，但是使用cmos(互补金属氧化物半导体)的图像传感器(cmos图像传感器)可以被用来代替ccd摄像装置1116。在这种情况下，同样地，如同在使用ccd摄像装置1116的情况中一样，移动电话1100能够捕获对象的图像并且生成对象的图像的图像数据。

另外，尽管以上描述了移动电话1100，但是如同移动电话1100的情况一样，图像编码设备300和图像解码设备500可以被施加至具有与移动电话1100的这些功能类似的图像捕获功能和通信功能的任何设备(诸如pda(个人数字助理)、智能电话、umpc(超级移动个人计算机)、上网本或笔记本型个人计算机)。

<6.第六实施例>

[硬盘记录器]

图24是示出包括图像编码设备300和图像解码设备500的硬盘记录器的主要示例配置的框图。

图24中所示的硬盘记录器(hdd记录器)1200是如下设备：该设备将由卫星、地面上的天线等所传送的并且由调谐器所接收的广播波信号(电视信号)中所包括的广播节目的音频数据和视频数据存储在其中内置的硬盘中，并且将所存储的数据以对应于由用户所提供的指令的定时提供给用户。

例如，硬盘记录器1200能够从广播波信号提取音频数据和视频数据，适当地对其进行解码，以及使得其被存储在其中内置的硬盘中。另外，例如，硬盘记录器1200能够经由网络从另外的设备获得音频数据和视频数据，适当地对其进行解码，以及使得其被存储在其中内置的硬盘中。

此外，例如，硬盘记录器1200能够对在其中内置的硬盘上所记录的音频数据和视频数据进行解码，将其供给至监视器1260，使得其图像被显示在监视器1260的屏幕上，以及使得其音频从监视器1260的扬声器输出。另外，例如硬盘记录器1200能够对从经由调谐器所获得的广播波信号中所提取的音频数据和视频数据或经由网络从另外的设备所获得的音频数据和视频数据进行解码，将其供给至监视器1260，使得其图像被显示在监视器1260的屏幕上，以及使得其音频从监视器1260的扬声器输出。

当然，可以执行另外的操作。

如图24中所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225、以及记录器控制器1226。硬盘记录器1200还包括epg数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、osd(屏幕显示)控制器1231、显示控制器1232、记录/再现单元1223、d/a转换器1234以及通信单元1235。

另外，显示转换器1230包括视频编码器1241。记录/再现单元1233包括编码器1251和解码器1252。

接收单元1221从远程控制器(未示出)接收红外信号，将信号转换为电信号，以及将电信号输出至记录器控制器1226。例如，记录器控制器1226由麦克风等构成，并且依照程序存储器1228中所存储的程序执行各种处理操作。此时，如果需要，记录器控制器1226使用工作存储器1229。

通信单元1235连接至网络，并且经由网络与另外的设备执行通信处理。例如，通信单元1235由记录器控制器1226所控制，与调谐器(未示出)进行通信，以及将频道选择控制信号主要输出至调谐器。

解调单元1222对从调谐器所供给的信号进行解调，并且将信号输出至解复用器1223。解复用器1223将从解调单元1222所供给的数据解复用为音频数据、视频数据以及epg数据，并且将其分别地输出至音频解码器1224、视频解码器1225以及记录控制器1226。

音频解码器1224对输入至其的音频数据进行解码，并且将音频数据输出至记录/再现单元1223。视频解码器1225对输入至其的视频数据进行解码，并且将视频数据输出至显示转换器1230。记录器控制器1226将输入至其的epg数据供给至epg数据存储器1227以便将其存储在其中。

显示转换器1230采用视频编码器124，将从视频解码器1225或记录器控制器1226所供给的视频数据编码为例如ntsc(国家电视标准委员会)格式的视频数据，并且将视频数据输出至记录/再现单元1223。另外，显示转换器1230将从视频解码器1225或记录器控制器1226所供给的视频数据的画面尺寸转换为与监视器1260的尺寸相对应的尺寸，采用视频编码器1241将视频数据转换为ntsc格式的视频数据，将视频数据转换为模拟信号，以及将模拟信号输出至显示控制器1232。

在由记录器控制器1226所执行的控制之下，显示控制器1232将从osd(屏幕显示)控制器1231所输出的osd信号叠加在从显示转换器1230所输入的视频信号上，将其输出至监视器1260的显示器，以及使得其被显示在监视器1260的显示器上。

另外，从音频解码器1224所输出的并且被d/a转换器1234转换为模拟信号的音频数据被供给至监视器1260。监视器1260将此音频信号从其中内置的扬声器输出。

记录/再现单元1233包括用于保存在其上所记录的视频数据、音频数据等的存储介质。

例如，记录/再现单元1233采用编码器1251对从音频解码器1224所供给的音频数据进行编码。另外，记录/再现单元1233采用编码器1251对从显示转换器1230的视频编码器1241所供给的视频数据进行编码。记录/再现单元1233采用复用器对音频数据的编码数据和视频数据的编码数据进行组合。记录/再现单元1233对合成的数据执行信道编码以对其进行放大，并且将数据经由记录头写入硬盘。

记录/再现单元1233经由再现头对在硬盘上所记录的数据进行再现，对数据进行放大，以及使用解复用器将数据解复用为音频数据和视频数据。记录/再现单元1233采用解码器1252对音频数据和视频数据进行解码。记录/再现单元1233对解码音频数据进行d/a转换，并且将音频数据输出至监视器1260的扬声器。另外，记录/再现单元1233对解码视频数据进行d/a转换，并且将视频数据输出至监视器1260的显示器。

记录器控制器1226基于由从远程控制器所供给的并且经由接收单元1221所接收的红外信号所代表的用户指令，从epg数据存储器1227读出最新的epg数据，并且将epg数据供给至osd控制器1231。osd控制器1231生成与所输入的epg数据相对应的图像数据，并且将图像数据输出至显示控制器1232。显示控制器1232将从osd控制器1231所输入的视频数据输出至监视器1260的显示器，并且使得视频数据被显示在监视器1260的显示器上。因此，epg(电子节目指南)被显示在监视器1260的显示器上。

另外，硬盘记录器1200能够经由网络(诸如因特网)获得从另外的设备所供给的各种数据(诸如视频数据、音频数据或epg数据)。

通信单元1235由记录器控制器1226所控制，经由网络获得从另外的设备所传送的视频数据、音频数据、epg数据等的编码数据，并且将编码数据供给至记录器控制器1226。例如，记录器控制器1226将所获得的视频数据和音频数据的编码数据供给至记录/再现单元1233，并且使得硬盘存储编码数据。此时，如果需要，记录器控制器1226和记录/再现单元1233可以执行处理(诸如，再次编码)。

另外，记录器控制器1226对所获得的视频数据和音频数据的编码数据进行解码，并且将所获得的视频数据供给至显示转换器1230。类似于从视频解码器1225所供给的视频数据，显示转换器1230对从记录器控制器1226所供给的视频数据进行处理，将视频数据经由显示控制器1232供给至监视器1260，以及使得其图像被显示在监视器1260上。

另外，依照图像的显示，记录器控制器1226可以将解码音频数据经由d/a转换器1234供给至监视器1260，并且使得音频从扬声器输出。

此外，记录器控制器1226对所获得epg数据的编码数据进行解码，并且将解码epg数据供给至epg数据存储器1227。

如上所述的硬盘记录器1200包括用作视频解码器1225、解码器1252以及记录器控制器1226中所包括的解码器的图像解码设备500。即，如同图像解码设备500的情况一样，视频解码器1225、解码器1252以及记录器控制器1226中所包括的解码器对以小于lcu的cu为单位控制其i_pcm模式的选择的编码数据适当地进行解码。因此，视频解码器1225、解码器1252以及记录器控制器1226中所包括的解码器能够实现减少用于编码的冗余处理和减少编码数据中所包括的冗余信息。因此，视频解码器1225、解码器1252以及记录器控制器1226中所包括的解码器能够实现增强编码效率而同时抑制编码处理效率的降低。

因此，当生成由调谐器或通信单元1235所接收的视频数据(编码数据)或由记录/再现单元1233所再现的视频数据(编码数据)时，硬盘记录器1200能够实现增强的数据编码效率而同时抑制编码效率的降低。

另外，硬盘记录器1200包括用作编码器1251的图像编码设备300。因此，如同图像编码设备300的情况一样，编码器1251以小于lcu的cu为单位控制i_pcm模式的选择。即，编码器1251能够进一步减少用于编码的冗余处理，并且还能够减少编码数据中所包括的冗余信息。因此编码器1251能够增强编码效率而同时抑制编码处理效率的降低。

因此，例如当生成要被记录在硬盘上的编码数据时，硬盘记录器1200能够增强编码效率而同时抑制编码处理效率的降低。

注意，尽管以上描述了将视频数据和音频数据记录在硬盘上的硬盘记录器1200，但是当然可以使用任何类型的记录介质。例如，如同上述的硬盘记录器1200的情况一样，图像编码设备300和图像解码设备500可以被施加至使用除了硬盘之外的记录介质(例如，闪速存储器、光盘、或视频磁带)的记录器。

<7.第七实施例>

[摄像装置]

图25是示出包括图像编码设备300和图像解码设备500的摄像装置的主要示例配置的框图。

图25中所示的摄像装置1300捕获对象的图像，使得lcd1316显示对象的图像，以及将其作为图像数据记录在记录介质1333上。

透镜块1311使得光(即，对象的图像)进入ccd/cmos1312。ccd/cmos1312是包括ccd或cmos的图像传感器，将所接收的光的强度转换为电信号，以及将电信号供给至摄像装置信号处理器1313。

摄像装置信号处理器1313将从ccd/cmos1312所供给的电信号转换为色差信号y、cr以及cb，并且将色差信号供给至图像信号处理器1314。图像信号处理器1314在由控制器1321执行的控制下，对从摄像装置信号处理器1313所供给的图像信号执行特定图像处理，并且采用编码器1341对图像信号进行编码。图像信号处理器1314将通过对图像信号进行编码所生成的编码数据供给至解码器1315。此外，图像信号处理器1314获得由屏幕显示(osd)1320所生成的要显示的数据，并且将该数据供给至解码器1315。

在前面的处理中，摄像装置信号处理器1313适当地使用经由总线1317所连接的dram(动态随机存取存储器)，并且如果需要使得dram1318保存图像数据、通过对图像数据进行编码所获得的编码数据。

解码器1315对从图像信号处理器1314所供给的编码数据进行解码，并且将由此所获得的图像数据(解码图像数据)供给至lcd1316。另外，解码器1315将从图像信号处理器1314所供给的要显示的数据供给至lcd1316。lcd1316对从解码器1315所供给的解码图像数据的图像和要显示的数据的图像适当地进行组合，并且显示合成的图像。

在由控制器1321所执行的控制之下，屏幕显示1320将要显示的数据(诸如，由符号、字符或图片所构成的菜单屏幕以及图标)经由总线1317输出至图像信号处理器1314。

控制器1321基于代表用户使用操作单元1322所提供的指令的详情的信号来执行各种处理操作，并且经由总线1317控制图像信号处理器1314、dram1318、外部接口1319、屏幕显示1320、介质驱动器1323等。控制器1321执行各种处理操作所需要的程序、数据等被存储在闪速rom1324中。

例如，控制器1321能够代表图像信号处理器1314或解码器1315对dram1318中所存储的图像数据进行编码，并且对dram1318中所存储的编码数据进行解码。此时，控制器1321可以使用与图像信号处理器1314或解码器1315的编码/解码格式类似的格式来执行编码/解码处理，或可以使用与图像信号处理器1314或解码器1315不兼容的格式来执行编码/解码处理。

另外，例如，当在操作单元1322提供了开始打印图像的指令的情况下，控制器1321从dram1318读出图像数据，并且将其经由总线1317供给至连接至外部接口1319的打印机1334以将其打印。

此外，例如，当在操作单元1322提供了记录图像的指令的情况下，控制器1321从dram1318读出编码数据，并且将其经由总线1317供给至载入到介质驱动器1323的记录介质1333以对其进行存储。

例如，记录介质1333是任意可读和可写的可移除介质(诸如磁盘、磁光盘、光盘或半导体存储器)。当然，记录介质1333可以是任何类型的可移除介质，并且可以是磁带装置、盘、或存储卡。当然，记录介质1333可以是非接触式ic卡等。

另外，介质驱动器1323和记录介质1333可以被集成在一起，并且例如可以由非便携式存储介质(诸如内置硬盘驱动器或ssd(固态驱动器))构成。

例如，外部接口1319由usb输入/输出端子等构成，并且在打印图像的情况下连接至打印机1334。另外，如果需要，驱动器1331连接至外部接口1319，可移除介质1332(诸如，磁盘、光盘或磁光盘)适当地被载入其中，并且如果需要，从其中所读出的计算机程序被安装到闪速rom1324中。

此外，外部接口1319包括连接到特定网络(诸如lan或因特网)的网络接口。例如，依照从操作单元1322所提供的指令，控制器1321能够从dram1318读出编码数据并且将其从外部接口1319供给至经由网络所连接的另外的设备。另外，控制器1321能够经由外部接口1319获得从另外的设备经由网络所供给的编码数据或图像数据，并且使得dram1318保存其或将其供给至图像信号处理器1314。

如上所述的摄像装置1300包括用作解码器1315的图像解码设备500。即，如同在图像解码设备500的情况下一样，解码器1315适当地对以小于lcu的cu为单位控制其i_pcm模式的选择的编码数据进行解码。因此，解码器1315能够实现减少用于编码的冗余处理，并且减少编码数据中所包括的冗余信息。因此，解码器1315能实现增强编码效率而同时抑制编码处理效率的降低。

因此，例如，当生成由ccd/cmos1312所生成的图像数据、从dram1318或记录介质1333所读出的视频数据的编码数据或经由网络所获得的视频数据的编码数据时，摄像装置1300能够实现增强的数据编码效率而同时抑制编码处理效率的下降。

另外，摄像装置1300包括用作编码器1341的图像编码设备300。如同图像编码设备300的情况一样，编码器1341控制以小于lcu的cu为单位对i_pcm模式的选择。即，编码器1341能够进一步减少用于编码的冗余处理，并且还能够进一步减少编码数据中所包括的冗余信息。因此，编码器1341能够增强编码效率而同时抑制编码处理效率的降低。

因此，例如，当生成要记录在dram1318或记录介质1333上的编码数据或要被提供至另外的设备的编码数据时，摄像装置1300能够增强编码效率而同时抑制编码处理效率的降低。

另外，图像解码设备500的解码方法可以被施加至由控制器1321所执行的解码处理。同样地，图像编码设备300的编码方法可以被施加至由控制器1321所执行的编码处理。

另外，由摄像装置1300所捕获的图像数据可以是运动图像或静态图像。

当然，图像编码设备300和图像解码设备500可以被施加至除了上述设备之外的设备或系统。

本技术可以被施加至下述图像编码设备和图像解码设备：例如，如同在mpeg、h.26x等中一样，该图像编码设备和图像解码设备被用于经由网络介质(诸如卫星广播、有线电视、因特网或移动电话)接收通过正交变换(诸如离散余弦变换)和通过运动补偿所压缩的图像信息(比特流)，或被用于对存储介质(诸如光盘或磁盘，或闪速存储器)上的图像信息进行处理。

另外，本技术还可以提供下面的配置。

(1).一种图像处理设备，包括：

编码模式设置器，以具有层级结构的编码单位为单位，设置是否要选择非压缩模式作为用于对图像数据进行编码的编码模式，所述非压缩模式是所述图像数据作为编码数据而被输出的编码模式；以及

编码器，依照由所述编码模式设置器所设置的模式、以所述编码单位为单位对所述图像数据进行编码。

(2).根据(1)所述的图像处理设备，还包括：

移位处理控制器，对由所述编码模式设置器设置了所述非压缩模式的编码单位执行控制以跳过移位处理，在所述移位处理中增加用于编码或解码的位精度；以及

移位处理器，对所述图像数据的编码单位执行所述移位处理，所述编码单位由所述移位处理控制器所控制以便经历所述移位处理。

(3).根据(1)或(2)所述的图像处理设备，还包括：

滤波器处理控制器，对由所述编码模式设置器设置了所述非压缩模式的编码单位执行控制以跳过滤波器处理，在所述滤波器处理中对本地解码图像执行滤波；

滤波器系数计算器，通过使用与由所述滤波器处理控制器控制以便经历所述滤波器处理的编码单位相对应的图像数据来计算用于所述滤波器处理的滤波器系数；以及

滤波器处理器，通过使用由所述滤波器系数计算器所计算的所述滤波器系数来以块为单位执行所述滤波器处理，所述块是所述滤波器处理的单位。

(4).根据(3)所述的图像处理设备，其中，所述滤波器处理器仅对由所述滤波器处理控制器控制以便经历所述滤波器处理的像素执行所述滤波器处理，所述像素包括在作为要处理的目标的当前块中。

(5).根据(3)或(4)所述的图像处理设备，还包括：

滤波器标识信息生成器，以所述块为单位生成滤波器标识信息，所述滤波器标识信息是指示是否要执行所述滤波器处理的标志信息。

(6).根据(3)至(5)中任一项所述的图像处理设备，其中，所述滤波器处理器对所述本地解码图像执行自适应环路滤波，所述自适应环路滤波是使用分类处理的自适应滤波器处理。

(7).根据(1)至(6)中任一项所述的图像处理设备，其中，在通过对与作为编码处理的目标的当前编码单位相对应的所述图像数据进行编码所获得的编码数据的编码量小于或等于作为与所述当前编码单位相对应的所述图像数据的数据量的输入数据量的情况下，所述编码模式设置器将所述当前编码单位的编码模式设置为所述非压缩模式。

(8).根据(7)所述的图像处理设备，还包括：

输入数据量计算器，计算所述输入数据量，

其中，所述编码模式设置器关于所述当前编码单位，将由所述输入数据量计算器所计算的所述输入数据量与所述编码量进行比较。

(9).根据(1)至(8)中任一项所述的图像处理设备，还包括：

标识信息生成器，以所述编码单位为单位生成标识信息，所述标识信息指示所述编码模式设置器是否设置了所述非压缩模式。

(10).一种用于图像处理设备的图像处理方法，包括：

采用编码模式设置器，以具有层级结构的编码单位为单位，设置是否要选择非压缩模式作为用于对图像数据进行编码的编码模式，所述非压缩模式是所述图像数据作为编码数据而被输出的编码模式；以及

采用编码器，依照所设置的模式以所述编码单位为单位对所述图像数据进行编码。

(11).一种图像处理设备，包括：

编码模式确定器，以具有层级结构的编码单位为单位，确定非压缩模式是否被选择作为用于对图像数据进行编码的编码模式，所述非压缩模式是所述图像数据作为编码数据而被输出的编码模式；以及

解码器，依照由所述编码模式确定器所确定的模式、以所述编码单位为单位对所述编码数据进行解码。

(12).根据(11)所述的图像处理设备，还包括：

移位处理控制器，对由所述编码模式确定器确定为选择了所述非压缩模式的编码单位执行控制以跳过移位处理，在所述移位处理中增加用于编码或解码的位精度；以及

移位处理器，对所述图像数据的编码单位执行所述移位处理，所述编码单位由所述移位处理控制器所控制以便经历所述移位处理。

(13).根据(11)或(12)所述的图像处理设备，还包括：

滤波器处理控制器，对由所述编码模式确定器确定为选择了所述非压缩模式的编码单位执行控制以跳过滤波器处理，在所述滤波器处理中对本地解码图像执行滤波；以及

滤波器处理器，以块为单位对所述图像数据执行所述滤波器处理，所述块是所述滤波器处理的单位，

其中，所述滤波器处理器仅对由所述滤波器处理控制器控制以便经历所述滤波器处理的像素执行所述滤波器处理，所述像素包括在作为要处理的目标的当前块中。

(14).根据(13)所述的图像处理设备，其中，所述滤波器处理器对所述本地解码图像执行自适应环路滤波，所述自适应环路滤波是使用分类处理的自适应滤波器处理。

(15).根据(13)或(14)所述的图像处理设备，其中，在指示是否执行了所述滤波器处理的滤波器标识信息指示对与作为要处理的目标的所述当前块相对应的图像数据执行了所述滤波器处理的情况下，仅当由所述滤波器处理控制器执行控制以便对所述当前块中所包括的所有像素执行所述滤波器处理时，所述滤波器处理器执行所述滤波器处理。

(16).根据(11)至(15)中任一项所述的图像处理设备，其中，所述编码模式确定器基于指示是否以编码单位为单位选择了所述非压缩模式的标识信息来确定是否选择了所述非压缩模式。

(17).一种用于图像处理设备的图像处理方法，包括：

采用编码模式确定器，以具有层级结构的编码单位为单位，确定是否选择了非压缩模式作为用于对图像数据进行编码的编码模式，所述非压缩模式是所述图像数据作为编码数据而被输出的编码模式；以及

采用解码器，依照所确定的模式以所述编码单位为单位对所述编码数据进行解码。

300图像编码设备

303自适应向左移位单元

307无损编码器

312环路滤波器

313自适应向右移位单元

315自适应向左移位单元

320码率控制器

321pcm编码器

331nal编码器

332cu编码器

341i_pcm_flag生成器

342pcm决定单元

351去块滤波器

352像素分类单元

353滤波器系数计算器

354滤波单元

361输入数据量计算器

362pcm确定单元

363编码控制器

364自适应移位控制器

365滤波器控制器

500图像解码设备

502无损解码器

507自适应向右移位单元

511自适应向左移位单元

516pcm解码器

531nal解码器

532cu解码器

541i_pcm_flag缓冲器

542pcm控制器

551去块滤波器

552像素分类单元

553滤波单元