图像处理设备和方法

专利名称：图像处理设备和方法
技术领域：
本公开涉及图像处理设备和方法，并且更具体地涉及可以提高编码效率的图像处理设备和方法。
背景技术：
近来，基于诸如MPEG (运动图像专家组)的方案的设备正在普及以从例如广播站分发信息并且在一般家庭中接收信息，该设备用于通过利用对于图像信息特有的冗余的诸如离散余弦变换的正交变换和运动补偿来执行压缩，以数字地处理图像信息，并且然后高效地发送和累积信息。
具体地说，MPEG2 (ISO (国际标准组织)/IEC (国际电工技术委员会)13818-2)被限定为通用的图像编码方案，并且根据覆盖隔行扫描图像和非隔行扫描图像与标准分辨率图像和高清晰度图像两者的标准而当前广泛用在用于专业用途和消费者用途的大量应用中。通过使用MPEG2压缩方案并且分配诸如用于具有720X480像素的标准分辨率的隔行扫描图像的4至8Mbps和用于具有1920X 1088像素的隔行扫描图像的18至22Mbps的代码量(比特率)，能够提供高压缩率和良好的图像质量。虽然MPEG2以主要适于广播的高图像质量为目标，但是MPEG2不支持比MPEGl低的编码量(比特率)、即较高压缩率的编码方案。当移动终端普及时，预期将来对于这样的编码方案的需要提高，并且遵从这个提高而标准化MPEG4编码方案。关于图像编码方案，其规范在1998年12月被批准为作为IS0/IEC14496-2的国际标准。此外，近些年来，H. 26L (ITU-T (国际电信联盟电信标准化部)Q6/16VCEG (视频编码专家组))的规范最初被标准化以编码用于电视会议的图像。H. 26L需要比诸如MPEG2和MPEG4的传统编码方案更多的用于编码和解码的计算量，并且已知用于提供更高的编码效率。此外，当前基于作为MPEG4的活动的一部分的这个H. 26L来标准化用于通过包括H. 26L不支持的功能而提供更高的编码效率的增强压缩视频编码的联合模型。根据标准化时间表，增强压缩视频编码的联合模型在2003年3月变为名为H. 264和MPEG-4第10部分(高级视频编码，以下称为“AVC”)的国际标准。此外，FRExt (保真度范围扩展)的标准化作为增强压缩视频编码的联合模型的扩展在2005年2月完成，并且变为可以使用AVC来良好地表达甚至在电影中包括的胶片噪声的编码方案并且用于诸如蓝光盘的大量应用，该FRExt包括诸如RGB与4:2:2和4:4:4的商业用途所需的编码工具，并且也包括根据MPEG-2限定的SxSDCT和量化矩阵。然而，近些年来，对于在较高压缩率下的编码的需要，例如，用于压缩作为高清晰度电视图像的四倍的大约4000X2000像素的图像或在诸如因特网的有限传输容量的环境中分发高清晰度电视图像的需要正在增大。因此，作为ITU-T的分支的上述VCEG持续地研究编码效率的提高。例如，像在传统技术中那样采用16像素X 16像素用于作为部分区域的宏块尺寸对于作为下一代编码方案的目标的、诸如UHD (超高清晰度；4000像素X2000像素)的大图像帧不是最佳的，其中，该部分区域作为图像的正交变换处理单元。例如，非专利文献I提出了将宏块尺寸增大到诸如64X64像素或32X32像素的尺寸的建议。S卩，根据非专利文献1，通过采用分层结构，将较大的块限定为超集，同时对于16X16像素块或更小保持与当前AVC中的宏块的兼容性。非专利文献I提出了向片间应用扩展宏块的建议，而非专利文献2提出向片内应用扩展宏块的建议。同时，在AVC中限定的4X 4正交变换和8X8正交变换扫描方案是固定的，而与序列和比特率无关。引用列表非专利文献·非专利文献I :Peisong Chenn, YanYe, Marta Karczewicz, "Video Coding UsingExtended Block Sizes"，C0M16-C123-E，Qualcomm Inc，January2009非专利文献2 :Sung_Chang Limj Hahyun Lee, Jinho Lee，Jongho Kim，HaechulChoi,Seyoon Jeong，Jin Soo Choi, 〃Intra coding using extended blocksize"，VCEG-AL28, July2009

发明内容
本发明要解决的问题然而，非零系数的分布取决于图像，因此，预先准备的扫描方案不总是最佳的，并且存在不可能适当地提高编码效率的顾虑。具体地说，在上面的扩展宏块的情况下，区域尺寸大，并且非零系数以更多的各种方式来偏差。因此，非常不太可能的是预先准备的扫描方案是最佳的，并且进一步提高编码效率的机会留下的可能性增大(有可能适当地提高编码效率的可能性降低)。鉴于这个情况而作出了本公开，并且本发明的目的是通过根据图像自适应地确定扫描顺序来提高编码效率。对于问题的解决方案根据本公开的一个方面，一种图像处理设备具有扫描顺序控制单元，其根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序；扫描单元，其根据由所述扫描顺序控制单元控制的所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及编码单元，其编码由所述扫描单元以所述一维阵列重新排列的所述系数数据。所述扫描顺序控制单元具有计算单元，其按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的、所述图像的部分区域中的每个像素位置，并以预定数据单元，计算所述系数数据的非零系数的出现频率；以及更新单元，其以由所述计算单元计算的在所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序，并且所述扫描单元可以根据由所述更新单元更新的扫描顺序来扫描所述系数数据。所述扫描顺序控制单元还具有确定单元，所述确定单元将作为预先设置的预定扫描顺序的初始顺序和作为由所述更新单元更新的扫描顺序的更新顺序之一确定为所述扫描顺序，并且所述扫描单元可以根据由所述确定单元从所述初始顺序和所述更新顺序确定的所述扫描顺序来扫描所述系数数据。所述扫描顺序控制单元还具有确定单元，所述确定单元将作为预先设置的预定扫描顺序的初始顺序和作为由所述更新单元更新的扫描顺序的更新顺序之一确定为所述扫描顺序，并且所述扫描单元可以根据由所述确定单元从所述初始顺序和所述更新顺序确定的所述扫描顺序来扫描所述系数数据。所述扫描顺序控制单元还具有检测单元，所述检测单元检测场景改变，并且所述确定单元可以当所述检测单元检测到在所述处理目标中的所述场景改变时将所述初始顺序确定为所述扫描顺序，并且当所述检测单元未检测到在所述处理目标中的所述场景改变时将所述更新顺序确定为所述扫描顺序。所述扫描顺序控制单元还具有产生单元，所述产生单元产生用于指示所述确定单元是否将所述初始顺序确定为所述扫描顺序或选择所述更新顺序的标记信息，并且所述编码单元还可以编码由所述产生单元产生的所述标记信息。
所述更新单元可以将所述扫描顺序更新为与在过去编码的图像的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序匹配的顺序。当将单个图片划分为多个片并且处理时，所述更新单元可以根据在紧前编码的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。当将单个图片划分为多个片并且处理时，所述更新单元可以根据在紧前编码的图片的与当前片相同位置处的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。当将单个图片划分为多个片并且并行地处理每个片时，所述更新单元可以根据在紧前编码的图片的与当前片相同位置处的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。所述更新单元可以将所述扫描顺序更新为与在要编码的当前图像的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序匹配的顺序。所述扫描控制单元可以按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的所述图像的部分区域的每个尺寸来控制所述扫描顺序。所述扫描控制单元可以按当前图像的每个类型来控制所述扫描顺序。此外，根据本公开的一个方面，一种图像处理设备的图像处理方法包括在扫描顺序控制单元处，根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序；在扫描单元处，根据所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及在编码单元处，编码以所述一维阵列重新排列的所述系数数据。根据本公开的另一个方面，一种图像处理设备具有解码单元，其解码通过根据用于指示图像的特征的统计值控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序而产生的所述图像的编码数据；反向扫描顺序控制单元，其根据用于指示所述图像的特征的所述统计值控制反向扫描顺序，所述反向扫描顺序用于将通过在所述解码单元中解码所述编码数据而获得的系数数据从所述一维阵列变换为所述二维阵列；以及反向扫描单元，其根据由所述反向扫描顺序控制单元控制的所述反向扫描顺序来反向扫描在所述一维阵列中的所述系数数据，并且以所述二维阵列来重新排列所述系数数据。所述反向扫描顺序控制单元具有计算单元，其按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的、所述图像的部分区域中的每个像素位置，并以预定数据单元，计算所述系数数据的非零系数的出现频率；以及更新单元，其以由所述计算单元计算的在所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述反向扫描顺序，并且所述反向扫描单元可以根据由所述更新单元更新的反向扫描顺序来反向扫描所述系数数据。所述反向扫描顺序控制单元还具有确定单元，所述确定单元将作为预先设置的预定反向扫描顺序的初始顺序和作为由所述更新单元更新的反向扫描顺序的更新顺序之一确定为所述反向扫描顺序，并且所述反向扫描单元可以根据由所述确定单元从所述初始顺序和所述更新顺序中确定的所述反向扫描顺序来反向扫描所述系数数据。
所述反向扫描顺序控制单元还具有IDR判定单元，所述IDR判定单元判定处理目标是否是IDR图片，并且所述确定单元可以当所述IDR判定单元判定所述处理目标是所述IDR图片时将所述初始顺序确定为所述反向扫描顺序，并且当所述判定单元判定所述处理目标不是所述IDR图片时将所述更新顺序确定为所述反向扫描顺序。所述反向扫描顺序控制单元还具有标记判定单元，所述标记判定单元判定用于指示所述系数数据的扫描顺序是否是所述初始顺序或所述更新顺序的标记信息的值，并且所述确定单元可以当所述标记判定单元判定所述系数数据的扫描顺序是所述初始顺序时将所述初始顺序确定为所述反向扫描顺序，并且当所述标记判定单元判定所述系数数据的扫描顺序是所述更新顺序时将所述更新顺序确定为所述反向扫描顺序。此外，根据本公开的另一个方面，一种图像处理设备的图像处理方法包括在解码单元处，解码通过根据用于指示图像的特征的统计值控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序而产生的所述图像的编码数据；在反向扫描顺序控制单元处，根据用于指示所述图像的特征的所述统计值控制反向扫描顺序，所述反向扫描顺序用于将通过解码所述编码数据而获得的系数数据从所述一维阵列变换为所述二维阵列；以及在反向扫描单元处，根据所述反向扫描顺序来反向扫描在所述一维阵列中的所述系数数据，并且以所述二维阵列来重新排列所述系数数据。根据本公开的一个方面，根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序；根据所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及编码以所述一维阵列重新排列的所述系数数据。根据本公开的另一个方面，解码通过根据用于指示图像的特征的统计值控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序而产生的所述图像的编码数据，根据用于指示所述图像的特征的所述统计值控制反向扫描顺序，所述反向扫描顺序用于将通过解码所述编码数据而获得的系数数据从所述一维阵列变换为所述二维阵列，以及根据所述反向扫描顺序来反向扫描在所述一维阵列中的所述系数数据，并且以所述二维阵列来重新排列所述系数数据。本发明的效果
本公开可以处理图像。具体地说，本公开可以提高编码效率。


图I是用于说明在AVC编码方案中限定的帧内16X16编码方案的视图。图2是图示相对于在AVC编码方案中限定的4X4正交变换块的Z形扫描和场扫描方案的视图。图3是图示可以在AVC编码方案中用于高档次或更多的画面中自适应地使用4X4正交变换和8X8正交变换的视图。图4是图示相对于在AVC编码方案中限定的8X8正交变换块的Z形扫描和场扫描方案的视图。图5是图示宏块的示例的视图。
·
图6是图示图像编码设备的主要配置示例的框图。图7是图示自适应扫描控制单元的主要配置示例的框图。图8是用于说明自适应地确定扫描顺序的示例的视图。图9是用于说明编码处理流程的示例的流程图。图10是用于说明无损编码处理流程的示例的流程图。图11是图示图像解码设备的主要配置示例的框图。图12是图示自适应扫描控制单元的主要配置示例的框图。图13是用于说明解码处理流程的示例的流程图。图14是用于说明无损解码处理流程的示例的流程图。图15是图示按片类型更新扫描的方法的视图。图16是图示执行将单个图片划分为多个片的处理的方法的视图。图17是图示个人计算机的主要配置示例的框图。图18是图示电视接收机的主要配置示例的框图。图19是图示移动电话的主要配置示例的框图。图20是图示硬盘记录器的主要配置示例的框图。图21是图示相机的主要配置示例的框图。
具体实施例方式以下，将描述用于执行本发明的模式(以下，实施例)。另外，将以下面的顺序来描述实施例。I.第一实施例(图像编码设备)2.第二实施例(图像解码设备)3.第三实施例(个人计算机)4.第四实施例(电视接收机)5.第五实施例(移动电话)6.第六实施例(硬盘记录器)7.第七实施例(相机)〈I.第一实施例>
[扫描方案]类似于诸如MPEG-2的传统编码方案，需要重新排列在对于一维阵列中的数据执行正交变换后作为二维阵列获得的量化正交变换系数，以进行无损编码。在AVC中的基本档次、主档次和扩展档次中，采用4X4像素作为用于正交变换的单元。此外，如图I中所示，仅在帧内16X16模式的情况下，收集每个4X4块的正交变换的直流分量以获得4X4矩阵，并且哈达马变换这个4X4矩阵。对于将4X4阵列变换为一维16阶阵列的方法，根据块是否被帧编码或场编码而使用由在图2中的A指示的Z形扫描和在图2中的B指示的场扫描之一。此外，在AVC中，在高档次和更大的情况下，能够自适应地在图3中所示的屏幕上 在4X4正交变换和8X8正交变换之间切换使用。当使用8X8正交变换时，通过根据块是否被帧编码或场编码而使用由在图4中的A指示的Z形扫描或在图4中的B指示的场扫描之一，将在二维阵列中的量化正交变换系数变换为一维阵列。[预测模式的选择]根据AVC编码方案，重要的是选择适当的预测模式来实现较高的编码效率。这样的选择方法包括例如在被称为JM (联合模型)的H. 264/MPEG-4AVC的(在(http://iphome. hhi. de/suehring/tml/index, htm)中发布的)参考软件中实现的方法。在JM中，可以选择下述的高复杂度模式和低复杂度模式这两个模式判定方法。两种方法都涉及计算与每个预测模式相关的代价函数值，并且将最小化代价函数值的预测模式选择为相对于子宏块或宏块的最佳模式。在高复杂度模式中的代价函数被表达为下面的等式(I)Cost (Mode G Q ) =D+ 入 *R…(I)。同时，Q是用于编码块或宏块的候选模式的总集，并且D是当在预测模式中编码图像时在解码图像和输入图像之间的差能量。A是作为量化参数的函数给出的拉格朗日的待定乘子。R是当在该模式中执行编码时包括正交变换系数的代码的总量。即，为了在高复杂度模式中执行编码，需要在所有的候选模式中执行一次暂时编码处理，以计算上面的参数D和R，并且因此需要较高的计算量。在低复杂度模式中的代价函数被表达为下面的等式(2)Cost (Mode G Q ) =D+QP2Quant (QP) *HeaderBit... (2)。同时，不像高复杂度模式那样，D是在预测图像和输入图像之间的差能量。作为量化参数QP的函数给出QP2Quant (QP)，并且HeaderBit是不包括正交变换系数并且涉及属于Header的诸如运动矢量或模式的信息的代码的数量。S卩，虽然在低复杂度模式中需要在每个候选模式中执行预测处理，但是不需要解码的图像，并且甚至不必执行编码处理。结果，能够以比高复杂度模式低的计算量来实现低复杂度模式。[扩展宏块]例如，对于宏块尺寸采用16像素X 16像素对于诸如作为下一代编码方案的目标的UHD (超高清晰度；4000像素X2000像素)的大图像帧不是最佳的。例如，非专利文献I提出了将宏块尺寸增大为诸如在图5中所示的64X64像素或32X32像素的尺寸的建议。S卩，根据非专利文献1，通过采用在图5中所示的分层结构，较大的块被限定为超集，同时对于16X 16像素或更小的块保持与在当前AVC中的宏块的兼容性。以下，将等于或小于16 X 16像素的宏块称为“正常宏块”，并且将大于16 X 16像素的宏块称为“扩展宏块”。非专利文献I提出了向片间应用扩展宏块的建议，而非专利文献2提出了向片内应用扩展宏块的建议。根据非专利文献I和非专利文献2，大于在AVC编码方案中限定的块的诸如16X16的较大块也可以用于正交变换尺寸。
[自适应扫描方法]虽然根据诸如AVC的传统方案预先准备了 4X4正交变换和8X8正交变换的扫描方案，但是非零系数的分布(偏差)根据图像而不同。因此，不总是以最佳扫描顺序来执行扫描。即，通过以对于图像质量更适合的扫描顺序来执行扫描，有可能进一步提高编码效率。具体地说，在上面的扩展宏块的情况下，区域尺寸大，并且非零系数以更多的各种方式偏差。因此，非常不太可能，预先准备的扫描方案是最佳的，并且进一步提高编码效率的机会留下的可能性增大(有可能适当地提高编码效率的可能性降低)因此,本发明增大了连零值(zero-run value),并且通过根据图像自适应地确定扫描顺序来提高编码效率。[图像编码设备]图6图示作为图像处理设备的图像编码设备的实施例的配置。在图6中所示的图像编码设备100例如是根据与H. 264和MPEG(运动图像专家组)4第10部分(AVC (高级视频编码))(以下称为“H. 264/AVC”)方案相同的方案来编码图像的编码设备。同时，图像编码设备100即使对于正方形块和矩形块也采用跳跃模式和直接模式。通过如此进行，图像编码设备100可以提高编码效率。对于在图6中的示例，图像编码设备100具有A/D (模/数)转换单元101、画面重新排列缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。此外，图像编码设备100具有逆量化单元108、逆正交变换单元109、计算单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116和速率控制单元117。图像编码设备100还具有自适应扫描控制单元121。A/D转换单元101模数转换输入的图像数据，并且向画面重新排列缓冲器102输出并且在其中存储该图像数据。画面重新排列缓冲器102将存储的显示顺序的帧图像重新排列为用于根据GOP(图像组)结构编码的帧顺序。画面重新排列缓冲器102向计算单元103供应重新排列的帧顺序的图像。此外，画面重新排列缓冲器102也向帧内预测单元114和运动预测/补偿单元115供应重新排列的帧顺序的图像。计算单元103从自画面重新排列缓冲器102读取的图像减去通过选择单元116从帧内预测单元114或运动预测/补偿单元115供应的预测图像并且向正交变换单元104输
出差信息。
当例如帧内编码图像时，计算单元103从自画面重新排列缓冲器102读取的图像减去从帧内预测单元114供应的预测图像。此外，当例如帧间编码图像时，计算单元103从自画面重新排列缓冲器102读取的图像减去从运动预测/补偿单元115供应的预测图像。正交变换单元104向从计算单元103供应的差信息应用诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且向量化单元105供应变换系数。量化单元105量化从正交变换单元104输出的变换系数。量化单元105基于从速率控制单元117供应的信息来设置量化参数，并且执行量化。量化单元105向无损编码单元106供应量化的变换系数。无损编码单元106向量化的变换系数应用诸如可变长度编码或算术编码的无损编码。无损编码单元106从帧内预测单元114获取例如用于指示帧内预测的信息，并且从运动预测/补偿单元115获取例如用于指示帧间预测模式的信息和运动矢量信息。另外，·下面，用于指示帧内预测(画面内预测)的信息也被称为“帧内预测模式信息”。此外，下面，指示用于指示帧间预测(画面间预测)的信息模式的信息也被称为“帧间预测模式信息”。无损编码单元106编码量化的变换系数，并且使得诸如滤波器系数、帧内预测模式信息、帧间预测模式信息和量化参数的各种信息作为(复用为)编码数据的首部信息的一部分。无损编码单元106向累积缓冲器107供应并且在累积缓冲器107中累积通过编码获得的编码数据。例如，无损编码单元106执行无损编码处理，诸如可变长度编码或算术编码。可变长度编码是例如根据a 264/AVC方案限定的CAVLC (上下文自适应可变长度编码)。算术编码是例如CABAC (上下文自适应二进制算术编码)。累积缓冲器107暂时保存从无损编码单元106供应的编码数据，并且例如在后级在预定时刻向未示出的记录设备或信道输出编码数据来作为根据a 264/AVC方案编码的编码图像。此外，由量化单元105量化的变换系数也被供应到逆量化单元108。逆量化单元108根据支持由量化单元105进行的量化的方法来逆量化量化的变换系数。逆量化单元108向逆正交变换单元109供应结果产生的变换系数。逆正交变换单元109根据支持由正交变换单元104进行的正交变换处理的方法来逆正交变换所供应的变换系数。逆正交变换的输出(恢复的差信息)被供应到计算单元110。计算单元110向从逆正交变换单元109供应的逆正交变换结果、即恢复的差信息加上通过选择单元116从帧内预测单元114或运动预测/补偿单元115供应的预测图像，并且获得本地解码的图像(解码图像)。当例如差信息匹配帧内编码图像时，计算单元110向这个差信息加上从帧内预测单元114供应的预测图像。此外，当例如差信息匹配帧间编码图像时，计算单元110向这个差信息加上从运动预测/补偿单元115供应的预测图像。向去块滤波器111或帧存储器112供应相加结果。去块滤波器111通过适当地执行去块滤波处理来消除解码图像的块失真，并且通过使用例如维纳滤波器适当地执行循环滤波处理而改善图像质量。去块滤波器111将每个像素分类，并且按分类应用足够的滤波处理。去块滤波器111向帧存储器112供应滤波处理结果。帧存储器112在预定时刻通过选择单元113向帧内预测单元114或运动预测/补偿单元115输出累积的参考图像。当例如帧内编码图像时，帧存储器112通过选择单元113向帧内预测单元114供应参考图像。此外，当例如帧间编码图像时，帧存储器112通过选择单元113向运动预测/补偿单元115供应参考图像。当从帧存储器112供应的参考图像是要帧内编码的图像时，选择单元113向帧内预测单元114供应参考图像。此外，当从帧存储器112供应的参考图像是要帧间编码的图像时，选择单元113向运动预测/补偿单元115供应参考图像。帧内预测单元114执行使用在画面中的像素值来产生预测图像的帧内预测(画面内预测)。帧内预测单元114在多个模式(帧内预测模式)中执行帧内预测。 帧内预测单元114在所有帧内预测模式中产生预测图像，评估每个预测图像并且选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元114通过选择单元116向计算单元103和计算单元110供应在最佳模式中产生的预测图像。此外，如上所述，帧内预测单元114向无损编码单元106适当地供应诸如用于指示所采用的帧内预测模式的帧内预测模式信息的信息。运动预测/补偿单元115使用从画面重新排列缓冲器102供应的输入图像和通过选择单元113从帧存储器112供应的参考图像来对于要帧间编码的图像执行运动预测，根据检测的运动矢量来执行运动补偿处理，并且产生预测图像(帧间预测图像信息)。运动预测/补偿单元115在所有的候选帧间预测模式中执行帧间预测处理，并且产生预测图像。运动预测/补偿单元115计算每个模式的代价函数，并且选择最佳模式。运动预测/补偿单元115通过选择单元116向计算单元103和计算单元110供应在以这种方式选择的帧间预测模式中产生的预测图像。此外，运动预测/补偿单元115向无损编码单元106供应用于指示所采用的帧间预测模式的帧间预测模式信息和用于指示所计算的运动矢量的矢量信息。选择单元116在要帧内编码的图像的情况下向计算单元103和计算单元110供应帧内预测单元114的输出，并且在要帧间编码的图像的情况下向计算单元103和计算单元110供应运动预测/补偿单元115的输出。速率控制单元117基于在累积缓冲器107中累积的压缩图像来控制量化单元105的量化操作的速率，以防止出现上溢或下溢。自适应扫描控制单元121根据图像自适应地控制用于将在无损编码单元106中的在二维阵列中的量化正交变换系数变换为一维阵列的扫描顺序。自适应扫描控制单元121从无损编码单元106获取量化的正交变换系数，观察具有非零的值的非零系数的分布，并且根据分布的状态确定在无损编码单元106中的量化正交变换系数的扫描顺序。自适应扫描控制单元121利用具有类似特征的图像在电影中继续的高可能性使用在过去编码的图像中的非零系数的分布来确定扫描顺序。无损编码单元106按照由自适应扫描控制单元121根据这个控制确定的扫描顺序来扫描量化正交变换系数。自适应扫描控制单元121从画面重新排列缓冲器102进一步获取输入图像，并且确定处理目标是否是IDR (即时解码刷新)图片。当处理目标是IDR图片时，与前一个图像的相关度低，并且图像的特征很可能显著地改变，然后，自适应扫描控制单元121将预先设置的预定顺序(初始顺序)确定为扫描顺序，以防止因为扫描顺序的不适当使用导致编码效率降低。此外，自适应扫描控制单元121从自画面重新排列缓冲器102获取的输入图像检测是否出现了场景改变。当场景改变出现时，与前一个图像的相关度低，并且图像的特征很可能显著地改变，然后自适应扫描控制单元121将预先设置的预定顺序(初始顺序)确定为扫描顺序，以防止因为扫描顺序的不适当使用导致编码效率降低。此外，自适应扫描控制单元121产生标记信息(default_Scan_flag)，该标记信息用于指示扫描顺序是否被设置为根据图像更新的更新顺序或预先确定的初始顺序。这个标记信息与图像(量化正交变换系数)一起被无损编码单元106编码，并且被发送到解码侧。 解码侧可以基于这个标记信息来知晓扫描顺序是否是初始顺序或更新顺序。另外，当使用在过去编码的图像中的非零系数的分布来确定扫描顺序时，甚至可以在解码侧更新扫描顺序，并且因此，不必发送扫描顺序。即，图像编码设备100因此提高编码效率。[自适应扫描控制单元]图7是图示在图6中的无损编码单元106的自适应扫描控制单元121的主要配置示例的框图。如图7中所示,无损编码单元106具有宏块语法编码单元131、标记编码单元132和量化正交变换系数编码单元133。此外，自适应扫描控制单元121具有非零系数计数器141、排序单元142、扫描顺序缓冲器143、IDR判定单元144、场景改变检测单元145、扫描顺序确定单元146和标记产生单元147。宏块语法编码单元131例如编码从帧内预测单元114或运动预测/补偿单元115供应的预测模式或运动矢量信息，并且向累积缓冲器107提供编码数据来作为宏块的语法。标记编码单元132编码由标记产生单元147产生的default_scan_flag,并且向累积缓冲器107供应编码数据。量化正交变换系数编码单元133编码从量化单元105供应的量化正交变换系数，并且向累积缓冲器107供应编码数据。在该情况下，量化正交变换系数编码单元133获取由扫描顺序确定单元146确定的扫描顺序，并且根据这个扫描顺序来扫描和编码量化正交变换系数。此外，量化正交变换系数编码单元133向非零系数计数器141供应用于指示从量化单元105供应的量化正交变换系数的在每个宏块(作为图像的正交变换处理单元的部分区域)中的非零系数的位置的信息(非零系数位置)。自适应扫描控制单元121的非零系数计数器141从量化正交变换系数编码单元133获取非零系数位置，计数在宏块中的每个像素位置处的非零系数，并且按诸如片或图片之类的预定数据量计算累积值。非零系数计数器141向排序单元142供应作为在宏块中的每个位置处的非零系数的累积值的累积频率分布。
排序单元142以基于从非零系数计数器141供应的非零系数的累积频率分布的累积频率的顺序来排序作为图像的正交变换处理单元的部分区域的宏块中的每个像素位置，并且将这个顺序确定为扫描顺序。当例如存在同一累积频率的多个像素位置时，根据预先设置的预定规则来排名和排序这些像素位置。排序单元142向扫描顺序缓冲器143供应所确定的扫描顺序。扫描顺序缓冲器143将从排序单元142供应的扫描顺序保存为作为更新的扫描顺序的更新顺序的最新值。扫描顺序缓冲器143向扫描顺序确定单元146适当地供应更新顺序。IDR判定单元144参考从画面重新排列缓冲器102供应的输入图像信息的NAL(网络抽象层)语法，并且判定处理目标是否是IDR图片。IDR判定单元144向扫描顺序确定单元146供应判定结果。NAL语法涉及根据例如AVC编码方案限定的NAL (网络抽象层)，并且NAL首部的标识符nal_unit_type指示NAL语法是否是IDR图片的片。场景改变检测单元145分析从画面重新排列缓冲器102供应的输入图像信息，并·且基于分析结果来检测场景改变的出现。检测这个场景改变的方法是任意的。当例如比较在输入图像信息的帧之间的像素值或诸如平均值的任意统计值的直方图并且发现在帧之间的统计值之间的差大于预定标准，即，发现图像的特征显著改变时，场景改变检测单元145判定场景改变出现。场景改变检测单元145向扫描顺序确定单元146通知场景改变是否出现。扫描顺序确定单元146基于例如从IDR判定单元144供应的IDR判定结果或从场景改变检测单元145供应的场景改变的检测结果来确定是否选择预先保存的初始顺序或从扫描顺序缓冲器143供应的更新顺序。当例如图像是IDR图片或包括场景改变时，图像的特征很可能显著地改变，因此，扫描顺序确定单元146将作为像在传统Z形扫描中那样预先设置的预定扫描顺序的初始顺序确定为扫描顺序，以防止因为相对于图像的扫描顺序的不适当使用导致编码效率降低，并且向量化正交变换系数编码单元133通知初始顺序。这个初始顺序可以是任意顺序，并且期望是通常优选的扫描顺序，就像在例如AVC中限定的Z形扫描中那样。此外，当例如图像不是IDR图片或不包括场景改变时，扫描顺序确定单元146将作为根据图像更新的扫描顺序并且从扫描顺序缓冲器143供应的更新顺序确定为扫描顺序，并且向量化正交变换系数编码单元133通知更新顺序。扫描顺序确定单元146也向标记产生单元147供应扫描顺序的确定结果。标记产生单元147根据确定结果来设置default_scan_flag的值,并且向标记编码单元132供应该值。当例如将初始顺序选择为扫描顺序时,标记产生单元147将default_scan_flag的值设置为I。此外，当例如将更新顺序选择为扫描顺序时，标记产生单元147将 default_scan_flag 的值设置为 O。[扫描顺序的更新]如上所述，自适应扫描控制单元121不仅选择初始顺序或更新顺序来作为在无损编码单元106中的量化正交变换系数的扫描顺序，还根据非零系数的累积频率分布来更新更新顺序。
例如，如图8中所示，由在图8中的A指示的Z形扫描顺序被预先设置为用于4X4块的初始顺序。在图8中，每个正方形指示在块中的像素位置。由在图8中的A指示的每个正方形中的数字指示扫描顺序(从0至15的顺序)。例如，在给定的预定数据单元(例如，图片或片)中，在块中的每个像素位置处的非零系数的累积值示出作为计数每个块的非零系数的结果的由在图8中的B指示的分布。在图8中的B中，在每个正方形中的数字指示非零系数的累积频率。自适应扫描控制单元121的排序单元142以由在图8中的C指示的非零系数的频率顺序来重新排列扫描顺序。在由在图8中的A指示的每个正方形中的数字指示扫描顺序(从0至15的顺序)。通过建立这样的扫描顺序，无损编码单元106的量化正交变换系数编码单元133可以首先扫描非零系数很可能出现的像素位置，使得有可能提高连零值。即，无损编码单元 106可以根据更适合于图像的扫描顺序来执行扫描。结果，图像编码设备100可以提高编码效率。另外，当处理目标是下一个数据单元(例如，图片或片)时，重新计数非零系数。使用过去数据单元的计数结果来按数据单元更新上面的更新顺序。同时，当图像是IDR图片或包括场景改变时，图像的特征很可能从前一个图像的特征显著改变(图像的特征不太连续)，因此，将扫描顺序设置为初始顺序。通过如此进行，图像编码设备100可以防止根据因为在当前图像的特征和扫描顺序所基于的过去图像的特征之间的显著差别导致的不适当的扫描顺序来扫描图像，并且防止编码效率降低。[编码处理流程]接下来，将描述由上面的图像编码设备100执行的每个处理的流程。首先，将参考图9中的流程图来描述流编码处理的示例。在步骤SlOl中，A/D转换单元101模数转换输入图像。在步骤S102中，画面重新排列缓冲器102存储模数转换的图像，并且将每个图片的显示顺序重新排列为编码顺序。在步骤S103中，计算单元103计算通过在步骤S102中的处理重新排列的图像和预测图像之间的差。在帧间预测时从运动预测/补偿单元115、或者在帧内预测时从帧内预测单元114，通过选择单元116向计算单元103供应预测图像。差数据的数据量小于原始图像数据。结果，能够与原样编码的图像相比，压缩数据量。在步骤S104中，正交变换单元104正交变换通过在步骤S103中的处理产生的差信息。更具体地，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S105中，量化单元105量化通过在步骤S104中的处理获得的正交变换系数。通过在步骤S105中的处理量化的差信息被如下本地解码。即，在步骤S106中，逆量化单元108根据与量化单元105的特性匹配的特性来逆量化通过在步骤S105中的处理产生的量化正交变换系数(也称为“量化系数”)。在步骤S107中，逆正交变换单元109根据与正交变换单元104的特性匹配的特性来逆正交变换通过在步骤S106中的处理获得的正交变换系数。
在步骤S108中，计算单元110向本地解码的差信息加上预测图像，并且产生本地解码的图像(与向计算单元103的输入对应的图像)。在步骤S109中，去块滤波器111滤波通过在步骤S108中的处理产生的图像。通过这个手段，消除了块失真。在步骤SllO中，帧存储器112存储通过在步骤S109中的处理从其消除了块失真的图像。另外，未被去块滤波器111滤波的图像被从计算单元110供应到帧存储器112，并且被存储。在步骤Slll中，帧内预测单元114在帧内预测模式中执行帧内预测处理。在步骤S112中，运动预测/补偿单元115在帧间预测模式中执行用于执行运动预测或运动补偿的帧间运动预测处理。在步骤SI 13中，选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的每个代价函数值来确定最佳预测模式。即，选择单元116选择由帧内预测单元114产生的预测图像和由运动预测/补偿单元115产生的预测图像之一。 此外，用于指示这些预测图像的哪个被选择的选择信息被供应到从其选择了预测图像的帧内预测单元114或运动预测/补偿单元115。当选择了最佳帧内预测模式的预测图像时，帧内预测单元114向无损编码单元106供应用于指示最佳帧内预测模式的信息(即，帧内预测模式信息)。当选择最佳帧间预测模式的预测图像时，运动预测/补偿单元115向无损编码单元106输出用于指示最佳帧间预测模式的信息和如果需要的与最佳帧间预测模式匹配的信息。与最佳帧间预测模式匹配的信息例如是运动矢量信息、标记信息和参考帧信息。在步骤SI 14中，无损编码单元106编码通过在步骤S105中的处理量化的变换系数。即，差图像(在帧间的情况下的二阶差图像)被无损编码，例如被可变长度编码或算术编码。另外，无损编码单元106编码在步骤S105中计算的量化参数，并且向编码数据加
上量化参数。此外，无损编码单元106编码与通过在步骤S113中的处理选择的预测图像的预测模式相关的信息，并且向通过编码差图像获得的编码数据加上该信息。即，无损编码单元106也编码例如从帧内预测单元114供应的帧内预测模式信息或与从运动预测/补偿单元115供应的最佳帧间预测模式匹配的信息，并且也向编码数据加上该信息。在步骤SI 15中，累积缓冲器107累积从无损编码单元106输出的编码数据。在累积缓冲器107中累积的编码数据被适当地读取，并且通过信道被发送到解码侧。在步骤SI 16中，速率控制单元117基于通过在步骤SI 15中的处理在累积缓冲器
107中累积的压缩图像来控制量化单元105的量化操作的速率，以防止上溢或下溢的出现。当结束在步骤SI 16中的处理时，结束编码处理。[无损编码处理流程]接下来，将参考图10中的流程图来描述在图9中的步骤S114中执行的无损编码处理的流程的示例。当启动无损编码处理时，IDR判定单元144在步骤S131中判定当前图像是否是IDR图片。当判定当前图像不是IDR图片时，IDR判定单元144将处理前进到步骤S132。在步骤S132中，场景改变检测单元145判定当前图像是否包括场景改变。当判定当前图像不包括场景改变时，场景改变检测单元145将处理前进到步骤S133。当当前图像不是IDR图片并且不包括场景改变时，当前图像的特征更可能类似于前一个图像的特征。然后，在步骤S133中，标记产生单元147产生取值为0的default—scan_flag的值(default_scan_flag = 0),使得将更新顺序选择为扫描顺序(不选择初始顺序)。在步骤S134中，标记编码单元132编码这个default_scan_flag。在步骤S135中，扫描顺序确定单元146将更新顺序选择为在无损编码单元106(量化正交变换系数编码单元133)中的量化正交变换系数的扫描顺序，并且将处理前进到步骤S139。此外，当在步骤S132中判定当前图像不包括场景改变时，场景改变检测单元145将处理前进到步骤S136。 场景改变出现，因此，当前图像的特征不太可能类似于前一个图像的特征。然后，在步骤S137中，标记产生单元147产生取值为I的default_scan_flag的值(default_scan_flag = 0),使得将初始顺序选择为扫描顺序。在步骤S137中，标记编码单元132编码这个default_scan_flag,并且将处理前进到步骤S138。此外，在步骤S131中，当判定当前图像是IDR图片时，IDR判定单元144将处理前进到步骤S138。S卩，在该情况下,标记产生单元147不产生default_scan_flag。解码侧也可以从NAL语法容易地检测IDR图片。结果，能够在没有default_scan_flag的情况下容易地了解选择了初始顺序。当图像是IDR图片时，通过跳过这个default_SCan_flag的发送，图像编码设备100可以防止因为这个default_SCan_flag的发送导致编码效率降低。在步骤S138中，扫描顺序确定单元146将初始顺序选择为在无损编码单元106(量化正交变换系数编码单元133)中的量化正交变换系数的扫描顺序，并且将处理前进到步骤S139。量化正交变换系数编码单元133在步骤S139中根据在步骤S135或步骤S138中选择的扫描顺序(选择顺序)来扫描当前宏块的量化正交变换系数，并且在步骤S140中按扫描的顺序编码量化正交变换系数。在步骤S141中，非零系数计数器141按预定数据单元(例如，图片或片)计数和累积在宏块中的每个像素位置处的非零系数。在步骤S142中，非零系数计数器141判定是否在预定数据单元中处理了所有宏块。当判定存在未处理的宏块时，非零系数计数器141将处理返回到步骤S139，并且重复随后的处理。此外，当在步骤S142中判定处理了所有的宏块时，非零系数计数器141将处理前进到步骤S143。在步骤S143中，排序单元142以从较高累积值的顺序来建立扫描顺序(与累积频率分布匹配的顺序)。在步骤S144中，扫描顺序缓冲器143将更新顺序更新为在步骤S143中设置的扫描顺序。当结束在步骤S144中的处理时，自适应扫描控制单元121结束无损编码处理，将处理返回到在图9中的步骤S114，并且重复随后的处理。如上所述，自适应扫描控制单元121根据图像的特征来自适应地控制在无损编码单元106中的扫描顺序，使得图像编码设备100可以提高编码效率。
〈2.第二实施例>[图像解码设备]图11是图示图像解码设备的主要配置示例的框图。在图11中所示的图像解码设备200是支持在图6中的图像编码设备100的解码设备。由图像编码设备100编码的编码数据通过预定信道被发送到支持这个图像编码设备100的图像解码设备200，并且被解码。如图11中所示，图像解码设备200具有累积缓冲器201、无损解码单元202、逆量 化单元203、逆正交变换单元204、计算单元205、去块滤波器206、画面重新排列缓冲器207和数模转换单元208。此外，图像解码设备200具有帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。图像解码设备200进一步具有自适应反向扫描控制单元221。累积缓冲器201累积发送的编码数据。这个编码数据被图像编码设备100编码。无损解码单元202根据与在图6中的无损编码单元106的编码方案匹配的方案来在预定时刻解码从累积缓冲器201读取的编码数据。无损解码单元202根据由自适应反向扫描控制单元221确定的反向扫描顺序反向扫描通过解码编码数据而获得的量化正交变换系数，并且将正交变换系数从一维阵列重新排列为二维阵列。逆量化单元203根据与在图7中的量化单元105的量化方案匹配的方案逆量化由无损解码单元202解码和获得的系数数据(量化系数)。逆量化单元203向逆正交变换单元204供应逆量化的系数数据，即，正交变换系数。逆正交变换单元204根据与在图6中的正交变换单元104的正交变换方案匹配的方案来逆正交变换正交变换系数，并且获得与还没有被图像编码设备100正交变换的差数据对应的解码的差数据。通过执行逆正交变换而获得的解码的差数据被供应到计算单元205。此外，计算单元205通过选择单元213从帧内预测单元211或运动预测/补偿单元212接收预测图像的供应。计算单元205相加解码的差数据和预测图像，并且获得与图像编码设备100的计算单元103尚未从其减去预测图像的图像数据对应的解码图像数据。计算单元205向去块滤波器206供应这个解码图像数据。去块滤波器206消除所供应的解码图像的块失真，然后向画面重新排列缓冲器207供应解码图像。画面重新排列缓冲器207重新排列该图像。即，通过在图6中的画面重新排列缓冲器102重新排列为编码顺序的帧顺序被重新排列为原始显示顺序。数模转换单元208数模转换从画面重新排列缓冲器207供应的图像，并且向未示出的显示器输出图像以显示。去块滤波器206的输出被进一步供应到帧存储器209。帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213对应于在图7中的图像编码设备100的帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115和选择单元116。选择单元210从帧存储器209读取进行帧间处理并且被参考的图像，并且向运动预测/补偿单元212供应该图像。此外，选择单元210从帧存储器209读取用于帧内预测的图像，并且向帧内预测单元211供应该图像。帧内预测单元211从无损解码单元202适当地接收例如用于指示通过解码首部信息获得的帧内预测模式的信息的供应。帧内预测单元211基于这个信息从自帧存储器209获取的参考图像产生预测图像，并且向选择单元213供应所产生的预测图像。运动预测/补偿单元212从无损解码单元202获取通过解码首部信息而获得的信息(例如，预测模式信息、运动矢量信息、参考帧信息、标记和各种参数)。运动预测/补偿单元212基于从无损解码单元202供应的这些信息从自帧存储器209获取的参考图像产生预测图像，并且向选择单元213供应所产生的预测图像。选择单元213选择由运动预测/补偿单元212或帧内预测单元211产生的预测图 像，并且向计算单元205供应该预测图像。自适应反向扫描控制单元221根据图像自适应地控制用于将通过在无损解码单元202中解码编码数据而获得的量化正交变换系数从一维阵列向二维阵列变换的反向扫描顺序。g卩，自适应反向扫描控制单元221确定反向扫描顺序，以将根据由在图6中的自适应扫描控制单元121确定的扫描顺序重新排列的量化正交变换系数返回到原始阵列(使得以与扫描顺序的布置相反的顺序来执行重新排列)。自适应反向扫描控制单元221获取由无损解码单元202解码和获得的量化正交变换系数，观察取值非零的非零系数的分布，并且根据分布的状态(更新顺序)来更新在无损解码单元202中的量化正交变换系数的反向扫描顺序。自适应反向扫描控制单元221利用具有类似特征的图像在电影中持续的高可能性，使用在过去解码的图像中的非零系数的分布来更新更新顺序。g卩，自适应反向扫描控制单元221根据与在图6中的自适应扫描控制单元121中更新扫描顺序的方法相同的方法来更新反向扫描顺序，使得反向扫描的更新顺序匹配扫描的更新顺序(使得顺序变为反向顺序)。自适应反向扫描控制单元221还基于在编码数据中包括的语法或标记信息(default_scan_flag)来判定IDR图片或检测场景改变,并且在该情况下,将预先设置的预定顺序(初始顺序)确定为反向扫描顺序。此外，当处理目标不是IDR图片并且不包括场景改变时，自适应反向扫描控制单元221将更新顺序确定为反向扫描顺序。g卩，自适应反向扫描控制单元221执行与在图6中的自适应扫描控制单元121的控制匹配的反向扫描顺序的控制，并且在自适应扫描控制单元121选择初始顺序的条件下将反向扫描顺序设置为初始顺序，并且在自适应扫描控制单元121选择更新顺序的条件下将反向扫描顺序设置为更新顺序。无损解码单元202在自适应反向扫描控制单元221的控制下根据由自适应反向扫描控制单元221确定的反向扫描顺序来反向扫描量化正交变换系数。通过布置上面的内容，无损解码单元202可以以与无损编码单元106的扫描顺序相反的顺序来执行反向扫描。即，无损解码单元202可以根据图像的特性来精确地反向扫描由无损编码单元106扫描的量化正交变换系数。结果，图像解码设备200可以适当地解码由图像编码设备100编码的编码数据，使得能够提高编码效率。
[自适应反向扫描控制单元]图12是图示在图11中的无损解码单元202的自适应反向扫描控制单元221的主要配置示例的框图。如图12中所示，无损解码单元202具有宏块语法解码单元231、NAL语法解码单元232、标记解码单元233和量化正交变换系数解码单元234。此外，如图12中所示，自适应反向扫描控制单元221具有非零系数计数器241、排序单元242、反向扫描顺序缓冲器243、IDR判定单元244、标记判定单元245和反向扫描顺序确定单元246。宏块语法解码单元231解码从累积缓冲器201供应的宏块语法的编码数据，并且例如向帧内预测单元211或运动预测/补偿单元212供应从解码产生的预测模式或运动矢 量信息。NAL语法解码单元232解码从累积缓冲器201供应的NAL语法的编码数据，并且向IDR判定单元244供应从解码产生的NAL语法。标记解码单元233解码从累积缓冲器201供应的default_scan_flag的编码数据，并且向标记判定单元245供应从解码产生的default_scan_flag。量化正交变换系数解码单元234解码从累积缓冲器201供应的量化正交变换系数的编码数据，根据由自适应反向扫描控制单元221控制的反向扫描顺序来反向扫描从解码产生的量化正交变换系数，并且向逆量化单元203供应重新排列的量化正交变换系数。此外，量化正交变换系数解码单元234向非零系数计数器241供应用于指示在宏块中的量化正交变换系数的非零系数的像素位置的信息。非零系数计数器241按宏块中的每个像素位置计数量化正交变换系数的非零系数，并且向排序单元242供应每个像素位置处的非零系数的预定数据单元(例如，图片或片)的累积值(累积频率分布)。排序单元242根据基于从非零系数计数器241供应的非零系数的累积频率分布的累积频率顺序来排序宏块中的每个像素位置，并且将与累积频率顺序相反的顺序确定为反向扫描顺序。当例如存在同一累积频率的多个像素位置时，排序单元242根据预先设置的预定规则来排名和排序像素位置。这个规则匹配排序单元142的规则(根据与由排序单元142执行的排名相反的顺序来执行排名)。排序单元242向反向扫描顺序缓冲器243供应所确定的反向扫描顺序。反向扫描顺序缓冲器243保存反向扫描顺序的更新顺序。反向扫描顺序缓冲器243将从排序单元242供应的反向扫描顺序保存为作为更新的反向扫描顺序的更新顺序的最新值。反向扫描顺序缓冲器243适当地向反向扫描顺序确定单元246供应更新顺序。
IDR判定单元244参考从NAL语法解码单元232供应的NAL语法，并且判定处理目标是否是IDR图片。IDR判定单元244向反向扫描顺序确定单元246供应判定结果。标记判定单元245判定从标记解码单元233供应的default_scan_f lag的值,并且检测场景改变的出现。当default_scan_flag取用于指示场景改变的出现的值(例如，“I”)时，标记判定单元245向反向扫描顺序确定单元246通知已经出现了场景改变。此外，当default_scan_flag取用于指示场景改变未出现的值(例如，“0”)时,标记判定单元245向反向扫描顺序确定单元246通知场景改变未出现。
反向扫描顺序确定单元246基于从IDR判定单元244供应的IDR判定结果和从标记判定单元245供应的关于场景改变是否出现的判定结果来将初始顺序或更新顺序选择为反向扫描顺序，并且向量化正交变换系数解码单元234通知这个选择结果。S卩，当例如图像是IDR图片或包括场景改变时，图像编码设备100根据初始顺序来执行扫描，因此反向扫描顺序确定单元246将作为像在传统Z形扫描中预先设置的预定扫描顺序的初始顺序确定为反向扫描顺序，并且向量化正交变换系数编码单元133通知该初始顺序。另外，这个反向扫描顺序的初始顺序与图像编码设备100的扫描顺序确定单元146的扫描顺序的初始顺序相反。此外，当例如图像不是IDR图片并且不包括场景改变时，反向扫描顺序确定单元246将作为根据图像更新的反向扫描顺序并且从反向扫描顺序缓冲器243供应的更新顺序确定为反向扫描顺序，并且向量化正交变换系数编码单元133通知更新顺序。
·
[解码处理流程]接下来，将描述由上面的图像解码设备200执行的每个处理的流程。首先，将参考图13中的流程图来描述解码处理的流程的示例。当开始解码处理时，累积缓冲器201在步骤S201中累积发送的编码数据。在步骤S202中，无损解码单元202和自适应反向扫描控制单元221解码从累积缓冲器201供应的编码数据。即，解码由在图6中的无损编码单元106编码的I图片、P图片和B图片。在该情况下，解码运动矢量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)与诸如标记和量化参数的信息。当预测模式信息是帧内预测模式信息时，向帧内预测单元211供应预测模式信息。当预测模式信息是帧间预测模式信息时，向运动预测/补偿单元212供应与预测模式信息匹配的运动矢量信息。在步骤S203中，逆量化单元203根据支持在图6中的量化单元105中的量化处理的方法来逆量化由无损解码单元202解码和获得的量化正交变换系数。在步骤S204中，逆正交变换单元204根据支持在图6中的正交变换单元104中的正交变换处理的方法来逆正交变换由逆量化单元203逆量化正交变换系数。通过该手段，解码与在图6中的正交变换单元104的输入(计算单元103的输出)对应的差信息。在步骤S205中，计算单元205向通过在步骤S204中的处理获得的差信息加上预测图像。通过该手段，解码原始图像数据。在步骤S206中，去块滤波器206适当地滤波通过在步骤S205中的处理获得的解码图像。通过该手段，从解码图像适当地消除块失真。在步骤S207中，帧存储器209存储滤波的解码图像。在步骤S208中，帧内预测单元211或运动预测/补偿单元212根据从无损解码单元202供应的预测模式信息来执行每个图像的预测处理。S卩，当从无损解码单元202供应帧内预测模式信息时，帧内预测单元211在帧内预测模式中执行帧内预测处理。此外，当从无损解码单元202供应帧间预测模式信息时，运动预测/补偿单元212在帧间预测模式中执行运动预测处理。在步骤S209中，选择单元213选择预测图像。即，选择单元213接收由帧内预测单元211产生的预测图像或由运动预测/补偿单元212产生的预测图像的供应。选择单元213选择所供应的预测图像，并且向计算单元205供应该预测图像。这个预测图像通过在步骤S205中的处理被加到差信息上。在步骤S210中，画面重新排列缓冲器207重新排列解码的图像数据的帧。即，由图像编码设备100的画面重新排列缓冲器102 (图6)将为编码重新排列的解码图像数据的帧顺序重新排列为原始显示顺序。在步骤S211中，数模转换单元208数模转换具有由画面重新排列缓冲器207重新排列的帧的解码图像数据，这个解码图像数据被输出到未示出的显示器，并且解码图像数据的图像被显示。[无损解码处理流程]接下来，将参考在图14中的流程图来描述在图13中的步骤S203中执行的无损解 码处理的流程的示例。当开始无损解码处理时，NAL语法解码单元232在步骤S231中解码NAL语法。在步骤S232中，IDR判定单元244基于在解码的NAL句法中包括的信息判定处理目标是否是IDR图片。当判定处理目标不是IDR图片(要解码的正交变换系数不是IDR图片)时，IDR判定单元244将处理前进到步骤S233。在步骤S233中，标记解码单元233解码default_scan_flag。在步骤S234中，标记判定单元245判定解码的default_scan_flag的值是否是I (用于指示处理目标包括场景改变的值)。当基于default_scan_flag的值判定处理目标不包括场景改变时,标记判定单元245将处理前进到步骤S235。在步骤S235中，反向扫描顺序确定单元246将更新顺序选择为反向扫描顺序。当选择更新顺序时，反向扫描顺序确定单元246将处理前进到步骤S237。此外，当在步骤S232中判定处理目标是IDR图片时，IDR判定单元244将处理前进到步骤S236。此外，当在步骤S234中判定解码的default_scan_flag的值是0 (用于指示处理目标不包括场景改变的值)时，标记判定单元245将处理前进到步骤S236。在步骤S236中，反向扫描顺序确定单元246将初始顺序选择为反向扫描顺序。当选择初始顺序时，反向扫描顺序确定单元246将处理前进到步骤S237。在步骤S237中，量化正交变换系数解码单元234解码用于当前宏块的量化正交变换系数的编码数据。在步骤S238中，量化正交变换系数解码单元234根据在步骤S235或步骤S236中选择的顺序(初始顺序或更新顺序)来反向扫描在步骤S237中解码和获得的量化正交变换系数，以二维阵列来重新排列量化正交变换系数，并且向逆量化单元203供应量化正交变换系数。在步骤S239中，非零系数计数器241按宏块中的每个像素位置计数非零系数。在步骤S240中，非零系数计数器241确定是否对于预定数据单元(例如，图片或片)处理了所有的宏块。当判定存在未处理的宏块时，非零系数计数器241将处理返回到步骤S237，并且重复随后的处理。此外，当在步骤S240中判定处理了所有的宏块时，非零系数计数器241将处理前进到步骤S241。在步骤S241中，排序单元242以从上面的预定数据单元(例如，图片或片)的非零系数的较高累积值起的顺序来建立反向扫描顺序。在步骤S242中，反向扫描顺序缓冲器243通过保存在步骤S241中设置的反向扫描顺序来更新更新顺序。当完成在步骤S242中的处理时，无损解码单元202和自适应反向扫描控制单元221完成无损解码处理。通过执行如上所述的每个处理，图像解码设备200可以从由图像编码设备100的自适应扫描控制单元121根据图像的特征自适应地确定的扫描顺序精确地再现反向顺序，并且将这个反向顺序设置为反向扫描顺序。此外，图像解码设备200可以基于从图像编码设备100供应的代码流的NAL语法或标记信息来精确地判定图像编码设备100是否采用初始顺序或更新顺序来作为扫描顺序。即，图像解码设备200可以精确地解码由图像编码设备100产生的编码数据，使得能够提高编码效率。另外，虽然根据上面的第一实施例和第二实施例将非零系数的每个像素位置的累积值用于确定扫描顺序或反向扫描顺序的更新顺序的统计值，但是除了这个累积值之外的诸如非零系数的累积值的平均值的任何统计值可以用于这个统计值。可以使用除了非零系数的统计值之外的值来自然地确定扫描顺序或反向扫描顺序的更新顺序。此外，虽然上面按诸如图片或片的预定数据单元计算统计值，但是这个数据单元是任意的。另外，如图15中所示，可以对于I片(I图片)、P片(P图片)和B片(B图片)独立地执行扫描顺序和反向扫描顺序的上述的自适应控制(按片类型或按图片类型独立地执行控制)。在该情况下，如图15中所示，使用在过去的相同类型的片(图片)的非零系数的统计值来更新每个片(图片)的扫描顺序和反向扫描顺序。例如，根据在紧前处理的I片中的非零系数的频率分布来更新用于I片的扫描顺序，根据在紧前处理的P片中的非零系数的 频率分布来更新用于P片的扫描顺序，并且根据在紧前处理的B片中的非零系数的频率分布来更新用于B片的扫描顺序。也在该情况下，用于更新扫描顺序和反向扫描顺序的统计值自然是任意的。通过例如使用不同的统计值来更新用于I片、P片和B片的扫描顺序和反向扫描顺序，可以基于不同的统计值来独立地更新扫描顺序和反向扫描顺序。此外，在I片的情况下，可以根据帧内预测模式来采用不同的扫描方案。在片间的情况下，可以根据诸如16X16或16X8的运动补偿分区模式来自然地采用不同的扫描方案。此外，当如图16中所示将单个图片划分为多个片并且处理时，虽然可以基于在如图16中的A指示的紧前处理的片中的非零系数的统计值来更新扫描顺序，但是可以基于与在图16中的B所示的紧前处理的图片中相同的位置处的片中的非零系数的统计值来更新扫描顺序。当以片为单位来执行并行处理时，需要使用在图16中的B指示的方案。此外，由图像编码设备100采用的扫描顺序可以被发送到图像解码设备200。通过如此进行，图像解码设备200可以容易地根据这个扫描顺序找到精确的反向扫描顺序。同时，通过在图像解码设备200中再现精确的扫描顺序(反向扫描顺序)而不如上所述发送扫描顺序，能够进一步提闻编码效率。
虽然以上使用在过去处理的图像中的非零系数的统计值来更新扫描顺序和反向扫描顺序，但是本发明不限于此，并且可以使用在当前图像中的非零系数的统计值来更新扫描顺序和反向扫描顺序(基于当前图像更新的扫描顺序或反向扫描顺序用于处理当前图像)。例如，在图7中，量化正交变换系数编码单元133保存从量化单元105供应的预定数据单元(例如，片或图片)的量化正交变换系数，非零系数计数器141求得正交变换系数的非零系数的累积频率分布，排序单元142设置扫描顺序，并且扫描顺序缓冲器143更新更新顺序。此外，当扫描顺序确定单元146选择更新顺序时，量化正交变换系数编码单元133根据更新顺序按宏块扫描被保存的正交变换系数。通过如此进行，无损编码单元106可以根据更适合于图像的特征的扫描顺序来执行扫描。 同时，在该情况下，图像解码设备200不能再现以这种方式采用的更新顺序(扫描顺序)，因此，图像编码设备100需要向图像解码设备200发送所采用的更新顺序(扫描顺序)。虽然上面根据非零系数的累积频率分布来更新扫描顺序和反向扫描顺序，但是可以设置用于确定是否更新扫描顺序和反向扫描顺序的阈值。当例如非零系数的出现频率较小地偏差并且累积频率分布均匀时，即使根据任何顺序来执行扫描，编码效率也不显著不同。结果，可以通过在该情况下跳过更新顺序的更新来降低负荷。在该情况下，可以将初始顺序进一步选择为扫描顺序和反向扫描顺序。此外，虽然根据图像的特性(例如，非零系数的累积频率分布)来选择自适应地更新的更新顺序或初始顺序，但是，本发明不限于此，并且可以根据图像的特性(例如，非零系数的累积频率分布)来自适应地选择预先准备的多个扫描顺序之一。例如，可以基于非零系数的频率分布从预先准备的多个扫描顺序选择最佳的扫描顺序。这也适用于反向扫描顺序。此外，可以仅向在非专利文献I中提出的扩展宏块(大于预定尺寸的宏块)应用扫描顺序和反向扫描顺序的上述控制。此外，虽然上面控制用于扫描量化正交变换系数的扫描顺序，但是该技术适用于任何处理，只要该技术控制用于将任意系数数据从二维阵列向一维阵列变换的扫描顺序(重新排列顺序)。例如，可以不量化正交变换系数。此外，要扫描的数据可以不是正交变换系数，并且可以是通过经由与正交变换不同的另一个变换处理变换图像数据而产生的系数数据。这也适用于反向扫描。虽然已经使用根据基于AVC的方案执行编码的图像编码设备和根据基于AVC的方案执行解码的图像解码设备来描述示例，但是本发明的适用范围不限于此，并且本发明可适用于执行正交变换处理和根据预定扫描顺序来扫描正交变换系数的编码处理的图像编码设备与图像解码设备。此外,诸如default_scan_flag的上述的信息可以被加到例如编码数据的任意位置，或者，可以分别向解码侧发送信息和编码数据。例如，无损编码单元106可以将在比特流中的这些信息描述为语法。此外，无损编码单元106可以将在预定区域中的这些信息存储为辅助信息，并且发送这些信息。例如，这些信息可以被存储在诸如SEI (补充增强信息)的参数集(例如，序列或图片的首部)中。此外，无损编码单元106可以向图像解码设备200分别发送这些信息和来自图像编码设备100的编码数据(作为另一个文件)。在该情况下，虽然需要阐明在这些信息和编码数据之间的对应性(需要使得解码侧能够了解该对应性)，但是其方法是任意的。例如，可以另外建立用于指示该对应性的表格信息，或者，可以在每个数据内嵌入用于指示对应的数据的链接信息。<3.第三实施例>[个人计算机]
上面的系列处理可以被硬件执行或可以被软件执行。在此，可以配置如例如在图17中所示的个人计算机。在图17中，个人计算机500的CPU (中央处理单元)501根据在ROM (只读存储器)502中存储的程序或从存储单元513向RAM (随机存取存储器)503加载的程序来执行各种处理。例如，CPU501用于执行各种处理所需的数据也被适当地存储在RAM503中。CPU501、R0M502和RAM503通过总线504彼此连接。输入/输出接口 510也连接到这条总线504。输入/输出接口 510与下述部分连接输入单元511，其包括键盘和鼠标；显示器，其由CRT (阴极射线管)或LCD (液晶显示器)形成；输出单元512，其具有扬声器；存储单元513，其由硬盘配置；以及通信单元514，其由调制解调器配置。通信单元514通过包括因特网的网络来执行通信处理。输入/输出接口 510在必要时也与驱动器515连接，并且适当地附接到可移除介质521，诸如磁盘、光盘、磁光盘或半导体存储器，并且从可移除介质521读取的计算机程序在必要时被安装在存储单元513中。当通过软件来执行上面的系列处理时，从网络或记录介质安装配置该软件的程序。除了例如在图17中所示的设备主体之外，这个记录介质不仅由其上记录了被分发以向用户分发程序的程序的诸如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)和DVD (数字通用盘))、磁光盘(包括MD (微型盘))或半导体存储器的可移除介质521配置，此外还由诸如R0M502和存储单元513的硬盘配置，在R0M502上，预先记录了在设备主体中安装程序的状态中向用户分发的程序。另外，由计算机执行的程序可以是以在本说明书中描述的顺序以时间序列执行处理的程序，或者可以是当调用程序时并行或在必要的时刻执行处理的程序。此外，在本说明书中，用于描述在记录介质上记录的程序的步骤自然包括以所述顺序以时间序列执行的处理，并且也包括如果未以时间序列处理则并行或单独地执行的处理。此外，在本说明书中，系统指的是包括多个装置(设备)的整体设备。此外，已经在上面描述为一个设备(或处理单元)的配置可以被划分并且被配置为多个设备(或处理单元)。与此相反，已经在上面描述为多个设备(或处理单元)的配置可以被共同配置为一个设备(或处理单元)。此外，除了上面的配置之外的配置可以被自然地加到每个设备(或每个处理单元)的配置。此外，当整个系统的配置和操作基本上相同时，可以在另一个设备(或另一个处理单元)的配置中包括给定设备(或处理单元)的配置的一部分。即，本发明的实施例不限于上面的实施例，并且可以在不偏离本发明的精神的范围内进行各种修改。例如，上面的图像编码设备和图像解码设备适用于任意电子器具。以下，将描述其示例。〈4.第四实施例〉[电视接收机]图18是图示使用图像解码设备200的电视接收机的主要配置示例的框图。在图18中示出的电视接收机1000具有地面调谐器1013、视频解码器1015、视频·信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。地面调谐器1013接收和解调地面模拟广播的广播波信号，获取视频信号，并且向视频解码器1015供应该视频信号。视频解码器1015向从地面调谐器1013供应的视频信号应用解码处理，并且向视频信号处理电路1018供应结果产生的数字分量信号。视频信号处理电路1018向从视频解码器1015供应的视频数据应用诸如噪声消除的预定处理，并且向图形产生电路1019供应结果产生的视频数据。图形产生电路1019例如产生在显示面板1021上显示的节目的视频数据或通过网络供应并且通过基于应用的处理获得的图像数据，并且向面板驱动电路1020供应所产生的视频数据和图像数据。此外，图形产生电路1019也适当地执行下述处理产生用于显示由用户利用来选择项目的画面的视频数据(图形)，并且向面板驱动电路1020供应通过在节目的视频数据上叠加视频数据而获得的视频数据。面板驱动电路1020基于从图形产生电路1019供应的数据来驱动显示面板1021，并且在显示面板1021上显示节目的视频图像和各种画面。显示面板1021由例如IXD (液晶显示器)形成，并且例如在面板驱动电路1020的控制下显示节目的视频图像。此外，电视接收机1000也具有音频A/D (模数)转换电路1014、音频信号处理电路1022、回声消除/音频合成电路1023、音频放大电路1024和扬声器1025。地面调谐器1013通过解调所接收的广播波信号不仅获取视频信号此外还获取音频信号。地面调谐器1013向音频A/D转换电路1014供应所获取的音频信号。音频A/D转换电路1014向从地面调谐器1013供应的音频信号应用A/D转换处理，并且向音频信号处理电路1022供应结果产生的数字音频信号。音频信号处理电路1022向从音频A/D转换电路1014供应的音频数据应用诸如噪声消除的预定处理，并且向回声消除/音频合成电路1023供应结果产生的音频数据。回声消除/音频合成电路1023向音频放大电路1024供应从音频信号处理电路1022供应的音频数据。音频放大电路1024向从回声消除/音频合成电路1023供应的音频数据应用数模转换处理和放大处理，将音频数据调整为预定音量，并且然后从扬声器1025输出音频。此外，电视接收机1000也具有数字调谐器1016和MPEG解码器1017。数字调谐器1016通过天线接收数字广播(数字地面广播或BS (广播卫星)/CS (通信卫星)数字广播)的广播波信号，解调广播波信号，获取MPEG-TS (运动图像专家组-传输流)，并且向MPEG解码器1017供应MPEG-TS。MPEG解码器1017消除向从数字调谐器1016供应的MPEG-TS施加的加扰，并且提取包括作为回放目标(观看目标)的节目数据的流。MPEG解码器1017解码构成所提取的流的音频分组，向音频信号处理电路1022供应结果产生的音频数据，解码构成该流的视频分组，并且向视频信号处理电路1018供应结果产生的视频数据。此外，MPEG解码器1017通过未示出的信道向CPU1032供应从MPEG-TS提取的EPG (电子节目指南)数据。电视接收机1000使用上述图像解码设备200作为以这种方式解码视频图像分组的MPEG解码器1017。另外，从例如广播站发送的MPEG-TS被图像编码设备100编码。类似于图像解码设备200，MPEG解码器1017可以基于NAL语法或default_scan_flag来指定与由图像编码设备100采用的扫描顺序匹配的反向扫描顺序。结果，MPEG解码 器1017可以精确地解码通过根据按照图像的特征自适应地控制的扫描顺序扫描量化正交变换系数而编码的编码数据，使得能够提高编码效率。类似于从视频解码器1015供应的视频数据，从MPEG解码器1017供应的视频数据在视频信号处理电路1018中被应用预定处理，在图形产生电路1019中被适当地叠加例如所产生的视频数据，并且通过面板驱动电路1020被供应到显示面板1021，使得图像被显
/Jn o类似于从音频A/D转换电路1014供应的音频数据，从MPEG解码器1017供应的语音数据在音频信号处理电路1022中被应用预定处理，并且通过回声消除/音频合成电路1023被供应到音频放大电路1024，并且被应用数模转换处理和放大处理。结果，从扬声器1025输出被调整为预定音量的音频。此外，电视接收机1000也具有麦克风1026和模数转换电路1027。模数转换电路1027接收由在电视接收机1000中设置的麦克风1026捕获的用户的语音的信号以用于语音转换，向接收的音频信号应用模数转换处理，并且向回声消除/音频合成电路1023供应结果产生的数字音频数据。当从模数转换电路1027供应电视接收机1000的用户(用户A)的语音的数据时，回声消除/音频合成电路1023对用户A的音频数据进行回声消除，并且使得扬声器1025通过音频放大电路1024输出通过与另一个音频数据合成而获得的音频数据。此外，电视接收机1000也具有音频编码解码器1028、内部总线1029、SDRAM (同步动态随机存取存储器)1030、快闪存储器1031、CPU1032、USB (通用串行总线)接口 1033和网络接口 1034。模数转换电路1027接收由在电视接收机1000中设置的麦克风1026捕获的用户的语音的信号以用于语音转换，向接收的音频信号应用模数转换处理，并且向音频编码解码器1028供应结果产生的数字音频数据。音频编码解码器1028将从模数转换电路1027供应的音频数据转换为预定格式的数据以通过网络发送，并且通过内部总线1029向网络接口 1034供应该数据。网络接口 1034通过附接到网络终端1035的电缆连接到网络。网络接口 1034向例如连接到网络的另一个设备发送从音频编码解码器1028供应的音频数据。此外，网络接口 1034通过例如网络终端1035接收从通过网络连接的另一个设备发送的音频数据，并且通过内部总线1029向音频编码解码器1028供应该音频数据。音频编码 解码器1028将从网络接口 1034供应的音频数据转换为预定格式的数据，并且向回声消除/音频合成电路1023供应该数据。回声消除/音频合成电路1023对从音频编码解码器1028供应的音频数据进行回声消除，并且使得扬声器1025通过音频放大电路1024输出通过与另一个音频数据合成而获得的音频数据。SDRAM1030存储CPU1032执行处理所需的数据的各个项目。快闪存储器1031存储由CPU1032执行的程序。在快闪存储器1031中存储的程序在预定时刻，诸如当启动电视接收机1000时的时刻，被CPU1032读取。在快闪存储器1031中，也存储通过数字广播获取的EPG数据和通过网络从预定服务器获取的数据。例如，在快闪存储器1031中，存储在CPU1032的控制下通过网络从预定服务器获取的包括内容数据的MPEG-TS。快闪存储器1031在例如CPU1032的控制下通过内部总线1029向MPEG解码器1017供应这个MPEG-TS。MPEG解码器1017与从数字调谐器1016供应的MPEG-TS类似地处理这个MPEG-TS。因此，电视接收机1000可以通过网络接收包括视频图像和音频的内容数据，使用MPEG解码器1017解码内容数据，并且显示视频图像和输出音频。此外，电视接收机1000也具有接收从遥控器1051发送的红外线信号的光接收单元 1037。光接收单元1037从遥控器1051接收红外线，并且向CPU1032输出被解调和获得并且指示用户的操作的内容的控制代码。CPU1032执行在快闪存储器1031中存储的程序，并且根据例如从光接收单元1037供应的控制代码来控制电视接收机1000的整体操作。CPU1032和电视接收机1000的每个单元通过未示出的信道连接。USB接口 1033向通过附接到USB终端1036的USB电缆连接的电视接收机1000的外部装置发送和从其接收数据。网络接口 1034通过附接到网络终端1035的电缆连接到网络，并且向连接到网络的各个设备发送和从其接收除了音频数据之外的数据。即使当根据按照图像的特征自适应地控制的扫描顺序来扫描并编码通过天线接收的广播波信号或通过网络获取的内容数据的量化正交变换系数时，电视接收机1000可以通过使用图像解码设备200作为MPEG解码器1017来精确地解码编码数据，并且提高编码效率。<5.第五实施例>[移动电话]图19是图示使用图像编码设备100和图像解码设备200的移动电话的主要配置示例的框图。在图19中所示的移动电话1100具有被配置来执行每个单元的整体控制的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、相机接口单元1154、IXD控制单元1155、图像解码器1156、去复用单元1157、记录/回放单元1162、调制/解调电路单元1158和音频编码解码器1159。这些单元通过总线1160连接。此外，移动电话1100具有操作按键1119、(XD(电荷耦合器件)相机1116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风1121和扬声器1117。当通过用户的操作结束呼叫或者接通电源按键时，电源电路单元1151通过从电池组向每个单元供应电力来将移动电话1100置于启动状态。移动电话1100基于由具有例如CPU、R0M和RAM的主控制单元1150进行的控制执行各种操作，例如，发送和接收音频信号，发送和接收电子邮件和图像数据，捕获图像和在诸如语音通信模式或数据通信模式的各个模式中记录数据。在例如语音通信模式中，移动电话1100使得音频编码解码器1159将由麦克风1121收集的音频信号转换为数字音频数据，使得调制/解调电路单元1158向数字音频数据应用扩频处理，并且使得发送/接收电路单元1163应用数字音频数据的数字/模拟转换处 理和频率转换处理。移动电话1100通过天线1114向未示出的基站发送从这个转换处理产生的发送信号。向基站发送的发送信号(音频信号)通过公共电话网络被供应到通信对方的移动电话。此外，在例如语音通信模式中，移动电话1100使得发送/接收电路单元1163放大在天线1114处接收的信号，并且执行所接收的信号的频率转换处理和模拟/数字转换处理，使得调制/解调电路单元1158执行逆扩频处理，并且使得音频编码解码器1159将该信号转换为模拟音频信号。移动电话1100使得扬声器1117输出从这个转换产生的模拟音频信号。此外，当例如在数据通信模式中发送电子邮件时，移动电话1100使得操作输入控制单元1152接收通过操作操作按键1119而输入的电子邮件的文本数据。移动电话1100使得主控制单元1150处理该文本数据，并且使得液晶显示器1118通过IXD控制单元1155来将文本图像显示为图像。此外，移动电话1100使得主控制单元1150基于由操作输入控制单元1152接收的文本数据或用户指令来产生电子邮件数据。移动电话1100使得调制/解调电路单元1158执行电子邮件数据的扩频处理，并且使得发送/接收电路单元1163执行电子邮件数据的数模转换处理和频率转换处理。移动电话1100通过天线1114向未示出的基站发送从这个转换处理产生的发送信号。向基站发送的发送信号(电子邮件)通过例如网络和邮件服务器被供应到预定目的地。此外，当例如在数据通信模式中接收电子邮件时，移动电话1100使得发送/接收电路单元1163通过天线1114接收从基站发送的信号，放大该信号，并且执行该信号的频率转换处理和模数转换处理。移动电话1100使得调制/解调电路单元1158执行这个接收的信号的扩频处理，并且恢复原始电子邮件数据。移动电话1100使得液晶显示器1118通过IXD控制单元1155显示所恢复的电子邮件数据。另外，移动电话1100可以通过记录/回放单元1162在存储单元1123中记录(存储)所接收的电子邮件数据。存储单元1123是任意的可重写存储介质。存储单元1123例如可以是诸如RAM或内置快闪存储器的半导体存储器；硬盘；或可移除介质，诸如磁盘、磁光盘、光盘、USB存储器或存储卡。当然，可以使用其他介质。当例如在数据通信模式中发送图像数据时，移动电话1100使得CXD相机1116捕获图像并且产生图像数据。C⑶相机1116具有诸如透镜和快门的光学装置和作为光电转换元件的CCD，并且捕获主题的图像，将接收的光的强度转换为电信号，并且产生该主题的图像的图像数据。C⑶相机1116使得图像编码器1153通过相机接口单元1154编码图像数据，并且将图像数据转换为编码的图像数据。移动电话1100使用上面的图像编码设备100作为执行这样的处理的图像编码器1153。类似于图像编码设备100，图像编码器1153根据图像的特征来自适应地控制量化正交变换系数的扫描顺序。结果，图像编码器1153可以根据更适合于图像的特征的扫描顺序来执行扫描，使得能够增大连零值，并且提高编码效率。另外，移动电话1100使得音频编码解码器1159同时地模数转换和编码由麦克风1121收集的音频，而C⑶相机1116捕获图像，并且编码音频。移动电话1100使得去复用单元1157根据预定方案复用从图像编码器1153供应 的编码图像数据和从音频编码解码器1159供应的数字音频数据。移动电话1100使得调制/解调电路单元1158执行结果产生的复用数据的扩频处理，并且使得发送/接收电路单元1163执行复用数据的数模转换处理和频率转换处理。移动电话1100通过天线1114向未示出的基站发送从这个转换处理产生的发送信号。向基站发送的发送信号(图像数据)通过例如网络被供应到通信对方。另外，当不发送图像数据时，移动电话1100也可以通过IXD控制单元1155而不通过图像编码器1153来使得液晶显示器1118显示由CXD相机1116产生的图像数据。此外，当例如在数据通信模式中接收链接到简单主页的电影文件的数据时，移动电话1100使得发送/接收电路单元1163通过天线1114接收从基站发送的信号，放大数据并且执行数据的频率转换处理和模数转换处理。移动电话1100使得调制/解调电路单元1158执行这个接收的信号的逆扩频处理，并且恢复原始电子邮件数据。移动电话1100使得去复用单元1157将复用数据去复用为编码的图像数据和音频数据。移动电话1100使得图像解码器1156解码编码的图像数据以产生回放电影数据，并且通过IXD控制单元1155使得液晶显示器1118显示回放电影数据。通过该手段，在液晶显示器1118上显示在链接到简单主页的电影文件中包括的电影数据。移动电话1100使用图像解码设备200来作为执行这样的处理的图像解码器1156。即，类似于图像解码设备200,图像解码器1156可以基于NAL语法或default_scan_f lag来指定与由图像编码设备100采用的扫描顺序匹配的反向扫描顺序。结果，图像解码器1156可以精确地解码通过根据按照图像的特征自适应地控制的扫描顺序扫描量化正交变换系数而编码的编码数据，使得能够提高编码效率。在该情况下，移动电话1100同时使得音频编码解码器1159将数字音频数据转换为模拟音频信号，并且使得扬声器1117输出模拟音频信号。通过该手段，回放在链接到简单主页的电影文件中包括的音频数据。另外，类似于电子邮件，移动电话1100可以通过记录/回放单元1162在存储单元1123中记录(存储)链接到例如主页的接收数据。此外，移动电话1100使得主控制单元1150分析由CXD相机1116捕获的二维代码，
并且获取在二维代码中记录的信息。此外，移动电话1100可以使用红外通信单元1181通过红外线来与外部装置进行通信。
移动电话1100可以根据图像的特征，当通过使用作为图像编码器1153的图像编码设备100来编码和发送由例如CXD相机1116产生的图像数据时，自适应地控制从图像数据产生的量化正交变换系数的扫描顺序，根据更适合于图像的特征的扫描顺序来执行扫描，增大连零值，并且提高编码效率。此外，即使当例如根据按照图像的特征自适应地控制的扫描顺序扫描并编码链接到例如简单主页的电影文件的量化正交变换系数时，移动电话1100可以使用图像解码设备200作为图像解码器1156精确地解码编码的数据，并且提高编码效率。另外，虽然移动电话1100使用上面的C⑶相机1116，但是可以取代C⑶相机1116而使用利用CMOS (互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。也在该情况下，类似于其中使用C⑶相机1116的情况，移动电话1100可以捕获主题的图像，并且产生主题的图像的图像数据。
此外，虽然上面已经描述了移动电话1100，但是图像编码设备100和图像解码设备200适用于与移动电话1100类似的任何设备，只要该设备具有与这个移动电话1100相同的图像捕获功能和通信功能，诸如PDA (个人数字助理)、智能电话、UMPC (超级移动个人计算机)、上网本、笔记本计算机。<6.第六实施例>[硬盘记录器]图20是示出使用图像编码设备100和图像解码设备200的硬盘记录器的主要配置示例的框图。在图20中所示的硬盘记录器(HDD记录器)1200是如下设备该设备在内置硬盘中存储在从卫星天线或在地面上的天线发送的广播波信号(电视信号)中包括并且由调谐器接收的广播节目的音频数据和视频数据，并且在与用户的指令匹配的时间向用户供应存储的数据。硬盘记录器1200可以例如从广播波信号提取音频数据和视频数据，适当地解码音频数据和视频数据，并且在内置硬盘中存储音频数据和视频数据。此外，硬盘记录器1200可以例如通过网络从另一个设备获取音频数据和视频数据，适当地解码音频数据和视频数据，并且在内置硬盘中存储音频数据和视频数据。此外，硬盘记录器1200可以例如解码和向监视器1260供应在内置硬盘中记录的音频数据和视频数据，使得监视器1260的屏幕显示图像，并且使得监视器1260的扬声器输出音频。此外，硬盘记录器1200也可以解码和向监视器1260供应从通过调谐器获取的广播波信号提取的音频数据和视频数据或通过网络从另一个设备获取的音频数据和视频数据，使得监视器1260的屏幕显示图像，并且使得监视器1260的扬声器输出音频。其它操作自然是可能的。如图20中所示，硬盘记录器1200具有接收单元1221、解调单元1222、去复用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200还具有EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD (屏上显示器)控制单元1231、显示控制单元1232、记录/回放单元1233、数模转换器1234和通信单元1235。此外，显示转换器1230具有视频编码器1241。记录/回放单元1233具有编码器1251和解码器1252。接收单元1221从遥控器(未示出)接收红外信号，将红外信号转换为电信号，并且向记录器控制单元1226输出该电信号。记录器控制单元1226具有例如微处理器，并且根据在程序存储器1228中存储的程序来执行各种处理。在该情况下，记录器控制单元1226当必要时使用工作存储器1229。通信单元1235连接到网络，并且通过网络与另一个设备执行通信处理。例如，通信单元1235被记录器控制单元1226控制，与调谐器(未示出)进行通信，并且主要向调谐器输出信道调谐控制信号。解调单元1222解调从调谐器供应的信号，并且向去复用器1223输出该信号。去复用器1223将从解调单元1222供应的数据去复用为音频数据、视频数据和EPG数据，并且分别向音频解码器1224、视频解码器1225和记录器控制单元1226输出音频数据、视频数据和EPG数据。 音频解码器1224解码输入的音频数据，并且向记录/回放单元1233输出该音频数据。视频解码器1225解码输入的视频数据，并且向显示转换器1230输出该视频数据。记录器控制单元1226向EPG数据存储器1227供应输入的EPG数据，并且使得EPG数据存储器1227存储EPG数据。显示转换器1230使得视频编码器1241将从视频解码器1225或记录器控制单元1226供应的视频数据编码为例如NTSC (国家电视标准委员会)方案的视频数据，并且向记录/回放单元1233输出该视频数据。此外，显示转换器1230将从视频解码器1225或记录器控制单元1226供应的视频数据的画面的尺寸转换为与监视器1260的尺寸匹配的尺寸，并且使得视频编码器1241将该数据转换为具有NTSC格式的视频数据，将视频数据转换为模拟信号，并且向显示控制单元1232输出模拟信号。显示控制单元1232在记录器控制单元1226的控制下在从显示转换器1230输入的视频信号上叠加从OSD (屏上显示)控制单元1231输出的OSD信号，向监视器1260的显不器输出信号以显不。监视器1260也接收从音频解码器1224输出并且被数模转换器1234转换为模拟信号的音频数据的供应。监视器1260从内置扬声器输出该音频信号。记录/回放单元1233具有作为记录例如视频数据和音频数据的存储介质的硬盘。例如，记录/回放单元1233使得编码器1251编码从音频解码器1224供应的音频数据。此外，记录/回放单元1233使得编码器1251编码从显示转换器1230的视频编码器1241供应的视频数据。记录/回放单元1233使得复用器合成音频数据的编码数据和视频数据的编码数据。记录/回放单元1233信道编码和放大该合成数据，并且通过记录头在硬盘中写入该数据。记录/回放单元1233通过回放头回放和放大在硬盘中记录的数据，并且使得去复用器将该数据去复用为音频数据和视频数据。记录/回放单元1233使得解码器1252解码音频数据和视频数据。记录/回放单元1233数模转换解码的音频数据，并且向监视器1260的扬声器输出该音频数据。此外，记录/回放单元1233数模转换解码的视频数据，并且向监视器1260的显示器输出该视频数据。记录器控制单元1226基于由通过接收单元1221从遥控器接收的红外信号指示的用户的指令来从EPG数据存储器1227读取最新的EPG数据，并且向OSD控制单元1231供应EPG数据。OSD控制单元1231产生与输入的EPG数据对应的图像数据，并且向显示控制单元1232输出该图像数据。显示控制单元1232向监视器1260的显示器输出从OSD控制单元1231输入的视频数据以显示。通过该手段，监视器1260的显示器显示EPG(电子节目指南)。此外，硬盘记录器1200可以获取通过诸如因特网的网络从另一个设备供应的、诸如视频数据、音频数据和EPG数据的各个数据项目。通信单元1235被记录器控制单元1226控制，以获取通过网络从另一个设备发送的诸如视频数据、音频数据和EPG数据的编码数据，并且向记录器控制单元1226供应该编码数据。例如，记录器控制单元1226向记录/回放单元1233供应所获取的视频数据或音频数据的编码数据，并且使得硬盘存储该编码数据。在该情况下，记录器控制单元1226和 记录/回放单元1233可以当必要时执行诸如再编码的处理。此外，记录器控制单元1226解码所获取的视频数据或音频数据的编码数据，并且向显示转换器1230供应结果产生的视频数据。显示转换器1230与从视频解码器1225供应的视频数据类似地处理从记录器控制单元1226供应的视频数据，并且通过显示控制单元1232向监视器1260供应该视频数据以显示这个图像。此外，在显示这个图像时，记录器控制单元1226可以通过数模转换器1234向监视器1260供应解码的音频数据，并且使得扬声器输出音频。此外，记录器控制单元1226解码所获取的EPG数据的编码数据，并且向EPG数据存储器1227供应解码的EPG数据。上面的硬盘记录器1200使用图像解码设备200作为在视频解码器1225、解码器1252和记录器控制单元1226中内置的解码器。即，类似于图像解码设备200，在视频解码器1225、解码器1252和记录器控制单元1226中内置的解码器可以基于NAL语法或default—scan_flag来指定与由图像编码设备100采用的扫描顺序匹配的反向扫描顺序。结果，在视频解码器1225、解码器1252和记录器控制单元1226中内置的解码器可以精确地解码通过根据按照图像的特征自适应地控制的扫描顺序扫描量化正交变换系数而编码的编码数据，使得能够提高编码效率。结果，即使当例如根据按照图像特征自适应地控制的扫描顺序扫描并且编码由调谐器或通信单元1235接收的视频数据(编码数据)或由记录/回放单元1233回放的视频数据(编码数据)的量化正交变换系数时，硬盘记录器1200也可以精确地解码该编码数据，并且提高编码效率。此外，硬盘记录器1200使用图像编码设备100作为编码器1251。结果，与图像编码设备100类似，编码器1251根据图像的特征自适应地控制量化正交变换系数的扫描顺序。结果，编码器1251可以根据更适合于图像的特征的扫描顺序来执行扫描，使得有可能增大连零值，并且提高编码效率。结果，当例如产生要在硬盘中记录的编码数据时，硬盘记录器1200可以根据图像的特征自适应地控制量化正交变换系数的扫描顺序，根据更适合于图像的特征的扫描顺序来执行扫描，增大连零值，并且提高编码效率。另外，虽然上面已经描述了在硬盘中记录视频数据或音频数据的硬盘记录器1200，但是自然可以使用任何记录介质。与上面的硬盘记录器1200类似，图像编码设备100和图像解码设备200甚至适用于被应用除了硬盘之外的诸如快闪存储器、光盘或视频带的记录介质的记录器。<7.第七实施例>[相机]图21是图示使用图像编码设备100和图像解码设备200的相机的主要配置示例的框图。在图21中所示的相机1300捕获主题的图像，在IXD1316上显示主题的图像，并且将该图像在记录介质1333中记录为图像数据。
透镜块1311允许光(S卩，主题的图像)入射在CCD/CM0S1312上。CCD/CM0S1312是使用CCD或CMOS的图像传感器，并且将接收的光的强度转换为电信号，并且向相机信号处理单元1313供应该电信号。相机信号处理单元1313将从(XD/CM0S1312供应的电信号转换为色度信号Y、Cr和Cb，并且向图像信号处理单元1314供应该色度信号。图像信号处理单元1314在控制器1321的控制下向从相机信号处理单元1313供应的图像信号应用预定图像处理，并且使得编码器1341编码该图像信号。图像信号处理单元1314向解码器1315供应通过编码图像信号产生的编码数据。此外，图像信号处理单元1314获取由屏上显示(0SD)1320产生的显示数据，并且向解码器1315供应该显示数据。在上面的处理中，相机信号处理单元1313适当地使用通过总线1317连接的DRAM(动态随机存取存储器)1318，以使得DRAM1318当必要时保存例如图像数据和通过编码图像数据而获得的编码数据。解码器1315解码从图像信号处理单元1314供应的编码数据，并且向IXD1316供应结果产生的图像数据(解码图像数据)。此外，解码器1315向IXD1316供应从图像信号处理单元1314供应的显示数据。IXD1316适当地合成解码图像数据的图像和从解码器1315供应的显示数据的图像，并且显示该合成图像。屏上显示1320在控制器1321的控制下输出包括例如符号、字母或数字的菜单画面或诸如图标的显示数据，并且通过总线1317向图像信号处理单元1314输出该菜单画面或显示数据。控制器1321基于用于指示由用户使用操作单元1322指令的内容的信号来执行各种处理，并且通过总线1317控制例如图像信号处理单元1314、DRAM1318、外部接口 1319、屏上显示1320和媒体驱动器1323。在快闪R0M1324中，存储控制器1321执行各种处理所需的程序或数据。例如，取代图像信号处理单元1314和解码器1315，控制器1321可以编码在DRAM1318中存储的图像数据，并且解码在DRAM1318中存储的编码数据。在该情况下，控制器1321可以根据与图像信号处理单元1314或解码器1315的编码/解码方案相同的方案来执行编码/解码处理，或者可以根据图像信号处理单元1314或解码器1315不支持的方案来执行编码/解码处理。此外，当例如操作单元1322作出开始打印图像的指令时，控制器1321从DRAM1318读取图像数据，并且通过总线1317向连接到外部接口 1319的打印机1334供应图像数据以打印。此外，当例如操作单元1322作出记录图像的指令时，控制器1321从DRAM1318读取编码数据，并且通过总线1317向附接到媒体驱动器1323的记录介质1333供应编码数据以存储。记录介质1333可以是任意的可读可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质1333自然可以是任意类型的可移除介质，并且可以是带装置、盘或存储卡。记录介质1333自然可以是非接触IC卡。此外，媒体驱动器1323和记录介质1333可以被集成以配置诸如内置硬盘驱动器或SSD (固态驱动器)的非便携记录介质。外部接口 1319以例如USB输入/输出终端形成，并且连接到打印机1334以打印图像。此外，外部接口 1319在必要时与驱动器1331连接，并且适当地附接到诸如磁盘、光盘或磁光盘的可移除介质1332，并且从其读取的计算机程序当必要时被安装在快闪R0M1324·中。此外，外部接口 1319具有连接到诸如LAN或因特网的预定网络的网络接口。例如，控制器1321可以根据来自操作单元1322的指令来从DRAM1318读取编码数据，并且使得外部接口 1319向通过网络连接的另一个设备供应编码数据。此外，控制器1321可以通过外部接口 1319获取通过网络从另一个设备供应的编码数据或图像数据，使得DRAM1318具有编码数据或图像数据，并且向图像信号处理单元1314供应编码数据或图像数据。上面的相机1300使用图像解码设备200作为解码器1315。即，类似于图像解码设备200,解码器1315可以基于AL语法或default_scan_flag来指定与由图像编码设备100采用的扫描顺序匹配的反向扫描顺序。结果，解码器1315可以精确地解码通过根据按照图像的特征自适应地控制的扫描顺序来扫描量化正交变换系数而编码的编码数据，使得能够提高编码效率。结果，即使当例如根据按照图像的特征自适应地控制的扫描顺序扫描由CXD/CM0S1312产生的图像数据的量化正交变换系数、从DRAM1318或者记录介质1333读取的视频数据的编码数据或者通过网络获取的视频数据的编码数据并且对其编码时，相机1300可以精确地解码编码的数据，并且提高编码效率。此外，相机1300使用图像编码设备100作为编码器1341。类似于图像编码设备100，编码器1341根据图像的特征自适应地控制量化正交变换系数的扫描顺序。结果，编码器1341可以根据更适合于图像的特征的扫描顺序来执行扫描，使得能够增大连零值，并且提高编码效率。结果，当例如产生要在DRAM1318或记录介质1333中记录的编码数据或向另一个设备提供的编码数据时，相机1300可以根据图像的特征自适应地控制量化正交变换系数的扫描顺序，根据更适合于图像的特征的扫描顺序来执行扫描，增大连零值，并且提高编码效率。另外，图像解码设备200的解码方法可以被应用到由控制单元1321执行的解码处理。类似地，图像编码设备100的编码方法可以被应用到由控制器1321执行的编码处理。此外，由相机1300捕获的图像数据可以是电影或静止图像。图像编码设备100和图像解码设备200自然适用于除了上面的设备和系统之外的设备。本发明适用于图像编码设备和图像解码设备，该图像编码设备和图像解码设备用于通过诸如卫星广播、有线电视、因特网或移动电话的网络介质接收通过诸如像在MPEG、H. 26x中那样的离散余弦变换的正交变换压缩的图像信息(比特流)和运动矢量，或者处理在诸如光盘和磁盘或快闪存储器的存储介质上的图像信息。另外，本发明也可以使用下面的配置。(I) 一种图像处理设备具有扫描顺序控制单元，其根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序；扫描单元，其根据由所述扫描顺序控制单元控制的所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及编码单元，其编码由所述扫描单元以所述一维阵列重新排列的所述系数数据。 (2)对于根据(I)所述的图像处理设备，所述扫描顺序控制单元具有计算单元，其按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的、所述图像的部分区域中的每个像素位置，并以预定数据单元，计算所述系数数据的非零系数的出现频率；以及更新单元，其以由所述计算单元计算的在所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序，并且所述扫描单元根据由所述更新单元更新的扫描顺序来扫描所述系数数据。(3)对于根据(2)所述的图像处理设备，所述扫描顺序控制单元进一步具有确定单元，所述确定单元将作为预先设置的预定扫描顺序的初始顺序和作为由所述更新单元更新的扫描顺序的更新顺序之一确定为所述扫描顺序，并且所述扫描单元根据由所述确定单元从所述初始顺序和所述更新顺序确定的所述扫描顺序来扫描所述系数数据。(4)对于图像处理设备(3)，所述扫描顺序控制单元进一步具有判定单元，所述判定单元判定处理目标是否是IDR图片，并且所述确定单元当所述判定单元判定所述处理目标是所述IDR图片时将所述初始顺序确定为所述扫描顺序，并且当所述判定单元判定所述处理目标不是所述IDR图片时，将所述更新顺序确定为所述扫描顺序。(5)对于根据上面的(3)或(4)所述的图像处理设备，所述扫描顺序控制单元进一步具有检测单元，所述检测单元检测场景改变，并且所述确定单元当所述检测单元检测到在所述处理目标中的所述场景改变时将所述初始顺序确定为所述扫描顺序，并且当所述检测单元未检测到在所述处理目标中的所述场景改变时将所述更新顺序确定为所述扫描顺序。(6)对于根据上面的(3)至(5)之一所述的图像处理设备，所述扫描顺序控制单元进一步具有产生单元，所述产生单元产生用于指示所述确定单元是否将所述初始顺序确定为所述扫描顺序或选择所述更新顺序的标记信息，并且所述编码单元还编码由所述产生单元产生的所述标记信息。(7 )对于根据上面的(3 )至(6 )之一所述的图像处理设备，所述更新单元将所述扫描顺序更新为与在过去编码的图像的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序匹配的顺序。(8)对于根据上面的(3)至(7)之一所述的图像处理设备，当将单个图片划分为多个片并且处理时，所述更新单元根据在紧前编码的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。(9)对于根据上面的(3)至(7)之一所述的图像处理设备，当将单个图片划分为多个片并且处理时，所述更新单元根据在紧前编码的图片的与当前片相同位置处的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。(10)对于根据上面的(3)至(7)之一所述的图像处理设备，当将单个图片划分为多个片并且并行地处理每个片时，所述更新单元根据在紧前编码的图片的与当前片相同位置处的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。(11)对于根据上面的(3)至(7)之一所述的图像处理设备，所述更新单元将所述扫描顺序更新为与在要编码的当前图像的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序匹配的顺序。(12)对于根据上面的(I)至(11)之一所述的图像处理设备，所述扫描控制单元按 作为变换所述图像并且产生所述系数数据的变换处理的处理单元的所述图像的部分区域的每个尺寸来控制所述扫描顺序。(13)对于根据上面的(I)至(11)之一所述的图像处理设备，所述扫描控制单元按当前图像的每个类型来控制所述扫描顺序。(14) 一种图像处理设备的图像处理方法包括在扫描顺序控制单元处，根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序；在扫描单元处，根据所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及在编码单元处，编码以所述一维阵列重新排列的所述系数数据。(15) 一种图像处理设备具有解码单元，其解码通过根据用于指示图像的特征的统计值控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序而产生的所述图像的编码数据；反向扫描顺序控制单元，其根据用于指示所述图像的特征的所述统计值控制反向扫描顺序，所述反向扫描顺序用于将通过在所述解码单元中解码所述编码数据而获得的系数数据从所述一维阵列变换为所述二维阵列；以及反向扫描单元，其根据由所述反向扫描顺序控制单元控制的所述反向扫描顺序来反向扫描在所述一维阵列中的所述系数数据，并且以所述二维阵列来重新排列所述系数数据。(16)对于根据上面的(15)所述的图像处理设备，所述反向扫描顺序控制单元具有计算单元，其按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的、所述图像的部分区域中的每个像素位置，并以预定数据单元，计算所述系数数据的非零系数的出现频率；以及更新单元，其以由所述计算单元计算的在所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述反向扫描顺序，并且所述反向扫描单元根据由所述更新单元更新的反向扫描顺序来反向扫描所述系数数据。(17)对于根据上面的(16)所述的图像处理设备，所述反向扫描顺序控制单元进一步具有确定单元，所述确定单元将作为预先设置的预定反向扫描顺序的初始顺序和作为由所述更新单元更新的反向扫描顺序的更新顺序之一确定为所述反向扫描顺序，并且所述反向扫描单元根据由所述确定单元从所述初始顺序和所述更新顺序中确定的所述反向扫描顺序来反向扫描所述系数数据。
(18)对于根据上面的(17)所述的图像处理设备，所述反向扫描顺序控制单元进一步具有IDR判定单元，所述IDR判定单元判定处理目标是否是IDR图片，并且所述确定单元当所述IDR判定单元判定所述处理目标是所述IDR图片时将所述初始顺序确定为所述反向扫描顺序，并且当所述判定单元判定所述处理目标不是所述IDR图片时将所述更新顺序确定为所述反向扫描顺序。(19)对于根据(17)或(18)所述的图像处理设备，所述反向扫描顺序控制单元进一步具有标记判定单元，所述标记判定单元判定用于指示所述系数数据的扫描顺序是否是所述初始顺序或所述更新顺序的标记信息的值，并且所述确定单元当所述标记判定单元判定所述系数数据的扫描顺序是所述初始顺序时将所述初始顺序确定为所述反向扫描顺序，并且当所述标记判定单元判定所述系数数据的扫描顺序是所述更新顺序时将所述更新顺序确定为所述反向扫描顺序。(20) 一种图像处理设备的图像处理方法包括在在解码单元处，解码通过根据用 于指示图像的特征的统计值控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序而产生的所述图像的编码数据；在反向扫描顺序控制单元处，根据用于指示所述图像的特征的所述统计值控制反向扫描顺序，所述反向扫描顺序用于将通过解码所述编码数据而获得的系数数据从所述一维阵列变换为所述二维阵列；以及在反向扫描单元处，根据所述反向扫描顺序来反向扫描在所述一维阵列中的所述系数数据，并且以所述二维阵列来重新排列所述系数数据。附图标记列表100图像编码设备106无损编码单元121自适应扫描控制单元131宏块语法编码单元132标记编码单元133 量化正交变换系数编码单元141非零系数计数器142排序单元143 扫描顺序缓冲器144 IDR判定单元145 场景改变检测单元146 扫描顺序确定单元147标记产生单元200图像解码装置202无损解码单元221自适应反向扫描控制单元231宏块语法解码单元232 NAL语法解码单元233 标记解码单元234 量化正交变换系数解码单元
241非零系数计数器242排序单元243反向扫描顺序缓冲器244IDR判定单元245标记判定单元246反向扫描确定单元·
权利要求
1.一种图像处理设备，包括 扫描顺序控制单元，其根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序； 扫描单元，其根据由所述扫描顺序控制单元控制的所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及 编码单元，其编码由所述扫描单元以所述一维阵列重新排列的所述系数数据。
2.根据权利要求I所述的图像处理设备，其中，所述扫描顺序控制单元包括 计算单元，其按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的、所述图像的部分区域中的每个像素位置，并以预定数据单元，计算所述系数数据的非零 系数的出现频率；以及 更新单元，其以由所述计算单元计算的在所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序，并且 所述扫描单元根据由所述更新单元更新的扫描顺序来扫描所述系数数据。
3.根据权利要求2所述的图像处理设备，其中，所述扫描顺序控制单元进一步包括确定单元，所述确定单元将作为预先设置的预定扫描顺序的初始顺序和作为由所述更新单元更新的扫描顺序的更新顺序之一确定为所述扫描顺序，并且 所述扫描单元根据由所述确定单元从所述初始顺序和所述更新顺序确定的所述扫描顺序来扫描所述系数数据。
4.根据权利要求3所述的图像处理设备，其中，所述扫描顺序控制单元进一步包括判定单元，所述判定单元判定处理目标是否是IDR图片，并且 所述确定单元当所述判定单元判定所述处理目标是所述IDR图片时将所述初始顺序确定为所述扫描顺序，并且当所述判定单元判定所述处理目标不是所述IDR图片时，将所述更新顺序确定为所述扫描顺序。
5.根据权利要求3所述的图像处理设备，其中，所述扫描顺序控制单元进一步包括检测单元，所述检测单元检测场景改变，并且 所述确定单元当所述检测单元检测到在所述处理目标中的所述场景改变时将所述初始顺序确定为所述扫描顺序，并且当所述检测单元未检测到在所述处理目标中的所述场景改变时将所述更新顺序确定为所述扫描顺序。
6.根据权利要求3所述的图像处理设备，其中，所述扫描顺序控制单元进一步包括产生单元，所述产生单元产生用于指示所述确定单元是否将所述初始顺序确定为所述扫描顺序或选择所述更新顺序的标记信息，并且 所述编码单元还编码由所述产生单元产生的所述标记信息。
7.根据权利要求3所述的图像处理设备，其中，所述更新单元将所述扫描顺序更新为与在过去编码的图像的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序匹配的顺序。
8.根据权利要求3所述的图像处理设备，其中，当将单个图片划分为多个片并且处理时，所述更新单元根据在紧前编码的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。
9.根据权利要求3所述的图像处理设备，其中，当将单个图片划分为多个片并且处理时，所述更新单元根据在紧前编码的图片的与当前片相同位置处的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。
10.根据权利要求3所述的图像处理设备， 其中，当将单个图片划分为多个片并且并行地处理每个片时，所述更新单元根据在紧前编码的图片的与当前片相同位置处的片的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述扫描顺序。
11.根据权利要求3所述的图像处理设备，其中，所述更新单元将所述扫描顺序更新为与在要编码的当前图像的所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序匹配的顺序。
12.根据权利要求I所述的图像处理设备，其中，所述扫描控制单元按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的所述图像的部分区域的每个尺寸来控制所述扫描顺序。
13.根据权利要求I所述的图像处理设备，其中，所述扫描控制单元按当前图像的每个类型来控制所述扫描顺序。
14.一种图像处理设备的图像处理方法，包括 在扫描顺序控制单元处，根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序； 在扫描单元处，根据所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及 在编码单元处，编码以所述一维阵列重新排列的所述系数数据。
15.一种图像处理设备，包括 解码单元，其解码通过根据用于指示图像的特征的统计值控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序而产生的所述图像的编码数据； 反向扫描顺序控制单元，其根据用于指示所述图像的特征的所述统计值控制反向扫描顺序，所述反向扫描顺序用于将通过在所述解码单元中解码所述编码数据而获得的系数数据从所述一维阵列变换为所述二维阵列；以及 反向扫描单元，其根据由所述反向扫描顺序控制单元控制的所述反向扫描顺序来反向扫描在所述一维阵列中的所述系数数据，并且以所述二维阵列来重新排列所述系数数据。
16.根据权利要求15所述的图像处理设备，其中，所述反向扫描顺序控制单元包括 计算单元，其按作为变换所述图像并且产生所述系数数据的变换处理的处理单元的、所述图像的部分区域中的每个像素位置，并以预定数据单元，计算所述系数数据的非零系数的出现频率；以及 更新单元，其以由所述计算单元计算的在所述部分区域中的每个像素位置的所述非零系数的出现频率的顺序来更新所述反向扫描顺序，并且 所述反向扫描单元根据由所述更新单元更新的反向扫描顺序来反向扫描所述系数数据。
17.根据权利要求16所述的图像处理设备，其中，所述反向扫描顺序控制单元进一步包括确定单元，所述确定单元将作为预先设置的预定反向扫描顺序的初始顺序和作为由所述更新单元更新的反向扫描顺序的更新顺序之一确定为所述反向扫描顺序，并且所述反向扫描单元根据由所述确定单元从所述初始顺序和所述更新顺序中确定的所述反向扫描顺序来反向扫描所述系数数据。
18.根据权利要求17所述的图像处理设备，其中，所述反向扫描顺序控制单元进一步包括IDR判定单元，所述IDR判定单元判定处理目标是否是IDR图片，并且 所述确定单元当所述IDR判定单元判定所述处理目标是所述IDR图片时将所述初始顺序确定为所述反向扫描顺序，并且当所述判定单元判定所述处理目标不是所述IDR图片时将所述更新顺序确定为所述反向扫描顺序。
19.根据权利要求17所述的图像处理设备，其中，所述反向扫描顺序控制单元进一步包括标记判定单元，所述标记判定单元判定用于指示所述系数数据的扫描顺序是否是所述初始顺序或所述更新顺序的标记信息的值，并且 所述确定单元当所述标记判定单元判定所述系数数据的扫描顺序是所述初始顺序时将所述初始顺序确定为所述反向扫描顺序，并且当所述标记判定单元判定所述系数数据的扫描顺序是所述更新顺序时将所述更新顺序确定为所述反向扫描顺序。
20.一种图像处理设备的图像处理方法，包括 在解码单元处，解码通过根据用于指示图像的特征的统计值控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序而产生的所述图像的编码数据； 在反向扫描顺序控制单元处，根据用于指示所述图像的特征的所述统计值控制反向扫描顺序，所述反向扫描顺序用于将通过解码所述编码数据而获得的系数数据从所述一维阵列变换为所述二维阵列；以及 在反向扫描单元处，根据所述反向扫描顺序来反向扫描在所述一维阵列中的所述系数数据，并且以所述二维阵列来重新排列所述系数数据。
全文摘要
本公开涉及可以提高编码效率的图像处理设备和方法。本技术包括扫描顺序控制单元，其根据用于指示图像的特征的统计值来控制用于将从要编码的所述图像变换的系数数据从二维阵列变换为一维阵列的扫描顺序；扫描单元，其根据由所述扫描顺序控制单元控制的所述扫描顺序来扫描在所述二维阵列中的所述系数数据，并且以所述一维阵列来重新排列所述系数数据；以及编码单元，其编码由所述扫描单元以所述一维阵列重新排列的所述系数数据。本技术适用于例如图像处理设备。
文档编号H04N7/30GK102972025SQ201180033010
公开日2013年3月13日 申请日期2011年7月1日 优先权日2010年7月9日
发明者佐藤数史 申请人:索尼公司