图像处理设备和图像处理方法
【专利摘要】为了更有效使用图像编码方法中的代码号码表，从而对多个流进行编码，提供一种图像处理设备，包括：代码号码表，用于保存在熵编码中使用的代码号码和语法要素的索引值对；第一转换部，用于通过参考代码号码表，将与对应于通用场景的两个或更多个图片中的第一图片的编码流中所包含的码字相关联的第一代码号码转换为第一索引值；以及第二转换部，用于通过参考代码号码表，将与两个或更多个图片中的第二图片的编码流中所包含的码字相关联的第二代码号码转换为第二索引值。
【专利说明】图像处理设备和图像处理方法
【技术领域】
[0001]本公开涉及图像处理设备和图像处理方法。
【背景技术】
[0002]作为H.264/AVC之后的下一代图像代码化方案，正在实行HEVC (高效视频代码化)的标准化。在HEVC中，各种组成技术从AVC (先进视频代码化)方面得到改进。在投稿文章JCTVC-A119中，例如，提议将与AVC的熵代码化的CABAC(基于上下文的自适应二进制算术代码化)和CAVLC(基于上下文的自适应VLC)不同的技术作为熵代码化技术(参见以下非专利文献I)。
[0003]与CAVLC相比，CABAC需要对算术代码化的复杂操作，同时其代码化效率高。因此，在H.264/AVC的基线轮廓中，不是使用CABAC，而是使用CAVLC。与之不同，在JCTVC-A119提议的熵代码化技术中，通过类似CAVLC的VLC (可变长度代码化)，可以提供与CABAC相近的性能，并且因此，期望在包括像移动电话那样的移动装置的低操作能力的装置中使用它。
[0004]在JCTVC-Al 19提议的熵代码化技术中，编码器和解码器存储代码号码表，代码号码表保存与每个码字相关联的代码号码以及语法要素的索引值的对。然后，在编码或解码时如果出现某些索引值，就在代码号码表中交换已经出现的索引值与紧接在上方的索引值(也就是代码号码小I的索引值)。通过重复这种交换，将具有较高频率的索引值与较小的代码号码相关联。结果，实现代码量的压缩，这是熵代码化的优点。
[0005]顺便提及，可分级视频代码化(SVC)是未来图像编码方案的其中一种重要技术。可分级视频代码化是按照层次将传输粗糙图像信号的层以及传输精细图像信号的层编码的技术。在可分级视频代码化中分级的典型属性主要包括以下三种:
[0006]空间可分级性:将空间分辨率或图像尺寸分级；
[0007]时间可分级性:将帧率分级；
[0008]SNR (信噪比)可分级性:将SN比分级；
[0009]此外，虽然在标准中尚未采用，但是也讨论了比特深度可分级性以及色度格式可分级性。
[0010]在可分级视频代码化中编码的多个层一般反映通用场景。针对通用场景将多个流编码的事实不仅应用于可分级视频代码化，也应用于多视图代码化(用于立体图像和隔行代码化)。
[0011]引用列表
[0012]非专利文献
[0013]非专利文献I:KemaI Ugur, et al.，“Description of video coding technologyproposal by Tandberg, Nokia, Ericsson，，(JCTVC-A119, April2010)
【发明内容】
[0014]技术问题[0015]但是，在诸如可分级视频代码化、多视图代码化以及隔行代码化的图像代码化方案中，编码器和解码器不利地消耗大量资源来将多个编码流编码和解码。例如，如果在可分级视频代码化中应当为每个层保存上述代码号码表，那么代码号码表需要大量存储器资源，此外，将负载应用于处理器的交换处理的数量增加。
[0016]因此，希望提供一种能够在其中将多个流编码的图像代码化方案中有效利用代码号码表的机制。
[0017]问题的解决方案
[0018]根据本公开，提供一种图像处理设备，包括:代码号码表，用于保存在熵代码化中使用的代码号码以及语法要素的索引值对；第一转换部，用于通过参考所述代码号码表，将与对应于通用场景的两个或更多个图片中的第一图片的编码流中所包含的码字相关联的第一代码号码转换为第一索引值；以及第二转换部，用于通过参考所述代码号码表，将与所述两个或更多个图片中的第二图片的编码流中所包含的码字相关联的第二代码号码转换为第二索引值。
[0019]上述图像处理装置通常可以实现为将图像解码的图像解码装置。
[0020]根据本公开，提供一种图像处理方法，包括:通过参考代码号码表，将与对应于通用场景的两个或更多个图片中的第一图片的编码流中所包含的码字相关联的第一代码号码转换为第一索引值，所述代码号码表用于保存在熵代码化中使用的代码号码以及语法要素的索引值对；以及通过参考所述代码号码表，将与所述两个或更多个图片中的第二图片的编码流中所包含的码字相关联的第二代码号码转换为第二索引值。
[0021]根据本公开，提供一种图像处理设备，包括:代码号码表，用于保存在熵代码化中使用的代码号码以及语法要素的索引值对；第一转换部，用于通过参考所述代码号码表，将针对对应于通用场景的两个或更多个图片中的第一图片要被编码的第一索引值转换为第一代码号码；以及第二转换部，用于通过参考所述代码号码表，将针对所述两个或更多个图片中的第二图片要被编码的第二索引值转换为第二代码号码。
[0022]上述图像处理装置通常可以实现为将图像编码的图像编码装置。
[0023]根据本公开，提供一种图像处理方法，包括:通过参考代码号码表，将针对对应于通用场景的两个或更多个图片中的第一图片要被编码的第一索引值转换为第一代码号码，所述代码号码表用于保存在熵代码化中使用的代码号码和语法要素的索引值对；以及通过参考所述代码号码表，将针对所述两个或更多个图片中的第二图片要被编码的第二索引值转换为第二代码号码。
[0024]本发明的有益效果
[0025]根据本公开的技术，在其中将多个流编码的图像代码化方案中可以有效地使用代码号码表。
【专利附图】
【附图说明】
[0026]图1是示出可分级视频代码化的示意图。
[0027]图2是示出根据实施例的图像编码装置的示意性配置的方框图。
[0028]图3是示出根据实施例的图像编码装置的示意性配置的方框图。
[0029]图4是示出图2所示第一图片编码部和第二图片编码部的配置的示例的方框图。[0030]图5是示出图4所示无损编码部的详细配置的示例的方框图。
[0031]图6是示出代码号码表的示例的示意图。
[0032]图7是示出VLC表的示例的示意图。
[0033]图8是示出代码号码表的交换的示意图。
[0034]图9是示出可将通用代码号码表用于它们的语法要素的示例的示意图。
[0035]图10是示出可将通用代码号码表用于它们的语法要素的另一示例的示意图。
[0036]图11是示出在根据实施例代码化时的处理的流程的示例的流程图。
[0037]图12是示出图3所示第一图片解码部和第二图片解码部的配置的示例的方框图。
[0038]图13是示出图12所示无损解码部的详细配置的示例的方框图。
[0039]图14是示出在根据实施例解码时的处理的流程的示例的流程图。
[0040]图15是示出将根据实施例的编码处理应用于多视图代码化的示意图。
[0041]图16是示出将根据实施例的解码处理应用于多视图代码化的示意图。
[0042]图17是示出电视机的示意性配置的示例的方框图。
[0043]图18是示出移动电话的示意性配置的示例的方框图。
[0044]图19是示出记录/再现装置的示意性配置的示例的方框图。
[0045]图20是示出图像捕捉装置的示意性配置的示例的方框图。
【具体实施方式】
[0046]下面参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的附图标记表示功能和结构基本上相同的元件，并省略重复描述。
[0047]按照以下顺序进行描述。
[0048]1.概述
[0049]2.根据实施例的编码部的配置示例
[0050]3.根据实施例的、在编码时的处理的流程
[0051]4.根据实施例的解码部的配置示例
[0052]5.根据实施例的、在解码时的处理的流程
[0053]6.对各种图像代码化方案的应用
[0054]7.应用示例
[0055]8.总结
[0056]〈1.概述〉
[0057]在本部分，通过以对可分级视频代码化的应用作为示例，提供根据实施例的图像编码装置和图像解码装置的概述。这里所述装置的配置也可应用于多视图代码化以及隔行代码化。
[0058]在可分级视频代码化中，将分别包含一系列图像的多个层编码。基本层是首先被编码的层，以表示最粗糙的图像。基本层的编码流可以被单独解码，而不需要将其他层的编码流解码。除了基本层之外的层是称为增强层的层，表示更精细的图像。通过利用基本层的编码流中包含的信息，将增强层的解码流编码。因此，为了再现增强层的图像，将基本层和增强层两者的编码流都解码。在可分级视频代码化中处理的层的数量可以是等于大于2的任何数量。在将3个以上的层编码时，最低层是基本层，其余层是增强层。对于更高增强层的编码流，可将较低增强层和基本层的编码流中包含的信息用于编码和解码。在本说明书中，关于具有依存关系的至少两个层，被依存侧的层称为下层，依存侧的层称为上层。
[0059]图1示出受到可分级视频代码化的三个层L1、L2、L3。层LI是基本层，而层L2、L3是增强层。这里，在各种类型的可分级性中，取空间可分级性作为示例。层L2相对于层LI的空间分辨率之比为2:1。层L3相对于层LI的空间分辨率之比为4:1。层LI的块BI是基本层的图片内的预测单元。层L2的块B2是采取与块BI通用的场景的增强层的图片内的预测单元。块B2对应于层LI的块BI。层L3的块B3是采取与块B1、B2通用的场景的更高增强层的图片内的预测单元。块B3对应于层LI的块BI以及层L2的块B2。
[0060]在这种层结构中，某些层的图像的空间相关性和时间相关性通常类似于与通用场景相对应的其他层的空间相关性和时间相关性。例如，如果块BI与层LI某方向上的相邻块具有强相关性，那么很可能，块B2与层L2的该相同方向上的相邻块具有强相关性，并且块B3与层L3的该相同方向上的相邻块具有强相关性。因此，取决于图像的空间相关性的关于帧内预测的参数值以及取决于图像(其参数值出现得更频繁)的时间相关性的关于帧间预测的参数值的出现趋势在层之间在某些程度上是相似的。因此，当这些参数被熵编码时，期望具有较高出现频率的参数值可以被适当地映射到较短的码字，即使将代码号码表形成为在层之间通用。基于这种理念，在下述实施例中，通过引入通用代码号码表来实现其中将多个流编码的图像代码化方案中资源的有效使用。
[0061 ] 在以下描述中，与某些层的块相对应的其他层的块例如意味着具有与某些层的块内预定位置(例如左上角)中的像素相对应的像素的其他层的块。基于这种定义，例如，即使出现将下层的多个块集成的上层的块，也可以唯一地确定与上层的块相对应的下层的块。
[0062]图2是示出根据支持可分级视频代码化的实施例的图像编码装置10的示意性配置的方框图。参照图2，图像编码装置10包括第一图片编码部la、第二图片编码部lb、通用存储器2和复用部3。
[0063]第一图片编码部Ia将基本层图像编码，以产生基本层的编码流。第二图片编码部Ib将增强层图像编码，以产生增强层的编码流。通用存储器2存储层之间通用的信息。复用部3将通过第一图片编码部Ia产生的基本层的编码流与通过第二图片编码部Ib产生的一个或多个增强层的编码流复用，以产生多层复用流。
[0064]图3是示出根据支持可分级视频代码化的实施例的图像解码装置60的示意性配置的方框图。参照图3，图像解码装置60包括解复用部5、第一图片解码部6a、第二图片解码部6b以及通用存储器7。
[0065]解复用部5将多层复用流解复用为基本层的编码流以及一个或多个增强层的解码流。第一图片解码部6a将基本层的编码流解码为基本层图像。第二图片解码部6b将增强层的编码流解码为增强层图像。通用存储器7存储层之间通用的信息。
[0066]在图2所示的图像编码装置10中，将基本层编码的第一图片编码部Ia的配置以及将增强层编码的第二图片编码部Ib的配置彼此相似。第一图片编码部Ia和第二图片编码部Ib参照通用存储器2中存储的、将预定类型的参数编码的通用代码号码表。对于每个层，不重复交换通用代码号码表的条目。在下一部分，将详细描述第一图片编码部Ia和第二图片编码部Ib的配置。[0067]与图3所述图像解码装置60相似，将基本层解码的第一图片解码部6a的配置以及将增强层解码的第二图片解码部6b的配置彼此相似。第一图片解码部6a和第二图片解码部6b参照通用存储器7中存储的、将预定类型的参数编码的通用代码号码表。对于每个层，不重复交换通用代码号码表的条目。在下一部分，将详细描述第一图片解码部6a和第二图片解码部6b的配置。
[0068]〈2.根据实施例的编码部的配置示例〉
[0069][2-1.整体配置示例]
[0070]图4是示出图2所示的第一图片编码部Ia和第二图片编码部Ib的配置的示例的方框图。参照图4，第一图片编码部Ia包括排序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、反量化部21、反正交变换部22、加法部23、去块滤波器24、帧存储器25、选择器26、27、运动估计部30以及帧内预测部40。第二图片编码部Ib包括无损编码部16b代替无损编码部16a。
[0071]排序缓冲器12将一系列图像数据中包括的图像排序。在根据编码处理将符合GOP(图片组)结构的图像排序以后，排序缓冲器12将已经排序的图像数据输出到减法部
13、运动估计部30以及帧内预测部40。
[0072]从排序缓冲器12输入的图像数据以及由运动估计部30或帧内预测部40输入的预测图像数据被提供到减法部13。减法部13计算预测误差数据(其为从排序缓冲器12输入的图像数据与预测图像数据之差)，并将所计算的预测误差数据输出到正交变换部14。
[0073]正交变换部14对于从减法部13输入的预测误差数据进行正交变换。要通过正交变换部14进行的正交变换例如可以是离散余弦变换(DCT)或者Karhunen-Loeve变换。正交变换部14将通过正交变换处理获取的变换系数数据输出到量化部15。
[0074]从正交变换部14输入的变换系数数据以及来自后述速率控制部18的速率控制信号被提供给量化部15。量化部15将变换系数数据量化，并将已经量化的变换系数数据(下面称为量化数据)输出到无损编码部16a或16b以及反量化部21。此外，量化部15基于来自速率控制部18的速率控制信号切换量化参数(量化级别)，从而改变量化数据的比特率。
[0075]无损编码部16a通过对从量化部15输入的量化数据进行无损编码处理，产生基本层的编码流。此外，无损编码部16a将从选择器27输入的关于帧内预测的信息或者关于帧间预测的信息编码，并将编码参数复用为编码流的头部区域。然后，无损编码部16a将产生的编码流输出到累积缓冲器17。
[0076]类似地，无损编码部16b通过对于从量化部15输入的量化数据进行无损编码处理，产生增强层的编码流。此外，无损编码部16b将从选择器27输入的关于帧内预测的信息或者关于帧间预测的信息编码，并将编码参数复用为编码流的头部区域。然后，无损编码部16b将产生的编码流输出到累积缓冲器17。
[0077]累积缓冲器17利用诸如半导体存储器这样的存储介质，临时累积从无损编码部16a或16b输入的编码流。然后，累积缓冲器17按照根据传输路径的波段的速率，将累积的编码流输出到传输部(未示出)(例如，通信接口或者到外设的接口)。
[0078]速率控制部18监测累积缓冲器17的自由空间。然后，速率控制部18根据累积缓冲器17的自由空间，产生速率控制信号，并将产生的速率控制信号输出到量化部15。例如，当累积缓冲器17中没有很多自由空间时，速率控制部18产生用于降低量化数据的比特率的速率控制信号。此外，例如当累积缓冲器17中的自由空间足够大时，速率控制部18产生用于增加量化数据的比特率的速率控制信号。
[0079]反量化部21对于从量化部15输入的量化数据进行反量化处理。然后，反量化部21将通过反量化处理获取的变换系数数据输出到反正交变换部22。
[0080]反正交变换部22对于从反量化部21输入的变换系数数据进行反正交变换，从而恢复预测误差数据。然后，反正交变换部22将恢复的预测误差数据输出到加法部23。
[0081]加法部23将从反正交变换部22输入的恢复的预测误差数据与从运动估计部30或者帧内预测部40输入的预测图像数据相加，从而产生解码图像数据。然后，加法部23将产生的解码图像数据输出到去块滤波器24和帧存储器25。
[0082]去块滤波器24进行滤波处理，以减少将图像编码时出现的块失真。去块滤波器24将从加法部23输入的解码图像数据滤波，以消除块失真，并将滤波以后的解码图像数据输出到帧存储器25。
[0083]帧存储器25利用存储介质存储从加法部23输入的解码图像数据以及从去块滤波器24输入的滤波以后的解码图像数据。
[0084]选择器26从帧存储器25读取要用于帧间预测的滤波以后的解码图像数据，并将已经读取的解码图像数据提供给运动估计部30，作为参考图像数据。此外，选择器26从帧存储器25读取要用于帧内预测的滤波之前的解码图像数据，并将已经读取的解码图像数据提供给帧内预测部40，作为参考图像数据。
[0085]在帧间预测模式中，选择器27将从运动估计部30输出的、作为帧间预测结果的预测图像数据输出到减法部13，并将关于帧间预测的信息输出到无损编码部16a或16b。在帧内预测模式中，选择器27将从帧内预测部40输出的、作为帧内预测结果的预测图像数据输出到减法部13，并将关于帧内预测的信息输出到无损编码部16a或16b。选择器27根据从运动估计部30以及帧内预测部40输出的代价函数值的大小，切换帧间预测模式和帧内预测模式。
[0086]运动估计部30基于要编码并从排序缓冲器12输入的图像数据(原始图像数据)以及经由选择器26提供的解码图像数据，进行帧间预测处理(帧间预测处理)。例如，运动估计部30利用预定的代价函数评估每个预测模式中的预测结果。接着，运动估计部30选择其中代价函数值取最小值的预测模式(也就是其中压缩率最高的预测模式)作为最佳预测模式。此外，运动估计部30根据最佳预测模式产生预测图像数据。然后，运动估计部30将指示选择的最佳预测模式的预测模式信息、包括运动矢量信息和参考像素信息的关于帧间预测的信息、代价函数值以及预测图像数据输出到选择器27。
[0087]帧内预测部40基于从排序缓冲器12输入的原始图像数据以及作为参考图像数据从帧存储器25提供的解码图像数据，在预测单元中进行帧内预测处理。例如，帧内预测部40通过利用预定的代价函数，评估每个预测模式中的预测结果。接着，帧内预测部40选择其中代价函数值取最小值的预测模式(也就是其中压缩率最高的预测模式)作为最佳预测模式。帧内预测部40根据最佳预测模式产生预测图像数据。然后，帧内预测部40将包括表示选择的最佳预测模式的预测模式信息的帧间预测的信息、代价函数值以及预测图像数据输出到选择器27。[0088]第一图片编码部Ia对于基本层的一系列图像数据进行这里所述的一系列编码处理。第二图片编码部Ib对于增强层的一系列图像数据进行这里所述的一系列编码处理。如同下面要进一步描述的，在预测单元中同步进行用于基本层的编码处理以及用于增强层的编码处理。当出现多个增强层时，可以在预测单元中同步进行用于基本层的编码处理以及用于多个增强层的编码处理。
[0089][2-2.无损编码部的配置示例]
[0090]图5是示出图4所示无损编码部16a、16b的详细配置的示例的方框图。参照图5,无损编码部16a包括索引值获取部110a、转换部112a和交换部114a。无损编码部16b包括索引值获取部110b、转换部112b和交换部114b。
[0091]转换部112a参考通用存储器2中存储的代码号码表104以及VLC(可变长度代码)表106。转换部112b参考代码号码表104以及VLC表106。转换部112a也可以参考层专用代码号码表104a。转换部112b也可以参考层专用代码号码表104b。
[0092]图6是示出代码号码表的示例的示意图。代码号码表104有两个数据项，即代码号码(CodeNum)和语法要素(SyntaxElement)。代码号码是与熵代码化中使用的每个码字相关联的号码。例如，代码号码可以是从O到码字的候选的数量(减I)的整数。代码号码表104的语法要素的值是与每个语法要素相对应的索引值。语法要素的索引值也称为表索引。
[0093]通过参考上 述代码号码表104，在例如将图像编码时，针对每个语法要素获取与出现的索引值相对应的代码号码。在图3的示例中，代码号码表104包含(0，4)、(I, 5)、(2，2)、(3，I)、(4，7)，…作为代码号码与语法要素的索引值的对。因此，如果出现的索引值例如为“4”，则获取代码号码“O”。如果出现的索引值例如为“5”，则获取代码号码“I”。在将图像解码时，针对每个语法要素获取与出现的代码号码相对应的索引值。例如，如果出现的代码号码为“0”，则获取索引值“4”。如果出现的代码号码为“1，则获取索引值“5”。
[0094]通常，针对每种类型的语法要素提供不同的代码号码表。在本实施例中，使得预定类型的语法要素的代码号码表在层之间通用，以构成单独的代码号码表104。预定类型可包括用于帧内预测的预测模式信息、用于帧间预测的预测模式信息以及参考图像信息。可以使得用于其他类型的语法要素的代码号码表在层之间通用。为了方便起见，图5示出一个通用代码号码表104，但是实际上，可以有多个通用代码号码表104。用于其他类型的语法要素的代码号码表被提供用于每个层，并构成专用于每个层的代码号码表104a和代码号码表104b。
[0095]图7是示出VLC表的示例的示意图。VLC表106有两个数据项，即代码号码(CodeNum)和码字(CodeWord)。码字是通过与代码号码相关联来定义的可变长度比特串。在VLC表106中，通常较短的比特串与较小的代码号码相关联。通过参考上述VLC表106，在例如将图像编码时，从VLC表106获取与对应于出现的索引值的代码号码相关联的码字，并将获取的码字输出，作为编码流的一部分。在将图像解码时，从VLC表106获取与编码流中包含的码字相关联的代码号码，并将获取的码字用于参考代码号码表104。
[0096]例如在H.264/AVC和HEVC中，事先提供具有不同码字图案的多个VLC表。然后，根据索引值出现概率的分布，切换在编码/解码时要使用的VLC表。但是，VLC表中码字图案的差异与本实施例的特征不相关，因此这里省略对VLC表的切换的详细描述。[0097]利用上述一组表格，无损编码部16a将图像数据和基本层的参数转换为用于每个语法要素的码字。
[0098]更具体而言，索引值获取部IlOa首先识别输入事件，并获取与识别的事件相对应的每个语法要素的索引值(这种处理也称为“列举”)。用于某些语法要素的输入数据已经采取索引值的形式，因此省略“列举”。
[0099]转换部112a通过参考代码号码表104或者104a，将每个获取的索引值转换为代码号码。如果语法要素的类型包含在预定类型中，则参考通用代码号码表104。另一方面，如果语法要素的类型不包含在预定类型中，则参考专用代码号码表104。此外转换部112a通过参考VLC表106，将代码号码转换为码字。然后，转换部112a连续输出获取的码字，作为编码流的一部分。
[0100]交换部114a根据转换部112a的输入中出现的索引值，交换代码号码表104、104a的条目，以使得每个代码号码表的内容服从索引值的出现频率的变化。因此，可将较短的码字适当地用于具有较高出现频率的索引值。更具体而言，在代码号码表中交换出现的索引值与紧接在上方的索引值(也就是说，代码号码小I的索引值)。
[0101]图8是示出投稿文章JCTVC-A119中所述代码号码表的交换的示意图。参照图8,示出通过交换连续更新的代码号码表104-1至104-3。首先，最早出现的索引值(index_l)为“I”。在代码号码表104-1中，索引值对应于代码号码“3”。因此，分别交换与代码号码“3”以及它上方的代码号码“2”相对应的索引值“I”和“2”。接着出现的索引值(index_2)也为“I”。在代码号码表104-2中，索引值对应于代码号码“2”。因此，分别交换与代码号码“2”以及它上方的代码号码“I”相对应的索引值“5”和“I”。结果，在代码号码表104-3中，索引值“ I”对应于代码号码“ I”，这相比于之前的状态更小。
[0102]如同无损编码部16a，无损编码部16b通过利用一组上述表格，将图像数据和增强层的参数转换为用于每个语法要素的码字。
[0103]更具体而言，索引值获取部IlOb首先识别输入事件，并获取与识别的事件相对应的每个语法要素的索引值。用于某些语法要素的输入数据已经采取索引值的形式，因此省略“列举”。
[0104]转换部112b通过参考代码号码表104或104b，将每个获取的索引值转换为代码号码。如果语法要素的类型包含在预定类型中，则参考通用代码号码表104。另一方面，如果语法要素的类型不包含在预定类型中，则参考专用代码号码表104b。此外，转换部112b通过参考VLC表106，将代码号码转换为码字。然后，转换部12b连续输出获取的码字，作为编码流的一部分。
[0105]交换部114b根据转换部112b的输入中出现的索引值，交换层专用代码号码表104b的条目。交换部114b不交换通用代码号码表104条目。通用代码号码表104的条目通过无损编码部16a的交换部Ila来交换。在将基本层的索引值转换为代码号码并将增强层的索引值转换为代码号码以后，通用代码号码表104的条目可以交换一次，用于预定类型的每个语法要素。
[0106]图9是示出可将通用代码号码表用于它们的语法要素的示例的示意图。在图9的左侧示出下层的预测单元Ba以及与预测单元Ba相邻的相邻块Nau, N\。预测单元Ba被假定为帧内预测块的预测单元。将用于帧内预测的预测模式Ma设置给预测单元Ba。在图9的右侧示出上层的预测单元Bb以及与预测单元Bb相邻的相邻块Nbu, NbLO预测单元Bb被假定为帧内预测块的预测单元。将用于帧内预测的预测模式Mb设置给预测单元Bb。例如，在空间可分级性、SNR可分级性以及比特深度可分级性中，图像的空间相关性在层之间相似。因此，预测模式Ma和预测模式Mb的预测方向很可能彼此相同。这意味着用于帧内预测的预测模式信息的索引值的出现趋势在层之间相似。因此，关于用于帧内预测的预测模式信息，采用图5所示的通用代码号码表104是有用的。
[0107]图10是示出可将通用代码号码表用于它们的语法要素的另一示例的示意图。在图10的左侧示出下层的预测单元Ba以及多个参考图像候选Ra1, Ra2。预测单元Ba被假定为帧间预测块的预测单元。将用于帧间预测的预测模式Ma设置给预测单元Ba。参考图像指示符Ia指示参考图像候选Ra2。在图10的右侧示出上层的预测单元Bb以及多个参考图像候选Rb1, Rb20预测单元Bb被假定为帧间预测块的预测单元。将用于帧间预测的预测模式Mb设置给预测单元Bb。参考图像指示符Ib指示参考图像候选Rb2。例如，在空间可分级性、SNR可分级性以及比特深度可分级性中，图像的时间相关性在层之间相似。因此，预测模式Ma和Mb很可能彼此相同，并且参考图像指示符Ia和Ib也很可能彼此相同。这意味着用于帧间预测的预测模式信息的索引值的出现趋势以及参考图像信息在层之间相似。因此，关于这种类型的语法要素，采用图5所示的通用代码号码表104是有用的。
[0108]通过采用上述的通用代码号码表104，可以节省存储表格所需的存储器资源，而不会在实质上降低代码化效率。
[0109]<3.根据实施例在编码时的处理流程〉
[0110]图11是示出根据本实施例在代码化时的处理流程的示例的流程图。图11所示处理在基本层与增强层的相互对应的预测单元中进行。对于每个语法要素进行步骤SlOO至S180的处理。
[0111]参照图11，首先根据要处理的语法要素是否为预定类型的语法要素来切换处理(步骤Sioo)。例如，如果要处理的语法要素是用于帧内预测的预测模式信息，用于帧间预测的预测模式信息或参考图像信息，则处理进行到步骤S145。否则，处理进行到步骤S105。
[0112]步骤S105至S140中的处理是参考层专用代码号码表时的处理。
[0113]首先，索引值获取部IlOa获取要处理的语法要素的基本层的索引值(步骤S105)。接着，转换部112a通过参考层专用代码号码表104a，将索引值获取部IIOa获取的索引值转换为代码号码(步骤S110)。接着，转换部112a通过参考VLC表106，将代码号码转换为码字(步骤S115)。接着，交换部114a在层专用代码号码表104a中交换与出现的索引值相对应的条目(步骤S120)。
[0114]此外，索引值获取部IlOb获取要处理的语法要素的增强层的索引值(步骤S125)。接着，转换部112b通过参考层专用代码号码表104b，将索引值获取部IlOb获取的索引值转换为代码号码(步骤S130)。接着，转换部112b通过参考VLC表106，将代码号码转换为码字(步骤S135)。接着，交换部114b在层专用代码号码表104b中交换与出现的索引值相对应的条目(步骤S120)。
[0115]步骤S145至S175中的处理是参考通用代码号码表时的处理。
[0116]首先，索引值获取部IlOa获取要处理的语法要素的基本层的索引值(步骤S145)。接着，转换部112a通过参考通用代码号码表104，将索引值获取部IlOa获取的索引值转换为代码号码(步骤S150)。接着，转换部112a通过参考VLC表106，将代码号码转换为码字(步骤 S155)。
[0117]此外，索引值获取部IlOb获取要处理的语法要素的增强层的索引值(步骤S160)。接着，转换部112b通过参考通用代码号码表104，将索引值获取部IlOb获取的索引值转换为代码号码(步骤S165)。接着，转换部112b通过参考VLC表106，将代码号码转换为码字(步骤 S170)。
[0118]然后，交换部114a在通用代码号码表104内交换与转换部112a的输入中出现的索引值相对应的条目。
[0119]在完成用于要处理的语法要素的这些处理以后，如果尚未处理的任何语法要素留在预测单元中，则处理返回步骤SlOO (步骤S180)。另一方面，如果没有尚未处理的语法要素留下，则确定是否有任何剩余的预测单元(步骤S190)。如果有仍然剩余的预测单元，则处理返回步骤S100，为下一个预测单元重复上述处理。如果没有剩余的预测单元，则图11中的流程图终止。
[0120]<4.根据实施例的解码部的配置示例〉
[0121][4-1.整体配置示例]
[0122]图12是示出图3所示第一图片解码部6a和第二图片解码部6b的配置示例的方框图。参照图12，第一图片解码部6a包括累积缓冲器61、无损解码部62a、反量化部63、反正交变换部64、加法部65、去块滤波器66、排序缓冲器67、D/A (数模)转换部68、帧存储器69、选择器70和71运动补偿部80以及帧内预测部90。第二图片解码部6b包括无损解码部62b代替无损解码部62a。
[0123]累积缓冲器61利用存储介质，临时累积经由传输路径输入的编码流。
[0124]无损解码部62a根据编码时使用的代码化方案，将从累积缓冲器61输入的基本层的编码流解码。此外，无损解码部62a将在编码流的头部区域中复用的信息解码。通过无损解码部62a解码的信息例如可包含上述关于帧间预测的信息以及关于帧内预测的信息。无损解码部62a将关于帧间预测的信息输出到运动补偿部80。此外，无损解码部62a将关于帧内预测的信息输出到帧内预测部90。
[0125]类似地，无损解码部62b根据编码时使用的代码化方案，将从累积缓冲器61输入的增强层的编码流解码。此外，无损解码部62b将在编码流的头部区域中复用的信息解码。通过无损解码部62b解码的信息例如可包含上述关于帧间预测的信息以及关于帧内预测的信息。无损解码部62b将关于帧间预测的信息输出到运动补偿部80。此外，无损解码部62b将关于帧内预测的信息输出到帧内预测部90。
[0126]反量化部63将已经通过无损解码部62a或62b解码的量化数据反量化。反正交变换部64根据编码时使用的正交变换方法，通过对于从反量化部63输入的变换系数数据进行反正交变换，产生预测误差数据。然后，反正交变换部64将产生的预测误差数据输出到加法部65。
[0127]加法部65将从反正交变换部64输入的预测误差数据以及从选择器71输入的预测图像数据相加，从而产生解码图像数据。然后，加法部65将产生的解码图像数据输出到去块滤波器66以及帧存储器69。
[0128]去块滤波器66通过对从加法部65输入的解码图像数据进行滤波，消除块失真，并将滤波以后的解码图像数据输出到排序缓冲器67以及帧存储器69。
[0129]排序缓冲器67通过将从去块滤波器66输入的图像排序，来以时间顺序产生一系列图像数据。然后，排序缓冲器67将产生的图像数据输出到D/A转换部68。
[0130]D/A转换部68将从排序缓冲器67输入的数字格式的图像数据转换为模拟格式的图像信号。然后，D/A转换部68例如通过将模拟图像信号输出到连接图像解码装置60的显示器(未示出)，使得图像被显示。
[0131]帧存储器69利用存储介质，存储从加法部65输入的滤波之前的解码图像数据以及从去块滤波器66输入的滤波以后的解码图像数据。
[0132]选择器70根据通过无损解码部62a或62b获取的模式信息，对于图像中的每个块，在运动补偿部80与帧内预测部90之间切换来自帧存储器69的图像数据的输出目的地。例如，在指定帧间预测模式的情况下，选择器70将从帧存储器69提供的滤波以后的解码图像数据输出到运动补偿部80，作为参考图像数据。此外，在指定帧内预测模式的情况下，选择器70将从帧存储器69提供的滤波之前的解码图像数据输出到帧内预测部90，作为参考图像数据。
[0133]选择器71根据通过无损解码部62a或62b获取的模式信息，在运动补偿部80与帧内预测部90之间切换要提供给加法部65的预测图像数据的输出源。例如，在指定帧间预测模式的情况下，选择器71将从运动补偿部80输出的预测图像数据提供给加法部65。此外，在指定帧内预测模式的情况下，选择器71将从帧内预测部90输出的预测图像数据提供给加法部65。
[0134]运动补偿部80基于从无损解码部62a或62b输入的关于帧间预测的信息以及来自帧存储器69的参考图像数据，进行运动补偿处理，并产生预测图像数据。然后，运动补偿部80将产生的预测图像数据输出到选择器71。
[0135]帧内预测部90基于从无损解码部62a或62b输入的关于帧内预测的信息以及来自帧存储器69的参考图像数据，进行帧内预测处理，并产生预测图像数据。然后，帧内预测部90将产生的预测图像数据输出到选择器71。
[0136]第一图片解码部6a对于基本层的一系列图像数据进行这里所述的一系列解码处理。第二图片解码部6b对于增强层的一系列图像数据进行这里所述的一系列解码处理。如同下面进一步描述的，在预测单元中同步进行用于基本层的解码处理以及用于增强层的解码处理。当有多个增强层时，可以在预测单元中同步进行用于基本层的解码处理以及用于多个增强层的解码处理。
[0137][4-2.无损解码部的配置示例]
[0138]图13是示出图12所示无损解码部62a、62b的详细配置的示例的方框图。参照图13，无损解码部62a包括转换部170a、索引值解释部172a以及交换部174a。无损解码部62b包括转换部170b、索引值解释部172b以及交换部174b。
[0139]转换部170a参考通用存储器7中存储的代码号码表164以及反VLC表166。此夕卜，转换部170b参考代码号码表164以及反VLC表166。转换部170a也可以参考层专用代码号码表164a。转换部170b也可以参考层专用代码号码表164b。
[0140]利用上述一组表格，无损解码部62a将基本层的编码流的码字转换为图像数据以及用于每个语法要素的参数。[0141]更具体而言，转换部170a通过参考反VLC表166，将从编码流获取的码字转换为代码号码。此外，转换部170a通过参考代码号码表164或164a，将获取的代码号码转换为索引值。如果语法要素的类型包含在预定类型中，则参考通用代码号码表164。另一方面，如果语法要素的类型不包含在预定类型中，则参考层专用代码号码表164a。
[0142]索引值解释部172a逐个语法要素地解释从转换部170a输入的索引值，并输出表示对应事件的数据(这种处理也称为“反列举”)。“反列举”对于某些语法要素可以省略，因此将输入的索引值直接输出。
[0143]交换部174a根据在从转换部170a的输出中出现的索引值，交换代码号码表164、164a的条目。
[0144]如同无损解码部62a，无损解码部62b通过利用上述一组表格，将增强层的编码流的码字转换为图像数据以及用于每个语法要素的参数。
[0145]更具体而言，转换部170b首先通过参考反VLC表166，将从编码流获取的码字转换为代码号码。此外，转换部170b通过参考代码号码表164或164a，将获取的代码号码转换为索引值。如果语法要素的类型包含在预定类型中，则参考通用代码号码表164。另一方面，如果语法要素的类型不包含在预定类型中，则参考层专用代码号码表164b。
[0146]索引值解释部172b逐个语法要素地解释从转换部170b输入的索引值，并输出表示对应事件的数据。“反列举”对于某些语法要素可以省略，因此将输入的索引值直接输出。
[0147]交换部174b根据在从转换部170b的输出中出现的索引值，交换层专用代码号码表164b的条目。交换部174b不交换通用代码号码表164的条目。通用代码号码表164的条目通过无损解码部62a的交换部174a来交换。在将基本层的代码号码转换为索引值并将增强层的代码号码转换为索引值以后，通用代码号码表164的条目可以交换一次，用于预定类型的每个语法要素。
[0148]〈5.根据实施例的解码时的处理流程〉
[0149]图14是示出根据实施例的解码时的处理流程的示例的流程图。图14所示处理在基本层与增强层的相互对应的预测单元中进行。对于每个语法要素进行步骤S200至S280的处理。
[0150]参照图14，首先根据要处理的语法要素是否为预定类型的语法要素来切换处理(步骤S200)。例如，如果要处理的语法要素是用于帧内预测的预测模式信息，用于帧间预测的预测模式信息或参考图像信息，则处理进行到步骤S245。否则，处理进行到步骤S205。
[0151]步骤S205到S240中的处理是参考层专用代码号码表时的处理。
[0152]首先，转换部170a通过参考VLC表166，将基本层的码字转换为代码号码(步骤S205)。接着，转换部170a通过参考层专用代码号码表164a，将代码号码转换为索引值(步骤S210)。接着，索引值解释部172a解释从转换部170a输入的索引值并输出表示对应事件的数据(步骤S215)。接着，交换部174a在层专用代码号码表164a中交换与出现的索引值相对应的条目(步骤S220)。
[0153]此外，转换部170b通过参考VLC表166，将增强层的码字转换为代码号码(步骤S225)。接着，转换部170b通过参考层专用代码号码表164b，将代码号码转换为索引值(步骤S230)。接着，索引值解释部172b解释从转换部170b输入的索引值并输出表示对应事件的数据(步骤S235)。接着，交换部174b在层专用代码号码表164b中交换与出现的索引值相对应的条目(步骤S240)。
[0154]步骤S245到S275中的处理是参考通用代码号码表时的处理。
[0155]首先，转换部170a通过参考VLC表166，将基本层的码字转换为代码号码(步骤S245)。接着，转换部170a通过参考通用代码号码表164，将代码号码转换为索引值(步骤S250)。接着，索引值解释部172a解释从转换部170a输入的索引值并输出表示对应事件的数据(步骤S255)。
[0156]此外，转换部170b通过参考VLC表166，将增强层的码字转换为代码号码(步骤S260)。接着，转换部170b通过参考通用代码号码表164，将代码号码转换为索引值(步骤S265)。接着，索引值解释部172b解释从转换部170b输入的索引值并输出表示对应事件的数据(步骤S270)。
[0157]然后，交换部174a在通用代码号码表164中交换与转换部170a的输出中出现的索引值相对应的条目(步骤S275)。
[0158]在完成用于要处理的语法要素的这些处理以后，如果尚未处理的任何语法要素保留在预测单元中，则处理返回步骤S200(步骤S280)。另一方面，如果没有尚未处理的语法要素保留，则确定是否有任何保留的预测单元(步骤S290)。如果有仍然保留的预测单元，则处理返回步骤S200，为下一个预测单元重复上述处理。如果没有保留的预测单元，则图14中的流程图终止。
[0159]<6.对各种图像代码化方案的应用>
[0160]如上所述，根据本公开的技术不仅可应用于可分级视频代码化，例如也可应用于多视图代码化和隔行代码化。本部分将描述其中将根据本公开的技术应用于多视图代码化的示例。
[0161]多视图代码化是将所谓的立体图像编码和解码的图像代码化方案。在多视图代码化中，产生与三维显示的图像的右眼视图以及左眼视图相对应的两个编码流。将这两个视图的其中一个选择为基本视图，将另一个选择为非基本视图。在将多视图图像数据编码时，通过基于基本视图的图片的代码化参数将非基本视图的图片编码，可以压缩作为整体的编码流的数据尺寸。
[0162]图15是示出将根据实施例的上述图像编码处理应用于多视图代码化的示意图。参照图15，示出多视图编码装置810的配置作为示例。多视图编码装置810包括第一图片编码部la、第二图片编码部lb、通用存储器2以及复用部3。这里采用将左眼视图作为基本视图来处理的示例。
[0163]第一图片编码部Ia将左眼视图的图像编码，以产生基本视图的编码流。第二图片编码部Ib将右眼视图的图像编码，以产生非基本视图的编码流。通用存储器2存储在视图之间通用的信息。复用部3将通过第一图片编码部Ia产生的基本视图的编码流以及通过第二图片编码部Ib产生的非基本视图的编码流复用，以产生多视图复用流。
[0164]图16是示出将根据实施例的上述图像解码处理应用于多视图代码化的示意图。参照图16,示出多视图解码装置860的配置作为示例。多视图解码装置860包括解复用部
5、第一图片解码部6a、第二图片解码部6b以及通用存储器7。
[0165]解复用部5将多视图复用流解复用为基本视图的编码流以及非基本视图的编码流。第一图片解码部6a将基本视图的编码流解码为左眼视图的图像。第二图片解码部6b将非基本视图的编码流解码为右眼视图的图像。通用存储器7存储在视图之间通用的信
肩、O
[0166]将根据本公开的技术应用于隔行代码化时，第一图片编码部Ia将构成一个帧的两个字段的其中一个编码，以产生第一编码流，并且第一图片解码部6a将第一编码流解码。第二图片编码部Ib将其他字段编码，以产生第二编码流，并且第二图片解码部6a将第二编码流解码。
[0167]<7.示例性应用>
[0168]根据上述实施例的图像编码装置10和图像解码装置60可以应用于各种电子设施，例如用于卫星广播和电缆广播(例如有线电视)的发射器和接收器、经由蜂窝通信在互联网上的分布、向终端的分布等等，将图像记录在诸如光盘、磁盘或闪存中的记录装置，从这些存储介质再现图像的再现装置等等。下面描述四个示例应用。
[0169][7-1.第一不例应用]
[0170]图17是示出应用上述实施例的电视装置的示意性配置的示例的示意图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口 909、控制单元910、用户接口 911以及总线 912。
[0171]调谐器902从通过天线901接收的广播信号中提取期望频道的信号，并将提取的信号解调。然后调谐器902将通过解调获得的编码比特流输出到解复用器903。也就是说，调谐器902在电视装置900中具有传输器件的作用，用于接收其中图像被编码的编码流。
[0172]解复用器903将从编码比特流将要观看的节目中的视频流和音频流分离，并将每个分离的流输出到解码器904。此外，解复用器903从编码比特流提取诸如EPG(电子节目指南)这样的辅助数据，并将提取的数据提供给控制单元910。这里，解复用器903在编码比特流被加扰时，可以将其解扰。
[0173]解码器904将从解复用器903输入的视频流和音频流解码。然后，解码器904将通过解码处理产生的视频数据输出到视频信号处理单元905。此，解码器904将通过解码处理产生的音频数据输出到音频信号处理单元907。
[0174]视频信号处理单元905再现从解码器904输入的视频数据，并在显示器906上显示视频。视频信号处理单元905也可以在显示器906上显示通过网络提供的应用屏幕。此夕卜，视频信号处理单元905可以根据设置，对视频数据进行诸如降噪这样的附加处理。此夕卜，视频信号处理单元905可以产生⑶I (图形用户接口)的图像，例如菜单、按钮或光标，并将产生的图像叠加在输出图像上。
[0175]显示器906由视频信号处理单元905提供的驱动信号驱动，并在显示装置(例如液晶显示器、等离子体显示器或OELD (有机电致发光显示器))的视频屏幕上显示视频或图像。
[0176]音频信号处理单元907对于从解码器904输入的音频数据进行诸如D/A转换和放大这样的再现处理，并从扬声器908输出音频。音频信号处理单元907也可以对音频数据进行诸如降噪这样的附加处理。
[0177]外部接口 909是将电视装置900与外设或网络相连接的接口。例如，解码器904可将通过外部接口 909接收的视频流或音频流解码。这意味着外部接口 909在电视装置900中也具有传输器件的作用，用于接收其中图像被编码的编码流。
[0178]控制单元910包括诸如CPU这样的处理器以及诸如RAM和ROM这样的存储器。存储器存储通过CPU执行的程序，程序数据、EPG数据以及通过网络获取的数据。存储器中存储的程序例如在电视装置900启动时通过CPU读取并执行。通过执行程序，CPU例如根据从用户接口 911输入的操作信号，控制电视装置900的操作。
[0179]用户接口 911连接到控制单元910。用户接口 911例如包括用户操作电视装置900的按钮和开关以及接收远程控制信号的接收部。用户接口 911通过这些组件检测用户操作，产生操作信号，并将产生的操作信号输出到控制单元910。
[0180]总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口 909以及控制单元910相互连接。
[0181 ] 在按照上述方式配置的电视装置900中的解码器904具有根据所述实施例的图像解码装置60的功能。因此，对于通过电视装置900的图像的可分级视频解码，可以更有效地使用代码号码表。
[0182][7-2.第二应用示例]
[0183]图18是示出应用上述实施例的移动电话的示意性配置的示例的示意图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932以及总线933。
[0184]天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930以及控制单元931相互连接。
[0185]移动电话920进行诸如传输/接收音频信号、传输/接收电子邮件或图像数据、将图像成像、或者在各种操作模式(包括音频呼叫模式、数据通信模式、拍摄模式以及视频电话模式)下记录数据的操作。
[0186]在音频呼叫模式中，通过麦克风925产生的模拟音频信号被提供给音频编解码器923。然后音频编解码器923将模拟音频信号转换为音频数据，对经过转换的音频数据进行A/D转换，并压缩数据。之后，音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922将音频数据编码和调制，以产生传输信号。然后，通信单元922将产生的传输信号通过天线921传输给基站(未示出)。此外，通信单元922将通过天线921接收的无线电信号放大，转换信号的频率，并获取接收信号。之后，通信单元922对接收信号进行解调和解码，以产生音频数据，并将产生的音频数据输出到音频编解码器923。音频编解码器923展开音频数据，对数据进行D/A转换，并产生模拟音频信号。然后，音频编解码器923通过将产生的音频信号提供给扬声器924来输出音频。
[0187]在数据通信模式中，例如，控制单元931根据通过操作单元932的用户操作，产生构成电子邮件的字符数据。此外，控制单元931在显示器930上显示字符。此外，控制单元931通过操作单元932，根据来自用户的传输指令，产生电子邮件数据，并将产生的电子邮件数据输出到通信单元922。通信单元922将电子邮件数据编码和调制，以产生传输信号。然后，通信单元922通过天线921，将产生的传输信号传输给基站(未示出)。此外，通信单元922将通过天线921接收的无线电信号放大，转换信号的频率，并获取接收信号。之后，通信单元22将接收信号解调和解码。恢复电子邮件数据，并将恢复的电子邮件数据输出到控制单元931。控制单元931在显示器930上显示电子邮件的内容，以及将电子邮件存储在记录/再现单元929的存储介质中。
[0188]记录/再现单元929包括可读写的任意存储介质。例如，存储介质可以是内置的存储介质，例如RAM或闪存，也可以是外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器，或存储卡。
[0189]在拍摄模式中，例如，相机单元926给物体成像，产生图像数据，并将产生的图像数据输出到图像处理单元927。图像处理单元927对于从相机单元926输入的图像数据进行编码，并将编码流存储在记录/再现单元929的存储介质中。
[0190]在视频电话模式中，例如，解复用单元928将通过图像处理单元927编码的视频流以及从音频编解码器923输入的音频流复用，并将复用流输出到通信单元922。通信单元922将该流编码并调制，以产生传输信号。随后通信单元922通过天线921将产生的传输信号传输给基站(未示出)。此外，通信单元922将通过天线921接收的无线电信号放大，转换信号的频率，并获取接收信号。传输信号和接收信号可包括编码比特流。然后，通信单元922将接收信号解调和解码，以恢复流，并将恢复的流输出到解复用单元928。解复用单元928将来自输入流的视频流和音频流分离，并将视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927将视频流解码，以产生视频数据。然后视频数据被提供给显示器930，显示器930显示一系列图像。音频编解码器923展开音频流，并对其进行D/A转换，以产生模拟音频信号。然后音频编解码器923将产生的音频信号提供给扬声器924,以输出音频。
[0191]按照上述方式配置的移动电话920中的图像处理单元927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，对于通过移动电话920的可分级视频代码化和图像的解码，可以更有效地使用代码号码表。
[0192][7-3.第三应用示例]
[0193]图19是示出应用上述实施例的记录/再现装置的示意性配置的示例的示意图。记录/再现装置940例如将接收的广播节目的音频数据和视频数据编码，并将数据记录在记录介质中。记录/再现装置940例如也可以将从其他装置获取的音频数据和视频数据编码，并将数据记录在记录介质中。响应于用户指令，例如，记录/再现装置940在监视器和扬声器中再现记录介质中记录的数据。此时记录/再现装置940将音频数据和视频数据解码。
[0194]记录/再现装置940包括调谐器941、外部接口 942、编码器943、HDD (硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD (屏幕上显示)948、控制单元949以及用户接口 950。
[0195]调谐器941从通过天线(未示出)接收的广播信号中提取期望频道的信号，并将提取的信号解调。然后调谐器941将通过解调获得的编码比特流输出到选择器946。也就是说，调谐器941在记录/再现装置940中具有传输器件的作用。
[0196]外部接口 942是将记录/再现装置940与外设或网络连接的接口。外部接口 942例如可以是IEEE1394接口、网络接口、USB接口或者闪存接口。通过外部接口 942接收的视频数据和音频数据例如被输入编码器943。也就是说，外部接口 942在记录/再现装置940中具有传输器件的作用。
[0197]当从外部接口 942输入的视频数据和音频数据未被编码时，编码器943将视频数据和音频数据编码。之后编码器943将编码比特流输出到选择器946。
[0198]HDD944将其中将例如视频和音频的内容数据压缩的编码比特流、各种程序以及其他数据记录在内部硬盘中。HDD944在再现视频和音频时从硬盘读取这些数据。
[0199]盘驱动器945将数据记录在记录介质中以及从记录介质读取数据，其中记录介质安装于磁盘驱动器。安装于盘驱动器945的记录介质例如可以是DVD盘(例如DVD-Video，DVD-RAM, DVD-R, DVD-Rff, DVD+R,或者 DVD+RW)或者蓝光盘(注册商标)。
[0200]选择器946在记录视频和音频时，选择从调谐器941或者编码器943输入的编码比特流，并将选择的编码比特流输出到HDD944或者盘驱动器945。另一方面，在再现视频和音频时，选择器946将从HDD944或者盘驱动器945输入的编码比特流输出到解码器947。
[0201]解码器947将编码比特流解码，以产生视频数据和音频数据。然后解码器947将产生的视频数据输出到0SD948，将产生的音频数据输出到外部扬声器。
[0202]0SD948再现从解码器947输入的视频数据，并显示视频。0SD948也可将⑶I (例如菜单、按钮或光标)的图像叠加在显示的视频上。
[0203]控制单元949包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器存储通过CPU执行的程序以及程序数据。例如在记录/再现装置940启动时通过CPU读取存储器中存储的程序并执行。通过执行程序，CPU例如根据从用户接口 950输入的操作信号，控制记录/再现装置940的操作。
[0204]用户接口 950连接到控制单元949。用户接口 950例如包括让用户操作记录/再现装置940的按钮和开关以及接收远程控制信号的接收部。用户接口 950通过这些组件检测用户操作，产生操作信号，并将产生的操作信号输出到控制单元949。
[0205]按照上述方式配置的记录/再现装置940中的编码器943具有根据上述实施例的图像编码装置10的功能。另一方面，解码器947具有根据上述实施例的图像解码装置60的功能。因此，对于通过记录/再现装置940的可分级视频代码化和图像的解码，可以更有效地使用代码号码表。
[0206][7-4.第四应用示例]
[0207]图20示出应用上述实施例的图像捕获装置的示意性配置的示例。成像装置960给物体拍照，产生图像，将图像数据编码，并将数据记录在记录介质中。
[0208]成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口 966、存储器967、介质驱动器968、0SD969、控制单元970、用户接口 971以及总线972。
[0209]光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示器965连接到图像处理单元964。用户接口 971连接到控制单元970。总线972将图像处理单元964、外部接口 966、存储器967、介质驱动器968、0SD969以及控制单元970相互连接。
[0210]光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像表面上形成物体的光学图像。成像单元962包括图像传感器(例如CCD (电荷耦合装置)或者CMOS(互补金属氧化物半导体))并进行光电转换，以将成像表面上形成的光学图像转换为图像信号，作为电子信号。随后，成像单元962将图像信号输出到信号处理单元963。
[0211]信号处理单元963对于从成像单元962输入的图像信号进行各种相机信号处理，例如拐点校正、伽玛校正以及颜色校正。信号处理单元963将已经进行了相机信号处理的图像数据输出到图像处理单元964。
[0212]图像处理单元964将从信号处理单元963输入的图像数据编码，并产生编码数据。然后图像处理单元964将产生的编码数据输出到外部接口 966或者介质驱动器968。此外，图像处理单元964将从外部接口 966或者介质驱动器968输入的编码数据解码，以产生图像数据。然后图像处理单元964将产生的图像数据输出到显示器965。此外，图像处理单元964可将从信号处理单元963输入的图像数据输出到显示器965，以显示图像。此外，图像处理单元964可将从0SD969获取的显示数据叠加于显示器965输出的图像上。
[0213]0SD969产生⑶1(例如菜单、按钮或光标)的图像，并将产生的图像输出到图像处理单元964。
[0214]外部接口 966例如被配置为USB输入/输出终端。外部接口 966例如在打印图像时将成像装置960与打印机相连接。此外，在需要时将驱动器连接到外部接口 966。例如将诸如磁盘或光盘这样的可移动介质安装于驱动器，因此可将从移动介质读取的程序安装于成像装置960。外部接口 966也可以配置为连接到网络(例如LAN或互联网)的网络接口。也就是说，外部接口 966在成像装置960中具有传输器件的作用。
[0215]安装于介质驱动器968的记录介质可以是可读写的任意移动介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以固定安装于介质驱动器968，因此，例如构造非运输性的存储单元，例如内置的硬盘驱动器或者SSD(固态驱动器)。
[0216]控制单元970包括处理器(例如CPU)和存储器(例如RAM和ROM)。存储器存储通过CPU执行的程序以及程序数据。例如在成像装置960启动时通过CPU读取存储器中存储的程序并执行。通过执行程序，CPU例如根据从用户接口 971输入的操作信号，控制成像装置960的操作。
[0217]用户接口 971连接到控制单元970。用户接口 971例如包括让用户操作成像装置960的按钮和开关。用户接口 971通过这些组件检测用户操作，产生操作信号，并将产生的操作信号输出到控制单元970。
[0218]按照上述方式配置的成像装置960中的图像处理单元964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，对于通过成像装置960的可分级视频代码化和图像的解码，可以更有效地使用代码号码表。
[0219]<8.结论〉
[0220]至此，利用图1至图20描述了根据实施例的图像编码装置10和图像解码装置60。根据本实施例，在将多个流编码的图像代码化方案中产生多个编码流时，引入产生多个编码流时共同参考的代码号码表。因此，可以节省存储代码号码表所需的存储器资源。
[0221]此外，根据本实施例，在通用代码号码表中，对于沿着多个流展开的每个语法要素，只出现一次交换。由此减少了代码号码表的交换次数，并且因此降低了处理器的负载。因此，可以更有效地使用编码器和解码器的资源。
[0222]此外，根据本实施例，在预测单元中同步进行将通用代码号码表用于多个编码流的转换处理和交换处理。因此，可以参考通用代码号码表，不而需要对于帧内预测或帧间预测，为每个编码流保持关于语法要素的代码号码表的示例。
[0223]此外，根据本实施例，对于包含用于帧内预测的预测模式信息、用于帧间预测的预测模式信息以及参考图像信息的至少其中一个的语法要素，引入通用代码号码表。在某种程度上这些类型的语法要素的索引值的出现趋势类似于图像的空间相关性和时间相关性在图片之间相似的情况。因此，在这种情况下，即使引入通用代码号码表，也可以沿着多个图片保持索引值与码字之间的适当映射(具有较高出现频率的索引值与较短码字的映射)。
[0224]这里主要描述了将诸如有关于帧内预测的信息以及有关于帧间预测的信息的各种信息片段复用到编码流的头部并从编码侧传输到解码侧的示例。但是传输这些信息片段的方法不限于此示例。例如，这些信息片段也可以作为与编码比特流相关联的单独数据来传输或记录，不需要复用到编码比特流。这里，术语“关联”意味着在解码时允许比特流中包括的图像(可以是图像的一部分，例如片或块)以及与当前图像相对应的信息建立链接。也就是说，在来自图像的不同传输路径上可以传输信息。也可以根据图像(或者比特流)将信息记录在不同的记录介质上(或者相同记录介质的不同记录区域上)。此外，通过诸如多个帧、一个帧或者帧中的一部分的任意单位，可将信息与图像(或者比特流)相关联。
[0225]上面参照附图描述了本公开的优选实施例，但是本公开不限于上述示例。本领域技术人员可以在所附权利要求书的范围内找到各自改型和变型，并且应当理解，它们自然落入本公开的技术范围之内。
[0226]此外，本技术可以配置如下。
[0227](I) 一种图像处理设备，包括:
[0228]代码号码表，用于保存在熵代码化中使用的代码号码和语法要素的索引值对；
[0229]第一转换部，用于通过参考所述代码号码表，将与对应于通用场景的两个或更多个图片中的第一图片的编码流中所包含的码字相关联的第一代码号码转换为第一索引值；以及
[0230]第二转换部，用于通过参考所述代码号码表，将与所述两个或更多个图片中的第二图片的编码流中所包含的码字相关联的第二代码号码转换为第二索引值。
[0231](2)根据(I)的图像处理设备，还包括:交换部，用于根据出现的索引值交换所述代码号码表的条目。
[0232](3)根据(2)的图像处理设备，其中在预测单元中同步进行所述第一转换部的转换处理、所述第二转换部的转换处理以及所述交换部的交换处理。
[0233](4)根据(3)的图像处理设备，其中在所述第一转换部的转换处理和所述第二转换部的转换处理之后，进行所述交换部的交换处理一次。
[0234](5)根据(3)或(4)的图像处理设备，其中所述语法要素包含用于帧内预测的预测模式信息、用于帧间预测的预测模式信息以及参考图像信息至少其中之一。
[0235](6)根据⑴至(5)任一项的图像处理设备，
[0236]其中，所述第一图片对应于要被可分级视频代码化的图像的第一层，以及
[0237]其中，所述第二图片对应于比所述第一层高的第二层。
[0238](7)根据(6)的图像处理设备，其中所述第一层与所述第二层在空间分辨率、信噪比或比特深度方面相互不同。
[0239](8)根据⑴至(5)任一项的图像处理设备，
[0240]其中，所述第一图片对应于三维显示的图像的右眼视图和左眼视图之一，以及
[0241]其中，所述第二图片对应于所述图像的右眼视图和左眼视图中的另外一个。
[0242](9)根据⑴至(5)任一项的图像处理设备，
[0243]其中，所述第一图片对应于要被隔行编码的图像的第一字段，以及
[0244]其中，所述第二图片对应于所述图像的第二字段。
[0245](10) —种图像处理方法，包括:
[0246]通过参考代码号码表，将与对应于通用场景的两个或更多个图片中的第一图片的编码流中所包含的码字相关联的第一代码号码转换为第一索引值，所述代码号码表用于保存在熵代码化中使用的代码号码和语法要素的索引值对；以及
[0247]通过参考所述代码号码表，将与所述两个或更多个图片中的第二图片的编码流中所包含的码字相关联的第二代码号码转换为第二索引值。
[0248](11) 一种图像处理设备，包括:
[0249]代码号码表，用于保存在熵代码化中使用的代码号码以及语法要素的索引值对；
[0250]第一转换部，用于通过参考所述代码号码表，将针对对应于通用场景的两个或更多个图片中的第一图片要被编码的第一索引值转换为第一代码号码；以及
[0251]第二转换部，用于通过参考所述代码号码表，将针对所述两个或更多个图片中的第二图片要被编码的第二索引值转换为第二代码号码。
[0252](12)根据(11)的图像处理设备，还包括:交换部，用于根据出现的索引值交换所述代码号码表的条目。
[0253](13)根据(12)的图像处理设备，其中在每个预测单元中同步进行所述第一转换部的转换处理、所述第二转换部的转换处理以及所述交换部的交换处理。
[0254](14)根据(13)的图像处理设备，其中在所述第一转换部的转换处理和所述第二转换部的转换处理之后，进行所述交换部的交换处理一次。
[0255](15)根据(13)或(14)的图像处理设备，其中所述语法要素包含用于帧内预测的预测模式信息、用于帧间预测的预测模式信息以及参考图像信息至少其中之一。
[0256](16)根据(11)至(15)任一项的图像处理设备，
[0257]其中，所述第一图片对应于要被可分级视频代码化的图像的第一层，以及
[0258]其中，所述第二图片对应于比所述第一层高的第二层。
[0259](17)根据(16)的图像处理设备，其中所述第一层与所述第二层在空间分辨率、信噪比或比特深度方面相互不同。
[0260](18)根据(11)至(15)任一项的图像处理设备，
[0261]其中，所述第一图片对应于三维显示的图像的右眼视图和左眼视图之一，以及
[0262]其中，所述第二图片对应于所述图像的右眼视图和左眼视图中的另外一个。
[0263](19)根据(11)至(15)任一项的图像处理设备，
[0264]其中，所述第一图片对应于要被隔行编码的图像的第一字段，以及
[0265]其中，所述第二图片对应于所述图像的第二字段。
[0266](20) —种图像处理方法，包括:[0267]通过参考代码号码表，将针对对应于通用场景的两个或更多个图片中的第一图片要被编码的第一索引值转换为第一代码号码，所述代码号码表用于保存在熵代码化中使用的代码号码和语法要素的索引值对；以及
[0268]通过参考所述代码号码表，将针对所述两个或更多个图片中的第二图片要被编码的第二索引值转换为第二代码号码。
[0269]附图标记列表
[0270]10，810图像编码装置(图像处理设备)
[0271]104 代码号码表
[0272]112a 第一转换部
[0273]112b 第二转换部
[0274]114a 交换部
[0275]60,860图像解码装置(图像处理设备)
[0276]164 代码号码表
[0277]170a 第一转换部
[0278]170b 第二转换部
[0279]174a 交换部
【权利要求】
1.一种图像处理设备，包括: 代码号码表，用于保存在熵代码化中使用的代码号码和语法要素的索引值对； 第一转换部，用于通过参考所述代码号码表，将与对应于通用场景的两个或更多个图片中的第一图片的编码流中所包含的码字相关联的第一代码号码转换为第一索引值；以及第二转换部，用于通过参考所述代码号码表，将与所述两个或更多个图片中的第二图片的编码流中所包含的码字相关联的第二代码号码转换为第二索引值。
2.根据权利要求1所述的图像处理设备，还包括:交换部，用于根据出现的索引值交换所述代码号码表的条目。
3.根据权利要求2所述的图像处理设备，其中在预测单元中同步进行所述第一转换部的转换处理、所述第二转换部的转换处理以及所述交换部的交换处理。
4.根据权利要求3所述的图像处理设备，其中在所述第一转换部的转换处理和所述第二转换部的转换处理之后，进行所述交换部的交换处理一次。
5.根据权利要求3所述的图像处理设备，其中所述语法要素包含用于帧内预测的预测模式信息、用于帧间预测的预测模式信息以及参考图像信息至少其中之一。
6.根据权利要求1所述的图像处理设备， 其中，所述第一图片对应于要被可分级视频代码化的图像的第一层，以及 其中，所述第二图片对 应于比所述第一层高的第二层。
7.根据权利要求6所述的图像处理设备，其中所述第一层与所述第二层在空间分辨率、信噪比或比特深度方面相互不同。
8.根据权利要求1所述的图像处理设备， 其中，所述第一图片对应于三维显示的图像的右眼视图和左眼视图之一，以及 其中，所述第二图片对应于所述图像的右眼视图和左眼视图中的另外一个。
9.根据权利要求1所述的图像处理设备， 其中，所述第一图片对应于要被隔行编码的图像的第一字段，以及 其中，所述第二图片对应于所述图像的第二字段。
10.一种图像处理方法，包括: 通过参考代码号码表，将与对应于通用场景的两个或更多个图片中的第一图片的编码流中所包含的码字相关联的第一代码号码转换为第一索引值，所述代码号码表用于保存在熵代码化中使用的代码号码和语法要素的索引值对；以及 通过参考所述代码号码表，将与所述两个或更多个图片中的第二图片的编码流中所包含的码字相关联的第二代码号码转换为第二索引值。
11.一种图像处理设备，包括: 代码号码表，用于保存在熵代码化中使用的代码号码以及语法要素的索引值对； 第一转换部，用于通过参考所述代码号码表，将针对对应于通用场景的两个或更多个图片中的第一图片要被编码的第一索引值转换为第一代码号码；以及 第二转换部，用于通过参考所述代码号码表，将针对所述两个或更多个图片中的第二图片要被编码的第二索引值转换为第二代码号码。
12.根据权利要求11所述的图像处理设备，还包括:交换部，用于根据出现的索引值交换所述代码号码表的条目。
13.根据权利要求12所述的图像处理设备，其中在预测单元中同步进行所述第一转换部的转换处理、所述第二转换部的转换处理以及所述交换部的交换处理。
14.根据权利要求13所述的图像处理设备，其中在所述第一转换部的转换处理和所述第二转换部的转换处理之后，进行所述交换部的交换处理一次。
15.根据权利要求13所述的图像处理设备，其中所述语法要素包含用于帧内预测的预测模式信息、用于帧间预测的预测模式信息以及参考图像信息至少其中之一。
16.根据权利要求11所述的图像处理设备， 其中，所述第一图片对应于要被可分级视频代码化的图像的第一层，以及 其中，所述第二图片对应于比所述第一层高的第二层。
17.根据权利要求16所述的图像处理设备，其中所述第一层与所述第二层在空间分辨率、信噪比或比特深度方面相互不同。
18.根据权利要求11所述的图像处理设备， 其中，所述第一图片对应于三维显示的图像的右眼视图和左眼视图之一，以及 其中，所述第二图片对应于所述图像的右眼视图和左眼视图中的另外一个。
19.根据权利要求11所述的图像处理设备， 其中，所述第一图片对应于要被隔行编码的图像的第一字段，以及 其中，所述第二图片对应于所述图像的第二字段。
20.—种图像处理方法，包括: 通过参考代码号码表，将针对对应于通用场景的两个或更多个图片中的第一图片要被编码的第一索引值转换为第一代码号码，所述代码号码表用于保存在熵代码化中使用的代码号码和语法要素的索引值对；以及 通过参考所述代码号码表，将针对所述两个或更多个图片中的第二图片要被编码的第二索引值转换为第二代码号码。
【文档编号】H04N19/423GK103975591SQ201280060352
【公开日】2014年8月6日 申请日期:2012年10月18日 优先权日:2011年12月14日
【发明者】佐藤数史 申请人:索尼公司