视频编码装置和视频解码装置的制作方法

本申请基于并且要求于2017年6月16日提交的日本专利申请no.2017-118487的优先权权益，其公开内容通过引用全部结合于此。

本公开涉及视频编码装置和视频解码装置。

背景技术：

使用红(r)、绿(g)和蓝(b)三原色，通过再现接近人眼观看颜色的颜色来显示数码相机、摄像机等的图像。此外，近年来研发了一种技术，其中除了关于rgb的三原色的信息之外，还针对人眼不可见的光如红外光和紫外光的信息或通过rgb中特定波长来拍摄对象而获得的信息，执行图像分析并且使用所分析的信息来进行水果的糖分分析、内部器官的病理分析等。

诸如上述图像的包括除rgb以外的大量颜色分量的多光谱图像(也称为“多波段图像”或“多通道图像”)包含大量的光谱。因此，这种图像上的数据量趋于增加。因此，需要对图像数据进行压缩，从而在通信等中使用这种多光谱图像时或者在记录介质中记录这种多光谱图像时减少数据量。作为用于压缩多光谱图像的方法，例如，日本未审查专利申请公开no.2008-301428中公开的发明是已知的。

技术实现要素：

但是，本发明人发现了以下问题。也就是说，在日本未审查专利申请公开no.2008-301428中公开的发明中，多光谱图像在被转换成三波段图像之后被压缩。但是，当试图通过上述方法压缩信息时，或者当试图通过编码经转换的三波段图像来压缩信息时，在其中使用多光谱上所有信息的某些情况下信息可能不被压缩。

因此，期望开发能够高效地编码、压缩、扩展(即，解压缩)并且使用多光谱图像的视频编码装置和视频解码装置。从说明书和附图的描述中，其他问题和新颖特征将显而易见。

根据一个实施例，对于包含多个光谱(在下文中称为“分量”)的图片，通过参考关于待编码的图片本身或已编码的图片中包含的分量的信息来执行预测编码，并且指定包含参考图像的分量的索引信息被合并到数据流中。注意，在下面的描述中，“分量”是对应于包含在图片中的颜色分量的元素，并且意指具有不同波长的那些元素。

根据上述实施例，可以提供能够高效地编码、压缩、扩展(即，解压缩)以及使用包含大量分量的图片的视频编码装置和视频解码装置。

注意，将根据上述实施例的装置表示为方法或系统的实体、使计算机执行该装置或该装置的一部分的程序、lsi、车载摄像机、车载外围监视系统、车载驾驶辅助系统、车载自动驾驶系统、ar系统、工业用视频处理系统以及包括该装置的图像处理系统也被视为根据本公开的实施例。

附图说明

从以下结合附图对特定实施例的描述中，上述和其他方面、优点和特征将变得更加明显，其中：

图1是示出图片中包含的颜色分量的波长分布的图；

图2是示出根据第一实施例的视频编码电路1的概要配置的框图；

图3是用于说明根据第一实施例的图片的配置的图；

图4是示出根据第一实施例的预测图像生成单元10的概要配置的框图；

图5是用于说明根据第一实施例的多个图片间的参考关系的图；

图6是用于说明根据第一实施例的比特流的分级结构的图；

图7是用于说明根据第一实施例的比特流的详细结构的图；

图8是示出根据第一实施例的视频图像解码电路5的概要配置的框图；

图9是示出根据第一实施例的半导体装置100的概要配置的框图；

图10是用于说明根据第三实施例的比特流的概略结构的图；

图11是用于说明根据第三实施例的比特流的概略结构的图；

图12是示出根据第四实施例的预测图像生成单元20的概要配置的框图；和

图13是示出根据第四实施例的视频图像解码电路6的示意性配置的框图。

具体实施方式

为了使说明清楚，以下描述和附图可以适当地部分省略和简化。此外，附图中示出的作为用于执行各种处理的功能块的每个元件可以通过诸如cpu、存储器和其他类型的电路的硬件来实现，或者通过诸如加载在存储器中的程序来实现。

因此，本领域技术人员将理解，这些功能块可以仅由硬件，仅由软件或其组合来实现。也就是说，它们不限于硬件，也不限于软件。请注意，在整个附图中将相同的附图标记分配给相同的部件，并根据需要省略重复的解释。

可以使用任何类型的非暂时性计算机可读介质将程序存储并提供给计算机。

非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁存储介质(诸如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)、cd-rom(光盘只读存储器)、cd-r(可记录光盘)、cd-r/w(可重写光盘)以及半导体存储器(诸如掩模rom、prom(可编程rom)、eprom(可擦除prom)、闪存rom，ram(随机存取存储器)等)。

程序可以使用任何类型的暂时性计算机可读介质提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由有线通信线路(例如电线和光纤)或无线通信线路将程序提供给计算机。

首先，为了阐明根据一个实施例的配置的目的，在解释实施例之前，在下文中解释本申请的发明人所做的研究和讨论。

图1是示出图片中包含的颜色分量的波长分布的图。

除了红(r)、绿(g)和蓝(b)三原色颜色分量之外，图1还示出除了这三种原色以外的分量、例如紫外光和红外光的波长分布。当包含三原色的图片被编码时，一般来说，rgb的三原色数据首先被转换成两个分量，即亮度和色差。然后，对这两个分量的每一个分量进行编码，即对亮度和色差进行编码。

但是，在包含除三原色以外的分量的图片的情况下，与仅包含三原色颜色分量的图片的情况不同，存在使得分量的波长彼此接近的范围(例如，在图1中的范围a)。推测具有彼此接近的波长分布的分量具有彼此类似的特性。基于该推测，本申请的发明人已经发现，通过使用关于相邻分量的信息，可以更高效地对包含多个分量的图片进行编码。

下面将详细描述实施例。

(第一实施例)

根据第一实施例的视频编码电路和视频解码电路通过使用非正交化的颜色空间(例如，包含大量分量的图片)中的三个或更多个分量之间的相关性来压缩和扩展(即，解压缩)信息。具体地，通过将关于分量数量的信息和指示包含参考图像的分量的参考分量索引并入作为压缩数据的比特流中，可以基于除了将被编码的分量以外的分量来执行图像预测(以下也称为“编码目标分量”)。结果，可以有效地执行编码处理或解码处理。

注意，视频编码电路和视频解码电路分别构成视频编码装置和视频解码装置的全部或一部分。

此外，在下面的描述中，以比特串形式输出到传输线的状态下的压缩数据被称为“比特流”。

首先，解释根据第一实施例的视频编码电路的配置和操作。

图2是示出根据第一实施例的视频编码电路1的概要配置的框图。

视频编码电路1包括预测图像生成单元10、编码单元40等。预测图像生成单元10从外部接收图片并输出指示哪个预测方法用于预测图片的预测方法选择信息b1、预测残差b2、指示包含用于进行预测的参考图像的图片信息的参考图片信息b3、指示包含参考图像的分量的参考分量索引b4以及帧内预测信息b5。

有两种类型的预测方法，即帧间预测和帧内预测。此外，所选择的预测方法被输出为预测方法选择信息b1。在第一实施例中，帧间预测包括基于同一图片(即，在一个图片中)中的不同分量的预测。输入图片是多个时间顺序的图片，并且这些图片中的每一个图片包含多个分量。

编码单元40对从预测图像生成单元10输出的信息执行可变长度编码，并且从而生成比特流。在该过程中，编码单元40对从预测图像生成单元10输出的预测方法选择信息b1、预测残差b2、参考图片信息b3、参考分量索引b4和帧内预测信息b5进行编码，并生成包含这些信息项的比特流。

当预测方法是帧内预测时，编码单元40将帧内预测信息b5、预测方法选择信息b1和预测残差b2并入比特流中。另一方面，当预测方法是帧间预测时，编码单元40将参考图片信息b3、参考分量索引b4和预测残差b2并入到比特流中。当预测方法是帧内预测时，视频编码电路1基于同一图片的相同分量进行预测。另一方面，当预测方法是帧间预测时，视频编码电路1基于包含在同一图片或其他图片中的相同分量或其他分量来进行预测。

图3是用于说明根据第一实施例的图片的结构的图。

每个图片包含多个分量，并且将分量索引分配给每个分量。例如，当图片由n个分量组成时，分量索引0到n-1被分别分配给这些分量。此外，多个分量可以包括在波长比红色更长的波长区域和波长比蓝色更短的波长区域中的分量中的至少一个分量。

图4是示出根据第一实施例的预测图像生成单元10的示意性配置的框图。

预测图像生成单元10具有帧内预测图像生成单元11、相似图像搜索单元12、帧间预测图像生成单元13、选择单元14、减法单元15、频率转换/量化单元16、频率逆变换/逆量化单元17、加法单元18、图像存储器19等。

帧内预测图像生成单元11接收图片并为构成图片的每个分量生成预测图像。每个图片包含通过细分该图片而获得的宏块或通过将宏块进一步细分为待编码图像的单元(在下文中也称为“编码目标图像”)而获得的子块。帧内预测图像生成单元11通过使用帧内预测生成用于每个宏块或每个子块的预测图像和输出所生成的预测图像到选择单元14。用于生成帧内预测图像的方法的示例包括：通过使用编码目标图像的周围像素的平均值进行预测的方法、用于复制与特定方向的编码目标图像相邻的已编码像素的方法等。然而，该方法不限于这些示例。

帧内预测图像生成单元11还将帧内预测所需的信息(例如，指示已编码的像素被复制的方向的特定方向信息等)作为帧内预测信息b5输出到编码单元40。

相似图像搜索单元12接收图片，并且针对构成图片的每个分量以及每个分量中包括的每个编码目标图像搜索相似图像。具体地，相似图像搜索单元12通过搜索具有最高相似度的相似图像来搜索相似图像，并且可以通过执行块匹配等来从存储在图像存储器19中的参考图片(局部解码图片)针对编码目标图像进行预测编码。在搜索相似图像之后，相似图像搜索单元12将包括相似图像的位置信息(例如，指示相似图像与编码目标图像之间的相对位置等的矢量)的信息输出到帧间预测图像生成单元13。

用于预测编码的具有最高相似度的图像区域(像素组)在通常是相同的图片中的相同位置中的与编码目标图像的分量不同的分量。此外，具有最高相似度的分量根据图片或图片中的位置而变化。

因此，相似图像搜索单元12针对包括编码目标图像的相同图片的每个分量以及针对与包括编码目标图像的图片不同的图片的每个分量搜索相似图像。为了计算相似性，可以使用诸如绝对值差异之和(sad)的常用技术。此外，可以通过使用诸如速率失真(rd)优化的技术来考虑必要的码量。此外，相似图像搜索单元12将指示包含相似图像的图片的参考图片信息b3和指示包含相似图像的分量的参考分量索引b4输出到编码单元40。注意，作为搜索结果选择的相似图像后面被用作用于生成预测图像的参考图像。

图5是用于解释根据第一实施例的多个图片之间的参考关系的图。

对于编码目标图像所属的图片(图片1)，相似图像搜索单元12针对每个分量来搜索已经编码并存储在图像存储器19中的区域。此外，相似图像搜索单元12对于编码目标图像不属于的图片(图片0、2、3)，搜索包含在已编码并存储在图像存储器19中的参考图片中的每个分量。

然后，对于作为搜索结果而获得的相似图像，相似图像搜索单元12输出指示包含相似图像(例如，0、1、2或3)的图片的图片编号的参考图片信息b3和指示关于包含相似图像的分量的信息(例如，数字0到n-1中的一个)的参考分量索引到编码单元40。

再次参考图4，帧间预测图像生成单元13基于关于通过相似图像搜索单元12找到的相似图像的信息(指示位置的矢量、像素值等)，为每个编码目标图像生成预测图像。找到的相似图像也被称为“参考图像”并且用于生成预测图像。然后，帧间预测图像生成单元13将生成的预测图像输出到选择单元14。

选择单元14将在从帧内预测图像生成单元11输出的预测图像与编码目标图像之间的相似度与从帧间预测图像生成单元13输出的预测图像与编码目标图像之间的相似度进行比较，并且从而选择可以生成具有较高相似度的预测图像的预测方法。然后，选择单元14将通过所选预测方法预测的预测图像输出到减法单元15和加法单元18。此外，选择单元14将预测方法选择信息b1输出到编码单元40。

减法单元15计算输入图片与预测图像之间的差并由此生成预测残差b2。然后，减法单元15将所生成的预测残差b2输出到频率转换/量化单元16。

频率转换/量化单元16对预测残差b2执行频率转换和量化，并且将量化预测残差b2和用于量化的转换系数输出到编码单元40和频率逆变换/逆量化单元17。

图6是用于说明根据第一实施例的比特流的分级结构的图。比特流具有例如包括序列级、图片组(gop)级、图片级、片级、宏块级、块级等的分级。应该指出的是，这个分级仅仅是一个例子，分级不限于这种结构。

序列级包含多个gop参数和gop数据，并且gop级包含多个图片参数和图片数据。这同样适用于片级、图片级、宏块级和块级，并且在此省略对它们的解释。

每个级都包含参数和数据。参数位于比特流中的数据的前面，并且包括例如用于编码处理的设置信息。例如，在序列参数的情况下，该参数包括诸如图片中所包含的像素的数量、指示图片的垂直尺寸与其水平尺寸之间的比率的纵横比以及指示每秒回放的图片数量的帧速率等信息项。

gop参数包括用于使视频与声音同步的时间信息。此外，图片参数包括诸如图片类型(i图片、p图片或b图片)、关于运动补偿预测的信息、gop中的显示顺序等的信息项。宏块参数包括指示预测方法(帧间预测或帧内预测)的信息。此外，当预测方法是帧间预测时，宏块参数包括诸如指示要参考的图片的参考图片信息b3的信息。

图7是用于说明根据第一实施例的比特流的结构的说明图，并且图7是图6中所示的编码单元(块)级的结构的详细图。

分量参数包括指示包含参考图像的分量的参考分量索引。此外，分量数据包括作为由参考分量索引指示的参考图像与预测图像之间的差值的预测残差。关于分量的总数n(例如，n是4或更大)的信息被包括在图片级或更高级中的参数中。更具体地说，信息被包括在片参数组、图片参数组和gop参数组中的一个中。

编码单元40对预测方法选择信息b1、预测残差b2、参考图片信息b3、参考分量索引b4和帧内预测信息b5进行编码，并输出包含这些编码信息项的比特流。此外，编码单元40将关于图片级和更高级中的一个参数组中的预定数量的分量的信息并入比特流中。通过将关于参数组中的分量数量的信息合并到图片级或更高级中，当视频解码电路接收到比特流时，它可以获取关于分量数量n的信息，确定解码所需的存储器的大小，并确保必要的存储器区域。

由于视频解码电路可以确保具有必要大小的存储区域，因此可以在有效利用存储区域的同时执行解码。此外，视频解码电路通过获取关于分量数量的信息，可以在完成n个分量的解码时确定用于编码的单元的末端。注意，上述信息项b1至b5是包含在比特流中的信息项的代表性示例。也就是说，不用说，除了上述信息项之外的信息项(例如，用于量化的转换系数和编码所需的其他设置值)也包含在比特流中。

频率逆变换/逆量化单元17通过使用用于量化的转换系数对预测残差执行频率逆变换/逆量化处理，并将其处理结果输出到加法单元18。

加法单元18将处理结果和预测图像相加，并且从而生成参考图像(局部解码图片)。然后，加法单元18将所生成的参考图像输出到图像存储器19。注意，频率逆变换/逆量化单元17和加法单元18所执行的操作可以与现有技术中执行的操作类似。

图像存储器19存储参考图像，并且参考图像被用于其他图片的编码。

如上所述，在包括大量分量的图像中的非正交化分量之间存在相关性。因此，通过将关于分量数量的信息和指示包含参考图像的分量的参考分量索引并入到压缩数据中并且不仅基于编码目标分量而且基于除了编码目标分量之外的分量来执行图像预测，根据第一实施例的视频编码电路1能够有效地编码/压缩包含大量分量的图片。

接下来，说明根据第一实施例的视频解码电路的配置和操作。

图8是示出根据第一实施例的视频解码电路5的概要配置的框图。

视频解码电路5包括码解码单元51、图像恢复单元52等。此外，图像恢复单元52包括频率逆变换/逆量化单元53、帧内预测图像生成单元54、帧间预测图像生成单元55、选择单元56、加法单元57、图像存储器58等。

码解码单元51接收比特流并对比特流的码进行解码。此外，码解码单元51对于比特流中包含的数据，将量化中使用的转换系数和预测残差b2输出到频率逆变换/逆量化单元53，将帧内预测信息b5输出到帧内预测图像生成单元54，将参考图片信息b3和参考分量索引b4输出到帧间预测图像生成单元55，并且将预测方法选择信息b1输出到选择单元56。

频率逆变换/逆量化单元53通过使用在量化中所使用的转换系数对预测残差b2执行频率逆变换/逆量化处理，并将其处理结果输出到加法单元57。帧内预测图像生成单元54基于帧内预测信息b5生成预测图像。

帧间预测图像生成单元55基于参考图片信息b3、参考分量索引b4和存储在图像存储器58中的参考图像来生成预测图像。

在该处理中，由帧间预测图像生成单元55参考的参考图像包括从待解码图像(以下也称为“解码目标图像”)所属的图片的每个分量得到的参考图像以及从解码目标图像不属于的图片的每个分量获得的参考图像。

选择单元56基于预测方法选择信息b1执行选择，使得通过由预测方法选择信息b1指示的预测方法预测的预测图像被输出到加法单元57。

加法单元57将频率逆变换/逆量化的处理结果与预测图像相加，由此生成解码图像。

如上所述，根据第一实施例的视频解码电路5能够通过使用包含在比特流中的、关于分量数量的信息和指示包含参考图像的分量的参考分量索引，来有效地扩展(即解压缩)包含多个分量的图像，从而不仅基于编码目标分量而且基于除了编码目标分量之外的分量来执行图像预测。

图9是示出根据第一实施例的半导体装置100的概要配置的框图。

半导体装置100包括接收来自外部相机110的图片的接口电路101、从外部存储器115读取数据并向外部存储器115写入数据的存储器控制器102、cpu103、上述视频编码电路1、外部输出比特流的接口电路104等。

接口电路101从相机110接收包含多个分量的图片。输入图片被存储器控制器102存储在外部存储器115中。

存储器控制器102除了将从相机提供的图像存储在外部存储器115中之外，还将根据来自cpu103的指示在外部存储器115和视频编码电路1之间传送视频编码电路1执行处理所需的图像数据和图像管理数据。cpu103控制视频编码电路1并控制由存储器控制器102执行的传输等。接口电路104将由视频编码电路1生成的比特流输出到外部传输线路。

尽管图9中所示的半导体装置100完全由电路组成，但是视频编码电路1可以由软件组成。在这种情况下，视频编码电路1作为程序存储在外部存储器115中并由cpu103控制。

如上所述，根据第一实施例的视频编码电路1包括：预测图像生成单元10，其被配置成接收多个图片，多个图片中的每个图片包含多个分量，从图片本身的分量中搜索参考图像或存储在参考存储器中的已编码图像，并且基于关于包含在参考图像中的像素的信息来生成预测图像，所述多个分量与包含在输入图片中并且具有彼此不同的波长的各个颜色分量相对应，所述参考图像用于对包含在所述输入图片中的所述多个分量中的每个分量进行编码；以及编码单元40，其被配置为基于从预测图像生成单元10输出的预测图像来生成比特流，其中，预测图像生成单元10输出指示关于包含参考图像的分量的信息的参考分量索引，以及编码单元40输出包含关于参考分量索引的信息的比特流。

另外，在根据第一实施例的视频编码电路1中，优选地，指示包含在所述图片中的分量的数量的信息被并入到比特流中。

此外，在根据第一实施例的视频编码电路1中，优选地，包含在所述图片中的分量n的数量是四个或更大。

另外，在根据第一实施例的视频编码电路1中，优选地，所述多个分量包括波长比红色长的波长区域中的分量和波长比蓝色短的波长区域中的分量中的至少一个分量。

此外，根据第一实施例的视频解码电路5包括：码解码单元51，被配置为接收比特流并且解码所接收的比特流，比特流包含在其中编码的多个图片，多个图片中的每一个图片包含多个分量，多个分量对应于包含在图片中的各个颜色分量并且具有彼此不同的波长；以及图像恢复单元52，被配置为基于解码信息生成预测图像并且通过使用所述预测图像来恢复图像，其中，码解码单元51从比特流解码参考分量索引的代码，参考分量索引指示关于包含预测图像的分量的信息，并且图像恢复单元52通过使用包含在由参考分量索引指示的分量中的像素值来产生预测图像，并且通过使用生成的预测图像来恢复图像。

另外，在根据第一实施例的视频解码电路5中，优选地，解码信息包括指示生成预测图片的方法的预测方法选择信息和预测残差，预测残差是预测图像与图片之间的差。

(第二实施例)

根据第一实施例的视频编码电路1和视频解码电路5设定(即，使用)包含参考图像的分量的分量编号作为参考分量索引。与此相对，根据第二实施例的视频编码电路和视频解码电路通过使用包含参考图像的分量的分量编号和包含编码目标图像的分量的分量编号来表示参考分量索引。

在第二实施例中，为了执行编码，编码单元40以分量的波长的升序(或降序)将分量编号0至n-1分配给各个分量，并且通过使用包含编码目标图像的分量的编号x来表示参考分量索引ci，如以下的表达式(1)所示：

ci＝(包含参考图像的分量的分量编号)-x表达式(1)

当搜索包含相似图像的分量时，作为搜索的结果，经常选择波长接近包含编码目标图像的分量的波长的分量。因此，通过使用表达式(1)，可以将较小的数字分配给参考分量索引ci，并且从而有效地执行编码。注意，当使用表达式(1)时，参考分量索引ci可以变为负数。在这种情况下，例如，可以增加一个附加比特来表示极性(即正和负)。或者，可以重新编号分量编号，以便用正数表示分量编号，例如重新编号分量编号0、1、-1、2、-2……为0、1、2、3、4……。

例如，当分量的总数量n是8并且包含编码目标图像的分量x和包含参考图像的分量的分量编号分别是7和6时，参考分量索引被确定为1。当原样使用包含参考图像的分量的分量编号作为参考分量索引时，参考分量索引变为“6”。因此，需要至少三个比特来表示数字“6”。

与此相反，当通过使用表达式(1)表示参考分量索引时，参考分量索引变为“1”。因此，只需要一个比特来表示数字“1”。以这种方式，由于可以减少要传输的信息量，所以可以有效地执行编码。

码解码单元51从比特流获取参考分量索引ci和包含编码目标图像的分量的分量编号x。然后，对于包含解码目标图像的分量的分量编号x，通过使用下面示出的表达式(2)来获得参考分量索引。

(包含参考图像的分量的分量编号)＝ci+x表达式(2)

所获得的参考分量索引ci被发送到帧间预测图像生成单元55，并且在那里生成解码图像。以这种方式，可以用较少量的传输信息有效地执行解码。

如上所述，在根据第二实施例的视频编码电路1中，通过使用包含编码目标图像的分量的分量编号和图片中包含的分量数量来优选表示参考分量索引。

此外，在根据第二实施例的视频解码电路5中，通过使用包含编码目标图像的分量的分量编号和图片中包含的分量数量来优选地表示参考分量索引。

(第三实施例)

在根据第一实施例或第二实施例的视频编码电路1和视频解码电路5中，通过为每个宏块指定参考分量索引并将参考分量索引和关于分量数量的信息合并到比特流中来有效执行编码处理或解码处理。与此相对，在根据第三实施例的视频编码电路和视频解码电路中，通过进一步将指示用于每个单元的预测方法的标志信息并入比特流中，能够更高效地进行编码处理或解码处理，并且从而在用于编码的单元的基础上为每个分量指定图像预测方法。

图10是用于说明根据第三实施例的从编码单元40输出的比特流的概略结构的图。

与根据第一实施例或第二实施例的结构相比，分量参数包括指示预测方法的内标志或间标志。该内标志或间标志是表示用于对每个分量进行编码的预测方法是帧内预测还是帧间预测的标志。

在第一实施例或第二实施例中，针对每个宏块确定预测方法，并且对包含在宏块中的所有多个分量使用相同的预测方法。与此相反，在第三实施例中，指定预测方法的内标志或间标志被包括在用于编码的每个单元块的分量参数中，使得可以针对用于编码的每个单元块中包含的每个分量改变预测方法。注意，根据第三实施例的视频编码电路和视频解码电路的配置可以与根据第一实施例或第二实施例的视频编码电路1和视频解码电路5的配置相似，因此它们未被示出在附图中并省略其部分的说明。

首先，在根据第三实施例的视频编码电路1中，选择单元14选择预测方法，即为待编码块(以下也称为以作为“编码目标块”)的各分量选择帧内预测或帧间预测。然后，选择单元14将选择的预测方法以内标志或间标志的形式输出到编码单元40。如图10所示，编码单元40生成在其分量参数中包括内标志或间标志的比特流，并将所产生的比特流输出到运动图片解码电路5。在包含大量分量的图像的情况下，图片的特定分量与该图片的其他分量显着不同的情况并不少见。因此，可以通过仅针对特定分量改变预测方法来更高效地执行编码处理和解码处理。

注意，在第三实施例以及其他实施例中，对于由编码单元40执行的编码方法，可以使用固定长度编码。或者，可以使用诸如mpeg-4中规定的cbp(约束基线轮廓)的可变长度编码。

此外，在使用图10所示的比特流的结构的情况下，可以通过使用内标志或间标志将预测方法传送到运动图片解码电路5，因此消除了对指示包含多个分量的每个宏块的预测方法的预测方法选择信息b1的需要。

图11是示出根据第三实施例的比特流的示意性结构的图。

如图11所示，片级可以具有预测方法选择信息b1和内标志或间标志。在图11中，除了预测方法选择信息b1之外，在宏块参数中还包括帧内或帧间超驰使能标志。当预测方法选择信息b1和内标志或间标志两者都存在于比特流中时，为了确定预测方法，有必要确定应该参考这些信息项中的哪一个。为此，当帧内或帧间超驰使能标志为1时，通过参考内标志或间标志的值来确定预测方法。此外，当帧内或帧间超驰使能标志是0时，通过参考预测方法选择信息b1来确定预测方法。

当帧内或帧间超驰使能标志为0时，内标志或间标志不被参考。因此，可以省略内标志或间标志的传输。在这种情况下，由于在比特流中仅包括预测方法选择信息b1(即，不包括内标志或间标志)，所以比特流的结构变得与根据第一实施例的比特流的结构类似。注意，帧内或帧间超驰使能标志的值以及所参考的信息不限于上述示例中的那些值。例如，当帧内或帧间超驰使能标志的值为0时，参考内标志或间标志，而当值为1时，参考预测方法选择信息b1。

在根据第三实施例的视频解码电路5中，码解码单元51解码比特流，并将指示针对要解码的每个分量的图像预测方法的预测方法选择信息b1输出到选择单元56。

然后，选择单元56基于预测方法选择信息b1执行选择，使得通过由预测方法选择信息b1指示的预测方法预测的预测图像被输出到加法单元57。

如上所述，在根据第三实施例的视频编码电路1和视频解码电路5中，即使在包含多个分量的图像中的特定分量(诸如与波长300nm对应的分量)明显与其他分量(诸如图像中对应于波长500nm的分量)不同时，通过仅针对该特定分量改变预测方法，可以更有效地执行编码处理和解码处理。

如上所述，在根据第三实施例的视频编码电路1中，预测图像生成单元10还包括选择帧内预测或帧间预测的选择单元14。此外，选择单元14优选地确定每个分量的预测方法，并且编码单元40优选地将指示所确定的预测方法的预测方法选择信息并入到比特流中。

另外，在根据第三实施例的视频解码电路5中，图像恢复单元52具备帧内预测图像生成单元54和帧间预测图像生成部55。此外，图像恢复单元52优选地基于预测方法选择信息为每个分量选择预测图像，并且基于所选择的预测图像来恢复图像。

(第四实施例)

在根据第一实施例的视频编码电路1和视频解码电路5中，通过参考存储在图像存储器中的参考图像来生成预测图像。与此相对，在根据第四实施例的视频编码电路和视频解码电路中，在通过色调映射对参考图像进行转换之后生成预测图像，将包含分量的图片的色调映射表并入比特流中。以这种方式，编码处理或解码处理被更有效地执行。

图12是示出根据第四实施例的预测图像生成单元20的示意性配置的框图。与根据第一实施例或第二实施例的预测图像生成单元10相比，预测图像生成单元20包括色调映射处理单元22和23。

在根据第四实施例的预测图像生成单元20中，色调映射处理单元22对从相似图像搜索单元12输出的参考图像执行色调映射处理，并将处理后的参考图像输出到帧间预测图像生成单元13。注意，第四实施例中的色调映射表示根据特定表转换每个像素值的操作。通过参考色调映射处理单元22中记录的色调映射表来执行色调映射处理。色调映射表可以由线性函数或非线性函数表示。帧间预测图像生成单元13通过使用已经经历了色调映射处理的参考图像来生成预测图像。

类似于色调映射处理单元22，包括在帧内预测图像生成单元21中的色调映射处理单元23对图片中的每个像素执行色调映射处理，从而生成预测图像。在该处理中，类似于色调映射处理单元22，色调映射处理单元23向编码单元40(未示出)输出色调映射表。由加法单元18将由选择单元14选择的预测图像添加到频率逆变换/逆量化单元17的处理结果，并将相加结果存储在图像存储器19中。

编码单元40将关于色调映射表的信息结合到比特流中，并将包含色调映射表的比特流输出到解码电路。色调映射表优选地包括在图6所示的比特流分级结构的示意图结构中的片级或更高级的参数中。以这种方式，可以减少包含在比特流中的色调映射表的数量，从而减少比特流的信息量。

当色调映射表被包括在低于片级的级中的参数中时，例如，对于每个宏块或者用于编码的每个单元，具有可以改变色调映射表的有利效果。然而，存在色调映射表上的信息量增加的问题。在这样的情况下，与根据第三实施例的帧内或帧间超驰使能标志的情况一样，指示是否应该参考色调映射表的标志可以包括在片级或更低级的参数中。当该标志指示没有参考色调映射表时，即，当该标志指示色调映射处理未被执行时，关于色调映射表的信息不需要被包含在比特流中。

如上所述，即使当色调映射表被包括在低于片级的级中的参数中时，也可以选择是否对每个宏块等执行色调映射处理，从而减少比特流的信息量。

图13是示出根据第四实施例的运动图片解码电路6的示意性配置的框图。

与根据第一实施例或第二实施例的视频解码电路5相比，图像恢复单元61包括色调映射处理单元62和63。色调映射处理单元62和63基于从视频编码电路发送的映射表对预测图像执行色调映射转换。转换的预测图像在加法单元57中与已经被频率逆转换/逆量化的预测残差相加，并且因此变成解码图像。

注意，如图13所示，色调映射处理单元62和63可以分别设置在帧内预测图像生成单元54和帧间预测图像生成单元55的输出侧。或者，也可以将它们设置在选择单元56与加法单元57之间。在预测图像生成单元20中，色调映射处理单元22和23需要被布置在选择单元14的输入侧，使得选择单元14能够基于已经经历色调映射处理的图像来选择预测图像。然而，在视频解码电路6中，由于通过使用包含在比特流中的信息来选择预测图像，所以色调映射处理不一定必须在选择单元56中的处理之前执行。因此，色调映射处理单元可以设置在选择单元56的输出侧，并且因此色调映射处理单元的数量可以减少到一个。结果，可以降低功耗和电路面积。

如上所述，在根据第四实施例的预测图像生成单元20和视频解码电路6中，当即使在具有高度相似性的分量之间平均值或色调分布也不同时，通过使用色调映射执行转换，可以类似地生成具有更高相似度的预测图像。因此，可以更有效地执行编码处理和解码处理。

如上所述，在根据第四实施例的视频编码电路1中，预测图像生成单元20还包括色调映射处理单元22和23，色调映射处理单元22和23通过使用色调映射来变换参考图像中的像素值。此外，预测图像生成单元20优选基于转换后的参考图像生成预测图像。

此外，在根据第四实施例的视频解码电路6中，图像恢复单元61还包括色调映射处理单元62和63，并且色调映射处理单元62和63优选地通过对预测图像执行色调映射处理来恢复图像。

上面已经基于实施例以具体方式解释了由本申请的发明人做出的本公开。然而，本公开不限于上述实施例，并且不用说，在不脱离本公开的精神和范围的情况下可以做出各种修改。

本领域普通技术人员可以根据需要组合第一至第四实施例。

尽管已经根据若干实施例描述了本公开，但是本领域技术人员将认识到，可以在所附权利要求的精神和范围内以各种修改来实践本公开，并且本公开不限于以上所描述的示例。

此外，权利要求的范围不受上述实施例的限制。

此外，注意到，申请人的意图是包含所有权利要求要素的等同物，即使在稍后申请期间修改。