图像处理装置和图像处理方法、程序和成像设备的制作方法
【专利摘要】本发明涉及一种图像处理装置和图像处理方法、程序和成像设备。提供一种图像处理装置，包括：分割单元，将图像数据的图片分割成多种布置；多个编码单元，多个编码单元中的每个编码单元对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码并产生流；以及合成单元，合成由多个编码单元产生的布置中的流，其中，编码单元以从由合成单元进行的合成得到的流变成正常的方式来产生流的头部信息。
【专利说明】图像处理装置和图像处理方法、程序和成像设备
[0001]相关申请的交叉引用
[0002]本申请要求于2013年6月24日提交的日本在先专利申请JP2013-131320的权益，其全部内容通过引用合并于此。
【背景技术】
[0003]本公开内容涉及一种图像处理装置、图像处理方法、程序和成像设备，具体地涉及一种能够容易地执行图像的编码的图像处理装置、图像处理方法、程序和成像设备。
[0004]在现有技术中，存在这样的方法，其中，例如，在对运动图像进行编码时使用多个编码器在图片单元中执行并行处理(例如，参见日本未审专利申请公开第2008-66851号(对应于美国专利第8170120号)和日本未审专利申请公开第2011-211498号)。
【发明内容】
[0005]但是，在现有技术的方法中，存在需要复杂的控制来并行地执行编码操作的担心。
[0006]希望容易地执行图像的编码。
[0007]根据本公开内容的实施例，提供一种图像处理装置，该图像处理装置包括:分割单元，将图像数据的图片分割成多种布置；多个编码单元，所述多个编码单元中的每个编码单元对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码并产生流；以及合成单元，合成由所述多个编码单元产生的布置中的流，其中，编码单元以从由合成单元进行的合成得到的流变成正常的方式来产生流的头部信息。
[0008]在图像处理装置中，编码装置可以以与图片和参考图片有关的信息在合成之后得到的流中变成正常的方式来产生头部信息。
[0009]在图像处理装置中，编码单元可以以规定参考图片列表中的参考索引的最大值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0010]在图像处理装置中，编码单元可以以与从编码图片缓冲器执行读取的时间点有关的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0011]在图像处理装置中，编码单元可以以用作短期参考图片的标识符的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0012]在图像处理装置中，编码单元可以以用于计算图片顺序计数POC的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0013]在图像处理装置中，编码单元可以以指示参考图片列表的最大参考索引值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0014]在图像处理装置中，编码单元可以以与参考图片列表的重排有关的标志信息的值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0015]在图像处理装置中，编码单元可以以与参考图片列表的重排的控制有关的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0016]在图像处理装置中，编码单元可以以指示被移动到参考图片列表的当前索引的图片的图片编号和该图片编号的预测值之间的差的绝对值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0017]在图像处理装置中，每个编码单元可以根据图片组GOP结构对被分配给每个编码单元的布置中的图片进行编码，以及合成单元可以根据在分割单元执行分割之前存在的图像数据中的GOP结构来合成布置中的流。
[0018]在图像处理装置中，编码单元可以将作为被分配给编码单元的布置中的GOP的前面、而不是在分割单元执行分割之前存在的图像数据中的GOP的前面的图片编码为完全由所有的帧内宏块构成的P图片。
[0019]根据本公开内容的另一个实施例，提供一种图像处理方法，该图像处理方法包括:将图像数据的图片分割成多种布置；对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流；在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及合成产生的每种布置中的流。
[0020]根据本公开内容的又一个实施例，存在一种程序，使得计算机执行:将图像数据的图片分割成多种布置；对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流；在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及合成产生的每种布置中的流。
[0021]根据本公开内容的再一个实施例，提供一种图像处理设备，该图像处理设备包括:成像单元，对被摄体进行成像；分割单元，将成像单元通过对被摄体进行成像而获得的图像数据的图片分割成多种布置；多个编码单元，所述多个编码单元中的每个编码单元对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码并产生流；以及合成单元，合成由所述多个编码单元产生的布置中的流，其中，编码单元以从由合成单元进行的合成得到的流变成正常的方式来产生流的头部信息。
[0022]根据本公开内容的实施例，图像数据的图片被分割成多种布置；对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流；在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及合成产生的每种布置中的流。
[0023]根据本公开内容的实施例，对被摄体进行成像；将通过对被摄体进行成像而获得的图像数据的图片分割成多种布置；对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流；在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及合成产生的每种布置中的流。
[0024]根据本公开内容，可以对图像进行处理。特别地，可以抑制由于图像的编码而导致的图像质量的下降。
【专利附图】
【附图说明】
[0025]图1是示出图像编码装置的主要配置示例的框图。
[0026]图2是示出图像编码装置的另一配置示例的框图。
[0027]图3是用于描述流被合成的状态的示图。
[0028]图4是示出第一编码单元的主要配置示例的框图。
[0029]图5是用于描述原始图像和偶数编号图像之间的参考关系的示图。
[0030]图6是用于描述原始图像和奇数编号图像之间的参考关系的示图。
[0031 ]图7是示出语法的示例的示图。
[0032]图8是示出流的配置示例的示图。
[0033]图9是用于描述并行编码处理的流程的示例的示图。
[0034]图10是示出偶数编号图像编码处理的流程的示例的流程图。
[0035]图11是示出块编码处理的流程的示例的流程图。
[0036]图12是示出奇数编号图像编码处理的流程的示例的流程图。
[0037]图13是示出图像编码装置的另一配置示例的框图。
[0038]图14是示出计算机的主要配置示例的框图。
[0039]图15是示出成像设备的主要配置的框图。
【具体实施方式】
[0040]下面描述根据本公开内容的实施例(在下文中被称为实施例)。而且，提供描述的顺序如下。
[0041]1.第一实施例(图像编码装置)
[0042]2.第二实施例(图像编码装置)
[0043]3.第三实施例(计算机)
[0044]4.第四实施例(成像设备)
[0045]1.第一实施例
[0046]现有技术中的并行图像编码
[0047]在现有技术中，存在这样的方法，其中，例如，在对运动图像进行编码时使用多个编码器在图片单元中执行并行处理(例如，参见日本未审专利申请公开第2008-66851号和日本未审专利申请公开第2011-211498号)。
[0048]例如，比如在图1中示出的图像编码设备10中，图像分割单元11将输入图像分成偶数编号图像和奇数编号图像，第一编码单元12和第二编码单元13分别相互并行地对偶数编号图像和奇数编号图像进行编码，并且流合成单元14合成在第一编码单元12中产生的第一流和在第二编码单元13中产生的第二流，因此产生并输出输出流。
[0049]此时，利用日本未审专利申请公开第2011-211498号中公开的方法，需要在第一编码单元12和第二编码单元13(日本未审专利申请公开第2011-211498号中的发送处理单元110和接收处理单元120)之间传送并接收参考图像，并且存在参考图像的发送量变大的担心，因此难以容易地执行编码。基本上，为了实现这种编码，需要以扩宽作为通信路径的带的方式来设计在第一编码单元12和第二编码单元13之间的通信路径(日本未审专利申请公开第2011-211498号中的通信路径140)，并且存在硬件成本增加的担心。
[0050]此外，利用该方法，存在在由第一编码单元12 (日本未审专利申请公开第2011-211498号中的第一 LSI)进行的编码处理和由第二编码单元13 (日本未审专利申请公开第2011-211498号中的第二 LSI)进行的编码处理之间发生依赖关系的担心。例如，如日本未审专利申请公开第2011-211498号中的图5所示，存在发生如下依赖关系的担心:其中，在执行由第一编码单元12进行的偶数编号图像的编码之后，执行芯片之间的传输，并且执行由第二编码单元13进行的奇数编号图像的编码。为了保持这种依赖关系，需要不仅以简单的方式来控制由第一编码单元12进行的处理和由第二编码单元13进行的处理中的每个，而且以集成的方式来控制由第一编码单元12进行的处理和由第二编码单元13进行的处理二者。由此，需要执行复杂的控制，并且存在难以容易地执行编码的担心。此外，相应地,存在开发成本增加的担心。
[0051]图像编码装置
[0052]然后，使得相互依赖关系被取消，而不在并行化的由第一编码单元12进行的编码处理和由第二编码单元13进行的编码处理之间传送并接收信息，并且使得由第一编码单元12进行的编码处理和由第二编码单元13进行的编码处理相互独立地执行。
[0053]图2是示出根据本公开内容的第一实施例的图像编码装置100的配置的一个示例的框图。图2中示出的图像编码装置100将作为运动图像的输入图像分割成用于每个图片的并行化的两种布置，并且对这两种布置中的图像进行编码。
[0054]如图2所示，图像编码装置100包括图像分割单元101、第一编码单元102、第二编码单元103和流合成单元104。
[0055]图像分割单元101将输入图像交替地分割成两种布置。也就是说，图像分割单元101将输入图像的偶数编号图片(偶数编号图像)供应到第一编码单元102，并且将奇数编号图片(奇数编号图像)供应到第二编码单元103。此外，在下文中，输入图像指的是在由图像分割单元101进行的分割之前存在并且输入到图像编码装置100中的一种布置中的运动图像(或者图像的图片)。
[0056]第一编码单元102对作为一种布置中的运动图像的一组供应的偶数编号图像进行编码。例如，第一编码单元102通过执行与高级视频编码(AVC)或高效视频编码(HEVC)相同的帧内预测或帧间预测来产生预测图像，并且通过对预测图像和输入的偶数编号图像的差图像执行正交变换、量化等并且对该结果执行可逆编码来产生流(第一流)。第一编码单元102将产生的第一流(偶数编号图像的组的编码数据)供应到流合成单元104。
[0057]第二编码单元103对供应的奇数编号图像的组执行与第一编码单元102相同的编码，并且产生第二流。第二编码单元103将产生的第二流(奇数编号图像的组的编码数据)供应到流合成单元104。
[0058]流合成单元104将供应的第一流和第二流合成，并且产生一种布置中的输出流。例如，如图3所示，流合成单元104通过交替地排列每个偶数编号图像的编码数据和每个奇数编号图像的编码数据，按照图片在输入图像中排列的顺序，将第一流中包括的每个偶数编号图像的编码数据和第二流中包括的每个奇数编号图像的编码数据重排为一种布置。
[0059]此时，流合成单元104通过适当地组合第一流的头部信息和第二流的头部信息来产生输出流的头部信息。基本上，通过合成第一流和第二流，流合成单元104与在没有并行化的情况下对输入图像进行编码时一样产生流。流合成单元104将产生的输出流输出到图像编码装置100的外部。
[0060]而且，第一编码单元102和第二编码单元103也可以相互并行地执行处理。基本上，例如，在第一编码单元102对作为输入图像的图片进行编码的同时，第二编码单元103可以对作为输入图像的下一个图片执行编码。此外，例如，在第二编码单元103对作为输入图像的图片进行编码的同时，第一编码单元102可以对作为输入图像的下一个图片执行编码。在以这样的方式进行时，第一编码单元102和第二编码单元103中的每个可以在对一个图片进行编码时使用用于两个图片的垂直同步周期。换句话说，第一编码单元102和第二编码单元103在用于两个图片的垂直同步周期内对一个图片执行编码，因此可以实时地(及时地)(即，以与输入图像的帧率相对应的速度)没有上溢地输出输出流。
[0061]基本上，因为第一编码单元102和第二编码单元103可以并行地执行处理，因此可以确保用于编码处理的较长时间，所以即使输入图像例如可以是具有比如4K图像的大量数据(大量像素、大量比特等)，图像编码装置100也可以实时地执行编码。
[0062]此外，不执行第一编码单元102和第二编码单元103之间的诸如参考图像的信息的传送和接收。因此，第一编码单元102和第二编码单元103可以相互独立地执行处理而不在第一编码单元102的编码处理和第二编码单元103的编码处理之间发生依赖关系。
[0063]第一编码单元
[0064]图4是示出图2中的第一编码单元102的主要配置示例的框图。
[0065]图4中示出的第一编码单元102通过执行诸如AVC或HEVC的预测处理对图像数据进行编码。
[0066]如图4所示，第一编码单元102包括A/D转换单元151、图像重排缓冲器152、算术运算单元153、正交变换单元154、量化单元155、可逆编码单元156和累积缓冲器157。此夕卜，第一编码单元102包括逆量化单元158、逆正交变换单元159、算术运算单元160、去块滤波器161、帧存储器162、选择单元163、帧内预测单元164、运动预测和补偿单元165、预测图像选择单元166和速率控制单元167。
[0067]另外，第一编码单元102具有头部产生单元171和头部转换单元172。
[0068]A/D转换单元151对输入的图像数据执行A/D转换，以及将转换后的图像数据(数字数据)供应到图像重排缓冲器152并将其存储在图像重排缓冲器152中。在输入图像是数字图像时，A/D转换单元151变成不必要的。根据图片组(GOP)，图像重排缓冲器152以用于编码的帧顺序重排按照存储的显示顺序的各帧中的图像，并且通过头部产生单元171和头部转换单元172将按照重排的帧顺序的图像供应到算术运算单元153。此外，在图像重排缓冲器152中，按照重排的帧顺序的图像还被供应到帧内预测单元164以及运动预测和补偿单元165。
[0069]算术运算单元153从由图像重排缓冲器152中读取的图像减去通过预测图像选择单元166从帧内预测单元164或运动预测和补偿单元165供应的预测图像，并且将作为结果的差信息输出到正交变换单元154。
[0070]例如，如果对图像执行帧内编码，则算术运算单元153从由图像重排缓冲器152中读取的图像减去从帧内预测单元164供应的预测图像。此外，例如，如果对图像执行帧间编码，则算术运算单元153从由图像重排缓冲器152中读取的图像减去从运动预测和补偿单元165供应的预测图像。
[0071]正交变换单元154对从算术运算单元153供应的差信息执行正交变换，例如离散余弦变换或Karhunen-Loeve变换。而且，这种正交变换方法是任意的。正交变换单元154将这种变换系数供应到量化单元155。
[0072]量化单元155对从正交变换单元154供应的变换系数进行量化。量化单元155基于与从速率控制单元167供应的编码量的目标值有关的信息来设定量化参数，并且对量化参数执行量化。而且，这种量化方法是任意的。量化单元155将量化的变换系数供应到可逆编码单元156。
[0073]可逆编码单元156使用任意的编码方法对在量化单元155中量化的变换系数进行编码。由于在速率控制单元167的控制下对系数数据进行量化，所以这种编码量是由速率控制单元167设定的目标值(或者接近目标值)。
[0074]此外，可逆编码单元156从帧内预测单元164获得指示帧内预测模式等的信息，并且从运动预测和补偿单元165获得指示帧间预测模式的信息、运动向量信息等。另外，可逆编码单元156可以获得在去块滤波器161中使用的滤波器系数等。
[0075]可逆编码单元156使用任意的编码方法对各种这样的信息进行编码，并且将编码的结果设定(多路复用)为编码数据的头部信息的一部分。可逆编码单元156将编码的并且获得的编码数据供应到累积缓冲器157并将其累积在累积缓冲器157中。
[0076]例如，作为由可逆编码单元156使用的编码方法，可以列举可变长度编码、算术编码等。例如，作为可变长度编码，可以列举利用H.264/AVD方法等确定的上下文自适应可变长度编码(CAVLC)。例如，作为算术编码，可以列举上下文自适应二进制算术编码(CABAC)
坐寸ο
[0077]累积缓冲器157临时保持从可逆编码单元156供应的编码数据。累积缓冲器157以预定的定时将保持的编码数据输出为比特流(第一流)。
[0078]此外,在量化单元155中量化的变换系数也被供应到可逆量化单元158。逆量化单元158使用与量化单元155的量化相对应的方法对量化的变换系数进行逆量化。这种逆量化方法可以是与量化单元155的量化处理相对应的任何方法。逆量化单元158将获得的变换系数供应到逆正交变换单元159。
[0079]逆正交变换单元159使用与正交变换单元154的正交变换处理相对应的方法，对从逆量化单元158供应的变换系数执行逆正交变换。这种逆正交变换方法可以是与正交变换单元154的正交变换处理相对应的任何方法。将经过逆正交变换的输出(恢复的差信息)供应到算术运算单元160。
[0080]算术运算单元160将通过预测图像选择单元166从帧内预测单元164或运动预测和补偿单元165供应的预测图像与从逆正交变换单元159供应的逆正交变换的结果(即，恢复的差信息)相加，并且获得局部解码的图像(解码图像)。这种解码图像被供应到去块滤波器161或帧存储器162。
[0081]去块滤波器161通过对从算术运算单元160供应的解码图像执行去块滤波处理来去除解码图像中的块畸变。如果需要的话，去块滤波器161将在滤波处理中使用的诸如滤波器系数的信息供应到可逆编码单元156，并且可以对这种信息进行编码。
[0082]去块滤波器161将滤波处理的结果(在滤波处理之后的解码图像)供应到帧存储器162。而且，如上所述，从算术运算单元160输出的解码图像可以被供应到帧存储器162，而不通过去块滤波器161。基本上，可以省略由去块滤波器161进行的滤波处理。
[0083]帧存储器162存储供应的解码图像，并且以预定的定时将存储的解码图像作为参考图像供应到选择单元163。
[0084]选择单元163选择从帧存储器162供应的参考图像的供应目的地。例如，在帧内预测的情况下，选择单元163将从帧存储器162供应的参考图像供应到帧内预测单元164。此外，例如，在帧间预测的情况下，选择单元163将从帧存储器162供应的参考图像供应到运动预测和补偿单元165。
[0085]帧内预测单元164使用作为通过选择单元163从帧存储器162供应的参考图像的当前图片内的像素值来执行产生预测图像的帧内预测(帧间图像预测)。帧内预测单元164在预先准备的多种模式(帧内预测模式)中执行这种帧内预测。
[0086]帧内预测单元164在所有的候选的帧内预测模式中产生预测图像，使用从图像重排缓冲器152供应的输入图像来评估每个预测图像的成本函数值，并且选择最佳的模式。在选择了最佳的帧内预测模式时，帧内预测单元164将在这种最佳模式中产生的预测图像供应到预测图像选择单元166。
[0087]此外，如上所述，帧内预测单元164将指示所采用的帧内预测模式的帧内预测模式信息等供应到适当的可逆编码单元156，并且对这种信息进行编码。
[0088]运动预测和补偿单元165使用从图像重排缓冲器152供应的输入图像和通过选择单元163从帧存储器162供应的参考图像来执行运动预测(帧间预测)，根据检测到的运动向量执行运动补偿处理，并且产生预测图像(帧间预测图像信息)。运动预测和补偿单元165在预先准备的多种模式(帧间预测模式)中执行这种帧间预测。
[0089]运动预测和补偿单元165在所有的候选的帧间预测模式中产生预测图像，评估每个预测图像的成本函数值，并且选择最佳的模式。在选择了最佳的帧间预测模式时，运动预测和补偿单元165将在这种最佳模式中产生的预测图像供应到预测图像选择单元166。
[0090]此外，在对指示所采用的帧间预测模式的信息或编码数据进行解码时，运动预测和补偿单元165将用于在这种帧间预测模式中执行处理所需的信息供应到可逆编码单元156，并且对这些信息等进行编码。
[0091]预测图像选择单元166选择被供应到算术运算单元153或算术运算单元160的预测图像的供应目的地。例如，在帧内编码的情况下，预测图像选择单元166选择帧内预测单元164作为预测图像的供应目的地，并且将从帧内预测单元164供应的预测图像供应到算术运算单元153或算术运算单元160。此外，例如，在帧间编码的情况下，预测图像选择单元166选择运动预测和补偿单元165作为预测图像的供应目的地，并且将从运动预测和补偿单元165供应的预测图像供应到算术运算单元153或算术运算单元160。
[0092]速率控制单元167基于在累积缓冲器157中累积的编码数据的编码量，以不会发生上溢或下溢的方式控制由量化单元155进行的量化操作的速率。
[0093]头部产生单元171基于正被供应的偶数编号图像的组等来产生第一流的头部信息。基本上，头部产生单元171产生用于偶数编号图像的组的布置的头部信息。头部产生单元171将偶数编号图像的组等与产生的头部信息一起供应到头部转换单元172。
[0094]与用于奇数编号图像的组的布置(不同的布置)有关的信息没有包括在这种头部信息中。因此，仅对偶数编号图像分配这种头部信息，例如，图片的编号、参考该信息的参考图片的编号等。因此，每个编号与在由流合成单元104进行的合成之后得到的输出流中的编号不对应。因此，在输出流中也难以原样地使用与包括在由头部产生单元171产生的头部信息中的图片或参考图片的编号有关的语法。
[0095]头部转换单元172以在输出流中可以使用头部信息的方式(即，以在合成之后得到的输出流变成正常的方式)，转换从头部产生单元171供应的头部信息。
[0096]例如，如图5所示，在偶数编号图像的组的布置中的偶数编号图片的组中的连续编号的图片在原始图像的组的布置中每隔一个图片被编号。此外，对偶数编号图像的组的布置中的紧邻之前的图片的参考对应于对在原始图像的组的布置中的先前两个图片的图片的参考。此外，对偶数编号图像的组的布置中的先前两个图片的图片的参考对应于对在原始图像的组的布置中的先前四个图片的图片的参考。
[0097]头部转换单元172根据原始图像和偶数编号图像之间的这种对应关系来更新头部信息的与图片或参考图片有关的信息(例如，与图片或参考图片的识别有关的信息等)。头部转换单元172将偶数编号图像的组供应到算术运算单元153、帧内预测单元164、运动预测和补偿单元165等，并且通过算术运算单元153至量化单元155将信息被更新的头部信息供应到可逆编码单元156。
[0098]可逆编码单元156将供应的头部信息与产生的编码数据(第一流)相加，并且通过累积缓冲器157将结果输出到流合成单元104。
[0099]第二编码单元
[0100]而且，除了对奇数编号图像而不是偶数编号图像进行编码并且输出第二流而不是第一流以外，第二编码单元103是与第一编码单元102相同的处理单元，并且第二编码单元103执行与第一编码单元102相同的处理。基本上，第二编码单元103具有与第一编码单元102相同的配置(参见图4)。因此，在描述第二编码单元103时可以参照图4。
[0101]例如，第二编码单元103的头部产生单元171基于供应的奇数编号图像的组等来产生第二流的头部信息。基本上，在这种情况下，头部产生单元171产生用于奇数编号图像的组的布置的头部信息。头部产生单元171将奇数编号图像的组等与产生的头部信息一起供应到头部转换单元172。
[0102]第二编码单元103的头部转换单元172以在输出流中可以使用头部信息的方式(即，以在合成之后得到的输出流变成正常的方式)，转换从头部产生单元171供应的头部信息。
[0103]例如，如图6所示，在奇数编号图像的组的布置中的奇数编号图片的组中的连续编号的图片在原始图像的组的布置中每隔一个图片被编号。此外，对奇数编号图像的组的布置中的紧邻之前的图片的参考对应于对在原始图像的组的布置中的先前两个图片的图片的参考。此外，对奇数编号图像的组的布置中的先前两个图片的图片的参考对应于对在原始图像的组的布置中的先前四个图片的图片的参考。
[0104]头部转换单元172根据原始图像和奇数编号图像之间的这种对应关系来更新头部信息的与图片或参考图片有关的信息(例如，与图片或参考图片的识别有关的信息等)。头部转换单元172将奇数编号图像的组供应到算术运算单元153、帧内预测单元164、运动预测和补偿单元165，并且通过算术运算单元153至量化单元155将信息被更新的头部信息供应到可逆编码单元156。
[0105]第二编码单元103的可逆编码单元156将供应的头部信息与产生的编码数据(第二流)相加，并且通过累积缓冲器157将结果输出到流合成单元104。
[0106]流合成单元
[0107]如上所述，被转换为可用于输出终端的信息的头部信息包括在被供应到流合成单元104的第一流和第二流中。因此，流合成单元104基于包括在第一流和第二流中的头部信息，可以容易地产生用于在合成之后得到的输出流的头部信息。基本上，流合成单元104容易地合成第一流和第二流，由此可以产生输出流。
[0108]使得编码处理变得容易
[0109]因此，第一编码单元102和第二编码单元103可以相互独立地执行编码处理，而不发生相互依赖关系。基本上，不需要以集成的方式控制第一编码单元102的编码处理和第二编码单元103的编码处理。因此，图像编码装置100可以更容易地执行图像的编码而没有复杂的控制。此外，相应地，可以抑制开发成本的增加。
[0110]此外，也不需要确保宽带作为第一编码单元102和第二编码单元103之间的通信路径。因此，可以抑制硬件成本的增加。
[0111]要更新的语法
[0112]更详细地描述头部信息的改变。例如，第一编码单元102和第二编码单元103的头部转换单元172将图7中示出的语法参数改变为与图片或参考图片有关的信息。
[0113]如图7所示,例如,头部转换单元172改变图片参数(pic_parameter_set)的num_ref_idx_10_active_minusl。如果 num_ref_idx_active_override_f lag 的值是 O,贝[I num_ref_idx_10_active_minusl规定参考图片列表中的参考索引的最大值。I与该值相加的结果是参考索引的最大值。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片有关的信息。
[0114]此外，如图7所示，例如，头部转换单元172改变图片定时SEI (互补增强信息)的cpb_removal_delay。cpb_removal_delay是与从编码图片缓冲器(CPB)执行读取的时间点有关的信息，并且利用与初始时间点信息的延迟来指示。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片有关的信息。
[0115]此外，如图7所示,例如，头部转换单元172改变片段头部的frame_num。frame_num用作短期参考图片的标识符。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片有关的信息。
[0116]此外,如图7所示,例如,头部转换单元172改变片段头部的pic_order_cnt_lsb。pic_order_cnt_lsb用于计算作为指示图片被输出的顺序的信息的图片顺序计数(POC)。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片有关的信息。
[0117]此外，如图7所示，例如，头部转换单元172改变片段头部的num_ref_idx_10_active_minus I。num_ref_idx_10_active_minus I指不参考图片列表的最大参考索引值。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片有关的信息。
[0118]此外，如图7所示，例如，头部转换单元172改变片段头部的ref_pic_list_reordering_f lag_10。ref_pic_list_reordering_f lag_10 是指不是否执行参考图片列表的重排的信息。如果值是1，则执行参考图片列表的重排。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片列表的重排有关的彳目息。
[0119]此外,如图7所示,例如,头部转换单元172改变片段头部的reordering_of_pic_nums_idc。reorder ing_of_pic_nums_idc是指定要重排的图片索引属于哪个并且与参考图片列表的重排的控制有关的语法。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片有关的信息。
[0120]此外，如图7所示,例如，头部转换单元172改变片段头部的abs_diff_pic_num_minus I。abs_dif f_p i c_num_minusl指示被移动到参考图片列表的当前索引的图片的图片编号和图片编号的预测值之间的差的绝对值。也就是说，abs_diff_pic_num_minusl指定要被指定为当前索引的图片。头部转换单元172基于图5或图6中示出的关系，以信息在输出流中变成正常的方式来改变与这种参考图片有关的信息。
[0121]因为头部转换单元172以这种方式改变各种信息，所以第一编码单元102和第二编码单元103可以相互独立地执行编码处理，并且图像编码装置100可以更容易地执行图像的编码。
[0122]当然，图像编码装置100可以改变除上述参数以外的参数等。
[0123]GOP
[0124]第一编码单元102根据图片组(GOP)结构对偶数编号图像的组进行编码，并且产生第一流。以相同的方式，第二编码单元103根据GOP结构对奇数编号图像的组进行编码，并且产生第二流。流合成单元104以输出流变成通过根据GOP结构对输入图像进行编码而获得的流的方式来合成第一流和第二流。基本上，例如，第一流和第二流如图3所示地被合成。此时，第一流的GOP的前面图片变成输出流的GOP的前面图片，并且第二流的GOP的前面图片没有变成输出流的GOP的前面图片。
[0125]因此，如图8所示，第二编码单元103对作为仅仅由帧内块构成的P图片而不是I图片(图8中的2(P’0))的第二流的GtOP的前面图片进行编码。在以这种方式进行时，流合成单元104可以容易地以如图8所示地使得输出流变成正常的GOP结构的方式来合成第一流和第二流。
[0126]处理的流程
[0127]接下来，描述由图像编码装置100执行的处理的流程。
[0128]并行编码处理的流程
[0129]参照图9中的流程图来描述由图像编码装置100执行的并行编码处理的流程的示例。
[0130]在步骤SlOl中，图像编码装置100的图像分割单元101将输入图像的每个图片顺序地分割成偶数编号图像和奇数编号图像。对偶数编号图像执行步骤S102中的处理，并且对奇数编号图像执行步骤S103中的处理。对偶数编号图像执行的步骤S102中的处理和对奇数编号图像执行的步骤S103中的处理可以相互并行地执行。
[0131]在步骤S102中，第一编码单元102对输入的偶数编号图像中的每个图片进行编码。在步骤S102中的处理完成时，处理前进到步骤S104。此外，在步骤S103中，第二编码单元103对输入的奇数编号图像中的每个图片进行编码。在步骤S103中的处理完成时，处理前进到步骤S104。
[0132]在步骤S104中，流合成单元104合成通过步骤S102中的处理产生的第一流和通过步骤S103中的处理产生的第二流，并且产生输出流。而且，流合成单元104可以顺序地合成供应的每个图片的流。基本上，步骤S104中的处理可以与步骤S102或步骤S103中的处理并行地执行。
[0133]当第一流和第二流全部被合成并且完成了步骤S104中的处理时，并行编码处理完成了。
[0134]偶数编号图像编码处理的流程
[0135]接下来，参照图10中的流程图来描述在图9中的步骤S102中执行的偶数编号图像编码处理的流程的示例。
[0136]当偶数编号图像编码处理开始时，在步骤S121中，第一编码单元102的A/D转换单元151对输入的偶数编号图像执行A/D转换。在步骤S122中，第一编码单元102的图像重排缓冲器152存储执行了 A/D转换的图像，并且如果需要的话，以将图片被显示的顺序改变为图片被编码的顺序的方式对图片进行重排。
[0137]在步骤S123中，头部产生单元171产生第一流(偶数编号图像)的头部信息。在步骤S124中，头部转换单元172以输出流变成正常的方式来转换在步骤S123中产生的头部信息。
[0138]在步骤S125中，第一编码单元102对每个块的作为处理目标的当前图片进行编码。而且，第一编码单元102对每个图片(每个偶数编号图像)执行步骤S121至步骤S125中的处理操作。
[0139]在对所有的图片执行了步骤S121至步骤S125中的处理操作时，偶数编号图像编码处理完成了，并且处理返回到图9中的流程图。
[0140]块编码处理的流程
[0141]接下来，参照图11中的流程图来描述在图10中的步骤S125中执行的块编码处理的流程的示例。
[0142]在块编码处理开始时，在步骤S141中，帧内预测单元164在帧内预测模式中执行帧内预测处理。在步骤S142中，运动预测和补偿单元165执行帧间运动预测处理，该帧间运动预测处理在帧间预测模式中执行运动预测或运动补偿。
[0143]在步骤S143中，预测图像选择单元166基于从帧内预测单元164以及运动预测和补偿单元165输出的每个成本函数值来确定最佳的预测模式。基本上，预测图像选择单元166选择由帧内预测单元164产生的预测图像或者由运动预测和补偿单元165产生的预测图像。
[0144]在步骤S144中，算术运算单元153执行算术运算以获得重排的图像和通过步骤S143中的处理选择的预测图像之间的差。与原始的图像数据相比，在数据量方面存在较少的差数据。因此，与原样地对图像进行编码的情况相比，可以压缩数据量。
[0145]在步骤S145中，正交变换单元154对通过步骤S144中的处理产生的差信息执行正交变换。更具体地，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S146中，量化单元155对通过步骤S145中的处理获得的正交变换系数执行量化。
[0146]如下地对通过步骤S146中的处理量化的差信息进行局部解码。也就是说，在步骤S147中，逆量化单元158使用与步骤S146中的量化相对应的方法，对通过步骤S146中的处理量化的正交变换系数进行逆量化。在步骤S148中，逆正交变换单元159使用与步骤S145中的处理相对应的方法，对通过步骤S147中的处理获得的正交变换系数执行逆正交变换。
[0147]在步骤S149中，算术运算单元160将预测图像与局部解码的差信息相加，并且产生局部解码的图像(与到算术运算单元153的输入相对应的图像)。在步骤S150中，去块滤波器161对通过步骤S149中的处理产生的图像执行去块滤波处理。通过这样做，去除了块畸变。
[0148]在步骤S151中，帧存储器162存储通过步骤S150中的处理执行了块畸变等的图像。此外，没有由去块滤波器161执行滤波处理的图像从算术运算单元160被供应到帧存储器162并被存储在帧存储器162中。存储在帧存储器162中的图像用于步骤S141中的处理或步骤S142中的处理。
[0149]在步骤S152中，可逆编码单元156对通过步骤S146中的处理量化的变换系数进行编码并产生编码数据。也就是说，对差图像(在帧间预测的情况下，第二差图像)执行诸如可变长度编码或算术编码的可逆编码。
[0150]而且，可逆编码单元156将编码数据与在图10中的步骤S123中产生并且在步骤S124中被转换的头部信息相加。
[0151]此外，可逆编码单元156对与通过步骤S143中的处理选择的预测图像的预测模式有关的信息进行解码，并且将其与通过对差图像进行编码而获得的编码数据相加。例如，如果选择了帧内预测模式，则可逆编码单元156对帧内预测模式信息进行编码。此外，例如，如果选择了帧间预测模式，则可逆编码单元156对帧间预测模式信息进行编码。例如，这种信息作为头部信息等与编码数据相加(多路复用)。
[0152]在步骤S153中，累积缓冲器157对通过步骤S152中的处理产生的编码数据进行累积。在累积缓冲器157中累积的编码数据被适当地读取并作为第一流被输出到流合成单元 104。
[0153]在步骤S154中，速率控制单元167基于通过步骤S153中的处理在累积缓冲器157中累积的压缩数据，以不会发生上溢或下溢的方式控制由量化单元155进行的量化操作的速率。
[0154]第一编码单元102对当前图片的每个块执行上述一系列处理操作。在以这样的方式对所有的图片编码时，编码处理完成了，并且本处理返回到图10中的流程图。
[0155]奇数编号图像编码处理的流程
[0156]接下来，参照图12中的流程图来描述在图9中的步骤S103中执行的奇数编号图像编码处理的流程的示例。
[0157]当奇数编号图像编码处理开始时，在步骤S171中，第二编码单元103的A/D转换单元151对输入的奇数编号图像执行A/D转换。在步骤S172中，第二编码单元103的图像重排缓冲器152存储执行了 A/D转换的图像，并且如果需要的话，以将图片被显示的顺序改变为图片被编码的顺序的方式对图片进行重排。
[0158]在步骤S173中，第二编码单元103确定作为处理目标的当前图片是否为GOP的前面图片。如果确定当前图片不是处理目标，则本处理前进到步骤S174。
[0159]在步骤S174中，第二编码单元103的头部产生单元171产生第二流(偶数编号图像)的头部信息。在步骤S175中，第二编码单元103的头部转换单元172以输出流变成正常的方式来转换在步骤S174中产生的头部信息。
[0160]在步骤S176中，第一编码单元103对每个块的作为处理目标的当前图片进行编码。第二编码单元103对奇数编号图像的当前图片执行基本上与图11的流程图中的块编码处理相同的块编码处理，并且输出第二流。
[0161]此外，在步骤S173中，如果确定作为处理目标的当前图片是GOP的前面图片，则本处理前进到步骤S177。在步骤S177中，第二编码单元103对作为完全由帧间宏块构成的P图片的当前块进行编码。基本上，第二编码单元103对所有的块执行如步骤S174中的处理相同的处理，由此产生第二流(奇数编号图像)的头部信息，并且执行如步骤S175中的处理，由此以输出流变成正常的方式来转换所产生的头部信息。然后，第二编码单元103通过帧内预测产生预测图像，并且执行除了产生这种预测图像以外基本上与图11的流程图中的块编码处理相同的块编码处理并输出第二流。第二编码单元103以这种方式使用帧内预测对当前图片的所有块进行编码。在GOP的前面图片的编码完成时，步骤S177中的处理完成。
[0162]第二编码单元103对每个图片(每个奇数编号图像)执行上述一系列处理操作。在对所有的图片执行该系列处理操作时，奇数编号图像编码处理完成，并且本处理返回到图9中的流程图。
[0163]通过执行上述每个处理，图像编码装置100可以更容易地执行图像的编码。
[0164]2.第二实施例
[0165]图像编码装置
[0166]上面描述了输入图像被分割成两种布置(一种布置用于偶数编号图像，另一种布置用于奇数编号图像)的情况，但是输入图像可以被分割成任意数量的布置。也就是说，输入图像可以被分割成三种布置。基本上，相互独立地执行编码的编码单元的数量是任意的，而不限于2个，并且例如可以是3个或更多个。
[0167]例如，如图13所示，图像编码装置200包括图像分割单元201、N(N是等于或大于3的整数)个编码单元(第一编码单元202-1、第二编码单元202-2、以及以此类推直到第N编码单元202-N)和流合成单元204。
[0168]图像分割单元201顺序地分割用于第一编码单元202-1至第N编码单元202-N的输入图像的图片，并且供应作为结果的图片(将图片分割成N种布置)。也就是说，图像分割单元201将输入图像的第O图片供应到第一编码单元202-1，将输入图像的第一图片供应到第二编码单元202-2，并且以此类推，直到将输入图像的第(N-1)图片供应到第N编码单元202-N。然后，图像分割单元201将输入图像的第N图片供应到第一编码单元202-1。随后，以相同的方式执行分割。
[0169]第一编码单元202-1至第N编码单元202-N可以以与图像编码装置100的第一编码单元102和第二编码单元103相同的方式相互独立地、并行地执行编码。例如，第一编码单元202-1对从图像分割单元201供应的第一布置中的每个图片进行编码，并且产生第一流。此外，例如，第二编码单元202-2对从图像分割单元201供应的第二布置中的每个图片进行编码，并且产生第二流。而且，例如，第N编码单元202-N对从图像分割单元201供应的第N布置中的每个图片进行编码，并且产生第N流。第一流至第N流被供应到流合成单元 204。
[0170]流合成单元204合成所供应的第一流至第N流，以及产生并输出输出流。
[0171 ] 此外，在这种情况下，第一编码单元202-1至第N编码单元202-N以与图像编码装置100的第一编码单元102和第二编码单元103相同的方式执行编码，而不在编码单元之间传送并接收信息。此外，第一编码单元202-1至第N编码单元202-N产生每个流的头部信息，并且以输出流变成正常的方式来转换这种头部信息。在以这样的方式进行时，图像编码装置200可以以与图像编码装置100相同的方式容易地执行图像的编码。
[0172]而且，第一编码单元202-1至第N编码单元202-N中的每个将作为被分配给第一编码单元202-1至第N编码单元202-N中的每个的布置中的GOP的前面图片、而不是输入图像(输出流)中的GOP的前面图片的图片编码为完全由帧内宏块构成的P图片。例如，如果只有第一编码单元202-1对输入图像(输出流)中的GOP的前面图片进行编码，则第一编码单元202-1将输入图像(输出流)中的GOP的前面图片编码为I图片。相反地，第二编码单元202-2至第N编码单元202-N中的每个将这种布置中的GOP的前面图片编码为完全由帧内宏块构成的P图片。在以这种方式进行时，图像编码装置200的流合成单元204可以以使得输出流变成图8中示出的GOP结构的方式(以与图像编码装置100的流合成单元104相同的方式)容易地合成流。
[0173]其它方面
[0174]而且，为了方便描述，头部产生单元171在上面被描述为首先产生这种布置的头部信息，并且头部转换单元172被描述为以在输出流中可以使用该头部信息的方式来转换这种头部信息。但是，并不限于此，例如，头部产生单元171可以产生在输出流中可以使用的头部信息(也就是说，其等效于由头部转换单元172输出的头部信息)。在这种情况下，可以省略头部转换单元172 (图10中的步骤S124、图12中的步骤S175等)。
[0175]此外，输入图像(输出流)中的GOP的前面图片可以由任何编码单元进行编码。例如，对每个GOP的前面图片进行编码的编码单元可以被统一。
[0176]3.第三实施例
[0177]计算机
[0178]上述一系列处理操作可以以硬件来执行或者可以以软件来执行。在这种情况下，例如，该系列处理操作可以以在图14中示出的计算机中执行的方式来配置。
[0179]在图14中，计算机900的中央处理单元(CPU) 901根据只读存储器(ROM) 902中存储的程序或者从存储单元913加载到随机存取存储器(RAM)903的程序来执行各种处理操作。CPU901执行各种处理操作所需的数据等也被适当地存储在RAM903中。
[0180]CPU901、R0M902和RAM903通过总线904相互连接。输入/输出接口 910还被连接到总线904。
[0181]输入单元911、输出单元912、存储单元913和通信单元914被连接到输入/输出接口 910。输入单元911由键盘、鼠标、触摸面板和输入终端构成。输出单元912由诸如阴极射线管(CRT)、液晶显示器(LCD)或有机电致发光显示器(OLED)的显示器，诸如扬声器或输出终端的任意的输出装置等构成。存储单元913由诸如硬盘或闪存的任意的存储介质、控制这种存储介质的输入和输出的控制单元等构成。通信单元914由诸如调制解调器、LAN接口、通用串行总线(USB)和蓝牙(Bluetooth，注册商标)装置的任意的有线或无线通信装置构成。例如，通信单元914执行通过包括英特网的网络与其它通信装置进行通信的处理。
[0182]在需要的时候，驱动器915被连接到输入/输出接口 910。诸如磁盘、光盘或磁光盘或半导体存储器的可移动介质921被适当地安装在驱动器915中。例如，驱动器915在CPU901的控制下从安装在驱动器915中的可移动介质921读取计算机程序、数据等。例如，读取的数据或计算机程序被供应到RAM903。此外，如果需要的话，在存储单元913中安装从可移动介质921读取的计算机程序。
[0183]如果上述系列处理操作以软件来执行，则从网络或记录介质安装提供这种软件的主体的程序。
[0184]如图14所示，例如，记录介质不仅可以由可移动介质921构成，而且可以由包括在存储单元913中的R0M902或硬盘构成。可移动介质921由磁盘(包括软盘)、光盘(包括压缩盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))、半导体存储器等构成，其中的每个被分发用于将程序传送到与设备的主体分开的用户并且其上存储有程序。其上存储有程序的R0M902在预先被内置于设备的主体的状态中被传送给用户。
[0185]而且，由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列执行处理的程序，或者可以是在需要的定时(例如，在执行调用时)并行地执行处理的程序。
[0186]此外，在本说明书中，描述在记录介质上存储的程序的步骤不仅包括根据描述的顺序以时间序列执行的处理，而且包括即使不必以时间序列执行处理也并行地或各自地执行的处理。
[0187]4.第四实施例
[0188]成像设备
[0189]例如，根据实施例的上述图像编码装置100和图像编码装置200可以应用于各种电子设备，例如，发送器或接收器、记录设备或再现设备。发送器或接收器用于通过卫星广播、诸如有线TV的有线广播和英特网的传送，通过蜂窝通信传送到终端等。记录装置在诸如光盘、磁盘、柔性存储器等介质上记录图像。再现设备从记录介质再现图像。
[0190]图15示出应用上述实施例的成像设备的概略配置的一个示例。成像设备960对被摄体进行成像，产生被摄体的图像，对图像的图像数据进行编码，并且将编码的图像数据存储在记录介质中。
[0191]成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元
964、显示单元965、外部接口(I/F)单元966、存储器967、介质驱动器968、0SD969、控制单元970、用户接口 (I/F)单元971和总线972。
[0192]光学块961与成像单元962连接。成像单元962与信号处理单元963连接。显示单元965与图像处理单元964连接。用户接口单元971与控制单元970连接。总线972提供图像处理单元964、外部接口单元966、存储器967、介质驱动器968、0SD969和控制单元970之间的连接。
[0193]光学块961具有聚焦透镜、光阑机构等。光学块961使得被摄体的光学图像被成像到成像单元962的成像表面上。成像单元962具有诸如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)的图像传感器，并且通过光电转换将在成像表面上成像的光学图像转换为作为电信号的图像信号。然后，成像单元962将图像信号输出到信号处理单元963。
[0194]信号处理单兀963对从成像单兀962输入的图像信号执行各种照相机信号处理，例如，拐点校正(KNEE correct1n)、伽马校正和颜色校正。信号处理单元963将通过照相机信号处理的图像数据输出到图像处理单元964。
[0195]图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且产生编码数据。然后，图像处理单元964将产生的编码数据输出到外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码，并且产生图像数据。然后，图像处理单元964将产生的图像数据输出到显示单元
965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示单元965，并在显示单元965上显示图像。此外，图像处理单元964可以将从0SD969获得的显示数据输出到显示单元965，并将显示数据叠加到图像上。
[0196]例如，0SD969产生诸如菜单、按钮或光标的⑶I图像，并且将产生的图像输出到图像处理单元964。
[0197]例如，外部接口单元966由USB输入/输出端子构成。例如，在打印图像时，外部接口单元966与成像设备960和打印机连接。此外，在需要的时候，驱动器与外部接口单元966连接。例如，诸如磁盘或光盘的可移动介质被安装在驱动器中，并且从可移动介质读取的程序可以被安装在成像设备960中。另外，外部接口单元966可以被构造为网络接口，该网络接口与诸如LAN或英特网的网络连接。也就是说，外部接口单元966起到成像设备960中的发送单元的作用。
[0198]例如，在介质驱动器968中安装的记录介质可以是任意的可读可写的可移动介质，例如，磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以被固定地安装在介质驱动器968中。例如，非便携式存储单元可以被构造为诸如内置的硬盘驱动器或固态驱动器(SSD)。
[0199]控制单元970具有诸如CPU的处理器、以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。例如，在启动成像设备960时，CPU读取并执行在存储器中存储的程序。例如，通过执行该程序，CPU根据从用户接口单元971输入的操作信号来控制成像设备960的操作。
[0200]用户接口单元971与控制单元970连接。例如，用户接口单元971具有用户用来操作成像设备960的按钮和开关。用户接口单元971通过这种组成元件来检测用户的操作，因此产生操作信号并将产生的操作信号输出到控制单元970。
[0201]在具有这种配置的成像设备960中，图像处理单元964具有与根据实施例的上述图像编码装置100 (参照图2)或图像编码装置200 (参照图13)相同的功能。因此，可以抑制成像设备960中的由于图像的编码而导致的图像质量的下降。
[0202]而且，在本说明书中，系统指的是由多个装置(设备)构成的整个系统。
[0203]此外，上述具有一个装置(或处理单元)的配置可以被改变为具有多个装置(或处理单元)的配置。相反，上述具有多个装置(或处理单元)的配置可以被改变为具有一个装置(或处理单元)的配置。此外，当然，除了上述配置以外的配置可以被添加到每个装置(或每个处理单元)的配置。而且，在配置和操作基本上与整个系统相同时，某一装置(或某一处理单元)的配置的一部分可以被包括在其它装置(或其它处理单元)的配置中。基本上，本技术的实施例并不限于上述实施例，并且可以在不偏离本技术的主旨的范围内进行各种修改。
[0204]而且，本公开内容可以采用下面的配置。
[0205](I) 一种图像处理装置，包括:分割单元，将图像数据的图片分割成多种布置；多个编码单元，所述多个编码单元中的每个编码单元对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码并产生流；以及合成单元，合成由所述多个编码单元产生的布置中的流，其中，编码单元以从由合成单元进行的合成得到的流变成正常的方式来产生流的头部信息。
[0206](2)根据⑴和(3)至(12)中的任何一项的图像处理装置，其中，编码装置以与图片和参考图片有关的信息在合成之后得到的流中变成正常的方式来产生头部信息。
[0207](3)根据(I)、⑵和(3)至(12)中的任何一项的图像处理装置，其中，编码单元以规定参考图片列表中的参考索引的最大值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0208](4)根据⑴至(3)和(5)至(12)中的任何一项的图像处理装置，其中，编码单元以与从编码图片缓冲器执行读取的时间点有关的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0209](5)根据⑴至(4)和(6)至(12)中的任何一项的图像处理装置，其中，编码单元以用作短期参考图片的标识符的语法值在合成之后得到的流中变成正常值的方式来产生头部?目息。
[0210](6)根据⑴至(5)和(7)至(12)中的任何一项的图像处理装置，其中，编码单元以用于计算图片顺序计数POC的语法值在合成之后得到的流中变成正常值的方式来产生头部?目息。
[0211](7)根据⑴至(6)和⑶至(12)中的任何一项的图像处理装置，其中，编码单元以指示参考图片列表的最大参考索引值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0212](8)根据⑴至(7)和(9)至(12)中的任何一项的图像处理装置，其中，编码单元以与参考图片列表的重排有关的标志信息的值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0213](9)根据⑴至⑶和(10)至(12)中的任何一项的图像处理装置，其中，编码单元以与参考图片列表的重排的控制有关的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0214](10)根据⑴至(9)、(11)和(12)中的任何一项的图像处理装置，其中，编码单元以指示被移动到参考图片列表的当前索引的图片的图片编号和该图片编号的预测值之间的差的绝对值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
[0215](11)根据⑴至(10)和(12)中的任何一项的图像处理装置，其中，每个编码单元根据图片组GOP结构对被分配给每个编码单元的布置中的图片进行编码，以及合成单元根据在分割单元执行分割之前存在的图像数据中的GOP结构来合成布置中的流。
[0216](12)根据⑴至(11)中的任何一项的图像处理装置，其中，编码单元将作为被分配给编码单元的布置中的GOP的前面、而不是在分割单元执行分割之前存在的图像数据中的GOP的前面的图片编码为完全由所有的帧内宏块构成的P图片。
[0217](13) 一种图像处理方法，包括:将图像数据的图片分割成多种布置；对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流；在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及合成产生的每种布置中的流。
[0218](14) 一种程序，用于使得计算机执行:将图像数据的图片分割成多种布置；对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流；在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及合成产生的每种布置中的流。
[0219](15) 一种图像处理设备，包括:成像单元，对被摄体进行成像；分割单元，将成像单元通过对被摄体进行成像而获得的图像数据的图片分割成多种布置；多个编码单元，所述多个编码单元中的每个编码单元对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码并产生流；以及合成单元，合成由所述多个编码单元产生的布置中的流，其中，编码单元以从由合成单元进行的合成得到的流变成正常的方式来产生流的头部信息。
[0220]本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内即可。
【权利要求】
1.一种图像处理装置，包括: 分割单元，将图像数据的图片分割成多种布置； 多个编码单元，所述多个编码单元中的每个编码单元对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码并产生流；以及 合成单元，合成由所述多个编码单元产生的布置中的流， 其中，编码单元以从由合成单元进行的合成得到的流变成正常的方式来产生流的头部信息。
2.根据权利要求1所述的图像处理装置， 其中，编码装置以与图片和参考图片有关的信息在合成之后得到的流中变成正常的方式来产生头部信息。
3.根据权利要求2所述的图像处理装置， 其中，编码单元以规定参考图片列表中的参考索引的最大值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
4.根据权利要求2所述的图像处理装置， 其中，编码单元以与从编码图片缓冲器执行读取的时间点有关的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
5.根据权利要求2所述的图像处理装置， 其中，编码单元以用作短期参考图片的标识符的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
6.根据权利要求2所述的图像处理装置， 其中，编码单元以用于计算图片顺序计数POC的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
7.根据权利要求2所述的图像处理装置， 其中，编码单元以指示参考图片列表的最大参考索引值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
8.根据权利要求2所述的图像处理装置， 其中，编码单元以与参考图片列表的重排有关的标志信息的值在合成之后得到的流中变成正常值的方式来产生头部信息。
9.根据权利要求2所述的图像处理装置， 其中，编码单元以与参考图片列表的重排的控制有关的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
10.根据权利要求2所述的图像处理装置， 其中，编码单元以指示被移动到参考图片列表的当前索引的图片的图片编号和该图片编号的预测值之间的差的绝对值的语法值在合成之后得到的流中变成正常值的方式来产生头部信息。
11.根据权利要求1所述的图像处理装置， 其中，每个编码单元根据图片组GOP结构对被分配给每个编码单元的布置中的图片进行编码，以及 合成单元根据在分割单元执行分割之前存在的图像数据中的GOP结构来合成布置中的流。
12.根据权利要求11所述的图像处理装置， 其中，编码单元将作为被分配给编码单元的布置中的GOP的前面、而不是在分割单元执行分割之前存在的图像数据中的GOP的前面的图片编码为完全由所有的帧内宏块构成的P图片。
13.一种图像处理方法，包括: 将图像数据的图片分割成多种布置； 对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流； 在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及 合成产生的每种布置中的流。
14.一种程序，用于使得计算机执行: 将图像数据的图片分割成多种布置； 对从分割得到的每种布置中的图片进行编码，并且产生每种布置中的流； 在对每种布置中的图片进行编码时，以在合成之后得到的流变成正常的方式来产生流的头部信息；以及 合成产生的每种布置中的流。
15.一种图像处理设备，包括: 成像单元，对被摄体进行成像； 分割单元，将成像单元通过对被摄体进行成像而获得的图像数据的图片分割成多种布置； 多个编码单元，所述多个编码单元中的每个编码单元对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码并产生流；以及 合成单元，合成由所述多个编码单元产生的布置中的流， 其中，编码单元以从由合成单元进行的合成得到的流变成正常的方式来产生流的头部信息。
【文档编号】H04N19/436GK104243993SQ201410268802
【公开日】2014年12月24日 申请日期:2014年6月17日 优先权日:2013年6月24日
【发明者】小鹰直彦 申请人:索尼公司