专利名称：图像处理装置和图像处理方法
技术领域：
本公开涉及图像处理装置和图像处理方法。具体地，本公开用于减少在对多视角图像的编码处理中的视角点之间图像质量的差异。
背景技术：
近些年，当信息被作为例如数字数据处理时高效地传输和累积图像信息的装置、 遵从诸如MPEG (其利用诸如离散余弦变换之类的正交变换和运动补偿来压缩图像)之类的系统的装置在广播站及家庭使用中正变得很流行。具体地，现今，MPEG2 (IS0/IEC13818-2)被定义作为通用图像编码系统，并且被广泛地用于专业应用和消费者应用的广泛应用。另外，H.264*MPEG-4Part 10被标准化作为可实现高更高编码效率的图像编码系统，虽然与诸如MPEG2之类的编码系统相比，必须有更大量的计算用于编码/解码。对立体图像的记录通过利用以上的图像编码系统被执行。例如，在 JP-A-7-123447(专利文献1)中，左眼图像被布置在奇数编号的场中，而右眼图像被布置在偶数编号的场中，并且以I-画面、P-画面和B-画面的次序来顺序地执行编码。
发明内容
当高效压缩通过利用I-画面、P-画面和B-画面被执行时，在图像质量中出现不同，因为失真的状态根据画面类型的不同而不同。因此，当多视角图像(例如，左眼图像和右眼图像)通过利用长GOP(画面组)结构被各自编码以生成已编码的立体图像流时，在左眼图像和右眼图像之间的画面类型的差异可导致奇怪的立体图像。因此，希望当左眼图像和右眼图像通过利用长GOP结构被各自编码时同步画面类型。此处，当左眼图像编码设备和右眼图像编码设备被紧密耦合并且左眼编码设备的画面类型和右眼图像编码设备的画面类型由一个控制器指定时，很容易同步画面类型。但是，当左眼图像编码设备和右眼图像编码设备被松散耦合时，很难同步画面类型以减少在视角点之间的图像质量的差异。例如，当各图像编码设备被独立地在模块中操作时，很难识别执行编码处理时由一个图像编码设备和另一图像编码设备所使用的画面类型，除非各图像编码设备通过高速接口连接来执行通信。因此，与紧密耦合的情形相比，在松散耦合的情形中，很难减少在视角点之间的图像质量的差异。鉴于以上，希望提供一种能够当多视角图像被各自编码时减少视角点之间的图像质量的差异的图像处理装置和图像处理方法。本公开的实施例涉及图像处理装置，其包括，从多视角图像的各自图像数据中读取时间码的时间码读取器、通过每个视角点执行对图像数据的编码处理的编码处理单元， 以及基于时间码控制编码处理的开始以同步在每个视角点的编码处理中的画面类型的控制单元。根据该实施例，当时，由时间码读取器从图像数据读取的时间码例如是给定值时，控制单元在编码处理单元中开始长GOP(画面组)结构的编码处理。控制单元还在编码处理中设置画面的类型。该处理是针对多视角图像的各自图像数据被执行的，从而同步画面类型并执行编码处理。当场景变更检测单元检测到场景变更时，GOP结构被变更，并且，I-画面被插入。在变更GOP结构之前和之后，B-画面的相位被使得一致。在变更GOP结构过程中，其中已检测到场景变更的GOP和下一个GOP的GOP长度被变更，然后，I-画面被插入到场景的切换处。另外，其中已检测到场景变更的GOP被分割，并且，I-画面被插入到场景的切换处。本公开的另一实施例涉及图像编码装置执行对多视角图像的图像数据的编码处理的图像处理方法，该方法包括，从多视角图像的各自图像数据读取时间码、通过每个视角点执行对图像数据的编码处理，以及基于时间码来控制编码处理的开始，以同步在每个视角点的编码处理中的画面类型。根据该实施例，编码处理的开始基于从多视角图像的各自图像数据所读取的时间码被控制，并且，在通过每个视角点所进行的编码处理中的画面类型被设置为同步的画面类型。因此，当多视角图像被各自编码时，在视角点之间的图像质量的差异可被减少。
图1是示出了第一实施例的配置的示图；图2是示出了在第一实施例中的操作的流程图；图3是示出了画面类型设置处理的流程图；图4A到4D是示出了在第一实施例中的操作的示图；图5是示出了第二实施例的配置的示图；图6是示出了在第二实施例中的操作的流程图；图7是考虑了场景变更的画面类型设置处理的流程图；以及图8A到8E是示出了在第二实施例中的操作的示图。
具体实施例方式以下，将说明用于实施本公开的实施例。1.第一实施例2.第二实施例<1.第一实施例>[图像处理装置的配置]图1示出了根据本公开的一实施例的图像处理装置的配置。图1示出了当对例如左眼图像和右眼图像的编码处理被作为对多视角图像的图像处理执行时所使用的配置。图像处理装置10包括执行左眼图像的编码处理的左眼图像编码单元20L、执行右眼图像的编码处理的右眼图像编码单元20R、复用器40以及控制器50。左眼图像编码单元20L包括视频输入单元21L、编码处理单元ML以及CPU (中央处理单元)25L。视频输入单元21L包括时间码读取器22L。视频输入单元21L将左眼图像的基带信号DV-L转换成对应于编码处理的数据，例如辉度数据和色差数据，并且将该数据输出到编码处理单元ML。时间码读取器22L读取包括在基带信号DV-L中的时间码，并且将该码输出到CPU 25L。编码处理单元24L基于从CPU 25L提供的控制信号来执行对左眼图像的编码处理。编码处理单元24L将通过对左眼图像的编码处理所获得的已编码数据输出到复用器 40。CPU 25L基于从控制器50提供的初始设置命令等和从时间码读取器22L所提供的时间码来生成控制信号。CPU 25L通过将所生成的控制信号提供给编码处理单元24L来控制编码处理单元ML的操作。 右眼图像编码单元20R以与左眼图像编码单元20L相同的方式包括视频输入单元 21R、编码处理单元24R和CPU(中央处理单元)25R。视频输入单元21R包括时间码读取器 22R。视频输入单元21R将右眼图像的基带信号DV-R转换成对应于编码处理的数据，例如辉度数据和色差数据，并且将该数据输出到编码处理单元MR。时间码读取器22R读取包括在基带信号DV-R中的时间码，并且将该码输出到CPU 25R。编码处理单元24R基于从CPU 25R提供的控制信号来执行对右眼图像的编码处理。编码处理单元24R将通过对右眼图像的编码处理所获得的已编码数据输出到复用器 40。CPU 25R基于从控制器50提供的初始设置命令等和从时间码读取器22R所提供的时间码来生成控制信号。CPU 25R通过将所生成的控制信号提供给编码处理单元MR来控制编码处理单元MR的操作。提供给左眼图像编码单元20L的基带信号DV-L和提供给右眼图像编码单元20R 的基带信号DV-R是与参考视频信号DVref相同步的信号。参考视频信号DVref被提供给左眼图像编码单元20L和右眼图像编码单元20R，并且与参考视频信号DVref相同步的操作被左眼图像编码单元20L和右眼图像编码单元20R执行。复用器40复用从左眼图像编码单元20L输出的已编码数据和从右眼图像编码单元20R输出的已编码数据，并且输出作为一个已编码流TS的数据。控制器50发布初始设置命令等，从而执行左眼图像编码单元20L和右眼图像编码单元20R中的编码条件的设置、复用器40的输出设置等。例如，控制器50执行对编码处理的开始定时的设置、对GOP长度的设置、对输出比特率的设置等。[图像处理装置的操作]图2是示出了在第一实施例中的操作的流程图。在步骤STl，CPU 25L(25R)接收初始设置命令。CPU 25L(25R)接收从控制器50输出的初始设置命令。CPU 25L(25R)还基于所接收的初始设置命令来执行对编码处理的设置。例如，CPU 25L(25R)基于初始设置命令执行对开始定时(开始编码处理的时间码值) 的设置和对长GOP结构的设置，并且，进行到步骤ST2。在由初始设置命令所设置的长GOP 结构中，将给出如下说明，其中，假定GOP长度(包括在GOP中的画面的数量)是“N”，而将作为参考图像的I画面或P画面的间隔是“M”。在步骤ST2，CPU 25L(25R)确定编码开始画面是否已被输入。当从时间码读取器22L(22R)提供的时间码是基于初始设置命令所设置的开始定时(时间码值)时，CPU 25L(25R)进行到步骤ST3。当此时间码不是开始定时时，CPU 25L(25R)返回到步骤ST2。
在步骤ST3，CPU 25L(25R)执行对画面类型的设置处理。图3是示出了画面类型设置处理的流程图。在图3的步骤STll中，CPU 25L(25R)确定图像是否是GOP的开始画面。当要被编码的图像是GOP的开始画面时，CPU 25L(25R)进行到步骤ST12，并且，当该图像不是开始画面时，进行到步骤ST13。例如，当指示GOP中画面类型未被设置的画面的数量的倒计数值RN是“0”时，CPU 25L(25R)确定该图像是GOP的开始画面，并且，进行到步骤ST12。当倒计数值RN不是“0”时，CPU 25L(25R)进行到步骤ST13。在开始操作的时刻处的倒计时值RN是“0”。在步骤ST12中，CPU 25L(25R)重置GOP的参数。CPU 25L(25R)将倒计时值RN 设置为GOP中的画面的数量N。CPU 25L(25R)还关闭I-画面设置完成标志。当在GOP中 I-画面被设置了时，I-画面设置完成标志被开启。在重置参数之后，CPU 25L(25R)进行到步骤ST13。在步骤ST13中，CPU 25L(25R)确定图像是否具有B-画面的相位。例如，当通过将倒计时值RN除以I-画面或P-画面的间隔M的余数不是“1”时，CPU 25L(25R)确定图像具有B-画面的相位。当要被编码的图像具有B-画面的相位时，CPU 25L(25R)进行到步骤ST14，并且，当图像不具有B-画面的相位时，进行到步骤ST15。在步骤ST14中，CPU 25L(25R)将要被编码的图像设置成B-画面，并且，进行到步骤 ST18。在步骤ST15中，CPU 25L(25R)确定在GOP中I-画面是否被设置。当在GOP中 I-画面被设置时，例如当I-画面设置完成标志处于开启状态时，CPU 25L(25R)进行到步骤 ST16。当I-画面未被设置时，例如当I-画面设置完成标志处于关闭状态时，CPU 25L(25R) 进行到步骤ST17。在步骤ST16中，CPU 25L(25R)将画面类型设置成P-画面。由于图像并不具有 B-画面的相位，并且在GOP中I-画面已经被设置，因此，CPU 25L(25R)将要被编码的图像设置为P-画面，并且，进行到步骤ST18。在步骤ST17中，CPU 25L(25R)将画面类型设置成1_画面。由于图像并不具有 B-画面的相位，并且在GOP中I-画面未被设置，因此，CPU25U25R)将要被编码的图像设置成I-画面，并且，进行到步骤ST18。由于I-画面已被设置，CPU 25L(25R)还开启I-画面设置完成标志。在步骤ST18中，CPU 25L(25R)将倒计时值RN减1。由于对画面类型的设置已经在步骤ST14、ST16和ST17中的任一个中完成，CPU 25L(25R)将倒计时值RN减1，并且，返回到图2的步骤ST4。在图2的步骤ST4中，CPU 25L(25R)允许编码处理单元ML(MR)执行编码处理。 CPU 25L(25R)控制编码处理单元ML (MR)执行对要被编码的图像(其画面类型在步骤 ST3的画面类型设置处理中被设置)的编码处理，并且，进行到步骤ST5。在步骤ST5中，CPU 25L(25R)确定是否已接收到编码停止命令。当从控制器50接收到编码停止命令时，CPU 25L(25R)结束对多视角图像的编码处理。当未接收到编码停止命令时，CPU 25L(25R)返回到步骤ST3，并且继续编码处理。如上所述，当左眼图像编码单元20L和右眼图像编码单元20R被松散地耦合时，通过利用从图像数据中读取的时间码，可以容易地同步画面类型。因此，可以防止生成其中左眼图像的编码失真不同于右眼图像的编码失真的奇怪的立体图像，从而提升图像质量。另外，由于画面类型可基于时间码被同步，因此，通过利用现有的图像编码处理单元，立体图像系统可被容易构建。图4A到4D示出了在第一实施例中的操作，其示出了分别由左眼图像编码单元20L 和右眼图像编码单元20R所设置的画面类型。图4A到4D示出了在固定周期中设置画面类型的情形，其中假定GOP长度是“N= 15”，并且，将被作为参考图像的I-画面或P-画面的间隔是“M = 3”。由从控制器50输出的初始设置命令所设置的开始编码处理的时间码值被设置为“TCs”。图4A示出了在GOP中的B-画面的相位，并且，图4B示出了当画面类型被设置时的倒计时值RN。图4C示出了关于左眼图像的基带信号DV-L所设置的画面类型，而图4D示出了关于右眼图像的基带信号DV-R所设置的画面类型。当基带信号DV-L的时间码值是“TCs”时，左眼图像编码单元20L设置各个帧的画面类型并执行编码处理。类似地，当基带信号DV-R的时间码值是“TCs”时，右眼图像编码单元20R设置各个帧的画面类型并执行编码处理。GOP的第一帧是B-画面的相位，因此，时间码值为“TCs”的帧(编码开始帧)被设置为B-画面。由于第一帧的画面类型已被设置， 因此，倒计时值RN是“14”。在编码开始帧之后一帧的帧是B-画面的相位，因此，该帧被设置为B-画面。由于画面类型已被设置，因此，倒计时值RN是“ 13”。在编码开始帧之后两帧的帧不是B-画面的相位，并且，在GOP中该帧之前还没有 I-画面被设置，因此，该帧被设置为I-画面。由于画面类型已被设置，因此，倒计时值RN是 “12”。在编码开始帧之后三帧和四帧的帧是B-画面的相位，因此，这两帧被设置为B-画面。在编码开始帧之后五帧的帧不是B-画面的相位，并且，在GOP中该帧之前I-画面已被设置，因此，该帧被设置为P-画面。当画面类型根据以上处理在后续帧中被设置时，在P-画面被设置给在编码开始帧之后十四帧的帧的情形中，倒计时值RN将为“0”。因此，GOP的参数被重置，并且可通过利用下一帧作为GOP的头帧来顺序设置画面类型。因此，即便当左眼图像编码单元20L和右眼图像编码单元20R被松散耦合时，如在图4C和图4D中所示，画面类型可被容易同步。在第一实施例中，开始编码处理的时间码在左眼图像和右眼图像中被设置为相同值。但是，当在对左眼图像的编码处理的开始和对右眼图像的编码处理的开始之间的帧差异是GOP长度的整数倍时，画面类型可被同步，而无需以相同时间码开始对左眼图像的编码处理和对右眼图像的编码处理。<2.第二实施例>当在左眼图像或右眼图像中出现场景变更时，在场景变更之前的图像和变更之后的图像之间的相关性很低。因此，通过当发生场景变更时插入I-画面，可以防止编码效率的降低和图像质量的恶化。因此，在第二实施例中，将说明能够响应发生场景变更的图像处
理装置。
[图像处理装置的配置]图5示出了根据第二实施例的图像处理装置的配置。图5还示出了当对例如左眼图像和右眼图像的编码处理被作为对多视角图像的图像处理执行时所使用的配置。图像处理装置IOa包括执行左眼图像的编码处理的左眼图像编码单元30L、执行右眼图像的编码处理的右眼图像编码单元30R、复用器40和控制器50。左眼图像编码单元30L包括视频输入单元31L、场景变更检测单元33L、编码处理单元34L和CPU(中央处理单元)35L。视频输入单元31L包括时间码读取器32L。视频输入单元31L将左眼图像的基带信号DV-L转换成对应于编码处理的数据， 例如辉度数据和色差数据，并且，将该数据输出到场景变更检测单元33L和编码处理单元 34L。时间码读取器32L读取包括在基带信号DV-L中的时间码，并且将该码输出到CPU 35L。场景变更检测单元33L基于从视频输入单元31L输出的左眼图像的辉度数据或色差数据来检测场景变更，并且将场景变更检测信号输出到CPU35L。编码处理单元34L基于从CPU 35L提供的控制信号来执行对左眼图像的编码处理。编码处理单元34L将通过对左眼图像的编码处理所获得的已编码数据输出到复用器 40。CPU 35L基于从控制器50提供的初始设置命令等以及从时间码读取器32L提供的时间码来生成控制信号。CPU 35L通过将所生成的控制信号提供给编码处理单元34L来控制编码处理单元34L的操作。CPU 35L还在当基于从场景变更检测单元33L提供的场景变更检测信号确定场景变更被检测到时，变更GOP结构并插入I-画面。右眼图像编码单元30R包括视频输入单元31R、场景变更检测单元33R、编码处理单元34R和CPU(中央处理单元)35R。视频输入单元3IR包括时间码读取器32R。视频输入单元31R将右眼图像的基带信号DV-R转换成对应于编码处理的数据，例如辉度数据和色差数据，并且将该数据输出到场景变更检测单元33R和编码处理单元34R。 时间码读取器32R读取包括在基带信号DV-R中的时间码，并且将该码输出到CPU 35R。场景变更检测单元33R基于从视频输入单元31R输出的右眼图像的辉度数据或色差数据来检测场景变更，并且将场景变更检测信号输出到CPU35R。编码处理单元34R基于从CPU 35R提供的控制信号来执行对右眼图像的编码处理。编码处理单元34R将通过对左眼图像的编码处理所获得的已编码数据输出到复用器 40。CPU 35R基于从控制器50提供的初始设置命令等以及从时间码读取器32R提供的时间码来生成控制信号。CPU 35R通过将所生成的控制信号提供给编码处理单元34R来控制编码处理单元34R的操作。CPU 35R还在当基于从场景变更检测单元33R提供的场景变更检测信号确定场景变更被检测到时，变更GOP结构并插入I-画面。提供给左眼图像编码单元30L的基带信号DV-L和提供给右眼图像编码单元30R 的基带信号DV-R是与参考视频信号DVref相同步的信号。参考视频信号DVref被提供给左眼图像编码单元30L和右眼图像编码单元30R，并且，与参考视频信号DVref相同步的操作被左眼图像编码单元30L和右眼图像编码单元30R执行。复用器40复用从左眼图像编码单元30L输出的已编码数据和从右眼图像编码单元30R输出的已编码数据，并且输出作为一个已编码流TS的数据。
控制器50发布初始设置命令等，从而执行左眼图像编码单元30L和右眼图像编码单元30R中的编码条件的设置、复用器40的输出设置等。例如，控制器50执行对编码处理的开始定时的设置、对GOP长度的设置、对输出比特率的设置等。[图像处理装置的操作]图6是示出了在第二实施例中的操作的流程图。在步骤ST21，CPU 35L(35R)接收初始设置命令。CPU 35L(35R)接收从控制器50 输出的初始设置命令。CPU 35L(35R)还基于所接收的初始设置命令来执行对编码处理的设置。例如，CPU 35L(35R)基于初始设置命令执行对开始定时(开始编码处理的时间码值) 的设置和对长GOP结构的设置，并且，进行到步骤ST22。在由初始设置命令所设置的长GOP 结构中，将给出如下说明，其中，假定GOP长度(包括在GOP中的画面的数量)是“N”，而将作为参考图像的I画面或P画面的间隔是“M”。在步骤ST22，CPU 35L(35R)确定编码开始画面是否已被输入。当从时间码读取器32L(32R)提供的时间码是基于初始设置命令所设置的开始定时(时间码值)时，CPU 35L(35R)进行到步骤ST23。当此时间码不是开始定时时，CPU 35L(35R)返回到步骤ST22。在步骤ST23，CPU 35L(35R)执行考虑到场景变更的对画面类型的设置处理。图7 是示出了考虑到场景变更的画面类型设置处理的流程图。在图7的步骤ST31中，CPU 35L(35R)确定图像是否是GOP的开始画面。当要被编码的图像是GOP的开始画面时，CPU 35L(35R)进行到步骤ST32，并且，当该图像不是开始画面时，进行到步骤ST33。例如，当指示GOP中画面类型未被设置的画面的数量的倒计数值RN是“0”时，CPU 35L(35R)确定该图像是GOP的开始画面，并且，进行到步骤ST32。当倒计数值RN不是“0”时，CPU 35L(35R)进行到步骤ST33。在开始操作的时刻处的倒计时值RN是“0”。在步骤ST32中，CPU 35L(35R)重置GOP的参数。CPU 35L(35R)将倒计时值RN 设置为GOP中的画面的数量N。CPU 35L(35R)还关闭I-画面设置完成标志。当在GOP中 I-画面被设置了时，I-画面设置完成标志被开启。CPU 35L(35R)关闭场景变更检测标志。 在重置参数之后，CPU 35L(35R)进行到步骤ST33。在步骤ST33中，CPU 35L(35R)确定场景变更是否被检测到。当基于从场景变更检测单元33L(33R)所提供的场景变更检测结果确定场景检测单元33L(33R)检测到场景变更时，CPU 35L(35R)进行到步骤S34。当确定没有检测到场景变更时，CPU 35L(35R)进行到步骤S37。在步骤ST34中，CPU 35L (35R)确定在GOP中I-画面是否被设置。当在GOP中I-画面被设置了时，例如当I-画面设置完成标志处于开启状态时，CPU 35L(35R)进行到步骤 ST35。当I-画面未被设置时，例如当I-画面设置完成标志处于关闭状态时，CPU 35L(35R) 进行到步骤ST37。在步骤ST35中，CPU 35L(35R)确定场景变更禁止标志是否处于关闭状态。场景变更禁止标志是指示CPU是否处于场景变更处理期间的标志，在场景变更处理期间，当场景变更被检测到时，GOP结构被变更。当CPU处于场景变更处理期间时，场景变更禁止标志被开启。当场景变更禁止标志处于关闭状态时，CPU 35L(35R)进行到步骤ST36，而当该标志处于开启状态时，进行到步骤ST37。
在步骤ST36中，CPU 35L(35R)执行场景变更处理。当场景变更被检测到时，CPU 35L(35R)变更GOP结构，并且插入I-画面，然后，进行到步骤ST37。例如，随着场景变更处理，CPU 35L(35R)将GOP中的画面数量N加到倒计时值RN中以获得新的倒计时值RN。 CPU 35L(35R)关闭I-画面设置完成标志，并且，开启场景变更禁止标志。CPU35L(35R)使得B-画面的相位在GOP结构变更之前和之后一致，并且插入I-画面。在步骤ST37中，CPU 35L(35R)确定图像是否具有B-画面的相位。例如，当通过将倒计时值RN除以I-画面或P-画面的间隔M的余数不是“1”时，CPU 35L(35R)确定图像具有B-画面的相位。当要被编码的图像具有B-画面的相位时，CPU 35L(35R)进行到步骤ST38，并且，当图像不具有B-画面的相位时，进行到步骤ST39。在步骤ST38中，CPU 35L(35R)将要被编码的图像设置成B-画面，并且，进行到步 If ST420在步骤ST39中，CPU 35L (35R)确定在GOP中I-画面是否被设置。当在GOP中I-画面被设置了时，例如当I-画面设置完成标志处于开启状态时，CPU 35L(35R)进行到步骤 ST40。当I-画面未被设置时，例如当I-画面设置完成标志处于关闭状态时，CPU 35L(35R) 进行到步骤ST41。在步骤ST40中，CPU 35L(35R)将画面类型设置成P-画面。由于图像并不具有 B-画面的相位，并且，在GOP中I-画面已经被设置，因此，CPU 35L(35R)将要被编码的图像设置为P-画面，并且，进行到步骤ST42。在步骤ST41中，CPU 35L(35R)将画面类型设置成1_画面。由于图像并不具有 B-画面的相位，并且，在GOP中I-画面并未被设置，因此，CPU 35L(35R)将要被编码的图像设置成I-画面，并且，进行到步骤ST42。由于I-画面已被设置，CPU 35L(35R)还开启I-画面设置完成标志。在步骤ST42中，CPU 35L(35R)将倒计时值RN减1。由于对画面类型的设置已经在步骤ST38、ST40和ST41中的任一个中完成，CPU 35L(35R)将倒计时值RN减1，并且，返回到图6的步骤STM。在图6的步骤STM中，CPU 35L(35R)允许编码处理单元34L(34R)执行编码处理。CPU 35L(35R)控制编码处理单元34L(34R)执行对要被编码的图像(其画面类型在步骤ST23的画面类型设置处理中被设置)的编码处理，并且，进行到步骤ST25。在步骤ST25中，CPU 35L(35R)确定是否已接收到编码停止命令。当从控制器50 接收到编码停止命令时，CPU 35L(35R)结束对多视角图像的编码处理。当未接收到编码停止命令时，CPU 35L(35R)返回到步骤ST23。如上所述，当左眼图像编码单元30L和右眼图像编码单元30R被松散地耦合时，通过利用从图像数据中读取的时间码，可以容易地同步画面类型。因此，可以防止生成其中左眼图像的编码失真不同于右眼图像的编码失真的奇怪的立体图像，从而提升图像质量。另外，由于画面类型可基于时间码被同步，因此，通过利用现有的图像编码处理单元，立体图像系统可被容易构建。另外，当场景变更被检测到时，GOP结构被变更，并且，I-画面被插入，因此，可防止由于因场景变更生成而使得图像的相关性的降低所导致的编码效率的降低和图像质量的恶化。图8A到8E示出了在第二实施例中的操作，其示出了在场景变更出现在右眼图像中的情形中分别由左眼图像编码单元30L和右眼图像编码单元30R所设置的画面类型。图 8A到8E示出了在固定周期中设置画面类型的情形，其中假定GOP长度是“N = 15”，并且， 将被作为参考图像的I-画面或P-画面的间隔是“M = 3”。图8A示出了在GOP中的B-画面的相位，并且，图8B示出了当画面类型被设置时的在左眼图像编码单元30L中的倒计时值RN-L。图8C示出了关于左眼图像的基带信号DV-L 所设置的画面类型，而图8D示出了关于右眼图像的基带信号DV-R所设置的画面类型，而图 8E示出了当画面类型被设置时的在右眼图像编码单元30R中的倒计时值RN-R。在GOP 1中I-画面被设置且场景变更检测标志处于关闭状态的情形中，例如，当在从GOP 1的头部起的第八帧中检测到场景变更SC时，右眼图像编码单元30R执行场景变更处理。右眼图像编码单元30R执行场景变更处理，并且，将在GOP中的画面的数量N加到倒计时值RN中，以获得新的倒计时值RN。右眼图像编码单元30R还关闭I-画面设置完成标志，并且，开启场景变更禁止标志。当B-画面的相位被使得在变更GOP结构之前和之后一致并且I-画面被插入时，右眼图像编码单元30R还在从GOP 1的头起的第九帧中设置 I-画面。如上所述，其中已检测到场景变更的GOP和下一个GOP的GOP长度被变更，并且， 在切换场景处，I-画面被插入。即，GOP 1 (N = 15，M = 3)禾Π GOP 2(N = 15，M = 2)的结构被变更到GOP 3 (N = 6，M = 3)和GOP 4(N = 24，M = 3)的结构，并且，在切换场景处， I-画面被插入。在该情形中，在两个GOP时段，存在左眼图像是P-画面且右眼图像是I-画面的帧以及左眼图像是I-画面且右眼图像是P-画面的帧，但是，在剩余帧中，画面类型可被同步。另外，不管是否存在场景变更，GOP的数量是相同的，因此，可避免由于GOP数量的增加所导致的编码效率的降低。当优先画面类型同步时，其中已检测到场景变更的GOP被分割，并且，在切换场景处，I"画面被插入。例如，在GOP中的画面的数量N未被加入到倒计时值RN中。在该情形中，在已检测到场景变更的右眼图像编码单元30R中，GOP KN= 15,M = 3)被分割成两个 GOP，其包括 GOP (N = 6，M = 3)和 GOP (N = 9，M = 3)，并且，GOP 2 (N = 15，M = 3)的结构未被变更。即，一个GOP被添加，但是，仅存在一个其中画面类型在左眼图像和右眼图像之间不同的帧。本公开不应被限制于以上实施例。在以上实施例中，已经说明了左眼图像和右眼图像被作为多视角图像编码的情形。但是，多视角图像并不限于以上图像。例如，该技术可被应用于图像编码设备的模块的数量被增加且许多多视角图像被编码的情形。以上实施例是对本公开的阐释，并且，很明显，本领域技术人员在本公开的精神的范围内可作出修改和变化。即，所附权利要求应被考虑用于确定本公开的精神。在根据本公开的实施例的图像处理装置和图像处理方法中，编码处理的开始基于从多视角图像的各自图像数据读取的时间码而被控制，并且，在各自视角点中的编码处理中的画面类型被设置为已同步的画面类型。因此，当多视角图像被各自编码时，可以容易地减少视角点之间的图像质量的差异。因此，该技术适于例如生成多视角图像的图像数据的成像装置、执行对多视角图像的编辑处理的编辑装置等。本公开包括与2010年8月M日向日本专利局递交的日本优先权专利申请 JP2010-187042公开的内容有关的主题，其全部内容通过引用被结合于此。
本领域技术人员应当理解，取决于设计要求和其他因素，可发生各种修改、组合、 子组合和变更，只要它们在权利要求或其等同物的范围内即可。
权利要求
1.一种图像处理装置，包括时间码读取器，该时间码读取器从多视角图像的各自图像数据读取时间码； 编码处理单元，该编码处理单元通过每个视角点执行对所述图像数据的编码处理；以及控制单元，该控制单元基于所述时间码来控制所述编码处理的开始，以使在每个视角点的所述编码处理中的画面类型同步。
2.如权利要求1所述的图像处理装置，还包括场景变更检测单元，该场景变更检测单元通过利用所述图像数据来检测场景变更， 其中，当检测到场景变更时，所述控制单元变更GOP (画面组)结构并且插入I-画面。
3.如权利要求2所述的图像处理装置，其中，所述控制单元使B-画面的相位在所述GOP结构变更之前和之后一致。
4.如权利要求3所述的图像处理装置，其中，所述控制单元变更已检测到场景变更的GOP和下一个GOP的GOP长度，在场景切换处插入I-画面。
5.如权利要求3所述的图像处理装置，其中，所述控制单元分割已检测到场景变更的G0P，并且在场景切换处插入I-画面。
6.一种由图像编码装置执行对多视角图像的图像数据的编码处理的图像处理方法，包括从多视角图像的各自图像数据读取时间码； 通过每个视角点执行对所述图像数据的编码处理；以及基于所述时间码来控制所述编码处理的开始，以使在每个视角点的编码处理中的画面类型同步。
全文摘要
本公开涉及图像处理装置和图像处理方法。一种图像处理装置，包括时间码读取器，该时间码读取器从多视角图像的各自图像数据读取时间码；编码处理单元，该编码处理单元通过每个视角点执行对图像数据的编码处理；以及控制单元，该控制单元基于时间码来控制编码处理的开始，以使在每个视角点的编码处理中的画面类型同步。
文档编号H04N13/00GK102378030SQ20111024136
公开日2012年3月14日 申请日期2011年8月17日 优先权日2010年8月24日
发明者吉成博美, 渕江孝明 申请人:索尼公司