专利名称：图像编码装置和相机系统的制作方法
技术领域：
本发明涉及一种将移动图像进行编码的图像编码装置和包括该图像编码装置的相机系统。
背景技术：
现有技术中已知通过使用依据MPEG (移动图像专家组)的方式来进行帧内编码和帧间编码的图像编码装置。在这样的图像编码装置中，近年来，伴随着高质量图像所用的图像尺寸的放大，编码处理中所必需的耗电和处理时间的增大正成为问题。为了解决这样的问题，专利文献I所公开的图像编码装置，根据分辨率设定或者帧速率设定等编码的执行环境，来选择使用双方向编码的参照模式和不使用双方向编码的参照模式当中的任何一个。由此，进行与执行环境相应的编码处理。现有技术文献 专利文献专利文献I :国际公开第2005/076629号公报发明概要发明所要解决的技术问题但是，在上述专利文献I中，由于被摄影的图像的性质没有被反映在参照模式的选择中，因此根据图像的不同，图像质量会显著地劣化了。
发明内容
本发明是用于解决上述现有技术的问题点而提出的，其目的在于，防止由移动图像的编码处理引起的图像质量的劣化，并同时减少编码处理所必需的耗电和处理时间。为了解决上述的技术问题，本发明的一个方式是将移动图像进行编码的图像编码装置，其特征在于，包括压缩处理部，对编码对象图像的亮度数据和色差数据，进行编码处理，并输出编码数据；以及压缩控制部，基于编码对象图像的空间频率，能够执行将正方向预测、反方向预测、以及双方向预测当中的任何一个选择作为用于所述编码处理的预测方法的预测方法选择处理，且进行基于对所述编码对象图像的移动量进行表示的图像移动信息来判定是否执行该预测方法选择处理的场景判定。根据该方式，能够基于编码对象图像的空间频率来决定用于编码处理的预测方法。因此，能够合适地决定用于编码处理的预测方法，使得图像质量的劣化的抑制效果以及编码处理所需的耗电及处理时间的削减效果得到增大。发明效果通过本发明，能够防止由移动图像的编码处理引起的图像质量的劣化，并且能够削减编码处理所需的耗电及处理时间。
图I是表示本发明实施方式I的相机系统的构成的方框图。图2是表示本发明实施方式I的压缩处理部和压缩控制部的动作的流程图。图3是表示本发明实施方式I的变形例I的压缩处理部和压缩控制部的动作的流程图。图4是表示本发明实施方式I的变形例2的压缩处理部和压缩控制部的动作的流程图。图5是表示本发明实施方式I的变形例3的压缩处理部和压缩控制部的动作的流程图。图6是表不本发明实施方式2的相机系统的构成的方框图。
图7是表示本发明实施方式2的压缩处理部和压缩控制部的动作的流程图。图8是表示本发明实施方式2的变形例I的压缩处理部和压缩控制部的动作的流程图。图9是表示本发明实施方式2的变形例2的压缩处理部和压缩控制部的动作的流程图。图10是表示本发明实施方式3的压缩处理部和压缩控制部的动作的流程图。
具体实施例方式下面，参照附图，说明本发明的实施方式。而且，在下面的实施方式中，对于进行与其他的实施方式同样的动作的步骤，赋予相同的标记，并省略说明。(实施方式I)本发明实施方式I的相机系统100，如图I所示，包括摄像装置101 ;摄像控制装置102 ;图像处理装置103 ;存储装置104 ;以及显示装置105。相机系统100，例如，被安装于网络相机、车载相机、数字视频相机、数字静止相机。摄像装置101通过摄像元件将影像光变换成电信号。摄像控制装置102取入由摄像装置101的摄像元件所得到的电信号，进行对该电信号的数字变换，输出影像信号。此外，摄像控制装置102对所述电信号的取入定时以及影像光向摄像装置101的摄像元件的照射时间进行控制。图像处理装置103包括图像输入部106和图像编码装置107。图像输入部106通过对由摄像控制装置102输出的影像信号，实施自动曝光(AE Automatic Exposure)处理、色调补正(WB :White Balance)处理、孔径处理、YC (亮度色差信号)处理、以及噪声除去处理，来生成图像的亮度数据和色差数据。此外，图像输入部106包括移动检测部108和频率检测部109。移动检测部108基于由摄像控制装置102输出的影像信号，通过代表匹配方式而求得移动量(图像移动信息)。频率检测部109基于由摄像控制装置102输出的影像信号，从多个频率检测范围中检测出由该图像信号所表示的图像的空间频率。频率检测范围是将一个图像分割成多个的分割区域，各个频率检测范围(分割区域)由多个宏块构成。图像编码装置107对由图像输入部106生成的亮度数据和色差数据进行编码并输出编码数据。详细地，图像编码装置107包括压缩处理部110、压缩控制部111、以及显示IF(接口)112。
压缩处理部110对由图像输入部106所生成的编码对象图像的亮度数据和色差数据进行编码处理并作为编码数据而输出。该编码处理以依据MPEG的方式来进行。在该编码处理之时，尽管参照任何一个的参照图像，但是通过压缩控制部111来进行控制。此外，通过编码处理，求得移动矢量和编码量。压缩控制部111，基于由移动检测部108求得的移动量以及由频率检测部109检测出的空间频率，选择在编码处理之时由压缩处理部110所参照的参照图像。然后，控制压缩处理部110，使得参照所选择的参照图像来进行编码处理。压缩控制部111包括场景(scene)判定部113和图像差异判定部114。图像差异判定部114基于编码对象图像的空间频率，选择参照图像。就是说，图像差异判定部114基于编码对象图像的空间频率，执行从正方向预测、反方向预测、以及双方向预测当中选择用于压缩处理部110的编码处理的预测方法的预测方法选择处理。场景判定部113针对作为双方向预测编码图像(对前方帧和后方帧进行参照的图像)而被压缩的图像，判定是否进行由图像差异判定部114进行的预测方法选择处理。该判定基于由移动检测部108求得的移动量而进行。·显示IFl 12输出由图像输入部106生成的亮度数据和色差数据。存储装置104暂时存储通过图像处理装置103的图像编码装置107所输出的编码数据。显示装置105基于通过图像编码装置107的显示IF112所输出的亮度数据和色差数据来显示图像。下面，参照图2，按每个步骤来说明压缩处理部110和压缩控制部111的详细动作。该动作针对作为双方向预测编码图像(前方后方帧参照图像)而被压缩的图像来进行。此夕卜，该图2的动作针对每I帧而进行。就是说，参照图像的选择按每I帧而进行，参照图像的控制从开始I帧的编码开始到结束为止不被切换。在步骤201，场景判定部113判定由移动检测部108求得的移动量是否是规定以上，在是规定以上的情况下，判定为在图像差异判定部114中不进行预测方法选择处理。在移动量是规定以上的情况下，前进到步骤204，另一方面，在是不满足规定的情况下，处理前进到步骤202。在步骤202中，图像差异判定部114读出由频率检测部109检测到的空间频率，判定在多个频率检测范围中的空间频率的平均值是否是规定以上。在该平均值是规定以上的情况下，前进到步骤205，另一方面，在是不满足规定的情况下，处理前进到步骤203。在步骤203中，图像差异判定部114，在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择在多个频率检测范围中空间频率的平均值接近编码对象图像的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。在步骤204，压缩控制部111控制压缩处理部110，使得使用正方向预测、反方向预测、以及双方向预测的全部的预测方法来进行编码处理。根据该控制，压缩处理部110进行编码处理。此时，在压缩处理部110上，前方图像和后方图像的输入成为必需。在步骤205，压缩控制部111控制压缩处理部110，使得将前方图像和后方图像两者作为参照图像来进行编码处理。就是说，压缩控制部111控制压缩处理部110，使得通过双方向预测来进行编码处理。根据该控制，压缩处理部110进行编码处理，确定效率最好的预测方法(使通过编码处理得到的数据的信息量变成最少的预测方法)，将通过使用该预测方法的编码处理所得到的数据作为编码数据而输出。此时，对于压缩处理部110，前方图像和后方图像的输入成为必需。在这样被编码的图像的解码处理时，仅基于由压缩控制部111决定的参照图像和解码对象图像之间的差分所选择出的一个参照图像成为必需。因此，能够减轻解码处理中的存储器访问量。在步骤206，压缩控制部111控制压缩处理部110，使得仅将前方图像作为参照图像来进行编码处理。就是说，压缩控制部111控制压缩处理部110，使得通过正方向预测来进行编码处理。根据该控制，压缩处理部110进行编码处理。此时，对于压缩处理部110，前方图像的输入成为必需。在这样被编码的图像的解码处理时，仅前方图像成为必需。因此，能够减轻编码处理和解码处理两者的存储器访问量。在步骤207，压缩控制部111控制压缩处理部110，使得仅将后方图像作为参照图像来进行编码处理。就是说，压缩控制部111控制压缩处理部110，使得通过反方向预测来 进行编码处理。根据该控制，压缩处理部110进行编码。此时，对于压缩处理部110，后方图像的输入成为必需。在这样被编码的图像的解码处理时，仅后方图像成为必需。因此，能够减轻编码处理和解码处理两者的存储器访问量。根据本实施方式，在图像的移动量小并且空间频率低时，在编码处理之时，由于仅参照一张参照图像，因此编码处理和解码处理中的存储器访问量被减轻。因此，能够降低耗电。此外，在图像的移动小并且空间频率低时，由于即使削减参照图像也会对图像质量的影响小，因此能够抑制图像质量的劣化。(实施方式I的变形例I)在本发明实施方式I的变形例I的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图3所示的动作。如图3所示,在本变形例中,压缩控制部111取代步骤203而执行步骤301的动作。在步骤301，图像差异判定部114在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择在上述多个频率检测范围中空间频率的积分值接近编码对象图像的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。由于其余的构成和动作与实施方式I是相同的，因此在图3中对于相同的处理赋予相同的标识，并省略其详细的说明。(实施方式I的变形例2)在本发明实施方式I的变形例2的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图4所示的动作。如图4所示,在本变形例中,压缩控制部111取代步骤203而执行步骤401的动作。在步骤401，图像差异判定部114在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择与此次的编码对象图像之间的在上述多个频率检测范围中空间频率的差分的最大值较小的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。由于其余的构成和动作与实施方式I是相同的，因此在图4中对于相同的处理赋予相同的标识，并省略其详细的说明。(实施方式I的变形例3)在本发明实施方式I的变形例3的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图5所示的动作。如图5所示,在本变形例中,压缩控制部111取代步骤203而执行步骤501 的动作。在步骤501，图像差异判定部114在成为此次编码的对象的编码对象图像的前方图像和后方图像当中，选择在上述多个频率检测范围当中、对与此次编码对象图像的空间频率之间的差分变得比阈值还大的空间频率进行检测的频率检测范围的数量较多的一方。在前方图像被选择的情况下，处理前进到步骤206，另一方面，在后方图像被选择的情况下，处理前进到步骤207。由于其余的构成和动作与实施方式I是相同的，因此在图5中对于相同的处理赋予相同的标识，并省略其详细的说明。(实施方式2)本发明实施方式2的相机系统100，如图6所示，压缩控制部111，除了场景判定部113和图像差异判定部114之外，还包括编码量蓄积部601。该编码量蓄积部601蓄积由压缩处理部110的编码处理所求得的编码量。此外，在本实施方式2的相机系统100中，压缩处理部110和压缩控制部111，取代图2所示的动作而执行图7所示的动作。如图7所示,在本实施方式2中,压缩控制部111在步骤201之前，执行步骤701的动作。在步骤701，场景判定部113判定在编码量蓄积部601所蓄积的编码量是否超过规定的阈值，在超过的情况下，判定为图像是高压缩状态，另一方面，在没有超过的情况下，判定为图像是通常压缩状态。在判定为图像是高压缩状态的情况下，处理前进到步骤204，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。用于步骤701的判定的阈值可以是固定值，但是也可以基于目标系统的位速率来控制。通过控制为当位速率高时高、当位速率低时低，能够效率良好地选择参照图像。由于其余的构成和动作是与实施方式I相同的，因此在图6和图7中对于相同的构成和处理赋予相同的标识，并省略其详细的说明。根据本实施方式2，通过抑制在高压缩时发生的图像质量的劣化，并且减轻编码处理和解码处理中的存储器访问量，能够削减耗电。(实施方式2的变形例I)在本发明实施方式2的变形例I的相机系统100中，压缩处理部110和压缩控制部111，取代图7所示的动作而执行图8所示的动作。如图8所示,在本变形例中,压缩控制部111取代步骤701而执行步骤801的动作。在步骤801，场景判定部113判定由压缩处理部110进行的编码处理中所用的压缩率是否低于规定的阈值，在低于的情况下，判定为图像是高压缩状态，另一方面，在不低于的情况下，判定为图像是通常压缩状态。在判定为图像是高压缩状态的情况下，处理前进到步骤204，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。用于步骤801的判定的阈值，也与实施方式2同样地可以是固定值，也可以基于目标系统的位速率来控制。
由于其余的构成和动作与实施方式2是相同的，因此在图8中对于相同的处理赋予相同的标识，并省略其详细的说明。(实施方式2的变形例2)在本发明实施方式2的变形例2的相机系统100中，压缩处理部110和压缩控制部111，取代图7所示的动作而执行图9所示的动作。如图9所示,在本变形例中,压缩控制部111取代步骤701而执行步骤901的动作。在步骤901，场景判定部113判定由压缩处理部110进行的编码处理的位速率是否超过规定的阈值，在超过的情况下，判定为图像是高压缩状态，另一方面，在不超出的情况下，判定为图像是通常压缩状态。在判定为图像是高压缩状态的情况下，处理前进到步骤204，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。由于其余的构成和动作与实施方式2是相同的，因此在图9中对于相同的处理赋予相同的标识，并省略其详细的说明。 (实施方式3)在本发明实施方式3的相机系统100中，压缩处理部110和压缩控制部111，取代图7所示的动作而执行图10所示的动作。如图10所示,在本实施方式3中，在步骤701中，在判定为在编码量蓄积部601所蓄积的编码量没有超过规定的阈值的情况下，使处理前进到步骤1001。在步骤1001中，压缩控制部111判定在编码量蓄积部601所蓄积的编码量是否低于规定的阈值，在低于的情况下，判定为图像是低压缩状态，另一方面，在不低于的情况下，判定为图像是通常压缩状态。在判定为图像是低压缩状态的情况下，处理前进到步骤203，另一方面，在判定为图像是通常压缩状态的情况下，处理前进到步骤201。由于其余的构成和动作是与实施方式2相同的，因此在图10中对于相同的处理赋予相同的标识，并省略其详细的说明。根据本实施方式3，在被编码的数据的量是对图像质量的劣化难以影响的低压缩时，会将前方图像和后方图像当中的任何一个选择作为参照图像，因此能够有效地降低编码处理和解码处理中的存储器访问量。因此，能够抑制图像质量的劣化，并且能够有效地降低耗电。而且，尽管在上述实施方式I 3和它们的变形例中，由压缩控制部111进行的参照图像的选择(由场景判定部113进行的判定)是按照每I帧进行的，但是，也可以按照每个宏块等构成帧的一部分的分割区域来进行。由此，能够更高精细地进行参照图像的选择。此外，尽管在上述实施方式I 3和它们的变形例中，在步骤201，基于由移动检测部108求得的移动量来判定是否进行预测方法选择处理，但是，也可以基于由透镜控制部(没有图示)求得的角速度信息、或者对于编码对象图像的一个之前的图像由压缩处理部110求得的移动矢量来进行判定。也可以基于由移动检测部108求得的移动量、上述角速度信息、以及上述移动矢量当中的两个或者全部来进行判定。当在是否进行预测方法选择处理的判定中使用由压缩处理部110求得的移动矢量的情况下，每个宏块的判定会变得容易。此外，在预测方法选择处理或者是否进行该预测方法选择处理的判定中，通过使用现有技术的相机中所使用的信息(相机的角速度、移动矢量(图像移动信息)、空间频率等)，能够抑制处理的增加。此外，在预测方法选择处理或者是否进行该预测方法选择处理的判定中，通过使用由编码处理所取得的压缩信息(编码量、位速率等)，能够选择在通常的动态图像摄影时与速率控制相应的最合适的预测方法。此外，在上述实施方式I 3和它们的变形例中，在步骤202，基于在多个频率检测范围中的空间频率的平均值是否是规定以上，来判定了将处理进行到步骤205和步骤203的哪一个。但是，该判定也可以基于在多个频率检测范围中的空间频率当中超过规定阈值的空间频率的个数是否是规定个以上来进行。当在各个频率检测范围(分割区域)的每一个上进行由压缩控制部111进行的参照图像的选择(由场景判定部113进行的判定)的情况下，也可以基于该频率检测范围的空间频率是否是规定以上来进行该判定。本发明如果是使用双方向预测编码的编码方式，则也能够适用于MPEG以外的编码方式。 产业上的可利用性本发明作为将移动图像进行编码的图像编码装置和包括该图像编码装置的相机系统，是有用的。附图标记说明100相机系统102摄像装置102摄像控制装置104存储装置105显示装置106图像输入部107图像编码装置110压缩处理部111压缩控制部
权利要求
1.一种图像编码装置，是将移动图像进行编码的图像编码装置，包括 压缩处理部，对编码对象图像的亮度数据和色差数据进行编码处理，并输出编码数据；以及 压缩控制部，基于编码对象图像的空间频率，能够执行将正方向预测、反方向预测、以及双方向预测当中的任何一个选择作为用于所述编码处理的预测方法的预测方法选择处理，且进行基于对所述编码对象图像的移动量进行表示的图像移动信息来判定是否执行该预测方法选择处理的场景判定。
2.根据权利要求I的图像编码装置，其特征在于， 所述图像移动信息包含以代表点匹配方式求得的像素移动信息。
3.根据权利要求I的图像编码装置，其特征在于， 该图像编码装置被安装于相机上， 所述图像移动信息包含所述相机的角速度信息。
4.根据权利要求I的图像编码装置，其特征在于， 所述图像移动信息包含针对成为此次编码处理的对象的图像的一个之前的图像而求得的移动矢量。
5.根据权利要求I的图像编码装置，其特征在于， 所述图像移动信息包含以代表点匹配方式所求得的像素移动信息、角速度信息、以及针对成为此次编码处理的对象的图像的一个之前的图像而求得的移动矢量当中的至少2者。
6.根据权利要求I的图像编码装置，其特征在于， 所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像的在多个频率检测范围中的空间频率的平均值与编码对象图像接近的一方。
7.根据权利要求I的图像编码装置，其特征在于， 所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像的在多个频率检测范围中的空间频率的积分值与编码对象图像接近的一方。
8.根据权利要求I的图像编码装置，其特征在于， 所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像和编码对象图像的在多个频率检测范围中的空间频率的差分的最大值较小的一方。
9.根据权利要求I的图像编码装置，其特征在于， 所述预测方法选择处理，在作为所述编码处理的方法而选择正方向预测、以及反方向预测的任何一个时，选择参照图像的在多个频率检测范围当中、对与编码对象图像的空间频率之间的差分成为比阈值还大的空间频率进行检测的频率检测范围的数量较多的一方。
10.根据权利要求I的图像编码装置，其特征在于， 所述场景判定，除了所述图像移动信息之外，还基于表示所述图像的编码量的压缩状态判定值，来判定是否执行所述预测方法选择处理。
11.根据权利要求I的图像编码装置，其特征在于，所述场景判定，除了所述图像移动信息之外，还基于表示所述编码处理的压缩率的压缩状态判定值，来判定是否执行所述预测方法选择处理。
12.根据权利要求I的图像编码装置，其特征在于， 所述场景判定，除了所述图像移动信息之外，还基于表示所述编码处理的位速率的压缩状态判定值，来判定是否执行所述预测方法选择处理。
13.根据权利要求10的图像编码装置，其特征在于， 所述场景判定，判定所述压缩状态判定值是否超过规定的第I阈值，基于该判定结果，来判定是否执行所述预测方法选择处理。
14.根据权利要求13的图像编码装置，其特征在于， 所述场景判定，判定所述压缩状态判定值是否低于规定的第2阈值,基于该判定结果，来判定是否执行所述预测方法选择处理。
15.根据权利要求I的图像编码装置，其特征在于， 由所述压缩控制部进行的场景判定是按照每个帧来进行的。
16.根据权利要求I的图像编码装置，其特征在于， 由所述压缩控制部进行的场景判定是按照每个构成帧的一部分的分割区域来进行的。
17.—种相机系统,包括 权利要求I 16中的任何一项的图像编码装置； 摄像装置，通过摄像元件将影像光变换成电信号； 摄像控制装置，对由所述摄像元件得到的电信号的取入定时、影像光对所述摄像元件的照射时间进行控制，并且对所述电信号进行数字变换并作为影像信号来输出； 图像输入部，基于由所述摄像控制装置输出的影像信号，生成所述亮度数据和色差数据； 存储装置，暂时存储由所述图像编码装置的压缩处理部所输出的编码数据；以及显示装置，基于由所述图像编码装置的图像输入部所生成的亮度数据和色差数据，来显示图像。
全文摘要
一种图像编码装置和相机系统。本发明的压缩控制部(111)，基于编码对象图像的空间频率，能够执行将正方向预测、反方向预测、以及双方向预测当中的任何一个选择作为用于编码处理的预测方法的预测方法选择处理，基于对编码对象图像的移动量进行表示的图像移动信息来判定是否执行预测方法选择处理。
文档编号H04N7/32GK102804783SQ201180014229
公开日2012年11月28日 申请日期2011年3月7日 优先权日2010年3月17日
发明者植松良介, 方城正博, 小川雅裕 申请人:松下电器产业株式会社