专利名称：图像编码装置以及图像编码方法
技术领域：
本发明涉及一种用于对运动图像编码的图像编码装置和图像编码方法，尤其涉及一种可以提高解码后的运动图像的图像质量的技术。
背景技术：
近来，为了使用互联网和移动电话传输和接收运动图像并且使用数码摄像机保存运动图像数据，出现了许多用于压缩/编码运动图像数据的技术和标准化的相关标准，例如，JPEG(联合图像专家组)和MPEG(活动图像专家组)。
压缩/编码运动图像的方法包括帧间预测编码和帧内预测编码。帧间预测编码利用了运动图像中连续帧之间的相关性。帧内预测编码则利用了一帧内彼此相邻的像素之间的相关性。在这两种方法中，离散余弦变换(DCT)广泛应用于帧内预测编码。
对于使用离散余弦变换的压缩/编码处理，传统上一直使用DCT系数的DC(直流)分量，然而，近来，除了DC分量，也使用AC(交流)分量。下面的文档可以作为一些示例的参考。
ISO/IEC 14496-1信息技术-音频视频对象的编码-第一部分系统。
ISO/IEC 14496-2信息技术-音频视频对象的编码-第二部分视频。
在下面的描述中，使用DC分量的压缩/编码称为“DC预测编码”，而使用DC分量和AC分量的压缩/编码称为“AC预测编码”。
当使用AC预测编码方法时，与使用DC预测编码方法相比，可以提高编码效率并且解码后的运动图像质量也特别高。但是，使用AC预测编码的处理需要大的存储空间，并且处理量也很高。因此，使用AC系数的预测编码只能应用于具有少量数据的小的图像，而对于大的图像，则使用DC系数的预测编码进行压缩/编码。
很明显，不同的器件模型，例如便携式电话和具有大量像素的数码相机，对提高质量图像有很高的需求。因此，需要采用适当的措施提高传统上一直使用DC预测编码方法的大图像的图像质量。
而且，AC预测编码还具有其它问题。例如，由于处理量很大，在要求实时性的情况下就不能使用AC预测编码，因此就不能提高图像质量。AC预测编码的另一问题在于，当使用AC预测编码以优化图像质量时，就会丧失实时性(例如，会出现丢帧)。这些问题告诉我们需要采用适当的措施提高图像质量。
发明内容
本发明考虑了上述的情况和问题。本发明的一个目的在于提高使用帧内预测编码进行编码的图像质量。
为了实现这一目的，本发明提供的一种图像编码装置包括选择单元，用于根据图像编码装置的工作状态选择直流预测编码方法和交流预测编码方法中的一种；直流预测编码单元，用于当选择直流预测编码方法时，对组成每一段图像数据的每一块进行直流预测编码；以及交流预测编码单元，用于当选择交流预测编码方法时，对组成每一段图像数据的每一块进行交流预测编码。
使用该结构，图像编码装置根据表示运动图像的数据处理是否要求实时性而在两种编码方法之间转换；因此，可以避免例如丢帧的图像质量下降。
这样，该图像编码装置还包括监控单元，用于监控该图像编码装置的工作状态，其中所述选择单元根据该监控单元进行的监控结果选择直流预测编码方法和交流预测编码方法之一。
本发明的图像编码装置还包括存储器，共用于编码处理和其它各种处理，其中所述交流预测编码单元使用存储在该存储器中的交流系数进行交流预测编码，所述监控单元监控该存储器的存取量，以及所述选择单元在所述监控单元判断该存储器的存取量等于或者大于一数值时选择直流预测编码方法，并且在所述监控单元判断该存储器的存取量小于所述数值时选择交流预测编码方法。
当进行AC预测编码时，与进行DC预测编码相比，需要更频繁地对存储器进行存取。按照本发明，可以避免由于存储器的存取竞争而引起的预测编码的延迟。当没有存取竞争时，进行AC预测编码；因此，可以获得比只进行DC预测编码更高的图像质量。
而且，也可以避免由于存储器的存取竞争而使包括编码处理在内的各种处理被延迟。
本发明的图像编码装置具有如下结构所述监控单元监控由交流预测编码单元和直流预测编码单元产生的码字量，以及所述选择单元在所述监控单元判断产生的码字量等于或者大于一数值时选择交流预测编码方法，并且在所述监控单元判断产生的码字量小于所述数值时选择直流预测编码方法。
当进行AC预测编码时，与进行DC预测编码相比，可以获得更高的压缩效率。按照本发明，当产生的码字量比较大时，进行AC预测编码，使得产生的码字量变低，从而提高图像质量；而当产生的码字量小时，进行DC预测编码，使得编码处理的实时性得到提高(即，避免丢帧)。
本发明的图像编码装置具有如下结构所述监控单元监控对预定量的图像数据进行编码所花费的时间长度，以及所述选择单元在所述监控单元判断该时间长度等于或者长于一数值时选择直流预测编码方法，并且在所述监控单元判断该时间长度短于所述数值时选择交流预测编码方法。
当进行DC预测编码时，由于处理量小于进行AC预测编码的处理量，编码预定量的图像数据所花费的时间比较短。按照本发明，当编码预定量的图像数据所花费的时间比较长时，进行DC预测编码，使得编码处理所花费的时间变短，从而可以避免丢帧。当进行编码处理所花费的时间比较短时，进行AC预测编码，从而提高图像质量。
除了上述的结构，本发明的图像编码装置还具有下面的结构所述监控单元监控该图像编码装置每一帧周期的工作状态，或者所述监控单元监控该图像编码装置每一块列周期(block line period)的工作状态。
另外，也可以具有如下的结构所述选择单元对于每一帧选择直流预测编码方法和交流预测编码方法之一，或者，所述选择单元对于每一块列选择直流预测编码方法和交流预测编码方法之一。以及所述选择单元也可以对于每一宏块选择直流预测编码方法和交流预测编码方法之一。
本发明的图像编码装置还包括专用存储器，只由所述直流预测编码单元使用，其中所述直流预测编码单元使用存储在该专用存储器中的直流系数进行直流预测编码。
使用该结构，当进行DC预测编码时，不对所述存储器进行存取；因此，可以完全实现前述的效果。应该注意，由于专用存储器只存储DC预测编码处理所需的DC系数，该专用存储器可以具有相对小的存储容量，从而可以节约成本。
本发明还提供一种用于图像编码装置的图像编码方法，该方法包括监控步骤，监控该图像编码装置的工作状态；选择步骤，根据该图像编码装置的工作状态选择直流预测编码方法和交流预测编码方法之一；直流预测编码步骤，当选择直流预测编码方法时，对组成一段图像数据的每一块进行直流预测编码；以及交流预测编码步骤，当选择交流预测编码方法时，对组成一段图像数据的每一块进行交流预测编码。
使用该结构，可以避免由图像编码装置的工作状态引起的图像质量下降，例如丢帧。
本发明还提供一种图像传感器系统，该系统包括图像形成单元，用于形成物体的图像；光电转换单元，用于对所述物体的图像进行光电转换并且输出模拟图像信号；模数转换单元，用于将所述模拟图像信号转换为数字图像信号；以及图像处理单元，用于处理所述数字图像信号并且包括选择子单元，用于根据该图像传感器系统的工作状态选择直流预测编码方法和交流预测编码方法之一；直流预测编码子单元，用于当选择直流预测编码方法时对组成所述数字图像信号的每一块进行直流预测编码；以及交流预测编码子单元，用于当选择交流预测编码方法时对组成所述数字图像信号的每一块进行交流预测编码。
而且，本发明还提供一种图像处理系统，该系统包括模数转换单元，用于接收模拟图像信号并且将接收的模拟图像信号转换为数字图像信号；以及图像处理单元，用于处理所述数字图像信号并且包括选择子单元，用于根据所述图像处理系统的工作状态选择直流预测编码方法和交流预测编码方法之一；直流预测编码子单元，用于当选择直流预测编码方法时对组成所述数字图像信号的每一块进行直流预测编码；以及交流预测编码子单元，用于当选择交流预测编码方法时对组成所述数字图像信号的每一块进行交流预测编码。
附图示出了本发明的具体实施方式
，根据说明书并结合附图，本发明的这些和其它目的、优点和特征将变得明显。
在附图中图1示出了按照本发明第一实施方式的图像编码装置的原理性功能结构框图；图2示出了按照本发明第一实施方式由DC预测单元105产生DC预测系数的示意图；图3示出了需要存储以对由“M×N”个宏块组成的图像进行DC预测编码的DC系数；图4示出了按照本发明第一实施方式由AC预测单元108产生AC预测系数的示意图；图5示出了按照本发明第一实施方式通过图像编码装置1进行处理的流程图；图6示出了按照本发明第一实施方式通过图像编码装置1进行DC预测编码处理(步骤S102)的流程图；图7示出了按照本发明第一实施方式通过图像编码装置1进行AC预测编码处理(步骤S105)的流程图；图8示出了按照本发明第二实施方式图像编码装置的原理性功能结构框图；图9示出了按照本发明第二实施方式通过图像编码装置2进行处理的流程图；图10示出了按照本发明第二实施方式的修改的实施例(2)通过图像编码装置进行处理的流程图；图11示出了按照本发明第三实施方式的图像编码装置的原理性功能结构框图；图12示出了按照本发明第三实施方式通过图像编码装置3进行处理的流程图；图13示出了按照本发明第四实施方式的图像编码装置的原理性功能结构框图；图14示出了按照本发明第四实施方式的通过图像编码装置4进行处理的流程图；以及图15示出了应用本发明的图像编码装置的图像传感器系统的结构图。
具体实施例方式
下面参照附图描述本发明的优选实施方式。
1、第一实施方式本发明第一实施方式的图像编码装置防止了由于装置内部的存储器存取竞争而引起的图像质量下降，例如丢帧。
1-1、结构图1示出了按照本发明第一实施方式的图像编码装置的原理性功能结构框图。如图1所示，图像编码装置1包括图像输入端子100、DCT单元101、第一量化单元102、预测编码单元103、码字输出端子104、DC预测单元105、预测选择器106、第二量化单元107、AC预测单元108、逆量化单元109、总线流量监控单元110、存储总线111、处理组112、存储器单元113以及阈值设定端子114。
图像输入端子100以块单元的形式接收图像信号的输入，其中每一块具有八行八列排列的像素。
DCT单元101对通过图像输入端子100接收的块图像进行离散余弦变换并且输出DCT系数(频率分量)。
第一量化单元102对通过DCT单元102输出的DCT系数进行量化并且输出量化后的DCT系数。
存储总线111由DC预测单元105、AC预测单元108、处理组112等使用，以对存储器单元113进行存取。
逆量化单元109对通过第一量化单元102输出的已经量化的DCT系数进行逆量化，以产生DCT系数并通过存储总线111将产生的DCT系数存储到存储器单元113。
存储器单元113将由逆量化单元109产生的DCT系数以及其它数据存储在其内。在该实施方式中，SDRAM(同步动态随机存储器)用作存储器单元113。
DC预测单元105通过总线111使用存储在存储器单元113中的DCT系数，从而产生DC预测系数并向预测选择器106输出产生的DC预测系数。
AC预测单元108通过总线111使用存储在存储器单元113中的DCT系数，从而产生AC预测系数并向预测选择器106输出产生的AC预测系数。
处理组112由执行除了图像压缩/编码之外其它各种处理的功能块组成。每一处理通过存储总线111对存储器单元113进行存取。这意味着一些处理器在对存储器单元113进行存取时彼此会发生竞争。
总线流量监控单元110监控通过存储总线111对存储器单元113进行存取的状态。在该实施方式中，总线流量监控单元110通过参照包括在处理组112中处理器的片选信号对存取状态进行监控，根据由阈值设定端子接收到的的阈值判断存储总线111是否拥塞，并且向预测选择器106输出选择信号。
预测选择器106根据通过总线流量监控单元110输出的选择信号选择DC预测系数或者AC预测系数，并且向第二量化单元107输出选择的系数。
第二量化单元107对从预测选择器106接收的DC或者AC预测系数进行量化，并且向预测编码单元103输出量化的系数。
预测编码单元103对接收到的量化的DC或者AC预测系数进行预测编码，以产生DC或者AC预测码字。
码字输出端子104输出通过预测编码单元103产生的DC或者AC预测码字。
1-2、DC预测单元105的工作原理下面描述按照该实施方式DC预测单元105的工作过程。DC预测单元105遵照MPEG-4标准产生DC预测系数。图2示出了按照本发明第一实施方式由DC预测单元105产生DC预测系数的示意图。
在图2(1)中，宏块X，即“MBX”(以下将“宏块”称为“MB”)由多个DCT系数(16×16个系数)组成，其用作DC预测单元105进行处理的目标宏块。每一与MBX相邻的宏块MB1、MB2和MB3也由多个DCT系数组成。
首先解释DC预测单元105产生预测系数σP，该系数作为构成MBX的一部分的块X的DC系数DC(X)。为了产生预测系数σP，DC预测单元参照与块X相邻的各块A、B和C的DC系数σA、σB和σC。预测系数σP使用DC系数σA、σB和σC的梯度确定。具体地说，
当|σA-σB|＜|σB-σC|时，取σC作为σP；当|σA-σB|≥|σB-σC|时，取σC作为σP。
在使用这种方式确定预测系数σP和块X的DC系数，即DC(X)时，预测编码单元103按照下面的公式根据这两种情况的区别进行可变长度编码△X＝(DC(X)-σP)/dc_scaler其中dc_scaler是宏块MBX的量化参数。
根据要产生预测系数σP的块X的位置，所要参照的块的位置会有所不同。在图2(2)、图2(3)和图2(4)中，示出了用于宏块MBX中的块X的每一不同位置所要参照的块A、B和C的位置。要参照的DC系数的数量按照宏块MBX的位置而不同。
如上所述，为了进行DC预测编码，需要已经进行过预测编码的宏块的DC系数。因此，进行预测编码的宏块的DC系数暂时存储在存储器单元113中。
总之，为了进行DC预测编码，需要参照其它块的DC系数，并且这些DC系数需要存储到存储器单元113中。图3示出了为了对由“M×N”个宏块组成的图像进行DC预测编码需要存储的DC系数。
在下面的描述中，从图像的起始点开始位于沿扫描方向的第m个位置并且沿次扫描方向的第n个位置的宏块称为MB(m，n)。
如图3所示，在由“M×N”个宏块组成的图像中，为了对由小点表示的宏块MB(m，n)进行DC预测编码，需要相邻宏块MB(m-1，n-1)、MB(m，n-1)和MB(m-1，n)的DC系数。
再例如，为了对宏块MB(m+1，n)进行DC预测编码，需要宏块MB(m，n-1)、MB(m+1，n-1)和MB(m，n-1)的DC系数。
换句话说，为了顺序进行DC预测编码，需要存储器单元113在其内存储图3中的斜线阴影所述的(M+1)个宏块的[2×(M+1)+1]个DC系数。1-3、AC预测单元108的工作原理下面描述按照该实施方式AC预测单元108的工作过程。AC预测单元108遵照MPEG-4标准产生AC预测系数。图4示出了由AC预测单元108产生AC预测系数的示意图。
在图4(1)中，MBX由多个DCT系数(16×16个系数)组成，其用作AC预测单元108进行处理的目标宏块。每一与MBX相邻的宏块MB1、MB2和MB3也由多个DCT系数组成。块X是宏块MBX的一部分。每一块A、B和C分别是宏块MB1、MB2和MB3的一部分。
AC预测单元108使用(i)块C的AC系数AC(C)以及(ii)块A的AC系数AC(A)作为块X的AC系数的预测值AC(X)，并且根据每一AC(X)和预测值的差值(预测误差)进行可变长度编码。
应该注意，根据在AC预测编码中作为目标的块X的位置，要参照的块的位置也有所不同。在图4(2)、图4(3)和图4(4)中，示出了宏块MBX中的块X的每一不同位置所要参照的块A、B和C的位置。应该注意，要参照的AC系数的数量按照宏块MBX的位置而不同。
如上所述，为了进行AC预测编码，需要参照其它块的AC系数并且需要将其保存到存储器单元113中。例如，为了对由“M×N”个宏块组成的图像进行AC预测编码，需要具有其内存储有[16×(M+1)+16]个AC系数的存储器单元113。因此，为了具有存储的必需的AC系数，需要具有比进行DC预测编码更大的存储器空间。
1-4、图像编码装置的工作原理下面描述图像编码装置1的工作过程。
图5示出了按照该实施方式通过图像编码装置1进行处理的流程图。
如图5所示，在图像编码装置1中，在进行预测编码之前，总线流量监控单元110判断存储总线111的拥塞程度。如果判断存储总线111拥塞(步骤S100是)，总线流量监控单元110向预测选择器106输入选择信号，从而选择来自DC预测单元105的输出(步骤S101)。
换句话说，如果判断由于处理组112进行存储器存取而使存储总线111拥塞，在进行DC预测编码(步骤S102)，使得对存储器的存取尽可能地少。这是因为，如上所述，存储在存储器单元113中用于进行DC预测编码所需的DC系数的数量少于存储用于进行AC预测编码所需的AC系数的数量。
如上所述，以块为单位进行DC预测编码，并且在最后的块还没有完成时(步骤S103否)重复进行。在最后的块完成时(步骤S103是)，程序返回到进行存储总线111的拥塞程度判断的步骤S100。
另一方面，如果总线流量监控单元110判断存储总线111没有拥塞(步骤S100否)，总线流量监控单元110则向预测选择器106输入选择信号，从而选择来自AC预测单元108的输出(步骤S104)。
以块为单位进行AC预测编码(步骤S105)，并且在最后块的处理还没有完成时(步骤S106否)重复进行。如果最后块的处理已经完成(步骤S106是)，程序返回到进行存储总线111的拥塞程度判断的步骤S100。
图6示出了通过图像编码装置1进行DC预测编码处理(步骤S102)的流程图。如图6所示，为了进行DC预测编码，图像编码装置1首先从存储器单元113读取预测所需的相邻块的DC系数(步骤S200)。
然后，使用从存储器单元113读取的DC系数，图像编码装置1通过对该DC系数与预测块的DC系数之间的差值(预测误差)编码而进行DC预测编码，其中该差值以这些DC系数的梯度计算(步骤S201)，并且，由于目标编码块的DC系数需要用于下一块的预测编码，所以将其存储在存储器单元113中(步骤S202)。
图7示出了通过图像编码装置1进行AC预测编码处理(步骤S105)的流程图。如图7所示，为了进行AC预测编码处理，图像编码装置1首先从存储器单元113读取预测所需的相邻块的DC系数和AC系数(步骤S300)。
然后，使用从存储器单元113读取的DC系数和AC系数，图像编码装置1通过对该DC系数和AC系数与预测块的DC系数和AC系数之间的差值(预测误差)编码而进行AC预测编码，其中该差值以这些DC系数的梯度计算(步骤S301)，并且，由于目标编码块的DC系数和AC系数需要用于下一块的预测编码，所以将其存储在存储器单元113中(步骤S302)。
1-5、总线流量监控单元110的工作原理下面描述总线流量监控单元110的工作原理。
当图像编码装置1处理具有每秒n帧的运动图像时，总线流量监控单元110按照如下的方式判断存储总线111的拥塞程度首先，总线流量监控单元110使用下面的公式计算在对应于要接下来处理的一帧的周期时间通过存储总线111向存储器单元113进行的总的存取量，S(字节/帧)S＝XAC+Xothers+Xoffset其中XAC是在对应于一帧的周期时间进行AC预测编码所需的存取量；Xothers是在对应于一帧的周期时间需要来自处理组112的存取量；以及Xoffset是允许的容限(margin)偏移量。
按照该实施方式，XAC是一固定值。对于Xothers，如上所述，通过监控片选信号计算在对应于当前帧的周期时间中来自处理组112的存取量并作为Xothers。由于对应于当前帧周期的Xothers不一定与下一帧的Xothers相同，因此通过考虑该变化决定Xoffset的值。
总线流量监控单元110根据存储总线111的带宽(字节/秒)以及要处理的运动图像的帧速率n(帧/秒)，使用下面的公式计算存储器单元113在对应于一帧的周期时间允许的存取量BB＝带宽/帧速率n当S≥B时，总线流量监控单元110判断为存储总线111拥塞。当S＜B时，总线流量监控单元110判断为存储总线111不拥塞。
1-6、改进的实施例对于该实施方式，下面的修改实施例也是可行的(1)按照上面的描述，总线流量监控单元110通过参照片选信号监控处理组112的存储器存取，并且判断存储总线111的拥塞程度；但是，无需说明，本发明并不局限于该结构，也可以具有下述的结构。
总线流量监控单元110可以参照存储器单元110的片选信号判断存储总线111的拥塞程度。按照本发明的实施方式，无论总线流量监控单元110使用何种方法判断存储总线111的拥塞程度，都可以防止由于存储总线111的拥塞而使图像质量变坏，例如丢帧或者其它问题。
(2)总线流量监控单元110也可以使用下面的公式计算存储器单元113的总的存取量。
S＝XAC+K×Xothers+Xoffset其中，当图像编码装置1越过处理组112而优化图像编码处理时，K取小于1的常数。相反，当图像编码装置1越过图像编码处理而优化处理组112的处理时，K大于1。
例如，当量大但并不急迫的处理(例如备份文件)与图像编码处理并行进行时，将K设为小于1的值比较有效。当量小但需要实时性的处理(例如音频编码处理)与图像编码处理并行进行时，将K设为大于1比较有效。
(3)按照该实施方式，预测编码处理可以以帧为单位进行转换，但是，用于预测编码处理的方法也可以以块列(block line)为单位进行转换。
这样，总线流量监控单元110根据在对应于当前块列的周期时间中存储总线111的拥塞程度转换预测编码方法。或者，总线流量监控单元110根据在对应于当前帧的周期时间中存储总线111的拥塞程度转换预测编码方法。
当总线流量监控单元110在以帧为单位的预测编码方法之间转换时，由于在对应于一帧的周期中采用相同的预测编码方法，因此在该周期内即使存储总线111的拥塞程度发生变化，也不可能将正在使用的预测编码方法转换为其它更适合的方法。
另一方面，当总线流量监控单元110在以块列为单元的预测编码方法之间转换时，由于保持使用相同的预测编码方法的周期相对比较短，因此可以减少在存储总线111的拥塞程度在该周期内变化时使用合适的预测编码方法的风险。
2、第二实施方式第二实施方式的图像编码装置通常与第一实施方式的图像编码装置具有相同的结构，除了用于转换预测选择器的标准不同。具体地说，在第一实施方式中，根据存储总线111的拥塞程度决定要使用的预测编码方法，而在第二实施方式中，根据在预测编码处理中产生的码字数量决定要使用的预测编码方法。下面参照附图描述按照本发明第二实施方式的图像编码装置。
2-1、装置结构图8示出了该实施方式的图像编码装置的原理性功能结构框图。如图8所示，图像编码装置2包括图像输入端子200、DCT单元201、第一量化单元202、预测编码单元203、码字输出端子204、DC预测单元205、预测选择器206、第二量化单元207、AC预测单元208、逆量化单元209、产生的码字量监控单元210、存储总线211、处理组212、存储器单元213以及比特率设定端子214。
比特率设定端子214接收设定的比特率目标值。
产生的码字量监控单元210将对应于通过比特率设定端子214接收的比特率目标值的每帧的码字量(下面将该码字量称为“基准码字量”)与在预测编码处理中产生的每帧的码字量(下面将该码字量称为“产生的码字量”)进行比较。
当产生的码字量大于基准码字量时，产生的码字量监控单元210向预测选择器206输出选择信号，从而选择来自AC预测单元208的输出。当使用AC预测编码时，压缩率比较高，因而比特率比较低。因此，该比特率可以足够低以达到或者接近设置的目标值。
相反，当产生的码字量等于或者小于基准码字量时，产生的码字量监控单元210向预测选择器206输出选择信号，从而选择来自DC预测单元205的输出。使用该结构，可以缩短存储总线211用于预测编码处理的占用周期。因此，可以减少在预测编码处理和包括在处理组212中的处理之间的存储器存取竞争发生的可能性。
因此，通过适当控制，对系统会产生大处理量的AC预测方法被限制到最小需求程度，可以实现适用于系统状态的最适合的预测编码处理。
2-2、图像编码装置2的工作原理下面描述该实施方式的图像编码装置2的工作过程。图9示出了该实施方式通过图像编码装置2进行处理的流程图。
如图9所示，图像编码装置2首先将刚进行处理过的帧产生的码字量与基准码字量进行比较。当产生的码字量大于基准码字量时(步骤S400是)，产生的码字量监控单元210输出选择信号，从而预测选择器206选择来自AC预测单元208的输出(步骤S404)。
然后，与第一实施方式的图像编码装置1类似，图像编码装置2对组成一帧的每一块进行AC预测编码处理(步骤S405)。每次当图像编码装置2处理完成一块时，图像编码装置2检查该块是否是该帧的最后的块。
作为检查结果，如果判断该块不是最后的块(步骤S406否)，程序返回到步骤S405并且图像编码装置2对下一块进行AC预测编码。如果判断该块是最后的块(步骤S406是)，程序返回到步骤S400，并且图像编码装置2进行下一帧的处理。
当在图像编码装置2判断产生的码字量等于或者小于基准码字量时(步骤S400否)，产生的码字量监控单元210输出选择信号，从而预测选择器206选择来自DC预测单元205的输出(步骤S401)。
这样，与第一实施方式的图像编码装置1类似，图像编码装置2对组成一帧的每一块进行DC预测编码处理(步骤S402)。每次当图像编码装置2处理完一块时，图像编码装置2检查该块是否是该帧的最后的块。当判断该块不是最后的块(步骤S403否)，图像编码装置2的处理返回到步骤S402。如果判断该块是最后的块(步骤S403是)，图像编码装置2的处理返回到步骤S400。
如上所述，按照本发明的实施方式，通过参照已经进行预测编码的帧产生的码字量，选择对下一帧进行预测编码的方法；从而，对系统会产生大处理量的AC预测方法被限制到最小需求程度。因此，可以实现适用于系统状态的最适合的预测编码处理。
2-3、改进的实施例对于该实施方式，可以有如下的修改实施例(1)在本发明的实施方式中，对预测编码方法的选择依赖于产生的码字量是否大于基准码字量。但是，也可以具有下面的结构当产生的码字量大于通过向基准码字量累加一预定量而获得的码字量时，选择DC预测编码处理方法。当产生的码字量小于通过从基准码字量中减去一预定量获得的码字量时，选择AC预测编码处理方法。通过这样的结构，可以避免预测编码方法之间的转换太频繁，并且可以稳定地进行预测编码处理。
(2)在该实施方式中，每次在处理完一帧时进行预测编码方法的选择；但是，也可以具有另一结构，其中每次在处理完一块列时进行选择。使用这样的结构，可以使用更适合的预测方法。
图10示出了按照该修改实施例通过图像编码装置进行处理的流程图。如图10所示，图像编码装置将已经处理的当前块列产生的码字量(该块列简称为“当前块列”)与基准码字量进行比较并检查哪一个比较大。
根据检查的结果，当产生的码字量等于或者小于基准码字量时(步骤500否)，检查当前块列是否用DC预测编码处理方法处理。在这种情况下，在当前块列用DC预测编码处理方法处理时(步骤S501是)，产生的码字量监控单元输出选择信号，从而选择来自DC预测单元的输出(步骤S502)。
然后，以块为单位进行DC预测编码处理(步骤S503)，并且每次在处理完一块时检查该块是否为块列的最后的块。作为检查结果，当判断该块不是最后的块时(步骤S504否)，块列中的下一块进行DC预测编码处理(步骤S503)。
当处理的块为最后的块时(步骤S504是)，程序返回到步骤S500，并且将产生的码字量与基准码字量进行比较。
另一方面，在当前块列不是用DC预测编码处理方法进行处理时(步骤S501否)，产生的码字量监控单元输出选择信号，从而选择来自AC预测单元的输出(步骤S505)。
然后，以块为单位进行AC预测编码处理(步骤S506)，并且每次在处理完一块时，检查该块是否为块列中最后的块。作为检查结果，当判断该块不是最后的块时(步骤S507否)，在块列中下一块进行DC预测编码处理(步骤S506)。
当处理的块为最后的块(步骤S507是)，程序返回到步骤S500，而且将产生的码字量与基准码字量进行比较。
当产生的码字量大于基准码字量时(步骤S500是)，检查当前列是否用块AC预测编码处理方法处理，作为检查结果，在当前块列用AC预测编码处理方法处理时(步骤S508是)，产生的码字量监控单元输出选择信号，从而选择来自AC预测单元的输出(步骤S509)。
然后，图像编码装置以块为单位进行AC预测编码处理(步骤S510)，并且当处理完最后的块时(步骤S511是)，程序返回到步骤500，并且将产生的码字量与基准码字进行比较。
在当前块列没有用AC预测编码处理方法时(步骤S508否)，产生的码字量监控单元输出一选择信号，从而选择来自DC预测单元的输出(步骤S512)。进行DC预测编码处理(步骤S513)，并且当最后块的处理完成后(步骤S514是)，将产生的码字量与基准码字量进行比较。
使用该结构，可以比以帧为单位的预测编码方法的选择进一步约束产生的码字量的变化，从而以更适合的比特率对运动图像进行预测编码处理。因此，即使当运动图像流量带宽受限时，也可以获得好的图像质量。另外，当有用于码字量的空间时，可以通过进行AC预测编码处理进一步提高图像质量。
3、第三实施方式第三实施方式的图像编码装置通常与第一实施方式的图像编码装置具有相同的结构，除了用于转换预测选择器的标准以外。具体地说，在第一实施方式中，根据存储总线的拥塞程度决定使用其中的一种预测编码方法，而在第三实施方式中，根据进行预测编码所花费的时间决定使用其中一种预测编码方法。下面参照附图描述本发明的第三实施方式。
图11示出了该实施方式的图像编码装置的原理性功能结构框图。如图11所示，图像编码装置3包括图像输入端子300、DCT单元301、第一量化单元302、预测编码单元303、码字输出端子304、DC预测单元305、预测选择器306、第二量化单元307、AC预测单元308、逆量化单元309、处理时间监控单元310、存储总线311、处理组312、存储器单元313以及上限设定端子314。
上限设定端子314接收进行编码处理的时间上限的设置值。这里，进行编码处理所花费的时间是指处理一帧所需的时间。处理时间上限的设置值根据要进行预测编码处理的图像的尺寸、帧速率或者其它的因素而不同。
例如，当对具有相对低分辨率的图像，例如是QCIF(176×144)或CIF(352×288)进行实时预测编码时，上限相对比较大。另一方面，当对等于或大于VGA(640×480)的图像进行实时预测编码时，上限相对比较小。
每次对一帧的预测编码处理完成时，处理时间监控单元310对已经进行处理所花费的时间长度与通过上限设定端子314接收的上限进行比较，并且输出选择信号以指定一种预测编码方法。
3-2、图像编码装置3的工作原理图12示出了按照该实施方式通过图像编码装置3进行处理的流程图。如图12所示，图像编码装置将处理时间的上限与对当前处理帧编码所花费的时间进行比较并且检查处理当前帧所花费的时间是否超出上限。
作为检查结果，当该时间长度超出上限时(步骤S600否)，处理时间监控单元310输出选择信号，从而选择来自DC预测单元的输出(步骤S601)。
然后，以块为单位进行DC预测编码处理一直到该帧的最后的块(步骤S602)，并且当最后的块的处理完成时(步骤S603是)，程序返回到步骤S600，并且开始下一帧的处理。
当处理当前帧所花费的时间没有超出上限时(步骤S600是)，处理时间监控单元向预测选择单元输出选择信号，从而选择来自AC预测单元的输出(步骤S604)。然后，进行AC预测编码处理(步骤S605)，并且当最后的块处理完成时(步骤S606是)，程序返回到步骤S600。
使用这样的结构，可以约束处理时间超出预定值并且保持适合的比特率。即使当运动图像流量的带宽受限时，也会防止由此引起的图像质量降低，例如，丢帧。而且，当处理时间还有空闲时，可以进行AC预测编码处理；因此，可以进一步使图像质量更好。
3-3、改进的实施例按照该实施方式，每次在一帧的处理完成时进行预测编码方法的选择；然而，还可以有每次在一个块列处理完成时进行选择的另一结构。使用前一结构，考虑了连续帧之间的相关性而选择预测编码方法，而使用后一结构，考虑了一帧内连续块列之间的相关性而选择预测编码方法。无论按照哪一种方法，都可以选择适合的预测编码方法。
4、第四实施方式第四实施方式的图像编码装置通常与第一实施方式的图像编码装置具有相同的结构，除了进行DC预测编码的结构之外。具体地说，在第一实施方式中，DC预测单元105参照通过存储总线111存储在存储器单元113中的DC系数，而在第四实施方式中，DC预测单元使用专用存储器。下面参照附图描述第四实施方式的图像编码装置。
4-1、装置结构图13示出了本发明第四实施方式的图像编码装置的原理性功能结构框图。如图13所示，图像编码装置4包括图像输入端子400、DCT单元401、第一量化单元402、预测编码单元403、码字输出端子404、DC预测单元405、预测选择器406、第二量化单元407、AC预测单元408、逆量化单元409、总线流量监控单元410、存储总线411、处理组412、共用存储器单元413、比特率设定端子414以及专用存储器单元415。
专用存储器单元415中存储DC系数。DC预测单元405参照存储在专用存储器单元415中的DC系数并进行DC预测编码。
4-2、图像编码装置4的工作原理下面描述图像编码装置4的工作过程，并且作为一个实施例，针对每一块列进行预测编码方法的选择。
图14示出了通过图像编码装置4进行处理的流程图。如图14所示，图像编码4将已经处理的当前块列(该块列称为“当前块列”)产生的码字量与基准码字量进行比较并且检查哪一个更大。
作为检查结果，当总线流量监控单元410判断存储总线411拥塞时(步骤S700是)，图像编码装置4检查当前块列是否使用DC预测编码处理方法进行处理。如果当前块列使用DC预测编码处理方法(步骤S701是)，总线流量监控单元410输出选择信号，从而选择来自DC预测单元的输出(步骤S702)。
然后，以块为单位进行DC预测编码处理(步骤S703)，每次当一块处理完成时，检查该块是否为该块列的最后的块。作为检查结果，如果判断该块不是最后的块(步骤S704否)，则对该块列的下一块进行DC预测编码(步骤S703)。
如果处理的块是最后的块(步骤S704是)，程序返回到步骤S700，并且检查存储总线411的拥塞程度。
另一方面，如果当前块列没有用DC预测编码处理方法(步骤S701否)，则总线流量监控单元410输出选择信号，从而选择来自AC预测单元408的输出(步骤S705)。
然后，以块为单位进行AC预测编码处理(步骤S706)，并且每次当一块处理完成时，检查该块是否是该块列中最后的块。作为检查结果，当判断该块不是最后的块时(步骤S707否)，对该块列的下一块进行AC预测编码处理(步骤S706)。
当处理的块是最后的块时(步骤S707是)，程序返回到步骤S700，并且对产生的码字量与基准码字量进行比较。
当总线流量监控单元410判断存储总线411拥塞时(步骤S700否)，则检查当前块列是否使用AC预测编码方法进行处理。作为检查结果，在当前块列使用AC预测编码方法进行处理时(步骤S708是)，总线流量监控单元410输出选择信号，从而预测选择器406选择来自AC预测单元408的输出(步骤S709)。
然后，图像编码装置4以块为单位进行AC预测编码处理(步骤S710)，并且当处理最后的块完成时(步骤S711是)，检查存储总线411的拥塞程度。
在当前块列不是使用AC预测编码处理方法时(步骤S708否)，总线流量监控单元410输出选择信号，从而预测选择器406选择来自DC预测单元405的输出(步骤S712)，并且进行DC预测编码(步骤S713)，当最后的块处理完成时(步骤S714是)，将产生的码字量与基准码字量进行比较。
使用上述的结构，当进行DC预测编码时，没有通过存储总线114对共用存储器单元413进行存取；因此，可以避免由于其它处理对存储器的存取而延迟编码处理或者其它处理被延迟的情况发生。
I应该注意到，不仅在总线流量监控单元410来监控存储总线410的拥塞程度的情况下，而且在根据对产生的码字量或者处理时间的监控进行预测编码方法的转换的情况下，都可以采用包括专用存储单元415的结构，并且可以取得同样的效果。
5、改进的实施例到目前为止，本发明已经对实施方式的实施例进行了解释；但是，毋庸置疑，本发明并不局限于上述的实施方式。下述的修改实施例也可以作为本发明的实施方式。
(1)尽管上面的描述中没有专门提到，除了上述的选择预测编码方法的方式外，也可以按照下面的方式选择预测编码方法。
还可以有一种结构，在这种结构中当AC系数的预测误差大于AC系数本身时，使用DC预测编码方法，否则使用AC预测编码方法。使用该结构，可以提高编码效率。
这类预测编码方法的选择称为自适应型AC系数预测并且由MPEG-4标准详细说明。换句话说，本发明可以提高遵照MPEG-4标准进行压缩/编码的运动图像的图像质量。
例如，对于每一宏块，将该块的AC系数的绝对值之和与该宏块的预测误差的绝对值之和进行比较。当AC系数的绝对值之和相对较大时，使用预测误差进行预测编码。当AC系数的绝对值之和相对较小时，进行DC预测编码。使用该结构，可以提高帧内预测编码处理的编码效率。
(2)下面描述预测编码方法之间的转换的另一修改实施例。可以每次在处理完一帧的时判断该预测编码方法是否转换，也可以每次在处理完一个块列或者一个宏块的的时进行判断是否转换。
通常，对转换标准的判断频率越高，选择的预测编码方法就会越适合；但是，判断处理会使处理量加大。这样，在这两个因素之间进行折中考虑来决定判断频率是很重要的。
(3)尽管上述实施方式的描述中没有提到监控用于转换预测编码方法的标准，但是还可以具有一结构，在该结构中可以在每一帧的周期或者是每一块列的周期监控该标准。
通常，监控转换标准的周期越短，在预测编码方法之间进行的转换就越恰当；但是，该监控处理会使处理量加大。这样，在这两个因素之间进行折中考虑来决定监控周期很重要。
应该注意，该监控周期不是必须与对转换标准的判断频率相匹配。应该为本发明所采用的每一图像编码装置选择适合的值。
6、应用实施例本发明的图像编码装置可以应用于数码相机(DSC)、数码摄像机(DVC)、带有摄像头的便携式电话、电视会议系统等等。
在这些实施例中，当本发明应用于DSC或者DVC时，可以克服一些不便，如由于图像编码处理量而引起的其它处理的延迟。
具体地说，在处理高分辨率图像的图像处理系统中，例如，高清电视，除了图像压缩之外的其它各种处理所需的处理量也十分巨大。即使只进行这些其它处理，系统的处理量已经很大。因而，由于本发明实现了在进行编码处理时可以将对其它各种处理的影响减少到最小程度，所以本发明很有效。
当本发明应用于带有摄像头的便携式电话或者电视会议系统时，其可以维持用于传输运动图像的通信带宽。因而，可以避免由此引起的图像质量降低，例如丢帧。
作为本发明应用的另一实施例，下面描述包括按照本发明的图像编码装置的图像传感器系统。
图15示出了采用本发明图像编码装置的图像传感器系统的结构图。如图15所示，图像传感器系统5包括光学系统501、传感器502、A/D转换电路503、图像处理电路504、记录/传输系统505、重放系统506、时序控制电路507以及系统控制电路508。图像处理电路504包括按照本发明的图像编码装置504a。
光学系统501根据来自目标对象的入射光在传感器502上形成图像。传感器502将入射光转换为模拟图像信号。A/D转换电路503将模拟图像信号转换为数字图像信号。图像处理电路504对数字图像信号表示的数字图像进行Y/C处理(亮度/色度处理)、边缘处理、图像的放大和缩小或者根据JPEG或MPEG的处理图像。记录/传输系统505在介质上记录或者传输处理后的数字信号。重放系统506重新播放已经记录或传输的数字图像信号。
时序控制电路507控制传感器502和图像处理电路504的工作时序。系统控制电路508控制光学系统501、记录/传输系统505、重放系统506和时序控制电路507。
除了该图像传感器系统外，本发明还可以应用于从外面而不是从光学系统或传感器接收图像信号并且处理该图像信号的系统中，例如是高清电视。这时，在接收模拟图像信号的系统中，将该模拟图像信号转换为数字图像信号后再进行处理。在接收遵照例如ITU-R Rec.601或者ITU-R Rec.656标准的数字图像信号的系统中，可以不需要进行A/D转换而立即进行图像处理。
如上所述，按照本发明，无论是对静止图像还是运动图像进行预测编码，都可以防止其它各种处理的延迟并且提高图像质量。
而且，按照本发明，可以将AC预测编码方法的使用限制到最小需求程度。由于AC预测编码方法为了获得目标比特率而具有高功耗，本发明对于要求降低电源功耗的器件，例如便携式摄相机，尤其有益。
尽管已经参照附图通过实施例详细描述了本发明，应该注意，本领域的技术人员还可以做出各种修改和变化。因此，本发明包括不脱离本发明范围内的任何修改和变化。
权利要求
1.一种图像编码装置，包括选择单元，用于根据图像编码装置的工作状态选择直流预测编码方法和交流预测编码方法中的一种；直流预测编码单元，用于当选择直流预测编码方法时，对组成每一段图像数据的每一块进行直流预测编码；以及交流预测编码单元，用于当选择交流预测编码方法时，对组成每一段图像数据的每一块进行交流预测编码。
2.根据权利要求1所述的图像编码装置，其特征在于，还进一步包括监控单元，用于监控该图像编码装置的工作状态，其中所述选择单元根据所述监控单元进行的监控结果选择直流预测编码方法和交流预测编码方法之一。
3.根据权利要求1所述的图像编码装置，其特征在于，还进一步包括存储器，共用于编码处理和其它各种处理，其中所述交流预测编码单元使用存储在该存储器中的交流系数进行交流预测编码，所述监控单元监控该存储器的存取量，以及所述选择单元在所述监控单元判断该存储器的存取量等于或者大于一数值时选择直流预测编码方法，以及在所述监控单元判断该存储器的存取量小于所述数值时选择交流预测编码方法。
4.根据权利要求1所述的图像编码装置，其特征在于，所述监控单元监控由所述交流预测编码单元和所述直流预测编码单元产生的码字量，以及所述选择单元在所述监控单元判断产生的码字量等于或者大于一数值时选择交流预测编码方法，以及在所述监控单元判断产生的码字量小于所述数值时选择直流预测编码方法。
5.根据权利要求1所述的图像编码装置，其特征在于，所述监控单元监控对预定量的图像数据进行编码所花费的时间长度，以及所述选择单元在所述监控单元判断该时间长度等于或者大于一数值时选择直流预测编码方法，以及在所述监控单元判断该时间长度小于所述数值时选择交流预测编码方法。
6.根据权利要求1所述的图像编码装置，其特征在于，所述监控单元监控该图像编码装置每一帧周期的工作状态。
7.根据权利要求1所述的图像编码装置，其特征在于，所述监控单元监控该图像编码装置每一块列周期的工作状态。
8.根据权利要求1所述的图像编码装置，其特征在于，所述选择单元对于每一帧选择直流预测编码方法和交流预测编码方法之一。
9.根据权利要求1所述的图像编码装置，其特征在于，所述选择单元对于每一块列选择直流预测编码方法和交流预测编码方法之一。
10.根据权利要求1所述的图像编码装置，其特征在于，所述选择单元对于每一宏块选择直流预测编码方法和交流预测编码方法之一。
11.根据权利要求1所述的图像编码装置，其特征在于，还进一步包括专用存储器，只由所述直流预测编码单元使用，其中所述直流预测编码单元使用存储在该专用存储器中的直流系数进行直流预测编码。
12.一种用于图像编码装置的图像编码方法，包括监控步骤，监控该图像编码装置的工作状态；选择步骤，根据该图像编码装置的工作状态选择直流预测编码方法和交流预测编码方法之一；直流预测编码步骤，当选择直流预测编码方法时，对组成一段图像数据的每一块进行直流预测编码；以及交流预测编码步骤，当选择交流预测编码方法时，对组成一段图像数据的每一块进行交流预测编码。
13.一种图像传感器系统，包括图像形成单元，用于形成目标的图像；光电转换单元，用于对所述目标的图像进行光电转换并且输出模拟图像信号；模数转换单元，用于将所述模拟图像信号转换为数字图像信号；以及图像处理单元，用于处理所述数字图像信号并且包括选择子单元，用于根据该图像传感器系统的工作状态选择直流预测编码方法和交流预测编码方法之一；直流预测编码子单元，用于当选择直流预测编码方法时对组成所述数字图像信号的每一块进行直流预测编码；以及交流预测编码子单元，用于当选择交流预测编码方法时对组成所述数字图像信号的每一块进行交流预测编码。
14.一种图像处理系统，包括模数转换单元，用于接收模拟图像信号并且将接收的模拟图像信号转换为数字图像信号；以及图像处理单元，用于处理所述数字图像信号并且包括选择子单元，用于根据所述图像处理系统的工作状态选择直流预测编码方法和交流预测编码方法之一；直流预测编码子单元，用于当选择直流预测编码方法时对组成所述数字图像信号的每一块进行直流预测编码；以及交流预测编码子单元，用于当选择交流预测编码方法时对组成所述数字图像信号的每一块进行交流预测编码。
全文摘要
本发明公开了一种图像编码装置，在该图像编码装置中，总线流量监控单元监控存储总线的流量并且当该存储总线拥塞时，预测选择器选择来自直流预测单元的输出。相反，当该存储总线没有拥塞时，预测选择器选择来自交流预测编码单元的输出。所述存储器单元存储由离散余弦变换单元输出的直流系数和交流系数以进行交流预测编码。
文档编号H04N7/26GK1630376SQ200410097178
公开日2005年6月22日 申请日期2004年12月13日 优先权日2003年12月19日
发明者北村臣二 申请人:松下电器产业株式会社