专利名称：图像压缩处理装置、图像压缩处理方法以及图像压缩处理程序的制作方法
技术领域：
本发明涉及一种图像压缩处理装置、一种图像压缩处理方法以及一种图像压缩处理程序，用于诸如数字静止摄像机、数字视频摄像机以及装备有摄像机的蜂窝电话终端的各种装置中静止图像数据和移动图像数据的处理。
背景技术：
主要用于捕获移动图像的数字视频摄像机和主要用于捕获静止图像的数字静止摄像机已广泛得以应用。这些摄像机中的某些摄像机既可以捕获移动图像，也可以捕获静止图像。另外，配备了数字摄像机功能的所谓装备有摄像机的蜂窝电话终端和装备有摄像机的便携式电子笔记本等，也正在越来越普遍地得以使用。
在这些具有成像功能的装置中，例如在数字摄像机和装备有摄像机的蜂窝电话终端中，如果把通过成像获得的移动图像数据和静止图像数据按原样记录于其记录容量有限的记录媒体(存储媒体)中时，则很快会占满记录媒体的记录容量，因为这些所获图像数据的数据量是相当大的。
因此，当把成像所产生的图像数据记录在存储媒体中时，使图像数据经历基于各种系统中任何一种系统的数据压缩处理，以致可以减小其数据量，然后把这些数据记录于存储媒体中。例如，当将要记录的图像数据为移动图像数据时，使用诸如MEPG(移动画面专家组)系统的数据压缩系统。当将要记录的图像数据为静止图像数据时，使用诸如JPEG(联合摄影专家组)系统的数据压缩系统。
将根据现存图像压缩装置的一个例子进行描述。图9说明了现存图像压缩处理装置的一个例子，该图像压缩处理装置令静止图像数据经历数据压缩，例如通过JPEG系统。在图9中所示的这一现存图像压缩处理装置中，把提交于这一装置的压缩目标图像数据提供于DCT(离散余弦变换)单元101，并且使其经历其中的离散余弦变换，从而可将其从沿时间轴的分量变换为沿频率轴的分量。把变换为频率轴分量的图像数据提交于量化器102。
量化器102根据从固定长度量化表创建器107所获得的量化表信息，调整来自DCT单元101的图像数据的压缩率，并且把所调整的图像数据提交于可变长度编码器103。可变长度编码器103通过使用诸如Huffman代码的可变长度代码，执行对来自量化器102的图像数据的可变长度编码。可变长度编码器103把所编码的数据作为压缩过的图像数据加以输出，并且将其提交于字节计算器104。
字节计算器104根据来自可变长度编码器103的所编码的图像数据，计算对应于一个屏幕的压缩图像数据的字节的数目，并且将所计算的结果提交于量化比例计算器105。量化比例计算器105计算在由字节计算器104计算的字节数目和预先确定的字节数目之间的差，从而计算压缩率调整量，即量化比例。把量化比例计算器105的计算结果提交于固定长度量化表创建器106。
固定长度量化表创建器106根据作为来自量化比例计算器105的计算结果的新计算的自量化比例，以及从量化表单元所提交的量化表107，创建新的量化表，并且把这一新的量化表提交于量化器102。把以上所描述的循环处理重复多次，以致可把图像数据逐步压缩为具有预先确定的数据大小的数据。
然而，由于多次执行压缩处理(反复重试压缩处理)直至获得适当的压缩率，如以上所描述的，所以完成压缩处理花费了较长的时间。因此，使用诸如参照图9所描述的图像压缩处理装置的成像设备涉及这样一个问题不能使用短成像间隔，因为对于要记录的所捕获图像完成压缩处理需要较长的时间。而且，多次重复压缩处理需要提供用于容纳原始图像全部数据的大容量存储器。
相比之下，如果希望仅通过一次压缩处理就压缩成预先确定的数据大小，则需要使用高压缩率。然而，尽管很容易把数据大小减小至小于预先确定的大小，但不必要的高压缩率可能导致所谓的块噪音和蚊噪音，从而导致所复制图像的质量的劣化。
作为解决这些问题的一种方案，日本专利公开号为2003-199019中公开了一种允许通过一次数据压缩处理快速和适当进行数据压缩的技术。在这一技术中，根据将要记录的图像的微缩(thumbnail)图像，抽取出将要记录的图像的高频分量，并且根据所抽取的分量，预测对应于一个屏幕的图像数据量，以致能够根据预测结果设置适当的压缩率。
发明内容
根据以上所描述的日本专利公开号为2003-199019中所公开的技术，与参照图9所描述的现存的图像压缩处理相比，可以更快速地压缩图像数据。而且，预先所获得的压缩率不必很高，从而避免了图像的劣化。
然而，对于在日本专利公开号为2003-199019中所公开的技术，为了包含将要压缩的图像的特征，高频分量积分装置通过使用其尺寸远小于原始图像尺寸的微缩图像来抽取水平和垂直方向的高频分量。因此，将存在这样一种情况其中，由于图像信息中的缺陷，代码量预测中将会出现错误。
另外，如果像日本专利公开号为2003-199019中所公开的技术那样仅仅根据水平高频分量预测对应于整个屏幕的代码量，则将会引发下列问题。特别是，例如，当处理具有如
图10中所示横向条纹图案的输入图像G时，尽管在这一输入图像G中垂直高频分量较大，但也很难抽取这一特征，而且预测压缩之后的代码量将小于实际值，这是因为使用仅在水平方向的频带上的聚焦来对代码量进行预测。
如果为避免这一问题也希望抽取垂直高频分量，则必须使用用于在其中存储对应于一行或多行的压缩目标图像的数据的存储器(行存储器)来构造高频分量抽取电路，这可能导致电路规模的增大和成本的升高。
而且，在日本专利公开号为2003-199019所公开的技术中，按图像监视模式执行高频分量积分处理和代码量预测处理，用于确认是否正在捕获成像目标。相比之下，在过渡到数据记录模式之后，加载所捕获的图像本身。因此，按图像监视模式经历了高频分量积分处理和代码量预测处理的图像，不对应于将要记录的所加载的图像。特别是，在使用闪光灯进行成像的过程中，这一问题将导致代码量预测精度的劣化。
因此，具有用于压缩图像之功能的图像压缩处理装置，传统上存在着下列的问题(1)～(7)。具体地讲，现存的装置存在问题(1)对于将要压缩的图像，因代码量预测的多次反馈处理所导致的长的压缩处理周期；(2)为了实现对将要压缩的图像的代码量预测的多次反馈处理，需要存储整个原始图像数据所导致的大的存储器规格；以及(3)当仅通过一次压缩处理压缩一个压缩目标图像时，代码量预测精度的不够所导致的图像质量的劣化。
另外，现存装置还存在下列问题(4)从图像例如从其尺寸远小于原始图像的微缩图像(预备图像)中抽取高频分量所导致的代码量预测误差的出现；(5)当仅根据水平和垂直高频分量之一预测代码量时，在图像涉及水平和垂直方向之间频带失衡的情况下，预测错误的出现；(6)为了抽取垂直高频分量，需要存储对应于一行或多行的数据所导致的大的存储器规格；以及(7)将要记录的压缩目标图像和用于代码量预测的图像之间的不一致所导致的代码量预测误差的出现。
考虑到以上所描述的问题，本发明的目的是，提供一种图像压缩处理装置、一种图像压缩处理方法以及一种图像压缩处理程序，它们均可解决以上所描述的问题，并且均具有下列特性。特别是，所述装置、方法以及程序可以快速、高精度地对图像进行压缩处理(压缩编码)，并且可以快速地把尚未(yet-to-be)加以压缩的图像数据记录在存储媒体中。另外，所述装置、方法以及程序还允许对其中记录了尚未加以压缩的图像数据的存储媒体的有效利用，而且还可以提高图像压缩处理的响应能力。
为了解决以上所描述的问题，根据本发明第一方面的一种图像压缩处理装置包括记录控制装置，其被提交有图像信号，并且把所述图像信号记录于存储媒体中；第一检测装置，其被提交有所述图像信号，并且检测所述图像信号的水平高频分量和垂直高频分量的特征；计算装置，其根据来自第一检测装置的检测结果，通过预先确定的编码系统，计算所述图像信号的压缩编码中的压缩率；以及编码装置，其根据计算装置所计算的压缩率，针对所述图像信号或从存储媒体所读出的图像信号，执行压缩编码。
根据本发明第一方面的图像压缩处理装置，第一检测装置检测由将要处理的图像信号所形成的图像的水平和垂直高频分量的特征。根据检测结果，计算装置计算图像信号的压缩率。另外，根据来自计算装置的压缩率，压缩编码装置还可以仅通过一次压缩编码处理，把图像信号压缩编码成具有所希望数据量的图像数据。
由于这一配置，可以快速地执行压缩编码处理，而且可以通过使用水平和垂直高频分量，判断图像是涉及剧烈变化的图像，还是涉及微小变化的图像。于是，可以无误地精确计算压缩率。因此，当使压缩编码过的图像经历扩展处理以加以恢复时，还可避免图像劣化现象的发生。另外，由于可以通过一次图像压缩处理完成图像压缩处理，所以，例如，如果在存储媒体中存储和保留尚未压缩编码的图像数据，则可以有效地利用存储媒体。
根据本发明第二方面的一种图像压缩处理装置，从属于本发明第一方面的图像压缩处理装置，并且还包括第二检测装置，其被提交有所述图像信号，以及检测所述图像信号的水平低频分量和垂直低频分量的特征。另外，计算装置根据来自第一检测装置的检测结果和来自第二检测装置的检测结果，通过预先确定的编码系统，计算所述图像信号压缩编码中的压缩率。
根据本发明第二方面的图像压缩处理装置，第二检测装置检测由所述图像信号所形成的图像的水平和垂直低频分量的特征。计算装置除了考虑来自第一检测装置的检测结果之外，还考虑来自第二检测装置的检测结果，计算图像信号的压缩率。而且，根据来自计算装置的压缩率，压缩编码装置还可以通过一次压缩编码处理，把图像信号压缩编码为具有所希望压缩率的图像数据。
由于这一配置，可以在除了考虑作为第一检测装置的检测结果的水平和垂直高频分量之外，也考虑作为第二检测装置的检测结果的水平低频分量和垂直高频分量的情况下，来较高精度地计算图像信号的压缩率。
根据本发明第三方面的一种图像压缩处理装置，从属于本发明第二方面的图像压缩处理装置，并且还包括判断装置，其根据来自第一检测装置的检测结果和来自第二检测装置的检测结果，判断是否要调整将要存储于存储媒体中的图像信号的信息量；以及信息量调整装置，其被提供了记录控制装置的上行流，而且如果判断装置已断定将要调整信息量，则其调整将要提交于记录控制装置的图像信号的信息量。
根据本发明第三方面的图像压缩处理装置，判断装置根据由将要处理的图像信号所形成的、第一检测装置所检测的水平和垂直高频分量，以及由将要处理的图像信号所形成的、第二检测装置所检测的水平和垂直低频分量，来判断是否要调整将要处理的图像信号的信息量(数据量)。
具体地讲，如果判断装置已断定图像包括的低频分量多于高频分量，因而涉及很小的变化，则判断装置断定将要调整形成图像的图像信号的信息量。在这一调整中，朝减小数量的方向调整数据量。如果已经断定将要调整图像信号的信息量，则提供有记录控制装置的上行流的信息量调整装置调整将要处理的图像信号的信息量，然后经由记录控制装置把所得到的图像信号记录于存储媒体中。
这一配置提供了对其中还记录了尚未压缩编码的图像信号的存储媒体的存储容量的有效使用，从而允许快速地把较大量尚未压缩编码的图像信号记录于存储媒体中。即，可以有效地把尚未压缩编码的图像信号本身存储在存储媒体中，从而允许对存储媒体的有效使用。另外，当从存储媒体中检索了已对其信息量进行了调整的图像信号时，从所检索的调整后的图像信号恢复尚未加以调整的原始图像信号。于是，可以按通常方式利用这一所恢复的图像信号，例如按被压缩编码的形式利用这一所恢复的图像信号，并且将其记录于另一个记录媒体中。
附图简述图1是方框图，用于解释应用了本发明一个实施例的数字摄像机。
图2是方框图，用于解释图1中所示数字摄像机中的高频积分电路。
图3是方框图，用于解释图1中所示数字摄像机中的低频积分电路。
图4是方框图，用于解释图1中所示的由CPU所实现的代码量预测器以及在图像编码译码器中提供的图像压缩器。
图5A～5D是用于解释在作为将要记录于记录装置的记录媒体中的图像数据的YUV数据和通过压缩编码形成的流数据之间的关系的示意图。
图6是表示量化表的一个例子的示意图。
图7是流程图，用于解释向存储装置(存储媒体)50写数据的处理。
图8是流程图，用于解释从存储装置(存储媒体)50读数据的处理。
图9是方框图，用于解释现存图像压缩处理装置的一个例子。
图10是用于解释包括很少水平高频分量和过多垂直高频分量的图像的例子的示意图。
最佳实施方式以下，将参照这些附图，详细描述根据本发明的装置、方法以及程序的一个实施例。以下，将主要针对其中把根据本发明的装置、方法以及程序施用于捕获静态图像(静止图像)的数字摄像机(成像设备)的例子进行描述。
图1是方框图，用于解释本实施例的数字摄像机的配置。如图1中所示，根据粗略分类，本实施例的数字摄像机包括成像元件10、预处理电路20以及摄像机DSP(数字信号处理器)30。而且，该数字摄像机还包括为外部耦合装置的存储装置50、LCD/监视器51、记录媒体52、用作控制器功能的CPU(中央处理器)61、RAM(随机存取存储器)62、EEPROM(电可擦除和可编程只读存储器)63、以及接受由用户输入的指令的操作单元60。
参照图1，成像元件10是用于捕获图像信息的部件，例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)。
预处理电路20包括CDS(相关双精度取样)/AGC(自动增益控制)/ADC(模拟/数字转换器)电路21、时序生成器22、以及V驱动器23。把已通过成像元件10捕获的并且被转换为电信号的图像信息提交于预处理电路20中的CDS/AGC/ADC电路21。
CDS/AGC/ADC电路21针对所提交的图像信息执行CDS处理，以保持其有利的S/N比，并且执行AGC处理，以控制其增益。另外，CDS/AGC/ADC电路21还执行A/D转换，从而形成被转换为数字信号的图像数据。由CDS/AGC/ADC电路21执行以上所描述的处理。时序生成器22和V驱动器23根据来自CDS/AGC/ADC电路21的信息控制成像元件10的驱动时序。把来自预处理电路20的图像数据提交于摄像机DSP 30。
如图1中所示，摄像机DSP 30包括摄像机信号处理电路31、高频信号积分电路32、低频积分电路33、将加以记录的图像产生电路34、分辨率转换电路35、图像编码译码器36、微分信号处理电路37、存储控制电路38、显示控制电路39、媒体控制电路40、以及BIU(总线接口单元)41。
另外，还把存储装置50、LCD(液晶显示器)/监视器51、以及记录媒体52连接于摄像机DSP 30，如图1中所示。存储装置50为半导体存储器，其具有比较大的存储容量，例如，为SDRAM(同步动态随机存取存储器)。例如，记录媒体52为采用半导体存储器的所谓的存储卡。可以明显意识到，也可以把任何诸如可记录DVD和可记录CD的光记录媒体、磁盘、以及各种其它媒体用作记录媒体52。
存储控制电路38控制图像数据向存储装置50的写入以及图像数据从存储装置50的读出。显示控制电路39控制在LCD(液晶显示器)/监视器51上的图像的显示。媒体控制电路40控制图像数据向记录媒体52的写入和图像数据从记录媒体52的读出。
BIU 41是用作在CPU 61和摄像机DSP 30之间的接口的模块。根据来自作为用户接口的操作单元60的信号，CPU 61从EEPROM 63加载程序，并且通过使用用作为工作存储器的RAM 62来执行该程序，从而确保根据与摄像机DSP 30通信的用户的请求的操作。
本实施例的数字摄像机的成像操作执行如下。响应于通过操作单元60所接受的来自用户的成像操作指令，CPU 61控制成像元件10和预处理电路20，使得作为图像数据捕获目标对象的图像，并且把所捕获的图像数据提交于摄像机DSP 30中的摄像机信号处理电路31、高频积分电路32以及低频积分电路33。
摄像机信号处理电路31使所提交的图像数据经历摄像机信号处理，例如AF(自动对焦)、AE(自动曝光)以及AWB(自动白平衡)，并且把所处理的图像数据提交于将加以记录的图像产生电路34。将加以记录的图像产生电路34根据所提交的已经经历了摄像机信号处理的图像数据，产生作为将要记录的图像数据的YUV数据，并且把所产生的数据提交于微分信号处理电路37。在本说明书中，作为图像数据的“YUV数据”意指由Y信号(亮度信号)、Cb信号(蓝色差信号)、以及Cr信号(红色差信号)构成的图像数据。
以下将对其详细加以描述的微分信号处理电路37实现对将加以记录的图像数据(YUV数据)的微分压缩，由此抑制记录在存储装置50中的图像的数据量，使得可允许在存储装置50中记录较大量的图像数据。通过存储控制电路38，把由微分信号处理电路37所处理的图像数据记录在存储装置50的存储器中。
接下来，根据CPU 61的控制，存储控制电路38从存储装置50检索新记录的图像数据，并且通过系统总线把所检索的数据提交于分辨率转换电路35。分辨率转换电路35根据所提交的、依赖于LCD/监视器51的显示屏幕的图像数据，进行改变图像尺寸的处理，并且把已经改变了其尺寸的图像数据提交于显示控制电路39。
显示控制电路39根据来自分辨率转换电路35的图像数据，创建将提交于LCD/监视器51的图像信号(视频信号)，并且将所创建的信号提交于LCD/监视器51。因此，把对应于通过成像元件10所捕获的图像数据的图像显示在LCD/监视器51的显示屏幕上，从而允许用户观察该图像。
另外，例如，如果按下操作单元60中安装的快门按钮，则也把从存储装置50所检索的图像数据提交于图像编码译码器36。图像编码译码器36通过预先确定的压缩系统，例如通过JPEG系统或MPEG系统，把所提交的图像数据压缩成流数据。具体地讲，图像编码译码器36执行通过DCT等的时间-至-频率轴变换处理、量化处理、以及可变长度编码处理，从而压缩图像数据。
经由微分信号处理电路37和存储控制电路38，把由图像编码译码器36所压缩的图像数据记录在存储装置50中，或者经由媒体控制电路40，把由图像编码译码器36所压缩的图像数据记录于记录媒体52中。
另外，如果通过操作单元60指令CPU 61再现记录在记录媒体52中的图像数据，则CPU 61控制媒体控制电路40，使得从记录媒体52中检索目标图像数据，并且将其提交于图像编码译码器36。当把压缩编码的图像数据提交于图像编码译码器36时，图像编码译码器36使数据经历译码处理，由此恢复编码前的原始图像数据，并且经由分辨率转换电路35和显示控制电路39将被译码的数据提交于LCD/监视器51，使得再现对应于记录在记录媒体52中的图像数据的图像。
按以上所描述的方式，这一数字摄像机把目标对象的图像作为图像数据捕获于存储装置50中，并且把对应于所捕获的图像数据的图像显示在LCD/监视器51的显示屏幕上，从而可以观察该图像。而且，如果按下在操作单元60中的快门按钮，则数字摄像机通过使用诸如JPEG或MPEG的压缩系统对捕获于存储装置50中的图像数据进行数据压缩，并且允许把所压缩的数据记录于存储装置50和记录媒体52中。另外，数字摄像机还检索记录于记录媒体52中的所压缩的图像数据，并且对其进行译码，使得可以把对应于所译码的图像数据的图像显示在LCD/监视器51的显示屏幕上。
而且，这一实施例的数字摄像机使用了高频积分电路32和低频积分电路33，从而可使图像编码译码器36通过一次处理而能够适当地完成图像数据压缩处理(编码处理)。另外，在这一数字摄像机中，微分信号处理电路37还执行微分信号处理，从而允许对将要记录于存储装置50中的尚未压缩编码的图像数据(YUV数据)进行更有效的数据压缩。因此，可以把图像数据快速地记录于存储装置50中，并且可以有效地利用存储装置50本身。
以下，将详细地描述图1中所示的高频分量积分电路32。如图1中所示，在这一实施例的数字摄像机中，在摄像机DPS 30中安装的高频分量积分电路32精确地预测由诸如JPEG系统或者MPEG系统的预先确定的压缩系统所压缩的数据的代码量。而且，高频分量积分电路32检测将要记录的图像的水平和垂直方向的特征，以允许微分信号处理电路37有效地执行微分信号处理。
图2是方框图，用于解释本实施例的数字摄像机中所使用的高频分量积分电路32。如图2中所示，高频分量积分电路32包括亮度信号产生器321和分别用于处理目标图像的水平和垂直方向的两个处理系统。
用于水平方向的处理系统包括水平高频分量抽取器322、绝对值单元323、积分器324、以及面积计算器325。用于垂直方向的处理系统包括垂直高频分量抽取器326、绝对值单元327、积分器328、以及面积计算器329。
如图2中所示，垂直高频分量抽取器326包括水平频带限制器326a、水平插值/稀释(thinning)单元326b、行存储器326c、以及垂直运算单元326d，由此允许把每一行的数据量减小到准许进行充分处理的程度，即使行存储器的存储容量不很大也是如此，如以下将详细加以描述的。
把来自预处理电路20的图像数据(所捕获的图像信号)提交于亮度信号产生器321。亮度信号产生器321根据所提交的图像数据产生亮度信号。亮度信号产生器321可以从所提交的图像数据中仅抽取广泛地覆盖图像的频带的像素数据(例如，在原色成像器(图像)的情况下，为绿色像素数据)，以致可以把所抽取的像素数据用作伪亮度信号。把由亮度信号产生器321所产生的亮度信号提交于水平高频分量抽取器322和垂直高频分量抽取器326。
如果把绿色像素数据(绿色信号)用作伪亮度信号，则可以精确地执行高频分量积分电路32中的处理，而不会出现数据缺陷，这是因为已经减小了数据量。
由于通常情况下按水平扫描的次序输入图像数据，所以水平高频分量抽取器322可以由具有比较简单配置的高通滤波器形成。相比之下，垂直高频分量抽取器326应该形成高通滤波器，用于其间具有对应于仅一行的时差的两个或多个点之间的图像信号。因此，在本实施例中，对于一行，提供行存储器326c，其具有等于对应于一行的图像数据(所捕获的图像信号)的容量，或者对于多行，提供多个行存储器326c。
然而，提供具有大存储容量的行存储器，将导致电路规模和功耗的增加。为了解决这一问题，本实施例中的垂直高频分量抽取器326把一行图像数据稀释至高频分量抽取器326所需最小像素数目的数据，然后把所得到的数据存储在行存储器326c中。为此目的，也如以上所描述的，高频分量抽取器326包括水平频带限制器326a和水平插值/稀释单元326b。
具体地讲，在垂直高频分量抽取器326中，最初，水平频带限制器326a把来自亮度信号产生器321的亮度信号(图像信号)限制于仅为预先确定的低频分量，由此防止因水平稀释处理所导致的所谓的返送。即，把亮度信号的数据量限制为预先确定的量。
接下来，水平插值/稀释单元326b使用水平方向中的多分支(multi-tap)像素执行插值滤波处理，并且执行对亮度信号的稀释处理，从而使所得到的信号的像素的数目变为由行存储器326c的容量覆盖的数目。把已经经历像素稀释的亮度信号写至行存储器326c。如以上所描述的，在本实施例中，垂直高频分量抽取器326使用最少的硬件，形成了高通滤波器，该高通滤波器获得其间具有对应于仅一行的时差的两个或多个点之间的亮度信号，并且计算这些点之间的差，由此抽取高频分量。
把由图2中所示的高频分量积分电路32中的水平和垂直高频分量抽取器322和326所获得的亮度信号的高频分量分别提交于对应的绝对值单元323和327。
绝对值单元323把来自水平高频分量抽取器322的亮度信号的水平高频分量转换为绝对值，以防止在接下来的阶段在积分器324中高频分量互相抵消。类似地，绝对值单元327把来自垂直高频分量抽取器326的亮度信号的垂直高频分量转换为绝对值，以防止在接下来的阶段在积分器328中高频分量互相抵消。
接下来，通过绝对值单元323转换成绝对值的亮度信号的水平高频分量被提交于积分器324和面积计算器325。通过绝对值单元327转换成绝对值的亮度信号的垂直高频分量被提交于积分器328和面积计算器329。
积分器324对所提交的亮度信号的水平高频分量进行积分处理(累加处理)，其中，亮度信号为把例如一个屏幕定义为处理单元区域的绝对值，从而可获得水平高频分量积分数据，并且将该数据提交于作为代码量预测器的CPU 61。类似地，积分器328对所提交的亮度信号的垂直高频分量进行积分处理(累加处理)，其中，亮度信号为把一个屏幕定义为处理单元区域的绝对值，从而可获得垂直高频分量积分数据，并且将该数据提交于作为代码量预测器的CPU 61。
应该加以注意的是，积分处理的处理单元区域并不局限于一个屏幕。积分处理的处理单元区域可以为可选的指定区域。作为可选的指定区域，使用具有各种规格的任何区域都是可能的，例如，使用宏块(16×16个像素的区域)、子块(8×8个像素的区域)、等于多个宏块的区域、以及等于多个子块的区域。
面积计算器325计数积分器324中积分处理的次数，由此计算包含经历了积分处理的亮度信号的水平高频分量的区域的面积，并且把所计算的结果提交于作为代码量预测器的CPU 61。类似地，面积计算器329计数积分器328中积分处理的次数，由此计算包含经历了积分处理的亮度信号的垂直高频分量的区域的面积，并且把计算结果提交于作为代码量预测器的CPU 61。
按照以上所描述的方式，把下列数据从高频分量积分电路32提交于作为代码量预测器的CPU 61亮度信号的水平高频分量的积分数据(水平高频分量积分数据)；指示包含经历了积分的水平高频分量的区域的面积的数据；亮度信号的垂直高频分量的积分数据(垂直高频分量积分数据)；以及指示包含经历了积分的垂直高频分量的区域的面积的数据。
本实施例的数字摄像机中的CPU 61还具有也如上述的作为代码量预测器的功能。而且，CPU 61还为图2中所示的高频分量积分电路32中的各自单元设置控制数据。
具体地讲，CPU 61执行下列类型的控制对亮度信号产生器321中过滤器的类型与系数的控制；针对亮度信号，对高亮度抑制处理等的控制；对水平和垂直高频分量抽取器322和326中过滤器的类型和系数的控制；对垂直高频分量抽取器326中的频带限制器326a中的过滤器的类型和系数的控制；对水平插值/稀释单元326b的插值过滤器和稀释率的控制；对绝对值单元323和327的参数的控制；以及对积分器324和328中的区域规定的控制。
以下，将描述图1中所示的低频分量积分电路33。本实施例的数字摄像机中包括的低频分量积分电路33具有与以上参照图2所描述的高频分量积分电路32的配置相类似的配置。所不同的是，低频分量积分电路33处理由图像数据所产生的亮度信号的低频分量。
图3是方框图，用于解释本实施例的数字摄像机中所使用的低频分量积分电路33。把图3中所示的低频分量积分电路33与图2中所示的高频分量积分电路32加以比较，可以明显看出，图3中所示的低频分量积分电路33具有与图2中所示的高频分量积分电路32的配置相类似的配置，所不同的是，低频分量积分电路33包括水平低频分量抽取器332和垂直低频分量积分电路326，而不是包含在图2中所示的高频分量积分电路32中的水平高频分量抽取器322和垂直高频分量抽取器326。
垂直低频分量抽取器336包括水平频带限制器336a、水平插值/稀释单元336b、行存储器336c、以及垂直运算单元336，类似于图2中所示的的高频分量积分电路32中的垂直低频分量抽取器326。低频分量积分电路33中的水平低频分量抽取器332和垂直低频分量抽取器336的处理目标信号是预先确定的频带中的低频分量。
与图2中所示的高频分量积分电路32中的对应单元相类似地，即分别与亮度信号产生器321、绝对值单元323和327、积分器324和328，以及面积计算器325和329相类似地配置和操作低频分量积分电路33中的亮度信号产生器331、绝对值单元333和337、积分器334和338、以及面积计算器335和339。
把来自预处理电路20的图像数据(所捕获的图像信号)提交于图3中所示低频分量积分电路33中的亮度信号产生器331。亮度信号产生器331根据所提交的图像数据产生亮度信号。亮度信号产生器331也可以从所提交的图像数据中仅抽取广泛地覆盖图像的频带的像素数据(例如，在原色成像器(图像)的情况下，为绿色像素数据)，使得把所抽取的像素数据用作为伪亮度信号。把由亮度信号产生器331所产生的亮度信号提交于水平低频分量抽取器332和垂直高频分量抽取器336。
同样如以上所描述的，由于通常情况下按水平扫描的次序输入图像数据，所以水平低频分量抽取器322可以由具有比较简单配置的高频捕俘滤波器或低通滤波器形成。相比之下，垂直低频分量抽取器336把一行图像数据稀释至低频分量抽取器336所需最小像素数目的数据，然后把所得到的数据存储在行存储器336c中。为此目的，同样如以上所描述的，低频分量抽取器336包括水平频带限制器336a和水平插值/稀释单元336b。
在这一方式下，在本实施例中，垂直低频分量抽取器336使用最少的硬件，形成了高通滤波器，该高通滤波器获得了其间具有对应于仅一行的时差的两个或多个点之间的亮度信号，并且计算这些点之间的差。而且，如果微分信号的电平等于或小于预先确定的阈值，则低频分量抽取器336断定该信号为低频分量，并且积分这一微分信号，由此抽取低频分量。
把由图3中所示低频分量积分电路33中的水平和垂直低频分量抽取器332和336所获得的亮度信号的低频分量分别提交于对应的绝对值单元333和337，然后在其中将其转换成绝对值。接下来，把由绝对值单元333转换成绝对值的亮度信号的水平低频分量提交于积分器334和面积计算器335。把由绝对值单元337转换成绝对值的亮度信号的垂直低频分量提交于积分器338和面积计算器339。
积分器334对作为绝对值的、例如将一个屏幕定义作为处理单元区域的亮度信号的所提交的水平低频分量进行积分处理，由此获得水平低频分量积分数据，并且将该数据提交于作为代码量预测器的CPU 61。类似地，积分器338对作为绝对值的、将一个屏幕定义作为处理单元区域的亮度信号的所提交的垂直低频分量进行积分处理，由此获得垂直高频分量积分数据，并且将该数据提交于作为代码量预测器的CPU 61。
积分处理的处理单元区域并不局限于一个屏幕。类似于以上参照图2所描述的高频分量积分电路32，也能够使用任何一个可选指定的区域，例如，使用宏块(16×16个像素的区域)、子块(8×8个像素的区域)、等于多个宏块的区域、以及等于多个子块的区域。
面积计算器335计数积分器334中积分处理的次数，从而可以计算包含经历了积分处理的亮度信号的水平低频分量的区域的面积，并且把计算结果提交于作为代码量预测器的CPU 61。类似地，面积计算器339计数积分器338中积分处理的次数，从而可以计算包含经历了积分处理的亮度信号的垂直低频分量的区域的面积，并且把计算结果提交于作为代码量预测器的CPU 61。
按照这一方式，把下列数据从低频分量积分电路33提交于作为代码量预测器的CPU 61亮度信号的水平低频分量的积分数据(水平低频分量积分数据)；指示包含经历了积分的水平高频分量的区域的面积的数据；亮度信号的垂直低频分量的积分数据(垂直低频分量积分数据)；以及指示包含经历了积分的垂直低频分量的区域的面积的数据。
同样如以上所描述的，本实施例的数字摄像机中的CPU 61也具有作为代码量预测器的功能。而且，CPU 61还为图3中所示的低频分量积分电路33中的各自单元设置控制数据。
具体地讲，CPU 61执行下列类型的控制对亮度信号产生器321中过滤器的类型与系数的控制；针对亮度信号，对高亮度抑制处理等的控制；对水平和垂直高频分量抽取器332和336中过滤器的类型和系数的控制；对垂直高频分量抽取器336中的频带限制器中过滤器的类型和系数的控制；对水平插值/稀释单元336b的插值过滤器和稀释率的控制；对绝对值单元333和337的参数的控制；以及对积分器334和338中的区域规定的控制。
以下，将对作为代码量预测器的CUP 61加以描述CPU 61被提交有来自高频分量积分电路32的水平高频积分数据和垂直高频积分数据，以及来自低频分量积分电路33的水平低频积分数据和垂直低频积分数据，如以上所描述的，并且根据这些数据执行代码量预测。而且，还将对作为用于执行图像压缩处理的图像压缩器的图像编码译码器36进行描述。在本实施例，CPU 61通过由CPU 61本身所执行的程序，来实现作为代码量预测器的功能。
图4是方框图，用于解释作为代码量预测器的CPU 61的功能以及作为图像压缩器的图像编码译码器36的功能。如图4中所示，作为代码量预测器的CPU 61具有用作字节计算器611、量化比例计算器612、以及量化表创建器613的功能。而且，作为图像压缩器的图像编码译码器36具有用作时间-至-频率轴变换器(DCT单元)361、量化器362、以及可变长度编码器363的功能。
如参照图2和3所描述的，把来自高频积分电路32的水平和垂直高频积分数据和来自低频积分电路33的水平和垂直低频积分数据提交于由作为代码量预测器的CPU 61所实现的字节计算器611。
根据高频积分数据和低频积分数据，字节计算器611按下列方式计算图像的压缩过数据的字节数。具体地讲，如果将要记录的图像为涉及所谓剧烈变化的图像，即包括大量高频分量和少量低频分量的图像，则字节计算器611把大数目提供作为该图像的压缩过数据的字节数目。相比之下，如果图像为涉及所谓小变化的图像，即包括少量高频分量和大量低频分量的图像，则字节计算器611把小数目提供作为该图像的压缩过数据的字节数目。即，字节计算器611依据压缩目标图像中的变化程度，适当地把握要被记录的压缩目标图像的压缩后数据的字节数。
把由字节计算器611所计算的压缩后图像数据的字节数提交于量化比例计算器612。根据由字节计算器611所计算的压缩后图像数据的字节数，量化比例计算器612计算仅通过一次处理就允许把记录目标图像压缩成预先确定的字节数的量化比例，并且把所计算的量化比例提交于量化表创建器613。
量化表创建器613根据来自量化比例计算器612的量化比例，创建量化表，并且把该量化表提交于作为图像压缩器的图像编码译码器36中的量化器362。
在这一方式下，根据将要压缩的图像的图像数据，作为代码量预测器的CPU 61根据图像的水平高频和低频分量以及垂直高频和低频分量、依据将要压缩的图像的复杂度来精确地计算压缩后数据的字节数。
而且，量化比例计算器612还根据由字节计算器611所计算的压缩目标图像的压缩后数据的字节数，通过一次压缩处理，计算用于压缩压缩目标图像的量化比例。接下来，量化表创建器根据所计算的量化比例，创建实际量化处理中所使用的量化表，然后将其提交于图像压缩器36中的量化器362。这一操作顺序允许使用最佳压缩率对压缩目标图像的图像数据进行压缩编码。
与此同时，把从存储装置50读出的图像数据经由数据总线提交于图像编码译码器中的时间-至-频率轴变换器361，并且将使其在其中经历离散余弦变换(DCT)，以将其从时间轴分量变换为频率轴分量，然后将其提交于量化器362。量化器362根据从量化表创建器613所获得的量化表来调整图像数据的压缩率。可变长度编码器613通过使用诸如Huffman代码的可变长度代码，使图像数据经历可变长度编码，并且把所编码的数据作为最终压缩的图像数据加以输出。
如以上所描述的，本实施例的数字摄像机与参照图9所描述的现存的图像压缩装置的很大不同之处在于，本实施例的数字摄像机具有这样一个明显的优点借助被反馈的压缩过的图像数据，不需要多次重复代码量预测，而仅一次压缩处理，就能够提供压缩过的图像数据。即，本实施例的数字摄像机允许快速的图像数据压缩处理。
实际的操作模式如下。当用户操作图1的操作单元60中的记录启动按钮(或者快门按钮)，从而识别出(检测到)记录启动时序时，把时序提交于CPU 61。CPU 61执行对各自单元的时序控制，以致在记录启动操作(或者按下快门)时，可使通过成像元件所捕获到的图像数据经历摄像机信号处理和将要记录的图像产生处理，同时使该相同图像经历高频分量积分处理。由于这一时序控制，可以把图像处理路径上的图像和高频分量积分路径上的图像以及代码量预测与原始图像相匹配，从而允许非常精确的代码量预测。
在本实施例的数字摄像机中，字节计算器611根据来自高频积分电路32和低频积分电路33的输出信息，估计压缩后图像数据(压缩后代码量)的字节数。通过如此地把高频积分器的输出与低频积分器的输出加以比较，可以十分精确地估计压缩后代码量。
如果压缩后图像数据的代码量的估计精度偏低，当然，则也可以令字节计算器611仅使用高频积分电路32的输出来估计压缩后图像数据的代码量。作为选择，也可以通过不使用高频积分电路32的输出，而仅通过使用低频积分电路33的输出来计算压缩后图像数据的代码量。
在图1中所示的本实施例的数字摄像机中，高频积分电路32和低频积分电路33对应于本发明的特征。因此，通过聚焦于这一点，以下将对图1中所示的数字摄像机的特征部分进行描述。
在图1中所示的本实施例的数字摄像机中，把已经通过了摄像机信号处理电路31和将加以记录的图像产生器34的YUV图像数据以及由图像编码译码器36中YUV图像数据的数据压缩(压缩编码)所产生的流数据存储在例如存储装置50的存储媒体中。YUV数据和流数据具有诸如图5A～5D中所示数据量关系的数据量关系。
例如，图5A和5B中所示的流数据对应于图9中所示的现存图像压缩装置中的数据压缩所产生的数据。图5C和5D中所示的流数据对应于本实施例的数字摄像机中的数据压缩所产生的数据。而且，作为这些图中所示的YUV数据，使用了其分量量级相当于跨越所有空间频率的数据。
图5A表示其中所有空间频率的分量量级互相相等的图像的YUV数据(尚未压缩的数据)和流数据(压缩后的数据)之间的数据量关系。在图5A中，横座标表示空间频率，而纵座标表示分量量级。由于分量量级跨越所有空间频率是相等的，所以由图5A中的虚线所表示的平面波形来表示YUV数据。
相比之下，对于流数据，其高频分量的量级(magnitude)很小，如图5A中的实线所表示的。这是因为，通过使用了诸如JPEG系统的压缩编码系统、通过利用了在许多自然画面中，屏幕中相邻像素间的图像信息的变化是适度的，并且，人眼对适度图像信息变化敏感，而对剧烈图像信息变化不敏感这样的常识，从而把高频分量比低频分量更大程度地进行了压缩。因此，在图像编码译码器的量化处理中，更强地压缩了产生于DCT的高频分量。
当希望进行用于获得类似于图5A中实线所指示的流数据的流数据的数据压缩时，如果使用图9中所示的现存图像压缩装置，则需要设置图9中所示的图像压缩装置中的固定长度量化表107的值，使得把较大的值赋予较高的频率分量。图6描述了量化表中的值的例子。左上角处的值对应于DC分量。下方和右侧的值对应于水平和垂直方向两个方向的较高的空间频率。
图6中的值“99”对应于压缩高频分量的效果。例如，在图9中的量化器102中，把图6的表中的值与从图9中所示的图像压缩装置中的DCT单元101所输出的值互相组合，从而可把较小的值提供作为所得到的流数据的值。由于这一操作，把值“0(零)”包括在许多高频分量数据中。通过图9中的可变长度编码(例如运行长度编码)块103压缩了量化的数据。
图5B针对YUV图像数据和流数据，描述了图1中的存储装置50上的存储映像。图5B的存储映像源于针对空间频率对图5A中通过对分量量级进行积分所获得的数据量的映像。图5B揭示了流数据在大小上小于YUV数据。
在以上参照图1所描述的实施例的数字摄像机中，对由CPU 61根据来自高频积分电路32和低频积分电路33的输出信息所执行的压缩后图像数据的代码量的估计操作，旨在确定空间频率Fth-1的值，在此，在图5A中，流数据的空间频率分量的量级变小。之所以进行频率确定，原因在于，记录在存储装置50中的流数据的大小是有限的。
图5C是主要就YUV数据和流数据的数据量，用于解释YUV数据和流数据之间的关系的曲线。通过图1中所示的本实施例的数字摄像机中的微分信号处理电路37中的处理，通过压缩图5A中所示的YUV数据而获得图5C中所示的YUV数据。通过诸如JPEG或MPEG的预先确定的压缩系统，对图5A中所示的YUV数据进行数据压缩，得到图5C中所示的流数据。图5D是表示其中已记录了图5C中所示的YUV数据和流数据的存储器上的存储映像的状态的示意图。
图5C中的流数据与图5A中所示的流数据相同。相比之下，对于YUV数据，分量量级随空间频率的增加而增加，直至达到特定的频率Fth-2，并且当空间频率高于频率Fth-2时将保持为常数值。以下将解释这一特性。
图像包括过低空间频率分量的情况，指的是可以通过使用诸如DPCM(微分脉冲编码调制)的微分压缩来压缩图像。例如，在单调地增加值(例如，0，1，2，3，4)的情况下，可以仅通过开始值(在这一情况下，为“0”)以及单调增加的递增步长(“1”)来传输其信息。如果图像包括过低的空间频率分量，则更有利的做法是，在使数据经历了微分压缩之后，保留图像的数据。
在图1中的数字摄像机中，由微分信号处理电路37执行这一微分压缩。具体地讲，在把YUV数据写至存储装置50的过程中，微分信号处理电路37对包括低频分量多于包括高频分量的图像进行微分压缩。另一方面，当要利用微分压缩之后记录在存储装置50中的YUV数据时，微分信号处理电路37对所检索的YUV数据进行微分扩展。
在图5C中，当空间频率为频率Fth-2或高于频率Fth-2时，使YUV数据的分量量级保持不变。这是因为等于或高于频率Fth-2的空间频率分量的微分压缩的执行，导致反向增加的数据量，因此，更有利的做法是，在不执行微分压缩的情况下产生其数据。
例如，如果针对其分量量级限定在0和8之间(例如，0，8，0，8，0)的数据执行微分压缩，则所得到的数据由开始值(在这一情况下，为“0”)、递增步长(+8)以及递减步长(-8)构成。这一微分压缩等价于从原始数据链0，8，0，8，0向数据链0，+8，-8，+8，-8的转换。因此，由于用于符号的比特，数据量因微分压缩而增加。
因此，在本实施例的数字摄像机中，仅当所捕获的图像的数据包括的低频分量比包括的高频分量多时，才执行微分压缩。可以以整个屏幕为基础判断是否执行微分压缩。作为选择，对于屏幕的每一部分，把低频分量的量级与高频分量的量级加以比较和确定使用哪种方式向存储器加以记录也可行的。
如果所捕获的图像的数据既包括经历了微分压缩的数据，也包括未经历微分压缩的数据，则需要用于对这两种数据进行区分的标识符。可以把标识符存储在提供于从图1中微分信号处理电路37中的CPU 61设置寄存器中，以备使用。作为选择，也可以把标识符添加于每一预先确定单元的YUV数据中，以将其随YUV数据一起记录在存储装置50等中。
总之，可以使用任何系统，只要当检索记录在存储装置50中的YUV数据以加以使用时，该系统可以精确地判断所检索的YUV数据是否经历了微分压缩以及确保执行了仅针对经历了微分压缩的YUV数据的微分扩展即可。
把当在未经历微分信号处理的情况下把YUV数据记录在存储装置50中时所得到的图5B中所示的存储映像与当在经历微分信号处理之后把包括低频分量多于包括高频分量的YUV数据记录在存储装置50中时所得到的图5D中所示的存储映像加以比较，可以明显看出，使用微分信号处理可以压缩YUV数据本身，从而，例如，允许以较小的存储容量存储和保持整个一个屏幕的YUV数据。
尽管可以通过微分信号处理有效地减小包括过多低频分量的YUV数据的数据量，但当通过诸如JPEG的编码压缩系统对包括过多低频分量的YUV数据进行编码压缩时，压缩率偏低，从而导致具有大数据量的流数据。
相比之下，对于包含过多高频分量的YUV数据，不执行微分信号处理，因为不能够有效地减少数据量。然而，当通过诸如JPEG的编码压缩系统对包含过多高频分量的YUV数据进行编码压缩时，压缩率很高，从而可提供如图5A和5B中所示的具有小数据量的流数据。
因此，如果把作为尚未压缩编码的图像数据的YUV数据和作为压缩编码的图像数据的流数据记录在与诸如本实施例的数字摄像机中的存储装置50相同的存储媒体中，则YUV数据和流数据的数据量随图5D中虚线所表示的图像的频率特征而变化。因此，可以适当地和有效地利用既记录YUV数据也记录流数据的存储媒体。
微分信号处理的单位可以为一个屏幕。然而，为了改进效果，最好定义较小的单位区域，并且针对每一单位区域执行微分信号处理。例如，可以使用以下的配置。具体地讲，把一个屏幕划分成预先确定数目的单位区域，例如8个区域或16个区域。针对每一单位区域，检测水平和垂直高频分量和低频分量，以致可根据检测结果判断是否执行微分信号处理。当然，针对每一宏块或每一子块进行检测和判断也是可行的。
可以执行微分信号处理，使得原始数据(未经历微分处理的原数据)仅被传送作为第一数据以及微分数据被传送作为全部的后继数据。然而，为了消除误差的影响，与传送微分数据相比，希望以大略比较高的比率来传送原始数据，例如，交替地传送原始和微分数据，或者每传送两个微分数据时传送一个原始数据。
如以上所描述的，在本实施例的数字摄像机中，根据由高频积分电路32所获得的压缩目标图像的水平和垂直高频分量的特征(高频分量的状态)和由低频积分电路33所获得的压缩目标图像的水平和垂直低频分量的特征(低频分量的状态)，精确地预测了诸如JPEG或者MPEG的预先确定的压缩编码系统所进行的数据压缩的压缩率，从而允许通过一次压缩编码处理来适当地进行压缩编码。
另外，还根据高频积分电路32和低频积分电路33的输出来控制微分信号处理电路37，使得将要记录在存储装置50中的YUV数据本身经历微分压缩，从而可实现对存储装置50的有效使用。
以下，将参照图7和8中所示的流程图，描述图1中所示本实施例的数字摄像机中所执行的向存储装置50写数据的处理过程以及从存储装置50读数据的处理过程。图7是流程图，用于解释向存储装置50写数据的处理过程。图8是流程图，用于解释从存储装置50读数据的处理过程。
以下，将参照图7的流程图描述向存储装置50写数据的处理过程。当通过例如从用户输入的指令来指示向存储装置50写数据时，CPU 61开始执行图7的流程图中所示的处理过程。
最初，CPU 61针对图像的每一部分，经由BIU(总线接口单元)读出图1中的高频积分电路32和低频积分电路33的寄存器(步骤S101)。接下来，针对所提交的图像信号，CPU 61判断图像的高频分量是否比其低频分量更居主导地位(步骤S102)。如果在步骤S102的判断处理过程中断定高频分量比低频分量更居主导地位，则CPU 61在微分信号单元的寄存器中设置“0”(步骤S103)，并且在其中不执行微分压缩的情况下，将YUV数据(图像数据)写至存储装置50的相关区域(步骤S104)。
如果在步骤S102的判断处理过程中断定低频分量比高频分量更居主导地位，则CPU 61在微分信号单元的寄存器中设置“1”(步骤S105)，并且在其中执行了微分压缩之后，将YUV数据(图像数据)写至存储装置50的相关区域(步骤S106)。
当完成了步骤S104中的数据写处理过程或步骤S106中的写处理过程之后，判断是否已完成了对所有有效图像的检索(步骤S107)。如果已经断定尚未完成检索，则从步骤S101起重复这一处理过程。如果断定已完成了检索，则结束图7中所示的处理过程。
以下，将参照图8的流程图描述从存储装置50读数据的处理过程。可以由图1中所示的CPU 61来执行图8中所示的处理过程，也可以在微分信号处理电路37的内部执行图8中所示的处理过程。以下，将描述其中在微分信号处理电路37的内部执行所述处理过程的例子。
当因CPU 61的控制接收了读数据控制信号时，微分信号处理电路37启动图8中所示的处理过程。最初，微分信号处理电路7读出标志的值，该标志为其自身的寄存器，表示在写数据过程中是否针对将从存储装置50中读出的YUV数据执行了微分压缩(步骤S201)。接下来，判断该值是否为“0”，“0”表示尚未使数据经历微分压缩(步骤S202)。
如果在步骤S202的判断处理过程中已经断定从寄存器中读出的值为“0”，则将要被检索的YUV数据是对应于不执行微分压缩的区域中的数据。因此，可以在不使数据经历微分扩展处理的情况下从存储装置50读出数据(步骤S203)。相比之下，如果在步骤S202的判断处理过程中已经断定从寄存器中读出的值不为“0”，则将要被检索的YUV数据是对应于执行微分压缩的区域中的数据。因此，在使数据经历微分扩展处理的情况下从存储装置50读出数据(步骤S204)。
在步骤S203或步骤S204的处理过程之后，递增微分信号处理电路37的寄存器地址(步骤S205)，然后，判断是否已完成了对所有有效图像的检索(步骤S206)。如果在步骤S206的判断处理过程中已断定尚未完成对所有有效图像的检索，则从S201起重复这一处理过程。如果断定已完成检索，则结束图8中所示的处理过程。
于是，同样对于为将被记录在存储装置50中的尚未压缩编码的图像数据的YUV数据，可以依据由YUV数据所形成的图像的频率特征，来有效地调整其数据量。另外，即使在对其数据量进行调整之后把数据记录在存储装置50中，当检索时也可以正确地恢复数据，并加以使用。
在以上所描述的实施例中，存储控制电路38实现作为记录控制装置的功能，高频积分电路32实现作为第一检测装置的功能，以及低频积分电路33实现作为第二检测装置的功能。另外，作为代码量预测器的CPU 61的功能实现作为计算压缩率的计算装置的功能，以及图像编码译码器36实现作为编码装置的功能。
另外，微分信号处理电路37实现作为用于调整图像信号信息量的信息量调整装置的功能。用于接收高频积分电路32的检测输出和低频积分电路33的检测输出的CPU 61，实现作为用于判断是否要调整信息量的判断装置的功能。
还可能的是，例如，CPU 61或由CPU 61所执行的程序(软件)以及摄像机DSP实现图1所示的下述单元的功能高频积分电路32、低频积分电路33、图像编码译码器36、微分信号处理电路37、代码量预测器61等。
尽管以上对该实施例的描述中解释了其中对静止图像数据进行处理的例子，但本发明并不局限于这一例子。移动图像数据的处理也可以使用本发明，十分类似于以上所描述的静止图像数据处理。即，也可以把本发明施用于移动图像记录功能。具体地讲，如果通过并行于针对移动图像的信号处理，使用将加以记录的移动图像的高频分量积分数据来执行代码量预测，则可以有效地控制移动图像的压缩后代码量或比特率。
尽管以上对本实施例的描述中对其中把本发明施用于主要捕获静止图像的数字摄像机的例子进行了解释，然而本发明并不局限于这一例子。在下列各种装置中的任何一种装置中，可以把本发明施用于既执行对静止图像数据的压缩处理，也执行对移动图像的压缩处理的完整方案可以捕获移动图像的装置，例如，所谓的数字视频摄像机、装备有摄像机功能的蜂窝电话终端、装备有摄像机功能的PDA、以及装备有摄像机功能的信息处理设备；DVD记录与再现装置；CD记录和再现装置；把硬盘作为记录媒体的记录与再现装置；VTR(磁带录像机)；个人计算机；以及其它装置。
工业实用性本发明可避免用于压缩目标图像的代码量预测处理和图像压缩处理的多次执行，因此可以缩短图像压缩处理的时间。另外，还可以通过一次处理，分别完成压缩目标图像的代码量预测处理和图像压缩处理，从而可以消除对其中可存储将要被压缩的一个屏幕原始图像的全部数据的存储器的需求。因此可以在不加大电路规模和增加成本的情况下，形成图像压缩处理装置。
而且，尽管不针对同一图像多次重复压缩处理过程，但仍可以提高代码量预测的精度，从而可以按更适当的压缩率执行针对图像的压缩处理，因为通过使用图像的高频分量对图像的代码量进行了预测。因此，可以减小因图像压缩所导致的图像质量的劣化。
另外，为了对压缩目标图像的代码量进行预测，在抽取压缩目标图像的高频分量的处理过程中，未使用压缩目标图像的微缩图像(预备图像)等，而是从压缩目标图像本身抽取高频分量，然后根据所抽取的分量进行代码量预测。因此，可以提高代码量预测的精度。
而且，由于通过使用水平和垂直高频分量来进行代码量预测，所以对于涉及在水平和垂直方向之间频带失衡的图像，可以提高代码量预测的精度。即，对于具有各种特征的压缩目标图像，可以正确地执行代码量预测，从而可以精确地定义压缩率。
另外，由于还使用了水平像素稀释处理，所以作为用于抽取将要被压缩的图像的垂直分量所需要的一行或多行的存储器的容量，即使极小的容量也是足够的。这一特性可以防止电路规模的增大，并且可以降低功耗。
另外，由于通过实现时序控制使得把将要压缩的图像与用于代码量预测的图像相匹配，所以可以提高将要压缩的图像的代码量预测的精度。
当把本发明施用于摄像机(成像设备)时，确定包括在将要压缩的图像中的空间频率的分布状态，并且决定经历了摄像机信号处理的图像数据(YUV数据)和压缩后数据的大小，从而可减少将写至存储器的数据的数据量。于是，可以实现存储容量和功耗的降低。这一特性允许成像设备缩短成像操作间隔，从而能够以短的时间间隔反复地捕获图像。
而且，当把本发明施用于摄像机(成像设备)时，如果将要压缩的图像包括过多的低频分量，则在经历了微分压缩之后，把经历了摄像机信号处理的图像数据(YUV数据)写至存储装置。如果图像不包括过多的低频分量，则在不经历微分压缩的情况下，把数据写至存储装置。这样的控制可以优化存储容量。
另外，还使用频率积分电路判断作为将要压缩的图像的特征，高频分量和低频分量哪一个更居主导地位。这一特性具有许多优点，例如，可以正确地确定图像的特征，从而可以精确和无误地进行图像压缩处理；并且可以优化存储容量。
权利要求
1.一种图像压缩处理装置，包括记录控制装置，其被提交有图像信号，并把所述图像信号记录于存储媒体中；第一检测装置，其被提交有所述图像信号，并检测所述图像信号的水平高频分量和垂直高频分量的特征；计算装置，其根据来自第一检测装置的检测结果，通过预先确定的编码系统，计算所述图像信号的压缩编码中的压缩率；以及编码装置，其根据所述计算装置所计算的压缩率，针对所述图像信号或从存储媒体所读出的图像信号，执行压缩编码。
2.根据权利要求1所述的图像压缩处理装置，还包括第二检测装置，其被提交有所述图像信号，并且检测所述图像信号的水平低频分量和垂直低频分量的特征，其中，计算装置根据来自第一检测装置的检测结果和来自第二检测装置的检测结果，通过预先确定的编码系统，计算所述图像信号的压缩编码中的压缩率。
3.根据权利要求2所述的图像压缩处理装置，还包括判断装置，其根据来自第一检测装置的检测结果和来自第二检测装置的检测结果，判断是否要调整将被存储于存储媒体中的图像信号的信息量；以及信息量调整装置，其被提供了记录控制装置的上行流，而且，如果判断装置已断定将要调整信息量，则其调整将提交于记录控制装置的图像信号的信息量。
4.一种图像压缩处理装置，包括记录控制装置，其被提交有图像信号，并把所述图像信号记录于存储媒体中；第一检测装置，其被提交有所述图像信号，并检测所述图像信号的水平高频分量和垂直高频分量的特征；第二检测装置，其被提交有所述图像信号，并检测所述图像信号的水平低频分量和垂直低频分量的特征；判断装置，其根据来自第一检测装置的检测结果和来自第二检测装置的检测结果，判断是否要调整将存储于存储媒体中的图像信号的信息量；以及信息量调整装置，其被提供了记录控制装置的上行流，而且，如果判断装置已断定将要调整信息量，则其调整将提交于记录控制装置的图像信号的信息量。
5.一种图像压缩处理方法，包括记录控制步骤，用于进行控制，使得把图像信号记录于存储媒体中；第一检测步骤，用于检测所述图像信号的水平高频分量和垂直高频分量的特征；计算步骤，用于根据第一检测步骤的检测结果，通过预先确定的编码系统，计算所述图像信号的压缩编码中的压缩率；以及编码步骤，用于根据计算步骤所计算的压缩率，针对所述图像信号或从存储媒体所读出的图像信号，执行压缩编码。
6.根据权利要求5所述的图像压缩处理方法，还包括第二检测步骤，用于检测所述图像信号的水平低频分量和垂直低频分量的特征，其中，在计算步骤中，根据第一检测步骤的检测结果和第二检测步骤的检测结果，通过预先确定的编码系统，计算所述图像信号的压缩编码中的压缩率。
7.根据权利要求5或6所述的图像压缩处理方法，其中计算步骤包括下列子步骤根据第一检测步骤的检测结果，或者根据第一检测步骤的检测结果和第二检测步骤的检测结果，计算所述图像信号的压缩后数据的字节数；根据压缩后数据的所计算的字节数，通过一次压缩编码处理，计算用于把图像信号压缩成预先确定的字节数的量化比例；根据所计算的量化比例，创建将用于记录图像的压缩的量化表；以及显示根据所创建量化表的所述图像信号的压缩率。
8.根据权利要求5所述的图像压缩处理方法，其中第一检测步骤包括下列子步骤根据图像信号，产生亮度信号或者伪亮度信号，伪亮度信号包括依赖于图像信号的低频分量和高频分量，并且具有等价于亮度信号的频率特征的频率特征；根据亮度信号或者伪亮度信号，检测图像信号的水平高频分量的特征；以及根据亮度信号或者伪亮度信号，检测图像信号的垂直高频分量的特征。
9.根据权利要求8所述的图像压缩处理方法，其中，水平高频分量的特征的检测步骤包括下列步骤从亮度信号或者伪亮度信号抽取水平高频分量；把所抽取的水平高频分量转换为绝对值；以及根据转换为绝对值的水平高频分量，检测水平高频分量的特征；以及垂直高频分量的特征的检测步骤包括下列步骤限制频带，以调整亮度信号或者伪亮度信号的信息量；针对已对其实现了频带限制的亮度信号或者伪亮度信号，执行像素的水平稀释或插值；在行存储器中存储已经经历了稀释或插值并且对应于一个水平行的亮度信号或者伪亮度信号；在已经经历了稀释或插值并对应于一个水平行的亮度信号或者伪亮度信号与来自行存储器的延迟了一个水平行的亮度信号或者伪亮度信号之间进行运算操作，以抽取垂直高频分量；把所抽取的水平高频分量转换为绝对值；以及根据转换为绝对值的垂直高频分量，检测垂直高频分量的特征。
10.根据权利要求6所述的图像压缩处理方法，其中，将要记录于记录媒体中的图像信号的水平低频分量和垂直低频分量的特征的检测步骤包括下列子步骤根据图像信号产生亮度信号或者伪亮度信号，该亮度信号或者伪亮度信号包括依赖于图像信号的低频分量和高频分量，并且具有等价于亮度信号的频率特征的频率特征；根据亮度信号或者伪亮度信号，检测图像信号的水平低频分量的特征；以及根据亮度信号或者伪亮度信号，检测图像信号的垂直低频分量的特征。
11.根据权利要求10所述的图像压缩处理方法，其中，水平低频分量的特征的检测步骤包括下列子步骤从亮度信号或者伪亮度信号抽取水平低频分量；把所抽取的水平低频分量转换为绝对值；以及根据转换为绝对值的水平低频分量，检测水平低频分量的特征；以及垂直低频分量的特征的检测步骤包括下列子步骤限制频带，以调整亮度信号或者伪亮度信号的信息量；针对已对其实现了频带限制的亮度信号或者伪亮度信号，执行像素的水平稀释或插值；在行存储器中存储已经经历了稀释或插值并且对应于一个水平行的亮度信号或者伪亮度信号；在已经经历了稀释或插值并对应于一个水平行的亮度信号或者伪亮度信号与来自行存储器的延迟了一个水平行的亮度信号或者伪亮度信号之间进行运算操作，以抽取垂直低频分量；把所抽取的水平低频分量转换为绝对值；以及根据转换为绝对值的垂直低频分量，检测垂直低频分量的特征。
12.根据权利要求6所述的图像压缩处理方法，其中，根据第一检测步骤的检测结果和第二检测步骤的检测结果，判断是否要调整将存储于存储媒体中的图像信号的信息量；以及如果已断定要调整信息量，则调整将记录于存储媒体中的图像信号的信息量。
13.根据权利要求12所述的图像压缩处理方法，其中，在图像信号的信息量的调整中，执行针对该图像信号的微分压缩处理，以及根据水平高频分量的特征、垂直高频分量的特征、水平低频分量的特征、以及垂直低频分量的特征，如果在图像信号中低频分量比高频分量更居主导地位，则判断将要调整信息量。
14.根据权利要求12或13所述的图像压缩处理方法，其中，针对由图像信号所形成的图像的每一预先确定的处理单位区域，判断是否要调整图像信号的信息量。
15.一种图像压缩处理方法，包括记录控制步骤，用于把图像信号记录于存储媒体中；第一检测步骤，用于检测所述图像信号的水平高频分量和垂直高频分量的特征；第二检测步骤，用于检测所述图像信号的水平低频分量和垂直低频分量的特征；判断步骤，用于根据第一检测步骤的检测结果和第二检测步骤的检测结果，判断是否要调整将存储于存储媒体中的图像信号的信息量；以及信息量调整步骤，如果在判断步骤中已断定将要调整图像信号的信息量，则其用于调整将记录于存储媒体中的图像信号的信息量。
16.根据权利要求15所述的图像压缩处理方法，其中，在信息量调整步骤中，执行针对图像信号的微分压缩处理，以及，在判断步骤中，根据第一检测步骤的检测结果和第二检测步骤的检测结果，如果在图像信号中低频分量比高频分量更居主导地位，则断定将要调整信息量。
17.根据权利要求15或16所述的图像压缩处理方法，其中，在判断步骤中，针对由图像信号所形成的图像的每一预先确定的处理单位区域，判断是否要调整信息量。
18.根据权利要求15～17的任何一个所述的图像压缩处理方法，其中，把该方法用于包括成像装置的成像设备中，所述成像装置捕获目标对象的图像以形成图像信号，并且输出该图像信号，以及把将要记录于存储媒体中的图像信号从成像装置中输出。
19.一种图像压缩处理程序，用于使处理图像信号的计算机执行记录控制步骤，用于进行控制，使得把图像信号记录于存储媒体中；第一检测步骤，用于检测所述图像信号的水平高频分量和垂直高频分量的特征；计算步骤，用于根据第一检测步骤的检测结果，通过预先确定的编码系统，计算所述图像信号的压缩编码中的压缩率；以及编码步骤，用于根据计算步骤所计算的压缩率，针对所述图像信号或从存储媒体所读出的图像信号，执行压缩编码。
20.一种图像压缩处理程序，用于使处理图像信号的计算机执行记录控制步骤，用于把图像信号记录于存储媒体中；第一检测步骤，用于检测所述图像信号的水平高频分量和垂直高频分量的特征；第二检测步骤，用于检测所述图像信号的水平低频分量和垂直低频分量的特征；判断步骤，用于根据第一检测步骤的检测结果和第二检测步骤的检测结果，判断是否要调整将存储于存储媒体中的图像信号的信息量；以及信息量调整步骤，如果在判断步骤中已断定将要调整图像信号的信息量，则其用于调整将记录于存储媒体中的图像信号的信息量。
21.一种图像压缩处理装置，包括记录控制器，其被提交有图像信号，并把所述图像信号记录于存储媒体中；第一检测器，其被提交有所述图像信号，并检测所述图像信号的水平高频分量和垂直高频分量的特征；计算器，其根据来自第一检测器的检测结果，通过预先确定的编码系统，计算所述图像信号的压缩编码中的压缩率；以及编码器，其根据由计算器所计算的压缩率，针对所述图像信号或从存储媒体所读出的图像信号，执行压缩编码。
22.一种图像压缩处理装置，包括记录控制器，其被提交有图像信号，并把所述图像信号记录于存储媒体中；第一检测器，其被提交有所述图像信号，并检测所述图像信号的水平高频分量和垂直高频分量的特征；第二检测器，其被提交有所述图像信号，并检测所述图像信号的水平低频分量和垂直低频分量的特征；判断器，其根据来自第一检测器的检测结果和来自第二检测器的检测结果，判断是否要调整将存储于存储媒体中的图像信号的信息量；以及信息量调整器，其被提供了记录控制器的上行流，而且，如果判断器已断定将要调整信息量，则其调整将提交于记录控制器的图像信号的信息量。
全文摘要
高频积分电路(32)检测由将要处理的图像信号所形成的图像的水平高频分量的特征和垂直高频分量的特征。根据检测结果，CPU(61)获取压缩/编码后的图像信号的比特数目和根据该比特数目来计算压缩率。通过使用所计算的压缩率，控制图像编码译码器(36)，使得仅通过一次压缩/编码处理就对将要处理的图像信号进行压缩/编码。因此，高精度、高速地进行压缩(压缩/编码)是可能的。
文档编号H04N7/32GK1973551SQ20058002075
公开日2007年5月30日 申请日期2005年6月22日 优先权日2004年6月22日
发明者冈田深雪, 川西勋, 滨未希子, 原野猛 申请人:索尼株式会社