专利名称：图像拍摄设备、成像电路、和图像拍摄方法
技术领域：
本发明涉及图像拍摄设备、成像电路、和使用固态成像装置来拍摄图像的图像拍摄方法。更具体地，本发明涉及一种临时存储由图像拍摄操作产生的图像信号并处理图像信号的图像拍摄设备、一种适于这一配置的成像电路、以及一种图像拍摄方法。
背景技术：
近来，能够使用固态成像装置来拍摄图像并且将所拍摄的图像存储为数字数据的图像拍摄设备(诸如数码相机和数码摄像机)的使用已经十分广泛。在这样的图像拍摄设备中，增加了成像装置的像素的数量，设备的功能更加先进，并且装置的性能越来越好了。更具体地，成像装置的像素数量的增加导致用于处理成像信号的负荷的增加。甚至期望这样的图像拍摄设备能够高速处理图像信号，以便不会增加操作的压力。
图11是示出了已知的图像拍摄设备的配置实例的框图。
在图11中所示的已知图像拍摄设备包括成像装置81、AFE(模拟前端)电路82、数字图像处理电路83、SDRAM(同步动态随机存取存储器)84、ROM(只读存储器)85、和存储装置86。另外，数字图像处理电路83包括相机信号预处理部91、相机信号处理部92、分辨率转换部93、JPEG(联合图像专家组)引擎94、CPU(中央处理单元)95、视频输出编码器96、和SDRAM控制器97，它们通过内部总线98彼此连接。
在具有这样配置的图像拍摄设备中，由成像装置81所拍摄的图像的成像信号被顺序提供至AFE电路82。在经过CDS(相关双重采样)操作和AGC(自动增益控制)操作之后，成像信号被数字化并被提供至数字图像处理电路83。相机信号预处理部91对所提供的图像信号执行诸如缺陷像素校正以及黑点校正(shadingcorrection)的操作以产生RAW数据，然后通过SDRAM控制器97来将RAW数据写入SDRAM 84中。
相机信号处理部92通过SDRAM控制器97从SDRAM 84读出RAW数据。在对RAW数据执行各种检测操作以及图像质量校正操作(即，相机信号处理操作)之后，相机信号处理部92将RAW数据转换成亮度信号(Y)和色差信号(R-Y和B-Y)，并且输出亮度信号和色差信号。如果需要，分辨率转换部93转换从相机信号处理部92输出的图像数据的分辨率。
视频输出编码器96将分辨率已通过分辨率转换部93转换成适于显示的分辨率的图像数据转换成用于在监控器上显示图像的图像信号，并且将经过转换的图像信号输出至监控器(未示出)、或视频输出终端96a。这使得通过相机的图像能够被显示。JPEG引擎94根据JPEG标准来压缩并编码从相机信号处理部92或分辨率转换部93提供的图像数据，并将经过编码的图像数据临时存储在SDRAM84中。CPU95将存储在SDRAM84中的JPEG编码数据记录在存储装置86上。
CPU95以集成方式控制在整个图像拍摄设备中所执行的操作。ROM85存储由CPU95执行的程序以及操作所必需的数据。
以上已描述了将所拍摄的图像记录为JPEG数据的图像拍摄设备。然而，还实现了具有将RAW数据直接记录在记录介质上而无需经过相机信号处理操作的功能的图像拍摄设备。例如，存在一种图像拍摄设备，其具有根据使用Huffman表的可逆压缩方法来压缩RAW数据并且记录经过压缩的数据的功能，并且这种图像拍摄设备最优化了用于每个色彩通路的Huffman表(例如，见第2004-40300号日本未审查专利申请公开(第 到 段，图2))。另外，还存在一种图像拍摄设备，当将模式设置成用于压缩和记录RAW数据的RAW压缩模式时，这种图像拍摄设备绕过了用在普通压缩模式下的RAW数据内插处理部(例如，见第2003-125209号日本未审查专利申请公开(第 到 段，图1))。
发明内容
如图11所示，普通图像拍摄设备将从成像装置获得的RAW数据临时存储在图像存储器(诸如SDRAM)中，然后读出RAW数据，并对所读出的RAW数据执行相机信号处理操作。例如，在设备完成具有多个场的帧的拍摄的情况下，诸如设备使用隔行扫描成像装置的情况，在将每个场的数据存储在存储器中之后生成帧数据。另外，装置可以具有处理系统，其仅使用等效于一小部分1H(水平同步间隔)的延迟线来部分地处理整个屏幕图像的数据(例如，矩形形状中垂直方向的几条线)，以减小包括在相机信号处理部中的线存储器(line memory)的大小。在此情况下，还必须在处理之前至少将关于整个屏幕图像(screen image)的数据存储在存储器中。
当将RAW数据写入存储器中以及从存储器中读出时，通过内部总线传送关于整个屏幕图像的数据。因而，图像拍摄时所使用的大部分总线频带被这种传送占用。更具体的，随着成像装置的像素数量以及RAW数据的大小的增加，数据传送负载增加，这不合需要地需要更长的时间来将数据写入存储器以及从存储器中读出数据。因此，减少用于记录操作的时间量的尝试需要通过设置更高的传输频率等来增加总线频带，这不合需要地增加了设备的成本。此外，像素数量的增加不合需要地导致存储RAW数据的存储器容量的增加。
另一方面，还要考虑在通过内部总线传送RAW数据之前压缩RAW数据。如果采用可变长度的编码方法来作为压缩方法，则传送所必需的总线频带可以不保持恒定，这不合需要地使得处理变得复杂，并且阻碍了提供减小总线频带的优势。
在上述的第2004-40300号日本未审查专利申请公开中，根据可变长度编码方法来压缩RAW数据。另外，在上述的第2004-40300号和第2003-125209号日本未审查专利申请公开中，没有压缩RAW数据来减小内部总线频带。
鉴于这些缺点提出本发明的实施例。需要提供一种图像拍摄设备，其能够通过减少从内部存储器中读取图像数据以及将图像数据写入内部存储器中的时间来进行高速图像拍摄操作。
另外，还需要提供一种成像电路，其能够通过减少从内部存储器中读取图像数据以及将图像数据写入内部存储器中的时间来进行高速图像拍摄操作。
另外，需要提供一种图像拍摄方法，其能够通过减少从内部存储器中读取图像数据以及将图像数据写入内部存储器中的时间来进行高速图像拍摄操作。
为此目的，根据本发明的实施例，提供了一种用于使用固态成像装置来拍摄图像的图像拍摄设备。图像拍摄设备包括压缩部，用于压缩使用固态成像装置拍摄的图像的数字化数据；存储器，用于临时存储通过压缩部压缩的压缩图像数据；解压缩部，用于解压缩从存储器读出的压缩图像数据；以及信号处理部，用于对通过解压缩部解压缩的图像数据执行图像质量校正操作。压缩部产生压缩图像数据，压缩图像数据包括在由来自预定数量的像素的像素数据构成的组块中的像素数据的最大值和最小值、关于最大值和最小值位于组块中的位置的信息、以及通过从组块中除了最大值和最小值之外的每个像素数据值中减去最小值然后量化减法结果所得到的量化数据。
在这样的图像拍摄装置中，通过压缩部来压缩使用固态成像装置拍摄的图像的数字化数据。压缩的图像数据被临时存储在存储器中。然后，解压缩部解压缩从存储器读出的压缩图像数据。信号处理部对解压缩的图像数据执行图像质量校正操作。此处，压缩部产生的压缩图像数据包括在由来自预定数量的像素的像素数据构成的组块中的像素数据的最大和最小值、关于最大值和最小值位于组块中的位置的信息、以及量化数据。量化数据是通过从组块中除了最大值和最小值之外的每个像素数据中减去最小值然后量化减法结果来获得的。
在根据本发明的实施例的图像拍摄装置中，在信号处理部对拍摄的图像数据执行图像质量校正操作之前的步骤中，压缩从存储器读出以及写入存储器中的图像数据。因而，减少了用于从存储器中读出图像数据以及将图像数据存储在存储器中的时间。另外，通过检测在组块中的像素数据的最大值和最小值以及其在组块中的位置然后量化从在组块中的像素数据的每个值中减去最小值的结果来获得将被临时存储在存储器中的压缩图像数据。因而，可以通过以集成方式简单并容易地处理输入的图像数据来压缩输入图像数据。此外，由于在数据量化中采用的恒定字长使得进行固定长度压缩编码成为可能，所以更加容易控制从存储器读出压缩的图像数据以及将压缩的图像数据写入存储器中。因而，减小了整个处理负载和数据传送负载，这就允许进行高速图像拍摄操作。
图1是示出了根据本发明的第一实施例的图像拍摄设备的配置的框图；图2是示出了RAW压缩部的内部配置的框图；图3是示出了由分段线性压缩单元所使用的折线实例的示意图；图4是示出了通过打包(packing)操作所产生的一个组块的压缩数据的结构的示意图；图5是示出了RAW解压缩部的内部配置的框图；图6是示出了由反分段线性转换单元使用的折线实例的示意图；图7是示出了根据本发明的第二实施例的由图像拍摄设备中的RAW压缩部输出的压缩数据的结构的示意图；
图8是示出了根据本发明的第三实施例的由图像拍摄设备中的RAW压缩部输出的压缩数据的结构的示意图；图9是图解示出了根据本发明的第四实施例的图像拍摄设备的配置的框图；图10是图解示出了根据本发明的第五实施例的图像拍摄设备的配置的框图；以及图11是示出了已知的图像拍摄设备的配置的实例的框图。
具体实施例方式
以下将参考附图详细描述本发明的实施例。
图1是示出了根据本发明的第一实施例的图像拍摄设备的配置的框图。
图1中所示的图像拍摄设备具有成像装置11、AFE(模拟前端)电路12、数字图像处理电路13、SDRAM(同步动态随机存取存储器)14、ROM(只读存储器)15、和存储装置16。另外，数字图像处理电路13包括相机信号预处理部21、相机信号处理部22、分辨率转换部23、JPEG(联合图像专家组)引擎24、CPU(中央处理单元)25、视频输出编码器26、以及SDRAM控制器27，它们彼此通过内部总线28相互连接。此外，除了那些已知配置之外，根据实施例的数字图像处理电路13包括RAW压缩部31和RAW解压缩部32。
成像装置11是固态成像装置，诸如CCD(电荷耦合装置)图像传感器或CMOS(互补金属氧化物半导体)图像传感器。成像装置11将通过透镜组块(未示出)进入的来自对象的入射光转换成电信号。
AFE电路12通过CDS(相关双重采样)操作来采样和保持信号，以使S/N(信噪比)比保持高水平。AFE电路12还通过AGC(自动增益控制)操作来控制增益。AFE电路12在执行A/D(模拟/数字)转换之后输出数字图像信号。
数字图像处理电路13可以形成为(例如)SoC(单片系统)电路。在数字图像处理电路13中，相机信号预处理部21执行成像装置11的缺陷像素的信号校正操作以及用于校正在由AFE电路12提供的图像信号上由透镜而引起的外围光质量下降的黑点操作(shading operation)。相机信号预处理部21然后输出处理信号作为RAW数据。
RAW压缩部31使用以下所述的压缩方法来压缩由相机信号预处理部21提供的RAW数据，然后通过SDRAM控制器27来将压缩数据提供给SDRAM14。
RAW解压缩部32使用以下所述的方法来解压缩通过SDRAM控制器27从SDRAM14读出的压缩RAW数据，然后将解压缩的数据输出至相机信号处理部22。
在对由RAW解压缩部32提供的RAW数据执行去马赛克(demosaicing)处理之后，相机信号处理部22至少执行一些所谓相机信号处理操作。更具体地，相机信号处理部22执行用于AF(自动聚焦)控制、AE(自动曝光)控制、以及白平衡控制的信号检测处理以及由白平衡调节所代表的信号校正处理。此外，相机信号处理部22根据例如4:2:2的预定格式来将信号校正图像数据转换成亮度信号(Y)和色差信号(R-Y和B-Y)。
响应于通过相机信号处理部22处理的图像数据的输入或者通过JPEG引擎24解压缩和解码的图像数据的输入，分辨率转换部23将图像数据的分辨率转换成预定的分辨率。
JPEG引擎24压缩并编码由分辨率转换部23处理的图像数据，以根据JPEG格式产生编码数据。另外，JPEG引擎24解压缩并解码从存储装置16读出的JPEG图像数据。数字图像处理电路13可以包括除了JPEG引擎24之外的用于另一种静态图像压缩方法或另一种电影压缩方法的编码/解码引擎。
CPU25通过执行以集成方式存储在ROM15中的程序来控制数字图像处理电路13和整个图像拍摄设备。CPU还执行用于控制操作的各种算法操作。
视频输出编码器26可以是(例如)NTSC(国家电视系统委员会)编码器。视频输出编码器26根据从分辨率转换部23等输出的图像数据来产生供监控器进行显示的图像信号，然后将该图像信号输出至监控器(未示出)或视频输出终端26a。
SDRAM控制器27是对SDRAM14的接口组块，并且包括地址解码器。根据由CPU25提供的控制信号，SDRAM控制器27控制写入SDRAM14以及从SDRAM14读出的操作。
SDRAM14是作为数字图像处理电路13所使用的工作区而准备的易失性存储器，以执行数据处理。SDRAM14具有拍摄数据区域14a、JPEG编码数据区域14b、以及CPU工作区域14c。拍摄数据区域14a临时存储由成像装置11拍摄的图像的数据，即，通过RAW压缩部31压缩的RAW数据。JPEG编码数据区域14b临时存储由JPEG引擎24编码的图像数据以及在编码/解码操作中所使用的数据。CPU工作区域14c临时存储在CPU25所执行的操作中所使用的数据。
ROM15存储由CPU25运行的程序以及各种数据。诸如，EEPROM(电可擦可编程只读存储器)和闪存的非易失性存储器可以用作ROM15。
存储装置16是用于记录编码图像数据的文件的装置。因此，存储装置16由诸如闪存、光盘、和磁带的记录介质、以及记录/重放驱动器构成。
在具有上述配置的图像拍摄设备中，将由成像装置11拍摄的图像的成像信号顺序提供给AFE电路12。在经过CDS操作和AGC操作之后，成像信号被数字化并被提供给数字图像处理电路13的相机信号预处理部21。相机信号预处理部21对所提供的图像信号执行诸如缺陷像素校正和黑点校正的操作，以生成RAW数据。在经过RAW压缩部31压缩之后，RAW数据被临时写入SDRAM14中。
在从SDRAM14中读出RAW数据之后，RAW解压缩部32解压缩RAW数据。相机信号处理部22接下来执行各种图像质量校正操作。在将处理后的图像数据临时存储到(例如)SDRAM14中之后，分辨率转换部23将图像数据的分辨率转换成适合于显示的分辨率。经过分辨率转换的图像数据还被存储到(例如)SDRAM14中，并被提供给视频输出编码器26。因此，通过相机的图像被显示在监控器上。
另外，响应于记录通过输入部(未示出)给出的图像的请求，如果需要，分辨率转换部23将由相机信号处理部22处理的图像数据的分辨率转换成为记录所设置的分辨率，然后将经过分辨率转换的图像数据临时存储在(例如)SDRAM14中。JPEG引擎24压缩并编码图像数据，以生成编码数据。在编码数据被临时存储到(例如)SDRAM14之后，编码数据被记录在存储装置16上。
另外，在通过JPEG引擎24解压缩并解码记录在存储装置16上的图像数据(编码数据)并且通过分辨率转换部23转换图像数据的分辨率之后，将图像数据输出至视频输出编码器26，从而可以将图像显示在监控器上。
在上述的数字图像处理电路13中，将用于压缩RAW数据的RAW压缩部31设置在图像数据从相机信号预处理部21输入至内部总线28的部分的上游位置处。这使得将通过内部总线28传送到SDRAM14的RAW数据的数据量能够减少。另外，用于解压缩RAW数据的RAW解压缩部32被设置在图像数据从内部总线28被提供至相机信号处理部22的部分的上游位置处。同样，这使得将从SDRAM14传送到相机信号处理部22的RAW数据的数据量能够减少。
具有了上述配置，可以减少在图像拍摄操作期间内部总线28的传送负荷，并且可以减少用于写入SDRAM14的操作以及从SDRAM14读取的操作的时间。更具体地，通过尽可能地简化压缩/解压缩操作，可以增加减少处理时间的效果。另外，还可以通过减少总线上的传输频率来抑制功率损耗。
此外，可以减少SDRAM14的容量。可选地，在SDRAM14中的区域可以用于其他处理操作，并且通过存储多个帧的RAW数据，可以增加连续可拍摄的图像的数量或者可以改进连续拍摄的速度，这些可以有助于图像质量的提高以及功能的提升。因此，需要更少时间来用于图像拍摄和图像记录的多功能并且小型的图像拍摄设备可以以低成本来实现。
另外，通过在由RAW压缩部31对RAW数据执行压缩操作中使用可逆压缩方法，可以维持RAW数据的质量。甚至使用不可逆压缩方法压缩的RAW数据的质量也是可允许的，只要在将RAW数据转换成亮度/色差信号之后压缩失真量是人眼不可感知的。通常，如果在将RAW数据转换成亮度/色差信号之后的PSNR(最高信噪比)在50dB到40dB的范围内，则压缩失真的程度就是可允许的。
此外，如果RAW数据可以在压缩时以固定长度来编码，则用于将从SDRAM14读出以及写入SDRAM14中的RAW数据的波段可以保持恒定，这使得在内部总线28上的传送负荷能够以稳定方式减少。另外，可以简化在相机信号处理部22中处理RAW数据(例如，从SDRAM14中读出数据的数据读出控制操作)以及通过内部总线28的RAW数据传送控制操作的方式。
例如，当从SDRAM14中读出以可变长度编码的压缩RAW数据时，通常需要突发存取(burst access)。另外，相机信号处理部22可以具有以等效于部分1H(水平同步间隔)的延迟线的方式来部分处理全屏图像的数据(例如，在垂直方向上的矩形形状)的功能。在这种情况下，通过以固定长度编码RAW数据，更加容易计算存储在SDRAM14上任意位置处的RAW数据的地址并且读出RAW数据。还可以通过包括在数字图像处理电路13中的DMA(直接存储器存取)控制器来存取SDRAM14。
因而，如下所述，在这个实施例中采用了不可逆压缩/解压缩方法，该方法允许固定长度编码，可以保持高水平的图像质量，并且使用相对简单的处理操作来实现压缩/解压缩。
在以下实例中，将RAW数据信号的大小设置成每个像素14位，并且将量化字长设置成7位。将来自排列在水平方向的相同颜色成分的16个像素的数据转换成一个组块的编码数据。另外，例如，14位数据在SDRAM14上占有等效于16位的区域。如果一个组块由如上所述的16个像素构成，并且一个组块的RAW数据没有压缩就被存储在SDRAM14中，则RAW数据占有等效于256位的区域。然而，在这个实施例中，可以将这一占有的存储区域减少到128位，实现50％的压缩比。
图2是示出了RAW压缩部的内部配置的框图。
如图2所示，RAW压缩部31具有分段线性压缩单元101、组块单元102、最大值/最小值检测单元103、最小值锁存单元104、最大值锁存单元105、最小值地址锁存单元106、最大值地址锁存单元107、减法器108和109、量化器110、量化数据缓冲器111、以及打包单元112。
分段线性压缩单元101以非线性方式使用分段线性近似来将所提供的14位RAW数据压缩成11位数据。为了通过在后续压缩程序之前尽可能地降低RAW数据的灰阶来改进整个压缩效率的目的而设置分段线性压缩单元101。鉴于此，可以视需要的压缩比而省略分段线性压缩单元101。在这一情况下，也省略以下参考图4描述的设置在RAW解压缩部32的输出级处的反分段线性转换单元。
图3是示出了由分段线性压缩单元所使用的折线实例的示意图。
图3示出了使用具有由四个点分成的五个斜率值的线来转换输入数据的灰阶的实例。在这个实例中，随着输入数据的值变小，即，随着颜色变暗(或者颜色变黯淡)，根据人的视觉特性来分配更高的灰阶。例如，可以为每个颜色成分准备这样的折线，并且可以将折线切换成与输入像素数据的每个颜色成分相对应的一条。
在使用这样的折线转换输入数据的灰阶之后，例如，分段线性压缩单元101通过8来分割转换数据的值(即，将转换数据的值向右移3位)，以将数据压缩成11位数据。在此时，例如，四舍五入被截短的低位。可选地，分段线性压缩单元101可以准备ROM表格，以上述计算为基础的输入数据和压缩输出数据彼此相关联地存储在其中，并且分段线性压缩单元根据ROM表格执行输入和输出数据的转换。
以下返回参考图2来描述。
组块单元102将从分段线性压缩单元101输出的数据划分成多个组块，每个组块由在垂直方向上彼此互相邻近的相同颜色成分的16个像素构成。组块单元102然后输出用于每个分割组块的数据。使用这种的配置，包括在组块中的数据之间的相关性变得更强，并且可以降低由以下量化操作所引起的图像退化。
例如，在使用以拜耳图样排列的成像装置11的情况下，R成分和Gr成分重复的线以及B成分和Gb成分重复的线交替出现。例如，R成分和Gr成分重复出现(R0、Gr0、R1、Gr1、...、R15、Gr15)在输入到组块单元102的数据中，组块单元102改变输出顺序并将数据分成组块，以使相同颜色成分的16个像素连续出现(R0、R1、R2、...，、R15，Gr0、Gr1、...、Gr15)。
最大值/最小值检测单元103检测在一个组块中的最大值和最小值。更具体地，最大值/最小值检测单元103检测在一个组块中的最大值和最小值、以及表示从组块中的第一个像素开始具有最大值和最小值的像素所处位置的地址(以下，指的是最大值地址和最小值地址)。所检测的最大值地址和最小值地址为从0到15的地址值。
考虑到多个具有相同值(等于最大值或最小值)的像素存在于组块中的情况，准备了以下的确定规则以用于确定最大值和最小值，以避免压缩/解压缩操作中的混乱。首先，作为确定最大值的初始操作，将临时最大值设置成第0个像素的值。然后，如果第1到第15个像素具有等于或大于临时最大值的值，则临时最大值被该像素的值更新。因此，在确定第15个像素之后的临时最大值被确定为组块中的最大值。
另外，同样地，作为确定最小值的初始操作，将临时最小值设置成第0个像素的值。然后，如果第1到第15个像素具有比临时最小值更小的值，则由该像素值更新临时最小值。因此，在确定第15个像素之后的最小值被临时最小值确定为组块中的最小值。
例如，在开始的两个像素(即，第0个像素和第一像素)具有16个像素中相同的最大值的情况下，将最大值地址设为1。另外，当所有的16个像素具有相同值时，将最小值地址设为0，而将最大值地址设为15。
最大值/最小值检测单元103分别将检测到的最小值和最大值输出至最小值锁存单元104和最大值锁存单元105。最大值/最小值检测单元103分别将最小值地址和最大值地址输出至最小值地址锁存单元106和最大值地址锁存单元107。另外，最大值/最小值检测单元103在完成组块中的最大值和最小值的确定之后，将包括在一个组块中的每个输入数据顺序地输出至减法器108。
最小值锁存单元104和最大值锁存单元105分别锁存从最大值/最小值检测单元103提供的最小值和最大值。另外，最小值地址锁存单元106和最大值地址锁存单元107分别锁存从最大值/最小值检测单元103提供的最小值地址和最大值地址。最小值锁存单元104、最大值锁存单元105、最小值地址锁存单元106、和最大值地址锁存单元107保持锁存输入的数据，直到通过打包单元112来编码对应于输入数据的组块。
减法器108从由最大值/最小值检测单元103输出的像素的数据中减去从最小值锁存单元104输出的组块的最小值。这个减法等效于从每个像素的数据中减去为包括在一个组块中的像素所共有的DC偏移。
减法器109从由最大值锁存单元105输出的最大值中减去由最小值锁存单元104输出的组块的最小值。减法的结果表示在量化过程中所使用的动态范围(DR)。
量化器110根据从减法器109输出的动态范围来量化从减法器108输出的数据。在这个实施例中，以例如7位的固定长度量化数据。
作为量化器110，例如，可以采用使用整数除法器来用从减法器108输出的数据除以动态范围的配置。另外，当将量化步长限制成2的幂时，还可以采用以以下方式操作的移位器，从而能够减少电路的尺寸。当在压缩侧使用这样的移位器时，还可以在解压缩侧减小用于解量化的电路的尺寸。
为了将从减法器108输入的11位数据量化成7位数据，例如，可以执行以下移位操作。
不进行任何移位操作输出输入数据。
将输入数据右移1位。
将输入数据右移2位。
将输入数据右移3位。
将输入数据右移4位。
量化数据缓冲器111临时存储从量化器110输出的16个像素的量化数据。
打包单元112将从量化数据缓冲器111、最小值锁存单元104、最大值锁存单元105、最小值地址锁存单元106、和最大值地址锁存单元107输出的数据打包成每个组块的128位压缩数据。当从量化数据缓冲器111读出每个像素的量化数据时，打包单元112基于从最小值地址锁存单元106和最大值地址锁存单元107输出的数据来删除最大值和最小值的量化数据。如图4所示，打包单元112仅打包组块中剩余的14个像素的量化数据。
图4是示出了通过打包操作产生的一个组块的压缩数据的结构的示意图。
如图4所示，压缩数据包括组块中的最大值和最小值(每个11位)、用于这些值的最大值地址和最小值地址(每个4位)、以及除了具有最大值和最小值的像素之外的14个像素的量化数据(98位)。
由于打包了组块中的最大值和最小值，所以通过打包表示具有最大值和最小值的像素的位置的最大值地址和最小值地址，而不是打包最大值和最小值的量化数据，可以在解压缩时恢复原始数据。每个量化数据占有7位，而由于4位足以表示16个地址，所以地址占有4位。由于这个差异，有利地减少了关于最大值和最小值的总共6位。因此，占有256位存储区域的16个像素的RAW数据压缩了2倍，因而获得了128位数据。
图5是示出了RAW解压缩部的内部配置的框图。
如图5所示，RAW解压缩部32包括数据锁存单元201、选择器202、减法器203、解量化器204、加法器205、地址计数器206、地址比较单元207、选择器208、反分段线性转换单元209、和点顺序处理单元(dot sequential processing unit)210。
数据锁存单元201锁存从SDRAM14读出的128位压缩数据。数据锁存单元201持续锁存输入数据，直到选择器208完成包括在组块中的所有输入数据的处理。
选择器202从由数据锁存单元201所锁存的数据中接收量化数据(98位)。选择器202接下来从所接收的数据中顺序选择等于一个像素的7位数据，然后将每7位数据提供给解量化器204。
减法器203接收由数据锁存单元201所锁存的数据中的最大值(11位)和最小值(11位)。减法器203接下来从最大值中减去最小值，然后输出动态范围。
解量化器204根据动态范围来解量化由选择器202提供的每个像素的量化数据。在这个实施例中，解量化每7位固定长度编码并输出11位数据。
作为解量化器204，例如，可以采用使用整数乘法器将量化数据乘以动态范围的配置。另外，与以上量化器110的描述一样，当数据是使用限制为2的幂的量化步长被量化时，移位器可以用作解量化器204，从而能够减少电路的尺寸。例如，这样的移位器以以下方式操作。
不进行任何移位操作输出输入数据(量化数据)。
将输入数据左移1位。
将输入数据左移2位。
将输入数据左移3位。
将输入数据左移4位。
加法器205将从解量化器204输出的数据与被数据锁存单元201锁存的最小值相加。通过这个操作，为包括在组块中的像素的数据所共有的DC偏移加到解量化数据上。
地址计数器206与像素数据的输出时间同步地执行计数操作，以便产生对应于组块中像素的顺序的计数值(0到15)。
地址比较单元207接收被数据锁存单元201所锁存的数据中的最大值地址和最小值地址。地址比较单元207接下来将最大值地址和最小值地址与由地址计数器206提供的计数值进行比较，并且在每个地址值与计数值一致时将选择信号输出至选择器208。
选择器208选择性地输出由加法器205提供的数据以及由数据锁存单元201提供的最大值和最小值。更具体地，每当选择器208从地址比较单元207接收到关于最大值地址的选择信号时，就选择性地输出由数据锁存单元201提供的最大值，而每当选择器208接收到关于最小值地址的选择信号时，就选择性地输出由数据锁存单元201提供的最小值。在其他情况下，选择器208选择性地输出由加法器205提供的数据。因此，根据像素的原始顺序解压缩相同颜色成分的11位压缩像素数据。
反分段线性转换单元209根据RAW压缩部31的分段线性压缩单元101所采用的相反特征(opposite characteristic)，将由选择器208提供的11位数据解压缩成14位数据。
图6是示出了由反分段线性转换单元所使用的折线实例的示意图。
图6中所示的折线具有与图3中所示的分段线性压缩单元101所采用的折线相反的特征。反分段线性转换单元209使用图6中所示的折线来转换灰阶。反分段线性转换单元209首先将输入数据乘以8(即，将输入数据左移8位)，以生成14位数据。然后反分段线性转换单元209使用图6中所示的折线来转换14位数据的灰阶，以解压缩14位像素数据。反分段线性转换单元209可以准备ROM表格，在表格中输入数据和解压缩输出数据彼此相关联地存储，并且反分段线性转换单元根据该ROM表格执行输入和输出数据的转换。
当数据在压缩时未经过由分段线性压缩单元101执行的压缩时，在解压缩时也省略由反分段线性转换单元209执行的数据转换。
以下将返回参考图5来给出描述。
点顺序处理单元210以与由RAW压缩部31的组块单元102执行的组块过程相反的过程，将解压缩数据的顺序改变成原始RAW数据的像素的顺序。例如，当像素数据被分成组块并被压缩以使相同颜色成分的16个连续像素出现时(R0，R1，R2，...，R15，Gr0，Gr1，...，Gr15)，点顺序处理单元210改变数据的顺序，以使R成分和Gr成分重复地交替出现(R0，Gr0，R1，Gr1，...，R15，Gr15)。为了改变顺序，点顺序处理单元210包括用于存储两个组块的解压缩数据的缓冲存储器，并且每当完成将两个组块的数据缓冲在缓冲存储器中时，交替输出每个颜色成分的数据。
使用具有上述配置的RAW压缩部31和RAW解压缩部32，可以通过在压缩时以固定长度设置每个像素的量化字长来执行固定长度编码和压缩。因而，用于通过内部总线28从SDRAM14中读取以及写入SDRAM14中的数据的波段可以降低到预定级别，并且可以简化对SDRAM14的地址管理。
另外，通过将被压缩的一个组块中的像素的数量以及量化字长的组合来确定压缩比。可以根据需要的图像质量(即，可接受的压缩失真量)、在其上传输数据的总线中的传输波段的分配、以及SDRAM14的读/写容量等来灵活设置压缩比。例如，在上述实施例中，关于正常的自然图像，可以将压缩/解压缩图像数据转换成亮度/色差信号之后的PSNR保持在大约50dB，同时通过以7位的量化字长来量化16个像素的RAW数据来将压缩比保持在50％。因而，压缩失真可以被抑制在肉眼无法感觉的程度，并且可以基本上防止图像劣化。
另外，由于压缩/解压缩操作基本上是以整数形式执行的，所以并不需要用于引用上线路和下线路中的像素数据的线存储器，这相对简化了处理。因而，用于压缩/解压缩的电路的尺寸和制造成本可以被减小，这有利于增加处理速度并且缩短了处理时间。
因此，可以以相对低的成本来实现能够高速执行图像拍摄操作以及记录/显示高质量图像的小型图像拍摄装置。
另外，具有上述配置的RAW压缩部31和RAW解压缩部32可以配置为通过设置量化字长来执行可变长度编码。例如，在压缩时，通过根据动态范围改变量化字长来执行可变长度编码，以进一步增加压缩效率。此外，可以通过使用类似的相反压缩方法来防止图像劣化。在这种情况下，不执行使用折线的压缩/解压缩。
CPU25可以灵活控制RAW压缩部31和RAW解压缩部32的设置。例如，CPU25可以通过改变量化字长和包括在一个组块中的像素的数量或者通过控制分段线性压缩/解压缩功能的开/关来改变压缩比。另外，RAW压缩部31和RAW解压缩部32的功能可以被配置为开/关。例如，可以采用以下控制操作。在连续拍摄时打开压缩/解压缩功能，而在将RAW数据记录在存储装置16中的模式下关闭压缩/解压缩功能。
另外，RAW压缩部31和RAW解压缩部32可以设置在(例如)SDRAM控制器27和内部总线28之间，而不是设置在上述位置。在这种情况下，将RAW数据写入SDRAM14中和从SDRAM14中读出RAW数据的时间可以有利地减少，并且还可以有利地减小SDRAM14的容量。
现在，将描述对上述第一实施例的修改。
图7是示出了根据本发明的第二实施例的由图像拍摄设备中的RAW压缩部输出的压缩数据的结构的示意图。
当在上述压缩方法中将量化步长设置为2的幂时，量化器可以由移位器构成。在这种情况下，移位量表示组块的动态范围。另外，很明显，通过量化组块中的最大值而获得的值的所有位都是1。因而，解压缩侧可以基于移位量而不是最大值的绝对值来确定用于最大值的量化数据，并且解压缩量化数据。
因此，如图7所示，压缩数据包括由量化器所采用的移位量(在上述操作实例中至少3位)，而不是最大值(11位)。这可以减少包括在压缩数据中的数据的位数。因而，可以通过增加量化字长来增加压缩比或者改进图像质量。
在图7中所示的实例中，假设内部总线28的总线宽度为64位。为了将压缩数据调节成总线宽度，在压缩数据中包括8位无效区域。
图8是示出了根据本发明的第三实施例的由图像拍摄设备中的RAW压缩部输出的压缩数据的结构的示意图。
上述每个实施例都示出了以逐行为基础将RAW数据分成组块并被压缩的实例。以上压缩/解压缩方法的应用使得RAW数据被分成用于跨过多行的每个矩形区域的组块。例如，由于在使用能够扫描所有像素(执行逐行扫描)的诸如CMOS传感器的成像装置的情况下，像素数据被顺序扫描，所以在垂直方向上的像素数据之间的相关性变得更强。因而，即使在矩形区域中的像素都集中在组块中，也可以执行图像质量不退化的压缩。
例如，图8示出了当在8像素×8像素区域中的相同颜色成分的像素数据集中在组块中时所获得的压缩数据的实例。由于一个组块包括64个像素的数据，所以最大值地址和最小值地址的长度设置成6位。另外，在这个实例中，考虑到像素之间的相关性，将量化字长设成5位。可选的，假设内部总线的总线宽度为64位。根据总线宽度，在压缩数据中设置了40位无效区域，并且压缩数据是384位。
例如，当用于64个像素的RAW数据存储在SDRAM14中时，RAW数据占用SDRAM14上的1024位区域。另一方面，在图8所示的实例中，需要384位区域，并且数据被压缩了2.6倍。例如，10帧的压缩RAW数据可以存储在能够存储4帧的非压缩RAW数据的区域中。
为了将位于多行上的像素集中在组块中，RAW压缩部31和RAW解压缩部32均需要内部线存储器等来存储多行的像素数据。然而，例如，在使用能够同步输出来自多行的相同颜色成分的像素的像素信号的多通道成像装置的情况下，对于一个组块等，可以优选地使用在水平方向上所具有的像素少于在一行中的像素的行传感器(line sensor)。
另外，特别当数据聚集在每个矩形区域的组块中时，可以集成RAW压缩部31和相机信号预处理部21。例如，相机信号预处理部21的缺陷像素校正功能用于在目标像素是缺陷像素时，使用来自周围像素的数据来内插缺陷像素数据。另外，相机信号预处理部21可以具有单个像素去除功能，用于校正在与从周围像素估计出的值进行比较时具有明显不同电平的像素信号。由于这样的缺陷像素校正功能和单个像素去除功能使用线存储器，以使用周围像素的数据，这些功能都具有类似于检测RAW压缩部31的最大值和最小值的功能。因而，RAW压缩部31的至少一些功能可以通过共享线存储器而包括在相机信号预处理部21中。
图9是图解示出了根据本发明的第四实施例的图像拍摄设备的配置的框图。在图9中，对应于图1中所示的那些功能的功能用相同的标号表示，并且省略对其的描述。
图9中所示的图像拍摄设备具有传感器LSI(大规模集成电路)301，在其上形成有成像装置11和具有采样/保持功能和A/D转换功能的AFE电路。另外，RAW压缩部31也形成在传感器LSI301上。可选地，图9中所示的相机信号处理部22a具有图1中所示的相机信号处理部22和相机信号预处理部21的功能。
这样的配置可以有利地降低用于将RAW数据写入SDRAM14中和从SDRAM14中读取RAW数据的处理负荷，并且可以如上所述降低在数字图像处理电路13a中的内部总线28的RAW数据的传输波段。除了这些优点之外，这样的配置降低了从传感器LSI301向数字图像处理电路13a的数据传输频率，这有利地使功率损耗能够得到抑制。此外，可以降低连接传感器LSI301和数字图像处理电路13a的总线的辐射，这进一步抑制了对传感器LSI301的内部信号的辐射影响。此外，可以使用于防止辐射的薄片元件更薄或者可以省略，这可以有利地使得设备的厚度更薄并且使得设备的尺寸更小。
此外，在图9中所示的实例中，在数字图像处理电路13a中的CPU25被配置为控制传感器LSI301中的RAW压缩部31的功能的开/关。在这种情况下，RAW解压缩部32的开/关可以由CPU25通过内部总线28来控制。这一配置可以根据设置来实现操作。例如，压缩/解压缩功能在连续拍摄时被打开，而在将RAW数据记录到存储装置16中的模式下关闭压缩/解压缩功能。
除了开/关之外，可以相应地通过CPU25来控制RAW压缩部31的设置。
图10是图解示出了根据本发明的第五实施例的图像拍摄设备的配置的框图。在图10中，对应于图1中所示的那些功能的功能用相同的标号来表示，并且省略对其的描述。
在图10所示的图像拍摄设备中，用于通过CDS来执行采样/保持操作的采样/保持部12b、A/D转换部12c、和RAW压缩部31作为一个芯片形成在AFE电路12a中。与图9中的实例的情况相同，图10的相机信号处理部(未示出)具有图1中所示的相机信号处理部22和相机信号预处理部21的功能。
与图9中的实例的情况相同，这样的配置可以有利地降低用于将RAW数据写入SDRAM14中以及从SDRAM14中读取RAW数据的处理负荷，并且可以降低在数字图像处理电路13b中的内部总线28的RAW数据传输波段。除了这些优点之外，这样的配置还降低了从AFE电路12a向数字图像处理电路13b的数据传输频率，这有利地使得功耗能够得到抑制并且防止了辐射。
在这个实例中，与图9实例的情况相同，在数字图像处理电路13b中的CPU(未示出)被配置为控制RAW压缩部31的功能的开/关。另外，可以通过CPU来相应地控制RAW压缩部31的设置。
本领域的技术人员应该理解，根据设计要求和其他因素，可以对实施例进行多种修改、组合、再组合和改进，其均应包含在本发明的权利要求或等同物的范围之内。
权利要求
1.一种用于使用固态成像装置来拍摄图像的图像拍摄设备，所述图像拍摄设备包括压缩部，用于压缩使用所述固态成像装置拍摄的图像的数字化数据；存储器，用于临时存储由所述压缩部压缩的压缩图像数据；解压缩部，用于解压缩从所述存储器读出的所述压缩图像数据；以及信号处理部，用于对由所述解压缩部解压缩的图像数据执行图像质量校正操作，其中所述压缩部生成的所述压缩图像数据包括在由来自预定数量的像素的像素数据构成的组块中的所述像素数据的最大值和最小值、关于所述最大值和所述最小值位于所述组块中的位置的信息、以及通过从所述组块中除了所述最大值和所述最小值之外的每个像素数据值中减去所述最小值，然后量化所述减法的结果而得到的量化数据。
2.根据权利要求1所述的设备，其中，所述压缩部包括最大值/最小值检测单元，用于对每个组块检测所述像素数据的所述最大值和所述最小值以及关于所述最大值和所述最小值在所述组块中的位置的所述信息；量化单元，用于根据作为所述组块中的所述最大值和所述最小值之间的差而计算的动态范围来量化从所述组块中的每个像素数据值中减去所述组块中的所述最小值的结果；以及打包单元，用于为每个组块打包所述组块中的所述最大值和所述最小值、关于所述最大值和所述最小值的所述位置的所述信息、以及由所述量化单元量化的所述数据中除了那些对应于所述最大值和所述最小值之外的所述量化数据，从而生成压缩图像数据。
3.根据权利要求2所述的设备，其中，在所述量化单元中所使用的量化字长是固定值。
4.根据权利要求2所述的设备，其中，所述压缩部还包括预压缩单元，用于在根据人眼的视感特性转换所述数字化图像数据的灰阶以及减少灰阶-转换图像数据的位数之后，将所述图像数据提供给所述压缩部。
5.根据权利要求2所述的设备，其中，所述量化单元使用为2的幂的量化步长并且使用移位器来量化所述减法的所述结果，所述移位器将数据向右移动对应于所述动态范围的位数。
6.根据权利要求5所述的设备，其中，所述打包单元打包所述移位器所使用的移位量，而不打包在所述组块中的所述最大值。
7.根据权利要求2所述的设备，其中，所述解压缩部包括解量化单元，用于根据所述动态范围解量化从每个组块的所述压缩图像数据中提取的所述量化数据，所述动态范围是作为从所述压缩图像数据中提取的所述最大值和所述最小值之间的差而计算的；加法单元，用于将所述最小值与通过所述解量化单元解量化的所述数据相加；以及输出控制单元，用于根据关于从每个组块的所述压缩图像数据中提取的所述最小值和所述最大值的所述位置的所述信息，以所述原始像素数据的值被输入至所述压缩部的顺序来输出所述最大值、所述最小值、以及从所述加法单元输出的值。
8.根据权利要求7所述的设备，其中，所述压缩部还包括预压缩单元，用于在根据所述人眼的视感特性转换所述数字化图像数据的灰阶并减少所述灰阶-转换图像数据的位数之后，将所述图像数据提供给所述压缩部，以及所述解压缩部还包括后解压缩单元，用于以与所述预压缩单元所使用的程序相反的程序来解压缩从所述输出控制单元输出的所述图像数据。
9.根据权利要求7所述的设备，其中，所述压缩部的所述量化单元采用为2的幂的量化步长并且使用移位器来量化所述减法的所述结果，所述移位器将数据向右移动对应于所述动态范围的位数，以及所述解压缩部的所述解量化单元使用移位器来解量化从所述压缩图像数据中提取的所述量化数据，所述移位器将数据向左移动对应于所述动态范围的位数。
10.根据权利要求1所述的设备，其中，所述组块包括相同颜色成分的像素数据。
11.根据权利要求1所述的设备，其中，所述组块由包括在拍摄图像上的矩形区域中的像素数据构成。
12.根据权利要求1所述的设备，其中，所述解压缩部和所述信号处理部通过公共总线连接至所述存储器，以及，由所述解压缩部解压缩的所述图像数据不通过所述总线而被直接提供给所述信号处理部。
13.根据权利要求12所述的设备，其中，所述压缩部通过所述总线将所述压缩图像数据写入所述存储器中。
14.根据权利要求1所述的设备，其中，所述压缩部与用于执行所述图像数据的数字化的电路形成在相同的芯片上。
15.根据权利要求14所述的设备，其中，所述压缩部与所述固态成像装置以及用于执行所述图像数据的数字化的所述电路形成在相同的芯片上。
16.根据权利要求14所述的设备，其中，所述压缩部的功能被外部控制电路控制来打开和关闭。
17.一种用于拍摄图像的成像电路，所述成像电路包括固态成像装置，每个所述固态成像装置用于将入射光转换成电信号；数字化电路，用于数字化由所述固态成像装置生成的成像信号；以及压缩电路，用于压缩从所述数字化电路提供的图像信号，其中所述固态成像装置、所述数字化电路、以及所述压缩电路形成在相同的芯片上，以及所述压缩电路包括最大值/最小值检测电路，用于对由预定数量的像素的像素数据构成的每个组块检测所述像素数据的最大值和最小值以及关于所述最大值和所述最小值位于所述组块中的位置的信息；量化电路，用于根据作为所述组块中的所述最大值和所述最小值之间的差而计算的动态范围来量化从所述组块中的每个像素数据值中减去所述组块中的所述最小值的结果；以及打包电路，用于为每个组块打包在所述组块中的所述最大值和所述最小值、关于所述最大值和所述最小值的所述位置的所述信息、以及由所述量化电路量化的所述数据中除了那些对应于所述最大值和所述最小值之外的所述量化数据，从而生成压缩图像数据。
18.一种用于使用固态成像装置来拍摄图像的图像拍摄方法，所述方法包括以下步骤使压缩部基于使用所述固态成像装置拍摄的图像的数字化数据来生成压缩图像数据，以及将所述压缩图像数据临时存储在存储器中，所述压缩图像数据包括由来自预定数量的像素的像素数据构成的组块中的像素数据的最大值和最小值、关于所述最大值和所述最小值位于所述组块中的位置的信息、以及通过从在所述组块中除了所述最大值和所述最小值之外的每个像素数据值中减去所述最小值，然后量化所述减法的所述结果而得到的量化数据；使解压缩部读出存储在所述存储器中的所述压缩图像数据以及解压缩所述压缩图像数据；以及使信号处理部对由所述解压缩部解压缩的所述图像数据执行图像质量校正操作。
全文摘要
一种用于使用固态成像装置来拍摄图像的图像拍摄设备包括压缩部、存储器、解压缩部、和信号处理部。压缩部压缩使用固态成像装置拍摄的图像的数字化数据。存储器临时存储由压缩部压缩的压缩图像数据。解压缩部解压缩从存储器读出的压缩图像数据。信号处理部对经过解压缩部解压缩的图像数据执行图像质量校正操作。压缩图像数据包括组块中的像素数据的最大值和最小值、关于最大值和最小值在组块中的位置的信息、以及量化数据。
文档编号H04N7/26GK101031021SQ20071007994
公开日2007年9月5日 申请日期2007年2月27日 优先权日2006年2月27日
发明者加藤文昭, 中岛健 申请人:索尼株式会社