专利名称：处理图像数据的方法和相应的照相机、装置及系统的制作方法
技术领域：
本发明通常涉及手持数字照相机和使用它们的方法，以及更具体地说，涉及具有简化的电子系统和改由向其传送照相机拍摄的图像数据的工作站执行的最小图像处理的照相机。
背景技术：
电子照相机将景物成像到二维传感器上，诸如电荷耦合器件(CXD)、互补硅上金属器件(CMOS) (complementary metal on silicon device)或其他类型的光传感器。这些器件包括排列在小的二维表面上的大量光电检测器(通常两、三、四或更多百万)，分别生成与照到元件的光或其他光辐射(包括与可见光波长相邻的光谱的红外和紫外线区)的强度成比例的信号。通常在光栅模式中扫描形成图像的像素的元件以便当扫描它们时，生成一个接一个照到传感器元件的辐射的强度的一系列数据流。通常通过使用交替分布在传感器上、对每一个不同彩色分量(诸如红、绿和蓝)敏感的光电检测器获得彩色数据。这种电子照相机的流行形式是小的手持数字照相机，将大量图像帧的数据记录为静止图像“快照”或形成运动图像的帧序列。在存储在可移动非易失性存储器，诸如磁带盒或闪存卡之前，通常对照相机内的每帧的数据执行相当大量的图像处理。所处理的数据通常显示在照相机外部上的液晶显示器(IXD)器件上。在存储在非易失性存储器中之前，通常压缩所处理的数据以便减少由用于每个图像帧的数据占用的存储容量。通常处理由图像传感器获得的数据以便补偿照相机的缺陷和通常提高从数据获得的图像的质量。用于传感器的任何缺陷像素光电检测器元件的校正是一个处理功能。 另一个是白平衡校正，其中，设置原色的不同像素的相对大小来表示白色。该处理还包括解马赛克(demosaic)各个像素数据，重叠来自传感器的空间分离的单色像素的数据以便再现图像数据中的多色像素。然后，该解马赛克使得期望处理数据以增强和平滑图像的边缘。对于图像上的照相机光学系统的噪声和振动和传感器光电检测器中的振动的图像数据的补偿通常也在照相机内执行。其他处理通常包括伽马校正、对比度扩展、色度滤波等等的一个或多个。在 2001 年 5 月 Robert Kremens，"Fundamental of Camera Image Processing”的摘要中描述了这些图像处理功能的几个和其他，通过Rochester Institute of Technology(R. I. Τ), Center for Imaging Science, Digital Imaging and Remote Sensing Group和Pixelphysics，Inc.可在hternet上获得。其是在照相机的LCD屏幕上显示的处理数据以便当稍后显示或打印所存储的数据时，所显示的图像原样呈现给照相机的用户。所处理的数据通常还存储在包括在照相机中的全帧缓冲存储器中。然后，从该缓
4冲存储器读取数据，用于由数据压缩算法压缩。通过使用不同压缩算法参数，可以使单帧压缩多于一次，直到所压缩的数据文件符合一些预定规则，诸如总大小不大于一些设定极限。 因此，全帧的未压缩数据被存储在缓冲存储器中达发生该压缩处理所需的周期。通常由与照相机中的处理器芯片分开的集成电路芯片上的易失性存储器来实现该缓冲器，并被选择具有非常快的存取时间。用于摄取静止图像的可回收、一次性使用手持数字照相机也可获得。由终端用户按远低于传统的数字照相机的价格购买这种照相机。终端用户以类似于传统的数字照相机的方式使用它，直到摄取多个图像，填满其内部非易失性存储器为止。此时，终端用户将可回收照相机返回给服务中心，用于处理所存储的图像。随后，将图像作为硬拷贝相片或在标准存储介质，诸如磁带或紧密盘(CD)上返回给终端用户。然后，由服务中心或照相机的制造商，刷新该照相机，包括擦除其内部存储器，然后返回给零售点，诸如照相机商店、药店等等以便重新出售，因此，术语“可回收”。可回收数字照相机仅具有内部电子存储器，用于存储图像。不具有可移动存储器、无用于用户显示所捕获的图像的装置，以及无用于终端用户通过将它们传送到个人计算机来检索所存储的图像的装置。所存储的图像仅能通过服务中心，通过可用于服务中心的装置检索。可回收数字照相机在其制造型号、用法、处理和回收回销售点方面与一次性使用照相胶片照相机类似。对该可行的商业模型，可回收数字照相机被设计成制造廉价，以及同时，使由服务中心交付给终端用户的图像质量高。目前，可回收数字照相机使用捕获和存储图像数据的方法，与用在上述传统的数字照相机中的相同或非常类似。因为图像数据压缩用在可循环照相机中，能存储在照相机中的图像的数量足以吸引终端用户，而没有大的内部非易失性存储器的费用。使用使最终压缩图像处于由大多数数字照相机使用的标准格式，JPEG标准格式的方法，来执行压缩。服务中心由这些JPEG格式图像文件产生硬拷贝正片，或带有以JPEG格式的图像的计算机可读介质，或两者，取决于客户的请求。
发明内容
根据本发明的一个原理方面，以最小化照相机中进行的处理量和复杂度的方式， 在照相机处理器和数据处理工作站，诸如商业服务中心中的工作站之间，划分将来自照相机中的传感器的数字图像变换成最终递送到终端用户的格式的过程。这通过将通常在数字照相机内执行的大部分或所有图像处理转移到工作站来完成。获得图像传感器的信号输出的原始或几乎原始的数字数据，或其压缩版本，并存储在照相机内，然后传送到工作站。除该图像数据之外，可以连同图像数据将各种支持数据存储在照相机内，以便于向其传送数据的工作站处理。这种支持数据可以从先前的照相机校准、从照相机内的附加传感器、从在不同条件下摄取的第二图像导出，或从照相机内图像数据本身的分析获得。用这种方式，除了降低照相机的复杂度和成本外，工作站还能提供被认为太昂贵、实际太大、太浪费时间或太浪费电力而不包括在数字照相机内的更强有力的处理。这导致由终端用户通过降低复杂度和成本的数字照相机，获得显著提高质量的照片。根据本发明的另一方面，以还降低数字照相机的复杂度和成本的方式，通过所获得的传感器数据，在照相机内实时和单遍(single-pass)压缩图像数字数据。在照相机的处理器中实现的压缩方法不受与标准，诸如联合图像专家组(JPEG)标准兼容的惯例约束， 因为能互补地构造工作站以便从这种照相机接收压缩数据，而仍然实现JPEG压缩的优点。 从传感器接收的整个数字图像帧在压缩前，不需要被存储在图像帧缓冲存储器中，如通常在大多数数字照相机中所完成的。相反，在压缩前，仅需要一次存储图像帧的数字化数据的一小部分。通过该方式，通常能从照相机消除通常专用于在压缩前存储图像的单独的数字存储器集成电路芯片，从而降低其复杂度，消除由单独的存储器强加的操作约束，以及降低制造成本。如果完全要求整个图像帧的临时存储，它仅是降低大小的压缩图像帧，而不是在其压缩前，更大量的图像帧的数据。因此，能相当大地降低用于临时图像数据存储的总需要。在服务中心的工作站处或其他地方，从用来存储所捕获的图像工作产品的数字照相机中的非易失性存储器检索压缩图像，并解压缩。在解压缩后，工作站完成图像数据的处理以便优化图像质量和校正照相机中的缺陷、现在商业数字照相机执行的所有处理，如上概述， 以及更多。然后，使解压缩和处理的图像数据变成用于由彩色打印机利用的形式，用于写在 CD或DVD上，或一些其他终端应用。当将数据准备成用于写在CD上的标准格式文件时，工作站通过将数据压缩成标准，诸如JPEG格式标准，来处理图像。根据本发明的另一方面，可以将数字照相机配置成快速连续地拍摄相同场景的至少两个图像，然后，处理两个图像的数据以便产生共同目标场景的单个图像，具有好于所获得的图像的任何一个的质量的质量，校正所获得的图像中的缺陷和/或补偿照相机的局限。例如，当在两次曝光之间使照相机传感器上的图像偏移至少一个像素时，能消除图像传感器的缺陷像素对图像的影响，在通过手持照相机的两次连续曝光之间肯定发生极其小的偏移。用由另一图像获得的目标场景的相同部分的数据来替换包含缺陷传感器像素的影响的一个图像的部分的数据，因为通过不同传感器像素获得两个图像之间的照相机运动。可以用相同方式来校正传感器、照相机光学设备和电子系统的固定图案噪声的影响。用这种方式进行这些校正的优点在于它们是动态的，即，自动地校正随时间的传感器或光学设备变化，而不必单独地测量它们。另一例子是通过在不同曝光条件下，获得相同目标场景的两个或多个图像，然后结合它们，来增加照相机传感器的光敏动态范围。这允许恢复由于传感器像素饱和而太暗或太亮的所获得图像的部分细节。另外，可以通过使两次曝光快速连续， 然后用反拖尾算法来处理两个图像的数据，清晰化由于曝光期间的照相机移动而模糊的图像细节。上述本发明的方面和特征可以单独或以各种组合一起实现，取决于应用。本发明的另外的方面、优点和特征将包括在示例性例子的下述描述中，应当结合附图描述。为所有目的，通过参考，在此全部包含在该文献中引用的所有专禾ij、专利申请、文章和其他公开物。
图1是手持数字照相机的示意图；图2是用于由图1的数字照相机获取的图像数据的工作站的框图；图3示例说明使用可回收数字照相机和服务处理中心的商业方法；图4表示图1的照相机的图像传感器的像素的示例性排列；图5示意性地示例说明图像帧的一部分；图6总体上表示由图1的照相机内的处理器执行的图像数据处理的一个方面；
图7是图1的照相机的示例性处理器的框图；图8是图7的处理器的示例性压缩单元的框图；图9示例说明通过数据压缩器，从图像帧数据的单元读取像素的优选示例性顺序；图10是表示图8的压缩单元的操作的一个方面的流程图；以及图11提供解压缩和进一步处理从图1的照相机接收的图像数据的图2的工作站的示例性技术。
具体实施例方式在图1的示意图中示出了手持照相机形式的示例性视频采集数据设备。该照相机示意性地示出包括外壳11、成像光学系统13以及经线路19与处理器17通信的用户接口 15。接口 15包括用户操作的开关和控制，以及照相机的操作和状态的指示器。也可以包括通过线路22由处理器17控制的可选闪光灯单元21。这种手持数字照相机能很小，照相机体具有尺寸小于14cm长，8cm高，5cm厚，甚至更小，低于8X4X2厘米，以及镜头通常从本体凸出。光学系统13能是单镜头，如所示，但通常是一组镜头。通过可调孔径27和快门四，用可见光辐射将景物25的图像23形成到图像传感31的二维表面上。传感器31的电输出33包含由扫描图像23投射到其上的传感器31的表面的各个光电检测器产生的模拟信号。传感器31通常包含按行和列的二维阵列排列的多个各光电检测器，以便检测图像23 的各个像素。通常通过用光栅模式扫描它们，按时序在输出33中获得与入射到各个光电检测器的光的强度成比例的信号，其中，每次从左到右扫描光电检测器的行，从顶行开始，以便产生可以重构图像23的视频数据帧。将模拟信号33提供给模数转换器电路芯片35，在图像23的电路37中生成数字数据。通常，电路37中的信号是表示入射到传感器31的各个光电检测器的光的强度的数字数据的各个块的序列。在图1的示例性照相机中，处理器17包括系统时钟，以及由处理器在线路39上将时钟信号提供给传感器31和模数转换器35。在处理器17中还生成用于同步传感器31和处理器17的操作的另外的定时信号并在线路41上提供给传感器31。另外，可以利用单独的系统时钟和/或可以在传感器31中生成同步定时信号并提供给处理器17。通过控制和状态线43，将处理器芯片17连接到可变孔径27、快门四和照相机的其他部件以便控制它们。由照相机捕获的图像数据可以存储在安装在照相机内的非易失性存储器45中。 存储器45能是商业上可获得的半导体闪速电可擦可编程只读存储器(EEPROM)、小的可移动旋转磁性或光盘、磁带、具有备用电池的易失性半导体存储器或能存储由传感器31获得的图像帧的视频数据的其他非易失性存储器。当传感器31获得这些数据时，大量数据的各个帧的数据从处理器17经过线47编程到存储器45中。控制线49允许处理器17控制存储器45的操作。在线路51上，图像数据的后续处理可用或所需的另外的图像支持数据连同它们支持的图像帧数据也编程在存储器45中。如别处所述，为了最小化照相机的成本， 在图1的照相机中执行图像数据的很少或不处理，除最好在存储在合理大小的存储器45中之前压缩数据以外，以允许照相机能在耗尽存储器的容量前，摄取和存储足够多个图像帧。
尽管存储器45能制成通过使用闪存卡或可移动小硬盘系统，可从照相机物理移出，该例子中的存储器45永久安装在照相机外壳11内。当用户希望将图像帧数据传送到照相机外时，通过在线路阳上接收从存储器45读出的数据的通信设备53执行该操作。通信设备53能采用多个不同形式，诸如插口，在其中电缆可连接到图像处理工作站、红外数字数据传输设备、射频信号发射机或其他类型的无线数据通信链路。参考图2，通常示出了用于处理从照相机存储器45读出的图像数据的工作站。通信设备57与照相机通信设备53互补，从照相机接收数据。这可以是通过电缆、红外发射、 射频发射等等。处理器59处理所接收的图像数据。该处理器能是个人计算机、网络服务器等等。然后，所处理的图像数据被提供给利用该数据的一些设备61。设备61可以是提供图像数据的打印的彩色打印机，或存储图像数据的一些其他非易失性存储器设备，诸如CD或 DVD刻录器(burner)、磁盘驱动器、闪存卡或磁带驱动器。如果已经压缩在照相机存储器45 中存储的图像数据，那么处理器59将解压缩数据。但处理器59的主要功能是执行通常在数字照相机中执行，但不在图1的低成本照相机中执行的图像处理。可用在照相机外的计算机中的另外的处理能力和时间允许这种图像处理更好地执行以及还允许进行现在不在手持数字照相机中执行的其他类型的处理。由处理器59进行的处理还与利用设备61相互作用，诸如当设备61包括打印机时包括软件打印机驱动器，当设备61包括CD或DVD存储单元时，包括正常的JPEG压缩等等。图3表示图1的简化数字照相机的一个使用，作为可回收照相机。这种照相机63 首先由各个用户从零售店购买。在用用户摄取的图像数据充满其内部非易失性存储器45 的容量后，用户携带照相机63并交给包含如参考图2所述的工作站的商业处理中心。然后，从存储器中读出在照相机63的非易失性存储器中存储的图像数据，并读入工作站的存储器中。然后，用下述方式处理这些数据以便用当前在手持数字照相机中执行的方式来校正和增强图像，因为该处理从图1的照相机63的设计省略。然后，按用户要求由数据产生相片、存储JPEG压缩格式的图像数据的CD等等。然后，由处理中心擦除照相机63的存储器45，以及照相机被发送到零售店由另一用户购买。图3所示的处理中心是商业企业，其中，本发明的数字照相机的用户带着他或她的照相机，以便将数据下载到图像处理工作站，完成图像处理周期，并获得硬拷贝相片和/ 或存储介质，诸如软盘、CD或DVD，在其上存储有由链接的支持数据扩充的从他们的数字图像数据导出的标准数字图像文件。如果数字照相机是可回收照相机并仅具有用于存储图像的内部电子存储器，而没有可移动存储存储器，没有用于照相机用户可通过将它们传送到个人计算机或其他一些设备来检索所存储的图像的装置，以及被设计成由服务中心，或照相机制造商来刷新并返回给销售点以便再出售，则将遵循这一系列步骤。然而，该使用模型不一定必须是这种情形。如果由终端用户利用的图1的数字照相机包括标准装置，诸如USB2. 0或IEEE1394接口，用于将由链接的支持数据扩充的数字图像数据下载到另一设备，或可移动非易失性存储器，本发明的图像处理工作站不需要位于商业企业。或者也可以位于终端用户的家中，并采用USB兼容的个人计算机的形式，加载适当的图像处理软件，具有⑶或DVD-R或RW刻录能力。也能采用DVD刻录器的形式，具有 USB接口或可移动存储器接口连接器，包含基于在此所述的原理的图像处理软件。这种DVD 刻录器另外包括用户接口，允许终端用户完成处理周期并将用户图像数据转换成一个或多个标准图像格式，以及这些格式的至少一种能在DVD播放器上播放。在这种DVD刻录器上存在USB或IEEE1394接口允许终端用户在现在可用于消费者的许多彩色打印机的一个上创建他或她的处理图像数据的硬拷贝相片。现在描述图1的照相机的结构和操作的另外的细节。传感器31可以是电荷耦合器件(CCD)、互补硅上金属(CM0Q器件或其他类似的光传感器。在小的二维表面上排列大量光电检测器元件(通常二、三、四或几百万)，分别产生与入射到元件的光或其他光辐射 (包括与可见光波长相邻的光谱的红外和紫外区)的强度成比例的信号。通常用光栅模式扫描检测图像的像素的这些元件以便在输出33中产生一系列模拟信号，提供当扫描它们时，入射到逐个光电检测器元件的辐射的强度。通过在光电检测器前使用滤光器来提供彩色数据，将它们的灵敏度限制到不同彩色分量中的一个，诸如红、绿和蓝。图4示例说明根据一个广泛使用的标准，可以在传感器31内使用的彩色马赛克中，图像23的各个像素的光敏检测器的二维阵列的一部分。交替行65每个包括交替对绿 (Ge)和红(R)敏感的光电检测器，而中间行的光电检测器对蓝⑶和绿( )敏感。由于眼睛对绿更敏感，对绿敏感的光电检测器是对红或蓝敏感的光电检测器的二倍。尽管在阵列上，绿敏感光电检测器是相同的，在行65中的那些被表示为以及在行67中的那些被表示为q以便分别将红行中的那些与蓝行中的那些区分开来。在此所述的例子中，与来自蓝行中的那些分开处理来自红行中的绿敏感光电检测器的数据。尽管从图1的照相机全部或几乎全部省略图像处理，为了最小化其复杂度和成本，当前期望在存储在非易失性存储器45之前，压缩图像数据。这允许在存储器45中存储足够多个图像数据，使得照相机在商业上期望，而不必承受非常大的容量存储器的成本。这可随着存储器成本继续下降而改变，在这种情况下，来自传感器31的原色数据将在数字化后直接存储在存储器45中，而很少或没有另外的处理。然而，在此的例子提供图1的照相机内的图像数据压缩。在此所述的用在照相机中的压缩算法是JPEG压缩算法的改进形式。参考图5，来自传感器阵列的光电检测器的数据被组成到从传感器31的阵列块获得的那些中，每个包含设定数目的光电检测器的行和列。在所示的例子中，每块包含8行和8列，但其他行或列数能定义到一个块内。在该例子中，来自每个单元内的R、GK、像素的数据被单独地压缩并存储在存储器45中。该图像数据压缩总体上如图6所示。所有最好在单个集成电路芯片上的为处理器 17的一部分的小易失性缓冲存储器从模数转换器35接收图像像素数据流。当按传感器31 的阵列上的顺序对图像帧的行接收时，写入该数据，交替用于RAk和BAb像素的行。一旦在缓冲器71中捕获足够的数据，用于处理单元的图像行数，在图6的例子中，跨越显示器的所有列，则按不同于写的顺序从缓冲器71读取数据，开始压缩处理，以及当来自低于已经捕获的那些的其他行的数据被写入缓冲器中时继续。如图6所示，对于从存储在缓冲器的第一部分73中的8行图像帧数据读取的数据执行数据压缩功能77-80，同时将后8行的数据写入第二部分75。此后，从第二部分75读取数据用于压缩，同时将图像的下8行的数据写入第一部分73等等，直到已经将整个图像帧的数据写入缓冲存储器71并读出。从存储器71读取数据和它们的压缩最好与将数据写入存储器71 一样快地发生，以便维持处理的速度。
一旦已经用8个图像数据行装满缓冲存储器71的部分73或75的一个，则按不同顺序从所有那些行每次一个单元地读取该数据，在该例子中，每单元8列像素。可以读取、 压缩来自第一单元的所有红(R)像素的数据并存储在照相机存储器45的区域83中，跟随用于红行中的绿(Gk)像素的相同处理，压缩数据存储在存储器45的区域85中。类似地， 按顺序从相同单元读取蓝(B)和绿(Gb)数据，并将它们的压缩版本存储在存储器45的各个区87和89中。这完成了在缓冲器71的一个部分中存储的图像帧数据的第一单元的压缩和存储。然后，对在相同缓冲部分中存储的数据的第二单元重复该过程，直到已经读取、 压缩一个部分中存储的8行数据上的所有数据单元并将压缩数据写入存储器45为止。对缓冲器71的另一部分中存储的数据，重复该过程，直到完成为止，然后回到第一部分等等， 直到压缩图像帧的所有数据并存储在非易失性存储器45中为止。一旦这发生，可以通过传感器31获取另一图像的数据，以及对新的图像数据组重复该过程。该处理技术具有要求缓冲存储器71显著地小于通用数字照相机的缓冲存储器的主要优点，其中，这种缓冲器存储至少一个图像帧的所有数据。通常通过在照相机中使用单独的集成电路存储器芯片并连接到处理器，来实现用于存储未压缩数据的这种全帧缓冲器。但这很昂贵以及两个芯片之间的必要快速数据传送易于产生必须在其周围工作的噪声环境。其中，缓冲器71足够小，其能包括在处理器集成电路芯片上。缓冲器71能小于全帧缓冲器大小的15%或10%，或甚至小于5%，取决于处理的帧中和单元(图5)中的相对行数。缓冲器71可以是全图像帧缓冲器的大小的2%或更小。当从传感器31获得图像数据，以及一次通过那个数据时，实时地执行图6概述的数据压缩。图6所示的压缩步骤通常是JPEG标准处理。在步骤77中，每次对一个颜色的数据进行离散余弦变换对于单个显示单元。然后，在步骤78中量化变换系数，以及在步骤 79中进行Huffman编码。然后，将编码数据写到缓冲存储器80，用来使通过步骤79编码数据的速率和将该编码数据写到非易失性存储器45的速率同步。如果对非易失性存储器45 利用闪存，则缓冲器80需要足够大以高速率保存数据，而以更慢速率将该数据写到存储器 45，因为当前可用闪存的编程相当慢。在任何情况下，由于在该点压缩图像帧数据，缓冲器 80不需要如此大以致在照相机中要求单独的存储器芯片。步骤77-80所示的压缩能用软件或硬件实现，主要的硬件实现如下所述。通过监视编码器79的数据输出并响应地调整步骤78的量化级，来控制由压缩产生的数据量，如图6中的虚线所示。如果由跨越8个像素行的图像帧上的一条产生的压缩数据量太高，则对下一数据条的压缩调整量化级。然而，使单一这种调整小，因此，对逐条的最终解压缩图像没有显著的影响。在全帧缓冲的其他照相机设计中，可通过不同量化级多于一次地压缩图像帧数据，直到获得所需大小的压缩数据文件为止。但在此描述的照相机系统中，只有一个机会执行该压缩，具有在压缩前不需要全帧缓冲器，以及加速压缩处理， 导致降低采集连续图像间的时间延迟的显著优点。照相机处理器17(图1)在开始图像压缩的过程前，执行来自传感器31的图像数据的最少量预处理。在一个实施例中，根本不执行预处理，从而使预处理功能的成本降低到零，以及保持属于原始传感器图像数据的最大信息量，以便用在照相机外执行的工作站中的处理中。通常由现有的数字照相机执行，但在此由工作站执行的预处理功能是，例如缺陷像素校正、白平衡补偿、黑色电平校正、对比度扩展、解马赛克、伽马校正、像素格式转换、边
10缘增强、色度滤波和镜头黑斑校正。为校正目的执行该数据处理，增强或者改善最终由处理数据形成的原始景物的质量图像。这些数据操作通常与另外发生的数据的任何压缩无关。 将图像数据压缩到表示所捕获的图像的更小数据量，然后，通过解压缩重构图像数据不影响最终图像，除了在压缩过程中固有的丢失外。数据压缩不具有校正、增强或者改善图像质量的目的或效果。然而，期望在照相机中保持简单的缺陷像素校正预处理，因为未校正的像素会使一些压缩技术引入压缩人为缺陷(artifact)。但除简单的缺陷像素校正外，最好在工作站而不是照相机中执行所有这些预处理功能，从而简化照相机和对实际上不能包括在照相机中的作业提供更多处理能力。为便于工作站的这些处理功能，图1的数字照相机能在非易失性存储器45中，基于逐个图像保存与压缩的捕获图像数据链接的支持数据。支持数据能采用在获得感兴趣的景物的图像前后，以一个或多个预定时间间隔，在不同成像条件下获得的一个或多个另外的全或局部图像的形式。由于以一次通过实时地执行本发明的压缩操作，以及相对于压缩时间、压缩输出数据率和压缩数据大小可确定和可预测，当从传感器读取图像数据时，这些预定时间间隔可重复并能相当短。因此，这些附加图像与感兴趣场景很好关联。最好按与获取的图像数据相同的方式压缩支持数据，以便降低存储这些数据所需的存储器45的量。 另外，可以在存储在存储器45中之前，由照相机处理器17 二次采样或平均支持数据，以便降低支持数据存储需求。为进一步降低存储器使用，仅预定图像区，或响应预定规则的图像区能作为支持数据存储在存储器45中。定义这些感兴趣的预定区的数据也将存储在存储器中。另外，支持数据可以是在因子校准期间，测量并在照相机的适当存储器中存储的特定照相机的参数，或可在照相机使用期间动态确定或调整。与所捕获的图像数据链接的支持数据通过从照相机接收的图像数据的工作站操作，进行可能的某些校正、增强和/或图像质量的其他改进。为了向工作站提供能用来显著地改善最终图像质量的支持数据，可在下述情况下，捕获支持数据1)利用通过使用机械快门四被阻塞到达图像传感器的光，以便允许校正传感器的固定模式噪声；2)相同目标场景，但在与感兴趣的图像相比不同的曝光级或多个级，以提供数据以便允许校正传感器灰度级特性和提高图像动态范围；3)在捕获感兴趣的图像和捕获支持数据之间的不同时延间隔或多个间隔，以允许确定和校正在感兴趣的目标场景图像的数据采集期间发生的照相机运动；4)在相对于正捕获的感兴趣的场景的不同传感器位置或多个位置，为便于有缺陷的像素的检测和校正。注意小的位置偏差在快速连续捕获的图像之间自然发生。因为传感器上的该图像偏差，第一次通过缺陷像素读取的图像数据第二次将由相邻工作像素读取。 因此，感兴趣的场景捕获和支持数据捕获之间的短时延提供了图像数据处理工作站所需的信息，以便用良好图像数据替代来自有缺陷像素的错误数据；以及5)在数字照相机工厂校准时。上述第一例子，固定模式图像传感器噪声校正提供支持数据概念的良好示例说明。这种噪声由传感器阵列的各个光电检测器元件的稍微不同的特性产生。噪声电平是温度相关的，因此是动态的，表示随时间改变，因此，需要在接近摄取图像时的时间测量噪声
11模式。在一个例子中，这通过正好在捕获感兴趣的场景后，从图像传感器读出支持数据来完成。在这种情况下，用于支持数据的图像需要是“黑图像”，没有光落在图像传感器上而捕获的图像。通过在数字照相机中包括机械快门四，可以在适当时间，阻塞所有光到达图像传感器。压缩该支持数据并按与表示感兴趣的场景的图像数据相同的方式进行存储，除了压缩码的目标容量可以更小以外，因为噪声的动态范围远小于主图像。因此，支持数据的压缩数据大小远小于感兴趣的场景的数据的压缩数据大小。在处理服务中心，解压缩支持数据和感兴趣场景数据，以及基于逐个像素，从相应感兴趣的场景像素数据值减去支持数据值。由于支持数据值来自捕获感兴趣场景的图像数据后的短时间摄取的黑图像，它们表示在捕获感兴趣的图像时每个传感器元件的黑电平噪声值。用这种方式，在照相机外，由工作站进行用于图像传感器固定模式噪声的校正。如果图1的照相机采用在图像区的外围外具有另外的元件，覆盖有防止光撞击到这些元件上的材料的图像传感器31，则来自这些黑元件的数据采样能用作支持数据。在工作站中，该支持数据用来估计图像区中的黑色电平噪声。在一种图像传感器中，另外的元件能由在图像区的左或右边缘上的单列元件组成。当读出传感器的每行时，也读出其相关的黑元件。由于顺序地读出行，通常随时间累积的噪声逐行改变，以及来自黑元件的数据提供黑色电平噪声的测量。当随后由工作站在照相机外处理图像时，从那个行中的所有其他元件的值减去黑元件的输出，从而从图像中去除时间改变噪声。上述第二例子，图像传感器动态范围的改进提供支持数据概念使用的另一例子。 当在特定曝光级捕获感兴趣的场景时，通常存在不能判别详情的图像区，因为它们低于最小亮度阈值或高于最大亮度阈值。该技术是一或多次连续地捕获相同图像，但在不同曝光级。来自这些另外图像捕获的数据用作用于工作站的支持数据。这在图1的数字照相机中是可能的，由于上述实时、单遍图像压缩和存储方法，在捕获的图像之间不会招致明显的运动。在工作站中，创建合成图像，具有比任何一个单个图像更多量的可见灰度级细节，从而增强图像动态范围。注意，为使这种动态范围增强的形式有效，不需要与图像数据一起存储存在于另外的图像中的所有捕获数据，并且可获得作为用于工作站的支持数据。例如，能以另外图像的低分辨率版本、响应图像内容包含动态范围信息的另外图像的处理版本，或另外图像的压缩版本的形式来存储支持数据动态范围信息。另外，图像处理工作站应当知道获取支持数据的条件，以便利用支持数据来增强感兴趣的图像的动态范围。例如，这些条件可以是通过比感兴趣场景更长的曝光时间来捕获另外的图像，以便展现在第一图像中不可见的场景的阴影区中的详情，和/或通过比感兴趣的场景更短的曝光时间来捕获另外的图像，以便展现在感兴趣的场景中不可见的场景的高亮部分中的详情。在工作站中，使用已知图像对准方法来校正两个图像间的小的运动量，如果有的话。对每个等效元件，能使来自第一图像的数据向左移以便增加其范围，以及向其添加支持数据，以便创建具有扩展动态范围的合成图像。能通过存储与光学设备有关的动态支持数据连同所获得的图像，在工作站中校正镜头13和照相机光学设备的其他部件的缺陷，诸如镜头黑斑。在一个例子中，在制造照相机时，由工厂按每个变焦和聚焦设置，校准镜头，并将测量的校准数据作为静态信息存储在非易失性存储器中。当捕获图像时，变焦和聚焦设置能作为支持数据与来自感兴趣的图像的压缩数据一起存储，以及由工作站读出用于那些设置的光学设备校正数据，用来执行镜头黑斑校正。支持数据和工作站图像处理的使用的另一例子是，在图像捕获时，在图1的数字照相机内不产生可视图像的数据。该例子的数字照相机可使用计算机优化的镜头。该镜头故意失真撞击在传感器上的图像。通过工作站中的后续处理来消除所产生的失真。在这种情况下，镜头失真特性与图像数据一起存储在数字照相机非易失性存储器45中。该镜头失真数据在照相机制造时，存储在照相机的非易失性存储器中。在这种照相机结构的另一具体例子中，使用这种镜头能增强最终图像的景深，如在^ience News,Vol. 163. No. 13， March 292003,P. 200中所述。由这种镜头产生的原始图像的关键特性是被模糊，即，投射到传感器31 (图1)上的图像23不包含可见陡沿，因此，能比由传统镜头产生的图像更有效地压缩图像。实际上，能与如果在压缩图像数据前在照相机处理器中执行失真去除处理相比， 通过照相机处理器17更有效地压缩图像。结果，能通过不太严格的量化执行压缩，因此，产生比通过传统的照相机镜头，或在压缩前执行失真消除处理的照相机可能的更高质量最终图像。回到图1的照相机，现在，将描述处理器17的结构和操作。处理器17在一个实施例中，执行下述功能1)图像传感器31的控制，包括可选生成信号，具有操作传感器所需的定时；2)从传感器31读出数据，用于感兴趣的图像数据和支持数据，包括监视由传感器产生的定时信号，或可选地，由处理器17产生的定时信号；3)所需传感器曝光时间的计算；4)数字化传感器数据的压缩；5)将压缩数据存储在非易失性存储器45中；6)通过自适应控制压缩过程来管理可用存储器空间；以及7)管理照相机的用户接口 15。图7中示出了处理器17的实施例的框图。处理器包括用如上所述的方式，与传感器31和模数转换器35连接的图像接口 93。具有相关的存储器控制器97的存储器接口 95， 在先前所述的线路47、49和51上与非易失性存储器45连接。通用接口 99将处理器17与用户接口 15、照相机内的其他电子组件以及闪光灯单元21连接。处理器17还包括中央处理单元(CPU) 101、曝光控制协处理器103、压缩单元105和时钟发生器107。图像传感器接口 93通过与由图像传感器接口 93在线路39上提供的时钟信号和线路41中的相关定时信号同步地采样数据，从传感器31读取在线路37上出现的数字化图像数据。根据为照相机选择的特定类型传感器，能由传感器31或通过与传感器有关的定时发生器生成定时信号。由传感器接口 93获得的图像数据被发送到两个目的地，曝光控制协处理器103和压缩单元105。曝光协处理器103累积传感器的照明度量。该单元充当用于CPUlOl的协处理器， 使用这些照明的度量来确定快门四的所需定时和通知传感器31何时终止曝光。该曝光控制方法与用在传统的数字照相机中的相同。压缩单元105包括用于条形存储器(strip memory)(图6)的随机存取存储器 109。逐条(strip)自适应地调整压缩参数，以便确保压缩的图像适合非易失性存储器
1345(图1)中为它分配的空间。可完全由CPU101，或由CPU通过压缩单元105中协处理器的帮助，或完全在压缩单元中完成用于适应的计算。CPUlOl执行存储在只读存储器中的指令以及在计算中使用少量读-写存储器。图7的存储器控制器97在组织为先入先出(FIFO)存储器的存储器111中缓冲由压缩单元105产生的压缩图像数据，然后经存储器接口 95将这些数据写入非易失性存储器 45(图1)。FIFO存储器111实现如上所述的缓冲器(图6)的功能。CPUlOl也经存储器接口 95访问非易失性存储器45(图1)。在传统的数字照相机中，预处理包括解马赛克。该过程导致被称为YCbCr的表示， 其中，为传感器阵列的每个元件指定亮度Y值。彩色分量Cb和Cr，其中，一个CbCr对与两个或四个Y元件有关，用较低分辨率表示。因此，产生以及随后被压缩的YCbCr值的总数是阵列中元件数量的2或1. 5倍。使用YCbCr表示，因为它是由计算机软件使用的标准表示以便显示数字照片，以及因为它允许比源自压缩其中存在用于阵列的每个元件的RGB三元组值的表示，另一标准表示更有效的压缩。注意图像传感器通常将数字化传感器元件值提供为10位数据，但8位用于Y、Cb和Cr值的每一个。因此，在传统的数字照相机中出现的通用解马赛克预处理操作中，10位数据必须在一些点被转换成8位。在图1的照相机中，不执行解马赛克。延迟解马赛克直到由工作站处理图像为止。 当从传感器的模数转换器35接收图像数据时，在照相机内对图像数据执行压缩。在压缩前，如参考图6所述，对应于每个颜色的元件值被分成各个阵列，以及与其他无关地压缩每个颜色阵列。为了提高由工作站在照相机外执行的解马赛克的质量，与蓝元件(Gb)相同行中的绿元件分开处理与红元件(Gk)相同的图4行中的绿元件是有利的，如上所述。因此， 对于彩色元件值R、(Vk、B的四个分量阵列进行压缩。每个阵列中的元件数是总传感器元件的四分之一。为了避免去除可能有用的信息的步骤和尽可能保存以便随后由服务中心的解马赛克计算使用，对于10位数据值的阵列进行压缩。这在保存工作站能用来校正由照相机处理器设备执行的曝光控制中的误差的传感器数据的整个动态范围方面有另外的优点。已知在压缩图像期间执行的量化的一个效果可以是动态范围的一些减小，但该减小是局部效果，以及通过平均工作站处理中的图像的更大区域，能保存用于曝光校正目的的动态范围 fn息ο处理器17的图像压缩单元105(图7)的框图如图8所示。由于相对于图6，概括地描述了压缩，执行与前所述的块相同功能的图8的块给予相同的标记。压缩方法广义上与用在传统的照相机中的JPEG压缩类似，但具有一些修改，改善本实施例中单遍操作的特性。第一步骤是将数字化传感器数据存储在临时条形缓冲存储器71中。如前所述，数据在缓冲器的输入处逐行到达线37。缓冲器71保存一条16行图像，因此，称为条形缓冲器。缓冲器能设计成四个单独的缓冲器，每个保存一条8行图像元素，一个用于每个颜色分量。光栅至块(raster to block)地址发生器115寻址存储器71，使得当读出缓冲器的内容时，改变元件的顺序。如在JPEG标准中详细所述，每次读出一个块，由彩色分量的相邻元素的8行和8列组成，被称为8X8块，单色分量块交错，但以最适合应用的方式。例如，如果JPEG标准按照字母，交错将是[R]，[GJ , [GJ, [B]。然而，在该应用中，更适合的交错将是[R]，[GJ，[R]，[GJ，···，· [Gb]、[B]、[Gb]、[B]，· · ·，· [R]、[Gj、[R]，[Gj，···，· [Gb]、 [B]、[&]、[B]，...，其中，加括号的符号表示各个元素的8X8块。这是因为在传感器的逐行马赛克排列(图4)中，1 和(^元素的前8行条将是完整的，以及准备在元素的前 8行条之前有效地读出。在开始读出[Gb]和[B]块之前读出的[R]和[GJ块的数量取决于传感器的宽度，即，一行中光电检测器元件的数量。当已经从缓冲器32读出图像元素块时，由那些元素占用的空间是空闲的，用于下一条的采集。管理存储器占用的一个简单方法是为两个完整条提供足够的缓冲存储器，以及在条形缓冲器之间交替，从一个读取同时写入另一个。地址发生器115在这种情况下是直接的。也可以通过实现更复杂的地址发生器来降低仅一条所需的存储量，以便当读出块时空闲的存储器空间被来自下一条的新元素覆盖。当图像数据的每个颜色块被读出条形缓冲器71时，将其应用于离散余弦变换 (DCT)单元77，计算离散余弦变换，通常以由JPEG标准指定的细节。该应用的实现和用在传统的数字照相机中的一个区别是，保持结果的更高精度，因为到单元的输入的精度是10 位而不是8位。更具体地说，保持13位精度而不是11位。由DCT单元输出的结果的8X8 阵列，被称为DCT系数，均临时存储在块存储器117中，因为在该过程的下一步骤前，必须按不同顺序读出它。为避免停止DCT单元77，存储器117包括两块存储器，允许从一块存储器读出一个结果块，同时将下一结果块写入另一块存储器。按平均最大化零值系数的运行长度的顺序，通过地址发生器119从块存储器117 中读出DCT系数。在JPEG标准中，该顺序是Z字形顺序，其中，沿对角顺序地读出系数。由于不要求遵守JPEG标准，能使用改进Z字形顺序的读出顺序。例如，能采用使从左上手元素到二维8X8块中读取的元素的距离单调地增加的读出顺序。如图9所示，通过序号表示读取顺序。该交替读出顺序的选择基于观察到DCT系数的大小平均随距离块的左上角的距离而减小，从而提高零值系数的运行长度将增加的机会。如在下述图中所述，通过使用该读出顺序，而不是标准的Z字形顺序，在图像压缩过程中，能使用更低量化平均级，因此，作为压缩结果较小改变图像。通过使用采用量化值的表121的现有技术的选择之一，在图8的量化器78中量化 DCT系数。然后，通过使用标准的Huffman编码技术，由Huffman编码器79Huffman编码量化器78的输出处的量化DCT系数。采用Huffman编码来进一步降低所生成的压缩数据量。 在执行Huffman编码的同时，还计数输出的位数或其他单位数并可用于处理器(图7)的 CPUlOl。使Huffman编码器79的输出打包成字节并临时存储在组织为FIFO的代码存储器80中，随后由存储器控制器97 (图7)永久存储在闪存形式的非易失性存储器45 (图1) 中。所需的代码存储器80的大小取决于闪存的特性。如果闪存具有每字节足够短的编程时间，则代码存储器80仅需要存储压缩图像代码的一部分，以便在代码存储器中产生代码并在处理中写入闪存中。如果闪存对该操作模式来说太慢，能将代码存储器80制成足够大以包含整个图像的压缩代码。使用单遍压缩方法，避免需要将未压缩的原图像存储在帧缓冲器中，如多遍所需的。这消除了需要系统中大的随机存取存储器。多遍通常用在传统数字照相机中，以确保压缩码大小不超出设定极限，该设定极限被计算以便允许所保证的最小数目图像存储在为该目的提供的非易失性存储器中。除此之外，存在提供足够存储器将完整的未压缩图像存储在传统的照相机中的其他原因。一个原因是允许数字照相机的处理器在压缩图像前，执行自动白平衡。在此所述的系统中，通过工作站，而不是通过照相机内的处理器，来执行白平衡处理。另一原因是支持重放所存储的图像并在电视机上直接显示它们的能力。该重放功能不包括在这里所述的照相机中。通过允许从图像帧的逐条改变存储器121 (图8)中的量化表，在图1的照相机内实现单遍压缩。JPEG标准不允许单个图像帧内量化表的这种自适应。存储器121中的量化表的自适应由CPUlOl执行。总之，图8中所示的压缩过程利用基本量化表，或基本量化表集，一个用于每个彩色分量或类似分量的组。为最佳性能，通过用代表性图像集，以及将用在照相机中的传感器来实施实验，预先最佳选择适当的基本量化表，但如果失败，从实验已知、将用于许多类似的应用的基表能在文献中找到，例如在JPEG标准中提供为样本的表。为确定将用在压缩图像条中的实际量化表，将每个基表乘以一个比例因子。该比例操作保存该表的整体形状，但改变该表中的每个量化因子的量化级。由于可以由解压缩从照相机接收的图像数据的工作站使用相同的基表，仅用于每条的比例因子需要存储在照相机的非易失性存储器45中，连同表示该图像的压缩码，以便工作站重构在压缩期间使用的实际量化表。在图10中示出了单遍压缩过程的该方面。每次一个图像帧条地压缩数据。在压缩每条的数据后，测量压缩代码的数量以及测量的数量用来调整用于下一条的量化级比例因子，以便调整由压缩下一条引起的代码量。在步骤131中，确定所压缩的条是否是被压缩的当前图像帧的第一条。如果是，在步骤133，将基本量化表值乘以初始比例因子以及在压缩第一条开始前加载到量化表存储器121(图8)中。可以通过用代表性图像集预先实施实验，来选择初始比例因子。不管是否是图像帧的初始条，如步骤131所示，示例的处理部分等待直到已经通过由确定的比例因子调整的量化表，压缩图像的指定条的数据为止。图10 中所示的剩余步骤导致确定比例因子，以便用在顺序地压缩下一图像帧条中。一旦已经压缩一个条的数据，则在步骤137(图10)中，由CPUlOl读取条的压缩代码量(图7)。在步骤139，然后，CPUlOl计算将用于下一条的比例因子。如果发现存在比所期望更多的压缩代码，则设置用于下一条的比例因子以便降低最终代码量。相反地，如果比接受的更少压缩码，则选择用于下一条的比例因子以便增加代码量。然后，相应地调整用于压缩下一条的量化表(步骤141)并在压缩下一条开始前，存储在量化存储器121中(步骤14 。通过步骤145，然后，由图10所示的处理部分转移到下一条，以及通过参考由下一图像条的数据获得的压缩代码量，重复该顺序。调整比例因子利用目标累积码量的表，每条一个，在开始压缩图像前，由CPUlOl 准备。目标条码量是分配给每一条的压缩代码量，以及目标累积码量是所有条的目标条码量的总和并包括当前条。相同的目标条码量能用于每一条，最好，该表能偏向包含图像中心部分的条，将总图像压缩数据的更多分配给最感兴趣的区域，其中，最重要的是最小化由量化引起的图像细节的降质。例如，能将总图像压缩数据的70%分配给图像高度的中心 50%，以及15%分配给顶部和底部的剩余25%部分。如果在压缩图像条后，直到和包括那条的条码量的总和超出该条的目标累积代码量，则增加用于下一条的比例因子，以便增加量化的量，并因此增加压缩量。为避免由于突然比例因子调整而在条形边界处的可见效果，最好每条使比例因子仅增加少量。如果在压缩条后，直到和包括那条的条码量的总和小于该条的目标累积代码量，则少量减少比例因子，但不允许小于初始比例因子的预定分数。能通过用代表性图像集进行测试，经验地确定用于该分数的最佳值。通过使用具有刚才所述的比例因子调整的单遍压缩方法，可以更接近地满足整个图像的累积代码量不超出目标量的约束。因此，能存储在指定存储器量中的压缩图像数是可预测的。对于相同预测度，与不采用比例因子调整的JPEG标准压缩的单遍实现相比，这允许实现更高图像质量级。使用上述实时压缩方法，在最小化临时存储器80 (图8)的量以便仅存储整个压缩图像的一部分的数据的实施例中，必须匹配非易失性存储器45(图1)的压缩和编程速度。 由于某些类型的非易失性存储器，诸如闪速的编程速度通常慢于SRAM或DRAM的速度，存储器速度潜在地限制能使用的最小压缩比。为了处理此，能降低读出传感器数据的速率，从而降低产生压缩数据的速率。当在通用电子快门模式中操作传感器时，当在照相机和场景之间存在相对运动时，由于太慢读出产生的图像歪斜限制读出速率的降低。如果使用机械快门，能进一步降低读出速率，因为传感器的所有部分的曝光同时停止。通过利用具有与每个感光元件有关的存储元件类型的图像传感器，在没有机械快门的情况下，也能实现更慢读出速率。在该传感器结构中，当传感器的曝光完成时，将所有传感器元件的输出同时存储在它们各自的存储元件上，然后，以比不存在存储元件时更低的速率，读出存储元件。除上述处理外，处理器17(图1)也能监视构成照相机的用户接口 15的按钮，例如快门按钮和模式选择按钮，以及控制显示例如捕获到非易失性存储器中的图像数量、也是用户接口 15的一部分的可选状态显示器。处理器的其他功能可以是通过控制快门触发器和从传感器读出图像之间的时延来控制图像的曝光，以及提供控制信号以便触发可选闪光灯。这些后面的功能能由单独的控制器执行，但由于成本原因，最好采用同一处理器17来执行这些附加功能。在此所述的照相机处理的改进允许处理器17被实现为非常小的集成电路。事实上，由于CMOS传感器使用与处理器所需的CMOS技术相同的集成电路制造技术，处理器 17 (包括局部帧图像数据缓冲器)、模数转换器35和传感器31可以形成在单个集成电路芯片上。这通过上述实时压缩技术可行，因为仅需要全图像帧缓冲器的一小部分在压缩前存储数据。消除全帧缓冲器使得不必具有普通高速存储器接口和处理器17。这种高速存储器接口会将不可接受噪声引入敏感的图像传感器。由图2的工作站的处理器59执行的处理的例子如图11所示。用于多个图像的数据从照相机非易失性存储器传送到工作站内的一些适当的存储器15L用于每个图像的文件包含图像的压缩数据加上上述类型的支持数据以及至少由照相机用于图像数据压缩的图像的每条的量化比例因子。在所述的具体例子中，这些数据是以图像数据的压缩单元的形式，分别用于R、(^、B*(iB颜色分量的每一个。在第一处理步骤153中，解压缩这些数据以便提供R、(VB、k彩色数据的未压缩形式。解压缩算法当然与用在照相机中以便压缩图像数据的压缩算法互补，并使用相同的基本量化表。然后使用与图像的每条一起使用以便在照相机中压缩数据的比例因子，以导出用于在工作站中解压缩每条数据的相同量化表值。
图11的块155表示通常在数字照相机中执行的类型的解压缩图像数据的处理，如上所述。下一处理步骤157可选地将图像数据从RGB色空间转换成亮度和色度色空间，诸如YUV、YCrCb或YIQ。一个原因是现在在工作站中完成的、通常在数字照相机中执行的一些处理最好对于以亮度/色度格式时的数据执行。步骤159表示该处理，其例子是白平衡校正。用于执行转换157的另一原因是，图11中所示的处理的输出的一些使用，诸如在标准电视机上显示，要求或优选以亮度/色度格式的数据。另外，在图11中未示出，一些应用将包括根据通常识别的标准，诸如通过JPEG标准，由工作站处理器59 (图2)压缩输出图像数据，用于由图2的图像利用设备61优选使用。 例如，如果图像数据将通过图像利用设备，诸如⑶或DVD刻录器存储在⑶或DVD光盘上， 则将需要这种压缩。拥有重放设备，诸如CD或DVD播放器的消费者然后根据显示标准，解压缩图像数据。将意识到上述几个独特技术，诸如合并在数字照相机的非易失性存储器中存储的支持数据和图像数据，以便允许通过工作站优化图像处理，以及在工作站而不是照相机中执行大多数或所有图像数据预处理的特征不取决于将被实施的图像压缩。当适当的非易失性存储器的成本下降时，在不利用任何类型的压缩的情况下，仍能实现图1的照相机，而且仍实现上述特征的优点。另外，尽管已经参考其示例性实施例，描述了本发明的各个方面， 将理解到本发明有权在附加权利要求的整个范围内保护。
权利要求
1.一种在具有光电检测元件的二维阵列的手持照相机内，处理来自其上有图像的传感器的数据帧的方法，该光电检测元件以多种原色生成数据，在照相机内包括以原色的不同颜色，按时间顺序从光电检测元件读取图像数据， 按从图像上的顺序条中的光电检测器读取的顺序，将原色的不同颜色的图像数据写入第一存储器中，按多种原色的不同颜色的图像数据组，从第一存储器读取各个图像条的图像数据， 其中，按一次将少于图像数据帧的15%存储在第一存储器中的速率，进行写入和读取， 压缩从第一存储器读取的图像上的各个条内的多个原色的不同颜色的图像数据组，以及将压缩的图像数据组存储在照相机内的非易失性第二存储器中。
2.如权利要求1所述的方法，其中，将压缩图像数据组存储在第二存储器中包括将永久连接在照相机内的一个存储器用作第二存储器。
3.如权利要求1所述的方法，其中，在照相机中不进行用于显示图像数据的处理。
4.如权利要求1所述的方法，其中，在照相机中不进行解马赛克、白平衡校正、伽玛校正和镜头补偿的任何一个的处理。
5.如权利要求1所述的方法，还包括在照相机内，读取和在第二存储器中存储压缩的多个图像数据帧的组，此后，进一步包括将所存储的压缩的多个图像数据帧的组从第二存储器传送到照相机外的工作站。
6.如权利要求5所述的方法，还包括在工作站内 解压缩压缩的图像数据组，以及处理解压缩的图像数据组以便以可以再现图像的形式，形成用于多个帧的数据文件。
7.如权利要求6所述的方法，其中，工作站内的处理包括所有解马赛克、边缘增强、白平衡校正和伽玛校正。
8.如权利要求7所述的方法，其中，在照相机内不产生用于解马赛克、边缘增强、白平衡校正和伽玛校正的任何一个的处理。
9.如权利要求6所述的方法，其中，在照相机内另外包括将用来在传感器上形成图像的照相机光学器件的特性存储在第二存储器中。
10.如权利要求9所述的方法，其中，照相机光学器件的特性从照相机的第二存储器传送到工作站，以及其中，工作站内的处理包括对于照相机光学器件的特性来补偿图像数据。
11.如权利要求10所述的方法，其中，在照相机内不执行补偿照相机光学器件的特性的处理。
12.—种手持照相机，在外壳内包括二维传感器，具有光辐射的各个光电检测器的阵列，生成与以多种原色引导到传感器上的光辐射有关的信号，光学系统，通过外壳定位，将光辐射场从照相机外引导到传感器上， 第一存储器，按时间顺序接收和临时存储引导到传感器的各个检测器上的光辐射值的数据，所述第一存储器具有低于由传感器的各个检测器生成的、表示引导到传感器上的光辐射的一个场的数据量的15%的数据量的存储容量，处理器，读出第一存储器中的数据，以及压缩所述用于多个原色的每一个的数据，第二存储器，以非易失方式存储光辐射的多个场的压缩数据，以及通信设备，连接到第二存储器，用于将压缩数据文件传送到外壳外。
13.如权利要求12所述的照相机，其中，至少所述传感器、第一存储器和处理器被形成在单个集成电路芯片上。
14.如权利要求13所述的照相机，另外包括连接的模数转换器，从传感器接收信号并为处理器和第一存储器提供数字信号，以及其中，所述模数转换器也形成在所述单个集成电路芯片上。
15.一种用于处理数字图像数据的装置，包括传感器，包括生成与入射到该传感器上的光的强度成比例的多个信号用于图像的光电检测器阵列；光学系统，设置成将光引导到传感器上用于所述图像；第一存储器，接收和临时存储用于所述图像的光的多个颜色分量的每一个的至少一个值；处理器，读取存储在第一存储器中的至少一个值，以及对于形成图像的多个条的每一个的每个颜色分量，至少部分基于用于每个颜色分量的至少一个量化表，独立地压缩所述至少一个值，所述量化表通过用于所述图像的多个条的每一个的可调比例值被调整； 第二存储器，存储压缩后的至少一个值；以及通信设备，连接到第二存储器，使得能够与另一个装置传送所述压缩后的至少一个值。
16.如权利要求15所述的装置，其中，所述另一个装置是图像处理工作站。
17.如权利要求15所述的装置，进一步包括模数转换器，所述模数转换器被配置成从传感器接收信号并向处理器和第一存储器提供所述至少一个值。
18.如权利要求15所述的装置，其中，所述第二存储器是永久连接在所述装置内的非易失性存储器。
19.如权利要求15所述的装置，其中，所述第二存储器进一步存储用来在传感器上形成图像的至少一个光学特性。
20.一种用于处理数字图像数据的系统，包括 图像处理工作站；和装置，包括传感器，包括生成与入射到该传感器上的光的强度成比例的多个信号用于图像的光电检测器阵列；光学系统，设置成将光引导到传感器上用于所述图像；第一存储器，接收和临时存储用于所述图像的光的多个颜色分量的每一个的至少一个值；处理器，读取存储在第一存储器中的至少一个值，以及对于形成图像的多个条的每一个的每个颜色分量，至少部分基于用于每个颜色分量的至少一个量化表，独立地压缩所述至少一个值，所述量化表通过用于所述图像的多个条的每一个的可调比例值被调整； 第二存储器，存储压缩后的至少一个值；以及通信设备，连接到第二存储器，使得能够与所述图像处理工作站传送所述压缩后的至少一个值。
全文摘要
公开了处理图像数据的方法和相应的照相机、装置及系统。数字照相机系统，与现有系统不同地划分捕获、处理和存储功能。手持数字照相机与可以存在于商业图像处理服务中心内的工作站一起使用。在数字照相机内执行最少量的图像数据处理，从而允许由于更低存储器要求、更低处理要求以及更低功率要求的显著数字照相机成本降低。在该数字照相机内利用实时单遍图像压缩技术，以允许快速收集和存储原始或最少处理的图像数据。向其传送图像数据的工作站执行通常在现有照相机内完成的图像处理。该处理利用与小照相机相比在这种工作站内可能具有的增加的计算能力以及可以执行这种处理的增加的时间。
文档编号H04N1/21GK102176739SQ20111009062
公开日2011年9月7日 申请日期2004年5月19日 优先权日2003年6月10日
发明者丹尼尔·塞尔特兹, 伊特哈克·申博格, 奥哈德·迈塔瓦 申请人:卓然公司