提供未加工的图像文件和处理数据的制作方法

专利名称：提供未加工的图像文件和处理数据的制作方法
技术领域：
本发明大体上涉及电子摄像领域，以及特别地涉及产生标准格式文 件的一种电子成像系统。
背景技术：
典型的数码相机使用单色图像传感器来捕获场景表现(representation),其包括场景中颜色的表现。颜色由覆盖在传感器 上的彩色滤波器阵列(CFA)分离并且根椐CFA的特定彩色图案将每个 图像像素与特定颜色相关联。例如，拜耳CFA (在US3，971,065中描迷) 提供具有绿色像素位置的棋盘(checkerboard )配置的RGB图案。因此， 对于每个像素主CFA图像信号仅涉及一种颜色，即红色、绿色或蓝色(对 于拜耳CFA)。在捕获了 CFA图像之后，对于每个像素位置的剩余(遗 漏)颜色对每个像素从例如周围像素插值，从而为每幅图像产生全分辨 率插值的记录。因此在插值记录中的每个像素具有一组RGB值。多年以来， 一些类型的数码相机(比如柯达在1995年出产的DC 50 相机)，将CFA图像数据作为"未加工"TIFF图像文件存储在可移动存 储卡上。这种文件被称为"未加工，，文件，因为在该图像被显示或打印 之前需要进行大量的图像处理，包括CFA插值。公知的TIFF(标签图像 文件格式)允许不同类型的图像数据(包括CFA图像数据)使用标准图 像文件包装(wrapper)来存储。ISO 12234 - 2: 2001,电子静态图像 成像一可移动存储器-第二部分TIFF/EP图像数据格式将CFA图像数 据以及指定CFA的颜色配置的元数据标签存储在TIFF文件中的方式进 行了标准化。然而，在这种"未加工"文件可被显示或打印之前，其必 须被插值并转换为标准彩色图像数据，比如RGB彩色图像数据。这种标 准彩色图像数据可被显示或打印，或者可使用标准文件格式比如JPEG 文件格式、JPEG 2000文件格式或FlashPix文件格式来压缩和存储。用于将图像转换为标准文件格式并且打印和编辑标准格式的过程 在图1中示出。CFA图像在捕获步骤10中由相机捕获。当相机或存储器 在连接步骤12连接到主计算机时，在下载步骤14中图像从相机或存储5卡中下载，在处理步骤16中被处理并在文件格式化步骤18中被存储为 标准文件格式。在处理步骤16中，CFA图像在它们被输入时，使用已知 的CFA插值、颜色校正和锐化技术进行CFA插值，从而建立具有标准尺 寸的"最终"RGB图像文件。因而最终RGB图像文件包含CFA插值图像， 其与原始图像总的像素数量相同。然而，不像原始图像，CFA插值图像 对于每个像素具有完整的RGB数据。
使用标准文件格式的优点在于其允许图像被很多不同公司提供的 很多不同的图像软件程序、照片打印机、零售照片亭以及基于因特网的 打印服务使用。为了这个原因，大多数当前的数码相机包括产生并存储 标准图像文件(比如JPEG图像文件)的模式。在图像被捕获时在数码 相机中产生这些图像文件。
在本发明中很多不同的标准图像文件格式是已知和有用的。这种标 准图像文件的一个例子是FlashPix文件。图2是示出存储在FlashPix 文件中的关键信息的简化图。FlashPix图像格式(在FlashPix格式说 明书，版本1. 1 (数字成像组，1997年7月10日)中定义)已经被开 发来作为设备(例如相机)和应用程序(例如计算机图像编辑包)之间 的"交换"格式，以及用于图像编辑的"天然"(native)格式，该图 像编辑允许图像被轻松和快速编辑。这使用"结构化存储，，文件的分级、 平铺图像表示实现。参考图2， FlashPix文件包含完整图像数椐24加 上该文件中多个较低分辨率的拷贝的分级(在图2中示出了一组较低分 辨率图像数据25)。
每个分辨率的图像也可被划分为矩形块(例如正方形)，其使得应 用程序最小化处理的图像数据量来访问、显示或打印场景内容的一部 分。FlashPix允许缩略图像数据23和任选的"辅助"属性设置数据21 和22与图像数据共同存储在同一个结构化存储文件中。该辅助数据可 包括数字音频记录和参数，比如拍照的时间和日期、相机缩放位置和焦 距、场景照明等级、相机校准数据、图像版权拥有者等。对于关于 FlashPix图像格式的其它信息可参见前述的FlashPix格式说明书，版 本1.1 (数字成像组，1997年7月10日)，其在万维网上的 http: 〃www. i3a. org上可获得,并且其作为参考在此结合。
以FlashPix文件存储最终数据之前，用于"最终"图像的图像处 理包括比如CFA插值、颜色校正以及图像锐化的操作。输出图像通常以标准颜色空间存储，比如FlashPix图像格式支持的RGB空间。作为产 生图像文件的结果，原始相机数据被丢弃(步骤26)。如果在应用步骤 28中图像将被打印或传输，标准文件格式首先在编辑步骤27中被编辑。 为了建立最终打印图像，最终图像文件可由用户通过图像处理程序 来调整以建立理想尺寸的最终输出图像，其可仅包括相机捕获图像的 "裁剪的"、颜色调整部分，或者例如包括"蒙太奇，，(montage)的 多个图像。更特别的，为了提供适当尺寸的输出图像，图像处理程序首 先裁剪750 x 500 RGB CFA插值图像数据，并且随后在编辑步骤27中使 用另一种插值算法来将"最终"RGB图像文件的裁剪版本转换为最终理 想的输出图像。
注意这种现有技术的方式使用了两个插值步骤， 一个(步骤16 )插 值从图像传感器"遗漏"的RGB数据而保持750 x 500的像素数椐阵列， 以及第二个(步骤27 )从所选择的裁剪中插值到像素数据阵列，该像素 数据阵列提供理想的输出尺寸。因此用户选择最终打印尺寸(例如8" xl0")，并且图像被插值来为打印机产生适当尺寸的图像数据记录。 例如，如果输出设备以每英寸200个像素打印，图像数据可被计算机或 打印机插值为1600 x 2000的像素(并且任选地被锐化)来产生理想图 像尺寸。此外，该已知方式通常使用两个独立的锐化操作， 一个在跟随 CFA插值步骤16之后对750 x 500像素CFA插值图像数椐，以及第二个 仅在打印之前对插值的1600 x 2000像素图像数据。
现有技术具有多个问题。首先，通过减小色域(color gamut)和 捕获图像的动态范围，将图像从CFA图像数据(其可以是例如每个颜色 数据产生12比特)转换为每个颜色8比特(每个像素24比特)sRGB颜 色空间的处理会限制某些图像的质量。其次，两个插值步骤(产生标准 尺寸图像的CFA插值以及在产生理想打印尺寸的计算机或打印机中的插 值)比使用从传感器CFA数据直接向发送到打印机的输出数据插值的单 个插值步骤会产生更多的插值假像。最终，使用两个单独的锐化步骤也 会产生假像。
所需要的是一种数码相机和数字成像系统，其能够保持这样的优 点使用标准、"最终，，图像文件格式从而图像可由很多应用程序使用， 并且使某些类型的设备(包括图像编辑软件)能够来访问未加工的相机 数据从而当编辑和打印图像时提供改善的图像质量。

发明内容
本发明目的在于克服上述一个或多个问题。简单概括，根据本发明 的一个方面，用于捕获彩色图像的电子相机包括图像传感器，其包括用
彩色滤波器阵列(CFA)图案覆盖的离散光敏图像单元来产生对应于CFA 图案的传感器彩色图像数据；A/D转换器用于从传感器彩色图像数据中 产生未插值数字CFA图像数椐；处理器用于处理未插值数字CFA图像数 据来产生插值图像数据并形成包含未插值CFA图像数据和插值图像数据 的TIFF图像；以及存储器用于存储TIFF图像文件。
根据本发明的另 一个方面，提供了 一种用于存储从彩色图像捕获设 备获取图像的单个图像文件，该设备具有用彩色滤波器阵列(CFA)图 案覆盖的图像传感器来产生对应于CFA图案的未插值CFA图像数据； CFA图像数据经过进一步的处理来形成插值和压缩图像数据，所述单个 图像文件包括用于存储未插值CFA图像数据的第一文件区域；用于在 单个图像文件中以JPEG图像数据存储插值和压缩图像数据的第二文件 区域；以及用于存储用于产生插值和压缩图像数据的第 一图像处理参数 的第三文件区域。
根据本发明的还另 一方面，提供了 一种用于捕获和处理彩色图像的 方法，所述方法包才舌
(a) 在数字图像捕获设备中，通过彩色滤波器阵列(CFA)捕获图 像单元的阵列并且产生CFA图像数据；彩色图像数据对应于CFA图案；
(b) 使用存储在数字图像捕获设备中的图像处理参数处理CFA图
像数据来产生插值图像数据；
(c) 将单个图像文件存储在数字图像捕获设备的存储器中，单个
图像文件包括CFA图像数据、插值图像数据以及图像处理参数；
(d) 传送单个图像文件到第二设备；
(e) 确定第二设备是否能处理CFA图像数据；以及
(f )如果第二设备能够处理CFA图像数据，就访问单个图像文件 中的CFA图像数据和图像处理参数。
本发明的一个优点在于未加工TIFF图像文件，其可被未加工图像 编辑实现应用程序软件像处理其它未加工文件那样使用/编辑，其还包 含标准最终文件图像，其可被从TIFF文件中提取并且用于与任意标准图像文件那样进行立即显示。本发明的这些和其它方面、目标、特征和优点将从以下具体实施方 式和权利要求的详细描述中被更加清楚地理解并且从回顾中认识，以下 描述参考附图进行。


图1是用于捕获和处理图像数据的已知技术的流程图； 图2是已知FlashPix文件格式的说明；图3是根据本发明能够存储和选择性传输处理和未处理图像数据的 电子成像系统；图4是示出根据本发明能够存储和选择性传输处理和未处理图像数 据的流程图；图5是根据本发明结合扩展数据的FlashPix文件格式的说明； 图6是根据本发明结合扩展数据的JPEG交换文件格式的说明； 图7是示出本发明另一个实施例的电子成像系统的框图； 图8是描述可^l执行用于产生提供未加工和压缩图像数据的图像文件的图像处理操作的例子的框图；图9A和9B的结合是包含未加工图像数据、JPEG压缩图像数椐以及图像处理参数元数据的TIFF图像文件的说明；图IO是示出实施使用图7的系统的本发明方法的流程图。
具体实施方式
因为应用电子传感器的数码相机以及得到的图像数据的电子处理 和存储是公知的，以下描述将特别针对组成根据本发明的装置一部分的 单元或者针对更直接地与本发明的装置协作的单元。没有在此说明和描 述的单元可以从现有技术中选择。被描述的实施例的某些方面可以软件 来提供。给出在以下材料中描述的系统，需要实现本发明的所有这些软 件实施方式是传统的并且在本领域中是常用手段。从图3开始，其是示出相机30和主计算机32的框图。相机30包 括用于将图像光引导到图像传感器36(其典型地是单个图像传感器，比 如电荷耦合装置(CCD))的光学部分34。图像传感器36包括离散光敏 图像单元阵列，例如具有750 x 500像素，用彩色滤波器阵列(CFA)图9案覆盖来产生对应于CFA图案的彩色图像数椐。光学部分包括镜头38 和快门开口设备40，其用于调节图像传感器36上图像光的曝光。时钟 发生器和驱动电路42提供需要用于从图像传感器36中产生彩色图像数 椐的波形，并且输出数据被应用到模拟信号处理(ASP)和12比特模拟 /数字(A/D)转换部分44,其从彩色图像数据中产生数字CFA数据。得到的数字图像被应用到数字信号处理器46,其可使用应用例如 DPCM编码的例如数字无损或可视无损压缩技术来压缩图像数据，或者处 理图像数据用于存储。处理的数字CFA数据通过输出接口 48被应用到 可移动存储器50。在操作中，CFA图像数据表示固定尺寸的图像，通常 是实际上对应于图像传感器36的实际尺寸的图像。因此，存储器50存 储来自对应于该固定图像尺寸的固定数量的图像单元的数字CFA图像数 据。而且，存储在存储器50中的数字CFA图像数据，以及捕荻图像的 低分辨率缩略图版本可被包含在也描述用于图像传感器上的彩色滤波 器阵列图案类型的图像文件中。输出接口 48是适用于传统卡接口标准(比如在1997年3月力。州的 Sunnyvale举办的个人计算机存储卡国际会议上发表的在PC卡标准中 描迷的PCMCIA卡接口标准)的存储卡接口 48a。因此可移动存储器50 是包含固态存储器(比如Flash EPROM存储器)或者小的硬驱动器(被 分类为在PCMCIA卡接口标准之下的PCMCIA-ATA型III硬驱动器)的非 易失性PCMCIA存储卡。另一种卡接口标准是具有DOS文件格式的 CompactFlash ATA。可替换的，可使用其它非易失性存储设备，比如软 盘磁介质或者光学存储器(在这种情况下，可在相机30中提供适当接 口和传统读/写装置，例如磁或光读/写头)。此外，相机包括主计算机接口驱动器52用于直接连接相机30到主 计算机32,例如来下栽对应于捕获图像的数字CFA数据。(在该过程中， 可移动存储器50可作为緩沖存储器或者可提供独立緩冲存储器(未示 出))。相机30还包括控制处理器54用于控制(a)时钟发生器和驱 动电路42, (b)包括ASP和A/D部分44、数字信号处理器46和输出 接口 48的数字信号处理链，以及(c)接口驱动器52。接口驱动器52 提供传统计算机接口比如SCSI、 IEEE-1 394、 USB、 Firewire或RS-232 接口。因此，来自相机30的数字CFA数据，通过接口驱动器52或者通 过接收可移动存储器50的卡读取器56与主计算机32接口。为了产生输出图像，主计算机32包括用于处理捕获图像和在显示 器58上产生软拷贝或者在打印机上产生硬拷贝(或者例如胶片写入器 等)的应用程序。例如，应用程序(未示出)包括算法部分，其与CFA 插值同时应用直接像素映射/裁剪。计算机还包括用户界面(未示出)， 其提供用于裁剪成输出图像尺寸的用户操作装置，它使用相机提供的固 定图像尺寸的像素子集。随后应用程序为输出图像的每个图像单元从裁 剪图像单元中插值全部颜色数据并且产生具有选择输出图像尺寸的插 值输出图像。主计算机32还可通过传输链路70 (例如因特网)连接到 远程计算机72和远程输出设备74，比如硬拷贝打印机。根据本发明的成像系统的操作在图4的流程图中示出，并且使用本 发明的图像格式的表示在图5中示出。参考图1所述，用户操作相机来 在捕获步骤10中拍摄图片，并且随后在步骤12中将相机或卡连接到主 计算机。在下栽步骤14中用户选择要处理的图像并且转换为最终文件 格式，比如FlashPix格式。为了建立最终图像数据，在参考图1所示 的处理步骤中将来自相机的750 x 500拜耳图案CFA图像数椐被解压缩 并且插值，来产生CFA插值、颜色校正、RGB图像数椐，其随后在文件 格式化步骤18中在完整图像域24以及在较低分辨率图像域25中以平 铺、分级FlashPix文件被存储。根据本发明，提供了文件格式扩展步骤80,其中原始12比特压缩 CFA数据也被存储在与平铺图像数据相同的FlashPix文件中，但是是在 扩展属性设置22中的CFA图像数据域94中。更特别的(参考图5), 扩展属性设置包括CFA图案和压缩方法数据92、 CFA图像数据94、相机 ICC简档96、缩略像数据98以及高级编辑列表100。因此，扩展数 据可包括元数据，该元数据提供用在图像传感器36上的CFA图案和数 字信号处理器46使用的压缩方法，其被存储在CFA图案和压缩方法数 椐92。相机MTF (调制传送功能)值可被存储为MTF数据95中的表。 特征化存储在扩展属性设置22中CFA颜色的ICC(国际颜色联盟)简档， 可被存储在ICC简档96中。注意这是与在FlashPix图像文件中用来描 述sRGB颜色数据的任选简档不同的ICC简档。在FlashPix格式的标准 使用中，如果标准文件格式应当在编辑步骤82中被编辑，简单修改(比 如旋转、裁剪和锐化)并不修改图像数据24、 25。而是修改列表被记录 在观看参数设置20中，并且标准缩略图数据23也被修改。更加复杂的ii修改(比如去除红眼)要求图像数据的部分被修改。为了记录这些修改从而它们可在随后被应用到CFA图像数椐94,元数据在高级编辑列表 100中列出了这些编辑数据来描迷应用程序执行的除了修改标准 FlashPix观看参数之外的编辑。此外，元数据还可包括缩略像数据 98中未修改的缩略像拷贝，其可与修改的缩略像数据23比较 来确定是否需要通过随后的图像编辑应用程序对原始图像数据进行任 何改变。如上所解释，如果图像文件被应用程序例如通过裁剪或调整图像的 颜色或亮度而修改，那么CFA图像数据94将不再适当地表示编辑图像。 在FlashPix图像格式中，指定了实现确定在FlashPix文件中的扩展属 性设置中存储的辅助数据的有效性(比如CFA图像数椐94)的应用程序。 该扩展设置还在1999年11月9日公开的US5， 983，229中描述，其与本 申请是同一申请人。根据该专利，扩展包含用于指示扩展持久属性的字 段。扩展持久属性将扩展数据的有效性指示为文件的核心单元是否被修 改的函数。对于扩展持久属性的值以及它们对应的含义如下所示值 含义0 x 0 扩展有效并且保持在独立于文件的核心单元的修改中0x1 根据对文件的核心单元的任意修改，扩展无效，并且当核心单元被编辑时其必须从文件中去除0x2 根据对文件的核心单元的修改，扩展可能无效，并且必须保持在文件中直到理解扩展的应用程序可确定扩 展是有效(保持在文件中)或无效(从文件中去除)根据本发明的扩展属性设置22的扩展持久值被设置为0 x 2来指示 扩展数据(比如CFA图像数据94 )根据对文件的核心单元的修改可能无 效。因此扩展属性设置22保持在FlashPix文件中直到理解扩展的应用 程序可确定扩展是有效还是无效。包含该扩展数据的FlashPix文件现在可被任何实现FlashPix的应 用程序使用，该应用程序包括不理解在扩展属性设置22中数据的含义 的应用程序。更特别的，参考图4，包含扩展数据的文件可通过本地链 路86或通过远程链路88被传输到打印阶段(步骤84 ),其中扩展数据 可被从文件(步骤90)中分离并且发送到打印阶段(步骤84)。图像 可通过多种方式改变，例如裁剪、加亮并且用于去除红眼的处理。在一些情况下(例如裁剪、加亮)，这些改变可通过调整FlashPix文件中 的观看参数20来完成，而不是修改图像数据24、 25。然而在所有情况 下，应用程序修改标准FlashPix缩略像数据23来精确地反映图像 修改。当图像数据由不理解扩展属性设置22含义的"老"打印机打印时， 标准FlashPix图像数据被与现有技术同样来打印。然而如果打印应用 程序理解扩展数据组22，其通常处理存储在扩展中的CFA图像数据来提 供将要被打印的数据。这如在2003年11月18日公开的US 6， 650， 366 中描述。在该应用程序中，"原始"图像数据(其任选的使用数字无损 或可视无损技术来压缩)被存储在数字存储器上的数字图像文件中并被 传送到主计算机。该图像文件被保留直到建立了最终呈现图像。图像的 "软拷贝，，质量版本可向用户显示，用户可决定裁剪图像并且建立要结 合到其它文档中、要被打印的等等任意尺寸的输出图像。优点是这样的 为了建立最终高质量图像，原始像素数据的裁剪部分在单个阶段被直接 插值(并且任选的被锐化)来建立适当的输出图像尺寸。通过在包括CFA 插值的单个阶段将输入像素直接映射到理想输出像素，插值假像被最小 化。此外，如果图像在该阶段中被锐化，输出图像的锐度得到改善而不 会由于多个锐化阶段产生的假像而恶化。因此，来自相机的750 x 500拜耳图案数字CFA图像数据根据用户 指定而被解压缩和裁剪。例如可使用图像的256 x 256正方形部分。如 在US 6，650， 366中更加详细的示出，随后CFA插值和空间处理在单个 处理步骤中组合，来产生最终输出图像数据，其可以是更大的正方形图 像，例如1024 x 1024像素图像。CFA插值步骤可实现任意数量的已知插 值技术。例如在以下专利中的插值技术可被使用US 5,373,322; US 5,382,976; US 5, 506,619;以及US 5,629,734。这些专利中的每一个 都在此通过参考结合。在最终尺寸图像记录被插值之后，图像在单个锐化步骤中被锐化。 这种锐化可使用在US 5,696, 850中所迷的技术，其在此结合作为参考。 此专利使用来自相机的调制传送函数(MTF)校准数据95以及打印机MTF 数据(未示出)来确定用于最佳锐化电子相机拍摄的任意尺寸的数字再 现的合适锐化滤波器。图像数据最终在硬拷贝打印机60或在远程打印 机74 (图3)中以硬拷贝形式被打印。为了保证文件中的图像数据没有被图像处理应用程序改变(其例如可由"红眼，，减弱等来实施)，在扩展属性设置22中的原始缩略 像数椐98通过应用包含在FlashPix文件中的任意观看参数20(或包含 在扩展属性设置22中的任意高级编辑IOO)来处理并且将结果与相同文 件中的标准缩略像23进行比较。如果两幅图像不同，则指示原始 图像数据已经以未知方式修改并且CFA图像数据94不应当被使用来形 成输出打印图像。在这种情况下，输出打印就使用标准FlashPix图像 数据24来进行，在这种情况下"较老"的打印机不知道扩展数据。很多应用程序能够打开以"JPEG交换格式"(JEF)文件存储的图 像，其由ISO/IEC 10918-1的基线DCT (JPEG)版本定义，该文件在此 结合作为参考。该标准允许"应用程序片断，，被包括在JIF比特流中。 应用程序片断中的数据被不熟悉应用程序片断中数据含义的应用程序 忽略。已经被开发了使用单个应用程序片断来存储辅助数据和减小分辨 率"缩略图"图像的多个图像文件格式。这些图像格式包括JFIF,其在 "JPEG文件交换格式，版本1.02， 1992年9月1日，C-Cube微系统" 中定义，Exif (可交换图像格式)JPEG压缩版本，在"数字静态相机图 像文件格式提议(Exif )版本1. 0， 1995年3月24日，JEIDA/电子静 态相机工作组"中描述以及SPIFF,在"ITU-T Rec. T. 84, Annex F-静态 图片交换文件格式，1995"中定义，其都在此结合作为参考。在图6所示的第二实施例中，使用了 JPEG交换格式文件。该文件 包含根椐ISO JPEG标准(ISO/IEC 10918-1 )是有效的完整JPEG数据 流。在图6中引用的字段如下来识别SOI =图像开始APP-应用程序片断DQT-定义量化表DHT-定义霍夫曼表SOF-帧的开始SOS-扫描开始EOI =图像结束更特别的，JPEG数椐流还包括应用程序片断102 (在该例子中是应 用程序片断7(APP7)),其包括存储在FlashPix扩展属性设置22中 的相同类型的信息，如结合图5所述的那些。14图7到图10涉及本发明的另一个实施例。在该实施例中，来自图 像传感器36的非插值图像数据被使用TIFF图像格式存储为所谓"未加 工，，相机数据。该TIFF图像文件完全与在ISO 12234-2: 2001中定义的 TIFF-RP标准兼容，其从瑞士日内瓦的国际标准组织可获得。使用常规TIFF-EP未加工文件的一个问题是在显示或打印之前，所 有应用程序必须执行需要将未加工数据转换为插值数据的处理。不同数 码相机使用不同类型插值处理，很难在图像显示应用程序、图像编辑应 用程序或数字打印机中为所有这些相机提供处理。因为TIFF文件可支持单个文件中的多个图像，本发明的发明人认 识到"最终"处理和压缩JPEG图像可在TIFF-EP文件中提供，而仍然 保持与TIFF-EP标准的兼容性。TIFF文件中的JPEG图像数据可被用于 实现与不能处理"未加工"相机文件的设备(比如计算机软件程序或家 用照片打印机)的兼容。仅需要由图像访问的未加工图像数据可由图像 编辑器修改。图7是根据本发明的电子成像系统的附加实施例的框图。电子成像 系统包括相机30A,其捕获和在可移动存储卡50A上存储图像。如在先 前参考图3所述的，数码相机30A包括光学部分34,其用于将图像光引 导到图像传感器36上，其优选的是单个彩色图像传感器，比如电感耦 合装置(CCD)或CMOS图像传感器。图像传感器36包括用彩色滤波器 阵列(CFA)图案覆盖的离散光敏图像单元阵列来产生对应于CFA图案 的彩色图像数据。图像传感器36可具有例如4: 3图像宽高比以及总的 3. 1个有效的兆像素(百万像素)，其具有2048有效像素列x 1536有 效像素行。图像传感器36可使用1/2"型的光学格式，从而每个像素大 约是3. 1微米高乘以3, 1微米宽。光学部分34包括缩放镜头38A和快门开口设备40，其用于调节图像 传感器36上的图像光的曝光。时钟发生器和驱动器电路42提供波形， 该波形需要用来从图像传感器36产生并传送彩色图象数据以提供传感 器输出数据，并且该传感器输出数据被应用到模拟信号处理(ASP)和 12比特模拟/数字(A/D)转换部分44,其从彩色图像数据中产生数字 CFA数据。时钟发生器和驱动器电路42还控制闪光单元用于当环境照明 很暗时照亮场景(未示出)。如果图像传感器36是CMOS图像传感器， ASP和A/D 44以及时钟发生器和驱动器42可与图像传感器36包括在相同的集成电路中。来自ASP和A/D 44的所得到的数字数据被临时存储在DRAM緩沖存 储器45中，并且随后被应用到数字信号处理器46。数字信号处理器46 执行的处理由存储在固件存储器128 (其可以是闪存EPR0M存储器)中 的固件控制。应当注意数字信号处理器46—其典型的是可编程的图像处 理器一可选择是硬线(hard wire)定制集成电路(IC )处理器、通用微 处理器或者硬线定制IC和可编程处理器的组合。数字信号处理器46还接口到用户控制器134并且向彩色显示器132 提供彩色信号。显示在彩色显示器132上的图形用户界面由用户控制器 134来控制。在图像被捕获之后，它们可在彩色显示器132上通过使用 存储在DRAM 122中的缩略图或微缩图(screennail)图像数椐来浏览。 用户控制器134还允许用户设置各种相机参数，比如白平衡设置、颜色 设置、锐度级设置以及压缩质量设置。用户控制器134可包括缩放控制器(未示出)来控制缩放镜头38A 的焦距设置。 一旦达到了最大长焦(telephoto)缩放设置，数字信号 处理器46可裁剪和再取样图像传感器36提供的图像数椐来提供"数字 缩放"，其将在以下参考图8描述。相机30A还包括重力定位传感器140。重力定位传感器140被用于 确定在数字图像被捕获的时刻相机是否在正常水平"风景方向"、第一 (顺时针旋转90度)垂直"影像"(portrait)方向或者第二 (逆时 针旋转90度)垂直"影像"方向。来自重力定位传感器140的信号可 被用于决定数字信号处理器46是否应当自动旋转捕获的图像到适当的 "直立，，方向，如在共同申请人的US 5,900,909中所述，其乂^开内容 在此结合作为参考。在一些实施例中，相机30A还可包括"全景"模式，其通过仅使用 来自图像传感器36的像素中间行来提供宽的宽高比图像，而丢弃顶部 和底部行。这可通过Labaziewicz等在2005年2月18日提交共同申请 人的USSN 11/062， 174中所述那样完成，其公开内容在此结合作为参考。数字信号处理器处理捕获的CFA图像数据并且产生数字图像文件 450 (在图8中示出)，其将在以下参考图8描述。数字图像文件450 被提供给存储卡接口 48A,其将数字图像文件450存储在可移动存储卡 50A上。可移动存储卡50A是一种可移动数字图像存储介质，并且以多16种不同的物理形式来获得。例如，可移动存储卡50A可包括(不限制) 适合于已知格式的存储卡，比如紧凑型闪存(Compact Flash) 、 SM (SmartMedia)、记忆棒(Memory Stick) 、 MMC、 SD或XD存储卡格式。 其它类型的可移动数字图像存储介质，比如磁的硬驱动器、磁带或光盘 可选择用于存储静态和运动数字图像。可选择的，数码相机30A可使用 内部非易失性存储器(未示出)，比如内部闪存EPROM存储器来存储处 理的数字图像文件。在该实施例中，不需要存储卡接口 48A和可移动存 储卡50A。相机30A包括对接器(dock)接口 162用于连接相机30A到对接器 /充电器364,其再连接到计算机32A。对接器/充电器(recharger)364 可对用于为相机30A供电的电池(未示出)充电。对接器接口 162和对 接器/充电器364使用传统计算机接口通信，比如USB或IEEE-1394接 口。因此，数码相机30A提供的数字图像文件450可通过对接器/充电 器364或通过存储卡读取器56A使用可移动存储卡50A传送到计算机 32A。为了产生输出图像，主计算机32A包括应用程序，该应用程序用于 处理传送的图像文件并产生显示在显示器58A上的软拷贝，或者在打印 机60A上打印的硬拷贝。应用程序(未示出)处理来自图像文件的未加 工图像数据，使用户能够调整各个图像处理参数，其将在随后参考图8 描述。例如，显示在显示器58A上的图形用户界面可包括用户控制器， 该用户控制器提供用户操作装置用于裁剪到输出图像尺寸，该用户操作 装置使用相机提供的固定图像尺寸的像素子集。随后应用程序为来自裁 剪图像单元的输出图像的每个图像单元插值全部颜色数据并且产生具 有选择的输出图像尺寸的插值输出图像。图形用户界面还可使得用户能 够调整色调再现、颜色再现、白平衡、噪声清除设置以及图像的锐度。计算机32A还可通过传输链路70 (例如因特网)连接到远程计算机 72和远程输出设备74，比如参考图3描述的硬拷贝打印机。可移动存 储卡50A还可被插入家用照片打印机358和零售照片打印机360的存储 卡槽(未示出)。图8是描述了图像处理操作的例子，该图像处理操作可由数码相机 30A中的数字信号处理器46执行，来产生提供未加工和压缩图像数据的 图像文件450。图9A和9B的结合示出了数字图像文件450的结构的例子。在图8的块402中，存储在DRAM緩冲存储器45中的传感器CFA数 据400 (参见图7)被处理来校正传感器缺陷。这通过使用存储在固件 存储器128 (其可在相机30A制造时被编程)中的列表来识别缺陷像素 完成，并且对于缺陷像素值替换校正像素值，该校正像素值等于具有相 同颜色的最近的非缺陷像素的平均值。在模块404中，缺陷校正CFA传感器数据被再取样来产生具有例如 640列x 480行拜耳图案像素数据的"小尺寸，，未加工CFA数据。调整 大小可通过将相同颜色的相邻像素进行平均来完成。在模块406中，缺陷校正全尺寸CFA传感器数据和小尺寸CFA传感 器数据被格式化来存储在图9所示的数字图像文件450中，其在优选实 施例中是TIFF/EP文件。该TIFF/EP文件符合ISO 12234-2: 2001,电子 静态图片成像-可移动存储-第二部分TIFF/EP图像数据格式，其在 此结合作为参考。参考图9A和9B,数字图像文件450包括TIFF报头502和图像文件 目录0 ( IFDO ) 504，图像文件目录0 ( IFDO ) 504包括JPEG交换格式标 签506, JPEG交换格式标签506指向用于存储主Exif/JPEG数据510的 数字图像文件450的部分。主Exif/JPEG数据510包括主JPEG压缩图 像512、 JPEG压缩微缩像514以及JPEG压缩缩略像516。用于 产生这些JPEG压缩图像的过程将随后参考模块408 - 424来描述。IFDO 504还包括Exif IFD指针520，其指向存储在ExifIFD 522 中的标准Exif元数椐。IFDO 504还包括图像处理参数IFD指针524, 其指向IP Param IFD 526， IP Param IFD 526存储用于产生主Exif/JPEG 数据51G的图像处理参数。IFDO 504还包括SubIFD指针528，其包括指向子(Chi Id) 0th SubIFD 530的指针，而子0th SubIFD 530又包含指向主CFA数椐536的条偏移 (StripOff set )指针532。该主CFA数据536是来自图8的模块402的 传感器缺陷校正CFA数据。SubIFD指针528还包括指向子1th SubIFD 540的指针，而子1th SubIFD 540又包含指向小尺寸CFA数据的条偏移指针542。小尺寸CFA 544数据是来自图8的模块404的CFA图像再取样数据。当数字图像文 件450随后被计算机32A处理时，该小尺寸未加工CFA数据544可被用于使得计算机32A更加快速的在显示器58A上产生显示尺寸 (display-sized)处理图像，因为其比如果计算机32A必须处理全尺 寸CFA图像数据所要处理的像素少的多。一旦数字图像文件450在计算机32上被修改(这将在随后参考图 10描述)，IFD0504还可包括指向附加修改的JPEG图像570的指针， 当该附加修改JPEG图像570被存储为修改的图像文件时，其被添加到 数字图像文件450。例如，在图像被修改的第一次，NextIFD指针550 指向IFD1 (主图像修改JPEG) 552,其包含主Exif/JPEG数据558 (其 是修改的图像)，以及指向IPParamIFD 554的指针，IPParamIFD 554 包含用于产生修改的主Exif/JPEG数据558的图像处理设置。下一次图像文件^L修改和保存时，IFD2 (主图^象修改JPEG) 562祐* 用于存储第二次修改的主Exif/JPEG数据568,以及IPParamlFD564被 添加到数字图像文件450上，IPParamlFD564包含用于产生第二次修改 主Exif/JPEG数椐568的图像处理设置。此外，LastIFD指针560被添 加到IFDO 504，以及NextIFG 556指针被添加到IFD1 552,其都直接 指向IFD2 562。每次数字图像文件450被随后修改并保存时，附加IFD(例如IFD3、 IFD4等)可被添加到数字图像文件450，并且LastlFD指针560可被更 新来指向新的IFD。 .返回图8，在模块408中，如果用户使用用户控制器134执行数字 缩放功能或全景功能，那么图像数据被裁剪。该裁剪使用数字缩放/摇 拍(pan)设置428。在模块410中，旋转/裁剪CFA数椐被清除噪声。该噪声清除使用 提供为图像处理参数444 一部分的清除设置430。该处理可使用在共同 申请人:Adam等的US 6,625, 325中描述的噪声清除方法，其公开内容在 此结合作为参考。在彩色传感器去马赛克(demosaicing)块412中，噪声过滤CFA数 据被颜色插值来提供全分辨率RGB图像数据。该处理使用旋转/再取样 设置432。如果重力定位传感器140指示数码相机30A以图像被捕获的 影像方向把持，如果需要，CFA图像数据被旋转。而且，如果CFA图像 数据在模块408中被裁剪来提供数字缩放，图像在块412中被再取样来 产生全尺寸图像文件。这可通过使用在共同申请人Parulski等的US196， 650， 366中描述的方法来完成，其公开内容在此结合作为参考。在块414中，全分辨率RGB数椐是使用白平衡设置434被调整为白 平衡的。白平衡设置434可指示特定照明体(例如日光、鴒丝)或自动 白平衡模式。在块416中，白平衡RGB数据经色调缩放和彩色处理。该处理使用 色调和彩色设置436,其可识别多个彩色矩阵和色调修正曲线中之一。 该处理可使用在佛罗里达州Boca Raton的CRC出版LLC在2003年公开 的数字彩色成像手册的"色调缩放/颜色处理"中的章节12.6中描述， 其在此结合作为参考。特别的，彩色处理可使用例如在图3中描述的 Parulski等共同申请人的US5， 189， 511中的3x 3线性空间颜色校正矩 阵20,其公开内容在此结合作为参考。在块418中，经处理的RGB图像数据使用锐化设置438被锐化。图 像锐化处理可利用在Hibbard等共同申请人的US 4,962,419中描述的 方法，其公开内容在此结合作为参考。例如，锐化设置可识别多个去心 (coring)查找表之一，其提供用于锐化图像的"细节"信号的不同数 量的放大。在块420中，锐化的图像数据使用压缩设置440来JPEG压缩，压 缩设置440包括压缩质量设置。图像压缩可使用在Daly等共同申请人 US 4, 774,574中描述的方法，其公开内容在此结合作为参考。压缩质量 设置可识别多个量化表之一，例如，574专利的图1中用于量化模块26 的三个不同的表。这些表提供不同的质量等级并且为JPEG压缩图像文 件平均文件尺寸。在块424中，锐化的图像数据被再取样来产生两个较小尺寸的图像。 该再取样可如在Kuchta等共同申请人的US 5,164,831中描述，其公开 内容在此结合作为参考。这包括具有例如160行x 120列的缩略图尺寸 图像，以及具有例如640行x 480列的微缩尺寸图像。在块426中，缩 略图和^:缩图像-波JPEG压缩。在块422中，JPEG压缩全分辨略"主"图像、JPEF压缩缩略 像以及JPEG压缩-微缩图象被共同格式化在Exif/JPEG图像文件中，如 由曰本动静的日本电子工业发展协会(JEIDA )在1998年7月发表的"数 字静态相机图像文件格式(Exif )"版本2. 1中定义。该格式包括Exif 应用程序片断，其存储特定图像元数据，包括图像被捕获的日期/时间20以及镜头f/数目和其它相机设置。结果是图9中的主Exif/JPEG数椐 510。数字缩放/摇拍设置428、噪声清除设置430、白平衡设置434、色 调和颜色设置436、锐化设置438以及压缩设置440都包括在图像处理 参数444中。在块448中，这些参数被格式化为存储在图9的图像处理 参数IFD 526中的TIFF标签。图IO是示出使用图7的系统实施本发明的的方法的流程图。在图7的块200中，用户为相机30A选择相机捕获和图像处理参数 "4 (在图8中示出)。这使用用户控制器134来完成，如先前参考图7 所述那样。 一些或所有这些设置可以是存储在相机30A的固件存储器 128中的默认设置。在块202中，用户使用彩色显示器132或者数码相机30A上的光学 取景器(未示出)来形成图像。在块204中，传感器CFA图像数据被捕获并临时存储在DRAM緩沖 存储器45上。在块206中，CFA图像传感器数据被数字信号处理器46使用图像处 理参数444处理来产生处理的RGB图像数据，如先前参考图8的块408 到418所述。在块208中，数字信号处理器46建立微缩图和缩略图尺寸处理图 像，如先前参考图8的模块424所述。在块210中，主、微缩图和缩略像如先前参考图8的块420到 424所迷那样进4于JPEG压缩。在块212中，存储在图9中IPParamIFD 526中的TIFF标签用图像 处理参数444来生成(populate),如先前参考图8的块448所述。在块214中，图9中的包含主CFA图像数据536、小尺寸CFA图像 数据544、主图像数据512、微缩像数据5H、缩略像数据516 以及图像处理参数444 (存储在IPParamIFD 526中)的数字图像文件 450由数字信号处理器46产生。在块216中，数字图像文件450被存储在可移动存储卡50A或其它 存储设备上。在块220中，数字图像文件450从相机30A被传送到另一个设备， 比如计算才几32A、零售照片打印4几360或者家用照片打印才几358,如先前参考图7所述。在块222中，接收传送的数字图像文件450的设备确定是否能够处 理CFA图像数据。在块224中，如果设备不能够处理CFA图像数据(块222是否)， 设备访问数字图像文件450中的JPEG/Exif格式图像数据510。这允许 设备使用图像，就像其是标准JPEG/Exif图像文件。该JPEG/Exif图像 数据随后可被设备显示、打印、记录或传输。在块226中，如果设备能够处理CFA图像数据(块222是是)，设 备访问数字图像文件450中的主CFA图像数据536。设备还可访问小尺 寸CFA图像数据544,从而快速产生可由用户交互地修改的可观看图像。在块228中，如果想要，设备的用户可修改图像处理参数444。因 此，用户可修改数字缩放/摇拍设置来提供更多(或更少)的裁剪。例 如，如果全景设置在图8的块408中通过裁剪去顶部和底部行而提供宽 的宽高比图像， 一些或全部这些行可被包括在修改的图像中。作为另一 个例子，噪声清除阈值430以及锐化设置438可被修改来更好的平衡噪 声抑制和图像锐化。作为另一个例子，如果用选择的钨丝作为照明体来 捕获图像，但是光源实际上是日光，那么CFA图像被再处理，尽管在第 一位置选择了日光。膝光和闪光也可通过修改色调&颜色设置436来调 整。在一些实施例中，还可为用户提供不包括在数码相机中的其它控 制。例如，该控制可允许用户独立调节阴影中的场景照明、中色调和捕 获图像的高光。这些调整可使用小尺寸CFA数据544来预览，从而减小使得用户交互性决定他们想要的图像处理设置所需要的计算时间。在块230中，主CFA图像数据536使用用户修改设置被再处理。这 类似于使用不同的图像处理参数444来重复图8的块408到418。在块232中，修改的设置和附加处理JPEG文件被存储在数字图像 文件450中。为了提供这些JPEG文件，来自模块230的再处理图像数 据被再取样来产生修改图像的缩略图和微缩像，并且主、缩略和微 缩像被JPEG压缩并包括在IFD1 (主图像修改JPEG) 522中，如先 前参考图9A和9B所述。此外，用于产生修改图像的图像处理参数被存 储在IPParamIFD 564中。在一个可替换的实施例中，当修改图像时，不将IFD1 552和IPParamIFD 554加到数字图像文件450中，而是主Exif/JPEG数据510 可被修改的JPEG图像数据替换，并且IPParamIFD 526参数可被修改的 参数替换。在块234中，修改、处理的CFA图像数据被显示，例如使用显示器 58A，或者打印机，例如使用打印机60A。部件列表10 捕获步骤12 连接步骤13 下栽步骤 16 处理步骤18 文件格式化步骤19 报头20 观看参数21 属性设置数据22 扩展属性设置数据23 缩略像数据24 完整图像数据25 较低分辨率图像数据26 丢弃步骤27 编辑步骤28 应用步骤 30 相机3 OA相机32 主计算机32A主计算机34 光学部分36 图像传感器38 镜头38A缩放4竟头40 快门开口设备42 时钟发生器和驱动电路44 ASP和A/D部分45 DRAM緩沖存储器46 数字信号处理器 48 输出接口48a存储卡接口50 可移动存储器52 可移动存储器54 控制处理器56 卡读取器56A存储卡读取器58 显示器58A显示器60 硬拷贝打印枳i60A打印机70 传输链路72 远程计算机74 远程输出设备80 文件格式扩展步骤82 编辑步骤84 打印步骤86 本地链路88 远程链路90 分离步骤92 CFA图案和压缩方法数据94 CFA图像数据95 相机MTF校准数据96 相才几ICC简档 98 缩略像数椐 100高级编辑列表 102应用程序片断 122 DRAM緩冲存储器 128固件存储器130闪光灯 132彩色显示器 134用户控制器 140重力定位传感器 162对接器接口 200块202块204块206块208块210块212块214块216块220块222块224块226块228块230块232块234块358家用照片打印机360零售照片打印机364对接器/充电器400传感器CFA数据術传感器缺陷校正楊CFA图像再取样406TIFF未加工文件格式化408CFA数据裁剪410传感器噪声清除412彩色传感器去马赛克414白平衡416色调缩力文/颜色处理418锐化420JPEG压缩422Ex if文件格式化424缩略图&微缩图再取样426 JPEG压缩 428数字缩放/摇拍设置 430噪声清除阈值 432旋转/再取样设置 434白平衡设置 436色调&颜色设置 438锐化设置 440压缩设置444 图像处理参数448 TIFF标签格式化 450数字图像文件502 TIFF报头504 I刚506 JPEG交换格式指针510主Exif/JPEG数据512主图像514微缩像516缩略像520 ExifIFD指针522 ExifIFD524 IPParamIFD指针526 IPPa濯IFD528 SubIFD指针530子0,h SubIFD532条偏移536主CFA数据540子llh SubIFD542条偏移544小尺寸CFA数据550 NextIFD552 IFD1554 IPParamIFD27556 NextIFD558主Exif/JPEG数据560最后IFD指针562 IFD2564 IPParamIFD568主Exif/JPEG数据570附加1奮改JPEG图像
权利要求
1.一种用于捕获彩色图像的电子图像捕获设备，包括图像传感器，其包括用彩色滤波器阵列(CFA)图案覆盖的离散光敏图像单元从而产生对应于CFA图案的传感器彩色图像数据；A/D转换器，用于从传感器彩色图像数据中产生未插值的数字CFA图像数据；处理器，用于处理未插值的数字CFA图像数据以产生插值的图像数据并形成包含未插值的CFA图像数据和插值的图像数据的TIFF图像文件；以及存储器，用于存储TIFF图像文件。
2. 如权利要求1所迷的图像捕获设备，其中插值的图像数据以JPEG 压缩比特流存储在TIFF图像文件中。
3. 如权利要求1所述的图像捕获设备，其中处理器使用至少一个 参数来执行用于产生插值的图像数椐的图像处理操作，并且TIFF图像 文件还存储至少一个参数。
4. 如权利要求3所述的图像捕获设备，其中处理器锐化插值的图 像数据，并且TIFF图像文件存储指定锐化量的参数。
5. 如权利要求3所述的图像捕获设备，其中处理器调整插值的图 像数据的白平衡，并且TIFF图像文件存储指定白平衡调整的参数。
6. 如权利要求1所述的图像捕获设备，其中TIFF图像文件还存储 定义用于图像传感器上的彩色滤波器阵列图案类型的数据。
7. 如权利要求1所述的图像捕获设备，其中处理器还产生减小尺 寸、未插值的CFA图像数据，并且TIFF文件还包含该减小尺寸未插值 的CFA图像数据。
8. —种用于存储从彩色图像捕获设备获取的图像的单个图像文件， 该设备具有用彩色滤波器阵列(CFA)图案覆盖的图像传感器从而产生 对应于CFA图案的未插值的CFA图像数据，CFA图像数据经过进一步的 处理以形成插值和压缩的图像数据，所述单个图像文件包括用于存储 未插值的CFA图像数据的第一文件区域；用于在单个图像文件中以JPEG 图像数据存储插值和压缩的图像数据的第二文件区域；以及用于存储用 于产生插值和压缩的图像数据的第一图像处理参数的第三文件区域。
9. 如权利要求8所述的单个图像文件，其中单个图像文件还包括第四文件区域，其用于存储修改的插值和压缩图像数据，以及第五文件 区域，其用于存储用于产生修改的插值和压缩图像数据的第二图像处理 参数。
10. 如权利要求8所述的单个图像文件，其中单个图像文件是TIFF 文件。
11. 如权利要求10所述的单个图像文件，其中单个图像文件是 TIFF/EP文件。
12. 如权利要求10所述的单个图像文件，其中第一文件区域是TIFF SubIFD区域。
13. —种用于捕获和处理彩色图像的方法，所述方法包括(a) 在数字图像捕获设备中，通过彩色滤波器阵列(CFA)捕获图 像单元的阵列并且产生CFA图像数据；彩色图像数据对应于CFA图案；(b) 使用存储在数字图像捕获设备中的图像处理参数处理CFA图 像数据来产生插值的图像数据；(c) 将单个图像文件存储在数字图像捕获设备的存储器中，单个 图像文件包括CFA图像数据、插值的图像数据以及图像处理参数；(d) 传送单个图像文件到第二设备；(e )确定第二设备是否能处理CFA图像数据；以及 (f )如果笫二设备能够处理CFA图像数据，就访问单个图像文件 中的CFA图像数据和图像处理参数。
14. 如权利要求13所述的方法，还包括(g) 如果第二设备不能处理CFA图像数据，访问单个图像文件中 插值的图像数据。
15. 如权利要求13所迷的方法，还包括(h) 修改图像处理参数并且使用修改的图像处理参数处理CFA图 像数据来产生修改的插值图像数据。
16. 如权利要求13所述的方法，还包括(i )将修改的图像处理参数和修改的插值图像数据存储在单个图 像文件中。
17. 如权利要求15所述的方法，还包括 (j )打印修改的插值图像数据。
18. 如权利要求13所述的方法，其中单个图像文件是符合TIFF的文件。
19. 如权利要求18所述的方法，其中插值的图像数据被存储为JPEG 压缩图像数据。
20. 如权利要求18所述的方法，其中数字图像捕获设备还产生减 小尺寸的CFA图像，并且将减小尺寸的CFA图像数据存储在单个图像文 件中。
全文摘要
一种用于捕获彩色图像的电子图像捕获设备，包括图像传感器，其包括用彩色滤波器阵列(CFA)图案覆盖的离散光感图像单元来产生对应于CFA图案的传感器彩色图像数据；A/D转换器用于从传感器彩色图像数据中产生非插值数字CFA图像数据；处理器用于处理非插值数字CFA图像数据来产生插值图像数据并形成包含非插值CFA图像数据和插值图像数据的TIFF图像；以及存储器用于存储TIFF图像文件。
文档编号H04N1/32GK101326807SQ200680046345
公开日2008年12月17日 申请日期2006年11月27日 优先权日2005年12月8日
发明者K·A·帕鲁斯基, W·E·普伦蒂塞, Y·希罗施 申请人:伊斯曼柯达公司