数字摄像机彩色图像的光谱改进的制作方法

专利名称：数字摄像机彩色图像的光谱改进的制作方法
技术领域：
本申请通常涉及彩色成像技术。特别地，本申请涉及图像的光谱含量。
背景技术：
色彩是一种心理现象，其基于光谱(光能相对于波长的分布)与眼中的光受体的 相互作用，所述光受体对特定的光谱的波长带或区域(下文中称为“光谱分量(spectral component)”)具有特定的灵敏度。基于其物理性质比如光吸收、反射、或发射光谱，色彩的 分类和色彩的物理特征也与对象、材料、光源等相关。从物理意义上来说，色彩是在电磁频谱的不同光谱分量中所测量的强度的比率。 从生理学意义上来说，在人类中，不同的光谱分量由三种不同类型的眼中的受体(即，所谓 的红、蓝、和绿色视锥)的光谱灵敏度曲线所限定。人脑处理并组合来自红、蓝、和绿色视锥 的信号以产生场景的合成的印象或图像。场景中所有的色彩被视为红、蓝和绿色视锥信号 的组合。人类所感知的色域或色移例如通过CIE 1931色度图(图5)来表示。人造彩色图像传感器(例如，彩色胶片，或者使用CXD或CMOS传感器的数字摄像 机)还感测在数量有限的不同光谱分量中的光强度。不同类型的彩色图像传感器的区别 在于，它们如何分离和测量不同的光谱分量。例如，彩色胶片可具有一组三个不同乳化层 (emulsion layer)，所述三个不同乳化层分别由光的红、绿、和蓝分量曝光。数字摄像机可 使用分层的传感器阵列，使得每个像素，像彩色胶片一样，包含对个别色彩敏感的一组传感 器(例如，由商标为i^oveon的企业所提供传感器)。更常见地，数字摄像机使用位于CMOS 或C⑶传感器顶部的空间彩色滤光片(colorfilter)阵列(例如，Bayer滤光片)，以捕获 在相应的标称像素类型中光的不同光谱分量。人造彩色图像传感器感测和收集对于从场景所接收到的每个不同的光谱分量的 强度数据。对于每个光谱分量的数据是单色的，即，其仅包括强度信息，而没有色彩信息。为 了产生场景的再现或近似彩色图像，对于不同的光谱分量的不同的强度数据被处理，被编 码成某些色彩和强度，并且被组合。彩色图像或再现至少部分为近似值，因为所收集的强度数据不包括关于从场景接 收到的光的光谱分布上的全部信息或完整信息。关于从场景接收到的光的光谱分布的强度 数据通过例如被感测的光谱分量的有限数量、对于每个光谱分量的传感器光谱灵敏度的形 状和宽度、以及对于不同光谱分量的光谱灵敏度的叠加而被限制。图3显示带有RGB彩色 滤光片的示例性CMOS传感器的红、蓝和绿光谱响应。现在考虑的是，使用关于从场景接收 到的光的光谱分布的更多信息来增加或辅助彩色图像数据的方法。发明简述提供用于修正彩色图像的光谱信息内容的系统、装置和方法。
5
一种用于修正由成像设备所获得的场景的光谱响应表示的示例性系统，其包括具 有辅助照明设备和/或数据处理电路的装置。辅助照明设备可操作来用具有光谱分布的光来照亮场景，对于该光谱分布来说， 至少有一些限定信息是可用的(例如，“已知的光谱分布”)。通过分别处理从在相应的多个场景照明下的场景所接收到的光的多组光谱分量， 数据处理电路再现场景的彩色图像，所述场景照明包括用具有已知的光谱分布的光的至少 一个照明。场景的被再现的彩色图像可能至少部分地基于从所述场景照明下的场景接收 到的光的被检测的光谱分量，成像设备的特征光谱响应函数R( λ )，以及在至少一个照明中 的光的已知光谱分布。用于改进场景的再现或彩色图像的方法可利用通过使用具有已知的光谱分布的 光来照亮场景所产生的额外的场景信息。一种涉及改进彩色图像或场景再现的示例性方法，其可在第一场景照明下获得。 该方法包括在第二场景照明中，以具有已知的光谱功率分布的光分量来照亮场景的至少 一部分；检测从这种照明下的场景所接收到的光的有限数量的光谱分量；以及根据从这种 照明下的场景所接收到的光的有限数量的光谱分量的被检测值来修正场景的再现或彩色 图像。另一个示例性的方法涉及再现场景的彩色图像。该方法包括对从包括第一和第二 场景照明的相应的多个场景照明下的场景所接收到的光的多组光谱分量的值进行处理。该 方法还包括再现场景的彩色图像，这是至少部分地基于从第一和第二场景照明下的场景 所接收到的光的光谱分量的值；被用来检测从场景接收到的光的光谱分量的成像设备的特 征光谱响应函数；以及在第二场景照明中的光的已知光谱分布。上述概要仅仅是示意性的而无意于是限制性的。除了以上所描述的示意性方面、 实施方式和特征之外，解决方案的进一步的方面、实施方式、以及特征将通过引用附图和以 下的详细描述变得更加明显。附图概述在附图中

图1是按照此处所描述的解决方案的原理、示出用于获得场景的再现或彩色图像 的示例性系统的框图；图2是按照此处所描述的解决方案的原理、可被用来照亮场景的光的示例性光谱 分布形状的示意图；图3是按照此处所描述的解决方案的原理、示出用于修正由成像设备所获得的场 景的光谱响应表示的示例性装置的框图；图4是带有RGB彩色滤光片的示例性CMOS传感器的红、绿和蓝光谱响应的图示；图5是1931 CIE色度图的再现，该1931 CIE色度图是人类视觉的色域的标准表 示；图6是按照此处所描述的解决方案的原理、示出用于改进彩色图像或场景再现的 示例性方法的流程图；图7是按照此处所描述的解决方案的原理、示出用于响应于控制信号或命令信号 来再现场景的彩色图像的示例性方法的流程图；以及
图8是按照此处所描述的解决方案的原理、示出用于调整“在使用中”的数字成像 设备的特征光谱响应函数的示例性方法的流程图。除非另有说明，在这些图中始终用相同的参考数字和符号来指示所示实施方式中 相似的特征、元件、部件或者部分。发明详述在以下详细描述中，对形成该描述的一部分的附图进行引用。在这些图中，除非下 文中另有规定，相似的符号一般指示相似的组件。在详细描述、附图和权利要求中所描述的 示意性实施方式并不意味着是限制性的。可利用其他的实施方式，并且可作出其他的改变， 而不偏离此处所提出的主题的精神或范围。如此处所使用的术语“图像”和“场景的再现”，其将被理解成分别包括但不限于参 考图像和场景再现的数据和/或信号。在上下文中，这些术语还可以指这类数据和/或信号 的显示或输出。一般地说，此处用于指的是物理的、数学的、概念的、感性的、抽象的对象或 方面(例如，光谱功率分布、光的光谱分量、光谱响应函数，等等)的任何象征性的术语，将 被理解成包括但不限于参考数据和/或信号，或者指定的对象或方面的其他有形的代表。一种用于获得第一场景照明下的场景的光谱特性的系统包括被配置成检测从场 景所接收到的光的有限数量(N)的光谱分量的成像设备，可操作来提供带有具有已知的光 谱分布的光的第二场景照明的辅助照明设备，以及用于产生指示场景的光谱功率分布响应 特征的信号的处理电路。处理电路响应于从第一和第二场景照明下的场景所接收到的光的 被检测的光谱分量，成像设备的特征光谱响应函数λ )，η = 1、. . . N，以及由辅助照明设 备所提供的光的已知光谱分布。图1显示一种示例性的系统100，其用于获得在第一场景照明下的场景180的再现 或彩色图像。第一场景照明可包括环境照明和/或由可选的人工照明单元130所提供的人 工照明。从场景接收到的光182(例如，由场景反射、传送、或发射的光)可具有表现场景特 征的光谱功率分布(SPD(A))0示例性的系统100包括成像设备110、辅助照明设备140、以及可选的控制和处理 电路(例如，控制器160和数据处理器170)。成像设备110被配置成得到经由合适的光学器件(例如，光学器件150)从场景接 收到的光182的色彩信息。成像设备110可包括图像传感器120(例如，具有像素阵列的 固态CCD或CMOS设备)，其能够感测光并且将光转换成数据和/或信号。此外，图像传感 器120可被配置成感测从场景180所接收到的光182的有限数量N个光谱分量。例如，图 像传感器120可被耦合到彩色滤光片阵列(例如，使红、绿或蓝色的光通过到达传感器中所 选择的像素的Bayer滤光片)，以形成在空间上交错的像素网格，每个像素网格都对N个光 谱分量(例如，分别对红、绿、和蓝)中相应的一个敏感。可选择地，图像传感器120中的每 个像素可包括一组感测元件，其中每个感测元件对光182的N个光谱分量中相应的一个敏 感。此外，成像设备110的实施方式可包括多个图像传感器120，每个传感器被配置成感测 光182的N个光谱分量中相应的一个。对于这个实施方式，光学器件150可包括例如二色 性棱镜(dichoric prism)布置(未显示)，以分离光182的不同光谱分量。在任何情况下， 成像设备110可具有特征光谱响应函数Ι η( λ )，n = 1、. . . N，用于感测光182的N个光谱 分量。(见例如，图4)。N个光谱分量的波长可相应于限定成像设备的色域(color gamut)的原色。在某些情况下，成像设备的分别相应于N个被检测的光谱分量的特征光谱响应函 数^^入)，!!=〗、..^中的两个或多个可能实质上是交叠的。在系统100中，成像设备110可操作地耦合到辅助照明设备140。后者可操作来 使用光142照亮第二场景照明中的场景180，其中光142具有光谱分布，对于该光谱分布至 少一些限定信息(qualifying information)(例如，波长和/或相对强度)是可用的(以 下称为“已知的光谱分布”)。例如，辅助照明设备140可提供以一个或多个波长Xk，k = 1>...K的实质上单色的光142，用于照亮场景180。单色的光例如可以是被过滤的光、衍射 光栅分离的光、或者激光。可选择地或额外地，光142可包括有其他光谱分布形状的光。图 2显示光142的示例性光谱分布，其通过使用宽带的、窄带的、和基于CIE的滤光片组(146) 形成。系统100的组件(例如，成像设备110和辅助照明设备140)的操作可以由可选的 控制电路(例如，控制器160)来控制或协调。此外，系统100中可选的处理电路(例如，数 据处理器170)可被配置成接收、存储、修正和/或处理与系统100的组件及其操作相关的 数据和/或信号，包括例如，由图像传感器120所感测的图像或场景数据，以及关于由辅助 照明设备140提供的第二场景照明的数据。控制电路和/或处理电路的元件或部分可布置 在任何系统100的组件(例如，成像设备110和辅助照明设备140)上，布置在一个或多个 外部的或远程的位置上，或者分布在系统100的组件和外部位置之间。在系统100的一个实施方式中，成像设备110被配置成感测光182的光谱分量，光 182从第一场景照明和第二场景照明下的场景180接收。此外，在这个实施方式中，处理电 路可被配置成响应于与从第一和第二场景照明下的场景180所接收到的光182的被感测的 光谱分量相对应的信号和/或数据、成像设备的特征光谱响应函数、以及由辅助照明设备 所提供的光的已知的光谱分布。处理电路可被配置成处理实时(live)成像设备数据，或者 可选择地在稍后的时间处理这类数据(例如，批量处理这类数据)。处理电路的响应例如可包括至少部分地基于在第一场景照明下的被感测光谱分 量来计算与场景180的SPD相对应的信号和/或数据；以及至少部分地基于在第二场景照 明下的被感测光谱分量中的额外光谱信息来计算与被校正或被修正的SPD相对应的信号 和/或数据。处理电路可将被计算的数据和/或信号存储、显示、或传输到其他的处理器或用 户。被计算的SPD数据和/或信号可被利用以产生场景的再现或视觉彩色图像。 关于各种场景照明，辅助照明设备140可以是可操作的，使得在第二场景照明中 的具有已知光谱分布的光被添加到第一场景照明的光。可选择地，在第二场景照明中，具有 已知光谱分布的光可代替第一场景照明的光。一般地说，系统100可被配置使得多个场景 照明中的第一个包括环境光和/或由可选的照明单元130所提供的人工光，并且辅助照明 设备140可被配置使得多个场景照明中的第一个额外地包括具有已知光谱分布的光以及 多个场景照明中的第二个仅包括具有已知光谱分布的光。 辅助照明设备140可包括任何适合数量或类型的光源(例如，固态照明(SSL)、发 光二极管(LED)、激光器、气体放电灯、白炽灯、荧光灯、高强度放电(HID)灯、气体放电灯、 弧光灯、以及燃烧灯)。合适的滤光片组合件可以被部署以形成或选择被发射光的光谱分 布，并且将光指向到场景180。光源可包括一个或多个实质上单色的光源。示例性的辅助照明设备140包括以一个或多个波长λ k，k = 1、... K发射光的一个或多个光源的阵列，其可 分别相应于一个或多个不同的色彩1 、6、8、￥、(、见..。应当注意的是，在一些方法中，两个 或多个光源可相应于给定的“色彩”。例如，在一些方法中，辅助照明可包括两个或多个绿色 光源和/或两个或多个蓝色光源，或者任何其他的光源组合。每个相应于给定色彩的光源 可以具有不同于相应于给定色彩的一个或多个其他光源的光谱分布的光谱分布。例如，两 个或多个绿色光源中的第一个可具有不同于两个或多个绿色光源中的第二个的线中心频 率(line center frequency)。相类似地，两个或多个绿色光源中的第一个可具有不同于两 个或多个绿色光源中的第二个的频率宽度或频率范围。此外，辅助照明设备140可以有选择地包括光学器件，其被配置成形辅助光，或者 朝着场景定向辅助光。示例性的辅助照明设备140包括自适应的光学器件(例如，透镜或 微透镜的阵列144)，其耦合到一个或多个光源。自适应的光学器件可被配置成将具有已知 的光谱分布的光指向到场景的至少一部分上。而且，自适应的光学器件可根据所选择的分 布(例如，空间分布)，来分布来自辅助照明设备140的辅助光。例如，在一个方法中，自适 应的光学器件可将辅助照明实质上均勻地分布在一部分视域上，或者可在一部分视域上提 供强度梯度。另外地，自适应的光学器件可以在照明上不同，例如，对控制电路和/或处理 电路作出反应。例如，在第一场景照明期间，自适应的光学器件可提供均勻的分布，并且在 第二场景照明期间，自适应的光学器件可提供非均勻的(例如，高斯式的、梯度式的、在线 一离线式的)或者相类似的照明，这响应于控制电路和/或处理电路的信号或命令。在一些方法中，自适应的光学器件可根据辅助照明的光谱含量提供不同的响应。 例如，自适应的光学器件可以在辅助照明的第一周期(例如，红光波长)期间提供辅助照明 的第一分布，并且在辅助照明的第二周期(例如，蓝光波长)期间提供辅助照明的第二分 布。在自适应的光学器件是波长选择性的情况下，辅助照明关于第一波长的分布可能不同 于辅助照明关于第二波长的分布，甚至是在共同的照明周期期间。辅助照明的不同的分布 不必限制于不同的“色”带。例如，波长选择性的光学器件可提供辅助照明关于第一绿光波 长的第一分布，以及辅助照明关于第二绿光波长的第二分布。这种窄带光学器件可包括窄 带滤光片、衍射元件、或者其他的波长选择性结构或设备。继续参考图1-3，成像设备110可被配置成检测有限数量M个光谱分量，其相应于 成像设备的色域的M个原色分量。成像设备110可包括一个或多个成像像素，每个成像像 素被配置成检测有限数量M个光谱分量中的至少一个，所述M个光谱分量相应于成像设备 的色域的M个原分量。例如，成像像素可被配置成检测三个光谱分量中的一个，所述三个 光谱分量相应于成像设备的色域的附加的红、绿、和蓝的原色分量或者减去的蓝绿、品红、 以及黄的原色分量。在图像传感器120耦合到空间彩色滤光片阵列的情况下，每个图像传感器120像 素仅感测通过滤光片阵列被经过到达该像素的特定光谱分量。对于这些情况，处理电路可 被配置成通过相邻像素数据的空间插值来计算关于像素的附加的“固有(native) ”色彩值。 出于这个目的，可运用任何合适的色彩插值算法。处理电路可进一步配置成使用通过关于 在第一场景照明下所接收到的光的N个被检测的光谱分量的像素值的空间插值所得到的 固有色彩值，以便提供在第一场景照明下的场景的固有色彩再现，并且根据在第二场景照 明下所接收到的光的被检测的光谱分量的值来进一步修正该固有色彩再现。可选择地，处理电路可被配置成修正关于在第一场景照明下所接收到的光的N个被检测的光谱分量的 像素值，这根据从第二场景照明下的场景传送的光的被检测的光谱分量的值。处理电路可 被进一步配置成计算场景的固有色彩再现，这例如基于从第一场景照明下的场景传送的光 的被检测的光谱分量的所修正的值的空间插值。对于所有的固有色彩再现的情况(例如，基于随后进行修正的插值方法，或反之 亦然)，处理电路可被进一步配置成将预定的色彩校正程序应用到固有色彩再现，以产生场 景的被校正的色彩再现。预定的色彩校正程序可基于成像设备的光学器件(例如，透镜和 滤光片)的特征。图3显示一种装置300，其用于修正由成像设备(例如，设备310)所获得的场景的 光谱响应的表示。装置300可包括辅助照明设备(例如，辅助照明设备140)和/或数据处 理电路370(例如，数据和/或信号处理器170)。装置300还可包括控制单元360，其耦合 到辅助设备和/或数据处理电路370。辅助照明设备可以是可操作的，以利用具有光谱分布 的光142照亮场景，对于其来说，至少一些限定信息是可用的(例如，“已知的光谱分布”)。控制单元360可被配置成建立由辅助照明设备所提供的不同类型的场景照明，以 及相应数量的不同组的、要由成像设备来检测的光的光谱分量，用于再现特定场景的彩色 图像。控制单元360可被配置成响应环境光强度、返回光的特征、场景距离、和/或控制信 号中的至少一个，来确定不同类型的场景照明及其顺序，用于再现特定场景的彩色图像。不 同的场景照明中的第一个可包括环境光和/或由可选的第一照明设备所提供的人工光，并 且不同的场景照明中的第二个可用具有已知的光谱分布的光来代替环境光和/或人工光， 或者可以额外地包括具有已知的光谱分布的光。一种装置，其可与成像设备一起使用以得到场景的彩色图像，或者修正场景对于 光的被检测的光谱功率分布响应，该装置包括辅助照明设备，其可操作来使用具有已知的 光谱分布的光来照亮场景。所述装置可额外地或可选择地包括处理电路，以再现场景的彩 色图像，或者产生指示场景对于光的被修正的光谱功率分布响应的信号。处理电路可对从 在相应的多个场景照明下的场景所接收到的光的多组光谱分量作出反应，所述场景照明包 括使用具有已知的光谱分布的光的至少一个照明。处理电路可再现场景的彩色图像，或者 修正场景的光谱功率分布响应，其至少部分地基于从两个不同场景照明下的场景所接收到 的光的光谱分量，所述两个不同场景照明包括使用具有已知的光谱分布的光的一个场景照 明。数据处理电路370可包括接口 380，用于接收光的被检测的光谱分量的值和来自 成像设备和辅助照明设备的其他数据和/或信号。数据处理电路370可被配置成响应于表 示辅助照明设备的数据、表示相应于由成像设备所检测的N个光谱分量的特征光谱响应函 数Ι η( λ )，n = 1、. . . N的数据、以及表示不同照明下的场景的光响应的数据，所述不同照明 中的至少一个包括具有已知的光谱分布的光，以产生指示场景的被修正的光谱响应表示的 数据和/或信号。此外，数据处理电路370可被配置成通过处理从相应的多个场景照明下的场景所 接收到的光的多组光谱分量，再现场景的彩色图像。这些组可包括至少第一组和第二组，它 们分别相应于包括具有未知的光谱分布的光和已知的光谱分布的光的第一场景照明和第 二场景照明。场景被再现的彩色图像可能至少部分地基于从第一和第二场景照明下的场景所接收到的光的被检测的光谱分量；成像设备的特征光谱响应函数R(X)；以及在第二 场景照明中的光的已知的光谱分布。此外，数据处理电路370可被配置成基于从第一场景照明下的场景所接收到的光 的被检测的光谱分量的空间插值，来计算在空间维度中场景的色彩再现(例如，固有的色 彩再现)，并且至少部分地基于与第二场景照明相对应的光的第二组光谱分量的值来修正 该再现。数据处理电路370可以被可选择地或额外地配置成至少部分地根据与第二场景 照明相对应的光的第二组光谱分量来修正与第一场景照明相对应的光的第一组光谱分量 的值，并且基于所修正的值，例如通过该所修正的值的空间插值，来计算在空间维度中场景 的色彩再现。另外，数据处理电路370可被配置成将预定的色彩校正程序应用到场景的色彩再 现(例如，固有的或被修正的再现)，以产生场景的被校正的色彩再现。预定的色彩校正程 序可基于成像设备的光学器件。数据处理电路370也可被配置成至少部分地基于从第一和第二场景照明下的场 景所接收到的光的被检测的光谱分量、成像设备的特征光谱响应函数R( λ )、以及第二场景 照明中的光的已知的光谱分布，来估算在第一场景照明中具有未知的光谱分布的光的光谱 分布；并且至少部分地基于从第一场景照明下的场景所接收到的光的被检测的光谱分量、 在第一场景照明中这种光的被估算的光谱分布、以及成像设备的特征光谱响应函数R(入)， 来进一步计算场景的色彩再现(例如，固有的色彩再现)。用于改进场景的再现或彩色图像的方法可利用关于通过使用具有已知的光谱分 布的光照亮场景产生的场景SPD的额外信息。图6-8示出示例性的方法600、700和800，其 利用关于通过使用具有已知的光谱分布的光照亮场景产生的场景SPD的额外信息来改进 彩色图像或场景再现。用于修正在第一场景照明下所得到的场景的再现或第一彩色图像的方法，其包括 检测在第二场景照明下场景对于具有已知的光谱功率分布的光的光谱响应，并且根据场景 的被检测光谱响应来修正第一彩色图像。图6显示用于改进彩色图像或场景再现的示例性方法600，所述彩色图像或场景 再现可以已经在第一场景照明下得到。第一场景照明例如可包括了具有已知的光谱功率分 布的光。彩色图像或再现可基于如由成像传感器所检测的、从场景接收到的光的有限数量 的光谱分量的值，所述成像传感器具有用于检测有限数量的光谱分量中的每一个的特征光 谱响应函数。第一场景照明可包括环境光和/或人工光。方法600包括在第二场景照明中，使用具有已知的光谱功率分布的光分量来照亮 场景的至少一部分(610)；检测从这种照明下的场景所接收到的光的有限数量的光谱分量 (620)；以及根据从这种照明下的场景所接收到的光的有限数量的光谱分量的被检测值来 修正场景的再现或彩色图像，使得场景的再现或第一彩色图像被改进(630)。被修正的图像 或场景再现可基于从第一场景照明下的场景所接收到的光的被检测的光谱分量的所修正 的值的空间插值。具有已知的光谱功率分布的光分量可包括以一个或多个波长λ k的实质上单色的 光，其中k = 1、... K。自适应的光学器件可被用来将光分量指向到场景的一部分上，该部分例如可能相应于成像设备的一个或多个像素。方法600可包括将具有已知的光谱功率分布的光分量添加到第一场景照明或者 其他场景照明，在第一场景照明下已得到未被修正的彩色图像。方法600还可包括在第三或更多照明下，用具有已知的光谱功率分布的相同或其 他的光分量来照亮场景的相同的部分或其他的部分(612)；检测由在第三或更多场景照明 下的场景所传送的光的有限数量的光谱分量的值(620)；以及根据从一个或多个这种照明 下的场景所接收到的光的有限数量的光谱分量的被检测值来修正场景的再现或彩色图像 (630)。场景照明的数量和顺序可以被预先确定，或者在方法600中建立，这基于对例如彩 色图像质量以及光源、成像装置和计算资源的可用性的考虑。例如通过考虑被迭代地修正 的彩色图像的质量，照明的数量和顺序可被迭代地确定。图6显示在方法600中可选的过 程602，用于建立不同类型的场景照明、场景照明的顺序、以及要由成像设备检测的光的相 应数量的不同组光谱分量，用于再现特定场景的被改进的彩色图像。该过程可包括响应于 环境光强度、返回光特征、场景距离、成像设备的光学器件、或者控制信号中的至少一个来 建立不同类型的场景照明。方法600还可包括将预定的色彩校正程序应用到场景的再现或被修正的彩色图 像，以产生场景的被校正的彩色再现。预定的彩色校正程序可基于对成像设备的光学器件 的考虑。此外，方法600还可包括将由成像设备检测的光的光谱分量的值传送至数据处理 设备，并且在该数据处理设备处处理光的光谱分量的值以生成场景的再现或被改进的彩色 图像。该处理可包括处理实时成像设备数据，或者在稍后的时间处理这种数据(例如，批量 处理这种数据)。该数据处理设备可以在成像设备处或者在远程位置处。用于响应于控制信号或命令信号来再现场景的彩色图像的方法，其可包括处理从 在相应的多个场景照明下的场景所接收到的光的多组光谱分量，并且至少部分地基于从两 个场景照明下的场景所接收到的光的光谱分量来再现场景的彩色图像，所述两个场景照明 中的至少一个包括具有已知的光谱分布的光。图7显示用于再现场景的彩色图像的示例性 方法700。方法700包括响应于控制信号来处理从相应的多个场景照明下的场景所接收到 的光的多组光谱分量的值(710)。控制信号可响应于环境光强度、返回光特征、成像设备的 光学器件、或成像设备到场景的距离中的至少一个来生成。多组值可包括与第一场景照明 相应的至少第一组以及与第二场景照明相应的至少第二组，该第二场景照明包括具有已知 的光谱分布的光。从场景所接收到的光的每组光谱分量的值可能已由成像设备检测到，所 述成像设备具有用于检测这种光谱分量的特征光谱响应函数。方法700还包括至少部分地基于从第一和第二场景照明下的场景所接收到的光 的被检测的光谱分量、成像设备的特征光谱响应函数、以及在第二场景照明中的光的已知 的光谱分布，来再现场景的彩色图像(720)。在方法700中，再现彩色图像(720)可包括以空间维度再现场景的第一彩色图像， 这基于从第一场景照明下的场景所接收到的光的被检测的光谱分量的空间插值。此外，再 现彩色图像(720)可包括至少根据与第二场景照明相对应的光的第二组光谱分量的值来 修正与第一场景照明相对应的光的第一组光谱分量的值，和/或基于从第一场景照明下的场景所接收到的光的被检测的光谱分量的所修正的值来计算场景的固有的彩色再现。额外地或可选择地，在方法700中，再现彩色图像(720)可包括至少部分地基于从 第一场景照明下的场景所接收到的光的被检测的光谱分量以及成像设备的特征光谱响应 函数，来估算在第一场景照明中的光的光谱分布，并且还包括至少部分地基于从第二场景 照明下的场景接收到的光的被检测的光谱分量、成像设备的特征光谱响应函数、以及第二 场景照明中的光的已知的光谱分布，来修正被估算的光谱分布。此外，方法700可包括至少 部分地基于修正的被估算的光谱分布来计算场景的固有的彩色再现。与方法600类似，方法700还包括将预定的色彩校正程序应用到彩色图像(例如， 固有的或被修正的彩色图像)以产生被校正的彩色图像。此外，与方法600中类似，在方法 700中，处理多组值(710)可能至少部分地发生在成像设备处和/或发生在关于成像设备的 远程位置处。此外，处理多组值(710)可包括处理实时成像设备数据和/或在稍后的时间 处理这种数据。用于在成像设备“正用来”成像场景的同时调整该成像设备的特征光谱响应函数 的方法，其可包括记录对于使用具有已知的光谱功率分布的光分量照亮场景的至少一部分 的成像设备的光谱响应，并且根据所记录的光谱响应来调整使用中的成像设备的特征光谱 响应函数。方法800包括，在第二场景照明中，使用具有已知的光谱功率分布的至少一个光 分量照亮场景的至少一部分(810)。具有已知的光谱功率分布的光分量可以是例如以一个 或多个波长Xk的实质上单色的光，其中k= 1、... K。第二场景照明可以先于第一场景照 明，接在第一场景照明后面，添加到第一场景照明，或者修正第一场景照明。方法800还包 括记录成像设备对于从第二场景照明下的场景所接收到的光的光谱响应(820)，以及根据 成像设备对于从第二场景照明下的场景所接收到的光的被记录的光谱响应来调整成像设 备的特征光谱响应函数(830)。在方法800中，调整成像设备的特征光谱响应函数(830)可包括根据在第二场景 照明下由成像设备所检测到的光谱分量的值，来修正在第一场景照明下由成像设备所检测 到的光谱分量的值。可选择地或额外地，调整成像设备的特征光谱响应函数(830)可包括 基于在第一场景照明下由成像设备所检测到的光谱分量的值来再现场景的第一图像，并且 至少部分地根据在第二场景照明下由成像设备所检测到的光谱分量的值来修正第一图像。与方法700类似，可以启动方法800来响应于控制信号，所述控制信号例如响应于 环境光强度、返回光特征、成像设备的光学器件、或者成像设备到场景的距离中的至少一个 被生成。此外，类似于方法600和700，方法800可被至少部分地实现在成像设备上和/或 关于成像设备的远程位置上，并且可以包括处理实时成像设备数据和/或在稍后的时间处 理这种数据。通过框图、流程图、和/或例子的使用，之前的详细描述已经阐明了设备和/或过 程的各种实施方式。在这些框图、流程图、和/或例子的范围内包含一个或多个功能和/或 操作，本领域中的技术人员将会理解的是，通过在大范围内的硬件、软件、固件、或者其几乎 任意组合，在这些框图、流程图、或例子中的每个功能和/或操作能够被独立地和/或共同 地实现。在一个实施方式中，此处所描述的主题的若干部分可以通过专用集成电路(ASIC)、 现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或者其他的集成形式来实现。然而，在
13本领域中的技术人员将认识到，此处所公开的实施方式的一些方面能够全部地或部分地作 为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为一个或多个计算机系 统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如， 作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或者作为其几乎任意组 合，在集成电路中被等效实现，并且根据本公开，本领域中的技术人员将能够很好地设计电 路和/或编写用于软件和/或固件的代码。此外，本领域中的技术人员将明白的是，此处 所描述的主题的机制能够作为程序产品以各种形式进行发布，并且无论实际被用来进行发 布的是何种特定类型的信号承载介质，此处所描述的主题的示意性实施方式都能应用。信 号承载介质的例子包括但不限于以下介质可读类型的介质，比如软盘、硬盘驱动器、光盘 (CD)、数字视频光盘(DVD)、数字磁带、计算机存储器，等等；以及传输类型的介质，比如数 字的和/或模拟的通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路(例如， 发射器、接收器、传输逻辑、接收逻辑，等等)，等等)。此外，本领域中的技术人员将认识到的是，此处所描述的设备和/或过程的至少 一部分能够被集成到图像处理系统中。本领域中的技术人员将认识到的是，一般的图像处 理系统通常包括一个或多个系统单元外壳、视频显示设备、存储器比如易失性或非易失性 的存储器、处理器比如微处理器或数字信号处理器、计算实体比如操作系统、驱动器、应用 程序、一个或多个相互作用设备(例如，触摸板、触摸屏、天线，等等)、包括反馈回路和控制 电动机(例如，用于感测透镜位置和/或速度的反馈；用于移动透镜/使透镜扭曲以给出所 需焦点的控制电动机)的控制系统。利用适合的商用部件，比如那些一般出现在数字静止 系统和/或数字运动系统中的商用部件，图像处理系统可被实现。虽然此处已公开了各个方面和实施方式，然而其他的方面和实施方式对于本领域 中的技术人员将是明显的。此处所公开的各个方面和实施方式是出于说明的目的而无意于 限制，真实范围和精神由以下权利要求指明。
权利要求
1.一种用于修正在第一场景照明下得到的场景的再现或第一彩色图像的方法，所述方 法包括在第二场景照明中，使用具有已知的光谱功率分布的光来照亮所述场景的至少一部分；检测在所述第二场景照明下所述场景对于所述具有已知的光谱功率分布的光的光谱 响应；以及根据在所述第二场景照明下所述场景对于所述具有已知的光谱功率分布的光的被检 测的光谱响应，修正所述第一彩色图像。
2.如权利要求1所述的方法，其中检测所述场景的光谱响应包括使用一设备检测光的 有限数量的光谱分量，所述设备具有分别用于检测所述有限数量的光谱分量的特征光谱响 应函数。
3.如权利要求1所述的方法，其中使用具有已知的光谱功率分布的光来照亮所述场景 的至少一部分包括使用以一个或多个波长Ak的实质上单色的光照明，其中k= U. ..K0
4.如权利要求1所述的方法，其中使用具有已知的光谱功率分布的光来照亮所述场景 的至少一部分还包括使用自适应的光学器件，以将光指向到所述场景的部分上。
5.如权利要求1所述的方法，还包括在第三或更多的场景照明中，使用具有已知的光谱功率分布的光来照亮所述场景中的 相同部分或其他部分；检测在第三或更多的场景照明下所述场景对于所述具有已知的光谱功率分布的光的 光谱响应；以及根据在第三或更多的场景照明下所述场景对于所述具有已知的光谱功率分布的光的 被检测的光谱响应，修正所述第一彩色图像。
6.如权利要求5所述的方法，还包括建立不同类型的场景照明，用于修正场景的再现 或所述第一彩色图像。
7.如权利要求6所述的方法，其中建立不同类型的场景照明包括响应于环境光强度、 返回光特征、场景距离、成像设备的光学器件、或者控制信号中的至少一个，来建立不同类 型的场景照明。
8.如权利要求1所述的方法，其中所述场景的再现或所述第一彩色图像基于从所述第 一场景照明下的所述场景接收到的光的被检测的光谱分量的空间插值，并且修正所述第一 彩色图像包括修正从所述第一场景照明下的所述场景接收到的光的所述被检测的光谱分 量的值，以及对所修正的值进行空间插值计算。
9.如权利要求8所述的方法，还包括，将预定的色彩校正程序应用到被空间插值计算 的所修正的值，其中所述预定的色彩校正程序基于成像设备的光学器件。
10.如权利要求1所述的方法，还包括将所述场景对于所述光的被检测的光谱响应传输至数据处理设备；以及在所述数据处理设备处，根据所述场景对于所述光的所述被检测的光谱响应来修正所 述第一彩色图像。
11.一种用于再现场景的彩色图像的方法，所述方法包括响应于控制信号，处理从相应的多个场景照明下的场景接收到的光的多组光谱分量，所述多组光谱分量至少包括与第一场景照明相对应的第一组光谱分量，和与使用具有已知 的光谱分布的光的第二场景照明相对应的第二组光谱分量；以及至少部分地基于从所述第一场景照明和所述第二场景照明下的所述场景接收到的光 的所述光谱分量、以及在所述第二场景照明中的光的所述已知的光谱分布，来再现所述场 景的彩色图像。
12.如权利要求11所述的方法，其中从所述场景接收到的光的每组光谱分量由成像设 备检测，所述成像设备具有用于检测这些光谱分量的特征光谱响应函数，并且其中再现所 述场景的彩色图像包括，至少部分地基于从所述第一场景照明和所述第二场景照明下的所 述场景接收到的光的所述光谱分量、在所述第二场景照明中的光的所述已知的光谱分布、 以及所述成像设备的特征光谱响应函数，来再现所述场景的彩色图像。
13.如权利要求11所述的方法，还包括，基于从所述第一场景照明下的场景接收到的 光的所述光谱分量的空间插值，来再现所述场景的第一彩色图像。
14.如权利要求11所述的方法，还包括，至少根据与所述第二场景照明相对应的光的 所述第二组光谱分量的值，来修正与所述第一场景照明相对应的光的所述第一组光谱分量 的值。
15.如权利要求14所述的方法，还包括，基于与所述第一场景照明相对应的光的所述 第一组光谱分量的所修正的值的空间插值，来计算所述场景的固有色彩再现。
16.如权利要求15所述的方法，还包括，将预定的色彩校正程序应用到所述场景的固 有色彩再现，以产生所述场景的被校正的色彩再现，其中所述预定的色彩校正程序基于成 像设备的光学器件。
17.如权利要求11所述的方法，其中再现所述场景的彩色图像包括，至少部分地基于 从所述第一场景照明下的场景接收到的光的所述光谱分量，来估算在所述第一场景照明中 的光的光谱分布。
18.如权利要求17所述的方法，还包括，至少部分地基于从所述第二场景照明下的场 景接收到的光的所述光谱分量、以及在所述第二场景照明中的光的所述已知的光谱分布， 来修正在所述第一场景照明中的光的被估算的光谱分布。
19.如权利要求18所述的方法，还包括，至少部分地基于在所述第一场景照明中的光 的所修正的被估算的光谱分布，来计算所述场景的色彩再现。
20.如权利要求11所述的方法，其中处理从所述场景接收到的光的多组光谱分量包括 至少部分地在关于成像设备的远程位置上处理所述多组，所述成像设备被用来获得从所述 场景接收到的光的所述多组光谱分量。
21.如权利要求11所述的方法，其中处理从所述场景接收到的光的多组光谱分量包括 至少部分地在成像设备上处理多组值，所述成像设备被用来获得从所述场景接收到的光的 所述多组光谱分量。
22.如权利要求11所述的方法，其中处理从所述场景接收到的光的多组光谱分量包 括，批量处理成像设备数据。
23.如权利要求11所述的方法，还包括，基于环境光强度、返回光特征、成像设备的光 学器件、或者场景距离中的至少一个，生成所述控制信号。
24.一种用于调整数字成像设备的特征光谱响应函数的方法，所述数字成像设备用来成像在第一场景照明下的场景，所述方法包括在第二场景照明中，使用具有已知的光谱功率分布的光来照亮所述场景的至少一部分；感测所述成像设备对于从所述第二场景照明下的场景接收到的光的光谱响应；以及 根据所述成像设备对于从所述第二场景照明下的场景接收到的光的所述光谱响应，来 调整所述成像设备的特征光谱响应函数。
25.如权利要求M所述的方法，其中使用具有已知的光谱功率分布的光照亮所述场景 的至少一部分包括使用以一个或多个波长Xk的实质上单色的光照亮所述场景，其中k 一
26.如权利要求M所述的方法，其中调整所述成像设备的特征光谱响应函数包括根 据在所述第二场景照明下由所述成像设备所检测到的所述光谱分量的值，来修正在所述第 一场景照明下由所述成像设备所检测到的所述光谱分量的值。
27.如权利要求M所述的方法，其中调整所述成像设备的特征光谱响应函数包括基于在所述第一场景照明下由所述成像设备所检测到的所述光谱分量的值，来再现所 述场景的第一图像；以及至少部分地根据在所述第二场景照明下由所述成像设备所检测到的所述光谱分量的 值，来修正所述第一图像。
28.如权利要求M所述的方法，其中调整所述成像设备的特征光谱响应函数包括至 少部分地在关于所述成像设备的远程位置上进行数据处理。
29.如权利要求M所述的方法，其中调整所述成像设备的特征光谱响应函数包括至 少部分地在所述成像设备上进行数据处理。
30.如权利要求M所述的方法，其中调整所述成像设备的特征光谱响应函数包括至 少部分地批量处理成像设备数据。
31.如权利要求M所述的方法，其中调整所述成像设备的特征光谱响应函数包括响 应于控制信号来调整所述特征光谱响应函数。
32.如权利要求31所述的方法，还包括，基于环境光强度、返回光特征、成像设备的光 学器件、或者场景距离中的至少一个，来生成所述控制信号。
全文摘要
提供了用于修正场景的彩色图像的系统和方法。该系统和方法包括使用具有已知的光谱功率分布的光来照亮所述场景的至少一部分，以及检测从这种照明下的场景接收到的光的有限数量的光谱分量。从场景接收到的光的光谱分量的被检测的值被用来修正所述场景的再现或彩色图像。
文档编号H04N5/76GK102144389SQ200980134899
公开日2011年8月3日 申请日期2009年7月9日 优先权日2008年7月11日
发明者克拉伦斯·特格林, 内森·P·米佛德 申请人:希尔莱特有限责任公司