具有参考发光体的白平衡的制作方法

具有参考发光体的白平衡
1.相关申请交叉引用
2.本技术要求于2019年3月13日提交的题为“高保真色彩技术”的美国临时申请no.62/818,055的优先权，该申请通过引用其整体并入本文。
技术领域
3.多种实施例涉及用于通过校正数字图像中像素的色彩值来实现高保真色彩再现的计算机程序和相关联的计算机实施技术。


背景技术：

4.发光体可以通过以开尔文(k)度数测量的色温来表征。发光体的色温是从被加热的黑体发出的光的色彩与发光体的色彩相匹配时的温度。对于基本上不模拟黑体的发光体，诸如荧光灯泡和发光二极管(led)，从被加热的黑体发出的光的色彩接近发光体色彩的温度被称为相关色温(cct)。
5.理想情况下，数字图像中的场景将由一个或多个具有相同色温的发光体照亮。然而，这种情况很少发生。相反，场景通常由具有不同色温的多个发光体照亮——这种情景被称为“混合照明”。例如，室内场景可能被头顶的照明元件，透过窗户进入的间接阳光等照亮。由于具有不同色温的不同照明条件，也可能发生这种情景。例如，虽然可能仅相隔片刻创建户外场景的一对数字图像，但如果在此期间太阳变得更加昏暗(obscured)，色温就会不同。
6.白平衡是平衡数字图像以试图将色温带回中性的过程。在高层面上，白平衡消除了不切实际的色偏，以模拟人眼在观看白色对象时的表现。这样做是为了使在人眼看来是白色的数字图像中的对象在这些数字图像中呈现(render)白色。
附图说明
7.该专利或申请包含至少一幅彩色附图。专利局将根据请求及必要费用的支付，提供带有彩色附图的本专利或申请公开文件的副本。
8.图1a描绘了多通道光源的顶视图，该多通道光源包括被配置为产生不同色彩的多色彩通道。
9.图1b描绘了多通道光源的侧视图，其示出了在一些实施例中发光体如何可以驻留在壳体内。
10.图1c描绘了包括面向后相机和被配置为照亮周围环境的多通道光源的电子设备。
11.图2描绘了发光体阵列的示例。
12.图3描绘了布置在图像传感器上方的分离机制的示例。
13.图4描绘了通信环境的示例，该通信环境包括被编程以提高图像中色彩的保真度的表征模块。
14.图5示出了包括表征模块的网络环境。
15.图6描绘了用于在部署之前校准包括多通道图像传感器和多通道光源的电子设备的过程的流程图。
16.图7描绘了用于基于在自动白平衡(awb)设置下捕获的第一图像，在固定白平衡(fwb)设置下捕获的第二图像，和一系列在fwb设置下捕获的被差别照亮的图像计算校准矩阵的过程的流程图。
17.图8描绘了在预部署校准过程(例如，通过完成图6的过程)期间采用为电子设备而产生的校准矩阵的过程的流程图。
18.图9示出了多通道光源可以如何执行一系列光照事件以差别照亮场景。
19.图10
–
16示出了为什么本文描述的用于以高保真度再现色彩的参考发光体白平衡(riwb)方法是必要的。
20.图17是示出计算系统的示例的框图，在其中可以实施本文描述的至少一些操作。
21.通过结合附图对详细描述的研究，本文描述的技术的多种特征对于本领域技术人员来说将变得更加清楚。在附图中通过示例而非限制的方式示出了实施例，其中相似的附图标记可以表示类似的元件。虽然附图出于说明的目的描绘了多种实施例，但是本领域技术人员将认识到在不脱离技术原理的情况下可以采用替代实施例。因此，虽然在附图中示出了特定实施例，但是这些技术可以进行多种修改。
具体实施方式
22.在后处理过程中手动校正白平衡不仅是一个耗时的过程，而且结果往往不一致—即使是由专业人士执行。一些专业人士倾向于更暖(warmer)的数字图像，而其他专业人士倾向于更冷(cooler)的数字图像。为了解决这些问题，现代数码相机被设计成自动执行白平衡。例如，数码相机可能具有自动白平衡(awb)设置，当选择该设置时，会使场景通过设计用于将最亮部分识别为白点的算法进行评估，然后尝试基于该参考平衡数字图像的色彩。
23.在对色彩要求严格的情况下，可以将中性(neutral)参考引入导场景以确保awb算法不会遇到问题。例如，专业摄影师/摄像师可能会携带可以被容易添加到场景中的便携式参考。便携式参考的一个示例是源自平坦的反射光谱的中性灰色的平坦表面。便携式参考的另一个示例是具有一系列对应于不同反射光谱的不同色彩的平坦表面。前者通常被称为“灰卡”，而后者通常被称为“色卡(color checker)”。无论其形式如何，便携式参考都会将已知的反射光谱引入场景中，算法可以将其用作自动白平衡的参考。
24.当场景不包括已知的反射光谱时，awb算法可以(并且经常确实)产生在色彩方面显然不正确的数字图像。例如，如果场景主要是红色，awb算法可能会将其误认为是由暖发光体引起的色偏，然后尝试通过使平均色更接近中性来进行补偿。但这会引入可能非常显著的带蓝色偏色。图10-16包括一些图像示例，在其中awb算法未能正确缩放色彩值。
25.因此，本文介绍的是用于在没有便携式参考的情况下实现高保真色彩再现的计算机程序和相关联的计算机实施技术。为了完成这一点，将一个新的参考光谱—“参考发光体光谱”—引入到要由图像传感器成像的场景中。参考发光体光谱由光谱属性已知的发光体创建。
26.如下文进一步讨论的，单个参考发光体可能不足以适当地呈现场景中的色彩。这是因为，对于任何单个发光体光谱，都有色彩同色异谱的实例，其中与具有不同反射属性的
对象相对应的像素具有与图像传感器测量的色彩值相同的色彩值。也就是说，尽管这些像素实际上不是相同的色彩，但它们对图像传感器来说看起来是一样的。因此，可以差别地引入多个参考发光体光谱以减轻色彩同色异谱的影响。
27.可以参考特定的电子设备，光源，或图像传感器来描述实施例。例如，可以在移动电话的情境中描述该技术，该移动电话包括具有几种不同色彩的led的多通道光源和具有红色，绿色，和蓝色通道的多通道图像传感器。然而，本领域技术人员将认识到，这些特征同样适用于其他类型的电子设备，光源，和图像传感器。例如，相同的特征可以通过被配置为产生不是可见光或除了可见光之外的非可见光(例如，紫外光和/或红外光)的多通道光源被采用。因此，虽然可以在具有多个“色彩通道”的光源的情境中描述实施例，但是这些特征可以被同样适用于非色彩通道(即，具有一个或多个产生非可见光的发光体的通道)。
28.还可以参考“闪光事件”来描述实施例。通常，闪光事件由电子设备执行以在捕获场景的数字图像的同时用可见光在短时间内淹没场景(flood ascene)。然而，本文描述的特征类似地适用于其他光照事件。例如，电子设备可以通过多通道光源的色彩通道进行频闪，确定每个色彩通道的效果，然后同时驱动至少一些色彩通道以产生在延长期间内淹没场景的可见光。因此，虽然可以在捕获然后处理数字图像的情境中描述实施例，但是本领域技术人员将认识到这些特征同样适用于捕获并然后处理代表视频帧的一系列数字图像。
29.可以使用专用硬件(例如，电路)，用软件和/或固件适当编程的可编程电路，或者专用硬件和可编程电路的组合来体现该技术。因此，实施例可以包括具有指令的机器可读介质，该指令在被执行时使电子设备将一系列发光体光谱引入场景，结合该系列发光体光谱捕获一系列图像，然后基于对一系列图像的分析建立在每个像素基础上的光谱信息。
30.术语
31.在本说明书中提及“一实施例”或“一个实施例”是指所描述的特征，功能，结构，或特性被包括在至少一个实施例中。此类短语的出现不一定指代相同的实施例，也不一定指代相互排斥的替代实施例。
32.除非上下文另有明确要求，否则词语“包括”(“comprise”和“comprising”)应被解释为包含性意义而非排他性或穷举性意义(即，“包括但不限于”的意义)。术语“连接”，“耦合”，或其任何变体旨在包括两个或多个元件之间的直接或间接的任何连接或耦合。连接/耦合可以是物理的，逻辑的，或其组合。例如，尽管不共享物理连接，但组件可以彼此电耦合或通信耦合。
33.术语“基于”也应被解释为包含性意义而非排他性或穷举性意义。因此，除非另有说明，否则术语“基于”旨在表示“至少部分基于”。
34.术语“模块”泛指软件组件，固件组件，和/或硬件组件。模块通常是功能组件，其可以基于指定的输入生成有用的数据或其他输出。模块可以是自包含的。计算机程序可以包括一个或多个模块。例如，计算机程序可能包括负责完成不同任务的多个模块或负责完成所有任务的单个模块。
35.当用于关于多个项目的列表时，单词“或”旨在涵盖以下所有解释：列表中的任何项目，列表中的所有项目，以及列表中项目的任何组合。
36.在本文描述的任何过程中执行的步骤顺序是示例性的。然而，除非与物理可能性相反，否则可以以多种顺序和组合来执行这些步骤。例如，可以在本文描述的过程中添加或
移除步骤。类似地，步骤可以被替换或重新排序。因此，任何过程的描述旨在是开放式的。
37.光源概述
38.图1a描绘了包括多个色彩通道以产生不同色彩的的多通道光源100的顶视图。每个色彩通道可以包括一个或多个被设计以产生基本类似色彩的光的发光体102。例如，多通道光源100可以包括被配置为产生第一色彩的单个发光体，被配置为产生第二色彩的多个发光体等。注意，为了简化的目的，可以说色彩通道具有“一个发光体”，无论色彩通道包含多少个单独的发光体。
39.发光体的一个示例是led。led是一种双极(two-lead)发光体，通常包括无机半导体材料。虽然可以在led的情境中描述实施例，但该技术同样适用于其他类型的发光体。表i包括几个led可用色彩的示例，以及相应的波长范围，和代表材料。
[0040][0041]
表i：led可用色彩的主波长所在的范围(以纳米为单位)和代表材料。
[0042]
表i中未示出的其他色彩也可以被并入到光源100中。这种色彩的示例包括青色(cyan)(490《λ《515)，黄绿色(lime)(560《λ《575)，琥珀色(amber)(580《λ《590)，和靛蓝色(indigo)(425《λ《450)。本领域技术人员将认识到，这些波长范围只是为了说明的目的而包括在内。
[0043]
如上所述，多通道光源100可以包括能够产生不同色彩的多个色彩通道。例如，光源100可以包括被配置为产生蓝光，绿光，和红光的三个单独的色彩通道。这种光源可以被
称为“rgb光源”。作为另一个示例，光源100可以包括被配置为产生蓝光，绿光，红光，以及琥珀光或白光的四个单独的色彩通道。此类光源可以被称为“rgba光源”或“rgbw光源”。作为另一示例，光源100可以包括被配置为产生蓝光，青光，黄绿光，琥珀光，和红光的五个单独的色彩通道。作为另一示例，光源100可以包括被配置为产生蓝光，青光，绿光，琥珀光，红光，紫光，和白光的七个单独的色彩通道。因此，光源100可以包括三个通道，四个通道，五个通道，七个通道等。
[0044]
虽然三通道和四通道光源在常规闪光技术上有所改进，但它们可能具有不连续(lumpy)的光谱分布或较窄的高保真范围。因此，多通道光源100通常将包括至少五个不同的色彩通道。随着色彩通道数量的增加，光质量，cct范围，超出范围的质量，和光谱采样通常也会增加。例如，具有适当选择的发光体的五通道光源可以被设计为在δuv为
±
0.002的条件下，在宽cct范围(例如，从1650k到10000k以上)传送(deliver)全光谱白光。此外，通过采用五通道光源，可以以基本连续(即，非不连续的)的方式对光谱分布进行采样。
[0045]
由于它们的低热量产生，led可以靠近在一起定位。因此，如果多通道光源的发光体102是led，则光源100可以包括包含被任意靠近在一起放置的多个裸晶(dies)的阵列。但是请注意，该放置可能会受到相邻裸晶之间“白墙(whitewall)”空间的限制。白墙空间通常在大约0.1毫米(mm)的数量级上，虽然基于光源100作为整体的想要的直径，其可以被限制(例如，不超过0.2毫米)。例如，在图2中，该阵列包括与五个不同色彩通道相关联的八个裸晶。这种阵列的大小可以被调整为适合与常规闪光技术类似的尺寸。该阵列还可以基于标准生产裸晶需要，例如，黄绿色
–
琥珀色
–
青色
–
红色
–
蓝色面积比为2
–1–1–
0.5
–
0.5。该阵列可以由一个或多个基于线性场效应晶体管(基于fet)的电流调节驱动器110驱动。在一些实施例中，每个色彩通道由对应的驱动器驱动。这些驱动器110可以被固定到被布置于发光体102下方的基板104或被嵌入在被布置于发光体102下方的基板104内。
[0046]
通过独立驱动每个色彩通道，多通道光源100可以产生不同cct的白光。例如，多通道光源100可以结合电子设备对图像的捕获发出照亮场景的闪光。电子设备的示例包括移动电话，平板电脑，数码相机(例如，单镜头反光(slr)相机，数码slr(dslr)相机，和光场相机，其也可被称为“全光相机”)等。多通道光源100产生的光可以提高在消费者摄影，生产消费者摄影，专业摄影等情境中拍摄的图像的质量。
[0047]
与传统照明技术相比，以这种方式控制多通道光源能够实现跨多种操作状态的更好的光谱控制精度/准确度。所有传统照明技术都被设计为在想要的电磁谱段中发光。然而，光(从而电磁谱段)会基于诸如温度，年龄，和亮度等因素而变化。与传统的照明技术不同，多通道光源可以被处理，使得每个通道的输出始终是已知的。使用该信息，控制器112可以通过(i)调节提供给每个通道的电流和/或(ii)调节通道的比率以补偿光谱偏移并保持电磁谱想要的段来补偿上述因素。控制器112的一个示例是中央处理单元(也被称为“处理器”)。
[0048]
在一些实施例中，多通道光源100能够通过单独驱动适当的色彩通道来产生有色光。例如，控制器112可以通过驱动单个色彩通道(例如，红色通道以产生红光)或多个色彩通道(例如，红色通道和琥珀色通道以产生橙色光)使多通道光源100产生有色光。如上所述，控制器112还可以通过同时驱动每个色彩通道使多通道光源100产生具有想要的cct的白光。特别地，控制器112可以基于色彩混合模型确定实现想要的cct所需的操作参数。操作
参数可以指定例如要提供给每个色彩通道的驱动电流。通过改变操作参数，控制器可以根据需要调整白光的cct。
[0049]
虽然发光体102被示为位于基板104上的led阵列，但其他布置也是可能的。在一些情况下，由于热约束，尺寸约束，色彩混合约束等，可以优选不同的布置。例如，多通道光源100可以包括led的圆形布置，网格布置，或集群布置。
[0050]
图1b描绘了多通道光源100的侧视图，示出了在一些实施例中发光体102如何驻留在壳体内。壳体可以包括围绕发光体102的底板(base plate)106和/或覆盖发光体102的保护表面108。虽然本文所示的保护表面108是圆顶的形式，但是本领域技术人员将认识到，其他设计是可能的。例如，保护表面108可以被替代地布置成与基板104平行。此外，保护表面108可以被设计为使得当多通道光源100被固定在电子设备内时，保护表面108的上表面与电子设备的外表面基本共面。保护基板108可以包括基本透明的材料，诸如玻璃，塑料等。
[0051]
基板104可以包括能够适当地消散由发光体102生成的热量的任何材料。可以使用非金属基板，诸如包括具有环氧树脂粘合剂(例如，fr4)的编织玻璃纤维布的非金属基板，而不是金属基板。例如，包括fr4的基板104可以更有效率地消散由多个色彩通道生成的热量，而不会经历金属基板通常遇到的阻滞(retention)问题。但是请注意，一些非金属基板不能与通常用于摄影和摄像的高功率发光体组合使用，因此基板104可以包括金属，陶瓷等。
[0052]
操作发光体102所需的处理组件可以从光源100物理分离(decoupled)。例如，处理组件可以经由穿过基板104的导线连接到发光体102。处理组件的示例包括驱动器110，控制器112，电源114(例如，电池)等。因此，处理组件不需要位于光源100内。相反，处理组件可以位于在其中安装光源100的电子设备内的其他地方。
[0053]
如下文进一步讨论的，多通道光源100被设计为与图像传感器结合操作。因此，多通道光源100可以被配置为响应于确定图像传感器已经接收到捕获场景图像的指令而发光。可以响应于接收表示捕获图像的请求的输入来创建指令。如图1c所示，图像传感器(本文是相机152)可以与多通道光源被容纳在同一电子设备内。该请求可以以沿着触敏显示器的表面的触觉输入或沿着电子设备的外部可使用的机械按钮的形式提供。
[0054]
在一些实施例中，多通道光源被设计成使得它可以被容易地安装在电子设备的壳体内。图1c描绘了包括面向后相机152和被配置为照亮周围环境的多通道光源154的电子设备150。多通道光源154可以是例如图1a
–
b的多通道光源100。面向后相机152是可以被配置为结合由光源100产生的光来捕获图像的图像传感器的一个示例。本文，电子设备150是移动电话。然而，本领域技术人员将认识到，本文描述的技术可以容易地适用于其他类型的电子设备，诸如平板电脑和数码相机。
[0055]
相机152通常是包括在电子设备150中的多个图像传感器之一。例如，电子设备100可以包括允许个人在观看显示器的同时捕获静止图像或视频的面向前相机。面向后相机和面向前相机可以并且常常是旨在用于不同用途的不同类型的图像传感器。例如，图像传感器可能能够捕获具有不同分辨率的图像。作为另一个示例，图像传感器可以与不同的光源配对(例如，面向后相机可以与比面向前相机更强的闪光灯相关联，或者面向后相机可以被放置在多通道光源附近而面向前相机被设置在单通道光源附近)。
[0056]
图2描绘了发光体202的阵列200的示例。如果发光体202是led，则可以使用标准裸
晶(也被称为“芯片”)来生产阵列200。裸晶是一小块半导体材料，二极管位于其上。通常，对应于给定色彩的二极管在单个晶圆(wafer)上被大批量生产(例如，包括电子级硅，砷化镓等)，然后将晶圆切割(“切成小块”)成许多片，每个片包括单个二极管。这些片中的每一个都可以被称为“裸晶”。
[0057]
如图2所示，阵列200包括被配置为产生不同色彩的光的多个色彩通道。本文，例如，阵列200包括五个色彩通道—蓝色，青色，黄绿色，琥珀色，和红色。每个色彩通道可以包括一个或多个发光体。本文，例如，三个色彩通道(即蓝色，黄绿色，和红色)包括多个发光体，而两个色彩通道(即青色和琥珀色)包括单个发光体。每个色彩通道中的发光体数量，以及这些发光体在阵列200内的布置，可以基于想要的输出特性而变化，诸如最大cct，最小cct，最大温度等。
[0058]
阵列200通常能够产生大于1,000流明的光，尽管一些实施例被设计成产生小于1,000流明的光(例如，在闪光事件期间为700
–
800流明)。在一些实施例中，发光体202以高度对称的方式(pattern)被安置在阵列200中以提高空间色彩均匀性。例如，当阵列200被设计为通过同时驱动多个色彩通道以产生白光时，对应于这些色彩通道的发光体可以被对称地布置以有助于有色光的混合。
[0059]
阵列200可以被设计成使得它可以被安装在电子设备(例如，图1c的电子设备150)的壳体内，作为常规闪光组件的补充或替代。例如，一些为在移动电话内的安装而设计的阵列直径小于4毫米，而其他为在移动电话内的安装而设计的阵列直径则小于3毫米。阵列200的高度也可以小于1毫米。在一些实施例中，阵列所需的总估计面积可以在安装之前小于3mm2并且在安装之后小于6mm2。这样的设计使得阵列200能够被安置在移动电话内而不需要在移动电话内大量重新安置组件。
[0060]
裸晶的紧凑阵列的一个优点是它可以在不使用准直器，漫射器，或透镜的情况下实现良好的色彩混合和足够的视场(fov)。然而，设计成确保由发光体202产生的光的适当空间色彩均匀性的准直器204(也被称为“混合管”)可以被放置在阵列200周围。在高层面上，准直器204可以促进更均匀的色彩混合和更好地控制由发光体202发射的光的fov。准直器204可以包括非柔性材料(例如，玻璃)或柔性材料(例如，硅树脂)。准直器204可以是管状体的形式。在一些实施例中，管状体的出口孔比阵列窄(例如，出口孔可以具有2.5毫米，3毫米，或3.5毫米的直径)，而在其他实施例中，管状体的出口孔比阵列宽(例如，出口孔径可以具有4.5毫米，5毫米，或5.5毫米的直径)。因此，管状体可具有倾斜的内表面，其集中或分散由发光体202产生的光。
[0061]
阵列200可以代替或附加于被配置为结合图像的捕获生成闪光的常规闪光技术。因此，电子设备(例如，图1c的电子设备150)可以包括单通道光源和/或多通道光源。
[0062]
虽然可以以led的形式来描述实施例，但是本领域技术人员将认识到可以使用代替led或者除了led之外的其他类型的发光体。例如，该技术的实施例可以采用激光，量子点(“qd”)，有机led(“oled”)，谐振腔led(“rcled”)，垂直腔表面发射激光(“vcsel”)，超辐射发光二极管(“sld”或“sled”)，磷光体层下方的蓝色“泵浦(pump)”led，上转换磷光体(phosphor)(例如，在由红外辐射激发时提供响应的微观陶瓷颗粒)，氮化物磷光体(例如，caalsin，srsin，ksif)，下转换磷光体(例如，ksf:mn4+，lialn)，磷酸铷锌，钇铝石榴石(yag)磷光体，镥铝石榴石(lag)磷光体，sialon磷光体，sion磷光体，或其任何组合。例如，
阵列200可以包括磷光体转换的色彩，诸如由蓝色led上的yag磷光体涂层产生的黄绿色。在这样的实施例中，高效率的蓝色led将光子泵送至yag磷光体涂层，所述光子几乎被完全吸收然后重新发射处在更宽的黄-绿色带中的光子。也可以这样做以产生其他色彩，诸如红色，琥珀色，绿色，青色等。作为另一个示例，多个vcsel和/或多个qd可以以给定的图案布置在基板上，使得当基板被安装在在电子设备的壳体中时，vcsel和/或qd向外发射电磁辐射。用于照亮场景的发光体的类型可能会影响光照事件的时间(schedule)。换句话说，可能需要从时序的角度来调整一些发光体。例如，基于磷光体的发光体通常表现出延迟激发和延迟去激发，因此可以以早亮，早关方式激活(例如，频闪)基于磷光体的发光体以避免重叠(即，当第二个基于磷光体的发光体被激活时，第一个基于磷光体的发光体仍在发射一些光)。
[0063]
图像传感器概述
[0064]
图像传感器是检测构成图像的信息的传感器。通常，图像传感器通过将光波的可变衰减(例如，当它们穿过或反射物体时)转换为电信号来实现这一点，电信号代表传达信息的小电流突发(bursts)。图像传感器的示例包括半导体电荷耦合器件(ccd)和互补金属氧化物半导体传感器(cmos)传感器。两种类型的图像传感器完成相同的任务，即将所捕获的光转换为电信号。但是，由于cmos传感器通常比ccd更便宜，更小，且耗电更少，因此许多电子设备使用cmos传感器进行图像捕获。
[0065]
图像传感器的分离机制也可以不同。最常见的分离机制之一是过滤器阵列，它将不同色彩的光传递到所选择的像素传感器。例如，可以通过由化学染料制成的彩色凝胶使每个单独的传感器元件对红光，绿光，或蓝光敏感。由于图像传感器基于色彩分离入射光，因此可以说它们具有多个传感器通道或多个色彩通道。因此，包括对应于不同色彩的多个传感器通道的图像传感器可被称为“多通道图像传感器”。
[0066]
图3描绘了布置在图像传感器304上方的分离机制302的示例。本文，分离机制302是拜耳滤波器阵列，其包括三种不同类型的色彩滤波器，其被设计用于基于每个像素将入射光分离成红光，绿光，或蓝光。同时，图像传感器304可以是cmos传感器。不是使用光化学胶片来捕获图像，而是将图像传感器304生成的电子信号记录到存储器中以供后续分析。
[0067]
在启动记录功能之后(例如，响应于接收表示捕获图像的请求的输入)，镜头将光通过分离机制602聚集到图像传感器604上。如图3所示，图像传感器304可以被布置成单独成像元件的网格方式。通常，图像传感器304确定入射光的强度而不是入射光的色彩。相反，通常通过使用仅允许单个色彩的光进入每个成像元件的分离机制302来决定色彩。例如，拜耳滤波器阵列包括三种不同类型的色彩滤波器，其可用于将入射光分离成三种不同的色彩(即红色，绿色，和蓝色)，然后将这些不同色彩平均在成像元件的2
×
2布置中。给定图像中的每一个都可以与成像元件的这种布置相关联。因此，可以为每个像素分配单独的红光，绿光，和蓝光值。另一种色彩识别方法采用单独的图像传感器，每个传感器专用于(dedicated)捕获图像的一部分(例如，单个色彩)，并且可以组合结果以生成全色彩图像。
[0068]
表征模块概述
[0069]
图4描绘了包括表征模块402的通信环境400的示例，该表征模块402被编程以提高图像中色彩的保真度。术语“模块”泛指软件组件，固件组件，和/或硬件组件。因此，下面描述的过程的方面可以在软件，固件，和/或硬件中实施。例如，这些过程可以由在包括多通道
图像传感器和多通道光源的电子设备(例如，移动电话)上执行的软件程序(例如，移动应用)来执行，或者这些过程可以由作为多通道图像传感器一部分的集成电路执行。
[0070]
如图4所示，表征模块402可以从不同来源获得数据。本文，例如，表征模块402获得由多通道图像传感器408(例如，图1c的相机152)生成的第一数据404和由多通道光源410(例如，图1c的光源154)生成的第二数据406。第一数据404可以在每个像素的基础上为每个传感器通道指定适当的值。例如，如果多通道图像传感器408包括三个传感器通道(例如，红色，绿色，和蓝色)，那么每个像素将与至少三个不同的值(例如，红色值，绿色值，和蓝色值)相关联。第二数据406可以指定多通道光源410的每个通道的特性。例如，第二数据406可以指定在光照事件(也被称为“照明事件”)期间每个色彩通道的驱动电流，每个色彩通道的主波长，每个色彩通道的照度分布等。
[0071]
在一些实施例中，多通道图像传感器408和多通道光源410被容纳在同一电子设备内。在其他实施例中，多通道图像传感器408和多通道光源410位于单独的壳体内。例如，在专业摄影或摄像的情境下，多个多通道图像传感器和多个多通道光源可以以多种布置方式被安置以捕获/照亮场景的不同部分。
[0072]
图5示出了包括表征模块502的网络环境500。个人可以经由界面504与表征模块502交互。如下文进一步讨论的，表征模块502可以负责提高由多通道图像传感器生成的图像中色彩的保真度。表征模块502还可以负责创建和/或支持界面，通过界面个人可以查看改进的图像，启动后处理操作，管理偏好等。
[0073]
表征模块502可以驻留在如图5所示的网络环境500中。因此，表征模块502可以被连接到一个或多个网络506a
–
b。网络506a
–
b可以包括个域网(pan)，局域网(lan)，广域网(wan)，城域网(man)，蜂窝网络，因特网等。附加地或替代地，表征模块502可以通过短程通信协议，诸如或近场通信(nfc)，通信地耦合到电子设备。
[0074]
在一些实施例中，表征模块502驻留在与多通道图像传感器和多通道光源相同的电子设备上。例如，表征模块502可以是移动应用的一部分，通过该移动应用可以操作移动电话的多通道图像传感器。在其他实施例中，表征模块502跨网络通信耦合到多通道图像传感器和/或多通道光源。例如，表征模块502可以由驻留在计算机服务器上的网络可访问平台(也被称为“云平台”)执行。
[0075]
界面504优选地可经由网络浏览器，桌面应用，移动应用，或过顶(ott)应用访问。因此，可以在移动电话，平板计算机，个人计算机，游戏机，音乐播放器，可穿戴电子设备(例如，手表或健身配件(accessory))，网络连接的(“智能”)电子设备，(例如，电视或家庭助理设备)，虚拟/增强现实系统(例如，头戴式显示器)，或一些其他电子设备上查看界面504。
[0076]
表征模块502的一些实施例是本地托管(hosted)的。即，表征模块502可以与多通道图像传感器或多通道光源驻留在同一电子设备上。例如，表征模块502可以是移动应用的一部分，通过该移动应用可以操作移动电话的多通道图像传感器。
[0077]
表征模块502的其他实施例由亚马逊网络服务(amazon web services)谷歌云平台(google cloud platform)
tm
，微软或类似技术操作的云计算服务执行。在这样的实施例中，表征模块502可以驻留在被通信地耦合到一个或多个内容计算机服务器508的主机计算机服务器上。内容计算机服务器508可以包括色彩混合模型，用于诸如启发法和算法的后处理所需的项目，以及其他资产。
[0078]
虽然可以在网络连接的电子设备的情境中描述实施例，但是表征模块502不需要必须能够经由网络连续访问(accessible)。例如，电子设备可以被配置为执行自包含计算机程序，该程序仅在完成预部署配置过程时访问网络
–
可访问平台。在这样的实施例中，自包含计算机程序可以在单个时间点从网络
–
可访问平台下载信息或将信息上传到网络
–
可访问平台。在部署电子设备之后(例如，在电子设备已被打包出售之后)，自包含计算机程序可能不与网络
–
可访问平台通信。
[0079]
具有参考发光体光谱的白平衡
[0080]
现代数码相机已被设计用于在生成图像时自动执行白平衡。例如，电子设备可以具有awb设置，当选择该设置时，使场景通过被设计以将最亮部分识别为白点的算法进行评估，然后尝试基于该参考平衡数字图像的色彩。当已知反射光谱被包含在可用作参考的场景中时，这种方法在生成高保真色彩方面往往相当有效。例如，专业摄影师/摄像师通常会往场景中添加灰卡或色卡，作为awb算法的参考。
[0081]
当场景不包括已知的反射光谱时，awb算法可以(并且经常会)产生色彩显然不正确的数字图像。例如，如果场景主要是红色，awb算法可能会将其误认为是由暖发光体引起的色偏(color cast)，然后尝试通过使平均色彩更接近中性来进行补偿。但这将创建一个蓝色的色偏，这可能是相当明显的。
[0082]
由于添加已知的反射光谱在许多情景下并不实用，因此有必要采用更好的方法以产生高保真色彩的图像。本文介绍在没有任何已知反射光谱的情况下用于实现高保真色彩再现的计算机程序和相关联的计算机实施技术。也就是说，高保真色彩再现可以在没有便携式参考的情况下实现，诸如灰卡和色卡。为了实现这一点，一种新的参考光谱—“参考发光体光谱”—被引入场景中，以由图像传感器成像。参考发光体光谱由光谱属性已知的多通道光源产生。
[0083]
图6描绘了用于在部署之前校准包括多通道图像传感器和多通道光源的电子设备的过程600的流程图。过程600可由电子设备的制造商在将其包装以供销售之前启动。
[0084]
最初，制造商选择包括至少一个已知反射光谱的场景(步骤601)。通常，制造商通过选择和/或创建包括一个或多个便携式参考的场景来实现这一点。便携式参考的一个示例是源自平坦的反射光谱的中性灰色的平坦表面——被称为“灰卡”。便携式参考的另一个示例是具有一系列对应于不同反射光谱的不同色彩的平坦表面——被称为“色卡”。通常，制造商选择场景使得包括多种不同的反射光谱。这些不同的反射光谱可以由单个便携式参考(例如，色卡)或多个便携式参考(例如，色卡和灰卡)提供。
[0085]
然后，一组场景的图像被快速连续地捕获。例如，电子设备可以在自动白平衡(awb)设置下在第一曝光间隔内捕获场景的第一图像(步骤602)并且在固定白平衡(fwb)设置下在第二曝光间隔内捕获场景的第二图像(步骤603)。第一图像和第二图像都不是结合由多通道光源执行的光照事件拍摄的。换句话说，第一和第二图像是结合相同的环境光但不同的白平衡设置来捕获的。通常，电子设备默认采用awb设置以自动校正色偏(color casts)。同时，fwb设置可以是自定义白平衡，也可以是由电子设备提供的对应不同色温的预设白平衡之一。预设白平衡的示例包括钨丝灯，荧光灯，日光，闪光灯，阴天，和阴影。通常，第一曝光间隔不同于第二曝光间隔。例如，第二曝光间隔可以是第一曝光间隔的10％，20％，30％，或50％。
[0086]
电子设备还可以在fwb设置下捕获场景的一系列被差别照亮的图像(步骤604)。也就是说，电子设备可以结合一系列不同的发光体光谱来捕获一系列图像。如以下关于图9进一步讨论的，可以通过针对多通道光源的每个色彩通道来产生一系列不同的发光体光谱，从而产生一系列闪光，所有色彩通道被照亮而其中单个色彩通道的强度更高。因此，被差别照亮的图像的数量可以对应于多通道光源具有的色彩通道的数量。
[0087]
此后，表征模块可以基于对该组图像(即第一图像，第二图像，和一系列被差别照亮的图像)的分析来计算校准矩阵(步骤605)。如以下关于图7进一步讨论的，校准矩阵中的每个条目可以包括从该组图像中的对应像素计算的系数向量。然后表征模块可以将校准矩阵存储在电子设备可访问的存储器中(步骤606)。通常，校准矩阵存储在电子设备的本地存储器中，以便在以后的成像操作中更快地回调。然而，校准矩阵可以存储在电子设备经由网络，代替或者除了本地存储器之外可访问的远程存储器中。
[0088]
图7描绘了用于基于在awb设置下捕获的第一图像，在fwb设置下捕获的第二图像，和在fwb设置下捕获的一系列被差别照亮的图像计算校准矩阵的过程700的流程图。在高层级上，表征模块可以为每个像素生成一个减去环境(ambient-subtracted)的色度指纹(或简称为“色度指纹”)，其可用于填充校准矩阵中的对应条目。
[0089]
最初，表征模块可以通过从一系列被差别照亮的图像的每个中的每个像素的红色，绿色，和蓝色值减去第二图像中对应像素的红色，绿色，和蓝色值来创建一系列被更改的图像(步骤701)。这将导致被更改的图像，其中每个像素的红色，绿色，和蓝色通道都减少了未被照亮的第二图像中的量。
[0090]
然后，表征模块将一系列被更改的图像转换成cielab色彩空间，使得每个像素由一系列a*值和一系列b*值表示(步骤702)。在cielab色彩空间(也被称为“cie l*a*b*色彩空间”或“lab色彩空间”)中，色彩被表示为三个值：l*表示从黑色(0)到白色(11)的亮度，a*从绿色(-)到红色(+)，b*从蓝色(-)到黄色(+)。色度指纹包含这些a*和b*值。例如，假设多通道光源包括五个色彩通道。在这种情景下，一系列被更改的图像将包括五个图像，每个像素的色度指纹(f)可以用向量形式表示如下：
[0091]
f＝[a
*1b*1a*2b*2a*3b*3a*4b*4a*5b*5
],
[0092]
其中每个值对(a
*ib*i
)与其中一张被更改的图像中的对应像素相关联。类似地，表征模块可以将第一图像转换成cielab色彩空间，使得每个像素表示为参考a*值和参考b*值(步骤703)。表示基本事实(ground truth)答案的参考a*和b*值可以用向量形式表示如下：
[0093]
[a
*rb*r
]。
[0094]
对于每个像素，表征模块可以形成一个用于a*和b*的线性方程组，具有系数向量(c)，如下所示：
[0095]c·
[a
*1b*1a*2b*2a*3b*3a*4b*4a*5b*5
]
xy
＝a
*r,xy
[0096]c·
[a
*1b*1a*2b*2a*3b*3a*4b*4a*5b*5
]
xy
＝b
*r,xy
[0097]
其中c＝[c
1 c
2 c
3 c
4 c5]且xy是像素的坐标。因此，第一图像中给定像素的色彩值被定义为系数向量与从一系列被更改的图像中确定的该像素的色度指纹之间的点积。在高层面上，每个线性方程组表示(i)基于用于给定像素的参考a*值和用于给定像素的一系列a*值的第一线性方程(步骤704)和(ii)基于用于给定像素的参考b*值和用于给定像素的一系列b*值的第二线性方程(步骤705)。
[0098]
此后，表征模块可以针对每个像素执行线性方程组最小二乘优化以产生系数向量(步骤706)。换言之，表征模块可以执行最小二乘优化以建立系数。然后，表征模块可以用系数向量填充表示校准矩阵的数据结构(步骤707)。校准矩阵中的每个条目可以包括为对应像素建立的系数向量。
[0099]
图8描绘了用于在预部署校准过程(例如，通过完成图6的过程600)期间采用为电子设备产生的校准矩阵的过程800的流程图。通过采用校准矩阵，电子设备可以实现高保真色彩再现，而无需便携式参考在场景中。
[0100]
最初，一组场景的图像被快速连续地捕获。例如，电子设备可以在awb设置下在第一曝光间隔内捕获场景的第一图像(步骤801)并且在fwb设置下在第二曝光间隔内捕获场景的第二图像(步骤802)。第一图像和第二图像都不是结合由多通道光源执行的光照事件拍摄的。通常，第一曝光间隔不同于第二曝光间隔。例如，第二曝光间隔可以是第一曝光间隔的10％，20％，30％，或50％。电子设备还可以在fwb设置下捕获场景的一系列被差别照亮的图像(步骤803)。也就是说，电子设备可以结合一系列不同的发光体光谱来捕获一系列图像。如以下关于图9进一步讨论的，可以通过针对多通道光源的每个色彩通道来产生一系列不同的发光体光谱，从而产生一系列闪光，其中所有色彩通道被照亮而单个色彩通道的强度更高。因此，被差别照亮的图像的数量可以对应于多通道光源具有的色彩通道的数量。
[0101]
表征模块然后可以通过从一系列被差别照亮的图像的每个中的对应像素的红色，绿色，和蓝色值中减去第二图像中的每个像素的红色，绿色，和蓝色值来创建一系列被更改的图像(步骤804)。这将导致被更改的图像，其中每个像素红色，绿色，和蓝色通道都减少了未被照亮的第二图像中的量。然后，表征模块可以基于一系列被更改的图像为每个像素生成色度指纹(步骤805)。图8的步骤805基本上类似于图7的步骤702。这些色度指纹可以乘以校准矩阵以获得每个像素的校准后a*值和校准后b*值(步骤806)。更具体地，可以将每个色度指纹乘以校准矩阵中的对应条目以获得校准后a*和b*值。通常，校准矩阵存储在电子设备的本地存储器中。然而，可以从电子设备跨网络连接到的远程存储器中获得校准矩阵。
[0102]
此后，表征模块可以将第一图像转换到cielab色彩空间，使得每个像素被表示为l*值，a*值，和b*值(步骤807)。然而，不是使用这些a*和b*值，而是表征模块可以通过用在步骤806中获得的校准后a*和b*值替换它们来产生校准后的图像。这个校准后的图像可以使用来自第一图像的l*值和源自一系列被更改的图像的校准后a*和b*值来表示色彩。
[0103]
除非与物理可能性相反，可以设想上述步骤可以以多种顺序和组合来执行。例如，可以对多组图像执行图6的过程600的多个实例。在一些实施例中还可以包括其他步骤。例如，电子设备可以在界面上显示校准后的图像以供查看。电子设备可以在第一图像附近显示校准后的图像，以便个人能够查看差异，或者电子设备可以使个人能够交替校准后图像和第一图像。
[0104]
图9示出了多通道光源(或简称为“光源”)可以如何执行一系列光照事件以差别照亮场景。差别光照可能是关于图6描述的校准过程和关于图8描述的优化过程的关键。
[0105]
例如，假设光源包括产生五个不同发光体光谱的五个不同色彩通道。每个色彩通道可以分别用电流驱动。更具体地，每个色彩通道可以在关闭状态(例如，其中输出水平为0)和全强度状态(例如，其中输出水平为255)之间的多个中间状态下。例如，全强度状态可以对应于大约一安培的输出电流，而每个中间状态可以对应于一安培的一些部分。
[0106]
为了生成不同的发光体光谱，可以改变不同色彩通道的驱动电流。图9包括与对应的复合发光体光谱一起显示的通道光谱的五种不同组合的示例。本文，每个复合发光体光谱是通过以100的输出水平驱动四个色彩通道和以150的输出水平驱动一个色彩通道来产生的。然而，本领域技术人员将认识到，提供这些数字仅仅是为了说明。通常，只要一个输出水平高于其他输出水平，输出水平本身并不重要，尽管可能想要用足够的电流驱动所有色彩通道以产生白光。从图9中可以看出，每个复合发光体光谱具有不同的光谱功率分布(spd)。
[0107]
需要高保真色彩再现的证据
[0108]
图10
–
16示出了为什么本文所述的用于以高保真度再现色彩的参考发光体白平衡(riwb)方法是必要的。在每幅图中，左上角的第一幅图像是在awb设置下在没有已知反射光谱下拍摄的场景，而右上角的第二幅图像是在awb设置下具有已知反射光谱(本文为，由色卡提供)下拍摄的的同一场景。在高层面上，第二幅图像可以被认为是第一幅图像实际应该是什么样子的“基本事实”。
[0109]
在这些图像下方，有两行。第一行包括每个图像的分段部分内像素的平均色彩的比较，第二行在视觉上包括在亮度缩放操作之后这些像素的平均色彩的比较。这些平均色彩值提供了第一幅图像中的像素与第二幅图像的对应程度的表示。请注意，这些平均色彩值可能相差很远。事实上，这些平均色彩值在大多数情况下很容易相互区分，如对应于色彩误差的delta e(de)值所表示。许多这些delta e值超过5.0，这意味着第一幅和第二幅图像之间的视觉差异应该(并且是)非常明显。通过采用本文所述的riwb方法，可以实现小于1.0的delta e值。在大多数情况下，delta e值小于1.0的一对色彩在视觉上无法区分。
[0110]
除了分段部分被调整为具有相同的亮度之外，第二行在很大程度上与第一行相同。即，分段部分中的像素被缩放以在cielab色彩空间中具有相同的l*值。这样做是因为，当进行已知反射光谱与未知反射光谱的比较时，色卡的引入可能会影响曝光，从而导致第二图像更亮或更暗。从第二行可以看出，尽管已使第一和第二图像的分段部分之间的亮度水平相等(即，通过使这些图像中较暗的部分变亮和/或使这些图像中较亮的部分变暗)，色彩仍然明显偏离。
[0111]
计算系统
[0112]
图17是示出计算系统1700的示例的框图，其中可以实施本文描述的至少一些操作。例如，计算系统1700的一些组件可以是包括多通道光源和/或多通道图像传感器的电子设备(例如，图1的电子设备150)的一部分。
[0113]
计算系统1700可以包括一个或多个中央处理单元(也被称为“处理器”)1702，主存储器1706，非易失性存储器1710，网络适配器1712(例如，网络接口)，视频显示器1718，输入/输出设备1720，控制设备1722(例如，键盘和指点设备)，包括存储介质1726的驱动单元1724，和被通信连接到总线1716的信号生成设备1730。总线1716被示为表示由适当的网桥，适配器，或控制器连接的一个或多个物理总线，和/或点对点连接的抽象。因此，总线1716可以包括系统总线，外围组件互连(pci)总线或pci-express总线，hypertransport或工业标准架构(isa)总线，小型计算机系统接口(scsi)总线，通用串行总线(usb)，iic(i2c)总线，或电气和电子工程师协会(ieee)标准1394总线(也被称为“火线”)。
[0114]
计算系统1700可以共享与个人计算机，平板计算机，移动电话，游戏机，音乐播放
器，可穿戴电子设备(例如手表或健身追踪器)，网络连接(“智能”)设备(例如，电视或家庭助理设备)，虚拟/增强现实系统(例如，头戴式显示器)，或能够执行由计算系统1700采取的指定动作的一组指令(顺序或其他)的其他电子设备类似的计算机处理器架构。
[0115]
虽然主存储器1706，非易失性存储器1710，和存储介质1726(也被称为“机器可读介质”)被示为单个介质，但术语“机器可读介质”和“存储介质”应该被认为包括存储一组或多组指令1728的单个介质或多个介质(例如，集中式/分布式数据库和/或相关联的缓存和服务器)。术语“机器可读介质”和“存储介质”还应理解为包括能够存储，编码，或携带一组由计算系统1700执行的指令的任何介质。
[0116]
一般而言，为了实施本技术的实施例而执行的例程可以被实施为操作系统或特定应用，组件，程序，对象，模块，或指令序列(统称为“计算机程序”)的一部分。计算机程序通常包括在计算设备中的多种存储器和存储设备中的多种时间设置的一个或多个指令(例如，指令1704，1708，1728)。当由一个或多个处理器1702读取和执行时，指令使计算系统1700执行操作以执行涉及本技术的多个方面的元素。
[0117]
此外，虽然已经在全功能计算设备的情境中描述了实施例，但是本领域技术人员将理解，多种实施例能够作为程序产品以多种形式被分布。无论用于实际实现分部的机器或计算机可读介质的特定类型如何，本技术都适用。
[0118]
机器可读存储介质，机器可读介质，或计算机可读介质的其他示例包括可记录类型介质，诸如易失性和非易失性存储设备1710，软盘和其他可移动磁盘，硬盘驱动器，光盘(例如，光盘只读存储器(cd-roms)，数字多功能磁盘(dvd))，和诸如数字和模拟通信链路的传输类型的介质。
[0119]
网络适配器1712使计算系统1700能够通过由计算系统1700和外部实体所支持的任何通信协议将网络1714中的数据与计算系统1700外部的实体进行中介(mediate)。网络适配器1712可以包括网络适配器卡，无线网络接口卡，路由器，接入点，无线路由器，交换机，多层交换机，协议转换器，网关，网桥，网桥路由器，集线器，数字媒体接收器，和/或中继器。
[0120]
网络适配器1712可以包括控制和/或管理访问/代理计算机网络中的数据的许可并跟踪不同机器和/或应用之间的不同信任级别的防火墙。防火墙可以是具有硬件和/或软件组件的任意组合的任意数量的模块，这些硬件和/或软件能够在一组特定的机器和应用，机器和机器，和/或应用和应用之间强制执行一组预定的访问权限(例如，规范这些实体之间的流量和资源共享)。防火墙可以另外管理和/或对访问控制列表有访问权，该访问控制列表详述了许可包括个人，机器，和/或应用对对象的访问和操作权限以及该许可权限所处的环境。
[0121]
本文介绍的技术可以通过可编程电路(例如，一个或多个微处理器)，软件和/或固件，专用硬连线(即，不可编程)电路，或这些形式的组合来实施。专用电路可以采用一种或多种专用集成电路(asic)，可编程逻辑器件(pld)，现场可编程门阵列(fpga)等形式。
[0122]
备注
[0123]
为了说明和描述的目的，提供了所要求保护的主题的多种实施例的前述描述。并不旨在穷举或将要求保护的主题限制为所公开的精确形式。许多修改和改变对于本领域技术人员来说将是显然的。选择和描述实施例是为了最好地描述本技术的原理及其实际应
用，从而使相关领域的技术人员能够理解所要求保护的主题，多种实施例，以及适合特定用途包括的多种修改。
[0124]
尽管详细说明描述了某些实施例和所包括的最佳模式，但是无论详细说明显得多么详细，都可以以多种方式实践该技术。实施例在它们的实施细节上可以有很大的不同，然而仍然被说明书所涵盖。在描述多种实施例的某些特征或方面时使用的特定术语不应被理解为暗示该术语在本文中被重新定义以限于与该术语相关联的技术的任何特定特性，特征，或方面。通常，以下权利要求中使用的术语不应被解释为将技术限制于说明书中公开的特定实施例，除非这些术语在本文中有明确定义。因此，本技术的实际范围不仅涵盖所公开的实施例，还包括实践或实施实施例的所有等效方式。
[0125]
说明书中使用的语言主要是为了可读性和指导目的而选择的。它可能未被选择来描写或限定主题。因此，本技术的范围旨在不受本详细说明的限制，而是由基于本文的申请提出的任何权利要求限制。因此，多种实施例的公开旨在说明而非限制如以下权利要求中阐述的技术范围。