专利名称：采用与光源相关的色彩校正矩阵进行色彩校正的图像传感器装置及方法
技术领域：
一般而言，本发明涉及在图像传感器设备中的色彩校正；更具体而言，本发明涉及 一种采用与光源相关的色彩校正矩阵进行色彩校正的图像传感器装置及方法。
背景技术：
图像传感器是捕捉和处理光信号为电信号、以形成静态图像或视频的半导体设 备。图像传感器在各种消费、工业及科学研究等应用场合的使用已经十分普遍，包括数码 相机、数码摄像机、手持电话设备、网络摄像头、医疗应用、汽车应用、游戏和玩具、安全及监 测、图像识别以及汽车检查等等。制造图像传感器的技术也在快速前进。目前，主要有两种类型的图像传感器电荷耦合器件(CXD)传感器与互补型金 属氧化物半导体(CMOS)传感器。在此两类任何一类的图像传感器中，收集光的光感元件 (photosite)是以二维像素阵列的形式形成并排列于半导体基板(substrate)上。光感元 件，一般被称为成像元件或像素，其将入射光线转换成电荷。像素的数量、大小及空间决定 了传感器所产生图像的分辨率。现代图像传感器的像素阵列一般包含数以百万计的像素，以提供高分辨率的图 像。每一像素所捕捉的图像信息，如在红、绿、蓝(RGB)色空间中的原始像素数据，被传送至 图像信号处理器(ISP)或其它数字信号处理器(DSP)进行处理，以产生数字图像。图像传感器所产生的数字图像的质量，主要取决于其灵敏度及许多其它因素，如 与镜头相关的因素(光斑(flare)、色差(chromatic aberration))、信号处理因素、时间及 运动因素、与半导体相关的因素(暗电流、扩散(blooming)及像素缺陷)、与系统控制相关 的因素(聚焦及曝光误差、白平衡误差)。例如，白平衡误差引起较差的色彩还原(color reproduction,或称色彩还原)，且如果不校正很容易破坏图像质量。图像传感器装置的白平衡是指调节该装置所捕捉图像的原色，如调节红色、绿色 及蓝色，使得所捕捉的图像对于该设备呈现白色，对人类视觉系统(HVS)也呈现白色。由图 像传感器装置和人类视觉系统所感觉到的色彩差异，是由许多可见光源及他们不同的色温 引起的。尽管人类视觉系统已经熟练适应照射场景的不同光源(通常称其场景光源)，图像 传感器却不能在所有色温中准确地捕捉色彩。例如，图像传感器在家用灯泡光下捕捉的白 纸会轻微泛红，或者在日光下捕捉的白纸会泛蓝。相同的白纸在不同的场景光源下，人类视 觉系统都会视为白色。为了仿效人类视觉系统，必须在图像传感器装置中进行白平衡。另外，图像传感器 还必须进行色彩校正(color correction)，以增强色彩还原的准确性。需要进行色彩校正 则是因为图像传感器的光谱灵敏度与人类视觉系统的色彩匹配函数不同。通过图像传感器 装置产生的RGB值还与设备相关，也就是不同装置对于相同场景产生不同的RGB响应。为了保持色彩的真实，或者教会图像传感器装置如何看到像人类视觉系统预计看 到的色彩，就要进行色彩校正，以便在与设备相关(device-d印endent)的RGB值与与设备
5无关(device-ind印endent)的值之间建立起关系。与设备无关的值在“CIE XYZ”色空间 上计算，其是基于国际照明委员会(International Commission on Illumination，CIE)标 准观察者色彩匹配函数。从与设备相关的RGB值到与设备无关的值的转换，通常是通过具有NXM色彩校正 矩阵的线性转换来达到的，其中，N对应于与设备相关的色空间的维度(如3)，M对应于与 设备无关的色空间的维度(如3)。色彩校正矩阵包括用于将与设备相关的值转换为与设备 无关的值的系数。色彩校正矩阵储存在图像传感器设备中，并应用于每一由该设备捕捉的 图像。一般地，储存在图像传感器设备中的色彩校正矩阵是针对单一假设的场景光源进 行最优化的。如果实际场景光源不同于假设光源，则色彩还原受损。在图像传感器设备上 进行准确的白平衡和色彩校正，必须已知场景光源。一般而言，有两种方法获得场景光源信 息测量场景光源的色彩及从捕捉的图像估测场景光源。不管采用哪种方法，每一场景光源 都将与一个不同的与光源相关的色彩校正矩阵相关联。一旦估测出场景光源，就可以用其对应的色彩校正矩阵进行色彩校正。使用与光 源相关的色彩校正矩阵进行色彩校正，与使用针对假设光源而最优化的单一色彩校正矩阵 相比，能够达到更高的色彩还原的准确度。尽管这种方法可以达到很好的色彩还原，但其浪费时间、计算繁重且需要巨大的 存储器。对于捕捉的每一图像都不得不进行场景光源的估测。另外，对于每一图像传感器 装置，必须产生并储存一系列光源的色彩校正矩阵。取决于所使用光源的数量，这对于图像 传感器设备来说要大大增加存储空间及计算成本。随着设备厂商急切需要降低成本且提高 图像质量，因而就需要在不耗尽设备资源的情况下，尽可能提供准确的色彩校正。因此，有必要提供一种估测场景光源的装置及方法，其用于估测与光源相关的色 彩校正矩阵，该色彩校正矩阵能够在较低的存储要求及计算要求的前提下，达到高水平的 色彩校正。
发明内容
本发明提供了一种图像传感器装置，其具有图像传感器，用于产生对应于场景光 源下之场景的像素数据。该图像传感器装置还具有存储器，用于储存对应于候选光源子集 (subset of candidate illuminant)的色彩校正信息。图像传感器装置中的色彩校正模块 根据对应于候选光源子集的色彩校正信息，获得与光源相关的色彩校正矩阵，并将该色彩 校正矩阵应用于像素数据，以产生色彩校正的数字图像。本发明一实施方式包括在图像传感器设备中进行色彩校正的方法，包括产生对 应于场景光源下之场景的像素数据；根据对应于候选光源子集的色彩校正信息，获得与光 源相关的色彩校正矩阵；对已白平衡的像素数据适用该与光源相关的色彩校正矩阵，以产 生色彩校正的数字图像。本发明的另一实施方式包括用于图像传感设备的处理器。该处理器具有白平衡程 序，其为场景光源下图像传感器设备所捕捉的像素数据，确定白平衡增益。该处理器还具有 色彩校正模块，其根据对应于候选光源子集的色彩校正信息，获取对应于场景光源的、与光 源相关的色彩校正矩阵。
下面，参考附图，通过详细的描述，以更好地理解本发明，这些附图中，相似的附图 标记表示相应的部件。其中图1显示了根据本发明一实施方式构建的图像传感器装置；图2显示了根据本发明一实施方式、在图像传感器装置中进行色彩校正的流程 图；图3显示了根据本发明一实施方式、产生对应于给定光源的色彩校正矩阵的流程 图；图4显示了根据本发明一实施方式、产生对应于给定光源的色彩校正矩阵的示意 图；图5显示了根据本发明一实施方式的对应于5种候选光源的色彩校正矩阵；图6显示了根据本发明一实施方式、对应于图5所示色彩校正矩阵的白平衡增益 的曲线图；图7显示了根据本发明一实施方式、对应于各种光源的色彩校正系数曲线图及白 平衡增益曲线图；图8显示了根据本发明一实施方式、对应于候选光源子集的色彩校正系数的插值 法；图9A-C显示了根据本发明一实施方式、对三种测试光源获取的与光源相关的色 彩校正矩阵的色彩准确度(color accuracy)性能。
具体实施例方式本发明提供了一种图像传感器装置，其采用与光源相关的色彩校正矩阵进行色彩 校正。如同一般使用情况，此处的图像传感器可以是一种半导体电路，其具有像素阵列以捕 捉光学图像并将其处理为像素数据形式的电信号。该装置还包括色彩校正模块，其用于产 生与光源相关的色彩校正矩阵、并将该矩阵应用于图像传感器所捕捉的像素数据，以输出 色彩校正的数字图像。如同一般的使用，此处的色彩校正矩阵是色彩校正系数的二维NXM矩阵，其将与 设备相关的值转变为与设备无关的值，其中，N对应于与设备相关的色空间的维度(如RGB 色空间的3)，M对应于与设备无关的色空间的维度(如RGB色空间的3或CIE XYZ色空间)。 色彩校正矩阵可以储存在图像传感器装置中，并应用于图像传感器所捕捉的每一图像，从 而产生色彩校正的数字图像。每一图像是由图像传感器在场景光源下捕捉的。如同一般的使用，此处的场景光 源可以是任何为场景提供光线的光源，如自然日光、办公环境光、家居光、街道光等等。例 如，场景光源可以包括由国际照明委员会(CIE)所公布的标准光源。普通标准光源包括光 源A(钨丝白炽灯光)、光源系列C(平均或北方天空的日光)、光源系列D(各种形式的日 光)及光源系列F (荧光)。根据本发明一实施方式，场景光源可以不被图像传感器已知。为获得好的色彩还 原，可以使用与光源相关的色彩校正矩阵。产生该与光源相关的色彩校正矩阵可以不必估测未知的场景光源。相反，在一实施方式中，该与光源相关的色彩校正矩阵是从对应于候选 光源子集的色彩校正信息中产生的。在一实施方式中，选择的色彩校正信息对应于两个明显不同的光源，如具有明显 不同色温的光源。例如，对应于候选光源子集的色彩校正信息，可以是对应于两个候选光源 的两个色彩校正矩阵及两个白平衡增益。根据本发明一实施方式，利用迭代计算的方法，产生对应于候选光源子集的色彩 校正矩阵。在迭代过程的每一步骤中，调节给定候选光源之色彩校正矩阵中的色彩系数，以 使得在候选光源下训练集所测量的色度数据与色彩校正的数据之间的色差最小。例如，训 练集可以是“棋盘”色彩(checkerboard of color)，如美国密歇根州X-Rite股份有限公司 的 GretagMacbeth ColorChecker0例如，色度测量可以是在给定候选光源下对应于训练集的CIE XYZ坐标的测量。 在每一步骤中，将正在调整重的色彩校正矩阵应用到给定候选光源下为训练集所捕捉的 像素数据上，产生色彩校正的像素数据。计算色差(color difference)，例如可以根据 CIEDE2000色差公式计算出色差。根据本发明一实施方式，识别出候选光源子集的色彩校正系数与白平衡增益之间 的线性关系。在对应于候选光源子集的色彩校正矩阵中进行插值，产生与光源相关的色彩 校正矩阵，其更详细的说明见下文。图1显示了根据本发明一实施方式构建的图像传感器装置。图像传感器装置100 包括图像传感器105，其在场景光源下如场景光源115下，捕捉场景如场景110的光学图像。 图像传感器装置100还包括存储器120，其储存对应于候选光源子集的色彩校正信息。在一实施方式中，候选光源子集可以包括至少两个明显不同的光源，例如代表荧 光日光的光源D65与代表白炽灯光的光源A。例如，储存在存储器120中的、对应于两种明 显不同光源的色彩校正信息可以包括第一候选光源(如光源D65)的第一色彩校正矩阵及 第一白平衡增益125、以及第二候选光源(如光源F2)的第二色彩校正矩阵及第二白平衡增 益 130。根据本发明一实施方式，图像传感器装置100还包括白平衡模块135及色彩校 正模块140，其中，白平衡模块用于对图像传感器105所捕捉的像素数据进行白平衡，色彩 校正模块用于对已白平衡的像素数据进行色彩校正、以产生色彩校正的数字图像，如图像 145。色彩校正模块140通过插值储存在存储器120中的色彩校正信息125-130，产生与光 源相关的色彩校正矩阵150，其更详细的说明见下文。在色彩校正模块140中的插值模块155 (interpolation module)，从在白平衡模 块135中为图像传感器105所捕捉的像素数据计算出的白平衡增益、以及从储存在存储器 120中的两个色彩校正矩阵和相应的两个白平衡增益125-130，产生与光源相关的色彩校 正矩阵150。所进行的插值可以包括线性内插、线性外推、或其它曲线拟合或统计趋势分析算法。在色彩校正子模块160中，将与光源相关的色彩校正矩阵150应用于图像传感器 105所捕捉的像素数据，以产生色彩校正的数字图像145。色彩校正子模块160在与光源相 关的色彩校正矩阵150和图像传感器105所捕捉的已白平衡的像素数据之间进行矩阵相 乘，以产生色彩校正的数字图像145。
在一实施方式中，与光源相关的色彩校正矩阵150可以是NXM色彩校正矩阵，其 中，N对应于图像传感器105所使用的与设备相关的色空间的维度(如RGB色空间的3)，M 对应于与设备无关的色空间的维度(如RGB或CIE XYZ色空间的3)。例如，由色彩校正子 模块160所进行的矩阵相乘，可以包括在3X3与光源相关的色彩校正矩阵与3XL像素数 据矩阵间的矩阵相乘，其中，L对应于图像传感器105中的像素阵列的维度。例如，L可以对 应于用于130万像素图像传感器的1280X1024像素阵列。本领域的普通技术人员可以理解的是，图像传感器装置100还可以包括去马赛克 (demosaicing)模块(未示出)，其用于从图像传感器105所捕捉的像素数据中提取出原始 (R，G，B)像素数据的。而且，还可以理解的是，与光源相关的色彩校正矩阵150可以基于对 应于两个以上候选光源的色彩校正信息而产生。使用两种候选光源，可以在没有牺牲计算 和存储资源的前提下，提供好的色彩还原。使用更多额外的候选光源，虽然可以稍微改进色 彩还原(色彩再现，color reproduction)性能，但却要付出额外的存储与计算资源。此外， 可以理解的是，与传统方法不同，可以在不必估测场景光源115的前提下，产生与光源相关 的色彩校正矩阵150。图2显示了根据本发明一实施方式、在图像传感器装置中进行色彩校正的流程 图。首先，在步骤200中，图像传感器105捕捉对应于场景光源下之场景的像素数据。然 后，在步骤205中，根据对应于候选光源子集的色彩校正信息，获得与光源相关的色彩校正 矩阵。通过插值对应于候选光源子集的色彩校正矩阵，获得与光源相关的色彩校正矩 阵，其更详细的说明见下文。候选光源子集可以包括至少两种候选光源。在一实施方式中， 选定的候选光源子集包括明显不同的候选光源，如具有明显不同的色温。最后，在步骤210中，对已白平衡的像素数据应用与光源相关的色彩校正矩阵，以 产生色彩校正的数字图像。如本领域普通技术人员理解的，这涉及到在与光源相关的色彩 校正矩阵与已白平衡的像素数据之间的矩阵相乘。还可以理解的是，通过一个简单的、而且计算与存储高效的方法，旧可以使色彩校 正的图像达到好的色彩还原。通过简单的插值、矩阵相乘、及对应于候选光源子集的色彩校 正信息的存储，如对应于两种候选光源的两个色彩校正矩阵及两个白平衡增益，就可以产 生色彩校正的图像。对应于候选光源子集的色彩校正信息可以预设并储存在存储器中，如 存储器120中。在一实施方式中，根据训练集产生对应于候选光源子集的色彩校正矩阵。训练集 是通过候选光源子集进行照射的，并由图像传感器105感应以捕捉像素数据。然后，如下所 述，用色彩校正矩阵对像素数据进行色彩校正，该色彩校正矩阵被迭代调整，以使得训练集 的色彩校正的像素数据与测量的色度数据之间的色差最小化。图3显示了根据本发明一实施方式、产生对应于候选光源的色彩校正矩阵的流程 图。首先，在步骤300中，图像传感器105捕捉在候选光源下的训练集的像素数据(如原始 RGB数据)。例如，训练集可以是“棋盘”色彩的图像，如美国密歇根州X-Rite股份有限公 司的GretagMacbethColorChecker。在步骤305中，测量“棋盘”色彩在候选光源下的色度 数据。例如，色度数据可以包括在给定候选光源下，对应于“棋盘”色彩的CIE XYZ坐标。在步骤310白平衡像素数据组后，在步骤315中，用迭代的方法，计算出对应于候选光源的色彩校正矩阵。首先，预置色彩校正矩阵。矩阵可以用任何色彩系数值进行预置， 如储存在图像传感器设备中的传统的用于与设备无关的色彩校正矩阵的色彩系数，或者已 知的对应于给定光源的色彩系数，如D65的色彩系数。然后，在迭代过程的每一步骤315中， 调整矩阵中的色彩系数，以产生色彩校正的像素数据组。也就是，将步骤310中产生的已白 平衡的像素数据组，用色彩校正矩阵相乘，产生色彩校正的像素数据组。在一实施方式中， 色彩校正矩阵可以是将像素数据转变为已色彩校正的像素数据的3X3矩阵。在步骤320中，迭代过程则由测量的CIE XYZ与色彩校正的像素数据组之间的色 差量的计算而确定。在一实施方式中，在计算色差量之前，可以将色彩校正的像素数据组转 换为CIE XYZ空间。例如，色差量可以是在测量的CIE XYZ色度数据与已色彩校正的CIE XYZ像素数据之间的加权色差量，如CIEDE2000色差公式或其它色差公式。在步骤325中进行评估，以确定在测量的CIE XYZ数据与色彩校正的CIE XYZ数 据之间计算的色差，是否已经达到最小值。如果没有，迭代过程返回到步骤315，并在此调整 色彩校正矩阵，再进行额外的迭代极端，直到计算的色差达到最小值。当达到最小值时，在 步骤330中，产生对于候选光源的最终的色彩校正矩阵。本领域的普通技术人员可以理解的是，根据图3所示的步骤可以产生针对各种候 选光源的色彩校正矩阵。然而，产生矩阵仅仅是为了选择对应于候选光源子集的色彩校正 矩阵的目的。色彩校正矩阵集将储存在图像传感器装置100的存储器120中，用于在每次 由图像传感器捕捉新图像时估测与光源相关的色彩校正矩阵。如上所述，候选光源子集包括至少两种明显不同的候选光源，如代表荧光日光的 光源D65与代表白炽灯光的光源A。可以仅仅在存储器120中储存两个色彩校正矩阵，用于 估测与光源相关的色彩校正矩阵。场景光源本身不必估测，因此在存储和计算上节省了相 当多的资源。图4显示了根据本发明一实施方式、图3所示步骤的产生对应于给定候选光源的 色彩校正矩阵的示意图。用候选光源405照射训练集400，其包括“棋盘”色彩的图像。色 度数据410如CIE XYZ数据，从训练集400中进行测量。原始像素数据由图像传感器415 获得。如上所述，由图像传感器415获得的原始像素数据必须被色彩校正，以在输出图像中 达到好的色彩还原。因此，原始像素数据首先在白平衡模块420中被白平衡，以产生已白平衡的像素 数据。已白平衡的像素数据通过预置的与光源相关的色彩校正矩阵425相乘，以产生色彩 校正的像素数据。与光源相关的色彩校正矩阵425是经迭代、直到在色彩校正的数据与测 量的色度数据之间的色差最小而产生的。在一实施方式中，在计算色差之前，在色空间转换 模块430中，色彩校正的像素数据转换为CIE XYZ色空间。在模块435中，对测量的CIE XYZ数据与色彩校正的CIE XYZ数据之间的色差进 行计算。模块435计算测量的与色彩校正的CIE XYZ数据之间的加权色差值，如CIEDE2000 值。调整与光源相关的色彩校正矩阵425，直到计算的色差最小化。本领域的普通技术人员可以理解的是，可以使用任何优选的算法确定最小色差， 如牛顿法、单纯形法(the Simplex method)、梯度下降法等等。本领域的普通技术人员可以 理解的是，优化算法的收敛，取决于与光源相关的色彩校正矩阵是如何预置的。由于最终储 存在图像传感器装置中的色彩校正矩阵被预先确定，所以算法的收敛不会影响在图像传感器装置100中的色彩校正过程。也就是，任何用于创造储存在图像传感器装置100中的色 彩校正矩阵的计算资源，在创造矩阵时仅仅使用一次。图5显示了根据本发明一实施方式，对应于5种候选光源的色彩校正矩阵。表格 500显示了根据图3-4中的步骤，对于如下光源光源A ；光源TL84 ；光源CWF ；光源D65 ；及 光源D75，获得的色彩校正矩阵。所有的色彩校正矩阵具有不同的色彩系数，进一步重申了 通过与光源相关的色彩校正矩阵进行色彩校正，以达到准确色彩还原的重要性。本领域的普通技术人员可以理解的是，在表格500中显示的色彩校正矩阵，是用 于将RGB白平衡的数据转换为RGB色彩校正数据的3X3矩阵。也可以产生其它大小的矩 阵，以在其它色空间之间进行转换，这没有偏离本发明的原则和范围。根据本发明一实施方式，在表格500中所示的色彩校正矩阵种，仅有一个子集储 存在图像传感器装置100中，并用于获取与光源相关的色彩校正矩阵。根据色彩校正矩阵 与对应于候选光源的白平衡增益之间的线性关系，通过插值色彩校正矩阵子集，获取与光 源相关的色彩校正矩阵。图6显示了根据本发明一实施方式、对应于图5所示的色彩校正矩阵的白平衡增 益的图表(曲线图，graph)。在表格600中，显示了每种候选光源的不同色温，且在图表605 中显示了它们不同的白平衡增益。如图表605所示，光源A及光源D65、D75具有的白平衡 增益之间具有最远的间隔。也就是，这些光源横跨了其它候选光源的范围，也就是其它候选 光源落在光源A及光源D65、D75之间。这些光源还可以对应于明显不同的色温，如表格500 中所示。在一实施方式中，选定光源A及光源D65作为候选光源子集，并从其中为图像传 感器装置100所捕捉的每一图像，获得与光源相关的色彩校正矩阵150。因此，对于光源A 及光源D65的色彩校正矩阵及白平衡增益可以储存在图像传感器装置100中的存储器120 中。根据候选光源子集的色彩校正矩阵及与其对应的白平衡增益之间的线性关系，获 得与光源相关的色彩校正矩阵150。图7显示了根据本发明一实施方式，对应于各种候选光 源的色彩校正系数及白平衡增益的曲线图。曲线700显示了图5-6的5种候选光源的白平 衡增益对它们用于3X3色彩矩阵第一行的色彩校正系数间的关系。类似地，曲线705显示 了图5-6的5种候选光源的白平衡增益对它们用于3X3色彩矩阵第二行的色彩校正系数 间的关系，及曲线710显示了图5-6的5种候选光源的白平衡增益对它们用于3X3色彩矩 阵第三行的色彩校正系数间的关系。所有的曲线700-710都显示出，在候选光源的白平衡增益与其色彩校正系数之间 存在明显的线性关系。由于这些候选光源跨越了可能的场景光源的很大范围，所以，未知的 场景光源所具有的色彩校正系数及白平衡增益，很可能是沿着曲线700-710所示的线。也就是，在任何时间，图像传感器装置100在未知场景光源下捕捉的图像，不需用 复杂的算法去估测场景光源，只需要沿着曲线700-710的线，进行简单的估测，就可以得到 对应于光源的色彩校正系数。这可以通过简单的插值法或其它曲线拟合法来完成，以在每 次图像传感器装置100捕捉新图像时，为与光源相关的色彩校正矩阵150获取色彩系数。图8显示了根据本发明一实施方式、对应于候选光源子集的色彩校正系数的插 值。图表800显示了根据光源A与光源D65的色彩校正系数，未知场景光源的色彩校正系数的插值。如上所述，光源A与光源D65是具有明显不同色温的不同光源。如图7所示，它 们的色彩系数是在曲线700-710中分隔最远的那些。任何其它场景光源，包括如出现在曲 线700-710中的其它候选光源之一，可能落在光源A与光源D65之间。例如，用于未知场景光源的色彩系数805-815出现在图表800中，同时落在光源A 与光源D65的色彩系数之间，大约在其中间位置。未知色彩系数可以通过插值来估测，如线 性插值。数学上，对应于未知场景光源的、用于与光源相关的色彩校正矩阵的未知色彩系数 可以通过下式估测
Munknown = ^ ^ ^mkn0w"__^ ^ 吵 χ (Md65 ~ Μα) + Ma( 1 )
{r/b)D,s-{r/b)A V,Κ )其中Munlmwn代表对于未知场景光源的与光源相关的色彩校正矩阵，Md65代表对于 光源D65的色彩校正矩阵，Ma代表对于光源A的色彩校正矩阵，(r/b)代表对于未知光源的 白平衡增益(如在图1所示在白平衡模块125中计算的)，(r/b)D65代表对于光源D65的白 平衡增益及(r/b)A代表对于光源A的白平衡增益。
通过下式代表插值线的斜率Δ M及截距Mtl: Α ,,MD6S-MA/ 、
Mf =--(2)
{r I b)D,-{r I b),M0 = Ma-(r/b) A X Δ M (3)对于未知场景光源的与光源相关色彩校正矩阵可以通过下式获得Mmknown = (r/b) mkn_ X Δ Μ+Μ0 (4)上述公式(4)显示如何对于未知场景光源不用估测，且仅仅根据候选光源子集的 色彩校正矩阵与白平衡增益，获得与光源相关的色彩校正矩阵，如矩阵150。本领域的普通 技术人员可以理解的是，与光源相关的色彩校正矩阵可以仅仅根据两种候选光源，如光源A 与光源D65，或根据任何数量的候选光源而获得。使用两种候选光源提供好的色彩还原没有 计算和存储资源的损失。使用额外的候选光源可以稍微改善色彩还原，同时花费额外的存 储和计算资源。图9A-C显示了根据本发明一实施方式，对三种测试光源获取的与光源相关的色 彩校正矩阵的色彩准确度情况。选定的测试光源是TL84、CWF及D75。每一图表显示了对 于每一测试光源的优选估测的色彩校正矩阵，除了对于光源D65的色彩校正矩阵。如上述 图3-4所述产生对于测试光源的优选色彩校正矩阵。如上所述所估测的色彩校正矩阵是通 过插值估测出来的。图表900显示了对于光源TL84的色彩准确度情况，图表905显示了对于光源CWF 的色彩准确度情况，图表910显示了对于光源D75的色彩准确度情况。图表900-910还显 示了 D65色彩校正矩阵的色彩准确度情况，也就是，其显示了对于未知场景光源使用D65色 彩校正矩阵的色差。显示D65色彩校正矩阵是因为其普遍使用在不进行与光源相关的色彩 校正的图像传感器设备的色彩校正模块中。从图表900-910可以发现一个惊人的结果，那就是对于测试光源，在优选的与估
12测的色彩校正矩阵间只有微小的差别，因此验证了根据本发明一实施方式获取的与光源相 关的色彩校正矩阵。也就是，能够估测与光源相关的色彩校正矩阵以达到好的色彩准确度。 而且，能够注意到的是，对于测试光源，所估测的色彩校正矩阵比单个D65矩阵明显能够达 到更好的情况。这进一步重申了，使用其主张的与光源相关的色彩校正矩阵的公式推导，在 色彩校正中能够达到明显改善。本发明图像传感器装置的优点是，使得色彩校正能够在低存储及计算需求下，稳 定准确的进行。根据本发明一实施方式，与传统色彩校正方法相比，与光源相关的色彩校正 矩阵的估测能够达到高质量的色彩还原，而没有存储上计算资源上的大量损失。达到高质 量的色彩还原带有一个预期外的结果，那就是要求对应于仅仅两种候选光源的色彩校正信 息，要获得稳定的与光源相关的色彩校正矩阵，用于广泛的场景光源。前述的说明只是为了解释本发明，所使用的特定术语是为了更彻底地理解本发 明。然而，本领域技术人员可以理解，在实施本发明时，一些特定细节并不是必须的。因此， 前述本发明特定实施方式的叙述目的只是为了说明及描述，而并非是为了穷尽或限制本发 明于特定的公开形式；显而易见的是，经本发明的以上启示，就完全可能做出许多其它的改 进和改变。所选择进行描述的实施方式，是为了最好地描述本发明的原理及其实际应用；其 使得本领域技术人员可利用本发明以及本发明的各种实施方式并作出修改，以适应各种特 定用途。本发明的范围应由权利要求及其等同物所界定。 1权利要求
一种图像传感器装置，其包括图像传感器，其产生对应于场景光源下之场景的像素数据；存储器，其储存对应于候选光源子集的色彩校正信息；及色彩校正模块，其根据所述对应于候选光源子集的色彩校正信息，获得与光源相关的色彩校正矩阵，并将该与光源相关的色彩校正矩阵应用于所述像素数据，产生色彩校正的数字图像。
2.如权利要求1所述的图像传感器装置，其中，所述的候选光源子集包括至少两种明 显不同的光源。
3.如权利要求1所述的图像传感器装置，其中，所述的对应于候选光源子集的色彩校 正信息包括对应于至少两种候选光源的色彩校正信息，其包括对应于第一候选光源的第一色彩校正矩阵与第一白平衡增益；及对应于第二候选光源的第二色彩校正矩阵与第二白平衡增益。
4.如权利要求3所述的图像传感器装置，其中，所述的色彩校正模块包括在所述第一 色彩校正矩阵及第一白平衡增益与所述第二色彩校正矩阵及第二白平衡增益之间分析线 性关系的模块。
5.如权利要求3所述的图像传感器装置，其进一步包括白平衡模块，该白平衡模块确 定对应于场景光源的第三白平衡增益，并对所述像素数据进行白平衡，以产生白平衡的像 素数据。
6.如权利要求5所述的图像传感器装置，其中，所述的色彩校正模块包括插值法模块， 其根据所述第三白平衡增益、和所述第一色彩校正矩阵及第一白平衡增益与所述第二色彩 校正矩阵及第二白平衡增益之间的线性关系，得到与光源相关的色彩校正矩阵。
7.如权利要求1所述的图像传感器装置，其中，所述的候选光源子集包括选自如下一 组的光源光源A ；光源系列C ；光源系列D ；光源系列F ；及光源TL84。
8.如权利要求3所述的图像传感器装置，其中，所述的第一、第二及与光源相关的色彩 校正矩阵包括将RGB数据转换为色彩校正的RGB数据的3X3矩阵。
9.一种在图像传感器装置中进行色彩校正的方法，其包括捕捉对应于场景光源下之场景的像素数据；根据对应于候选光源子集的色彩校正信息，获得与光源相关的色彩校正矩阵；及将所述与光源相关的色彩校正矩阵应用于白平衡的像素数据，产生色彩校正的数字图像。
10.如权利要求9所述的方法，其中，根据对应于候选光源子集的色彩校正信息、获得 与光源相关的色彩校正矩阵的步骤包括根据如下来获得所述与光源相关的色彩校正矩 阵对应于第一候选光源的第一色彩校正矩阵及第一白平衡增益；及对应于第二候选光源的第二色彩校正矩阵及第二白平衡增益。
11.如权利要求10所述的方法，其进一步包括产生一系列的色彩校正矩阵，并从该一 系列的色彩校正矩阵中选择所述第一及第二色彩校正矩阵。
12.如权利要求11所述的方法，其中，产生一系列色彩校正矩阵的步骤包括捕捉对应于一系列候选光源下之训练集的一系列像素数据组，每一像素数据组对应于来自该一系列候选光源的一种候选光源；测量在该一系列候选光源下所述训练集的一系列色度数据组，每一色度数据组对应于 来自该一系列候选光源的一种候选光源；及迭代计算一系列色彩校正矩阵，产生一系列色彩校正的像素数据组，并使所述一系列 色度数据组与所述一系列色彩校正的像素数据之间的权重色差达到最小化。
13.如权利要求12所述的方法，其进一步包括在迭代计算一系列色彩校正矩阵之前， 对所述一系列像素数据组进行白平衡。
14.如权利要求13所述的方法，其中，测量一系列色度数据组包括测量对应于所述一 系列候选光源下之训练集的一系列CIE XYZ坐标。
15.如权利要求14所述的方法，其进一步包括确定对应于所述一系列候选光源的一 系列白平衡增益。
16.如权利要求15所述的方法，其中，所述第一与第二色彩校正矩阵是根据所述一系 列白平衡增益进行选择的。
17.如权利要求16所述的方法，其进一步包括分析在所述第一色彩校正矩阵及第一 白平衡增益与所述第二色彩校正矩阵及第二白平衡增益之间的线性关系。
18.如权利要求17所述的方法，其进一步包括确定对应于场景光源的第三白平衡增■、Λfrff. ο
19.如权利要求18所述的方法，其中，所述的获得与光源相关的色彩校正矩阵的步骤 包括根据所述第三白平衡增益以及在所述第一色彩校正矩阵及第一白平衡增益与所述第 二色彩校正矩阵及第二白平衡增益之间的线性关系，对所述第一与第二色彩校正矩阵进行 插值。
20.一种用于图像传感器设备中的处理器，其包括白平衡模块，其确定所述图像传感器设备在场景光源下所捕捉的像素数据的白平衡增 益；及色彩校正模块，其根据对应于候选光源子集的色彩校正信息，获得对应于场景光源的 与光源相关的色彩校正矩阵。
21.如权利要求20所述的处理器，其中，所述的候选光源子集包括至少两种明显不同 的光源。
22.如权利要求20所述的处理器，其中，所述的对应于候选光源子集的色彩校正信息 包括对应于至少两种候选光源的信息，其包括对应于第一候选光源的第一色彩校正矩阵与第一白平衡增益；及 对应于第二候选光源的第二色彩校正矩阵与第二白平衡增益。
23.如权利要求22所述的处理器，其中所述的色彩校正模块包括插值法模块，其根据 所述图像传感器设备所捕捉的像素数据的白平衡增益、以及在所述第一色彩校正矩阵及第 一白平衡增益与所述第二色彩校正矩阵与第二白平衡增益之间的线性关系，获得所述与光 源相关的色彩校正矩阵。
24.如权利要求20所述的处理器，其中，所述的色彩校正模块包括将所述与光源相关 的色彩校正矩阵应用于白平衡的像素数据、以产生色彩校正的数字图像的模块。
25.如权利要求22所述的处理器，其中，所述的第一与第二色彩校正矩阵是迭代产生的，以使得对应于训练集的所获取之数据与所测量之数据之间的色彩权重误差最小。
全文摘要
本发明公开了一种图像传感器装置。该图像传感器装置包括用于产生对应于场景光源下之场景的像素数据的图像传感器器。图像传感器装置还包括用于储存对应于候选光源子集的色彩校正信息的存储器。图像传感器装置中的色彩校正模块，根据对应于候选光源子集的色彩校正信息，获得与光源相关的色彩校正矩阵(illuminant-dependent color correction matrix)，并将与光源相关的色彩校正矩阵适用在像素数据上，以产生色彩校正的数字图像。
文档编号H04N9/73GK101939997SQ200880126873
公开日2011年1月5日 申请日期2008年11月21日 优先权日2007年12月10日
发明者李兆建 申请人:豪威科技有限公司