用于图像处理、用于色彩分类及用于皮肤色彩检测的系统、方法及设备的制作方法

专利名称：用于图像处理、用于色彩分类及用于皮肤色彩检测的系统、方法及设备的制作方法
技术领域：
本发明涉及图像处理。
背景技术：
皮肤色彩的存在可用作检测真实世界照片图像中的人的提示。皮肤色彩检测在诸 如人员跟踪、阻塞成人内容网页图像及促进人类与计算机相互作用等应用方面扮演重 要角色。皮肤色彩检测还可用作面部检测、定位、识别、及/或跟踪、视频监视及图像 数据库管理的使能技术。随着采用装备有照相机的便携式通信装置(例如蜂窝式电话)， 这些及其它应用正变得日益重要。举例来说，定位面部的能力可适用于通过以更好的 质量编码图像的面部区域及对图像背景使用更高压縮度而更有效地使用带宽。皮肤表面的反射率通常由其薄表面层(或"表皮")及下伏较厚层(或"真皮") 确定。所述真皮的光吸收主要是由于血液中的成分(例如，血红蛋白、胆红素及P-胡萝卜素)，对于所有皮肤类型来说所述光吸收基本上是相同的。然而，皮肤色彩主要由表皮透光率确定，所述表皮透光率取决于多巴黑色素(dopa-melanin)浓度且因此 在人种之间变化。可通过使用这种反射率模型及并入照相机及光源参数来表示皮肤色彩表观。主要 挑战是使皮肤检测对可能出现的大表观变化强健。皮肤表观在色彩及形状方面发生改 变，且其常常受遮蔽物体(例如衣服、头发及镜片)的影响。此外，光源的强度、色 彩及定位的改变可影响皮肤表观，且场景内的其它物体可通过投射影子或反射额外光 而使所述检测过程变复杂。许多其它常见物体容易与皮肤混淆，例如铜、砂子及某些 类型的木材及衣服。图像还可包括表现为类皮肤色彩斑点的噪声。一种常规的皮肤检测方法以数以具有皮肤区域(例如面部及/或手)的百计或数以 千计的图像的数据库开始。这种数据库用作训练组，从所述训练组可获得区分皮肤区 域与非皮肤区域的统计数据。根据所述统计数据分割色彩空间，且基于所述分割进行 分类。 一个缺点是所述数据图像通常是源自不同的照相机且在不同的照明下取得。发明内容一种表征传感器的方法包括获得色彩空间中的第一多个点。所述第一多个点中的 每一者是基于传感器对相应目标的观察。所述方法还包括获得所述色彩空间中的第二多个点。所述第二多个点中的每一者对应于多个表面的一个相应表面的一部分。所述第二多个点中的每一者也是基于(1)所述表面的所述部分的反射光谱及(2)多个反 射光谱，其中所述多个反射光谱中的每一者对应于所观察目标中的一个目标。在这种 方面的一些应用中，所有所述多个表面属于具有常见色彩特性的类别(例如人类皮肤 表面的类别)。一种图像处理方法包括接收由传感器所捕捉的图像。所述方法还包括根据色彩空 间的预定分割分类所述图像的多个像素中的每一者。所述预定分割是基于所述传感器 的多个预测响应。一种图像处理设备包括图像传感器、经配置以存储分割的存储元件阵列及像素分 类器。


图1显示Macbeth色彩检査器的示意图。图2显示在380到780纳米范围上Macbeth色彩检査器的24个色标的反射光谱 的标绘图。图3A显示根据一个实施例的方法M100的流程图。 图3B显示方法M100的实施方案M110的流程图。 图4显示人类皮肤的多个不同实例的反射光谱的标绘图。图5显示根据一个实施例的方法M200的流程图，其包括方法M100的具有任务 T100的常见实例的多个实例。图6显示根据一个实施例的方法M300的方块图。 图7A及7B显示单个处理管线的两个实例的方块图。 图8A及8B显示色彩滤光器阵列的两个实例。 图9显示方法M100的实施方案M120的流程图。图10显示根据一个实施例的方法M210的流程图，其包括方法M120的具有任务 T200的常见实例的多个实例。图11显示根据一个实施例的方法M400的方块图。图12显示根据一个实施例的方法M500的流程图。图13显示根据一个实施例的方法M600的流程图。图14A及14B显示根据一个实施例的方法M700的流程图。图15显示方面M700的实施方案M800的流程图。图16显示方法M700的实施方案M900的流程图。图17A显示根据一个实施例的设备100的方块图。图17B显示根据一个实施例的设备200的方块图。
具体实施方式
本文所述实施例包括其中基于皮肤色彩光谱与一组测试目标的光谱(例如， Macbeth色彩检查器)的相互关系针对特定电子传感器建立皮肤色彩统计数据的过程。 然后，可基于这种传感器的皮肤色彩统计数据从由其所捕捉的图像检测皮肤色调区域。 在检测到皮肤区域之后，方法可适用于(例如)通过增强所述色彩以改良皮肤色调， 以便获得优选的色彩。所检测的皮肤色彩也可用于增强使用这种传感器的照相机的3A 处理(自动聚焦、自动白色平衡及自动曝光)。本文所述实施例还包括用于进行传感器相依皮肤色彩检测的过程，其中基于成像 过程校准所述传感器的特性。然后基于皮肤色彩反射光谱的训练组与用于校准所述传 感器的标准测试目标的反射光谱的相互关系给皮肤色调区域建模。可根据如下表达式给由成像传感器所产生的经照明表面点的表示建模卿鹏"j"s柳柳柳化(1)其中s指示由所述传感器产生的信号；ss a)指示依据波长x的传感器光谱灵 敏度；La)表示照明光源的功率光谱分布或依据波长人的光源的相对能量；且Ra) 指示正进行成像的表面点的反射光谱或依据波长x的成像点的相对反射率。如果可获得或可靠地估计表达式(i)的右手侧上的函数的值，则表达式(i)可 适用于预测所述传感器对所照明表面点的响应。通常，可容易地测量光源的功率光谱 分布l a)。另一选择为，可使用施照体或特定类型的白色光源的光谱功率分布(如由(例如)国际照明委员会(C正)(奥地利维也纳(wien， Austria))所公布)表征 所述光源。如果已知或可推断或估计施照体的类型，则表达相对能量与波长之间的关 系的标准化分布可用于代替测量所述光源的输出光谱。同样地，可测量或根据类似表面的光谱的数据库估计某一表面的反射光谱r a)。然而，所述传感器灵敏度函数 ss a)通常是未知的且获取代价高昂。测量诸如CCD (电荷耦合装置)或CMOS (互补金属-氧化物半导体)图像传感器等传感器的光谱灵敏度函数ss a)通常是需要诸如单色器及光谱辐射计等特殊昂 贵设备的费时过程。测量这种函数的成本可直接使这种测量对于计划作为量产消费品 的传感器来说是不可行的。所述传感器光谱灵敏度还可依据照明强度及可能的其它因 素(例如温度、电压、电流、传入光路中任一滤光器的特性、诸如红外或紫外等其它 波长的辐射的存在等等)而变化。补偿这些因素可包括限制将表达式(1)的使用限制 在特定的照明强度范围内及/或在传入光路中包括红外或紫外阻塞滤光器。本文阐述预测传感器响应的其它方法。我们假设表面的反射光谱可表示为其它反射光谱的线性组合。举例来说，我们假设表面Rsurf^的反射光谱可表示为一组m个目标的反射光谱Ritarget的线性组合U=l> (2)基于表达式(1)及(2)，我们可推断出根据来自表达式(2)的系数向量b， 传感器对表面点S^rf^的所预测响应可表示为所述目标组S，^ ( 1 < i < HI)中每一者 的传感器响应的线性组合C=|>,'C (3)可能需要获得所述传感器本生的色彩空间(例如RGB空间)中的所预测传感器 响应S'。举例来说，可将表达式(3)重写以将所述表面点的原始RGB信号(如由传 感器所观察)表示为由相同传感器在类似照明下所观察的目标组的RGB信号的线性组 合。(恥5);^=|>,.(恥丑)'"1. (3a)在一种根据一个实施例的方法中，使用表面及目标组的反射光谱的已知值根据诸 如上文表达式(2)等关系得到系数向量b。可测量或以其它方式获得或估计(例如， 从数据)这些光谱。然后，根据诸如上文表达式(3)等关系应用向量b以预测所述表 面的传感器响应。所述m个目标可以是具有标准化色彩值的表面(例如，具有预印刷标准化目标组 的色标)。 一被广泛认可且易于获得的用于色彩成像应用的此种目标组是Macbeth色 彩检査器(Amazys控股公司，瑞根斯多夫，瑞士)。 Macbeth色彩检査器是具有24个染 色色彩色标的物理目标组，其包括一系列的六个灰色色标、典型加色基色(红色、绿 色、蓝色)及减色基色(青色、品红色、黄色)及其它"天然"色彩(例如，亮及暗 肤色、天蓝色及绿叶色)。所述Macbeth色彩检査器的色彩色素经选择以最小化任何 条件配色或当改变施照体光源时所感知色彩的改变。图1显示Macbeth色彩检查器的示意图，其中用相应色彩的名字及其在CIE xyY 色彩空间中的值指示每一色标的位置。图2显示在380到780nm范围上所述色彩检查 器的24个色标的反射光谱的标绘图。标准化目标组的其它实例包括(但不限于)色 彩检查器DC目标组(Amazys控股公司；具有237个色彩色标)、1269蒙赛尔(Mimsell) 色彩色标(蒙赛尔色卡，蒙赛尔色彩公司，1976 (Munsell Book of Color, Munsell Color Corporation, 1976))、诸如柯达(Kodak) Q-60R1目标组等IT8-7.2 (反射)目标组， 其含有印刷于照片纸上的约260个色彩色标(伊斯曼柯达公司，纽约罗彻斯特 (Eastman Kodak Company, Rochester, NY))、及柯达Q-13及Q-14目标组。在得到系数向量b中，可需要减少或删除所述组基础函数以仅包括对特定应用的 所得组合有重要贡献的目标光谱。所用色标的数量m无需与所述一组目标的色标的数 量相同，这是因为不使用一些色标及/或可包括来自不止一组目标的色标。可将所述测试表面及所述目标的反射光谱提供为长度n的向量(其表示在跨越一波长范围的数量n个点处的相对反射的样本)，以便可将表达式(2)写成如下形式L/。"-R哮t (2a) 其中R^^及b是长度n的列向量；且R吣et是大小mxn的矩阵，其中每一列对 应于特定波长且每一行对应于特定目标。举例来说，可跨越可见波长范围(例如380 (或400)至IJ700纳米)以4纳米间隔取样所述反射光谱。在一些情况中，可需要仅取样可见范围的一部分及/或在任一方向上将所述范围延 伸出所述可见范围(例如，以计及红外及/或紫外波长的反射)。在一些应用中，可需 要以不规则间隔取样所述波长范围(例如，以在一个或多个感兴趣的子范围内获得更 大分辨率，例如包括照相机闪光灯的主要波长的范围)。可解表达式(2a)以求出系数向量b作为最小平方问题。在其中矩阵R^g"不是 平方的情况中，可根据下述表达式计算系数向量b:"(R'卿)、咖，(2b)其中算符(，)+表示伪逆。摩尔-彭罗斯(Moore-Penrose)伪逆是具有诸如Mathematica (沃尔夫勒姆研究公司，伊利诺斯州尚佩恩市(Wolfram Research, Inc., Champaign, IL)) 或MATLAB (迈斯沃克公司，马萨诸塞州内蒂克市(MathWorks， Natick， MA))等矩阵 支持的软件包中的标准函数，且其可使用奇异值分解或迭代算法进行计算。为保证所预测传感器响应信号对应于所述目标的传感器响应的线性组合，所构造 的皮肤色彩反射光谱应与所述原始光谱一致。计算系数向量b可包括用以比较所述原 始光谱与所计算的光谱的验证操作及/或用以减少错误的错误最小化操作，可能包括在 多于一组基础光谱中进行迭代及/或选择。图3A显示根据一个实施例的方法M100的流程图。任务T100获得多个不同目标 的传感器响应。任务T200将表面的反射光谱分解为所述目标的反射光谱的组合。任 务T300基于所述分解及所述传感器响应计算所述传感器对所述表面的所预测响应。 在测量所述传感器响应期间，可需要近似求出预期在稍后应用中出现的到所述传感器 的光路的特性，例如照相机镜头的光谱透射率及/或诸如红外及/或紫外阻塞滤光器等滤 光器的存在。方法M100的应用范围包括分类及检测人类皮肤色彩。针对成打、数以百计或更 多的不同人类皮肤表面色标所测量的反射光谱数据库可用于获得在色彩空间(例如 RGB或YCbCr)中界定皮肤色彩区域的数据点。可供使用的一种皮肤色彩反射光谱数 据库是奥卢大学(芬兰)的基于物理学的面部数据库(Physics-based Face Database of the University of Oulu (Finland))，其含有在4种不同照明及4种不同照相机校准条件下所 捕捉的125种不同面部，其中每一面部的光谱反射率取样三次(前额及两颊)。可针 对所述数据库中的每一光谱实施方法M100的一个或多个实例。图4显示人类皮肤表 面色标的一样本组的反射光谱的标绘图。图3B显示方法M100的实施方案Ml 10的流程图。任务T110是获得多个色彩值的任务T100的实施方案，每一色彩值均是基于传感器对标准目标的相应点的观察。 任务T210是基于测试表面及所述目标的反射光谱计算系数向量的任务T200的实施方 案。任务T310是基于所述系数向量及所述色彩值计算所述传感器对所述测试表面的 预测响应的任务T300的实施方案。任务T100获得多个不同目标(例如，Macbeth色彩检查器的色标)的传感器响应。 可能考虑所述传感器的每一像素的单个响应，以使独立地针对每一像素实施方法 M100，尽管将牵涉相当可观的计算源。另一选择为，任务T100可经配置以作为观察 所述目标的许多像素的平均响应(平均数、中值或众数)获得每一目标的传感器响应。任务T200将所述测试表面的反射光谱分解为所述目标的反射光谱的组合。在一 个实例中，任务T200将所述测试表面光谱分解为Macbeth色彩检査器色标的反射光 谱的线性组合。任务T300基于任务T200的分解(例如，基于指示线性组合的系数向量)及任务 T100中所获得的传感器响应计算所预测传感器响应。在一个实例中，所预测传感器响 应是计算为在相同施照体下所观察的Macbeth色彩检查器的RGB值的线性组合的 RGB值<formula>formula see original document page 10</formula>其中R、 G及B分别是每一所述目标的红色、绿色及蓝色值的行向量；且b是任 务T200中所计算的列系数向量。可针对多个测试表面中的每一者实施方法M100，其中连续地及/或平行地实施方 法M100的各个实例。在这种情况中，可需要由方法M100的所有所述实例使用在任 务T100的一个实例中所获得的传感器响应。图5显示包括方法M100的n个这种实例 的方法M200的流程图，每一所述实例产生所述传感器对n个测试表面中相应测试表 面的所预测响应。所述所预测传感器响应可用于分析或分类由相同传感器所捕捉的图 像。举例来说，可将所述n个测试表面选择为特定类别的物体或表面(例如人类皮肤)的代表。在另一种配置中，实施任务T100的若干实例，其中在每一实例中使用不同施照 体。举例来说，在任务T100的一个实例中的传感器响应可以是在通常符合C正施照 体A的白炽照明下所获得，同时任务T100的另一个实例中的传感器响应可以是在通 常符合C正施照体D65的日光照明下所获得，同时任务T100的再一个实例中的传感 器响应可以是在通常符合C正施照体TL84的荧光照明下所获得。在这种情况中，可 需要针对每一测试表面实施方法M100的若干实例，其中每一实例使用来自任务T100的不同照明实例的传感器响应。图6显示根据一个实施例的方法M300的方块图，其中将针对若干不同施照体获得所预测传感器响应的操作与如5中所示的针对多个测试表面获得所预测传感器响应 的操作组合以针对所述若干施照体中每一者获得一组所预测传感器响应。可选择与上 文所提及的那组施照体不同的一组施照体。举例来说，可能需要根据特定应用中预期 将遇到的照明色彩温度的范围的所需取样选择一组施照体。在任务T100的实例中可 用于获得传感器响应的其它参考施照体包括日光施照体，例如C正D50(表示在日 出或日落时的日光，也称为水平光(horizon light) ) 、 C正D55 (表示在上午的中段 时间或下午的中段时间的日光)、C正D75 (表示阴天的日光)、及CIEC (表示平均 或北方天空的日光)；及荧光施照体，例如C正F系列中的一者或多者。在其中可实施进一步信号处理的应用中可需要使用所述传感器。举例来说，通常 将需要对由所述传感器所捕捉的图像实施操作以校正传感器阵列中的缺陷，补偿所 述响应及/或光学或点信号路径中其它组件的非理想性，将传感器输出信号转换为不同 色彩空间，及/或基于传感器输出信号计算额外像素值。可通过可与所述传感器驻留在 相同芯片(尤其是在CMOS传感器的情况中)及/或不同芯片中或其它位置的一个或 多个逻辑元件阵列实施这种信号处理操作。通常在数字照相机或诸如包括照相机的蜂 窝式电话等装中及机器视觉应用中对照片图像实施信号处理操作。如本文更详细阐述，在这种应用中，还可需要根据基于所述传感器的所预测响应 的分割分类由所述传感器所捕捉的图像的一个或多个像素。在其中将进行分类的图像 已经历一组信号处理操作(如下文所述，例如黑色钳位、白色平衡、色彩校正及/或伽 玛校正(gamma correction))的情况中，可需要根据一组类似的信号处理操作来处理 所述传感器的所预测响应。举例来说，所述传感器的本生色彩空间可以是诸如RGB 空间等原始色彩空间，同时其可需要在诸如YCbCr空间等强度-色度空间内实施分类 及/或检测操作。图7A显示其中将由传感器产生的本生色彩值变换为不同色彩空间中的经处理色 彩值的信号处理管线的实例。图7B显示其中以不同次序实施图7A中的操作的这种信 号处理管线的另一个实例。下文将更详细阐述所述操作。依据应用，信号处理管线可 省略所述操作中的任一者及/或可包括额外操作，例如补偿镜头畸变及/或镜头眩光。可 以所述传感器特定的方式优化所述信号处理操作中的一者或多者及/或其可应用基于 所述传感器的响应所确定的参数值的参数。所预测传感器响应信号的精确度在某种程度上可取决于所述传感器响应的线性， 所述线性可在像素之间、通道之间及/或在强度等级之间变化。 一种常见的传感器非理 想性是相加噪声，其大部分是由于暗电流噪声。暗电流噪声甚至在没有入射光的情况 下仍出现且通常随温度而增加。暗电流噪声的一个影响是升高像素值使得未经照明(黑 色)像素的电平不是零。可实施暗电流补偿操作(也称为"黑色钳位")以将黑色像 素输出降低为零或另一所需值，或根据所需偏移值降低黑色像素输出。暗电流补偿的一种常见方法是黑色电平减法，其包括从每一像素值减去偏移值。 所述偏移值可以是全程值，以使从所述图像中的每一像素减去相同偏移值。所述偏移值可以是得自一个或多个在图像区域之外且可能被屏蔽的像素。举例来说，所述偏移 值可以是这种像素值的平均值。另一选择为，可从每一像素减去不同的偏移值。这种 偏移值可以是得自在缺少照明的情况下所捕捉的图像，其中每一像素的偏移值是基于 所述像素的暗输出。传感器非理想性还可包括乘法噪声，其中所述传感器的不同像素以不同增益程度 响应相同刺激。 一种用于降低乘法噪声的技术是平像场处理，其中通过一因数归一化 所述像素值，所述因数对应于一具有均匀灰度表面的图像的捕捉。所述归一化因数可 以是得自所述灰度图像中的一些或所有像素的全程值(例如所述像素值的平均值)。 另一选择为，基于像素对所述均匀灰度表面的响应，可将不同归一化因数应用于每一 像素。在任务T100的一个配置中，通过经由均勾灰度平面捕捉的平像场处理及减去恒 定黑色电平将相应施照体下的Macbeth色彩检査器的每一色标的原始RGB信号归一 化Kar二 柳-肠勘"，(4)其中5/fldfcLevd是黑色电平偏移值，且GrayHa"e是归一化因数。可在去马赛克 处理(de-mosaicing)之前或之后实施这种操作。在一个实例中，从整个基础组目标的单个所捕捉图像(例如Macbeth色彩检查器) 或从整个基础组目标的多个图像的平均值得到各个目标的传感器响应。在这种情况中， 可将Gr^/^n的值选择为对应于所述目标的灰度色度(所述色标可或可不包括在所述 一组基础目标中)的像素值的平均值。在其它实施例中，任务T10中所使用的每一所 捕捉图像包括少于所述基础组目标的所有(或许仅一个)。诸如CCD或CMOS传感器等图像传感器通常包括具有类似光谱响应的光敏元件 阵列。为从这种阵列捕捉色彩图像，可将色彩滤光器阵列置于所述光敏元件阵列之前。 另一选择为，可将色彩滤光器阵列并入到所述光敏元件阵列，以使不同元件将响应所 述入射图像的不同色彩分量。图8A显示一种常见滤光器阵列配置(红-绿-蓝拜耳阵列 (Bayer array))。在这种阵列中，每一行或列的每隔一个像素响应绿色，这是因为 人类的眼睛对绿色波长比对红色或蓝色更敏感。图8B显示尤其适于扫描应用的色彩 滤光器阵列的另一个实例(青色-品红色-黄色-绿色配置)。色彩滤光器阵列的许多其 它实例是已知的，别普遍使用及/或是可能的。因为色彩滤光器阵列之后的每一像素仅响应对应于其滤光器的色彩，所以所得图 像信号的色彩通道在空间上是不连续的。可需要实施插值操作以估计除所捕捉色彩值 之外的像素位置的色彩值。举例来说，可需要获得针对来自原始图像的每一像素具有 红色、绿色及蓝色值的图像，其中每一像素仅具有红色、绿色及蓝色值中的一者。这 种插值操作通常称为"去马赛克处理"。去马赛克处理操作可以是基于双线性插值且 可包括避免、降低或移除混叠及/或其它伪像的操作。所述处理管线还可包括其它空间插值操作，例如针对己知有缺陷的像素(例如，始终开启或始终关闭的像素或另外已 知具有不管入射光如何均是恒定的响应的像素)的插值。依据入射的照明，白色表面的色彩温度通常在2000K与12000K之间变化。虽然 人类的眼睛可针对这种差异进行调整以使对白色表面的感知保持相对恒定，但由图像 传感器所输出的信号通常将依据场景照明而显著地变化。举例来说，在钨照明下由传 感器所捕捉的图像中白色表面可呈现浅红色，同时在荧光照明下由相同传感器所捕捉 的图像中相同白色表面可呈现浅绿色。成像应用通常将包括白色平衡操作以补偿光源差异。白色平衡操作的一个实例包 括调整每一像素中色彩值的相对振幅。对RGB图像的典型白色平衡操作包括根据关于 所述图像中的白色平衡的预定假设相对于绿色值调整红色及蓝色值，如下文表达式中<formula>formula see original document page 13</formula>在表达式(5)中，可基于以下常见假设中的一者选择红色通道的增益因数gR及蓝色通道的增益因数gB,其中参数X及y是指所述图像的空间坐标1) 假设每一颜色通道的最大传感器响应(假设所述图像中的最大值是白色)gfl s咖xG(;c，y)/max及Oc，y). (j(.y) (w〉2) 假设所有颜色通道平均为灰度(灰度世界假设)(-，)O "力3) 假设每一颜色通道中的均等能量"=]E,2"y)/:S,"，力'以类似方式确定相对于绿色通道的蓝色通道增益因数gB。可针对具有丰富色彩的图像(例如花卉的特写)或其它其中所述假设可能不成立 的图像调整白色平衡操作。还可根据照相机闪光灯(例如，电荷触发装置(闪光管)或高流明输出发光二极管(LED))的功率光谱分布的先验知识及使用所述闪光灯所 捕捉图像的知识选择白色平衡操作。还可能针对不同强度的像素值使用不同的白色平 衡操作，这可有助于补偿传感器响应的非线性。白色平衡操作可校正由于场景照明的色彩温度所致的强色偏，且可在颜色空间中 将不同照明下的相同表面的传感器响应移得更近。然而，由于特定传感器的光谱响应 中的特质所致色彩非理想性可仍存在于图像中，且甚至在应用白色平衡操作之后对相 同一组类似的测试表面的响应群集在不同照明下可能在颜色空间中相对于彼此移位。 可需要实施色彩校正操作以响应于不同施照体进一步补偿与传感器相关的差异。色彩校正操作可包括将图像像素的色彩值向量乘以所述传感器特定的色彩校正 矩阵。在一个实例中，所述校正矩阵从使用所述传感器所捕捉的一标准目标组(例如 Macbeth颜色检查器)的图像中得出。可在不同照明下捕捉目标组的图像，且可针对每一相应施照体得到不同的矩阵。举例来说，对应于日光(CIED65)、钩灯(C正A) 及荧光灯(TL84)的照明可用于提供对宽广范围的色彩温度的取样，且可基于对将要 校正的图像的施照体分析选择适当矩阵。可针对白色点补偿来优化色彩校正矩阵，或可针对对特定应用来说重要的色彩类 别(例如，皮肤色调)优化色彩校正矩阵。不同的色彩校正矩阵可用于不同的像素强 度，这可降低色彩通道之间传感器响应的不同非线性的影响。所述一组信号处理操作还可包括伽玛校正操作，例如根据功率函数从值输入范围 到值输出范围的非线性映射。常实施伽玛校正来校正传感器及/或显示器的非线性响 应，且可在一信号处理操作序列的结尾(在色彩空间转换之前或之后)或更早(例如， 在色彩滤光器阵列插值操作之前)实施这一操作。伽玛校正可经选择以产生符合标准 轮廓的信号，例如NTSC，其是补偿非线性显示器响应值的伽玛。可需要补偿传感器响应与所需色彩空间之间的差异。举例来说，可需要将色彩值 从本生RGB空间(其可以是线性的)转换为诸如RGB等归一化色彩空间(其可以是 非线性的)。这一转换可包括于伽玛校正操作中。在其中传感器及显示器响应两者均 是线性的且无需进一步使用图像信号的应用中可省略伽玛校正。还可根据一个或多个传感器特定准则选择伽玛曲线。举例来说，可根据如2005 年6月6日申请的，代理档案号040943标题为"用于优化数字图像装置的伽玛曲线的 设备、系统及方法"(APPARATUS, SYSTEM, AND METHOD FOR OPTIMIZING GAMMA CURVES FOR DIGITAL IMAGE DEVICES)的美国专利申请案第11/146， 484号中所述的方法实施所需伽玛校正的选择。可需要获得与其中捕捉目标图像的色彩空间不同的色彩空间中的所预测皮肤色 彩值。来自数字照相机的图像通常转换为YCrCb色彩空间以供存储及处理。举例来说， 根据JPEG及MPEG标准对YCrCb空间中的值实施压縮操作。可需要基于这一色彩空 间而非所述传感器本生的色彩空间中的所预测值实施操作(例如分类及检测)。另外，可能需要基于亮度-色度空间中的所预测值实施操作，在所述亮度-色度空 间中每一色彩值包括亮度值及色度坐标。举例来说，可需要以在这一空间中更容易地 完成的方式细分所述色彩空间。在一个这种划分中，可将YCrCb空间划分为若干色度 子空间或平面，其每一者对应于不同的亮度值范围。下述矩阵可适用于将色彩值从RGB空间转换为YCrCb空间<formula>formula see original document page 14</formula>类似矩阵可适用于实施两个装置相依色彩空间之间(例如从RGB到CMYK空间) 或从装置相依空间到独立于装置的空间(例如C正XYZ或CIELab)的转换。在一些 实施方案中，可需要显示己转换到YCrCb空间的图像信号。在这种情况中，可使用(例如)表达式(6)中的矩阵的逆将信号转换回到RGB空间以供显示于诸如LCD (液晶 显示器)或OLED (有机发光二极管)面板等装置上。可实施方法M100的一个实例以获得多个测试表面光谱中每一者的所预测传感器 响应信号。还可实施方法M100的一个实例以针对多种不同照明中的每一者获得多个 测试表面光谱中每一者的所预测传感器响应。在另一个实施例中，可需要获得每一可 用测试表面光谱的多个所预测传感器响应信号。在一个实施方案中，通过模拟不同等级的照明强度增量所预测传感器响应的数 量。在一个这种配置中，假设所述传感器响应是线性的，且所述传感器输出的本生色 彩空间是初始色彩空间(例如RGB)。将任务T100中所捕捉的传感器响应的每一初 始色彩通道乘以比例因数k，且通过对经修改的一组传感器响应实施任务T300而获得 额外所预测响应。可针对每一可用测试表面光谱实施这一过程以有效地加倍所预测值 的数量，且可针对不同k值重复所述过程。在其它配置中，可根据己知或所估计的非 线性将不同比例因数应用于不同初始色彩通道中的每一者。如果针对5个或IO个不同 照明等级对所有所述可用测试表面光谱重复照明等级模拟过程，则可将所预测值的数 量增加相应因数5或10，然而也可使用任一其它数量的所模拟照明等级。传感器的噪声统计数据也可适用于通过修改任务T100所获得传感器响应而增加 所预测传感器响应的数量。可从由所述传感器所捕捉的一个或多个标准目标的图像测 量所述噪声统计数据。举例来说，任务T100的配置可包括捕捉用于计算所述传感器 的噪声统计数据的目标图像，所述图像也可在用于计算所预测传感器响应的图像之中。对于一个或多个色彩通道中的每一者来说，噪声测量(例如， 一个标准偏差)得 自对应于所述基础组中m目标中的一者的一些或所有像素值。然后，将所述噪声测量 应用于任务T100中所获得的目标响应的相应通道值以获得所模拟响应，此可包括将 每一噪声测量添加到所述通道值(或自所述通道值减去每一噪声测量)。可针对所述 基础组中的所有其它目标重复这一过程，或可需要保留一个或多个所述目标响应未改 变。然后，对新的一组m个传感器响应实施任务T300以获得额外所预测传感器响应。 这一程序可用于以2或更大的因数增加所预测传感器响应的数量。在其它配置中，可 得到或应用其它噪声统计数据(例如，可将乘法因数应用于一些或所有所述m个目标 的相应初始色彩通道)。图9显示方法M100的实施方案M120的流程图。方法M120包括基于所获得响 应模拟对目标的传感器响应的任务T100的实施方案T120。举例来说，如上文所述， 任务T120可基于不同照明等级及/或所述传感器的噪声统计数据模拟传感器响应。图 10显示包括方法M120的n个这种实例的方法M210的流程图，每一所述实例产生所 述传感器对测试表面的不同的所预测响应，在任务T200的常见实例中分解所述测试 表面的反射光谱。图11显示根据一个实施例的方法M400的方块图，其中针对若干不同施照体获 得所预测传感器响应的操作、针对多个测试表面中每一者获得所预测传感器响应的操作及基于所模拟传感器响应获得所预测传感器响应的操作可经组合以针对若干施照体中的每一者获得较大组的所预测传感器响应。可能需要配置方法M400的实施方案以 使根据相同施照体及测试表面操作的方法M100及M120的实例共享任务T200的常见 实例。图12显示根据一个实施例的方法M500的方块图，所述方法包括任务T400。任 务T400根据训练组实施色彩空间分割，所述训练组包括如由方法M200、 M300及减 M400的一个或多个实施方案计算出的一组或多组所预测传感器响应。可能需要选择 得到所述训练组的测试表面，及/或选择所述训练组的元素，以使所述分割描述一类表 面(例如，人类皮肤色调类别)的常见色彩特性。所述色彩空间是提取所述训练组样 本的色彩空间(例如，RGB或YCbCr)的一部分(可能是全部)。在一个实例中，所 述色彩空间是诸如CbCr平面等色度平面。使用基于特定传感器的特性的训练组的潜 在优点是减少的群集，其可增加可靠性及/或降低假检测的概率。所述分割可以是排他性，以使所述色彩空间中的每一位置(色彩值)在一个所述 片段中且仅在一个所述片段中。另一选择为，可为一些或所有所述色彩空间中的位置 中的每一者指派小于1的在一个片段中的概率及(至少暗示性地)大于0的在另一个片段中的概率。任务T400可经配置以基于所述训练组的直方图实施分割。举例来说，任务T400 可经配置以基于在所预测传感器响应中色彩空间位置i出现数量总和Mj确定所述位置 在特定片段中的概率。对于所述色彩空间部分中的每一位置i来说，任务T400可经配 置以将Mi与阈值比较获得所述位置在所述片段的从属关系的二进制指示(概率1或 0)。另一选择为，任务T400可经配置以将概率测量计算为在所预测传感器响应中所 述位置的出现数量的归一化总和(Mi/max(Mj)，举例来说，其中所述最大值是在正分 割色彩空间中的所有位置j上所取得；或Mi/N，其中N是所述训练组中样本的数量)。可需要将低通滤光器或其它形式的局部近似应用于概率测量及/或得到所述概率 测量的直方图。这一操作可用于降低将要存储的概率测量的有效数量(例如通过下取 样所述直方图)。这种操作也可用于提供假设在所述片段内但在所预测传感器响应之 间不足地表示或甚至未表示的位置的近似概率测量。虽然基于直方图的分类可能是简单且快速，这一技术的有效性强烈地取决于所述 训练数据的密度。此外，在其可能需要的分类数据量方面这种分类也可能是低效率的 (例如， 一色罩针对正分割的色彩空间中的每一位置具有一个或多个概率量度)。在 另一实施方案中，任务T400经配置以给对一种类别(例如人类皮肤色调)在所述色 彩空间上的分布建模。任务T400可经配置以将所述分布建模为高斯函数。这一模型可具有一般性的优 点且可以是简单且迅速的。在一个如适用于诸如CbCr平面的色度空间的实例中，根 据下述表达式将色度值向量Xi在片段中的从属关系的可能性建模为高斯分布其中Xi是位置i的色度值的向量，从所预测传感器响应确定均值向量H及协方差矩阵A，且将马氏距离(Mahalanobis distance)计算为X2= (X广n) t八-1 (Xrn)。所述 马氏距离根据所述样本组在所述方向上的可变性范围加权所述样本与所述均值之间的 距离。群集在中心及协方差矩阵方面的定义可保证将针对任一X产生凸包(假设无限 制的色彩空间，或根据所述空间的界限假设X的值的上限)。通过应用阈值X、可从如表达式(7)中所述的模型获得一种形式的二进制分割， 以便如果^5^t则将值X分类为在所述片段内，且否则则分类为在所述片段之外。不 等式X^^t定义中心在均值p的椭圆形区域，其主轴是沿A的本征向量e,且具有长度 AV ，其中p'-Vi.。在一些应用中，所述分布可能太过复杂而不能满意地用单个高斯分布进行建模。 举例来说，在其中照明发生变化的情况中，这一模型可不适于表示所述训练集的分布 (例如，人类皮肤色彩分布)的变化。在另一个实例中，所述训练集可包括具有不同 部分的子类别。在这种情况中，将所述直方图建模为高斯分布的混合体(例如，经加 权高斯的叠加)可提供更准确的模型。对于高斯混合体模型来说，可需要估计所述模 型所使用的每一高斯以产生位置i的从属关系的可能性。其它模型也可用于噪声类别密度分布(或其一部分)。椭圆形边界模型的一个实 例可适于根据下述表达式进行定义,=(x，)re，-(8)其中n是所述训练集中所表示的特殊色彩空间位置的数量，v是n个特殊色彩空 间位置的均值，且e-^XA-/0A-^。通过应用阈值a可从如表达式(8)中所述的模型获得一种形式的二进制分割，以便如果0) (Xi) 〈a则将值Xi分类为在所述片段 内，且否则则分类为在所述片段之外。任务T400可经配置以实施分割，通过所述分割可将由所预测传感器响应的训练 组表示的类别与所述色彩空间中的所有其它值区分开。然而，由任务T400实施的分 割无需限定于单个类别。举例来说，所预测传感器响应的训练组可包括多于一个的子 类别，且对任务T400来说，可需要实施可用于在所述子类别中的两者或更多者之间 进行区分的分割。在这种情况中，可需要使用高斯混合体来对描述复合训练组的分布 的直方图进行建模。这种模型可提供所述子类别之间的界限值，所述界限值允许有比 选择作为所述直方图的局部最小值的阈值更佳的分离。一种方法可含有任务T400的多于一个的实例，其每一者经配置以对不同训练集 实施不同分割。可连续地或并行、实时或脱机地执行任务T400的各个实例，且所述 训练组可或可不重叠。通常任务T400的各个实例将实施相同色彩空间的分割，但所 涵盖实施例的范围不限定于这一特征，且由任务T400的每一实例所分割的色彩空间不需要是相同的。这种方法的应用包括实时分析由传感器所捕捉的静止图像或视频序 列的一个或多个图像，其中所述传感器包括于诸如数字照相机或蜂窝式电话或其它包 括照相机的个人通信装置等装置中。图13显示根据这一实施例的方法M600的流程图，其中不同组的所预测传感器 响应用于实施色彩空间分割。在这一实例中，每一组支持根据相应施照体对相同色彩 空间的不同分割。在另一个实例中，分割是基于对应于不同参考施照体的所述组所预 测传感器响应中的一组或多组(可能是全部)的组合。在相同应用中(例如，其中所 述训练集表示诸如人类皮肤色彩的类别)，可能的情况是不同的分割区域可不重叠。 在其中任务T400的一个或多个实例将阈值应用于所述分布或模型(例如，以获得二 进制分割)方法M600的实施方案中，还可能针对任务T400的不同实例应用不同阈值。通常假设亮度不影响亮度-色度色彩空间(例如YCbCr)中皮肤色彩的群集。因 此，任务T400可实施分割以便将一些或所有所述色彩空间浓縮为单个色调平面(例 如CbCr平面)。在这种应用中，任务T400经配置以基于所述色度平面中的位置指示 从属关系的概率。在另一个实施方案中，任务T400可经配置以针对所述色彩空间的多个不同部分 的值范围中的每一者实施不同分割。与常见假设相反，发明者已观察到中间范围亮度 值的皮肤色彩群集大于更靠近极值的亮度值的皮肤色彩群集。在一些情况中，YCbCr 空间中的皮肤色彩区域是在CbCr平面中群集但沿Y轴分散的椭圆体。在如应用于这一情况的另一个实施方案中，任务T400将YCbCr空间划分为多个 子空间，每一子空间对应于某一亮度值范围。在一个实例中，将所述空间划分为十个 均等亮度范围KO, 0.1〗，(0.1， 0.2]，, (0.8， 0.9], (0.9, 1.0)}，然而在其它实例中可使用任 一数量的范围，且所述范围无需均等。任务T400还可适用于其中YCbCr空间在一对 不同于0及1.0的极值之间(例如，在0与255之间)延伸的情况。任务T400的这种实施方案可用于将皮肤色彩分为十个群集，每一群集在各自的 色度平面内。在一种配置中，将每一范围内的皮肤色彩分布建模为相应平面中的高斯 分布，以便通过诸如表达式(7)的表达式给出输入色度向量X的皮肤可能性。假定阈值 ^T，则如果、WT则可将值向量X分类为皮肤色度，且否则则分类为非皮肤色度。当所述亮度等级在中间范围内可能需要为^选择较大的值，且随着亮度等级接近 所述两个极值中的任一者而选择逐渐变小的值。在其它配置中，其它模型(例如本文 所述模型)可适用于对每一亮度范围内的训练集分布进行建模。图14A显示根据一个实施例的方法M700的方块图。任务T500基于如任务T400 中所实施的分割及像素值在所述经分割色彩空间中的位置分类由传感器所捕捉的图像 的像素。可预定所述分割以便在分类图像之前建立所述分割。可连续地或并行地重复 方法M700以根据所述分割分类图像的一些或所有像素。如图14B中所示，可针对由传感器所捕捉的图像中的s个像素中的每一者实时及 /或脱机地实施方法M700的实例以获得所述图像的分割映射。在一个实例中，实施方法M700的实例以获得所述图像的二进制分割映射，其中所述映射的每一位置处的二 进制值指示所述图像的相应像素是否在所述片段中。可需要对所述图像的分割映射实 施滤波及/或其它处理操作，例如形态操作、区域生长、低通空间滤波及/或时间滤波。 可能需要实施方法M700以在若干不同分割中选择一个分割以借之分类各自的像 素。图15显示包括任务T450的方法M700的实施方案M800的方块图。任务T450 经配置以根据正被分割的图像的场景施照体从若干不同分割中选择一个分割。可使用 任一色彩恒常性或施照体估计算法从所述图像识别场景施照体。在其中具有两个或更 多个表面色彩的场景中，例如，二色反射模型可适用于根据二色平面的相交估计场景 施照体。对于任务T450来说可能需要选择分割，所述分割得自在光谱功率分布及/或色彩 温度方面类似于所估计场景施照体的参考照明下所取得的样本。然而，可能所估计的 场景施照体并不具有足够地类似于任一参考施照体的色彩特性的色彩特定。在这种情 况中，任务T450可经配置以从所述参考施照体中选择目的施照体并将相应颜色适应 变换应用于将进行分割的图像。所述适应变换可以是取决于将要进行分割的原始图像 的参考白色且取决于目的施照体的参考白色的线性变换。在一个实例中，任务T450 导致在传感器的本生色彩空间(例如，RGB空间)中将色彩变换应用于所述图像。在另一个实施方案中，方法M700经配置以根据像素的亮度等级从若干不同分割 中选择一个分割。图16显示包括任务T460的方法M700的实施方案M900的方块图。 任务T460经配置以根据将要进行分类的像素的亮度等级从若干不同分割中选择一个 分割。举例来说，任务T460可经实施以如上文所述在十个均等亮度范围K0,0.1]，(0.1， 0.2]， ... ， (0.8， 0.9], (0.9, 1.0)}中进行选择。方法M700可进一步经实施以基于根据任务 T450及T460两者所选择的分割来对图像的一组像素中的每一者进行分类。在一个应用范围中，根据人类皮肤色调的训练组的分割用于检测实时检测图像中 的皮肤色调。在这种应用中，分割可用于识别由相同传感器所捕捉的图像或图像序列 中的一个或多个皮肤色调区域。然后，这一识别可用于支持进一步操作，例如增强所 识别区域的表观。举例来说，可将不同压縮算法或比例应用于图像的不同部分，以便 以比所述图像的其它部分高的质量编码皮肤色调区域。在诸如面部跟踪操作等跟踪应用中，可将图像中的皮肤色调区域以实时随着所述 图像的显示区域移动的方框标记，或自动地移动照相机指向的方向以将所述区域保持 在视场内。跟踪操作可包括应用时间滤波器(例如卡尔曼滤波器(Kalmanfilter))。 在另一个应用中，可根据所检测的皮肤色彩区域调整照相机的3A操作(自动聚焦、 自动白色平衡、自动曝光)中的一者或多者。尽管阐述了牵涉皮肤色彩的应用及用途，明确地涵盖还可使用其它物体类别的测试表面。所述测试表面可表示另一类别的有生命物体，例如某一类型的水果、某一类 型的蔬菜或某一类型的植物。可根据这种测试表面的所预测传感器值实施图像分类以 拣选、评级或挑选物体。举例来说，可需要确定一种或多种质量(例如，成熟程度或损坏或疾病存在与否)，且可根据这种应用选择所述测试表面以支持所需分类。其它潜在应用包括工业用途，例如检查所处理的食品(例如，以基于表面颜色确 定焙烧或烘烤是否充分)。基于颜色的分类还具有在地质方面的应用。如本文所述方 法的其它潜在应用包括医学诊断及生物研究，其中测试表面及目标的反射光谱不需要 限定于可见范围。方法M700、 M800或M900的实施方案的其它应用可包括分析图像的分割映射以 确定已将所述图像的多少分类为在所述片段内。这一过程可用于水果分类操作中(例 如，以确定水果是否成熟)或其它食物处理操作中(例如，以确定经焙烧或烘烤的食 品是否被正确地烹调)。图17A显示根据一个实施例的设备100的方块图。传感器110包括具有许多辐射 敏感元件的成像传感器，例如CCD或CMOS传感器。传感器响应预测器120根据如 本文所述的方法M100的实施方案计算传感器110的一组所预测响应。根据如本文所 述的任务T400的一个或多个实施方案，色彩空间分割器130基于所预测传感器响应 实施颜色空间分割。传感器响应预测器120可实施为一个或多个逻辑元件阵列(例如微处理器、嵌入 式控制器或IP核心)及/或一个或多个可由这种阵列执行的指令组。色彩空间分割器 130或许可类似地实施于相同逻辑元件阵列内及/或指令组。在包括设备100的装置或 系统的背景中，这种阵列还可用于执行其它指令组，例如不直接与设备100的操作有 关的指令。举例来说，传感器响应预测器120及色彩空间分割器130可实施为执行于 个人计算机上的进程，所述个人计算机上附接有传感器110或其可经配置以对可能由 另一个装置从传感器IIO所收集的数据实施计算。图17B显示根据一个实施例的设备200的方块图。分割存储装置140存储色彩空 间的一个或多个分割，每一分割均从传感器110的相应一组所预测响应中获得。在非 限制性情况下，根据如本文所述的方法M500及/或M600的一个或多个实施方案可得 到这种分割。像素分类器150根据分割存储装置140的所述分割中的一者或多者分类 图像的像素。在非限制性情况下，可根据如本文所述的方法M700、 M800及/或M900 的一个或多个实施方案实施这种分类。显示器160显示由传感器110所捕捉的图像， 所述图像亦可根据由像素分类器150所实施的分类进行处理。设备200的其它实施方 案可包括所述传感器的光路中的一个或多个镜头。设备200的实施方案还可包括所述 传感器的光路中的红外及/或紫外阻塞滤光器。分割存储元件140可实施为一个或多个存储元件阵列，例如半导体存储器(实例 包括但不限定于静态或动态随机存取存储器(RAM)、只读存储器(ROM)、非易失 性存储器、闪速RAM)或铁电存储器、奥氏存储器、聚合物存储器或相变存储器。像 素分类器150可实施为一个或多个逻辑元件阵列(例如微处理器、嵌入式控制器或IP 核心)及/或一个或多个可由这种阵列执行的指令组。在包括设备200的装置或系统的 背景中，这种阵列还可用于执行其它指令组，例如不直接与设备200的操作有关的执行。在一个实例中，像素分类器150实施于经配置以控制蜂窝式电话的操作的移动台 调制解调器芯片或芯片组中。
如本文所述，像素分类器150及/或设备200还可经配置以对图像实施其它信号处 理操作(例如，黑色钳位、白色平衡、色彩校正、伽玛校正及/或色彩空间转换)。显 示器160可实施为LCD或OLED面板，然而可使用任一适于所述特定应用的显示器。 设备200的实施方案的范围包括便携式或手持式装置(例如数字照相机或数字摄影机) 及包括一个或多个照相机的便携式通信装置(例如蜂窝式电话)。
应理解，上文的任一色彩理论论述用于解释本文所述原理的动机且揭示所涵盖的 应用及这种原理的外延。这种论述的任一方面均不应限制任何所主张的结构或方法， 除非通过在特定权利要求中陈述所述方面明确地指示这种意图。
提供对所述实施例的上述说明以使任何所属技术领域的技术人员均能够制作或 利用本发明。所述实施例还可具有各种修改形式，且本文所提供的一般原理也可适用 于其它实施例。如本文所述的方法可实施于硬件、软件及/或固件中。所述方法的各个 任务可实施为可由一个或多个逻辑元件阵列(例如微处理器、嵌入式控制器或IP核心) 执行的指令组。在一个实例中， 一个或多个这种任务经布置以供在移动台调制解调器 芯片或芯片组内执行，所述芯片或芯片组经配置以控制个人通信装置(例如蜂窝式电 话)的各个装置的操作。
举例来说，可将一个实施例部分地或整个地实施为硬接线电路、制造于专用集成 电路中的电路配置、或者载入于非易失性存储装置内的固件程序或者作为机器可读代 码从数据存储媒体载入或载入到所述数据存储媒体内的软件程序，所述代码是可由逻 辑元件阵列(例如微处理器或其它数位信号处理单元)执行的指令。所述数据存储媒 体可以是存储元件阵列，例如半导体存储器(其可包括但不限于动态或静态RAM、 ROM、及/或闪速RAM)、或者铁电存储器、奥氏存储器、聚合物存储器、或相变存 储器；或者是诸如磁碟或光碟等碟媒体。
尽管本文提及CCD及CMOS传感器，但术语"传感器"包括具有多个光敏部位 或元件的任一传感器，包括无定形及结晶硅传感器以及使用其它半导体及/或异质结形 成的传感器。因此，本发明并不希望将实施例的范围限定为上文所示实施例，而欲赋 予其与本文以任一方式所揭示的原理及新颖特征相一致的最宽广范围。
权利要求
1. 一种表征传感器的方法，所述方法包含获得第一色彩空间中的一组位置，所述一组位置中的每一者均基于所述传感器对多个目标中一相应目标的响应，所述多个目标中的每一者具有不同的反射光谱；基于将表面的反射光谱分解为所述多个目标的反射光谱的组合而获得一组参数；基于所述组位置和参数，获得所述传感器对所述表面的预测响应。
2、 如权利要求1所述的表征传感器的方法，其中所述一组参数是系数向量，所 述系数向量的每一元素对应于所述多个目标中的一不同目标的所述反射光谱。
3、 如权利要求1所述的表征传感器的方法，所述方法包含获得所述传感器对多 个人类皮肤表面中的每一者的预测响应。
4、 如权利要求1所述的表征传感器的方法，所述方法包含获得所述传感器的多 个预测响应，所述多个预测响应中的每一者均是所述传感器对属于所需分割类别的多 个表面中的一相应表面的预测响应。
5、 如权利要求4所述的表征传感器的方法，其中第一色彩空间中的所述一组位 置中的每一者均基于所述传感器在第一照明下对所述多个目标中的一相应目标的响 应，且其中所述获得所述传感器的多个预测响应包含获得所述第一色彩空间中的第二组位置，所述第二组位置中的每一者均基于所述传感器在第二照明下对所述多个目标中的一相应目标的响应，所述第二照明 具有与所述第一照明不同的光谱功率分布；及基于所述第二组位置，获得所述传感器对所述多个表面中的每一者的预测响应。
6、 如权利要求4所述的表征传感器的方法，所述方法包含获得多组参数，所述 多组参数中的每一组均基于将所述多个表面中一相应表面的反射光谱分解为所述多个 目标的反射光谱的组合，其中所述获得所述传感器对属于所需分割类别的多个表面中的每一者的预测响 应包含针对所述多个表面中的每一者，基于所述一组位置及所述相应一组参数获得 所述传感器对所述表面的预测响应。
7、 如权利要求4所述的表征传感器的方法，所述方法包含基于所述传感器的所述多个预测响应计算第二色彩空间的分割。
8、 如权利要求7所述的表征传感器的方法，其中所述计算第二色彩空间的分割包含基于所述传感器的所述多个预测响应计算所述第二色彩空间的多个分割，每一分 割对应于亮度值范围的不同部分。
9、 如权利要求7所述的表征传感器的方法，其中所述第一色彩空间是初始色彩空间且所述第二色彩空间是亮度-色度色彩空间。
10、 如权利要求4所述的表征传感器的方法，其中所述多个预测响应包括基于所 述传感器对所述目标中的一相应目标的所模拟响应的预测响应。
11、 如权利要求10所述的表征传感器的方法，所述传感器的所述所模拟响应是 基于所述传感器的所确定的噪声特性。
12、 如权利要求4所述的表征传感器的方法，所述方法包含根据所述分割对所述 传感器捕捉到的图像的多个像素中的每一者进行分类。
13、 如权利要求12所述的表征传感器的方法，所述方法包含将所述多个像素中 的每一者分类为人类皮肤色调。
14、 一种数据存储媒体，其具有描述如权利要求1所述的表征传感器的方法的指令。
15、 一种图像处理方法，所述方法包含 接收基于传感器所捕捉的原始图像的图像；及针对所述图像的多个像素中的每一者，根据色彩空间的预定分割对所述像素进行 分类，其中所述预定分割是基于所述传感器的多个预测响应，且其中所述多个预测响应中的每一者均基于对多个目标的相同一组响应，所述一组 响应中的每一者是所述传感器对所述多个目标中的一相应目标的响应。
16、 如权利要求15所述的图像处理方法，其中所述预定分割是基于(A)多个表 面中的一相应表面的反射光谱与(B) —组反射光谱之间的关系，所述一组反射光谱 中的每一者是所述多个目标中的一相应目标的反射光谱。
17、 如权利要求15所述的图像处理方法，其中所述预定分割是基于所述预测响 应在所述色彩空间内的分布。
18、 如权利要求15所述的图像处理方法，所述方法包含 确定所述图像的场景施照体；及根据所述确定的场景施照体，从多个分割中选择所述预定分割。
19、 如权利要求15所述的图像处理方法，所述方法包含 确定所述图像的场景施照体；在所述对多个像素中的每一者进行分类之前，根据所述预定的场景施照体及参考 施照体对所述图像实施颜色适应变换；及根据所述参考施照体，从多个分割中选择所述预定分割。
20、 如权利要求15所述的图像处理方法，其中所述对多个像素中的每一者进行 分类包含根据所述像素的亮度值从多个分割中选择所述预定分割。
21、 如权利要求15所述的图像处理方法，其中所述对多个像素中的每一者进行 分类包含确定所述像素的色彩值是否在人类皮肤色调的预定范围内。
22、 如权利要求15所述的图像处理方法，所述方法包含在所述传感器随时间所捕捉的图像序列中跟踪色彩值在人类皮肤色调的预定范围内的区域。
23、 如权利要求15所述的图像处理方法，所述方法包含将所述图像显示在包括 所述传感器的手持式装置的显示器上。
24、 如权利要求15所述的图像处理方法，所述方法包含压縮所述图像，其中所 述压缩包括以第一位/像素比例编码所述图像的位于片段内的部分及以低于所述第一 比例的第二位/像素比例编码所述图像的位于片段外的部分。
25、 如权利要求15所述的图像处理方法，所述方法包含将伽玛校正应用于所述 图像，其中所述伽玛校正是基于所述传感器的所观察响应。
26、 一种数据存储媒体，其具有描述如权利要求15所述的表征传感器的方法的 指令。
27、 一种图像处理设备，其包含 图像传感器；存储元件阵列，其经配置以存储色彩空间的分割；及像素分类器，其经配置以根据所述分割对所述传感器所捕捉的图像的多个像素中 的每一者进行分类，其中所述分割是基于所述传感器的多个预测响应，且其中所述多个预测响应中的每一者均基于对多个目标的相同一组响应，所述一组 响应中的每一者是所述传感器对所述多个目标中的一相应目标的响应。
28、 如权利要求27所述的图像处理设备，其中所述分割是基于(A)多个表面中 的一相应表面的反射光谱与(B) —组反射光谱之间的关系，所述一组反射光谱中的 每一者是所述多个目标中的一相应目标的反射光谱。
29、 如权利要求27所述的图像处理设备，其中所述像素分类器经配置以确定所 述图像的场景施照体且根据所述确定的场景施照体从多个分割中选择所述分割。
30、 如权利要求27所述的图像处理设备，其中所述像素分类器经配置以根据所 述像素的亮度值从多个分割中选择所述分割。
31、 如权利要求27所述的图像处理设备，其中所述像素分类器经配置以确定所 述像素的色彩值是否在人类皮肤色调的预定范围内。
32、 如权利要求27所述的图像处理设备，其中所述像素分类器经配置以在所述 传感器随时间捕捉的图像序列中跟踪色彩值在人类皮肤色调的预定范围内的区域。
33、 如权利要求27所述的图像处理设备，所述设备包含经配置以显示所述图像 的显示器。
34、 如权利要求27所述的图像处理设备，其中所述像素分类器经配置以通过以 第一位/像素比例编码所述图像的位于片段内的部分及以低于所述第一比例的第二位/ 像素比例编码所述图像的位于片段外的部分来压縮所述图像。
全文摘要
实施例包括一种图像处理方法，所述方法包括将测试表面的反射光谱分解为一组测试目标的反射光谱的线性组合。使用在所述分解中计算出的系数向量预测成像传感器对所述测试表面的响应。多个所述所预测响应可用于涉及色彩检测及/或分类(包括人类皮肤色调检测)的各种应用。
文档编号G06T7/40GK101288103SQ200680038374
公开日2008年10月15日 申请日期2006年8月18日 优先权日2005年8月18日
发明者全舒学, 江晓云, 钱川·安德鲁·秋 申请人:高通股份有限公司