用于曝光控制的系统、方法和设备的制作方法

专利名称：用于曝光控制的系统、方法和设备的制作方法
技术领域：
本发明涉及图像处理。
背景技术：
照相机或其它成像或图像处理设备通常执行某种类型的曝光控制操作。例如， 在图像捕捉期间，可执行曝光控制操作以使场景内的表面辐射范围与所述装置内的光敏 衬底(例如，照相胶片或纸)或图像传感器(例如，CCD(电荷耦合装置)或CMOS (互 补金属氧化物半导体)阵列)的动态范围相匹配。此操作可包含变化所述设备的快门速 度及/或镜头孔径光阑。已知根据若干不同测光模式的曝光控制操作。一个此模式是画面平均曝光控 制，其中根据场景或图像的平均光亮度级来控制曝光。曝光控制的另一测光模式是中心 加权曝光控制，其中根据场景或图像的中心区域的光亮度级来对曝光控制进行加权。当正被照相的场景包含一个或一个以上人时，或当正被处理的图像是一个或一 个以上人的肖像或其它描绘时，现有曝光控制方法可产生不是最理想的结果。例如，如 果强光照射人物，那么画面平均方案可产生太亮的人物图像，如果后照人物那么可产生 太暗的人物图像。当所关注的主要物体(例如，人类脸部)偏离中心地定位时，从审美观点上看， 照片看起来可更合意。对此物体的一个有利放置是根据黄金比换句话说，在沿垂直及 /或水平方向距任一边缘约为在所述方向上图像大小的61.8%距离处。当中心加权曝光控 制方案用于以此方式组成的场景或图像时，其可产生其中所关注的主要物体被不适当地 曝光的结果。需要获得其中所关注的主要物体(例如人类脸部)被适当地曝光的图像。

发明内容
根据一个实施例的一种图像处理方法包含根据颜色空间的预定分段来对图像的 多个像素中的每一者进行分类。所述方法还包含基于对多个像素中的每一者进行分类的 结果来执行曝光控制操作。所述图像基于由传感器所捕捉的原始图像，且所述颜色空间 的预定分段基于所述传感器的多个预测响应。根据另一实施例的曝光控制设备包含传感器，其经配置以捕捉原始图像；及 像素分类器，其经配置以根据颜色空间的预定分段来对基于原始图像的图像的像素进行 分类。所述设备还包含曝光控制器，其经配置以基于像素分类来执行曝光控制操作。所 述颜色空间的预定分段基于所述传感器的多个预测响应。根据另一实施例的一种图像处理方法包含从至少两种不同颜色中选择颜色和根 据选定的颜色对图像的多个像素中的每一者进行分类。所述方法还包含基于所述对多个 像素中的每一者进行分类的结果来计算曝光控制因数和根据所述曝光控制因数改变图像 的多个像素中的每一者的亮度值。
根据另一实施例的曝光控制设备包含像素分类器，其经配置以根据从至少两种 不同颜色中选定的颜色来对图像的像素进行分类。所述设备还包含曝光控制器，其经配 置以基于像素分类来计算曝光控制因数和根据所述曝光控制因数来改变图像的多个像素 中的每一者的亮度值。


图la是根据实施例的方法N100的流程图。图lb是方法N100的实施方案N200的流程图。图2显示伽玛校正的对数函数和伽玛校正的幂函数的曲线图。图3a显示曝光控制任务U224的实施方案U320的流程图。图3b显示曝光控制任务U320的实施方案U330的流程图。图4a和4b显示根据方法N100的实施方案的序列的一个实例。图5a是根据实施例的方法N300的流程图。图5b是方法N300的实施方案N400的流程图。图6a是方法N100的实施方案N500的流程图。图6b是方法N300的实施方案N600的流程图。图7a显示可用来实施平均滤波器的卷积模板的若干形状。图7b显示减噪任务U117的实施方案U217的流程图。图8显示减噪任务U217的实施方案U317的流程图。图9显示根据实施例的设备300的方框图。图10a显示根据实施例的设备400的方框图。图10b显示设备400的实施方案410的方框图。图11a显示设备400的实施方案420的方框图。图lib显示设备400的实施方案430的方框图。
具体实施例方式各实施例包含经配置以基于预测传感器响应来执行曝光控制操作的系统、方法 和设备。各实施例还包含经配置以基于选定的颜色来执行曝光控制操作的系统、方法和 设备。本文所述的实施例的应用包含自适应曝光校正和按优先序排列肤色的自适应曝 光控制。例如，可应用至少某些实施例来使图像中光亮度级或多或少在有效范围中间的 最重要区域能够再现。明确地表示本文中所揭示的原理可结合2005年8月18日提出申请的 名称为“用于图像处理、用于颜色分类和用于肤色检测的系统、方法和设备 (SYSTEMS, METHODS, AND APPARATUS FOR IMAGE PROCESSING, FOR COLORCLASSIFICATION, AND FOR SKIN COLOR DETECTION) ” 的共同让与共同未
决美国专利申请案第11/208,261号中所揭示的操作、元件和布置使用，且所述申请案的 全部揭示内容皆以引用的方式并入本文中，就像本文中所清晰地再现一样。图la显示根据实施例的曝光控制方法N100的流程图。任务U110根据颜色空间的预定分段来对图像il50 (图4a)的像素进行分类。任务U120基于像素分类来执行曝 光控制操作。图4a中的图像il50基于由成像传感器(例如，CCD或CMOS阵列)所捕捉的 原始图像illO。可通过执行处理操作(例如，去马赛克处理、白平衡、黑钳位、伽玛校 正、颜色校正及/或颜色转换)从原始图像illO获得图像il50。在所并入的美国专利申 请案第11/208,261号中描述了此操作的实例、包含所述操作的布置和经配置以执行所述 操作的设备。在某些情况下，可在成像传感器内执行一个或一个以上此操作。至少某些处理操作可包含(A)计算通过图像的分割来描述的块或区的参数平均 值，和(B)基于一个或一个以上所述平均值来计算要应用于图像的总值。例如，将原始 图像illO处理成为图像il50可包含执行自动聚焦、曝光控制及/或白平衡操作，一个或 一个以上所述操作可根据图像的分割来执行。原始图像illO的处理对于获得其像素可在随后任务中被可靠地分类的图像il50 来说可是重要的。例如，可需要或必须执行初步曝光控制操作以获得图像il50。此曝 光控制操作可以是画面平均或中心加权，且其可通过计算要应用于图像的每一像素(例 如，应用于RGB (红、绿、蓝)值的每一颜色值或应用于YCbCr (亮度和色度)值的亮度 值)的增益因数来执行。在某些配置中，曝光控制操作包含根据如以上所述的图像分割来计算增益因 数。在此情况下，操作可包含针对图像中或图像的特定区域(例如，中心)中的每一块 计算平均亮度值，且基于一个或一个以上所述平均值(例如，基于所述平均值的平均值) 来计算增益因数。可在执行伽玛校正操作之前计算增益因数，在此情况下可选择增益因 数以跨越图像或选定的区域将平均亮度级比例缩放为256级中的大约50级(或其对等程 度)。另一选择是，可在执行伽玛校正操作之后计算增益因数，在此情况中，可选择增益 因数以跨越图像或选定的区域将平均亮度级比例缩放为256级中的大约110级(或其对等 程度)。处理操作还可包含(例如)在2005年11月8日提出申请的名称为 “经由依靠传感器的肤色的按优先序排列肤色的自动聚焦控制(SKIN COLOR
PRIORITIZEDAUTOMATIC FOCUS CONTROL VIA SENSOR-DEPENDENT SKIN COLOR)”的共同让与美国临时专利申请案第60/734,992号中所述的聚焦控制操作。在 某些情况下，可需要根据曝光控制及/或聚焦控制操作的结果来重新配置照相机或其它 成像设备和根据新的配置来重新捕捉原始图像illO。如已并入本文中的美国专利申请案第11/208,261号中所揭示，处理原始图像 illO以获得图像il50可包含执行伽玛校正操作。此操作可经配置以校正初级颜色空间中 的像素颜色值例如，通过校正RGB像素值中的每一分量。另一选择是，此操作可经配 置以校正亮度-色度颜色空间中的像素颜色值例如，通过校正YCbCr像素值中的亮度分量。伽玛校正操作通常基于输入值的幂函数。在一个实例中，根据公式y = mx 从 对应输入值x计算输出值y。在此实例中，g表示伽玛校正因数(一个典型的值是2.2)， 且m表示可根据所需输出范围而选择的映射常数。代替常规幂函数，一实施例可经配置而根据对数函数来执行伽玛校正操作。包含此函数的公式的一个实例是y = mlog x,其中m表示可根据所需输出范围而选择的映射 常数。特定而言，使用底为2的对数的此函数通常可以比幂函数少的计算成本来计算。 图2显示每一类型函数的实例的曲线图，其中对数函数是y = 3210&X，且幂函数是y = 2550'55x°'45o在某些情况下，可通过用一个或一个以上线性或多项式函数来约计伽玛校正 函数的全部或部分来减少伽玛校正操作的计算复杂度，及/或由此操作所耗费的处理器 周期及/或存储空间，例如在分段线性实施方案中。 如已并入本文中的美国专利申请案第11/208,261号中所揭示，可需要将图像从 一个颜色空间转换为另一颜色空间。例如，可需要将图像从传感器的自然颜色空间(例 如，RGB或sRGB)转换为例如YCbCr的颜色空间以用于处理、编码及/或压缩。可应 用转换矩阵以执行此转换，如在以下公式中
-+0.289+ 0.587+ 0.114^iRGBY
-0.169-0.441+ 0.500GsKGB=cb+ 0.500-0.418-0.081cr]也可使用若干类似的用于在初级颜色空间(例如，RGB、sRGB)与亮度-色 度空间(例如，YCbCr、YPbPr)之间进行转换的已知矩阵(例如，ITU-R BT.601、 ITU-RBT.709)中的任一者或此矩阵的对等物。在其它实例中，可使用经简化转换矩阵，如在以下公式中
R
0-l +iG-+1-1 0B此矩阵的一个潜在优点是其可在无任何相乘运算的条件下应用，因为对于根据 实施例的方法的至少某些定点实施方案，因数1/2和1/4可被实施为分别向右手边移位一 个和两个位。以下公式描述可使用移位来执行的另一颜色空间转换Y = R/4+G/2+B/4 ；Cb = B-Y ；Cr = R-Y。在其它实例中，以上两个经简化转换中的任一者可经修改以根据公式计算Y Y = (2XR+4XG+G+B)/8。任务U110根据颜色空间的预定分段来对图像il50的像素进行分类。可通过指示 所需颜色范围(例如，人类肤色)的单一边界来描述所述分段。在此情况中，任务U110 根据每一像素的颜色值是在边界内还是在边界外来将所述每一像素分别指派给“匹配” 类和“非匹配”类中的一者。根据设计选择可将具有正好在边界上的颜色值的像素(如 果存在)指派给一个类或其它类。另一选择是，可通过多个边界来描述分段区域。特定而言，任务U110可使用 CbCr平面中的不同分段边界(例如，椭圆)来描述不同亮度级范围内的单一分段区域， 如在所并入的美国专利申请案第11/208,261号中所描述。在此情况下，任务U110根据 每一像素的CbCr值是在适当边界内还是在其外来将所述每一像素分别指派给匹配类和非 匹配类中的一者。
8
在典型的实施方案中，任务U110(图la)经配置以产生指示每一像素的分类结果 的映射il60(图4a)。像素分类映射il60可以是二元的，以便映射中的每一元素均具有指 示图像il50的对应像素的颜色值是否在所需分段区域内(换句话说，指示所述像素已被 指派的类)的二元值。另一选择是，可执行任务U110以产生其元素可具有非二元值的像素分类映射。 在此映射的一个实例中，每一元素指示图像il50的对应像素的颜色值与对应分段准则之 间的匹配程度。所述匹配程度可基于像素的颜色值与所需颜色值或范围之间的差异。例 如，此差异可用来计算匹配程度或用来从表中检索匹配程度。另一选择是，可通过对应像素值落在两个或两个以上分段边界中的哪一者内来 指示匹配程度，其中所述边界可描述同心区域。在此情况下，任务U110可将每一像素指 派给多于两个类中的一者，每一类对应于不同的分段区域和对应的匹配程度。可需要配置任务U110以产生具有比图像il50少的元素的像素分类映射。任务 U110可经配置以通过将对应于图像il50的多于一个像素的区域的颜色值分类来产生所述 映射。所述区域可以是重叠或不重叠。在一个实例中，任务U110经配置以对3x3个像 素的不重叠区域的平均颜色值进行分类。在此情况中，所得像素分类映射仅具有约为图 像il50中的元素九分之一的元素。在另一实例中，使用5x5个像素的不重叠区域。在经配置以产生具有比图像il50少的元素的像素分类映射的替代布置中，处理 原始图像illO以获得图像il50包含将图像调整为较小大小，以便对较小图像执行像素分 类任务U110。在此情况中，可需要仅出于处理目的而使用经减小大小的图像，且对原始 大小的图像执行所得曝光控制操作。可需要任务U110来根据基于用于捕捉原始图像il 10的成像传感器的一个或一个 以上特性的分段来执行像素分类。在所并入的美国专利申请案第11/208,261中描述了传 感器特性，所述申请案也揭示经配置以获得及/或应用基于对人类肤色的一个或一个以 上预测传感器响应集合的分段的系统、方法和设备。可需要从多于一个可供选择中选择应用于任务U110中的分段。例如，任务 U110可经配置以根据原始图像illO中所描绘的场景的光源来选择若干不同分段中的一 者。所并入的美国专利申请案第11/208,261号揭示了识别场景光源的技术。任务U120基于像素分类映射执行曝光控制操作。可通过在图像捕捉期间及/ 或在处理所捕捉的图像期间计算并应用一个或一个以上曝光控制因数来实施曝光控制操 作。任务U120可经配置以对图像il50、对随后图像、及/或对多于一个的随后图像(例 如，在视频流中)执行曝光控制操作。在一个实例中，任务U120选择、运算或以其它方式计算可在图像捕捉期间用来 控制设备的各方面(例如，快门速度及/或成像传感器(例如，CCD或CMOS阵列)的 灵敏度、镜头光阑或可变光圈的孔径光阑及/或AGC(自动增益控制)电路的增益)的曝 光控制因数。另一选择是或另外地，曝光控制操作可包含控制设备的闪光灯或LED (发 光二极管)的闪光照明操作。闪光照明操作也可基于(例如)在聚焦控制操作期间所获 得的差异信息。在另一实例中，任务U120选择、运算或否则计算可在图像处理期间使用的曝光 控制因数，例如经应用以改变图像总光亮度级的增益因数。可执行此操作以增强图像特定部分(例如，人类肤色或另一选定颜色)的显现及/或使图像中的亮度级范围与所需动 态范围(例如显示器的动态范围)相匹配。此类型的曝光控制操作可包含变化应用于图 像的颜色通道或亮度通道的增益因数。任务U120可经配置以根据图像的分割来计算曝光控制因数。图lb显示包含曝光 控制任务U120的此实施方案U220的方法N100的实施方案N200的流程图。任务U220 包含基于像素分类映射对图像il50的块进行分类的任务U222和基于块分类执行曝光控制 操作的任务U224。任务U222对通过分割来描述的图像il50的块进行分类。在典型的实例中，所述 分割根据描述不重叠块(每一块具有约100x100像素的大小)的8x8或16x16阵列的栅格 来划分图像il50。然而，可使用任何其它栅格或块大小。每一块不需要具有相同大小， 且包含重叠块的分割也是可能的。对于其中使用分割来从原始捕捉图像获得图像il50的 情况来说，任务U222可经配置以使用相同分割。任务U222根据像素分类映射的对应区域中所指示的类成员资格来对每一块进行 分类。对于其中每一像素均指派给匹配类或非匹配类中的任一者的典型情况来说，任务 U222经配置以通过确定已指派给匹配类的每一块的像素数目(或比例)和将所述值与阈 值作比较来对每一块进行分类。将所述值超过阈值的块指派给两个类中的一者(“主” 类)且将所述值小于阈值的块指派给其它类(“非主”类)。可根据设计选择将所述值 等于阈值的块(如果存在)分类为主类或非主类。阈值的典型值是二分之一(例如，块 中的像素总数目的二分之一)，尽管可使用任何其它适合值，且即使使用小于二分之一的 阈值也可将块分类为主类。在其它实施方案中，可使用多于一个阈值以便可将块指派给相关主类的多于两 个类中的一者。在其中可将像素指派给多于两个分段类中的一者的情况中，任务U222可 经配置以将匹配程度计算为块中属于两个或两个以上所述类中的每一者的像素数目(或 比例)的加权组合，且将一个或多个阈值与此程度作比较。任务U224基于块分类计算曝光控制因数。在典型的实例中，任务U224经配置 以计算基于主块的一个或一个以上特性(例如，主块的平均亮度值)的曝光控制因数。在 其它实施方案中，任务U224可经配置以计算也是基于非主块的一个或一个以上特性的曝 光控制因数。图3a显示包含任务U322、U324和U326的任务U224的实施方案U320的流程 图。任务U322计算每一主块的平均亮度值。通常，将此平均值计算为块中像素的平均 (例如，平均数或中值)Y值，尽管其也可从RGB像素值来计算。在其它实施方案中， 任务U322经配置还计算一个或一个以上非主块中的每一者的平均亮度值。在此情况中， 任务U322可经配置以计算图像的特定区域中(例如，中心)及/或特定非主类中的每一 非主块的平均亮度值。另一选择是，任务U322可经配置以计算图像中每一块的平均亮度 值。基于主块的平均亮度值，任务U324计算总平均亮度值。在典型的实例中，任 务U324经配置以将总平均亮度值计算为主块的平均亮度值的平均值(例如，平均数或中 值)。在其它实施方案中，任务U324可经配置还基于非主块的平均亮度值来计算总平均亮度值。例如，任务U324可经配置以根据以下两个公式中的一者计算总平均亮度值
权利要求
1.一种图像处理方法，所述方法包括根据颜色空间的预定分段对图像的多个像素中的每一者进行分类；及 基于所述对多个像素中的每一者进行分类的结果，执行曝光控制操作， 其中所述图像基于由传感器捕捉的原始图像，且 其中所述颜色空间的所述预定分段基于所述传感器的多个预测响应。
2.如权利要求1所述的图像处理方法，其中所述颜色空间的所述预定分段基于所述传 感器对人类皮肤表面的多个预测响应。
3.如权利要求1所述的图像处理方法，其中所述根据预定分段对多个像素中的每一者 进行分类包含根据所述预定分段与所述像素的颜色值之间的关系将所述多个像素中的每 一者指派给第一像素类和第二像素类中的一者，且其中所述执行曝光控制操作包含根据(A)所述图像的块中被指派给所述第一像素类 的像素数目与(B)阈值之间的关系将所述图像的多个块中的每一者指派给第一块类和第 二块类中的一者，且其中所述执行曝光控制操作包含基于指派给所述第一块类的所述块的平均亮度值来 计算曝光控制因数。
4.如权利要求1所述的图像处理方法，其中所述执行曝光控制操作包含基于所述对多 个像素中的每一者进行分类的结果计算曝光控制因数和根据所述曝光控制因数来改变所 述图像的多个像素中的每一者的亮度值。
5.如权利要求1所述的图像处理方法，其中所述执行曝光控制操作包含根据所述对多个像素中的每一者进行分类的结果，将所述图像的多个块中的每一者 指派给多个块类中的一者；且基于所述块类中的一者的所述块的平均亮度值，计算曝光控制因数。
6.如权利要求5所述的图像处理方法，其中所述执行曝光控制操作包含根据所述曝光 控制因数来改变所述图像的多个像素中的每一者的亮度值。
7.如权利要求1所述的图像处理方法，其中所述对所述图像的多个像素中的每一者进 行分类包含计算像素分类映射的元素值，且其中所述方法包含对所述像素分类映射执行减噪操作，且 其中所述执行曝光控制操作基于所述经减噪的像素分类映射。
8.一种数据存储媒体，其具有描述如权利要求1所述的图像处理方法的机器可执行指令。
9.一种设备，其包括传感器，其经配置以捕捉原始图像；像素分类器，其经配置以根据颜色空间的预定分段来对基于所述原始图像的图像的 像素进行分类；及曝光控制器，其经配置以基于所述像素分类执行曝光控制操作， 其中颜色空间的所述预定分段基于所述传感器的多个预测响应。
10.如权利要求9所述的设备，其中所述颜色空间的所述预定分段基于所述传感器对 人类皮肤表面的多个预测响应。
11.如权利要求9所述的设备，其中所述像素分类器经配置以根据所述预定分段与所述像素的颜色值之间的关系来将所述多个像素中的每一者指派给第一像素类和第二像素 类中的一者，且其中所述曝光控制器经配置以根据(A)所述图像的块中指派给所述第一像素类的像 素的数目与(B)阈值之间的关系来将所述图像的多个块中的每一者指派给第一块类和第 二块类中的一者，且其中所述曝光控制器经配置以基于指派给所述第一块类的所述块的平均亮度值来计 算曝光控制因数。
12.如权利要求9所述的设备，其中所述曝光控制器经配置以基于所述像素分类来计 算曝光控制因数且根据所述曝光控制因数来改变所述图像的多个像素中的每一者的亮度值。
13.如权利要求9所述的设备，其中所述曝光控制器包含图像块分类器，其经配置以 根据所述像素分类来将所述图像的多个块中的每一者指派给多个块类中的一者，且其中所述曝光控制器包含计算器，所述计算器经配置以基于所述块类中的一者的所 述块的平均亮度值来计算曝光控制因数。
14.如权利要求13所述的设备，其中所述曝光控制器经配置以根据所述曝光控制因数 来改变所述图像的多个像素中的每一者的亮度值。
15.如权利要求9所述的设备，其中所述像素分类器经配置以计算像素分类映射的元 素值，且其中所述设备经配置以对所述像素分类映射执行减噪操作，且其中所述曝光控制器经配置以基于所述经减噪的像素分类映射来执行所述曝光控制 操作。
16.如权利要求9所述的设备，其中所述设备包括照相机。
17.如权利要求9所述的设备，其中所述设备包括无线通信装置。
18.—种图像处理方法，所述方法包括从至少两种不同颜色中选择颜色；根据所述选定的颜色对图像的多个像素中的每一者进行分类；及基于所述对多个像素中的每一者进行分类的结果来计算曝光控制因数；及根据所述曝光控制因数来改变所述图像的多个像素中的每一者的亮度值。
19.如权利要求18所述的图像处理方法，其中所述从至少两种不同颜色中选择颜色包 含从所述图像中选择所述颜色。
20.如权利要求18所述的图像处理方法，其中所述方法包含基于所述曝光控制因数在 图像捕捉操作期间控制成像设备的操作。
21.如权利要求18所述的图像处理方法，其中所述计算曝光控制因数包含根据所述对多个像素中的每一者进行分类的结果，将所述图像的多个块中的每一者 指派给多个块类中的一者；及基于所述块类中的一者的所述块的平均亮度值来计算所述曝光控制因数。
22.—种数据存储媒体，其具有描述如权利要求18所述的图像处理方法的机器可执行 指令。
23.—种设备，其包括像素分类器，其经配置以根据从至少两种不同颜色中选定的颜色来对图像的像素进 行分类；及曝光控制器，其经配置以基于所述像素分类来计算曝光控制因数且根据所述曝光控 制因数来改变所述图像的多个像素中的每一者的亮度值。
24.如权利要求23所述的设备，所述曝光控制设备包含经配置以从所述图像获得所述 选定颜色的颜色选择器。
25.如权利要求23所述的设备，其中所述曝光控制器经配置以基于所述曝光控制因数 在图像捕捉操作期间控制成像设备的操作。
26.如权利要求23所述的设备，其中所述曝光控制器经配置以根据所述像素分类将所 述图像的多个块中的每一者指派给多个块类中的一者，及其中所述曝光控制器经配置以基于所述块类中的一者的所述块的平均亮度值来计算 所述曝光控制因数。
27.如权利要求23所述的设备，其中所述设备包括照相机。
全文摘要
各实施例包含其中根据颜色对图像的像素进行分类的图像处理方法。根据所述像素分类执行曝光控制操作。在一个实例中，基于预测传感器响应根据颜色空间的预定分段对所述像素进行分类。在另一实例中，根据从至少两种颜色中选定的颜色对所述像素进行分类。
文档编号G06K9/46GK102017608SQ200780007696
公开日2011年4月13日 申请日期2007年3月19日 优先权日2006年3月17日
发明者全舒学, 江晓云, 钱川·安德鲁·秋 申请人:高通股份有限公司