用于基于肤色检测来进行相机测定的系统和方法

专利名称：用于基于肤色检测来进行相机测定的系统和方法
技术领域：
本发明总体上涉及摄影术，更具体地说，涉及用于基于肤色(flesh tone)检测来进行相机测定(metering)的系统和方法。
背景技术：
数字相机的曝光设置可以基于点测定(spot metering)。典型的点测 定技术包括对相机的整个视场中的一些或全部视场的照明等级进行监 测。将这些照明等级进行综合，以评估照明条件并且调整曝光设置，诸 如闪光灯(flash)强度(如果要使用闪光灯)、f制光圈(f-stop)、快门速 度等。在对照明等级进行综合的期间，相机视场中的一个固定区域或多 个区域被赋予更大的权重。例如，根据相机用户倾向于将照片的希望目 标设置于相机视场中央的理论，对场景的中央矩形部分可以赋予比该视 场其余部分大的权重。
存在一些其中点测定无效的情况。例如，如果用户希望拍摄某人的 照片而在所测定的点存在较暗对象(subject matter)(例如，位于为照片 摆好姿势的该人之后的较暗树叶)，则相机会感测到该照片是暗场景并由 此设置曝光设置。结果，人的面部可能会曝光过度。类似的是，如果在 所测定的点存在较亮对象，则面部可能会曝光不足。在这两种情况下， 相对而言并不重要的细节(例如，此前示例中的叶子)可能会被很好地 成像，而在所得到的照片中的面部可能太亮(例如，看起来"褪色 (washed-out)"的样子)或太暗。区域测定技术受相同问题的困扰。
另外，多数数字相机采用模拟增益调整，以使得被成像场景"充满" 模拟-数字转换器(ADC)的动态范围。许多ADC出于成本、灵敏度、 尺寸以及速度的原因而具有有限范围(例如，大约是一个8比特字)。如 果这种测定导致将面部成像为较暗或较亮区域，则面部细节倾向于在ADC的范围中被动态压縮。具体来说，点测定技术、区域测定技术以及 组合点及区域的测定技术通常不能动态地将面部设置在ADC范围的中 央，这是因为当拍摄一个或更多个人的照片时，(多个)面部可能不会处 于用于点测定的点中、和/或(多个)面部可能没有占据能够有效地影响 区域测定的足够大的区域、和/或相机选择了错误的测定方法(如果这对 于相机可用)。因而，这种测定可能不能为相机视场中的人的高质量成像 来调整曝光设置。有时使用后处理(post processing)来改进照片的动态 压縮部分，但是一旦因为压縮而丢失数据，则对比度通常不可恢复，而 且已知的是，后处理会引入噪声。
一些相机允许手动调整曝光设置，以最佳化面部细节。但是大部分 相机用户并不熟悉应当采取什么动作来手动调整相机设置。

发明内容
为了提高照片质量，在本领域中，存在对能够得到出现在照片中的 人的改进图像质量的用于自动化相机测定的系统和方法的需要。根据本 发明的特定方面，将肤色检测用于驱动相机测定，以使得出现在照片中 的面部及人具有高度细节和对比度。
根据本发明的一个方面，提供了一种用于调整数字相机的曝光设置 的方法，该方法包括以下步骤在所述相机的视场的至少一部分视场中 搜索具有肤色的多个像素；分析多个肤色像素以识别出至少一个肤色点； 对所述相机的视场进行点测定，使得为至少一个肤色点赋予比所述视场 的其余肤色点大的权重；以及基于所述点测定来调整所述曝光设置。
根据该方法的一个实施方式，所述分析多个肤色像素的步骤包括以 下步骤根据所述多个肤色像素彼此之间的相对接近度来对所述多个肤 色像素进行分组。
根据该方法的一个实施方式，所述肤色点的区域具有至少占阈值百 分比的肤色像素。
根据一个实施方式，该方法还包括以下步骤在进行所述点测定之
前縮减所述肤色点的尺寸。根据一个实施方式，该方法还包括以下步骤针对各个像素而将对
所述视场进行成像的传感器的RGB输出转换成基于坐标的颜色值。
根据该方法的一个实施方式，所述肤色由基于坐标的颜色空间(color
space)的预定部分来限定。
根据该方法的一个实施方式，所述基于坐标的颜色空间的预定部分
是椭圆的。
根据该方法的一个实施方式，所述基于坐标的颜色空间的椭圆部分 由一组矩形逼近。
根据一个实施方式，该方法还包括以下步骤从较暗向较亮重复地 调整所述曝光设置，直到检测到肤色饱和为止。
根据一个实施方式，该方法还包括以下步骤在检测到肤色饱和时，
对所述重复调整的至少一部分进行反转。
根据本发明的另一方面，提供了一种相机，该相机包括传感器， 该传感器用于对视场进行成像，并且输出表示了多个像素的照度 (luminance)及颜色的信号；以及控制器，该控制器通过以下步骤来调 整所述相机的曝光设置识别出哪些像素具有肤色；分析这些肤色像素 以识别出至少一个肤色点；对所述视场进行点测定以使得为至少一个肤 色点赋予比所述视场的其余肤色点大的权重；以及基于所述点测定来调 整所述曝光设置。
根据该相机的一个实施方式，所述控制器执行逻辑指令以调整所述 曝光设置。
根据该相机的一个实施方式，所述控制器分析多个肤色像素的步骤 包括以下步骤根据所述多个肤色像素彼此之间的相对接近度来对所述 多个肤色像素进行分组。
根据该相机的一个实施方式，所述肤色点的区域具有至少占阈值百 分比的肤色像素。
根据该相机的一个实施方式，所述控制器在进行点测定之前縮减所 述肤色点的尺寸。
根据该相机的一个实施方式，所述传感器的输出具有针对各个像素的RGB值集，并且所述控制器针对各个像素而将传感器的RGB输出转 换成基于坐标的颜色值。
根据该相机的一个实施方式，所述肤色由基于坐标的颜色空间的预 定部分来限定。
根据该相机的一个实施方式，所述控制器从较暗向较亮重复地调整 所述曝光设置，直到检测到肤色饱和为止。
根据该相机的一个实施方式，在检测到肤色饱和时，所述控制器对 所述重复调整的至少一部分进行反转。
根据该相机的一个实施方式，该相机形成其具有通过通信网络而建 立呼叫的无线电电路的移动无线终端的一部分。
根据以下说明并参照附图，本发明的这些和其它特征将变得更加清 楚。在说明和附图中，详细公开了本发明的具体实施方式
，作为对可以 实现本发明的原理的一些方式的指示，但是可以理解的是，本发明在范 围上并不受相应限制。相反，本发明涵盖落入所附的权利要求的精神和 条款内的全部变化例、修改例以及等同物。
根据一个实施方式所描述和/或例示的多种特征，可以通过相同方式 或者类似方式而被用于一个或更多个其它实施方式中，和/或与其它实施 方式的特征相组合而使用，或代替其它实施方式的特征而使用。
应当强调的是，当在本说明书中使用时，术语"包括 (comprises/comprising)"用于表明所述特征、整件、步骤或组件的存在， 但是并不排除一个或更多个其它特征、整件、步骤、组件或它们组合的 存在和增加。


图1是根据本发明一个实施方式的具有相机组件(camera assembly) 并作为示例性电子装置的移动电话的示意性正视图； 图2是图1的移动电话的示意性后视图； 图3是图1的移动电话的操作部分的示意性框图； 图4是图1的移动电话可以工作于其中的通信系统的示意图；图5是表示根据本发明的相机测定的示例性方法的流程图；以及
图6是表示图5的方法中的肤色像素识别步骤及肤色像素分析步骤
的流程图。
具体实施例方式
现在将参照附图对本发明进行描述，其中，相同的附图标记始终表 示相同的单元。可以理解的是，附图不需要按照比例绘制。
本发明的各个方面涉及摄影术。这里描述的技术可应用于利用数字 静物相机来拍摄照片和利用数字视频相机来拍摄视频。可以理解的是， 一些数字相机能够拍摄静物图像以及视频。如果胶片相机配备有如这里 描述的用于检测肤色的合适传感器，则这里描述的技术还可以与这种相 机一起使用。
这里描述的技术可以通过包括有相机的任何类型的电子装置来执 行。例如，可以根据本发明来构造专用静物和/或视频数字相机。
作为另一示例，许多移动电话包括可以根据本发明而构造的相机。 作为示例，可以在包括有相机组件的移动电话的背景下进行以下说明。 但是可以理解的是，本发明并不限于移动电话，而可以涉及任何类型的 合适电子设备，其示例包括专用相机、包括有相机的媒体播放器、包括 有相机的游戏装置以及包括有相机的计算机。这里出于描述的目的，可 互换的术语"电子设备"和"电子装置"包括便携式无线通信设备。术 语"便携式无线通信设备"(此后称为"移动无线终端")包括诸如移动
电话、寻呼机、通信装置、电子记事本、个人数字助理(PDA)、智能手 机、便携式通信装置等的全部设备。
首先参照图1到图3，图1到图3示出了电子装置10。电子装置IO 包括相机组件12，相机组件12被设置成基于相机视场中存在的肤色来进 行测定并且调整曝光设置。稍后将对相机组件12的附加细节和操作进行 更详细的描述。这里描述的用于测定的技术可以被具体实施为驻留在电 子装置10中并由电子装置10执行的可执行代码。在一个实施方式中， 相机组件12和/或电子装置10可以包括其执行存储在计算机或机器可读介质上的程序的控制器或处理器。该程序可以是独立软件应用程序，或
者形成其执行与电子装置10有关的附加任务的软件应用程序的一部分。 所例示的实施方式的电子装置是移动电话，并被称为移动电话10。 所示的移动电话10具有"砖形"或"块形"外形设计的外壳，但是可以
理解的是，可以利用其它类型外壳，诸如翻盖式外壳(例如，"翻"开式 外壳)或滑盖式外壳。
移动电话10可以包括显示器14。显示器14向用户显示诸如操作状 态、时间、电话号码、联系人信息、各种导航菜单等的信息，这些信息 使得用户能够利用移动电话10的各种特征。显示器14还可用于可视地 显示移动电话10接收到的内容和/或从移动电话10的存储器16 (图3) 获取的内容。显示器14可用于向用户呈现图像、视频以及其它图片，诸 如照片、移动电视内容以及与游戏相关的视频。而且，显示器14可以用 作相机组件12的电子取景器(viewfmder)。
键区18提供各种用户输入操作。例如，键区18通常包括用于输入 诸如电话号码、电话列表、联系人信息、注释等的字母数字信息的字母 数字键。另外，键区18通常包括特殊功能键，诸如用于发起或应答呼叫 的"呼叫发送"键和用于结束或"挂断"呼叫的"呼叫结束"键。特殊 功能键还可以包括菜单导航和选择键，其用于通过显示在显示器14上的 菜单来进行导航。特殊功能键可以包括视听内容回放键，以开始、停止 和暂停回放，跳过或重复音轨等。与移动电话相关的其它键可以包括音 量键、静音键、电源开/关键、web浏览器启动键等。 一些键或全部键可 以作为软键与显示器一起使用。还可以将键或与键类似的功能具体实施 为与显示器14相关的触摸屏。当激活相机组件12时，可以使用来自键 区18的键来控制相机组件12的操作。例如，这些键中的一个可以用作 快门键，而其它键可以控制相机组件的变焦(zoom)。
移动电话10包括呼叫电路，该呼叫电路使得移动电话10能够与被 叫/呼叫装置(通常是另一移动电话或固定电话)建立呼叫和域交换信号。 然而，被叫/呼叫装置不必是另一电话，而可以是诸如互联网web服务器、 内容提供服务器等的一些其它装置。呼叫可以采用任何合适的形式。例如，该呼叫可以是通过蜂窝电路交换网络而建立的传统呼叫，或者是通
过蜂窝网络的分组交换能力或通过替换分组交换网络(诸如WiFi、A^!Max 等)而建立的互联网语音传输协议(VoIP)呼叫。另一示例包括通过蜂 窝或替换网络而建立的视频使能呼叫。
移动电话10可以被设置成发送、接收和/或处理数据，诸如文本消 息(例如，俗称为"SMS"，其代表简单消息服务)、电子邮件消息、多 媒体消息(例如，俗称为"MMS"，其代表多媒体消息服务)、图像文件、 视频文件、音频文件、铃声、流式音频、流式视频、数据馈送(data feed) (包括播客(podcast))等。对这些数据的处理可以包括将数据存储在存 储器16中、执行允许用户与数据进行交互的应用、显示与数据相关的视 频和/或图像内容、输出与数据相关的音频声音等。
图3示出了移动电话10的功能性框图。为了简洁，这里并不对移动 电话10的一般传统特征进行详细的描述。移动电话IO包括主控制电路 20，主控制电路20被设置成执行对移动电话10的功能和操作的整体控 制。控制电路20可以包括诸如CPU、微控制器或微处理器的处理装置 22。处理装置22执行存储在控制电路20内的存储器(未示出)中和/或 存储在独立存储器(诸如存储器16)中的代码，以执行移动电话10的操 作。存储器16例如可以是缓存、闪存、硬盘驱动器、可移除介质、易失 性存储器、非易失性存储器或其它合适装置中的一个或更多个。
继续参照图1到3，移动电话10包括连接到无线电电路26的天线 24。如传统的一样，无线电电路26包括用于经由天线24来发射和接收 信号的射频发射机和接收机。无线电电路26可以被设置成在移动通信系 统中工作，并可用于发送和接收数据和/或视听内容。与移动无线网络和/ 或广播网络交互的接收机类型包括但不限于GSM、 CDMA、 WCDMA、 GPRS、 MBMS、 WiFi、 WiMax、 DVB-H、 ISDB-T等以及这些标准的高 级版本。
移动电话10还包括用于处理由无线电电路26发射的及从无线电电 路26接收到的音频信号的声音信号处理电路28。如传统的一样，声音处 理电路28连接有扬声器30和麦克风32，扬声器30和麦克风32使得用户能够经由移动电话IO收听和讲话。无线电电路26和声音处理电路28 分别连接到控制电路20，以执行整体操作。可以将音频数据从控制电路 20传送至声音信号处理电路28，以向用户回放。音频数据例如可以包括 来自由存储器16存储并由控制电路20获取的音频文件的音频数据，或 包括诸如按照流式音频数据形式而从移动无线服务接收到的音频数据。 声音处理电路28可以包括任何合适的缓存、解码器、放大器等。
显示器14可以通过视频处理电路34连接到控制电路20，视频处理 电路34将视频数据转换成用于驱动显示器14的视频信号。视频处理电 路34可以包括任何合适的缓存、解码器、视频数据处理器等。视频数据 可以由控制电路20生成、从存储在存储器16中的视频文件中获取、从 由无线电电路28接收到的入向视频数据流中得到、或通过任何其它合适 的方法获得。
移动电话10还可以包括一个或更多个I/O接口 36。1/0接口 36可以 采用典型的移动电话I/O接口的形式，并且可以包括一个或更多个电连接 器。如典型的一样，(多个)1/0接口 36可用于将移动电话IO连接到电 池充电器，以对移动电话10内的电源单元(PSU) 38的电池进行充电。 另外，或作为替换方式，(多个)I/O接口 36可用于将移动电话10连接 至具有与移动电话10的有线接口的耳机组件(例如，个人免提(PHF) 装置)。此外，(多个)1/0接口36可用于经由数据线缆而将移动电话10 连接至个人计算机或其它装置，以交换数据。移动电话10可以在连接至 车载电源适配器或电插座电源适配器时经由(多个)1/0接口 36来接收 工作电力。
移动电话10还可以包括用于执行定时功能的定时器40。这些功能 可以包括对通话的持续时长进行计时、生成时间和日期戳的内容等。移 动电话10还可以包括位置数据接收机42,诸如全球定位系统(GPS)接 收机、伽利略卫星系统接收机等。
移动电话10还可以包括诸如红外线收发机和/或RF适配器(例如， 蓝牙适配器)的本地无线接口 44，用于与附件、另一移动无线终端、计 算机或另一装置建立通信。例如，在其中该耳机组件具有相应的无线接口的实施方式中，本地无线接口 44可以可操作地将移动电话10连接到 该耳机组件(例如，PHF装置)。
另外参照图4，移动电话10可以被设置成作为通信系统46的一部 分而工作。系统46可以包括具有服务器50 (或多个服务器)的通信网络 48，该服务器用于对由移动电话10发起的呼叫或目的地为移动电话10 的呼叫进行管理、向移动电话IO发送数据、以及执行任何其它支持功能。 服务器50经由传输介质与移动电话10通信。传输介质可以是任何合适 的装置或组件，例如包括通信塔(例如，蜂窝塔)、另一移动电话、无线 接入点、卫星等。网络的一部分可以包括无线传输路径。网络48可以支 持多个移动电话10以及其它类型的终端用户装置的通信活动。可以理解 的是，服务器50可以被设置为用于执行服务器功能的典型计算机系统， 并且可以包括被设置成执行包含了实现服务器50的多个功能的逻辑指令 的软件的处理器和存储这种软件的存储器。
继续参照图1到图3，相机组件12可以包括控制器52，诸如数字信 号处理器(DSP)。在其它实施方式中，被描述为由控制器52执行的相机 组件12控制功能中的一些或全部可以由控制电路20来执行，从而可以 使控制器52小型化或省略控制器52。控制器52控制相机组^牛12操作的 各个方面，包括但不限于测定操作以及曝光设置的管理。控制器52可以 对由相机组件12拍摄的图像和/或视频数据的存储进行协调。例如，图像 和/或视频数据可以由存储器16存储在相应的图像文件和/或视频文件中。
控制器52可以执行用于实现相机组件12控制功能的代码。如何对 相机和域移动电话编程，以使其工作并执行与相机组件12的控制相关的 逻辑功能，这对于计算机编程领域、尤其是对于相机、移动电话或其它 电子装置的应用编程领域的技术人员是明显的。因此，为了简洁，省略 了关于具体编程代码的细节。而且，虽然根据本发明的优选实施方式由 控制器52来执行这些代码，但是也可以经由专用硬件、固件、软件或它 们的组合来执行这种功能，而不脱离本发明的范围。
在例示的实施方式中，相机组件12是使用传感器54来对由该相机 组件的成像光学器件(optics) 56所确定的视场进行成像的数字相机。测光计(light meter) 58可以对视场的照明条件进行检测。可能存在闪光灯 60，用于在拍摄照片期间提供辅助照明。
另外参照图5和图6，图5和图6例示了用于实现基于肤色检测的 相机测定的示例性方法的逻辑操作。该示例性方法例如可以通过利用控 制器52执行代码来执行。因而，图5和图6的流程图可被视为描述了由 相机组件12所执行的方法的各个步骤。虽然图5和图6示出了执行功能 逻辑块的特定次序，但是可相对于所示的次序改变这些块的执行次序。 此外，可以并行或部分并行地执行连续示出的两个或更多个块。还可以 省略某些块。另外，为了增强实用性、计费(accounting)、性能、测量、 故障诊断等目的，可以将任何数量的功能、逻辑操作、指令、状态变量、 信号量(semaphore)或消息添加至该逻辑流中。可以理解的是，全部这 种变化都落入本发明的范围内。
基于肤色检测来进行相机测定的方法的逻辑流可以从块62开始，在 块62中识别出具有肤色的像素。图6示出了识别肤色像素的详细方法。 所利用的方法依次地对各个像素是否具有肤色进行确定，但是可以理解 的是，可以同时针对多个像素来进行这种确定。确定肤色像素的逻辑流 可以从块64开始，在块64中接收该像素的值集。例如，传感器54可以 输出输入到控制器52中的该像素的红色、绿色、蓝色(RGB)值集。
在块66中，可以将该像素的RGB值集转换成CIE比色图表(color chart)(或颜色空间)值。例如，可以将RGB值集可以转换成YUV值集。 这些YUV值涉及比色图表的坐标系统，其中，Y值表示照度(亮度 (brightness)),而U值及V值表示色度(颜色)分量，或表示XY类型 (style)颜色平面上的点。该平面的右上象限(U及V都是正值)通常 包括紫色，该平面的右下象限(U是正值，而V是负值)通常包括蓝色， 该平面的左上象限(U是负值，而V是正值)通常包括红色、橙色以及 黄色，而该平面的左下象限(U及V都是负值)通常包括绿色，但是这 些颜色倾向于在该平面中混合在一起。可以利用线性表达式来从RGB转 换成YUV以及从YUV转换回RGB。例如，利用RGB的已知值，可以 解出等式1到等式3，以得到YUV值。Y-0.30R + 0.59G + 0.11B 等式1
U = 0.70R - 0.59G - 0.1 IB 等式2
V = -0.3R - 0.59G + 0.89B 等式3
U及V的值没有照度分量。如果针对R、 G以及B的值全部相同， 则限定了灰色，并且相应的U值和V值为零。而且，改变Y的值并不会 改变颜色，而改变颜色并不会改变亮度。其它颜色空间系统使用Yxy坐 标，其中，Y是照度，而x和y表示倾斜的、抛物线状(parabolic-shape) 颜色空间色度图(chromaticity diagram)上的颜色，在该色度图中，外部 的弯曲部分是光谱(或单色)轨迹。这里描述的技术可以被修改成使用 像素的值集的Yxy表示法，而不是使用YUV表示法。应注意到，YUV 颜色表示法可能依赖于包括在相机组件12中的特定传感器54，并且可以 针对具体的相机组件12来调整照度与颜色之间的转换。
在块68中，可以作出该像素是否与图像的肤色部分相对应的确定。 例如，如果Y具有最大值255，则代表性肤色可以具有188、 42、 -32或 152、 22、 -27的YUV值。在一个实施方式中，如果一个像素的UV值位 于UV平面的预定矩形部分中，则可以将该像素确定为与肤色相关联。 例如，可以将肤色限定为具有从21到43的U值以及从-22到-33的V值。 在另一实施方式中，UV平面的与肤色相关联的部分可以是非矩形形状， 诸如椭圆或逼近椭圆的一组连续矩形。例如，可以将肤色与以特定UV 坐标为中心的一个或更多个恰可察觉差异(just noticeable difference) (JND)相关联。例如，如果使用Yxy颜色值，则可以使用以xy坐标.37、.27 为中心的五个JND(5xJND)的椭圆尺寸来确定肤色。包含在(多个)JND 区域内的值可以从多种公开可获源获取。可以针对特定相机调整(例如， 为应对传感器构造的变化)和/或特定相机消费市场，来调整与为了驱动 相机测定目的的肤色相关联的值的范围。
本领域技术人员可以理解的是，可以基于前述(forgoing)技术针对 几乎全部人种来识别肤色像素，而与种族无关。也就是说，具有欧洲血 统、非洲血统以及亚洲血统的人通常具有相同的皮肤着色(coloration), 但具有不同量的色素沉着(pigmentation)。可以将UV和xy颜色值方案用于检测肤色，而不会受色素沉着程度的影响。然而，应注意到，曝光 过度的皮肤图像或曝光不足的皮肤图像不能被识别为具有肤色。例如，
高加索人被摄对象的曝光过度皮肤可能具有253、 -2、 -2的￥1^值，其 中，最大Y值为255。因而，在块68中皮肤的亮反射(reflectionoff)部 分及皮肤的重阴影化部分不能得到肯定的确定。如稍后将变得更清楚的， 从肤色区域中排除这种像素可以得到基于一个或更多个可识别肤色点来 驱动点测定，并且得到在创建针对照明条件的曝光设置方面的相应改进。
如果在块68中作出否定的确定，则逻辑流可以前进至块70，在块 70中将该像素标记为不具有肤色。另选的是，可以将该像素"归零"(诸 如通过设置该像素的照度和颜色值)，而表示全黑。如果在块68中作出 肯定的确定，则逻辑流可以前进至块72，在块72中将该像素标记为具有 肤色。可以理解的是，该像素可以与某人的皮肤或类似的着色对象相关 联。后续的处理用于识别出在驱动对相机组件12的视场的测定中可能有 用的潜在实体部分结构。
在块70和块72之后，逻辑流可以前进至块74，在块74中，作出 来自传感器54的输出的最后一个像素是否已经过块62的肤色像素识别 处理的确定。在一个实施方式中，来自相机组件12的视场的全部像素都 经过肤色像素识别处理。在另一实施方式中，所选择的像素集经过肤色 像素识别处理。例如，所构想的是，大部分用户会将倾向于将人被摄对 象设置在照片中央。因此，在肤色像素识别处理中以及在稍后描述的后 续肤色像素分析中，可以忽略在相机组件12的视场中央区域以外的视场 部分。如果在块74中作出否定的确定，则逻辑流可以返回至块64。如果 在块74中作出肯定的确定，则逻辑流可以前进至本方法的肤色像素分析 部分。
继续参照图5和6， 一旦在块62中识别出肤色像素，则逻辑流可以 前进至块76，在块76中分析这些肤色像素。图6示出了分析肤色像素的 详细方法。该分析确定是否应当将一个或更多个肤色像素组用于驱动对 相机组件12的视场的测定，由此得到创建曝光设置。
分析肤色像素的逻辑流可以从块78开始，在块78中，对在块72中被识别为具有肤色的像素进行分组。可以通过将各个肤色像素同与之相 距小于指定距离的任何其它肤色像素进行关联，来创建分组。大于指定 距离的分组可能会因为这些像素中的一些像素的多个关联而创建。该组 所占据的区域不必是连续的(例如，该组的区域可能包含不具有肤色的 像素)。
各个组都可以具有关联形状。被摄对象的实体的多个部分可能不具
有清楚限定的形状，但是仍然占据了相机组件12的视场的被可宽泛地识 别为普通形状的区域。例如，面部可能具有椭圆形形状、未被衣服覆盖 的四肢(例如，臂部或腿部)可能具有细长形状、未被衣服覆盖的躯干 可能具有矩形形状、通过衣服的"V"形衣领线而暴露的躯干部分可能具 有三角形状等。而且，与具有肤色的无生命(inanimate)对象相对应的 像素可能具有与该对象相对应的几何形状。
在块80中，将多个肤色像素组相对于彼此和/或相对于识别标准而 进行评估，以识别出可用于驱动相机测定的多个肤色点中的一个肤色点。 对于单独的或与小于阈值数量的其它肤色像素(例如，大约20个像素的 阈值)分组在一起的肤色像素而言，由于这些肤色像素与太小以致于不 能表示人体对象的一部分(该部分适于驱动相机测定)的区域相关联， 所以可以忽略这些肤色像素。在一个实施方式中，对于具有清楚限定的 几何形状(例如，由直外周线或均匀曲线限定)的多个肤色像素组而言， 由于这些肤色像素组可能与对应于无生命对象的区域相关联，所以可以 忽略这些肤色像素组。
在分析时可以保留包括了其它色调的肤色像素组，以适应眼睛、嘴 唇、牙齿、面部毛发、化妆、珠宝等。在一个实施方式中，如果包括一 组肤色像素的区域具有超过预定阈值百分比的像素，则可以作出一个人 或多个人的一部分位于相机组件12的视场的相应点中的结论。在一个实 施方式中，该阈值可以是百分之五十。在另一实施方式中，该阈值可以 是百分之六十。在另一实施方式中，该阈值可以是百分之七十，而在一 个其它实施方式中，该阈值可以是百分之八十。具有小于阈值百分比的 肤色像素的一组像素可以被忽略，或为其赋予比用于相机测定目的的肤色点小的权重。
可以对剩余像素组进行分析，从而选择一个或更多个组以用于相机
测定。例如，可以优选位于最靠近相机组件12的视场中央的肤色区域。 为了测定目的，可以为位于最靠近中央的肤色组赋予比其它肤色区域高 的权重，或者可以在测定期间忽略更远端的组。作为另一示例，相对于 四肢及躯干而优选面部。在这个实施方式中，可以假定照片中的人正面 朝上，并且可以选择位于另一组(或多组)像素上的一组(或多组)像 素，以用于相机测定。用于对相对于四肢及躯干而优选面部进行设置的 另一技术是，通常相对于其它形状组而选择椭圆形状组。在一个方法中， 为了测定目的，在这些技术中不与面部相关联的那些组可能被忽略，或 者在另一方法中，在这些技术中不与面部相关联的那些组可能被包括在 测定中但被赋予比与面部相关联的多个组小的权重。
如示例性技术所示，块80的识别处理可以縮减要用在相机测定中的 肤色组的数量，和/或可以创建要被赋予给各个组的权重的等级(mnk)。 在另一实施方式中，全部像素或与超过阈值数量的像素组相关联的全部 像素都可用于测定，而与相对尺寸、形状、位置、肤色百分比等无关。 在这些方法中的任一方法中，如果识别出超过一个肤色点，则可以选择 这些肤色点中的一个肤色点用于相机测定，可以选择这些肤色点中的一 些肤色点用于相机测定，或者可以选择全部这些肤色点用于相机测定。 如上所述，如果要将多个肤色点用于相机测定，则可以根据它们的相对 尺寸、形状和/或位置来为这些肤色点赋予不同的测定权重。
返回至图5的流程图，逻辑流可以前进至块82，在块82中，作出 通过块76的分析而识别出的任何肤色点是否适用于相机测定的确定。如 果作出否定的确定，则逻辑流可以前进至块84，在块84中，可以利用默 认方法(诸如传统的点测定和/或区域测定方法)来执行相机测定。
如果在块82中作出肯定的确定，则逻辑流可以前进至块86，在块 86中，对用于相机测定的该肤色点或多个肤色点调整大小和/或调整形 状。这种调整大小和/或调整形状可用于对(多个)点的排布进行设置， 以辅助进行与测定相关联的处理。例如，同与肤色点相关联的不规则形状相比，矩形或其它多边形更容易处理。而且，可以縮减区域中的(多 个)点(例如，縮减大约百分之五到大约百分之十五)，以消除位于这些 点的外周边缘处的像素。按照这种方式，在测定中忽略这些点的边缘。 这可以对其中许多相机的颜色分辨率不如照度检测一样好的情况进行补 偿。因而，在面部的边缘处，会出现缓慢的到肤色的颜色过渡，并且消 除肤色点的边缘将得到以下这种点该点与具有在驱动相机测定中所希 望的照明质量的该被摄对象的皮肤的一部分具有更精确的交叠。
接下来，在块88中，可以执行基于所识别的肤色点的相机测定。例
如，可以采用点测定技术。在点测定中，可以监测在相机组件12的整个
视场(或该视场的一部分)中的照明等级。对这些照明等级进行综合， 以评估照明条件。在对照明等级进行综合的期间，所识别的(多个)肤 色点被赋予比非肤色区域大的权重。可以将这种点测定与区域测定技术 结合在一起。可以理解的是，与这些肤色点相关联的照明会影响测定的 结果。因而，与如果使用了用于传统的点和/或区域测定技术的预定点的 情况相比，该测定的结果可以更准确地表示与用户主要感兴趣的照片的 那部分(例如，相机视场中的人)相关联的照明条件。
在块84和块88之后，(取决于块82的结果)，逻辑流可以前进至块 卯，在块90中将测定的结果用于调整曝光设置。可以响应于测定而进行 调整的示例性曝光设置可以包括是否使用闪光灯60 (并 且如果使用闪光 灯，则包括闪光灯强度(如果可调))、f制光圈、快门速度等。
在一个实施方式中，可以使曝光设置调整满足特定标准，使得照度
极限值不太暗或不太亮。例如，不超出预定百分比的肤色像素可以具有
大于预定照度阈值上限的照度值，并且不超出预定百分比的肤色像素可 以具有小于预定照度阈值下限的照度值。换句话说，在曝光设置调整之
后，预定百分比的肤色像素可以具有在照度阈值上限与照度阈值下限之 间的照度值。在一个示例中，对于其中Y的最大值为255而最小值为零 的24比特图像而言，不超出百分之五的肤色像素可以具有大于225的照 度值，而不超出百分之二十五的肤色像素可以具有小于80的照度值。在 一些情况下，如果超出这两项标准中的一项或两项，则存在出现显著数量的与人的皮肤相关联、而在块68中不可识别的像素的可能性，这是因 为这些像素过饱和(例如，反射过多致使肤色松散)或欠饱和(例如， 反射过少致使肤色松散)。
另外，可以对因为调整曝光设置而造成的照度变化量施加限制。因 为如果曝光过亮或过暗则会丢失用于肤色识别的颜色信息，所以该限制 可以使这些调整最小化，从而防止使得肤色点饱和或变暗和/或防止照片 平均值超出特定量。
在一个实施方式中，可以采用重复处理作为曝光设置调整的一部分。 例如，可以采用递增曝光设置、直到检测到肤色饱和为止，以寻找最佳 曝光设置。在一个方法中，当用户按下或释放快门控制按钮以指令拍摄 照片时，该处理可以从能够得到较低照片亮度的曝光设置开始。然后， 可以按照递增的方式来调整曝光设置，以增大亮度。针对每一次递增(或 每一级)，可以按照上述方式来识别肤色点，并且可以执行测定。当预定 百分比的之前检测的肤色像素偏移向饱和时，可以结束递增。在一个实 现中，在递增结束之后，可以将曝光设置后退，以相对于得到肤色饱和 检测的曝光设置而使得照片稍微变暗(例如，可以按照一级或更多级增 量来反转该曝光设置)。这种递增方法增大了用于测定处理的图像中的肤 色像素的数量，并且縮减了肤色像素因为光线闪耀(glare)而不可识别 的可能性。优选的是，可以在用户移动了相机组件12 (这导致相机组件 12的视场变化)和/或视场中的人被摄对象移动了显著量之前，完成这种 重复的曝光设置调整处理。
在调整了曝光设置之后，在块92中拍摄照片。
在这里描述的方法中，使用肤色识别来对点测定进行加权。结果， 可以驱动曝光设置，以将肤色最佳地设置在相机组件12的动态范围中。 按照这种方式，与比视场中的其它被摄对象(诸如背景和/或前景被摄对 象)相比，在所得到的照片中与在相机组件12的视场中的人相关联的面 部及其它区域可以具有更高程度的细节。结果，该用户可以得到具有良 好成像的人的照片，而不需要手动调整曝光设置和/或不需要对照片进行 后处理。在这里描述的方法中，针对具有与肤色相关联的颜色的像素并针对 表示人对象的一部分的多个肤色像素组进行搜索。这些像素组可以用于 驱动测定以及曝光设置调整。可以理解的是，可以通过搜寻全部或部分 视场的颜色空间以寻找特定颜色范围中的多个像素(组合这些像素，以 得到作为人对象的可能表示的视场中的足够区域和/或位置)，来识别出被 赋予比该相机组件的视场的其它部分高的权重的一个或更多个肤色点。 结果，可以识别出一个或多个优选点，以引导点测定及曝光设置调整处 理。
虽然已经针对一些具体优选实施方式示出和描述了本发明，但是可 以理解的是，通过阅读并理解本说明书，本领域技术人员能够想到本发 明的等同物和修改例。本发明包括全部这些等同物和修改例，并且仅由 所附权利要求的范围来限定。
权利要求
1、一种用于调整数字相机(12)的曝光设置的方法，该方法包括以下步骤在所述相机的视场的至少一部分视场中搜索具有肤色的多个像素；分析多个肤色像素以识别出至少一个肤色点；对所述相机的所述视场进行点测定，使得为至少一个肤色点赋予比所述视场的其余肤色点大的权重；以及基于所述点测定来调整所述曝光设置。
2、 根据权利要求1所述的方法，其中，所述分析多个肤色像素的步 骤包括以下步骤根据所述多个肤色像素彼此之间的相对接近度来对所 述多个肤色像素进行分组。
3、 根据前述权利要求中任意一项所述的方法，其中，所述肤色点的 区域具有至少占阈值百分比的肤色像素。
4、 根据前述权利要求中任意一项所述的方法，该方法还包括以下步 骤在进行所述点测定之前縮减所述肤色点的尺寸。
5、 根据前述权利要求中任意一项所述的方法，该方法还包括以下步 骤针对各个像素而将对所述视场进行成像的传感器(54)的RGB输出 转换成基于坐标的颜色值。
6、 根据前述权利要求中任意一项所述的方法，其中，所述肤色由基 于坐标的颜色空间的预定部分来限定。
7、 根据前述权利要求中任意一项所述的方法，该方法还包括以下步 骤从较暗向较亮重复地调整所述曝光设置，直到检测到肤色饱和为止。
8、 根据前述权利要求中任意一项所述的方法，该方法还包括以下步 骤在检测到肤色饱和时，对所述重复调整的至少一部分进行反转。
9、 一种相机(12)，该相机包括传感器(54)，该传感器用于对视场进行成像，并且输出表示了多个 像素的照度及颜色的信号；以及控制器(52),该控制器通过以下步骤来调整所述相机的曝光设置识别出哪些像素具有肤色；分析这些肤色像素以识别出至少一个肤色点; 对所述视场进行点测定以使得为至少一个肤色点赋予比所述视场的其余 肤色点大的权重；以及基于所述点测定来调整所述曝光设置。
10、根据权利要求9所述的相机，其中，所述相机形成其具有通过 通信网络(48)而建立呼叫的无线电电路(26)的移动无线终端(10)的一部分。
全文摘要
一种用于调整数字相机(12)的曝光设置的方法，该方法包括以下步骤在所述相机的视场的至少一部分视场中搜索具有肤色的多个像素。分析这些肤色像素以识别出至少一个肤色点。对所述相机的视场执行点测定，使得为至少一个肤色点赋予比该视场的其余肤色点大的权重。然后，基于所述点测定来调整所述曝光设置。
文档编号H04N5/232GK101543051SQ200780043012
公开日2009年9月23日 申请日期2007年5月31日 优先权日2006年11月21日
发明者泰伦斯·E·罗杰斯, 詹森·M·科普 申请人:索尼爱立信移动通讯有限公司