选择性地拒绝数字图像的方法和设备的制作方法

专利名称：选择性地拒绝数字图像的方法和设备的制作方法
技术领域：
本发明涉及数据图像采集，并且尤其涉及由于存在一个或 者多个不符合要求特征，例如存在有遮光或者有阴影的面部特 征或者其他关键特征，而取消景物作为被处理的永久图像的候 选者的资格。
背景技术：
照相机正在成为强大的计算工具。特别是，作为本专利申 请受让人的FotoNation公司开发了许多便利的人脸检测工具。 第10/608， 776号、第10/608， 810号、第10/764, 339号、第 10/919， 226号、第11/182， 718号以及第11/027， OOl号美国专利 申请描述了这些面部检测工具中的一些面部检测工具，在此引用这些专利申请供参考。
这与利用快门触发器拍照不同。这也与等待可能发生或者
可能不发生的事件(例如，微笑)不同。第6，301，440号美国专 利披露了根据对临时图像所做的分析调整捕像参数以及等到该 临时图像中的每个人都微笑时拍照。该照相机必须等待可能发 生或者可能从不发生的特定事件。在拍照之前，让人们等待照 相机判定景物是最佳的，往往不可接受，而且第6，301，440号美 国专利没有描述如何缓解该难题。第6， 301， 440号美国专利也没 有提供关于如何检测或者确定景物中特定特征的任何指导。
还有当目标进入照相机的视野时进行拍照的监视照相机。 这些照相机一般用于检测通常是在静止景物内的运动或者突然 变化。

发明内容
提供了一种作为取消不符合要求景物的资格并作为照相 机的图像采集控制。分析捕获图像的内容确定是否应该采集该 图像还是应该废弃该图像。 一个例子包括人脸。根据在眨眼过 程中该眼睛是闭合的、部分闭合的还是向下闭合或者向上运动 的，可以确定图像是否是不符合要求的。作为一种选择，可以 检测其他不希望的或者不符合要求的表情或者动作，例如，铍 眉、手遮挡某人的脸或者景物的面部特征或者其他关键特征的 其他遮光或者阴影，或者头转动到偏离照相机等。
采集或者捕获包括人脸图区的景物的当前图像。识别一组 或者多组对应于该景物中的感兴趣图区或者关键特征的像素， 诸如该人脸图区内的一个或者多个面部特征，例如该景物内的 眼睛、鼻子、头发或者嘴、部分或者整个人脸图区，或者另一个特征。确定该关键特征是否有遮光或者有阴影。如果有遮光 或者有阴影，则在该关键特征持续有遮光或者有阴影时，取消 该景物作为被处理的永久图像的候选者资格。
该当前图像可以包括预览图像，并且该取消资格可以包括 延迟高清晰度捕获该景物的图像。该延迟可以包括在预定等待 时间之后结束该取消资格。
可以使用预览图像。这样可以提供眼睛可能在捕获图像中 的感兴趣图区(ROI)的指示。这样可以根据通过分析预览图像 提供的空间信息在最终图像中快速搜索诸如人脸、嘴或者眼睛 的关键特征。
该延迟可以包括预测不再存在遮光或者阴影的时间以及 在接近该预测时间时结束该取消资格。可以根据平均遮光或者 阴影时长，预设预定的遮光或者阴影时长。估计时长可以基于 相对于当前预览图像的时域捕像参数对一个或者多个先前预览 图像的时域捕像参数所做的分析。该估计可以涉及确定遮光或 者阴影形成对象是离开还是移动到其而进一步使该关键特征有 遮光或者有阴影，并且确定该关键特征有遮光或者有阴影的程 度。
该方法可以包括确定该关键特征是否有遮光或者有阴影， 这包括确定有遮光或者有阴影的程度。基于对当前预览图像与 在短于有遮光或者有阴影期间的时长内相对采集的一个或者多 个其他预览图像所做的相对分析，可以确定该有遮光或者有阴 影的程度。该时长估计可以基于确定遮光或者阴影形成对象的 模糊程度，例如，以确定该对象移入该景物或者移出该景物的 速度。可以确定是否显示该关键特征以及显示该关键特征的程 度。可以对该关键特征图区进行色彩分析，并且将对应于该关
12键特征的像素与遮光或者阴影形成对象区别开。可以对该关键 特征图区进行形状分析，并且/或者将像素区分为对应于该关键 特征的像素或者该关键特征的有遮光或者有阴影像素。
该当前图像可以包括高清晰度捕获图像。该取消资格可以 包括放弃进一步处理该当前图像。该方法可以包括拼装包括该 当前图像中像素和不同图像中对应于在眨眼的眼睛的睁眼眼睛 像素的合成图像。该不同图像可以包括预览图像或者后览图像 或者另一个高清晰度图像。该不同图像可以包括比该当前图像 低的清晰度，并且该拼装可以包括增抽样该不同图像或者降抽 样该当前图像或者它们的组合。该方法还可以包括调准当前图 像与该不同图像，这包括使睁眼眼睛像素图区与该当前图像中 的眨眼眼睛图区匹配。
还可以实施本发明，以取消作为诸如视频流的流部分的一 组图像中的图像的资格。
该方法可以包括确定可以显示的部分关键特征和/或者预 期有该关键特征的图区。可以进行色彩分析和/或者色调分析， 并且将像素区分为对应于该关键特征的像素或者不对应于该关 键特征的像素。还可以进行形状分析，并且将像素区分为对应 于该关键特征的像素或者不对应于该关键特征的像素。
该当前图像可以包括高清晰度图像。该方法可以包括拼装 包括该当前图像中的像素和不同图像中对应于该关键特征被遮 挡'或者有阴影的图区的没有遮光或者没有阴影像素的合成图 像。该不同图像可以包括预览图像或者后览图像或者另一个高 清晰度图像。该不同图像可以包括比该当前图像低的清晰度， 并且该拼装可以包括增抽样该不同图像或者降抽样该当前图像 或者它们的组合。该方法还可以包括调准该当前图像与该不同图像，这包括使没有遮光或者没有阴影图区与该关键特征被遮
挡或者有阴影的图区匹配。
基于识别人脸图区以及为了确定其中诸如一个或者两个
眼睛、嘴或者嘴特征、鼻子、头发、下巴、面颊、前额、 一个 或者两个耳朵或者它们的组合的面部特征而分析该人脸图区，
可以识别嘴图区。
由于该取消资格，可以捕获用于代替该当前图像的新图像。
可以捕获并分析一对图像，以确定该对图像至少之一不包 括眨眼。
可以计算长于单次眨眼时间的多次捕像之间的间隔。 可以提供关于该遮光或者阴影的报警信号，以使摄影者可 以意识到她可能需要拍摄另一张图片。
本发明的各种变型可以用于寻找单个图像中的一个或者
多个人脸，例如，组拍摄镜头(group shot)。可以识别该景物
内的同一个人脸或者第二人脸的第二关键特征或者非面部特 征。可以在景物内识别附加特征。可以确定该第二关键特征是 否有遮光或者有阴影。如果有遮光或者有阴影，则该方法可以 包括在该第二关键特征被遮挡或者有阴影时取消该景物作为被 处理的永久图像的候选者的资格。在该景物中的每个人脸图区 或者其他图区的关键特征不包括有遮光或者有阴影的关键特征 之前，可以取消捕获或者进一步处理高清晰度图像的资格。
提供了又 一 种作为照相机的图像采集控制方式自动取消 不符合要求景物资格的方法。该方法包括采集多个预览图像。 从该多个预览图像中提取信息。在该多个临时图像的各图像之 间，分析该景物中的一个或者多个变化。根据该分析，确定该景物中是否存在一个或者多个不符合要求特征。在该一个或者 多个不符合要求特征继续存在时，取消该景物作为被处理的永 久图像的候选者资格。
该分析可以包括识别一组或者多组对应于被不符合要求 地遮挡或者有阴影的关键特征图区的像素。该一组或者多组像 素可以包括人脸或者面部特征，并且该不符合要求形态可以包
括遮光或者阴影或者诸如噘嘴(frowning mouth)或者眨眼眼 睛的不符合要求形态。可以确定在其间不采集被处理的永久图 像的取消资格间隔。
该分析可以包括识别一组或者多组对应于具有不符合要 求形态的面部特征的像素。该一组或者多组像素可以包括任意 遮光，例如，手遮挡人脸，或者人脸转动偏离照相机。
还提供了处理器可读代码嵌入其上的一种或者多种处理 器可读存储器件。该处理器可读代码用于对一个或者多个处理 器编程，以执行上面或者下面描述的作为照相机的图像采集控 制方式取消不符合要求景物资格的方法。可以嵌入该处理器， 作为照相机的一部分，该处理器或者在该采集装置的外部。该 采集装置可以是手持式照相机、固定式照相机、摄像机、装备 了采集装置的移动电话、装备了采集装置的手持式装置、诸如 用于肖像摄影的摄影棚(kiosk booth)、诸如用于监控或者用 于识别或者通用的专用竖式照相机、任意捕像装置。


图l示出根据优选实施例取消包括有遮光或者有阴影的面 部特征的景物资格的方法。
图2示出根据优选实施例预测有遮光或者有阴影的时间间隔的方法。
图3示出根据优选实施例确定面部特征有遮光或者有阴影 的程度的方法。
图4a示出根据优选实施例确定是否放弃对图像进行进一
步处理的方法。
图4b示出根据优选实施例拼装合成图像的方法。
图5示出根据在图像中探测到的关键特征的遮光或者阴影 校正图像的工作流程的优选实施例。
图6a示出根据优选实施例利用图像中的关键特征信息使 图像采集延迟的通用工作流程。
图6b示出根据优选实施例利用一个或者多个图像中的人 脸信息调整图像再现参数、然后输出该图像的通用工作流程。
图7a至7d示出根据一个或者多个优选实施例的人脸检测、 眼睛检测、嘴检测或者其他面部特征检测或者它们的组合。
图8a示出根据一个或者多个优选实施例的遮光或者阴影
检测和校正方法。
图8b描述了根据优选实施例作为采集过程的一部分在照 相机中确定关键面部特征是否被遮挡或者有阴影，以及是捕获 该图像、废弃该图像还是存储该图像，或者是否用没有遮光或 者没有阴影特征代替有遮光或者有阴影图区的说明性系统。
图9示出根据一个或者多个优选实施例的作为采集过程的
一部分在照相机中根据检测到关键特征的自动聚焦能力。
具体实施例方式
描述了根据优选实施例和变换实施例的系统和方法。这些 技术不仅避免丢失拍摄镜头(shot),而且提供了增强型功能和改进的使用性能。利用这些技术，数字照相机能够判定何时目 标的面部表情是不恰当、令人不符合要求或者是不希望的。一 个例子是眨眼，并且其它例子包括皱眉头、遮光和阴影。捕像 装置要么不拍摄该幅图片、延迟适当时间采集，要么立即拍摄 另一幅图片、或者向照相机用户报警，或者采取各种措施随后 增强不符合要求的图像，或者这些或其它措施的组合。照相机
可以延迟诸如O. l秒、0.3秒、0. 5秒或者1. 0秒的特定时间长度、
或者延迟平均遮光或者阴影时间间隔、或者延迟直到确定该遮 光或者阴影已经结束拍摄另一幅图片。可以在快拍图片之前， 或者在拍摄关键特征有遮光或者有阴影的图片之后，向用户报壑。
提供了一种预测系统，如果关键特征有遮光或者被遮挡， 例如，有干扰物遮挡关键特征或者使关键特征形成阴影，例如， 诸如眼睛、嘴、鼻子、头发、耳朵、脸颊、下巴这样的关键面 部特征或者关键非面部特征、或者它们的组合，则该预测系统 取消该图像的资格。该系统预测何时不能拍摄图片，g口，预测 被检测的遮光或者阴影将要发生的这些时间。
取消资格的图像可能已经被捕获，并且仅在照相机内或者 在外部设备上执行的后捕像滤波操作中使它取消资格。为了不 因为包括一个或者多个有遮光或者有阴影特征而提高取消一幅 或者多幅图像的资格的概率，该系统可以拍摄多幅图像。对于 一个目标处于眨眼过程的概率随着目标数量的增加而增大的一 组拍摄镜头，这种系统有用。该系统可以根据图像中人脸的数 量自动确定要顺序拍摄的图像数量，以保证这些图像中至少一
幅图像没有眨眼的概率高于阈值数，例如，50%， 60%、 67。％、 70%、 75%、 80%、 90%或者95%。可以通过合成当前图像以及预览图像、后览图像或者其它 高清晰度图像，生成图像。例如，该合成图像可以包括人脸图
区和一些背景影像(background imagery),其中利用预览图像、 后览图像或者其它高清晰度图像中没有遮光或者未被遮挡的同 样图区代替当前图像中不符合要求地有遮光或者有阴影的面部 特征图区。该特征可以与在和本专利申请为同一受让人的第 10/608， 776号美国专利申请中描述的特征组合，并且在此引用 该专利申请供参考。在第10/608，776号美国专利申请中，描述 了采用人脸检测的数字图像处理方法。识别对应于数字图像内 的人脸的一组像素。识别对应于该数字图像中的另一个特征的 第二组像素。确定包括该人脸和该另一个特征至少之一的一组 新像素的复合图像(re-compositioned image)。
这里的实施例通常涉及数字图像或者景物中的单个人脸 (例如，在图像捕获之前，或者已经利用数字方法捕获)，而且 通常涉及"面部特征"。然而，这些描述可以扩展到单个人脸上 的其他特征，或者人脸之外的关键特征。在参考附图描述的优 选实施例和变换实施例中通常涉及这里的面部特征，但是该描 述可以应用于其他关键特征或者人、动物、车辆、轮船、风景、 海景、自然物体或者人造物体、行星(planet)或者其他天体、 监视活动中的感兴趣对象，或者其他情况。这些描述可以扩展 到一个以上的人脸(组拍摄镜头(group shot))或者关键特征， 并且如果例如在包括20人的一组拍摄镜头中，确定一个或者两 个、三个、四个或者更多个的特定数量的人脸或者其他关键特 征有遮光或者有阴影，则该照相机可以使该景物取消资格，允 许具有一个或者两个有遮光或者有阴影的人脸，因此在使该景 物取消的资格之前将没有遮光或者没有阴影特征的阈值设定为3。该照相机可以执行如在此描述的和在此没有描述的取消资格 和/或者其他操作，直到高百分比数量的关键特征或者全部关键 特征均没有遮光和/或者没有阴影。还可以确定有阴影或者有遮 光的程度，以致当关键特征的遮光或者阴影小于阈值时，即使 关键特征被部分遮光或者部分有阴影，仍认为该景物是合格的。
在一个实施例中，该照相机可以在该目标的阴影或者遮光 刚好结束后拍摄该图片。可以利用本系统取消其关键特征有遮 光或者有阴影的图像的资格，而且可以拍摄多个图像，以防止 图像均有遮光或者有阴影，'即，更好地保证至少一幅图像包括 没有遮光或者没有阴影的关键特征。对于每个目标人，该图像 之一可能具有没有遮光或者没有阴影的关键特征，例如，面部 特征，并且这些图片可以具有与没有遮光或者没有阴影关键特 征合成为单个图像的混合像素。该照相机根据该图像中目标的 数量判定要拍摄的图像数量。人越多， 一个人眨眼的可能性越 高，因此，应该采集更多的图像。如果为了效率，可以接受在 一大组拍摄镜头中特定百分比的人数可以眨眼，例如，低于特 定数量，例如5%，则可以减少图像的数量。可以由照相机产品 的制造商、程序开发者或者数字图像采集设备的用户选择这些 阈值数和百分比容差。可以根据对预览图像的分析，产生该信 息。该预览图像还可以支持确定该眼睛的位置，以便更快地对 该预览分析确定的感兴趣图区进行后处理分析。
本系统设置根据其不拍摄图片或者根据其不使用该图片、 或者在已经拍摄图片后根据其进一步处理该图片，和/或者根据 其拍摄一个附加图像或若干附加图像以代替不符合要求图像的 条件。因此，根据优选实施例的系统的另一个有利特征是，利 用预览图像或者后览图像或者另一个高清晰度图像中的面部特征或者其他关键特征，该系统可以校正所采集的有遮光或者有 阴影图区。本系统优选使用通常具有较低分辨率并可以被更快 速处理的预览图像。本系统还可以寻求图像之间的面部特征或 者其他关键特征(例如，眼睛或者嘴)的变化，作为取消图像 捕获的景物的资格的潜在触发方式。
在此所做的描述通常涉及处理其中的对象人的面部特征 被遮挡或者有遮光的景物。然而，本发明可以应用于其它特征， 例如，当人在眨眼或者皱眉时，或者当人出现不令人满意的姿 势、交谈、吃东西、头发不好，或反之令人有好感时，或者当
另一个人给某人戴兔耳(bimnyear)时，或者当动物或其他人 出乎意料地穿过照相机与人目标之间时，或者当光出乎意料地 发生变化时，或者在刮风时，当存在部分遮挡或者部分有阴影 的关键特征时，或者其它情况时。可以手动设置和/或者超控一 种或者更多种或者所有这些取消资格环境。
图l示出根据优选实施例取消包括有遮光或者有阴影的面 部特征的景物的资格的方法。在iio，采集包括人脸图区的景物 的当前图像。任选地，在120，识别该人脸图区，然后，分析该 人脸图区以确定其上的面部特征图区。在130，识别对应于该人 脸图区内的选择的或者预定的面部特征图区的一组或者多组像 素。在140，确定面部特征图区是否正被遮挡或者有阴影。如果 在140确定该面部特征被遮挡或者有阴影，则在150取消该景物 作为被处理的永久图像的候选者的资格。此处，可以仅停止该 过程，或者再次从开头开始该过程，或者由于该取消资格，而 在160捕获新图像，以代替该当前图像。在170，可以提供关于 该遮光或者阴影的报警信号。在180，可以延迟高清晰度捕获该 景物的图像。如图4A和4B所示，可以停止对当前图像进行进一
20步处理，或者作为增强该取消资格图像的一种方式，可以拼装 合成图像。
图2示出根据优选实施例预测遮光或者阴影何时结束的方 法。在210，预测遮光或者阴影何时结束，并且该取消资格间隔
将在预测的遮光或者阴影停止时间结束。在220，以预定等待时 间设置该间隔。可以根据所知的一秒或者两秒或者半秒的平均 遮光或者阴影时长，或者在约O. 2秒至2.0秒的范围内设置该间 隔，也可以将该间隔设置为O. 4秒、0.5秒、0.8秒、l.O秒、1.2 秒或者l. 5秒，可是为了保证该遮光或者阴影结束而将等待时间 设置得太长，不利于允许第二次遮光或者阴影开始、或者只是 使拍摄图片涉及的每个人必须等待太长时间，以致该取消资格 期间不能结束。在此要求并且保证更精确地确定该遮光或者阴 影的结束时间。
在230，提供面部特征被遮挡或者有阴影的程度。接着进 行图3所示的过程。在270，可以确定产生遮挡或者阴影的对象 是否在运动，并且如果在运动，则确定在哪个方向运动。在280， 根据对与该当前图像的时域捕像参数相关的一幅或者多幅预览 图像的时域捕像参数所做的分析，估计遮光或者阴影停止时间。
在图3所示的310，进一步提供面部特征被遮挡或者有阴影 的程度。对于遮光，该程度取决于正显示的面部特征的百分比 是多少，而对于阴影，可以分别或者组合考虑该面部特征的亮 度程度和有阴影的特征的百分比。可以优选执行形状分析360， 以将对应于面部特征的像素—与对应于遮光和/或者阴影形成对 象的像素区别开。在330，优选相对于在短于遮光或者阴影期间 的时长内采集的一幅或者多幅其他预览图像，分析该当前图像。 在340，可以确定正显示的一部分面部特征或者其他关键特征，从而有助于确定有遮光或者有阴影的程度是多少。在350，为了
确定遮光或者阴影何时结束，任选确定遮光或者阴影形成对象
的模糊程度有助于确定对象的速度。在360，还可以执行色彩分 析，以将对应于关键特征的像素与对应于遮光或者阴影形成对 象的像素区别开。
图4a示出根据优选实施例确定是否放弃对图像进行进一 步处理的方法410。在这种情况下，为了与计算遮光或者阴影停 止时间不同的目的，在420，确定关键特征被遮挡或者有阴影的 程度。在该实施例中，可以预设阈值遮光度或者阈值阴影度， 例如，以致当根据与图3所示的310至360之任一或者它们的组合 类似的420、 430、 440、 450、 460、 470或者480、或者它们的组 合对图像进行分析时，如果该特征有遮光或者有阴影至少达到 阈值程度或者更严重，则取消该景物的资格，因为该特征有遮 光或者有阴影太严重了，或者基本上都有遮光或者有阴影。这 可以对应于关键特征没有被遮挡或者没有阴影的情况，或者该 特征处于遮光或者阴影事件的最开始阶段或者最末尾阶段的情 况，以致该特征被遮挡或者有阴影的程度不足以取消该图像的 资格。
图4b示出根据优选实施例拼装合成图像的方法。在480， 拼装包括当前图像中的像素和对应于该当前图像中有遮光或者 有阴影的特征的不同图像中的没有遮光或者没有阴影特征像素 的合成图像。在490，该不同图像可以是预览图像或者后览图像。 在这种情况下，特别是如果预览图像或者后览图像具有比当前 图像低的分辨率，则在500，可以对该预览图像进行增抽样，或 者对后览图像进行降抽样，或者它们的组合。在510，优选调准 该当前图像和该不同图像，以使该预览图像或者后览图像中的没有遮光或者没有阴影像素图区与该当前图像中的有遮光或者 有阴影图区匹配。
图5示出又一个实施例。如果确定图像中的一个或者多个 关键特征，特别是面部特征被遮挡或者有阴影，则根据如下描 述优选取消该图像被进一步处理的资格。作为一种选择，可以
在某处以诸如图5的例子所示的方式执行有遮光或者有阴影确 定140。可以利用方框1102中的应用程序打开图像。然后，如方 框1106所描述的，该软件确定人脸或者面部特征或者它们二者 或者其他关键特征是否在该图片中。如果没有检测到这种特征，
则该软件就停止对该图像工作，然后在iiio,退出。在下面所
做的描述中，为了提高效率，通常仅涉及面部特征，但是人脸 或者面部特征或者其他关键非面部特征或者它们的组合也可以 作为特定操作的目标或者各目标(请参考图1中的110、120和130 以及第10/608，776号美国专利申请，在此引用该专利申请供参 考)。
该软件还可以提供手动模式，在此模式下，在方框1116， 用户可以将存在面部特征通知该软件，然后，在111S，手动标 记它们。在1116，如果没有发现面部特征，则可以自动激活手 动选择，甚或可以在自动步骤之后选择性地激活它，使得用户 通过某个用户界面或者在1112对自动选择附加更多面部特征， 甚或在1114消除由自动处理1118在1110错误地识别为面部特征 的图区。此外，用户还可以手动选择选项，以调用在1106定义 的处理。对于用户可以根据检测到该关键特征而手动决定增强 或者校正该图像的情况，该选项有用。标记该关键特征的各种 方式，无论是自动的还是手动的，无论是在照相机内还是利用 应用程序，以及无论是手动执行还是自动执行寻找图像中的该特征的命令，全部被包括于在此的优选实施例中。在优选实施 例中，首先检测人脸，然后，检测每张人脸上的一个或者多个 面部特征。
在变换实施例中，作为采集过程的一部分，可以激活照相 机内的特征检测软件，如方框1104所描述的。在这种情况下，
可以采用不同方法实现眼睛检测部分1106，以支持实时操作或
者接近实时操作。这种实现可以包括子抽样图像和加权抽样，
以减少对其进行计算的像素数。将参考图6a，进一步描述该实 施例。在变换实施例中，该眼睛检测还可以接着利用预览图像 提供的信息确定眼睛在预览中的位置，这样可以加速在该最终 图像的较小图区内进行的分析。
在变换实施例中，作为输出过程的一部分，可以激活再现 装置内的特征检测软件，如方框1103所描述的。在这种情况下， 或者在再现装置内利用捕获的图像或者利用一个或者多个预览 图像，或者在这种装置的外部驱动器内，执行特征检测部分 1106。将参考图6b,进一步描述该实施例。
在标志或者标记了该人脸、面部特征和/或者其他特征后， 无论是1118中描述的手动方式还是1106描述的自动方式，该软 件都准备好根据该面部特征检测、人脸检测或者其他特征检测 步骤产生的信息对该图像进行操作。该工具可以作为采集的一 部分、作为后处理的一部分、或者作为它们二者，予以实现。 如上所述，在140，此时执行遮光或者阴影确定(请参考图l至 4b以及上述内容)。如果发现足够大的遮光或者阴影，则在1119， 可以取消该图像的资格，以便有效放弃数字照相技术领域内的 技术人员公知的处理。
方框1120描述摇摄或者变焦推摄该面部特征或者人脸。该工具可以作为采集过程的一部分，以帮助跟踪面部特征或者人 脸或者其他特征，然后，产生合意的构图，或者作为后处理步 骤，或者修剪图像或者利用该图像产生包括运动的幻灯片式显 示。
方框1130描述了该图像的自动取向，即，可以在照相机内 作为采集后处理的一部分、或者通过主软件实现的工具。
方框1140描述了根据人脸肤色或者面部特征色调或者其
他特征色调对该图像进行色彩校正的方式。该工具可以是当将 该图像从RAW读出数据格式转换为公知的例如RGB表示时在照相
机中、或者之后作为图像增强软件的一部分在主机中进行的自 动彩色变换的一部分。各种图像增强操作可以是影响整个图像 的诸如旋转的整体操作，并且/或者可以是基于局部判据的选择 性操作。例如，在如方框1140限定的选择性色彩或者曝光校正 中，优选实施例包括对整个图像所作的校正、或者在空间掩蔽 操作中仅对人脸或者面部或者其他关键特征图区所作的校正、 或者对属于亮度掩蔽操作的特定曝光所作的校正。还请注意， 这种掩膜可以包括与不同程度的应用校正相关的不同强度。这 允许局部增强，以更好地融入该图像中。
方框1150描述了进行诸如修剪和縮放图像的建议构图，以 产生更合意构图。该工具1150与方框1120描述的工具不同，在 1150中，该面部特征或者人脸或者遮光或者阴影形成对象作为 锚定器(anchor),或者用于跟踪目标、对象或者阴影，或者用 于保证照相机根据人脸或者特征的位置、或者根据遮光或者阴 影形成对象的位置、或者阴影的位置而运动。
方框1160描述了可以在照相机内执行的或者作为后 处理步骤的数字辅助闪光模拟。作为数字辅助闪光的一种选择，该工具也可以是实际闪光传感器，用于确定在总体曝光量中是 否需要辅助闪光，如方框1170所述。在这种情况下，在确定了 该图像的总体曝光量后，如果在该图像中被检测的人脸或者面 部或者其他关键特征有阴影，则可以自动采用辅助闪光。请注 意，根据整个图像与人脸或者面部特征的曝光差，可以计算该 辅助闪光的精确功率，它不必是该闪光的最大功率。这种计算 可以基于在光圈、曝光时间、增益以及闪光功率之间的折衷。
方框1180描述了照相机聚焦在面部特征、人脸或者其他关 键特征上，或者聚焦在遮光或者阴影形成对象上或者阴影上的 能力。它可以用作照相机中的预采集聚焦工具，或者用于延迟
捕像或者提前捕像(请参考图1中的160、 170、 180)。
参考图6a，该图描述了利用人脸检测改善照相机采集参数 的过程，如上面图5中的方框1106所述。在这种情况下，在IOOO， 例如，通过半按下快门、开启照相机等，激活照相机。然后， 照相机经过正常预采集步骤，在1004确定正确的采集参数，诸 如光圈、快门速度、闪光灯功率、增益、色平衡、白点或者焦 点。此外，在1002，加载特别是与该图像中的可能人脸或者其 他特征相关的一组默认图像属性。这些属性可以是总色平衡、 曝光量、对比度、取向等。作为一种选择，在1003，可以对一 批预览图像进行分析，以在1006，确定该图片中可能存在的人 脸。在1008，还可以预测当捕获高清晰度图像时眼睛可能在其 中的图区。这种可替换的技术可以包括转移到方框1010和/或者 1002。
然后，在IOIO，在传感器上利用数字方法捕获图像。这种
动作可以连续更新，而且可以包括也可以不包括将这样捕获的 图像保存到永久存储器中。
26在1020 ,对捕获的图像应用图像分类(image classification)并且特别是人脸检测技术领域内的技术人员 公知的图像检测过程、优选是人脸检测过程，以在该图像中寻 找面部特征、人脸或者其他特征。这些人脸检测技术包括但并 不局限于基于知识的；特征不变(feature-invariant);模 板匹配(template-matching);基于外貌；彩色提示或者活动 提示；基于adaboost的人脸检测器一Viola-Jones;等等。
如果没有发现人脸，则在1032中止该过程。作为一种选择， 或者除了在1030进行自动检测，在1034，用户通过利用例如照 相机显示器，使用某种交互式用户界面机制，可以手动选择被 检测的人脸或者其他特征。作为一种选择，通过改变该检测过 程的灵敏度或者阈值，在没有可视用户界面的情况下，也可以 实现该过程。作为一种选择，可以从预捕像过程1003获取该数 据。
当在1040检测到面部特征或者其他预定的或者选择的特 征时，可以标记和标志它们。在1040定义的检测，不仅是选择 是否检测特征的二元过程，它还可以用作，基于这些面部特征 的尺寸、在该帧中的位置、或者在此描述的限定该特征相对于 被检测的特征的重要性的其它参数，对该面部特征分别赋予各 自权重的部分过程。
作为一种选择，或者此外，在1044，用户可以手动取消选 择被错误地误检测为关键特征的图区。由于特征被误检测，或 者在摄影者希望将注意力集中在作为主要主题的特征之一，而 不希望将注意力集中在其他特征时，可以进行这种选择。作为 一种选择，在1046，用户可以重新选择或者强调一个或者多个 特征，以指出在计算过程中，这些特征相对于其他特征具有更高的重要性。在1046限定的此过程进一步限定了作为连续值过
程的优选识别过程，它与二元过程相反。利用可视用户界面， 或者通过调节检测过程的灵敏度，可以实现该过程。
在1040，正确隔离了人脸或者其它关键特征后，在1050， 将它们的属性与在1002预定的默认值进行比较。这种比较将确 定这两个图像之间的可能变换，以达到相同的值。然后，在1070, 该变换被转化为照相机捕像参数，在1090，采集该图像。
实际例子是如果捕获的人脸太暗，则可以改变采集参数， 以允许较长时间的曝光，或者开大光圈。请注意，图像属性不 必仅与人脸或者关键特征图区相关，还可以与总体曝光量相关。 作为例子，如果总体曝光量是正确的，而人脸曝光不足，则该 照相机可以转至辅助闪光模式。
在1060，延迟捕像，直到被检测的图像属性与默认图像属 性匹配。根据优选实施例的例子是延迟捕像，直到各特征没有 遮光或者没有阴影并且不再存在遮光或者阴影形成对象。在 1070，可以键入手动超控指令(manual override instruction),
以便即使在该图片中检测到遮光或者阴影，无论如何也拍摄图 片，或者保存图片，或者继续处理图片。在1090，拍摄该图片， 或者根据另一个实施例，以高清晰度存储该图片。
参考图6b，描述了利用人脸或者其它关键特征检测来改善 输出参数或者再现参数的过程，如上在图5中的方框1103所述。 在这种情况下，在2100，激活诸如打印机或者显示器这样的再 现装置，下面称为"装置"。例如，在打印机内，或者在连接到 打印机的诸如个人电脑或者照相机的装置内，可以执行这种激 活。然后，该装置通过正常预再现步骤，以在2104确定正确的 再现参数，诸如色调再现、彩色变换轮廓、增益、色平衡、白点和分辨率。此外，在2102，加载特别是与图像中的可能面部 特征或者人脸相关的一组默认图像属性。这些属性可以是总色 平衡、曝光量、对比度或者取向或者它们的组合。
然后，在2110,利用数字方法将图像下载到该装置上。在 2120,对该下载图像应用图像检测过程，优选应用面部特征或 者人脸检测过程，以在该图像中寻找面部特征或者人脸。如果 没有发现图像，则在2132终止该过程，然后，该装置重新开始 其正常再现过程。作为一种选择，或者除了在2130进行自动检 测，在2134，采用例如该装置上的显示器，利用某种交互式用 户界面机制，用户可以手动选择被检测的面部特征或者人脸或 者其他特征。作为一种选择，通过改变该检测过程的灵敏度或 者阈值，在没有可视用户界面的情况下，也可以实施该过程。
当在2130，检测到人脸或者诸如面部特征的其他关键特征 时，在2140标记它们，然后，标志它们。2130的检测不仅仅是 选择是否检测面部特征或者人脸的二元过程。它还可以用作， 根据该人脸或者面部特征或者其他关键特征的尺寸、在帧内的 位置、在此描述的用于限定该特征相对于被检测的其他特征的 重要性的其它参数等等，对这些面部特征或者人脸分别赋予各 自权重的部分过程。
作为一种选择，或者此外，在2144，用户可以手动取消选 择被错误地误检测为关键特征或者人脸的图区。由于误检测到 特征，或者在摄影者希望将注意力集中在作为主要主题的特征， 而不希望将注意力集中在其他特征时，可以进行这种选择。作 为一种选择，在2146，用户可以重新选择或者强调一个或者多 个诸如人脸的特征，以表示在计算过程中这些特征相对于其他 特征更重要。1146限定的该过程进一步限定作为连续值过程的优选识别过程，它与二元过程相反。利用可视用户界面或者通 过调节选择过程的灵敏度，可以实现该过程。
当在2140，正确隔离了该面部特征或者人脸或者其它景物
或者图像特征后，在2150，将其属性与在2102预定的默认值进 行比较。该过程寻找的至少一个优选属性是有遮光或者有阴影 的关键特征。这种比较将确定这两个图像之间的可能变换，以 达到相同的值。如果确定一个或者多个关键特征有遮光或者有 阴影，则在2160，可以取消该图像的资格。在2170，可以手动 超控该取消资格，或者替换为不同图像中没有遮光或者没有阴 影的特征。该变换可以转化为装置再现参数，然后，在2190, 可以对该图像进行再现。该过程可以包括多个图像。在这种情 况下，在2180，在进行该再现过程之前，可以对每个图像重复 该过程。实际例子是在单个显示实例上创建一组低分辨率图像 的略图或者联系表(contact sheet)。
实际例子是，如果在非常暗情况下捕获该关键特征，则该 再现参数可以改变色调再现曲线，从而使该特征增亮。请注意， 该图像属性不必仅与该关键特征图区相关，还可以与整个色调 再现相关。
参考图7a至7d，它们描述了根据在图5中的方框1130醒目 的嘴、眼睛、人脸、其它人脸特征或者其它非面部特征的位置 和取向，使图像自动旋转。图7a中提供了两个人脸的图像。请 注意，这两个人脸的取向不同，并且这两个人脸可能有遮挡。 在这种情况下，每个人脸上分别示出两个眼睛，但是可以仅示 出一个眼睛。此外，示出两个嘴，但是在其他景物中可能有一 个嘴或者两个嘴都看不见。
包括图5中方框1108和1118功能的人脸检测步骤中的软件，将标记母亲和儿子的两张人脸或者两个嘴或者四个眼睛，
例如，可以将这两个人脸分别标记为估计的椭圆形2100和2200。 利用诸如椭圆协方差距阵的公知数学工具，该软件将分别确定 两张人脸2120和2220的主轴以及副轴2140和2240。在照相机处 于水平方向的风景画模式的情况下，或者在处于垂直方向或者 + 90度，即顺时针，或者处于一90度，即逆时针，的肖像模式 的情况下，甚至在该步骤，仅通过比较各轴的尺寸，该软件就 可以认为该图像的取向为90度。作为一种选择，该应用程序还 可以应用于任意旋转量。然而，该信息不足以判定该图像是顺 时针旋转还是逆时针旋转。
图7c描述了提取通常非常容易被检测到的人脸的相关特 征的步骤。这种对象可以包括眼睛2140、 2160和2240、 2260以 及嘴唇2180和2280，或者鼻子、眼眉、眼皮，以及眼睛、头发、 前额、下巴、耳朵等的特征。两个眼睛和嘴唇中心的组合形成 三角形2300，检测三角形2300不仅可以确定人脸的取向，而且 可以确定该人脸相对于人脸拍摄镜头(facial shot)的旋转。 请注意，该图像存在其它非常容易被检测到的部分，例如，鼻 孔、眼眉、发际线、鼻梁以及作为人脸的实际延伸的脖子，等 等，可以标志它们并将它们用于取向检测。在该图中，将眼睛 和嘴唇作为这种面部特征的例子。根据该眼睛，如果存在眼睛， 和嘴的位置，应该使该图像以逆时针方向旋转。根据形状、色 调或者运动分析，可以确定面部特征是否被对象遮光或者有阴 影。
请注意，仅定位不同的面部特征可能还不够，可以将这些 特征互相比较。例如，可以比较眼睛的颜色，以确保这对眼睛 是同一个人的，或者确保没有遮光。作为一种选择，可以将该
31人脸的特征与预览图像进行比较。这样处理可以防止发生将上 部双眼皮错当成半闭眼睛的情况。
另一个例子是图7c和7d所示的例子，如果该软件将嘴2180 与眼睛2260、 2240组合在一起，则该取向被确定为顺时针。在 这种情况下，通过比较嘴和眼睛的相对尺寸，该软件检测正确 取向。上述方法描述了根据不同人脸对象的相对位置，确定图 像的取向的典型说明性技术。例如，可以预期这两个眼睛位于 水平位置，鼻梁垂直于该眼睛，嘴在鼻子下面等。作为一种选 择，可以根据人脸器官本身的几何结构，确定取向。例如，可 以预期眼睛在水平方向是细长的，这意味着，当将诸如黑圈 (bloc) 2140和2160所示的椭圆形布置在该眼睛上时，可以预 期该主轴应该是水平的。与适合椭圆形的嘴唇类似，该主轴应 该是水平的。作为一种选择，还可以研究该人脸周围的图区。 特别是，作为具有唯一接近的皮肤色调、连接到头部的脖子和 肩膀，可以作为人脸取向和检测人脸的指标。
在优选实施例中，确定图像取向的过程可以作为数字显示 装置的一部分予以实现。作为一种选择，该过程可以作为数字 打印装置的一部分，或者在数字采集装置内，予以实现。
该过程还可以作为在同一页上或者屏幕上显示多个图像 的一部分，诸如显示图像的联系表或者略图中，予以实现。在 这种情况下，用户可以分别或者可以通过同时选择多个图像来 接受或者拒绝建议的图像取向。对于序列图像，可以根据用户 对前面图像接受的信息，确定图像的取向。
作为一种选择，如图8a的流程图所描述的，在预采集步骤 可以采用类似的方法，以例如当确定面部特征将被遮挡或者有 阴影时，确定没有遮光或者没有阴影的图像的数字模拟或者复合是否有利。在图5所示的方框1108，照相机搜索该图像中存在 的嘴、眼睛或者人脸或者其他特征。在1460，确定该图像中是 否存在一个或者多个这种特征。如果不存在，则在1462退出。 如果存在，则在1464标记该特征。在1470，分析该特征图区。 如果在1474确定该特征被充分设定为没有遮光或者没有阴影， 则在147S，原样保留该图像。但是，如果确定该特征被不符合 要求地遮挡或者有阴影，或者该特征被部分遮挡或者部分有阴 影超过阈值量，则该过程继续进行，以在1480、 1490和/或者1494 进行校正。在1480，提供用于数字模拟没有遮光或者没有阴影 的特征的子例程。掩膜或者各掩膜限定选择的图区，即，该例 中的眼睛或者人脸图区。在1484，可以增加曝光，也可以跳过 此步骤。在1486,对该选择图区进行形状处理和/或者色彩处理。 例如，如果在原始图像中存在遮光或者阴影，则提供没有遮光 或者没有阴影的特征，以代替有遮光或者有阴影的特征。在 1488，提供色调再现。
在1490，可以对用户提供一个或者多个结果。在1492，用 户可以选择优选结果，然后，在1498，进行校正。作为一种选 择，在1494，可以利用要修改的参数，诸如有遮光或者有阴影 的面部特征，对用户显示该图像。然后，在1496，用户调整修 改范围，在1498，校正该图像。
图8b提供了另一个与图5中一样在1104启动图片拍摄模式 的工作流程。在4820，分析该图像。在1106，确定该图像中是 否存在关键特征。如果不存在，则在lllO，退出。如果存在， 则在1108，标记该特征。在4840，分析该关键特征图区，然后， 如果在4960，该特征没有遮光或者阴影，则在4880，或者拍摄 图片、存储图片(例如，如果事先拍摄了该图片)或者拍摄并存储该图片。在4860，如果确定这些特征中的一个或者多个有 遮光或者有阴影，则在49S0，丢弃该图像，或者延迟捕获图像， 或者作为一种选择，在4900，拍摄该图片。在后者实施例中， 在4920，用没有遮光或者没有阴影的嘴图区代替有遮光或者有 阴影特征的像素，然后，在4940，存储该合成图片。
图9示出涉及遮光或者阴影形成对象或者阴影的运动的技 术。在1170，启动聚焦机构。在1750，照相机搜索该对象或者 阴影以及/或者关键特征。如果在1760，没有检测到对象或者阴 影或者关键特征，则在1762，开始执行基于空间的自动聚焦技 术。如果检测到遮光或者阴影形成对象或者阴影或者关键特征， 则在1770，标记该图区。在1772，显示该图区。在1790，用户 可以拍摄该图片。然而，在1780，用户可以转换到焦点跟踪模 式。在1782，当例如在形成遮光或者阴影的过程中或者在使遮 光或者阴影事件结束的过程中，该对象、特征或者阴影运动时， 在1784，跟踪该对象、特征或者阴影的运动。在1786，当该对 象、特征或者阴影在遮光过程中运动时，施加延迟或者取消景 物的资格。在1790，在该取消资格期间结束时，用户可以拍摄 该图片，或者预设该照相机，以自动拍摄该镜头。
下面是参考文献引用清单，在披露变换实施例时，除了背 景技术、发明内容、摘要
、以及附图和上面引用的 其它参考文献，在此将下面的参考文献引入优选实施例的详细 说明中供参考
第6， 965， 684号、第6， 301， 440号、第RE33682号、第RE31370 号、第4，047，187号、第4，317，991号、第4，367，027号、第 4'638，364号、第5,291，234号、第5，488，429号、第5， 638， 136 号、第5，710，833号、第5，724，456号、第5，781，650号、第5，812，193号、第5，818，975号、第5，835，616号、第5，870'138 号、第5，978，519号、第5，991，456号、第6，097，470号、第 6，101，271号、第6，128，397号、第6，148，092号、第6，151，075 号、第6，188，777号、第6，192，149号、第6，249，315号、第 6'263，113号、第6，268，939号、第6，282，317号、第6， 301， 370 号、第6，332，033号、第6，393，148号、第6，404，900号、第 6，407，777号、第6，421，468号、第6，438，264号、第6， 456， 732 号、第6，459，436号、第6，473，199号、第6，501，857号、第 6，504，942号、第6，504，951号、第6，516，154号、第6， 526, 161 号、第6，151，073号、第5，862，218号、第6，956，966号、第 6， 904， 168号、第6， 873， 743号以及第6， 751， 348号美国专利;
第2003/0071908号、第2003/0052991号、第2003/0025812 号、第2002/0172419号、第2002/01 H535号、第2002/0105662 号以及第2001/0031142号美国专利申请公开；
标题为"Human Eye Detector"的第60/776， 338号美国
临时专利申请；
第JP5260360A2号日本专利申请； 第GB0031423. 7号英国专利申请；
Yang等人，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24， no. 1， pp 34-58 (Jan. 2002);以及
Baluja禾口 Rowley ， " Neural Network-based Face Detection, " IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20， No. 1， p 23-28， January 1998。
尽管描述并示出了本发明的典型示意图和特定实施例，但是应该明白，本发明的范围并不局限于所讨论的特定实施例。 因此，应该将该实施例看作是说明性的，而非限制性的，还应 该明白，在不脱离下面的权利要求书及其等效结构和等效功能 限定的本发明范围的情况下，本技术领域内的技术人员可以对 这些实施例进行变更。
此外，在根据下面的权利要求书和/或者在此的优选实施 例可以执行的方法中，以选择的排印顺序描述各操作。然而， 选择该顺序，并且为了排印方便而如此排序，而且该顺序无意 暗示执行该操作的任意特定顺序，除非明确提出该特定顺序， 或者本技术领域内的技术人员必然这样理解该特定顺序。
权利要求
1. 一种基于存储图像不符合进行进一步图像处理要求而取消该存储图像资格的方法，包括(a)采集并存储包括关键特征图区的景物的当前图像；(b)在后采集数字图像处理期间，从该存储图像中提取信息；(c)识别一组或者多组对应于该关键特征图区的像素；(d)确定所述关键特征图区的一个或者多个细节是否是不符合要求的；并且如果是不符合要求的，则(e)拒绝对该当前图像进行进一步后采集数字图像处理。
2. 根据权利要求l所述的方法，进一步包括(i) 采集一个或者多个预览图像；以及(ii) 确定所述一个或者多个预览图像中是否存在一个或 者多个人脸，以及所述一个或者多个人脸在所述一个或者多个 预览图像中的位置；以及(iii) 其中识别该当前图像中的一组或者多组像素是至少 部分地基于所述确定所述预览图像中所述是否存在人脸以及所 述人脸在所述预览图像中的所述位置。
3. 根据权利要求l所述的方法，其中该识别包括识别一组 或者多组对应于该关键特征的像素；而该确定包括确定该关键 特征是否被显著遮挡或者有显著阴影；并且如果被显著遮挡或 者有显著阴影，则该拒绝包括取消该图像以及同样被遮挡或者 同样有阴影的即将临时捕获的其他任意图像作为被进一步处理 的候选者的资格。
4. 根据权利要求3所述的方法，其中确定该关键特征是否 被遮挡或者有阴影包括确定该关键特征被遮挡或者有阴影的程度。
5. 根据权利要求3所述的方法，其中该当前图像包括高清 晰度捕获图像，并且该关键特征包括人脸图区或者部分人脸图 区。
6. 根据权利要求3所述的方法，其中该当前图像包括高清 晰度捕获图像，并且该方法进一步包括拼装包括该当前图像中 的像素和不同图像中对应于该关键特征的没有遮挡或者没有阴 影像素的合成图像。
7. 根据权利要求3所述的方法，其中识别该关键特征图区 包括识别人脸图区；以及分析该人脸图区，以确定其内的眼 睛或者嘴图区。
8. 根据权利要求3所述的方法，进一步包括因为该取消资 格而处理不同图像，以代替该当前图像。
9. 一种基于采集图像被遮挡或者有遮光特征至使该采集 图像不符合永久保存的要求而取消该采集图像资格的方法，包 括(a) 采集包括关键特征的景物的当前图像；(b) 识别对应于该关键特征的一组或者多组像素；(c) 确定在该当前图像中该关键特征是否有阴影或者有遮 光或者二者都有；并且如果是有阴影或者有遮光或者二者都有，(d) 拒绝该当前图像作为后采集数字图像处理的候选者， 而在延迟了一段时间之后，自动采集新图像以代替该当前图像。
10. 根据权利要求9所述的方法，其中所述延迟所述采集 该新图像对应于所述关键特征的所述阴影或者遮光发生变化的 估计时间。
11. 根据权利要求9所述的方法，进一步包括提供所述当 前图像是不符合要求的通知。
12. 根据权利要求ll所述的方法，其中所述通知是可视 的、可听的或者它们的组合。
13. 根据权利要求9所述的方法，进一步包括(i) 采集一个或者多个预览图像；以及(ii) 确定所述一个或者多个预览图像中是否存在阴影或 者遮光或者它们二者以及它们在所述一个或者多个预览图像中 的位置；以及(iii) 其中在所述当前图像中进行的该确定是至少部分地 基于在所述预览图像中进行的所述确定。
14. 根据权利要求9所述的方法，其中该识别包括识别一 组或者多组对应于人脸图区的像素；而该确定进一步包括确定 该人脸图区是否具有不符合要求的形态；并且如果具有不符合 要求的形态，则该拒绝包括在该人脸图区具有该不符合要求的 形态时，取消该景物作为被处理的永久图像的候选者资格。
15. 根据权利要求14所述的方法，其中该不符合要求的形 态包括眨眼或者铍眉或者它们二者。
16. 根据权利要求9所述的方法，其中该延迟包括预测该 遮光或者阴影何时停止，并且在接近预测的遮光或者阴影结束 时间时，结束该延迟。
17. 根据权利要求9所述的方法，其中该确定该关键特征 是否有阴影或者有遮光包括确定该关键特征有阴影或者有遮光 的程度。
18. —种自动取消不符合要求景物的资格并作为照相机 的图像采集控制的方法，包括(a) 采集多个预览图像；(b) 从所述多个预览图像中提取信息；(c) 在所述多个临时图像的各图像之间，分析该景物中的 一个或者多个变化；(d) 根据该分析，确定该景物中的一个或者多个关键特征 是否有阴影或者有遮光；以及(e) 在所述阴影或者遮光继续存在时，取消该景物作为已 处理的永久的图像候选者的资格。
19. 根据权利要求18所述的方法，其中该分析包括根据被 检测的阴影或者遮光形成对象的运动来估计该阴影或者遮光将 继续存在的时间长度。
20. 根据权利要求19所述的方法，进一步包括确定该阴影 或者遮光继续存在和不采集已处理的永久图像的取消资格间 隔；以及在该间隔结束时结束该取消资格。
21. —种包括成像光学系统和数字图像检测器以及存储 介质并且其内存储了程序指令的图像采集设备，该程序指令用 于对一个或者多个处理器编程，以执行权利要求1至20之任一所述的对采集图像取消资格的方法。
22. —种或者多种处理器可读存储器件，处理器可读代码 嵌入在该可读存储器件上，所述处理器可读代码用于对一个或 者多个处理器编程，以执行基于存储图像不符合被进一步图像 处理的要求而取消该存储图像的资格的方法，该方法包括(a) 采集并存储包括关键特征图区的景物的当前图像；(b) 在后采集数字图像处理期间，从该存储图像中提取信加、5(C)识别一组或者多组对应于该关键特征图区的像素；(d) 确定所述关键特征的一个或者多个细节是否是不符合要求的；并且如果是不符合要求的，则(e) 拒绝对该当前图像进行进一步后采集数字图像处理。
23. 根据权利要求22所述的一种或者多种存储器件，该方 法进一步包括(i) 采集一个或者多个预览图像；以及(ii) 确定所述一个或者多个预览图像中是否存在一个或 者多个人脸，以及所述一个或者多个人脸在所述一个或者多个 预览图像中的位置；以及(iii) 其中识别该当前图像中的一组或者多组像素是至少 部分地基于所述确定所述预览图像中所述是否存在人脸以及所 述人脸在所述预览图像中的所述位置。
24. 根据权利要求22所述的一种或者多种存储器件，其中 该识别包括识别一组或者多组对应于该关键特征的像素；而该 确定包括确定该关键特征是否被显著遮挡或者有显著阴影；并 且如果被显著遮挡或者有显著阴影，则该拒绝包括取消该图像 以及同样被遮挡或者同样有阴影的即将临时捕获的其他任意图 像作为被进一步处理的候选者的资格。
25. 根据权利要求24所述的一种或者多种存储器件，其中 确定该关键特征是否被遮挡或者有阴影包括确定该关键特征被 遮挡或者有阴影的程度。
26. 根据权利要求24所述的一种或者多种存储器件，其中 该当前图像包括高清晰度捕获图像，并且该关键特征包括人脸 图区或者部分人脸图区。
27. 根据权利要求24所述的一种或者多种存储器件，其中 该当前图像包括高清晰度捕获图像，并且该方法进一步包括拼装包括该当前图像中的像素和不同图像中对应于该关键特征的 没有遮挡或者没有阴影像素的合成图像。
28. 根据权利要求24所述的一种或者多种存储器件，其中 识别该关键特征图区包括识别人脸图区；以及分析该人脸图区，以确定其内的眼睛或者嘴图区。
29. 根据权利要求24所述的一种或者多种存储器件，该方 法进一步包括因为该取消资格而处理不同图像，以代替该当前 图像。
30. —种或者多种处理器可读存储器件，处理器可读代码 嵌入在该可读存储器件上，所述处理器可读代码用于对一个或 者多个处理器编程，以执行基于采集图像根据其被遮挡或者有 遮光特征不符合永久保存的要求而取消该采集图像资格的方 法，该方法包括(a) 采集包括关键特征的景物的当前图像；(b) 识别对应于该关键特征的一组或者多组像素；(c) 确定在该当前图像中该关键特征是否有阴影或者有遮 光或者二者都有；并且如果是有阴影或者有遮光或者二者都有，则(d) 拒绝该当前图像作为后采集数字图像处理的候选者， 而在延迟了一段时间之后，自动采集新图像以代替该当前图像。
31. 根据权利要求30所述的一种或者多种存储器件，其中 所述延迟所述采集该新图像对应于所述关键特征的所述阴影或 者遮光基本结束的估计时间。
32. 根据权利要求30所述的一种或者多种存储器件，该方 法进一步包括提供所述当前图像是不符合要求的通知。
33. 根据权利要求32所述的一种或者多种存储器件，其中所述通知是可视的、可听的或者它们的组合。
34. 根据权利要求30所述的一种或者多种存储器件，该方 法进一步包括(i) 采集一个或者多个预览图像；以及(ii) 确定所述一个或者多个预览图像中是否存在阴影或 者遮光或者它们二者以及它们在所述一个或者多个预览图像中 的位置；以及(iii) 其中在所述当前图像中进行的该确定是至少部分地 基于在所述预览图像中进行的所述确定。
35. 根据权利要求30所述的一种或者多种存储器件，其中该识别进一步包括识别一组或者多组对应于人脸图区的像素； 而该确定进一步包括确定该人脸图区是否具有不符合要求的形 态；并且如果具有不符合要求的形态，则该拒绝包括在该人脸 图区具有该不符合要求的形态时，取消该景物作为被处理的永 久图像的候选者资格。
36. 根据权利要求35所述的一种或者多种存储器件，其中该不符合要求的形态包括眨眼或者皱眉或者它们二者。
37. 根据权利要求30所述的一种或者多种存储器件，其中该延迟包括预测该遮光或者阴影何时停止，并且在接近预测的 遮光或者阴影停止时间时，结束该延迟。
38. 根据权利要求30所述的一种或者多种存储器件，其中该确定该关键特征是否有阴影或者有遮光包括确定该关键特征 有阴影或者有遮光的程度。
39. —个或者多个处理器编程，处理器可读代码嵌入在该 可读存储器件上，所述处理器可读代码用于对一个或者多个处理器编程，以执行自动取消不符合要求景物的资格并作为照相机的图像采集控制的方法，包括(a) 采集多个预览图像；(b) 从所述多个预览图像中提取信息；(C)在所述多个临时图像的各图像之间，分析该景物中的 一个或者多个变化；(d) 根据该分析，确定该景物中的一个或者多个关键特征 是否有阴影或者有遮光；以及(e) 在所述阴影或者遮光继续存在时，取消该景物作为已 处理的永久的图像候选者的资格。
40. 根据权利要求39所述的一种或者多种存储器件，其中 该分析包括根据被检测的阴影或者遮光形成对象的运动来估计 该阴影或者遮光将继续存在的时间长度。
41. 根据权利要求40所述的一种或者多种存储器件，该方 法进一步包括确定该阴影或者遮光继续存在和不采集已处理的 永久图像的取消资格间隔；以及在该间隔结束时结束该取消资 格。
全文摘要
作为照相机的图像采集控制方式，取消不符合要求景物的资格。采集图像。在该图像中确定一个或者多个人脸图区或者其他关键特征图区。分析这些图区，以确定它们是否被不符合要求地遮挡或者有阴影，并且如果被不符合要求地遮挡或者有阴影，则当该特征继续被遮挡或者有阴影时，取消该景物作为被处理的永久图像的候选者的资格。
文档编号G06K9/00GK101427263SQ200680054364
公开日2009年5月6日 申请日期2006年8月3日 优先权日2006年2月24日
发明者埃兰·斯坦伯格, 彼得·科科伦, 彼得罗内尔·比焦伊 申请人:快图影像有限公司