专利名称：对象检测设备、图像拾取设备、对象检测方法和程序的制作方法
技术领域：
本发明涉及用于从图像检测对象(例如，人的面部)的对象检测设备和图像拾取 设备、对象检测方法、以及用于使得计算机执行该方法的程序。
背景技术：
已经开发了用于识别通过图像拾取设备(如数字照相机或数字摄像机)捕获的图 像中包含的对象是什么的对象识别技术。例如，作为对象识别技术，已经提出了一种面部检 测技术，用于通过使用如亮度和颜色的特征，通过图像处理从捕获的图像中检测面向前方 的人的面部。然而，人的面部可能不是正面。人的面部可能转向任一侧(例如，左侧或右 侧)。因此，例如，当仅检测正面时，难以检测转向另一方向的面部，因此，不能适当地检测人 的面部。因此，已经开发了特定对象检测设备。该特定对象检测设备包括多个确定单元，使 用树形层次结构对面部的方向提供每个所述确定单元。该特定对象检测设备根据通过树 形结构指示的分支顺序确定面部的方向，并检测面部(例如，参见日本未审专利申请公开 No. 2007-109229,并且特别参见图2)。
发明内容
根据上述现有技术，因为通过顺序确定面部的方向来检测面部，所以可检测正面 以外的面部。即，可检测朝向不同方向之一的人的面部。然而，在上述现有技术中，例如，如果在到达叶节点(leaf)之前做出的确定中出 现错误，则形成目标面部的方向和叶节点的不适当组合。因此，使用叶节点的面部检测不能 适当地运行。因此，本发明提供了一种对象检测设备、图像拾取设备、对象检测方法和程序，其能够增加对象的检测精度。根据本发明实施例，提供了一种对象检测设备、用于在对象检测设备中使用的对 象检测方法、以及用于使得计算机执行对象检测方法的程序。该对象检测设备包括评估信 息存储单元，配置为存储用于计算多个对象的每个的评估值的评估信息，所述评估值用于 评估所述对象的哪一个包含在图像中；确定信息存储单元，配置为与每个对象相关联地存 储用于确定对象是否包含在图像中的确定信息；计算单元，配置为通过使用评估信息从图 像的多个区域提取特征、并比较两个提取的特征，计算对于每个对象的评估值；以及确定单 元，配置为使用与下述对象相关联的确定信息，确定该对象是否包含在图像中，所述对象与 对该对象计算的评估值当中满足预定条件的评估值有关。通过使用该对象检测设备、对象 检测方法或程序，从图像的多个区域提取特征。通过使比较两个提取的特征，对于每个对象 计算评估值，并且使用与下述对象相关联的确定信息，确定该对象是否包含在图像中，所述 对象与对该对象计算的评估值当中满足预定条件的评估值有关。上述确定信息是用于计算下述评估值的信息，当从图像的多个区域提取特征、并通过比较提取的特征中的两个特征来确定所述对象是否包含在所述图像中时，使用所述评 估值，并且所述评估信息可以是用于使用下述条件计算对象的评估值的信息，所述条件比 用于使用确定信息计算对象的评估值的条件较不严格。以此方式，可通过使用在下述条件 下的评估信息计算对象的评估值，所述条件比用于使用确定信息计算对象的评估值的条件 较不严格。所述对象检测设备还可包括选择单元，配置为从对所述对象计算的评估值中从顶 部起选择预定数量的具有高的值的评估值。所述确定单元可使用与关于选择的评估值的对 象相关联的确定信息进行确定。因此，可通过从对所述对象计算的评估值中从顶部起选择 预定数量的具有高的值的评估值、并使用与关于选择的评估值的对象相关联的确定信息进 行确定。所述选择单元可从预定数量的评估值中选择高于预定值的评估值作为满足预定 条件的评估值。因此，可从预定数量的评估值中选择高于预定值的评估值。所述评估信息可包括图像中的两个位置、阈值和分配给每个对象的权重值的组 合。所述计算单元可从通过所述两个位置标识的图像的两个区域提取特征，比较提取的特 征和阈值，使用对每个对象的比较结果计算权重值，并计算对于每个对象的评估值。因此， 可从通过所述两个位置标识的图像的两个区域提取特征、比较提取的特征和阈值、使用对 每个对象的比较结果计算权重值，计算对于每个对象的评估值。所述对象检测设备还可包括位置计算单元，配置为通过将评估信息中包含的两 个位置关于图像的中心旋转预定角度，计算图像中的两个新的位置，用于计算关于多个新 对象的评估值；以及第二确定信息存储单元，配置为与新对象相关联地存储在将对象旋转 预定角度后与多个新对象的每个有关的预定信息。所述计算单元可对通过每个新对象的 两个新计算位置标识的图像的两个区域执行权重值的计算，并且计算对每个新对象的评估 值。所述确定单元可使用与下述对象相关联的确定信息，确定该对象是否包含在图像中，该 对象与对对象计算的评估值和对新对象计算的评估值当中的满足预定条件的评估值有关。 因此，可通过经将评估信息中包含的两个位置关于图像的中心旋转预定角度，计算两个新 的位置，并对通过每个新对象的两个新计算位置标识的图像的两个区域计算权重值，计算 对每个新对象的评估值。因此，可以使用与下述对象相关联的确定信息，确定该对象是否包 含在图像中，该对象与对对象计算的评估值和对新对象计算的评估值当中的满足预定条件 的评估值有关。所述计算单元可计算从两个区域提取的特征之间的差值，比较计算的差值和阈 值，并且基于比较结果计算评估值。因此，可计算从两个区域提取的特征之间的差值。计算 的差值可与阈值比较，并且可基于比较结果计算评估值。所述评估信息可包括多个组合，并且所述计算单元可通过顺序计算每个组合的对 象的权重值，计算每个对象的评估值。因此，通过顺序计算每个组合的对象的权重值，可对 每个对象计算评估值。 所述确定单元可使用与关于满足预定条件的评估值的对象相关联的确定信息，从 图像的多个区域提取特征，比较两个提取的特征，计算与满足预定条件的评估值相关联的 每个对象的评估值，并且基于所述评估值确定所述对象是否包含在图像中。因此，可使用与 关于满足预定条件的评估值的对象相关联的确定信息，从图像的多个区域提取特征。可通过比较两个提取的特征，对于与满足预定条件的评估值相关联的每个对象计算评估值，并 且可使用所述评估值进行确定。所述确定单元可确定使用确定信息计算的对象的评估值当中的、与最高评估值有 关的对象包含在图像中。因此，可确定使用确定信息计算的对象的评估值当中的、与最高评 估值有关的对象包含在图像中。如果最高评估值高于预定值，则所述确定单元可确定与最高评估值有关的对象包 含在图像中。因此，如果最高评估值高于预定值，则可确定与最高评估值有关的对象包含在 图像中。所述多个对象可以是朝向不同方向的人的面部。因此，可确定面部是否包含在图 像中。所述多个对象可以是包括狗和猫中的至少一个的动物。因此，可确定狗和猫的至 少一个是否包含在图像中。根据本发明另一实施例，提供了一种图像拾取设备、用于在图像拾取设备中使用 的处理方法、以及用于使得计算机执行该处理方法的程序。该图像拾取设备包括评估信息 存储单元，配置为存储用于计算评估值的评估信息，所述评估值用于评估多个对象的哪一 个包含在图像中；确定信息存储单元，配置为与每个对象相关联地存储用于确定对象是否 包含在图像中的确定信息；图像拾取单元 ，配置为通过捕获被摄体的图像生成捕获的图像； 图像检索单元，配置为从捕获的图像检索要确定的图像；计算单元，配置为通过使用评估信 息从要确定的图像的多个区域提取特征、并比较两个提取的特征，计算对于每个对象的评 估值；以及确定单元，配置为使用与下述对象相关联的确定信息，确定该对象是否包含在图 像中，所述对象与对该对象计算的评估值当中满足预定条件的评估值有关。因此，可从要确 定的图像的多个区域提取特征，并通过比较两个提取的特征，对于每个对象计算评估值。随 后，可使用与下述对象相关联的确定信息，确定该对象是否包含在图像中，所述对象与对该 对象计算的评估值当中满足预定条件的评估值有关。 根据本发明实施例，可有利地提高检测对象的精度。
图1是根据本发明第一实施例的图像拾取设备的功能框图；图2是根据本发明第一实施例的相机控制单元的功能框图；图3是根据本发明第一实施例的面部检测单元的功能框图；图4是根据本发明第一实施例的学习设备的功能框图；图5A和5B图示根据本发明第一实施例的、用于由学习设备执行的学习处理的训 练图像的示例；图6A和6B是根据本发明第一实施例的权重保持单元中保持的信息的示意性图 示；图7A和7B是根据本发明第一实施例的、用于在权重分布信息生成单元中生成权 重分布信息的方法的示意性图示；图8A和8B示意性图示通过根据本发明第一实施例的权重分布信息生成单元生成 的权重分布信息和训练图像之间的关系；
图9A到9C示意性图示通过根据本发明第一实施例的权重分布信息生成单元生成 的权重分布信息和通过最佳阈值确定单元确定的阈值之间的关系；图IOA到IOC示意性图示根据本发明第一实施例的、将对应于通过弱学习器确定 单元确定的弱学习器的各个值记录到面部检测字典中的方法；图IlA和IlB图示对训练图像中的两个点的组合生成的两个权重分布曲线；图12A到12C图示用于通过根据本发明第一实施例的学习设备的学习处理的训 练 图像的示例；图13A和13B是根据本发明第一实施例的权重保持单元中保持的信息的示意性图 示；图14A到14C示意性图示用于在根据本发明第一实施例的权重分布信息生成单元 中生成权重分布信息的方法；图15A和15B示意性图示通过根据本发明第一实施例的权重分布信息生成单元生 成的权重分布信息和训练图像之间的关系；图16A和16B示意性图示通过根据本发明第一实施例的权重分布信息生成单元生 成的权重分布信息和通过最佳阈值确定单元确定的阈值之间的关系；图17A到17C示意性图示根据本发明第一实施例的、将对应于通过弱学习器确定 单元确定的弱学习器的各个值记录到面部检测字典中的方法；图18是图示通过根据本发明第一实施例的学习设备执行的对象检测字典生成处 理的处理过程的流程图；图19是图示通过根据本发明第一实施例的学习设备执行的对象检测字典生成处 理的弱学习器确定子处理的处理过程的流程图；图20A和20B图示根据本发明第一实施例的、用于计算要确定的图像的多个评估 值的示例性评估值计算字典；图21A和21B图示根据本发明第一实施例的、用于确定要确定的图像中是否包含 面部的面部确定字典的示例；图22A到22D是根据本发明第一实施例的、用于检索要经历通过面部检测单元执 行的面部检测处理的图像的方法的示意性图示；图23A和23B图示根据本发明第一实施例的、通过图像检索单元检索的要确定的 图像和通过评估值计算单元对要确定的图像计算的评估值的示例；图24A到24D图示根据本发明第一实施例的、通过图像检索单元检索的要确定的 图像和通过面部确定单元对要确定的图像计算的评估值的示例；图25A到25C是根据本发明第一实施例的、通过面部检测单元执行的面部检测处 理的处理流程的示意性图示；图26图示根据本发明第一实施例的、经历通过面部检测单元执行的面部检测处 理的捕获图像和通过面部检测单元执行的面部检测处理的检测结果；图27是图示根据本发明第一实施例的、通过图像拾取设备执行的捕获图像记录 处理的处理流程的流程图；图28是图示根据本发明第一实施例的、通过图像拾取设备执行的捕获图像记录 处理的面部检测处理的处理流程的流程图29是图示根据本发明第一实施例的、通过图像拾取设备执行的面部检测处理的确定处理的处理流程的流程图；图30是图示根据本发明第一实施例的、通过图像拾取设备执行的面部检测处理 的第一评估值计算子处理的处理流程的流程图；图31是图示根据本发明第一实施例的、通过图像拾取设备执行的面部检测处理 的第二评估值计算子处理的处理流程的流程图；图32是根据本发明第二实施例的面部检测单元的功能框图；图33A到33D图示根据本发明第二实施例的、可通过使用位置计算单元计算两个 新的点的位置来计算其评估值的对象的示例；图34A到34D图示根据本发明第二实施例的、通过位置计算单元计算的两个新的 点的和使用这两个新的点的位置计算的评估值之间的关系示例；图35A到35E是根据本发明第二实施例的、通过面部检测单元执行的面部检测处 理的处理流程的示意性图示；图36图示根据本发明第二实施例的、通过面部检测单元可检测的面部和检测结 果的示例；以及图37是图示通过根据本发明第二实施例的图像拾取设备执行的面部检测处理的 处理流程的流程图。
具体实施例方式将在下面描述本发明的示例性实施例。将按以下顺序进行描述。1.第一实施例(面部检测控制用于从图像进行面部检测的示例和用于面部检测 的字典信息的生成的示例)2.第二实施例(面部检测控制用于从图像进行面部检测的修改)1.第一实施例图像拾取设备的示例性配置图1是根据本发明第一实施例的图像拾取设备100的功能框图。图像拾取设备100 包括透镜单元111、图像拾取单元112、系统控制单元120、存储器单元130、外部接口(I/F) 单元140、记录单元150、操作输入单元160、显示单元170、音频输出单元180和相机控制单 元200。例如，图像拾取设备100可通过数字照相机实现，该数字照相机捕获对象的图像，生 成图像数据，提取图像的特征，并随后使用提取的特征执行各种图像处理。透镜单元111包括会聚从对象输出的光的多个透镜(例如，变焦透镜和聚焦透 镜)。来自对象的入射光经由透镜单元111提供到图像拾取单元112。图像拾取单元112包括图像拾取设备(未示出)和信号处理单元(未示出)，该图 像拾取设备具有电子快门功能，该信号处理单元用于处理从图像拾取设备输出的信号并生 成捕获的图像(图像数据)。也就是说，在图像拾取单元112中，在图像拾取设备上形成通 过透镜单元111入射的对象的光学图像，该图像拾取设备执行成像操作。信号处理设备对 成像信号执行信号处理。因此，生成捕获的图像。此后生成的捕获图像提供到存储捕获图 像的存储单元130。注意，通过相机控制单元200顺序设置用于生成捕获图像的相机参数 (成像参数)。
在系统控制单元120的控制下，相机控制单元200使用经由存储器单元130从图 像拾取单元112提供的捕获图像，控制图像拾取单元112。将参照图2在下面更详细描述相 机控制单元200。系统控制单元120执行图像拾取设备100的整体控制。例如，系统控制单元120 根据通过操作输入单元160从用户输入的操作，执行控制。此外，系统控制单元120控制在 显示单元170上屏幕(如菜单屏幕)的显示、从记录单元150读取捕获图像和记录捕获图 像到记录单元150、以及经由外部I/F单元140与网络和外部计算机通信。此外，当监视图 像捕获操作时，系统控制单元120控制在显示单元170上显示通过图像拾取单元112生成 的捕获图像。图像拾取设备100的存储器单元130是为了暂时存储例如捕获图像的主存储器单 元。例如，存储器单元130从动态随机存取存储器(DRAM)形成。也就是说，通常，经由存储 器单元130在图像拾取设备100的各个单元之间交换捕获图像。外部I/F单元140是包括输入和输出端子的外部接口(如通用串行总线端口 )。 外部I/F单元140提供用于将图像拾取设备100与外部计算机和网络连接的接口。在系统控制单元120的控制下，记录单元150记录通过图像拾取单元112生成的 捕获图像。此外，在系统控制单元120的控制下，记录单元150读取记录的捕获图像，并将 捕获图像提供到系统控制单元120。如闪存的记录介质可用作记录单元150。记录单元150 可并入到图像拾取设备100中，或可移除地安装在图像拾取设备100中。 操作输入单元160接收通过用户执行的输入操作，并且将根据接收的用户操作生 成的信号输入到系统控制单元120。例如，当按下用于指令捕获图像的记录的快门按钮时， 根据快门按钮的按下生成的信号输出到系统控制单元120。在系统控制单元120的控制下，显示单元170显示各种图像。例如，显示单元170 显示通过图像拾取单元112生成的捕获图像、从记录单元150读取的捕获图像以及提供给 用户的菜单屏幕。在系统控制单元120的控制下，音频输出单元180输出各种音频信息。例如，扬声 器可用作音频输出单元180。图2是根据本发明第一实施例的相机控制单元200的功能框图。除了相机控制单 元200的功能配置外，图2图示了图1中示出的图像拾取单元112、系统控制单元120和存 储器单元130的配置。相机控制单元200包括顺序控制单元210、相机参数控制单元220、 面部检测单元230、以及存储器单元I/F240。在存储器单元130和相机参数控制单元220 之间、以及存储器单元130和面部检测单元230之间经由存储器单元I/F 240交换捕获图 像。在从系统控制单元120接收捕获图像记录待机命令时，顺序控制单元210启动，并 且维持其中可记录通过图像拾取单元112生成的捕获图像的捕获图像记录待机模式。在该 捕获图像记录待机模式中，通过图像拾取单元112生成的捕获图像顺序记录到存储器单元 130中。例如，存储器单元130中要存储的捕获图像以1/60秒的间隔更新。此外，顺序控 制单元210执行控制，使得相机参数控制单元220基于存储器单元130中存储的当前捕获 图像(通过图像拾取单元112生成的最近捕获图像)，设置相机参数。此外，顺序控制单元 210执行控制，使得面部检测单元230对于存储器单元130中存储的当前捕获图像执行面部检测处理。此时，如果面部检测单元230输出显示检测到面部的面部检测信息，则顺序控制 单元210将指示检测到面部的信息输出到系统控制单元120和相机参数控制单元220。相机参数控制单元220设置关于捕获图像的相机参数。相机参数控制单元220然 后使用设置的相机参数控制通过图像拾取单元112执行的图像捕获操作。更具体地，当被 顺序控制单元210触发时，相机参数控制单元220经由存储器单元I/F 240获得存储器单 元130中存储的当前捕获图像。相机参数控制单元220然后评估当前捕获图像，并且确定 如快门速度、曝光和白平衡的相机参数。当从当前捕获图像中检测到面部时，相机参数控制 单元220基于检测到的面部和当前捕获图像的评估，确定如快门速度、曝光和白平衡的相 机参数。例如，当检测到面部时，基于捕获图像中检测到的面部的位置和大小，确定对于检 测到的面部最佳的相机参数。面部检测单元230从存储器单元130中存储的当前捕获图像检测面部。当检测到 面部时，面部检测单元230将面部检测信息输出到顺序控制单元210。更具体地，在从顺序 控制单元210接收到触发时，面部检测单元230经由存储器单元I/F 240获得存储器单元 130中存储的当前捕获图像，并且对当前捕获图像执行面部检测处理。在本实施例中，面部 检测信息指关于检测到的面部的信息。例如，面部检测信息包括捕获图像中的检测到的面 部的位置和大小、面部的类型(例如，面部的朝向)、以及指示该面部是多个面部之一的可 能性的分数。下面将参照图3更详细描述面部检测单元230。图3是图示根据本发明第一实施例的面部检测单元230的示例性功能结构的框 图。面部检测单元230包括图像获得单元231、图像缩小单元232、图像检索单元233、评估 值计算单元235、选择单元236、面部确定单元237、确定结果输出单元238、评估值计算字典 存储单元300、以及面部确定字典存储单元310。图像获得单元231经由存储器单元I/F 240获得存储器单元130中存储的捕获图 像。图像获得单元231将获得的捕获图像输出到图像缩小单元232。图像缩小单元232按预定百分比顺序缩小从图像获得单元231输出的捕获图像的 大小，并生成具有不同大小的多个图像。图像缩小单元232将生成的图像顺序输出到图像 检索单元233。下面将参照图22A到22D更详细描述捕获图像的缩小的处理。图像检索单元233从图像缩小单元232输出的每个图像检索在预定区域中包含的 图像。图像检索单元233然后将检索的图像(要确定的图像)输出到评估值计算单元235 和面部确定单元237。下面将参照图22k到22D更详细描述检索图像的处理。评估值计算字典存储单元300对每个对象存储用于计算评估值的评估值计算字 典，该评估值评估多个对象中的哪个包含在从图像检索单元233输出的图像中。评估值计 算字典存储单元300将存储的评估值计算字典提供给评估值计算单元235。参照转向不同 方向的多个面部作为多个对象来描述本发明的第一实施例。下面将参照图5A到17C更详 细描述用于生成评估值计算字典的方法。此外，下面将参照图20A和20B更详细描述评估 值计算字典中存储的信息。注意，评估值计算字典存储单元300是权利要求中定义的评估 信息存储单元的示例。面部确定字典存储单元310与每个对象相关联地存储面部确定字典。面部确定字 典用于确定特定对象是否包含在从图像检索单元233输出的图像中。面部确定字典存储单 元310将存储的面部确定字典提供到面部确定字典存储器239。在本实施例中，面部确定字典存储单元310存储用于多个对象的每个的面部确定字典，所述多个对象对应于使用评估 值计算字典存储单元300中存储的评估值计算字典计算的评估值。下面将参照图5到17 更详细地描述用于生成面部确定字典的方法。此外，下面将参照图21更详细描述面部确定 字典中存储的信息。注意，面部确定字典存储单元310是权利要求中定义的确定信息存储 单元的示例和第二确定信息存储单元的示例。面部确定字典存储器239是存储从面部确定字典存储单元310中存储的多个面部 确定字典中选择的一个或多个面部确定字典的工作存储器。面部确定字典存储器239将存 储的面部确定字典中包含的信息提供到面部确定单元237。评估值计算单元235从自图像检索单元233输出的要确定的图像的多个区域提取 特征。此后，评估值计算单元235比较两个提取的特征量，并同时计算多个对象的评估值。 评估值计算单元235然后将对于每个对象的计算的评估值输出到选择单元236。当计算评 估值时，使用评估值计算字典存储单元300中存储的评估值计算字典。下面将参照图23A 到25C更详细描述通过评估值计算单元235执行的评估值的计算。注意，评估值计算单元 235是权利要求中定义的计算单元的示例。选择单元236从自评估值计算单元235输出的对象的评估值选择满足预定条件的 评估值。此后，选择单元236将关于涉及选择的评估值的对象的信息(即，选择对象信息) 输出到面部确定单元237。例如，可确定条件，使得从对象的评估值中从顶部起选择预定数 量的高评估值。此外，可以从这样选择的值中选择高于预定值的评估值作为最终评估值。下 面将参照图23A到25C更详细描述通过选择单元236执行的选择评估值的方法。面部确定单元237执行面部确定处理，其中确定面部是否包含在从图像检索单元 233输出的确定目标图像中。此后，面部确定单元237将确定结果输出到确定结果输出单元 238。例如，输出确定结果包括捕获图像中的检测到的面部的位置和大小、面部的类型(例 如，面部的朝向)、以及指示面部是多个面部之一的可能性的分数。更具体地，面部确定单元 237指示面部确定字典存储器239保持与关于通过选择单元236选择的评估值的对象相关 联地存储在面部确定字典存储单元310中的面部确定字典。此后，面部确定单元237使用 面部确定字典存储器239中保持的面部确定字典，从自图像检索单元233输出的要确定的 图像中的多个区域提取特征。通过比较两个提取的特征，面部确定单元237对每个面部确 定字典计算评估值。随后，使用评估值，面部确定单元237确定面部是否包含在从图像检索 单元233输出的要确定的图像中。下面将参照图23A到25C更详细描述通过面部确定单元 237执行的面部确定处理。注意，面部确定单元237是权利要求中定义的确定单元的示例。当面部确定单元237输出指示面部包含在从图像检索单元233输出的要确定的图 像中的确定结果时，确定结果输出单元238将指示在捕获图像中检测到面部的面部检测信 息输出到顺序控制单元210。面部检测信息包括从捕获图像检测到的面部的位置和大小、面 部的类型(例如，面部的朝向)、以及指示面部是多个面部之一的可能性的分数。学习设备的示例性配置接下来，将参照附图详细描述根据本发明第一实施例的学习设备。该学习设备生成在面部检测处理中使用的评估值计算字典和面部确定字典。如这里所使用的，术语“学 习，，指使用多个数据项搜索数据中的模式。图4是根据本发明第一实施例的学习设备800的功能框图。学习设备800包括训练图像输入单元801、亮度差值计算单元802、权重分布信息生成单元803、最佳阈值确定 单元804、弱学习器确定单元805、以及权重计算单元806。此外，学习设备800包括权重更 新单元807、记录控制单元808、权重保持单元810以及面部检测字典存储单元820。在该 实施例中，将描述生成用于检测人的面部的面部检测字典的示例。面部检测字典对应于图 3中示出的评估值计算字典存储单元300中存储的评估值计算字典和面部确定字典存储单 元310中存储的面部确定字典。注意，学习设备800通过使用如Real AdaBoost的学习算 法实现。训练图像输入单元801用于输入用作训练样本的训练图像。训练图像输入单元 801将输入的训练图像直接输出到用于每种类型的训练图像的亮度差值计算单元802和权 重更新单元807。根据本发明第一实施例，使用被规范化为24X24像素图像作为输入到训 练图像输入单元801的训练图像。此外，当生成用于检测人的面部的面部检测字典时，包含 人的面部的样本图像(训练正面图像)和不包含人的面部的样本图像(训练非面部图像) 作为训练图像输入到训练图像输入单元801。在此情况下，作为训练正面图像，例如，可使用 被规范化使得面部的双眼对准图像中的相同位置处的图像。此外，例如，大约10，000个图 像输入为训练正面图像，并且大约100，000个图像输入为训练非面部图像。下面将参照图 5A和12C更详细描述这些图像的示例。亮度差值计算单元802计算从训练图像输入单元801输出的训练图像中的两点之 间的亮度差值。亮度差值计算单元802然后将计算的差值与训练图像和用于计算的两点相 关联地输出到权重分布信息生成单元803。在该示例中，用于相同两点的两种差值计算方法 (即，当两点的亮度值通过“A”和“B”表示时，计算“A-B”和“B-A”)导致相同的绝对值。因 此，对于两种计算方法，可执行使用任一方法的计算，并且可以排除使用另一方法的计算。 也就是说，亮度差值计算单元802对于训练图像的两个像素的每个组合(576C2 = 165，600) 计算亮度差值。权重分布信息生成单元803生成指示分配给当前训练图像的权重的分布的权重 分布信息，从亮度差值计算单元802输出对该当前训练图像的两点之间的亮度差值。对训 练正面图像和训练非面部图像的每个生成权重分布信息。随后，权重分布信息生成单元803 将获得的权重分布信息与两点的当前组合相关联地输出到最佳阈值确定单元804和权重 更新单元807。注意，分配给训练图像的权重存储在权重保持单元810中。下面将参照图 7A、7B、8A和8B、图14A到14C、以及图15A和15B更详细描述生成权重的分布的处理。最佳阈值确定单元804使用从权重分布信息生成单元803输出的权重分布信息， 确定对于两点的每个组合的最佳阈值。此后，最佳阈值确定单元804将确定的最佳阈值和 用于确定的权重分布信息以及两点的组合相关联地输出到弱学习器确定单元805。下面将 参照图8A和8B以及15A和15B更详细描述确定最佳阈值的处理。弱学习器确定单元805使用通过权重分布信息生成单元803生成的权重分布信 息，确定最佳弱学习器。更具体地，弱学习器确定单元805选择从最佳阈值确定单元804输 出的最佳阈值之一，并将对应于该阈值的权重分布信息的弱学习器确定为最佳弱学习器。 此后，弱学习器确定单元805将选择的阈值与最佳弱学习器和对应于该弱学习器的权重分 布信息相关联地输出到权重计算单元806、权重更新单元807和记录控制单元808。下面将 参照图9A到9C和16A和16B更详细描述确定弱学习器的处理。
权重计算单元806使用对应于从弱学习器确定单元805输出的最佳弱学习器的权 重分布信息计算权重(从加权多数判定获得的值)。权重计算单元806然后将计算的权重 值输出到记录控制单元808。下面将参照图IOA到IOC和17A到17C更详细描述该权重计
算处理。权重更新单元807更新对应于权重保持单元810中存储的每个训练图像的权重。 更具体地，权重更新单元807使用从权重分布信息生成单元803输出的权重分布信息、对应 于从弱学习器确定单元805输出的最佳弱学习器的最佳阈值、以及从权重计算单元806输 出的权重值，更新每个权重。下面将参照图IOA到IOC和17A到17C更详细描述权重的更新。记录控制单元808将从权重计算单元806输出的权重值与阈值和从弱学习器确定 单元805输出的最佳弱学习器相关联。记录控制单元808然后将权重值、阈值和最佳弱学 习器存储在面部检测字典存储单元820中。下面将参照图IOA到IOC和17A到17C更详细 描述该面部检测字典。权重保持单元810保持分配给从训练图像输入单元801输出的训练图像的权重。 此外，权重保持单元810将保持的权重提供到权重分布信息生成单元803。权重保持单元 810中保持的权重由权重更新单元807更新。下面将参照图6A和6B以及13A和13B更详 细描述权重保持单元810中保持的内容。图5A和5B图示根据本发明第一实施例、用于通过学习设备800执行的学习处理 的训练图像的示例。图5A图示包括多个训练正面图像的训练正面图像组830。图5B图示 包括多个训练非面部图像的训练非面部图像组840。为了简化，在图5A和5B中示出的示例 中，简化的图像示出为训练图像。例如，如图5A中的训练正面图像831到834所示，包括人的面部(正面)图像的多 个样本图像用作训练正面图像。此外，如图5B中示出的训练非面部图像841到844所示， 每个不包括面部的多个样本图像用作训练非面部图像。在该示例中，使用大约10，000个训 练正面图像和大约100，000个训练非面部图像生成面部检测字典。这些训练图像对于这些 类型的每一个顺序输入到训练图像输入单元801。图6A和6B是根据本发明第一实施例的权重保持单元810中保持的信息的示意性 图示。图6A图示在权重保持单元810中保持其权重的训练图像。图6B图示对应于训练图 像并且保持在权重保持单元810中的信息。此外，图6A中示出的信息项和6B中示出的信 息项之间的对应通过连接信息项的箭头示出。注意，图6A和6B中示出的训练正面图像组 830和训练非面部图像组840中包含的训练图像表示图5A和5B中示出的训练图像中的一 些。在描述图6A和6B中将使用与在描述图5A和5B中利用的标号相同的标号。权重保持单元810保持训练图像标识信息(Xi)Sll和权重(W。812、以及面部图像 /非面部图像指示信息(Yi) 813。对于从训练图像输入单元801输出的每个训练图像，这样 的信息通过权重更新单元807存储并更新。 训练图像标识信息(Xi)Sll是用于标识输入到训练图像输入单元801的训练图像 的标识信息。例如Xi与训练图像相关联地存储，其中i是整数(1 < i < k)。图6B图示当K 个训练图像输入到训练图像输入单元801时包含的信息的情况。例如，K可以设为110000。权重(WD812表示分配给输入到训练图像输入单元801的每个训练图像的权重。权重(W。812通过权重更新单元807顺序更新。在该示例中，权重(W。是被规范化以便满
足下面的等式的值 K
注意，相同值(1/K)分配给紧接在训练图像输入到训练图像输入单元801之后的 每个训练图像作为权重(WJ。这里，索引i对应于训练图像标识信息(Xi)Sll的i，并且t 表示当执行提升时的循环计数器，例如，t范围可以从2000到3000。面部图像/非面部图像指示信息(yi)813用于指示输入到训练图像输入单元 801的训练图像的类型。例如，对于训练正面图像保持“1”，并且对于训练非面部图像保持 “_1”。根据从训练图像输入单元801输出的训练图像的类型，由权重更新单元807存储该 面部图像/非面部图像指示信息。面部检测字典的生成的示例图7A和7B是根据本发明第一实施例、用于在权重分布信息生成单元803中生成 权重分布信息的方法的示意性图示。图7A图示分别使用训练正面图像组830和训练非面部 图像组840中包含的训练图像的训练正面图像831和832以及训练非面部图像842和844 计算亮度差值的示例。类似地，该计算可应用到其他训练图像。此外，在位于每个训练图像 的下面部分并通过虚线指示的矩形中，示出分配给训练图像的权重(W。。权重(W。与训 练图像相关联地存储在权重保持单元810中。首先，亮度差值计算单元802提取每个训练图像中的相同两点的亮度，并对训练 图像计算两点之间的亮度差值。例如，如图7A所示，提取训练正面图像831和832以及训 练非面部图像842和844中的两点(像素位置Pll和P12)的亮度值，并计算两个亮度值之 间的差。图7B示意性图示用于使用每个训练图像中的两点之间的亮度差值生成权重分布 信息的方法。图7B是用作权重分布信息的权重分布曲线图，其中横轴表示亮度差值(范围 从-255到255)，并且纵轴表示权重的累积值。权重分布信息生成单元803将与训练图像相关联地存储在权重保持单元810中的 权重(W。与通过亮度差值计算单元802计算的差值的类相加，从所述训练图像计算差值。 例如，如图7B所示，权重(W；, W2S WiS \1)分别与对训练正面图像831和832和训练非面 部图像842和844计算的差值的类相加。以类似方式，对于每个其他训练图像，将对应于训 练图像的权重(W。与计算的差值的类顺序相加。以此方式，生成权重分布信息。注意，因 为对紧接在训练图像输入到训练图像输入单元801之后的每个训练图像分配相同值(1/K) 作为权重(W。，所以当t = 1时将相同权重(Wi1)顺序相加。类似地，对于两点的其他组合 (各点的其他对)，将分配给每个训练图像的权重(W。顺序相加。以此方式，生成权重分布 信息。图8A和8B中示出对每个训练图像中的两点(像素位置Pll和P12)的组合以上述 方式生成的权重分布信息的示例。图8A和8B示意性图示根据本发明第一实施例、通过权重分布信息生成单元803 生成的权重分布信息与训练图像之间的关系。图8A图示训练正面图像组830和训练非面 部图像组840中包含的训练图像。这些训练图像与图5A和5B中示出的训练图像类似。
图8B图示对两点(像素位置Pll和P12)的组合生成的权重分布曲线(权重分布 信息)850。权重分布曲线850通过使用用于生成图7A和7B所示的权重信息的方法、并通 过使用对每种训练图像的曲线将对每类顺序相加的权重(WJ)的累积值相互连接而形成。 通过利用权重分布曲线，可以获得根据训练图像的种类而出现的特定权重分布状态。此外， 通过利用权重分布曲线，可以获得对面部图像和非面部图像独立生成的权重分布。例如，在 图8B所示的权重分布曲线850中，在右侧凹陷的曲线对应于面部图像，并且在左侧凹陷的 曲线对应于非面部图像。通常，权 重曲线的特性根据用于计算亮度差值的两点的组合而不 同。接下来描述确定用于区分面部和非面部的阈值的方法。例如，设d表示图8B所示 的权重分布曲线850的横轴的整数值(-255 ( d ( 255)，并且设thl表示横轴的常数整数 值(-255 ( thl ( 255)。然后，设Pl+(CI)表示小于常数值thl的d的范围内的训练正面图 像的权重分布曲线中的值，并且设PH+(d)表示大于或等于常数值thl的d的范围内的训练 正面图像的权重分布曲线中的值。此外，设IV(d)表示小于常数值thl的d的范围内的训 练非面部图像的权重分布曲线中的值，并且设PH_(d)表示大于或等于常数值thl的d的范 围内的训练非面部图像的权重分布曲线中的值。在图8B中，小于常数thl的d的范围内的 面部图像的权重分布曲线(Pj(d))用细虚线示出，而大于或等于常数thl的d的范围内的 面部图像的权重分布曲线(PH+(d))用粗虚线示出。此外，小于常数thl的d的范围内的非 面部图像的权重分布曲线(&-(d))用粗实线示出，而大于或等于常数thl的d的范围内的 非面部图像的权重分布曲线(pH-(d))用细实线示出。在此情况下，最佳阈值确定单元804计算常数值thl的任一侧上的权重分布的和。 例如，常数thl的任一侧上的和PH+、PL\ Ph-和Pf如下计算此后，最佳阈值确定单元804如下计算对于计算的权重分布Ρη+、ΡΛΡη_和P^的和 的值Tl 接下来，最佳阈值确定单元804确定最小化计算的值Tl的常数值thl。常数值thl 用作对于与图8B所示的权重分布曲线850对应的两点(像素位置Pll和P12)的组合的阈 值thl。类似地，对于训练图像中的两点的其他组合(对)，可使用权重分布信息确定阈值。 图9A到9C中示出对于每个训练图像中的两点的组合以此方式生成的权重分布信息和使用权重分布信息确定的阈值的示例。图9A到9C示意性图示通过根据本发明第一实施例的权重分布信息生成单元803 生成的权重分布信息和通过最佳阈值确定单元804确定的阈值之间的关系。除了权重分布 信息和阈值外，图9A到9C图示与权重分布信息和阈值对应的训练图像中的两点的组合。注 意，在图9A到9C中，在训练正面图像组830和训练非面部图像组840中包含的训练图像中， 仅示出训练正面图像832和训练非面部图像842。此外，训练图像中的两点的组合、权重分 布信息和阈值之间的关系与图8A和8B中所示的关系相同。作为图9A中示出的权重分布 曲线850，通过曲线851表示对应于训练非面部图像的权重分布曲线，并且通过曲线852表 示对应于训练正面图像的权重分布曲线。图9B图示对训练图像中的两点(像素位置P21和P22)的组合生成的权重分布 曲线853和基于权重分布曲线853确定的阈值th2之间的关系。此外，作为权重分布曲线 853，通过曲线854表示对应于训练非面部图像的权重分布曲线，并且通过曲线855表示对 应于训练正面图像的权重分布曲线。图9C图示对训练图像中的两点(像素位置Pjl和Pj2)的组合生成的权重分布 曲线856和基于权重分布曲线856确定的阈值thj之间的关系。此外，作为权重分布曲线 856，通过曲线857表示对应于训练非面部图像的权重分布曲线，并且通过曲线858表示对 应于训练正面图像的权重分布曲线。以此方式，最佳阈值确定单元804使用权重分布曲线(权重分布信息)来确定对 训练图像中的两点的各对的阈值thl到thj。此后，弱学习器确定单元805从所确定的阈值 thl到thj当中选择最小化使用等式(6)计算的值T1的阈值。因此，选择对应于所选择的 阈值的权重分布信息的弱学习器作为最佳弱学习器。图10A到10C示意性图示根据本发明第一实施例、用于将对应于通过弱学习器确 定单元805确定的弱学习器的各值记录在面部检测字典中的方法。图10A图示对应于通过 弱学习器确定单元805确定的阈值thr的训练图像中的两点(像素位置Prl和Pr2)的组 合和权重分布曲线860。注意，在图10A中，通过粗线表示指示阈值thr的位置的线。此夕卜， 作为权重分布曲线860，通过曲线861表示对应于训练非面部图像的权重分布曲线，并且通 过曲线862表示对应于训练正面图像的权重分布曲线。图10B图示计算通过弱学习器确定单元805确定的阈值thr的两个权重的权重计 算单元806。即，权重计算单元806使用权重分布曲线860的阈值thr的任一侧的权重分布 的和PH+、PL+、PH_和PL_，如下计算权重h (x)(两个权重hH (x)和hL (x)) 其中，x表示用于标识要检测的图像的标识符。
图10C示意性图示其中对应于通过弱学习器确定单元805确定的弱学习器的各值 记录在面部检测字典821中的示例。面部检测字典821存储在面部检测字典存储单元820 中。更具体地，通过弱学习器确定单元805确定的阈值thr记录在面部检测字典821的阈 值(0 )824中。此外，对应于阈值thr的组合(像素位置Prl和Pr2的组合)的两点之一 (像素位置Prl)存储在面部检测字典821的位置1 (ul，vl)822中，并且另一点(像素位置 Pr2)存储在面部检测字典821的位置2(u2，v2)823中。这里，例如，当训练图像的左上角定 义为原点时，水平方向上的训练图像的两个位置通过“ul”和“u2”表示，并且垂直方向上的 训练图像的位置通过“vl”和“v2”表示。对阈值thr计算的权重h(x)(两个权重！^⑴和 hL(x))存储在面部检测字典821的权重(a)825中。例如，权重hH(x)存储在权重(a)825 的条目(H)中，并且权重存储在权重(a)825的条目(L)中。这些值通过记录控制 单元808存储在面部检测字典821中。随后，权重更新单元807使用下面的等式来计算对每个训练图像分配的权重 (+1
r t+i w' expC-Yih.CXi)) WH = - 权重更新单元807然后更新权重保持单元810中保持的权重。该更新称为“提升 (boosting)”。这里，1^和71表示与当前训练图像Xi(参照图6A和6B)相关联地保持在权 重保持单元810中的值，ht(Xi)表示根据对两点(像素位置Prl和Pr2)的组合计算的训练 图像的亮度差值确定的值，该两点对应于通过弱学习器确定单元805确定的阈值thr。更具 体地，当对当前训练图像\计算的亮度差值Pd> thr时，使用等式(7)计算的权重hH(Xi) 用作ht(Xi)。相反，当Pd< thr时，利用等式(8)计算的权重hJXi)用作ht(Xi)。因此，例 如，对于基于通过弱学习器确定单元805确定的阈值错误地确定的训练图像，可以增加权 重。因此，可以增加训练图像对弱学习器确定处理的下一循环的影响。如上所述，尽管对紧 接在训练图像输入到训练图像输入单元801之后的每个训练图像分配相同的值(1/K)，但 是根据每个训练图像更新t = 2之后确定的权重(W。。随后，重复上述处理，直到达到预定的循环数或达到预定的精度。以此方式，根据本发明第一实施例，对于低于通过弱学习器确定单元805确定的 阈值的亮度差值的范围和大于或等于所述阈值的范围计算不同的权重值。结果，可以容易 地区分在面部检测处理中难以区分的图像，并且因此可以提高面部检测的精度。图11A和11B图示对在训练图像中的两点的组合生成的两个权重分布曲线。图 11A所示的权重分布曲线850类似于图9A所示的权重分布曲线850。在该情况下，因为对 应于训练非面部图像的曲线的特性和对应于训练正面图像的曲线的特性对于低于阈值的 范围和大于或等于阈值的范围是显著的，所以认为可以容易地进行鉴别。图11B图示权重分布曲线865的示例，使用该权重分布曲线865，在低于阈值thlO 的范围内难以区分面部和非面部，但在大于或等于阈值thlO的范围内相对容易地区分面 部和非面部。作为权重分布曲线865，通过曲线866表示对应于训练非面部图像的权重分布 曲线，并且通过曲线867表示对应于训练正面图像的权重分布曲线。也就是说，因为在小于阈值thlO的范围内非面部和面部的权重分布状态共存，所以认为鉴别是困难的。然而，在 大于或等于阈值thlO的范围内几乎不存在非面部的权重分布，而存在大的面部的权重分 布。因此，认为可以相对容易地进行鉴别。即使在此情况下，通过在小于阈值的范围内和大 于或等于阈值10th的范围内使用不同的权重，也可以显著有效地检测面部。因此，因为可 减小弱学习器的数量，所以可以以高速执行面部检测处理。此外，即使当减小弱学习器的数 量时，也可增加面部检测的精度。当使用以上述方式生成的面部检测字典821来执行面部检测处理时，使用面部检 测字典821中包含的在t = 1到T处的信息项，对检测目标图像x (24X24像素如下计算最
xI,24像素)
故意假设(hypotheSiS)H(X) 当通过使用等式(7)和(8)计算通过等式(10)指示的最终假设H(x)并且执行面 部确定时的处理流程如下图示 例如，当对图像x执行面部检测处理时，提取对应于面部检测字典821的第t行中 的位置l(ul，vl)822和位置2(u2，v2)823的图像x中的两点的亮度值。此后，计算两点的 亮度值之间的差值。比较该差值和面部检测字典821的阈值(0 )824中包含的值。例如， 设Dt表示两点的亮度值之间的差值，并且设tht表示阈值(0 ) 824中包含的值。然后，如果 Dt>tht，则选择权重(a)825的(H)中包含的值(即，通过等式(7)所示的权重hH(x))。 然而，如果Dt<tht，则选择权重(a)825的(L)中包含的值(即，通过等式⑶所示的权 重hjx))。随后，通过将选择的权重(a)825(H或L)中包含的值顺序求和，获得最终假设 H(x)。如果H(x) <0，则确定面部不包含在当前图像x中。然而，如果H(x)彡0，则确定面 部包含在当前图像x中。下面将参照图22k到25C更详细描述面部确定处理。用于检测多个不同对象的字典的生成的示例在上面的描述中，图示了使用包含用作对象的人的面部的训练正面图像、和不包
18含人的面部的训练非面部图像生成面部检测字典的示例。然而，通过应用上述计算方法，可 生成用于同时检测多个不同对象的字典。更具体地，为了检测多个不同对象，可生成用于同 时计算用于确定每个对象是否包含在图像中的评估值的字典。也就是说，可生成用于对多 个类同时执行确定处理的字典。下面描述生成用于同时检测正面和检测转向左边的侧面的 面部检测字典的示例。功能结构与图4所示的功能结构相同。因此，与描述图4时使用的 标号相同的标号将用于描述下面的附图。下面将主要描述不同功能，并且不重复相同功能 的描述。图12A到12C图示用于通过根据本发明第一实施例的学习设备800执行的学习处 理的训练图像的示例。图12A图示包括多个训练正面图像的训练正面图像组830。图12B 图示包括多个训练侧面图像的训练侧面图像组870。图12C图示包括多个训练非面部图像 的训练非面部图像组840。注意，图12A和12C中示出的训练正面图像组830和训练非面 部图像组840分别与图5A和5B中示出的训练正面图像组830和训练非面部图像组840相 同。因此，与描述图5A和5B时使用的标号相同的标号将用于描述图12A和12C，并且不重 复其描述。为了简化，在图12A到12C所示的示例中，简化的图像示出为训练图像。例如，如通过图12B中所示的训练侧面图像871到874所示，其每个包括人的侧 面(转向左边的面部)的多个样本图像用作训练侧面图像。此外，在该示例中，使用大约 10，000个训练正面图像、大约10，000个训练侧面图像和大约100，000个训练非面部图像生 成面部检测字典。这些训练图像对于这些种类的每个顺序地输入到训练图像输入单元801。图13A和13B是根据本发明第一实施例的权重保持单元810中保持的信息的示意 性图示。如图13A和13B中所示，类信息814额外提供为权重保持单元810中保持的信息 项，并且对每类保持权重。其他信息项与图6A和6B中所示的权重保持单元810中的信息 项相同。因此，与描述图6A和6B中使用的标号相同的标号将用于描述图13A和13B，并且 不重复其描述。下面主要描述不同信息。图13A图示在权重保持单元810中保持其权重的 训练图像。图13B图示对应于训练图像并保持在权重保持单元810中的信息。此外，图13A 所示的信息项与图13B所示的信息项之间的对应通过连接信息项的箭头示出。注意，图13A 中示出的训练侧面图像组870中包含的训练图像表示图12A和12B中示出的训练图像的一 些。将使用相同的标号来描述相同的训练图像。此外，在该示例中，训练正面图像组830中 包含的图像的数量和训练侧面图像组870中包含的图像的数量相同。训练图像标识信息(Xi)811包含用于标识训练图像的Xi(l彡i彡K)。在图13B所 示的示例中，训练正面图像组830中包含的图像的数量和训练非面部图像组840中包含的 图像的数量的和是K。此外，训练侧面图像组870中包含的图像的数量和训练非面部图像组 840中包含的图像的数量的和是K。例如，K可以设为110000。此外，例如，训练图像标识信 息(Xi)811包含与训练侧面图像871相关联的Xl。如上所述，权重％,。/)812包含对每类的权重。也就是说，如图13B所示，对训练 正面图像组830和训练非面部图像组840中包含的训练图像的类、以及训练侧面图像组870 和训练非面部图像组840中包含的训练图像的类的每个保持权重。这里，对训练非面部图 像组840中包含的训练图像，将对所有类使用相同图像。然而，通过权重更新单元807顺序 更新的权重值是不同的。此外，对紧接在训练图像输入到训练图像输入单元801之后的每 个训练图像分配相同值(1/K)作为权重(Wi,。/)。此外，例如，权重％,。/)812包含与训练侧面图像871相关联的^。这里，Cj对应于类信息(Cj) 814中包含的…，并且表示该权重 所属的类。如在训练正面图像的情况下，面部图像/非面部图像指示信息(yi)813对训练侧 面图像包含“1”。例如，面部图像/非面部图像指示信息(yi)813包含与训练侧面图像871 相关联的“1”。类信息(Cj)814包含用于标识类的信息。例如，对训练正面图像保持“Cl”，并且 对训练侧面图像保持“c2”。此外，对属于训练正面图像的类的训练非面部图像的权重保 持“Cl”，并且对属于训练侧面图像的类的训练非面部图像的权重保持“c2”。例如，类信 息(Cj)814对属于训练正面图像的类的训练非面部图像844的权重包含“Cl”，并且类信息 (Cj)814对属于训练侧面图像的类的训练非面部图像844的权重包含“c2”。图14A到14C示意性图示根据本发明第一实施例、使用权重分布生成单元803生 成权重分布信息的方法。图14A到14C所示的方法的示例是图7A和7B所示的方法的修改。 在图14A到14C所示的方法中，除了用于训练正面图像和训练非面部图像的权重分布信息 外，生成用于训练侧面图像和训练非面部图像的权重分布信息。因此，与描述图7A和7B中 使用的标号相同的标号将用于描述图14A到14C，并且不重复相同功能的描述。如图14A所示，用于计算每个训练图像中的两点之间的亮度差值的方法类似于图 7A所示的情况。此外，如图14B所示，用于基于训练侧面图像和训练非面部图像的每个中的 两点之间的亮度差值生成权重分布信息的方法类似于图7B所示的方法。注意，与图7B所示的权重分布信息不同，图14C所示的权重分布信息是关于训练 侧面图像和训练非面部图像的权重分布信息。然而，用于基于训练侧面图像和训练非面部 图像的每个中的两点之间的亮度差值生成权重分布信息的方法类似于图7B所示的方法。更具体地，权重分布信息生成单元803将与训练图像相关联地保持在权重保持单 元810中的权重(Wi,。/)与通过亮度差值计算单元802计算的差值的类相加，从所述训练图 像计算差值。对每个类执行该相加处理。也就是说，对与图14B所示的训练正面图像和训 练非面部图像相关联的权重分布曲线图、以及与图14C所示的训练侧面图像和训练非面部 图像相关联的权重分布曲线图的每个执行该相加处理。例如，如图14B所示，对应于每个训 练图像的权重(Wu^WK,。/)与对训练正面图像831和训练非面部图像844计算的差值的类 相加。此外，如图14C所示，对应于每个训练图像的权重(Wi,。？，WK,。2t)与对训练侧面图像 871和训练非面部图像844计算的差值的类相加。在该示例中，对于训练非面部图像，对于 图14B所示的权重分布曲线图和图14C所示的权重分布曲线图的每个同时执行相加处理。 类似地，对于其他训练图像，将对应于训练图像的权重％,。/)顺序相加，并且生成权重分布 信息。此外，对于训练图像中的两个点的其他组合(对)，将与训练图像相关联的权重(W。 以类似方式顺序相加，并且生成权重分布信息。图15A和15B中示出以此方式对每个训练 图像中的两点(像素位置P11和P12)的组合生成的权重分布信息的示例。图15A和15B示意性图示根据本发明第一实施例、通过权重分布信息生成单元803 生成的权重分布信息与训练图像之间的关系。图15A图示训练正面图像组830、训练侧面图 像组870和训练非面部图像组840中包含的训练图像。这些训练图像与图12A到12C中示 出的一些训练图像类似。图15B图示对两点(像素位置P11和P12)的组合生成的权重分布曲线(权重分布信息)875和876。如图14B所示，权重分布曲线875通过将对训练正面图像组和训练非面 部图像组中包含的每种训练图像顺序相加的权重(Wi,。/)的累积值连接而形成。如图14C所 示，权重分布曲线876通过将对训练侧面图像组和训练非面部图像组中包含的每种训练图 像顺序相加的权重(Wi.J)的累积值连接而形成。通过利用这些权重分布曲线，可以获得根 据训练图像的种类出现的特定权重分布状态。此外，通过利用权重分布曲线，可以获得对正 面图像和非面部图像、以及对转向左边的侧面图像和非面部图像独立地生成的权重分布。 例如，在权重分布曲线875中，在右侧的凹陷的曲线对应于正面图像，并且在左侧的凹陷的 曲线对应于非面部图像。此外，在权重分布曲线876中，在右侧的凹陷的曲线对应于转向左 边的侧面图像，并且在左侧的凹陷的曲线对应于非面部图像。例如，在权重分布曲线875和 876中，当t =丄时，经历相加处理的训练图像是相同的。因此，曲线是相同的。此外，在权 重分布曲线875和876中，对应于正面图像的曲线和对应于转向左边的侧面图像的曲线具 有不同的经历相加处理的训练图像。因此，两个曲线是不同的。接下来将描述确定用于区分正面、转向左边的侧面和非面部的阈值的方法。例如， 设d表示图15B所示的权重分布曲线875和876的横轴的整数值(-255 ^ thl ^ 255)， 并且设thll表示横轴的常数整数值(-255彡thl彡255)。然后，设I\el+(d)表示在小于 常数值thll的d的范围内的训练正面图像的权重分布曲线中的值，并且设P/1+(d)表示在 大于或等于常数值thll的d的范围内的训练正面图像的权重分布曲线中的值。此外，设 PLc2+(d)表示在小于常数值thll的d的范围内的训练侧面图像的权重分布曲线中的值，并 且设P/2+(d)表示在大于或等于常数值thl的d的范围内的训练侧面图像的权重分布曲线 中的值。此外，对于类(Cl)，设iVld)表示在小于常数值thll的d的范围内的训练非面部 图像的权重分布曲线中的值，并且设P/_(d)表示在大于或等于常数thll的d的范围内的 训练非面部图像的权重分布曲线中的值。此外，对于类(c2)，设fV2_(d)表示在小于常数值 thll的d的范围内的训练非面部图像的权重分布曲线中的值，并且设P/2_(d)表示在大于 或等于常数thll的d的范围内的训练非面部图像的权重分布曲线中的值。在此情况下，对于权重分布曲线875和876的每个，最佳阈值确定单元804计算常 数thll的任一侧上的权重分布的和。例如，对于权重分布曲线875，如下计算常数thll的 任一侧上的和 PH。1+、PLcl+> 和 Pl+。
此外，例如对于权重分布曲线876，如下计算常数thll的任一侧上的和PHe2+、Pj2+、
PHc2-和 PLc2。
注意，如上所述，在权重分布曲线875和876中，当t = 1时，对应于非面部图像的 曲线是相同的。因此，通过等式(13)所示的P/—和通过等式(17)所示的P/—具有相同的 值。类似地，当t = 1时，通过等式(14)所示的IV1-和通过等式(18)所示的PJ2-具有相 同的值。随后，最佳阈值确定单元804对计算的权重分布P/+、PLcl\ P/_、PLcl\ P/+、Plc2\ 和的和，如下计算值T11。 ...(19)此后，最佳阈值确定单元804确定最小化计算的值Tll的常数值thll。常数值 thll用作对于与图15B所示的权重分布曲线875和876对应的两点(像素位置Pll和P12) 的组合的阈值thll。类似地，对于训练图像中的两点的其他组合(对)，可以使用权重分布 曲线(权重分布信息)确定阈值。在图16A和16B中示出以此方式对于每个训练图像中的 两点的组合生成的权重分布信息和使用权重分布信息确定的阈值的示例。图16A和16B示意性图示根据本发明第一实施例、通过权重分布信息生成单元803 生成的权重分布信息和通过最佳阈值确定单元804确定的阈值之间的关系。除了权重分布 信息和阈值之外，图16A和16B图示在对应于权重分布信息和阈值的训练图像中的两点的 组合。注意，在图16A和16B中，在训练正面图像组830、训练侧面图像组870和训练非面部 图像组840中包含的训练图像中仅示出训练正面图像831、训练侧面图像871和训练非面部 图像844。此外，训练图像中两点的组合、权重分布信息和阈值之间的关系与图15A和15B 中示出的相同。图16B图示为在训练图像中的两点(像素位置Pq 1和Pq2)的组合生成的权重分 布曲线877和878以及基于权重分布曲线877和878确定的阈值thql之间的关系。以此方式，最佳阈值确定单元804使用权重分布信息为训练图像中的两点的对确 定阈值thll到thql。此后，弱学习器确定单元805从确定的阈值thll到thql中选择最小 化使用等式(19)计算的值Tll的阈值。因此，选择对应于选择的阈值的权重分布信息的弱 学习器作为最佳弱学习器。图17A到图17C示意性图示根据本发明第一实施例、用于将对应于通过弱学习器 确定单元805确定的弱学习器的各值记录在面部检测字典中的方法。图17A图示对应于通过弱学习器确定单元805确定的阈值thrll的训练图像中的两点(像素位置Prll和Prl2) 的组合和权重分布曲线880和881。注意，在图17A中，示出阈值thrll的位置的线通过粗 线表示。此外，作为权重分布曲线880(类Cl)，对应于训练非面部图像的权重分布曲线用 曲线882表示，并且对应于训练正面图像的权重分布曲线用曲线883表示。此外，作为权重 分布曲线881 (类c2)，对应于训练非面部图像的权重分布曲线用曲线884表示，并且对应 于训练侧面图像的权重分布曲线用曲线885表示。图17B图示计算对于通过弱学习器确定单元805确定的阈值thrll的四个权重的 权重计算单元806。S卩，权重计算单元806基于权重分布曲线880和881的阈值thrll的任 一侧上的权重分布的和，计算关于正面的权重h(x，C1)和关于转向左边的侧面的权重h(x， c2)。这里，阈值 thrll 的任一侧的权重分布的和是 PH。1+、PLcl+、PHcl_、PLcl_、PH。2+、PLc2+、Phc2_ 和 Plc2^0此外，关于正面的权重h(x，C1)包括两个权重hH(x，Cl)和k(x，Cl)，并且关于转向左 边的侧面的权重h(x，c2)包括两个权重hH(x，c2)和hjx，c2) 0更具体地，基于权重分布曲 线880的阈值thrll的任一侧上的权重分布的和，使用下面的等式(20)和(21)计算权重 h(x, C1)。此外，基于权重分布曲线881的阈值thrll的任一侧上的权重分布的和，使用下 面的等式(22)和(23)计算权重h(x，c2) 其中，χ表示用于标识要检测的图像的标识符。图17C示意性图示其中对应于通过弱学习器确定单元805确定的弱学习器的各值 记录在面部检测字典826中的示例。面部检测字典826存储在面部检测字典存储单元820 中。更具体地，通过弱学习器确定单元805确定的阈值thrl 1记录在面部检测字典826的阈 值(θ )824中。此外，对应于阈值thrll的两点(像素位置Prll和Prl2)的组合的两点之 一(像素位置Prll)存储在面部检测字典826的位置l(ul，vl)822中，并且另一点(像素 位置Prl2)存储在面部检测字典826的位置2(u2，v2)823中。此外，对阈值thrll计算的 权重h(x，Cl)和h(x，c2)存储在面部检测字典826的权重(α 和α 2) 827中。例如，h(x，C1)的权重hH(X，Cl)存储在权重(α 1)827的条目(H)中，并且h(x，Cl)的权重hL(X，Cl)存 储在权重(α 1)827的条目(L)中。h(x,c2)的权重hH(x，c2)存储在权重(α 2)827的条目 (H)中，并且h(x，c2)的权重hL(x，c2)存储在权重(α 2) 827的条目(L)中。这些值通过记 录控制单元808存储在面部检测字典826中。随后，权重更新单元807使用下面的等式来计算分配到每个训练图像的权重Wi, 权重更新单元807然后更新权重保持单元810中保持的权重。这里，Wi,。/和 表示与当前训练图像Xi相关联地保持在权重保持单元810中的值(参见图13A和13B)。 ht(Xi，Ci)表示根据训练图像的亮度差值确定的值，对于与通过弱学习器确定单元805确定 的阈值thrll对应的两点(像素位置Prll和Prl2)的组合计算所述训练图像。这里，Ci表 示与训练图像Xi相关联地保持在权重保持单元810中的类(参见图13A和13B)。更具体 地，当“C1 ”包含在与训练图像Xi相关联地保持在权重保持单元810中的类信息(Ci)814中 时，使用利用等式(20)和(21)之一计算的权重h(x，Cl)。相反，当“C2”包含在与训练图像 Xi相关联地保持在权重保持单元810中的类信息(Ci)814中时，使用利用等式(22)和(23) 之一计算的权重h(x，c2)。设Pd表示对训练图像Xi中的两点(像素位置Prll和Prl2)的 组合计算的亮度差值。例如，当“Cl”包含在与训练图像Xi相关联地保持在权重保持单元 810中的类信息(Ci)814中时，如果Pd彡thrll，则使用利用等式(20)计算的权重hH (x，C1)。 然而，如果Pd<thrll，则使用利用等式(21)计算的权重hJX，Cl)。当“c2”包含在类信息 (Ci) 814中时，如果Pd彡thrll，则使用利用等式(22)计算的权重hH (x，c2)。然而，如果Pd <thrll，则使用利用等式(23)计算的权重k(X，c2)。以此方式，根据亮度差值选择并使用 ht(Xi，Ci)。因此，例如，对于基于通过弱学习器确定单元805确定的阈值错误地确定的训练 图像，可以增加权重。因此增加训练图像对弱学习器确定处理的下一循环的影响。如上所 述，尽管对紧接在训练图像输入到训练图像输入单元801之后的每个训练图像分配用作权 重％,。/)的相同值(1/K)，但是根据每个训练图像更新在t = 2之后确定的权重％,。/)。随后，重复上述处理，直到达到预定的循环数，或直到达到预定的精度。以此方式，根据本发明第一实施例，即使当存在两个或更多对象时，也可对于小于 通过弱学习器确定单元805确定的阈值的范围和大于或等于所述阈值的范围计算不同的 权重值。结果，在同时检测多个对象的面部检测处理中，可以容易地区分难以区分的图像， 因此，可以提高面部检测的精度。在上面的描述中，图示了生成用于检测两个对象(S卩，正面和转向左边的侧面)的 对象检测字典的示例。然而，可通过应用上述示例生成用于检测三个或更多对象的对象检 测字典。在此情况下，可如下计算每个类(Ci)的权重h(x，Cj)。
此外，在上述示例中，参照转向不同方向的人的面部进行了描述。然而，例如，即使 当生成关于不同类型的多个对象(例如，狗和猫)的对象检测字典时，也可应用该示例。此 夕卜，当生成用于属性确定(例如，男性/女性确定或年龄确定)的属性确定字典时，也可应 用该示例。当使用以上述方式生成的面部检测字典826来执行面部检测处理时，使用面部检
测字典826中包含的t = 1到T的信息项，对检测目标图像x(24X24像素)计算关于两个
对象的每个的最终假设H(X)。也就是说，可通过使用下面的等式，计算关于正面的最终假设
H(x, C1)和关于转向左边的侧面的最终假设H(x，c2) 随后，基于Η(χ，C1)≥0还是H(x，C1) < 0，确定正面是否包含在检测目标图像χ 中。此外，基于H(x，c2)≥0还是H(x，c2) <0，确定转向左边的侧面是否包含在检测目标 图像χ中。下面将参照图22Α到25C更详细描述这种面部确定。如上所述，根据本发明第一实施例，通过使用相同的亮度差值，可同时执行对于两 个不同对象的鉴别处理。因此，可以以高速执行面部检测处理。通过学习设备执行的示例性操作参照附图在下面描述由根据本发明第一实施例的学习设备800执行的示例性操作。图18是图示根据本发明第一实施例、通过学习设备800执行的对象检测字典生成 处理的处理过程的流程图。在该示例中，生成用于检测用作对象的正面的面部检测字典。此 夕卜，在该示例中，重复执行对象检测字典生成处理直到执行对象检测字典生成处理预定次 数。首先，多个训练正面图像和训练非面部图像输入到训练图像输入单元804(步 骤S1001)。随后，权重更新单元807将对每个训练图像分配的权重(W。初始化(步骤S 1002)。也就是说，对每个训练图像分配相同的值的权重(W。。随后，执行弱学习器确定子 处理(步骤S1010)。将参照图19在下面更详细描述弱学习器确定子处理。随后，权重计算单元806基于对应于确定的最佳弱学习器的权重分布信息计算权 重(步骤S1003)。随后，记录控制单元808将对应于确定的最佳弱学习器的两点(两个像素位置)的组合、阈值和权重值记录在面部检测字典中(步骤S1004)。权重更新单元807 然后基于确定的弱学习器，计算要对每个训练图像分配的权重Wit+1，并更新权重保持单元 810中保持的权重(步骤S1005)。随后，确定是否达到预定的计数(步骤S1006)。如果还 没有达到预定计数(步骤S 1006)，则处理返回到步骤S1010。然而，如果已经达到预定计 数(步骤S1006)，则完成对象检测字典生成处理。图19是图示根据本发明第一实施例、通过学习设备800执行的对象检测字典生成处理的弱学习器确定子处理(图18所示的步骤S1010中的处理)的处理过程的流程图。首先，亮度差值计算单元802选择每个训练图像中的两个像素点的组合(对)之 一(步骤S1011)，并且选择要对其执行权重相加的一个训练图像(步骤S1012)。随后，亮 度差值计算单元802提取选择的训练图像中的两点的亮度值(步骤S1013)，并且计算两个 提取的点之间的亮度差值(步骤S1014)。随后，权重分布信息生成单元803将下述权重与 计算的差值的类相加，所述权重与从其计算差值的训练图像相关联地保持在权重保持单元 810中(步骤S1015)。在该权重相加处理中，对每种训练图像将权重相加，并且对每种训练 图像生成权重分布信息。随后，对于输入训练图像输入单元801的训练正面图像和训练非面部图像的全部 中的点的相同对，确定是否已经执行权重相加处理(步骤S1016)。如果没有对训练正面图 像和训练非面部图像的全部中的点的相同对执行权重相加处理(步骤S1016)，则处理返回 到S1012。然而，如果已经对训练正面图像和训练非面部图像的全部中的点的相同对执行权 重相加处理(步骤S1016)，则最佳阈值确定单元804使用上述等式(6)来确定生成的权重 分布信息的最佳阈值(步骤S1017)。随后，确定是否已经对每个训练图像中的两个像素点的所有组合生成权重分布信 息(步骤S1018)。如果没有对两个像素点的所有组合生成权重分布信息(步骤S1018)，则 处理返回到步骤S1011。然而，如果已经对两个像素点的所有组合生成权重分布信息(步骤 S1018)，则弱学习器确定单元805基于确定的最佳阈值确定最佳弱学习器(步骤S1019)。下面将参照附图详细描述将学习设备800可生成的各种字典包括在图像拾取设 备100中的示例性处理。评估值计算字典的示例性结构图20A和20B图示根据本发明第一实施例、用于计算要确定的图像的多个评估值 的示例性评估值计算字典。图20A图示包括图像601到609的对象图像组600，所述图像 601到609表示对其计算评估值的多个对象。参照转向不同方向并用作多个对象的人的面 部进行本发明第一实施例的描述。也就是说，图像601到609表示转向不同方向的人的面 部。例如，图像605是包括正面的图像。图像601到604和图像606到609包括转向正面 以外的方向的面部。图20B图示用于同时计算对应于图20A所示的图像601到609的评估值的评估值 计算字典301。评估值计算字典301提供在评估值计算单元235对于通过图像检索单元233 检索的要确定的图像执行评估值计算处理时使用的用于确定的信息(例如，矢量值的弱学 习器)。评估值计算字典301存储在评估值计算字典存储单元300中。例如，通过学习设 备800生成评估值计算字典301中记录的各值。此外，评估值计算字典301中记录的各值 用作包括仅与确定标准相关的数据的确定信息。即，评估值计算字典301不包括图像。因此，可减小存储容量。此外，可以以高速执行确定处理。评估值计算字典301包含位置1 (ul，vl) 302、位置2 (u2，v2)303、阈值(θ ) 304和 权重(α 1到α 9) 305的T个组合。位置1 (ul，vl)302和位置2 (u2，v2) 303表示两点的位置。这里，例如，当要确定的 图像上的左上角定义为原点时，图像的水平方向上的两个位置通过“ul”和“u2”表示，并且 图像的垂直方向上的位置通过“vl”和“v2”表示。 阈值(θ)304表示与位置l(ul，vl)302的亮度值和位置2(u2，v2)303的亮度值之 间的差值有关的阈值。权重(α 1到α 9) 305表示基于位置1 (ul，vl)302的亮度值和位置2 (u2，v2) 303 的亮度值之间的差值和阈值(θ )304的比较结果相加的权重α 1到α 9。权重α 1到α 9 分别用于计算对应于图20Α所示的图像601到609的评估值。在图20Α中，图像601到609 分别通过箭头与对应的权重α 1到α 9链接。此外，权重α 1到α 9的每个包括两个不同 值(H和L)。评估值计算字典301使用面部确定字典311到319计算评估值，所述评估值用于 缩窄要经历面部确定处理的对象。即，评估值计算字典301单独不用于检测面部。因此，使 用评估值计算字典301的评估值的精度要求没有使用面部确定字典311到319的严格。例 如，可使用几千到几万个样本图像生成评估值计算字典301，并且T =大约100。尽管参照 相同值用于所有记录(对象)的阈值的情况描述了本发明第一实施例，但是可使用根据每 个对象(类)更新的阈值。此外，例如，当生成用于同时计算关于多个对象的评估值的评估 值计算字典时，用于对象的样本图像的数量可能显著地不同。在此情况下，在评估值计算处 理期间，可根据样本图像的数量执行规范化或调整操作。下面将参照图23Α和23Β更详细 描述使用这些值的评估值的计算。面部确定字典的示例性结构图21Α和21Β图示根据本发明第一实施例、用于确定面部是否包含在要确定的图 像中的面部确定字典的示例。图21Α图示通过计算对应于图20Α和21Β中所示的图像601 至IJ 609的评估值执行的面部确定处理中使用的面部确定字典311到319。面部确定字典311 到319用作在面部确定单元237对通过图像检索单元233检索的要确定的图像执行面部确 定处理时使用的确定信息(例如，矢量值的弱学习器)。面部确定字典311到319存储在 面部确定字典存储单元310中。面部确定字典311到319中记录的各值例如通过学习设备 800生成。注意，面部确定字典311到319提供仅包括与确定标准相关的数据的确定信息。 艮口，面部确定字典311到319不包括图像。因此，可减小存储容量。此外，可以以高速执行 确定处理。这里，尽管面部确定字典311到319中的项目的值是不同的，但是项目的格式相 同。因此，在图21Α中，仅图示面部确定字典311到319中存储的信息，并且未示出其他信 息。此夕卜，图21Β中示出的图像601到609与分别图20Α中示出的图像601到609相同，并 且用作要确定的多个对象。此外，在图21Α和21Β中，图21Β中示出的图像601到609分别 与对应的面部确定字典311到319使用箭头链接。面部确定字典311包含位置1 (ul，vl) 321、位置2 (u2，v2)322、阈值(θ ) 323和权 重(α)324的Z个组合。位置l(ul，vl)321和位置2(u2，v2) 322表示要确定的图像中的两点的位置。
阈值(θ )323表示位置l(ul，vl)321的亮度值和位置2 (u2，v2) 322的亮度值之间 的差值的阈值。权重(α)324指示基于位置l(ul，vl)321的亮度和位置2 (u2，v2) 322的亮度之间 的差值和阈值(θ )323的比较结果相加的权重α。此外，权重(α )324包括两个不同值(H 和L)。如上所述，与使用评估值计算字典301的精度要求相比，面部确定字典311到319 的评估值的精度要求是严格的。例如，可使用几万个样本图像生成面部确定字典311到 319，并且Z = 2000到3000。在此情况下，例如，在生成用于计算关于多个对象的评估值的 面部确定字典时，用于对象的样本图像的数量可能显著不同。在此情况下，在评估值计算处 理期间，可根据样本图像的数量执行规范化或调整操作。下面将参照图24Α到24D更详细 描述使用这些值的评估值的计算。 图像中包含的面部的检测示例图22Α到22D是根据本发明第一实施例、用于检索要经历通过面部检测单元230 执行的面部检测处理的图像的方法的示意性图示。图22Α图示通过图像获得单元231检索 的捕获图像400。图22Β到22D图示通过使用图像缩小单元232缩小捕获图像400的大小 而得到的图像410、420和430。注意，通过图像检索单元233执行要确定的图像的检索。如图22Α所示，捕获图像400包括用作对象的、转向不同方向的三个人的图像。如 图22Β到22D所示，当从捕获图像400检索要确定的图像时，通过顺序缩小捕获图像400的 图像缩小单元232生成图像410、420和430。例如，检索窗401位于捕获图像400的左上角， 并且检索检索窗401中包含的图像。随后，检索窗401向右侧(在通过箭头411和412指 示的方向)偏移一像素，并且检索检索窗中包含的图像。类似地，检索窗401顺序向右侧偏 移一像素，并且顺序检索检索窗401中包含的图像。当检索窗401偏移到图像410的右端、 并且检索检索窗401中包含的图像时，检索窗401向下偏移一像素，并移动到图像410的左 端。紧接在检索窗401移动到图像410的左端之后，检索检索窗401中包含的图像。此后， 检索窗401顺序向右侧偏移一像素，并且顺序检索检索窗401中包含的图像。此后，以类似 方式顺序检索检索窗401中包含的图像。当检索窗401偏移到表示图像410的右下端的位 置413、并且检索检索窗401中包含的图像时，完成从图像410检索要确定的图像的处理。图22C和22D分别图示图像420和430，其中将检索窗401放置在初始位置，并且将 检索窗401的最终位置指示为位置421和431。注意，检索窗401以类似于图22Β所示的运 动的方式从第一位置移动到最终位置。此外，检索窗401的大小是恒定的，而不论要检索的 图像的大小。执行图像检索处理，直到经历通过图像缩小单元232执行的缩小处理的图像 的大小小于检索窗401的大小。注意，要经历缩小处理的原始图像的大小例如是320X240 像素的图像。此外，例如图像缩小单元232可以将图像的大小缩小到之前图像的0.83倍的 大小。接下来将参照附图描述使用评估值计算字典对要确定的图像执行的示例性评估 值计算处理。图23Α和23Β图示根据本发明第一实施例、通过图像检索单元233检索的要确定 的图像、和通过评估值计算单元235对要确定的图像计算的评估值的示例。图23Α图示要 确定的图像的示例440。在图23Α中，要确定的图像440的左上角定义为原点。水平轴定义为“U轴”，并且垂直轴定义为“V轴”。然后，对要确定的图像440执行评估值计算处理。例如，设位置441表示对应于图20B所示的评估值计算字典301的第一行中包含 的位置l(ul，vl) 302的要确定的图像440的位置。设位置442表示对应于第一行中包含 的位置2(u2，v2)303的要确定的图像440的位置。此外，设位置443表示对应于评估值计 算字典301的第二行中包含的位置1 (ul，vl)302的要确定的图像440的位置。设位置444 表示对应于第二行中包含的位置2 (u2，v2)303的要确定的图像440的位置。此外，设位置 445表示对应于在评估值计算字典301的第三行中包含的位置l(ul，vl)302的要确定的图 像440的位置。设位置446表示对应于第三行中包含的位置2 (u2,v2) 303的值的要确定的 图像440的位置。首先，在表示评估值的分数Sl到S9的每个中设置值“0”，并且使用评估值计算字 典301的第一行中存储的值执行计算。更具体地，提取在评估值计算字典301的第一行中 的、对应于存储在位置l(ul，vl) 302的值的位置441处的亮度值A(I)、以及对应于存储在 位置2(u2，v2)303的值的位置442处的亮度值B(I)。此后，如下计算提取的亮度值之间的 差值C(I)C(I) = A(I)-B(I)随后，比较存储在评估值计算字典301的第一行中的阈值(θ )304的阈值θ (1) 和计算的亮度值的差值c(i)。因此，确定计算的差值c(i)是否小于阈值Θ (i)0如果计 算的差值C(I)小于阈值Θ (1)，则存储在评估值计算字典301的第一行中的权重(α 到 α 9)305中的值L分别与分数Sl到S9顺序相加。更具体地，权重α 1 (L)的值与分数Sl相 力口。权重α 2 (L)的值与分数S2相加。权重α 3 (L)的值与分数S3相加。权重α 4 (L)的值 与分数S4相加。权重α 5 (L)的值与分数S5相加。权重α 6 (L)的值与分数S6相加。权 重a7(L)的值与分数S7相加。权重CiS(L)的值与分数S8相加。权重α 9 (L)的值与分 数S9相加。然而，如果计算的差值C(I)大于或等于阈值θ (1)，则存储在评估值计算字典301 的第一行中的权重(α 1到α 9)305中的值H分别与对应的分数Sl到S9顺序相加。更具体 地，权重α I(H)的值与分数Sl相加。权重α2(Η)的值与分数S2相加。权重α 3 (H)的值 与分数S3相加。权重α 4(H)的值与分数S4相加。权重α 5 (H)的值与分数S5相加。权 重α 6(H)的值与分数S6相加。权重α 7 (H)的值与分数S7相加。权重α 8 (H)的值与分 数S8相加。权重α 9 (H)的值与分数S9相加。随后，通过使用存储在评估值计算字典301的第二行中的值重复上述计算。更具 体地，提取存储在评估值计算字典301的第二行中的、在对应于位置l(ul，vl) 302的值的位 置443处的亮度值A (2)、以及对应于位置2 (u2, v2) 303的值的位置444处的亮度值B (2)。 随后如下计算提取的亮度值之间的差值C(2)。C (2) = A (2)-B (2)随后，比较存储在评估值计算字典301的第二行中的阈值(θ )304的阈值θ (2) 和计算的亮度差值C (2)。因此，确定计算的差值C (2)是否小于阈值θ (2)。如果计算的差 值C (2)小于阈值θ (2)，则存储在评估值计算字典301的第二行中的权重(α 1到α 9) 305 中的值L分别与分数Sl到S9相加。然而，如果计算的差值C(2)大于或等于阈值θ (2)， 则存储在评估值计算字典301的第二行中的权重(α 到α 9)305中的值H分别与分数Sl到S9顺序相加。随后，通过顺序使用评估值计算字典301的第三行到第T行中存储的值，
重复上述计算。也就是说，当评估值计算单元235使用评估值计算字典301执行用于要确定的图 像440的评估值计算处理时，评估值计算单元235使用评估值计算字典301的第一行到第 T行中存储的值，如下计算C(i)
C(i) = A(i)-B(i). . . (29)此后，评估值计算单元235确定计算的C(i)是否满足下面的条件表达式C(i) < θ (i). . . (30)其中，变量i是范围从1到T的整数。如果计算的C(i)满足条件表达式(30)，则评估值计算单元235将α lL(i)到 a9L(i)的值分别与分数Sl到S9相加。然而，如果计算的C(i)不满足条件表达式(30)，则 评估值计算单元235将a IH⑴到a9H⑴的值分别与分数Sl到S9相加。这里，A⑴表 示对应于第1行中存储的位置l(ul，vl) 302的亮度值，并且B(i)表示对应于第1行中存储 的位置2(u2，v2)303的亮度值。θ (i)表示第i行中的阈值(θ)304中存储的值。a lH(i) 至IJ a9H(i)表示第i行中的权重(a 1至IJ a 9) 305的H中存储的值。a lL(i)到a9L(i)表 示第i行中的权重(a 1到a 9) 305的L中存储的值。在完成使用评估值计算字典301的第一行到第T行中存储的值的计算之后获得的
分数(评估值)Sl到S9可如下表达 T 当C(i)彡θ (i)时，h(Xi，Cj)表示使用等式(25)计算的a jH(i)，当C(i) < θ⑴ 时，h(Xi，Cj)表示使用等式(26)计算的a jL(i)，并且j = 1到9。图23B图示表示对其计算评估值的面部的图像601到609、以及通过评估值计算 单元235对要确定的图像440计算的分数Sl到S9之间的关系。如图23B所示，当完成使 用评估值计算字典301的第T行中存储的值的计算时，可获得九个评估值Sl到S9。图23B 使用条形曲线图示意性图示评估值Sl到S9的级别。以此方式，通过评估值计算单元235计算的评估值Sl到S9输出到选择单元236。 选择单元236然后提取大于或等于阈值447的评估值。例如，从图23B所示的评估值Sl到 S9中分别提取对应于图像601和602以及图像606和608的评估值Sl和S2以及评估值 S6和S8。随后，选择单元236从提取的评估值中从顶部起选择三个高的评估值，并将关于 对应于选择的评估值的对象的信息(选择的对象信息)输出到面部确定单元237。例如， 从提取的评估值Sl和S2以及评估值S6到S8中，选择顶部的三个评估值S1、S7和S8。图 23B在条形曲线图中使用具有斜线的条图示选择的评估值Si、S7和S8。随后，对应于选择 的评估值Si、S7和S8的选择的对象信息输出到面部确定单元237。如果在评估值Sl到S9中不存在大于或等于阈值447的评估值，则选择单元236 输出指示该信息的消息到面部确定单元237。然而，如果在评估值Sl到S9中存在1个或2 个大于或等于阈值447的评估值，则选择单元236将1个或2个评估值输出到面部确定单 元237。在此情况下，例如，值“0”可用作阈值447。替代地，为了获得相对低的可靠度，可使用“O”以外的值。接下来，将参照附图详细描述使用面部确定字典对要确定的图像执行的面部确定 处理的示例。图24A到24D图示根据本发明第一实施例、通过图像检索单元233检索的要确定 的图像和通过面部确定单元237对要确定的图像计算的评估值的示例。图24A图示用作要 确定的图像的示例的要确定的图像440。注意，要确定的图像440与图23A所示的要确定的 图像440相同。此外，与图23A所示的示例类似，在该示例中，对要确定的图像440设置二 维网格，并执行面部确定处理。首先，面部确定单元237从面部确定字典存储单元310获得用于确定对应于通过 选择单元236选择的评估值的对象的面部确定字典，并将面部确定字典存储在面部确定字 典存储器239中。例如，如图23B所示，当通过选择单元236选择评估值S1、S7和S8时，分 别获得对应于评估值S1、S7和S8的面部确定字典311、317和318，并将其存储在面部确定 字典存储器239中。随后，面部确定单元237使用面部确定字典存储器239中存储的面部 确定字典，顺序计算与面部确定字典相关的评估值。注意，通过面部确定单元237执行的使 用面部确定字典的评估值的计算与通过评估值计算单元235使用评估值计算字典执行的 评估值的计算类似，除了权重(α)的数量不同。例如，A(i)表示对应于面部确定字典311的第i行中存储的位置l(ul，vl)321 的亮度值，并且B(i)表示对应于第i行中存储的位置2 (u2，v2)321的亮度值。C(i)表示 亮度值A(i)和亮度值B(i)之间的差值。θ (i)表示面部确定字典311的第i行中的阈值 (θ)323中存储的值。α H(i)表示第i行中的权重(α )324的H中存储的值。aL(i)表示 第i行中的权重(a)324的L中存储的值。例如，当使用面部确定字典311对于要确定的图像440执行评估值计算处理时，值 “0”设为表示评估值的分数S。面部确定单元237然后通过顺序使用面部确定字典311的 第1行到第Z行中存储的值，如下计算C(i)C(i) = A(i)-B(i). . . 32随后，面部确定单元237确定计算的C(i)是否满足下面的条件表达式C(i) < θ (i). . . 33其中，变量i是范围从1到Z的整数。如果计算的C (i)满足条件表达式(33)，则面部确定单元237将a L(i)的值与分 数S相加。另一方面，如果计算的C(i)不满足条件表达式(33)，则面部确定单元237将 aH(i)的值与分数S相加在完成使用面部确定字典311的第1行到第Z行中存储的值的计算之后获得的分
数(评估值)S如下表示。 T 其中，当C(i)彡Qi时，h(xi)表示用等式(7)计算的ciH(i)，并且当C(i) < θ 时，h(xi)表示用等式(8)计算的a L(i)0以类似方式，可对于其他面部确定字典312到319计算分数(评估值)S。注意，在图24A到24D以及图25A到25C中，使用面部确定字典311到319计算的评估值通过评估 值SSl到SS9表示。图24B图示表示对其计算评估值的面部的图像601、607和608、以及通过面部确定 单元237对要确定的图像440计算的评估值SSl、SS7和SS8之间的关系。如图24B所示， 当使用面部确定字典311的第Z行中存储的值的计算完成时，可获得评估值SS1。类似地， 当使用面部确定字典317的第Z行中存储的值的计算完成时，可获得评估值SS7。当使用面 部确定字典318的第Z行中存储的值的计算完成时，可获得评估值SS8。图24B使用条形曲 线图示意性图示评估值SSl、SS7和SS8的级别。 以此方式，面部确定单元237基于计算的评估值SS1、SS7和SS8，确定面部是否包 含在要确定的图像440中。也就是说，面部确定单元237从计算的评估值中选择大于或等于 阈值并是最高的评估值，并确定对应于选择的评估值的面部包含在要确定的图像440中。 例如，在图24B所示的评估值SSl、SS7和SS8中，评估值SS7和SS8大于或等于阈值448。 因此，从评估值SS7和SS8中选择具有最高值的评估值SS7。因此，确定对应于评估值SS7 的图像607中包含的面部包含在要确定的图像440中。该确定结果输出到确定结果输出单 元 238。如果计算的评估值中不存在大于或等于阈值448的评估值，则面部确定单元237 确定目标面部不包含在要确定的图像440中，并且将指示该信息的消息输出到确定结果输 出单元238。在此情况下，例如，值“0”可用作阈值448。替代地，为了获得相对高的可靠度， 可使用0以外的值。如上所述，通过将要确定的图像的分辨率改变为相同分辨率并且使用两点的亮度 值作为用于计算评估值的特征，能够可切换地使用多个面部确定字典。因此，可用相同的算 法生成多个评估值。图25A到25C是根据本发明第一实施例、用面部检测单元230执行的面部检测的 处理流程的示意性图示。图25A图示通过图像检索单元233检索的要确定的图像440。该 要确定的图像440与图23A和24A中示出的要确定的图像440相同。图25B图示表示要确定的面部的图像601到609、和通过评估值计算单元235对要 确定的图像440计算的评估值S 1到S9之间的关系。注意，图25B所示的关系与图23B所 示的关系相同。在图25B中，对应于通过选择单元236选择的评估值的区域用粗框围绕。图25C图示表示要确定的面部的图像601到609和通过面部确定单元237对要确 定的图像440计算的评估值SSI、SS7和SS8之间的关系。在图25C中，通过面部确定单元 237对其计算评估值的区域用粗框围绕。图25B所示的评估值Sl到S9用于缩窄对其计算图25C所示的评估值SSl到SS9 的对象。因此，例如，可相对降低评估值Sl到S9的可靠度。结果，可降低用于获得评估值 的计算量，因此，可以以高速执行评估值计算处理。注意，如图25B所示，因为评估值Sl到 S9的可靠度相对降低，所以可增加对应于图像601的评估值Si，该图像601与要确定的图 像440中包含的面部不类似。然而，即使在此情况下，因为增加使用面部确定字典311到 319计算的评估值的可靠度，所以如图25C所示，最终可确定与要确定的图像440中包括的 面部具有高相似度的图像607。通过以此方式缩窄使用具有相对低可靠度的第一级评估值 确定的对象，可减小要经历具有高可靠度的第二级评估值计算处理的对象的数量。因此，可以以高速执行面部检测处理。此外，例如即使当在第一级中错误地计算1个或2个评估值 时，也可基于具有高可靠度的第二级评估值执行正确确定。结果可执行高精度对象检测。 下面讨论用于检测转向不同方向的面部的以下的检测方法。该方法采用树形结构 和生成以便对应于面部朝向的多个鉴别器。通过使用鉴别器、并根据通过树指示的分支顺 序确定面部的朝向来检测面部。在该方法中，因为通过顺序确定树的朝向来检测面部，所以 例如可以增加在得到最终判定之前的平均弱学习器的数量。因此，可能降低效率。此外，如 果在到达叶节点之前进行错误判定并因此采用了错误的节点分支，则返回是困难的。因此 不能执行适当的面部检测。然而，根据本发明的第一实施例，因为不使用节点分支逻辑，所以可以降低在得到 最终判定之前的平均弱学习器的数量，并因此可以提高效率。此外，关于在第一级计算的评 估值，无论面部的朝向，从所有对象选择用于面部检测的候选。因此，例如，即使对其难以 找到对应的对象的面部也几乎可以确定地检测。此外，因为不采用树形结构在面部检测处 理的第一级中同时执行评估，所以可以容易地实现第一实施例。因此，可消除错误分支的影 响。此外，因为可使用相同特征同时计算与多个对象有关的评估值，所以可以增加评估值计 算处理的效率。此外，当生成允许同时计算关于在第一级使用的多个对象的评估值的字典 时，可同时生成关于对象的字典。因此，可加速学习的收敛。此外，当计算评估值时，根据亮度差值是否小于阈值，改变与分数相乘的权重并执 行计算。以此方式，即使在要确定的图像中的物理量的分布复杂时，也可以使用该分布有效 地进行确定。图26图示根据本发明第一实施例、经历通过面部检测单元230执行的面部检测处 理的捕获图像400和通过面部检测单元230执行的面部检测处理的检测结果。捕获图像 400与图22A中所示的捕获图像400相同。捕获图像400包括三个人。此外，当在捕获图 像400中检测到三个人的面部时，检测结果用框461到463示意性示出。框461到463指 示通过面部检测单元230执行的面部检测处理的检测结果，并且框461到463的每个指示 位置和大小。例如，相机参数控制单元220可基于检测结果对检测的面部设置最佳的参数。 此外，例如，当捕获图像400显示在显示单元170上时，框461到463与捕获图像400重叠。 例如，如图26所示，即使倾斜的面部或躺下的人的面部也可适当地检测。图像拾取设备的示例性操作接下来，将参照附图描述根据本发明第一实施例的图像拾取设备100的示例性操作。图27是图示根据本发明第一实施例、通过图像拾取设备100执行的捕获图像记录 处理的处理流程的流程图。在该示例中，当图像拾取设备100处于捕获图像记录就绪状态 下时，图像拾取设备100生成捕获图像并对捕获图像执行面部检测处理。首先，确定图像拾取设备100是否处于捕获图像记录就绪状态(步骤S901)。如果 图像拾取设备100处于捕获图像记录就绪状态(步骤S901)，则图像拾取单元112生成捕获 图像(步骤S902)。此后，面部检测单元230对于生成的捕获图像执行面部检测处理(步骤 S920)。下面将参照图28更详细描述面部检测处理。注意，面部检测处理可对每帧执行，或 可以对以预定间隔获得的每帧执行。然而，如果图像拾取设备100不处于捕获图像记录就 绪状态(步骤S901)，则完成捕获图像记录处理。
随后，相机参数控制单元220设置相机参数(步骤S903)。例如，当从面部检测单 元230输出面部检测信息时，相机参数控制单元220基于捕获图像中的检测的面部的位置 和大小，设置对检测的面部最佳的相机参数。随后，确定是否按压快门按钮(步骤S904)。 如果已经按压快门按钮，则将生成的捕获图像记录在记录单元150中(步骤S905)。然而， 如果还没有按压快门按钮(步骤S904)，则完成捕获图像记录处理。图28是图示根据本发明第一实施例、通过图像拾取设备100执行的捕获图像记录 处理的面部检测处理的处理流程(图27所示的步骤S920中执行的处理)的流程图。
首先，获得存储器单元130中存储的当前捕获图像(步骤S921)。随后，将检索窗 放置在获得的捕获图像的左上角(步骤S922)，并检索检索窗内的图像(步骤S923)。随后， 对从检索窗检索的图像(要确定的图像)执行确定处理(步骤S940)。下面将参照图29更 详细描述确定处理。随后，确定要确定的图像是否小于检索窗(步骤S924)。如果要确定的图像不小于 检索窗(步骤S924)，则确定检索窗是否位于要确定的图像的右端(步骤S925)。如果检索 窗不位于要确定的图像的右端(步骤S925)，则将检索窗在要确定的图像中向右侧偏移一 像素(步骤S926)。此后，处理返回到步骤S923。然而，如果检索窗位于要确定的图像的右 端(步骤S925)，则确定检索窗是否位于要确定的图像的下端(步骤S927)。如果检索窗不 位于要确定的图像的下端(步骤S927)，则检索窗在要确定的图像中向下偏移一像素，并移 动到要确定的图像的左端(步骤S928)。然而，如果检索窗位于要确定的图像的下端(步 骤S927)，则要确定的图像按预定因子缩小(步骤S929)，并且检索窗放置在缩小的图像的 左上角(步骤S922)。然而，如果要确定的图像小于检索窗(步骤S924)，则确定面部是否包含在要确定 的图像中(步骤S930)。如果确定面部包含在要确定的图像中(步骤S930)，则输出指示检 测到面部并用作确定结果的面部检测信息(步骤S932)。此时，如果确定多个面部包含在要 确定的图像中，则输出关于多个面部的面部检测信息。此外，对于重叠区域，如果多次确定 包含面部，则基于检索窗的位置和大小输出面部检测信息，在该检索窗中，使用在步骤S940 中执行的确定处理中的面部确定字典计算的分数(评估值)被最大化。然而，如果确定面 部不包含在要确定的图像中(步骤S930)，则输出指示没有检测到面部的没有检测到面部 的信息作为检测结果(步骤S931)。注意，在该示例中，即使确定面部包含在要确定的图像中，也重复确定处理，直到 要确定的图像变为小于检索窗。此后，基于该确定结果，确定是否从当前捕获图像检测到面 部。然而，当曾经确定面部包含在要确定的图像中时，可以输出指示在当前捕获图像中检测 到面部的面部检测信息，而不对其他要确定的图像执行确定处理。图29是图示根据本发明第一实施例、通过图像拾取设备100执行的面部检测处理 的确定处理的处理流程(图28所示的步骤S940中执行的处理)的流程图。首先，评估值计算单元235执行第一评估值计算子处理(步骤S950)。下面将参照 图30更详细描述第一评估值计算处理。注意，步骤S950是权利要求中定义的计算步骤的 示例。随后，选择单元236确定在通过评估值计算单元235计算的多个评估值中是否存在 大于或等于阈值的评估值(步骤S941)。如果在通过评估值计算单元235计算的多个评估 值中存在大于或等于阈值的评估值(步骤S941)，则选择单元236从大于或等于阈值的评估值中从顶部起选择预定数量的高的评估值(步骤S942)。例如，当通过评估值计算单元235 计算的评估值是9时，选择最多前三个评估值。随后，面部确定单元237从面部确定字典存储单元310获得关于对应于选择的评 估值的对象的面部确定字典，并且将获得的面部确定字典存储在面部确定字典存储器239 中(步骤S943)。随后，面部确定单元237使用面部确定字典存储器239中存储的面部确定 字典来执行第二评估值计算子处理(步骤S970)。下面将参照图31更详细描述第二评估值 计算子处理。
随后，面部确定单元237确定一个或多个计算的评估值中是否存在大于或等于阈 值的评估值(步骤S944)。如果在一个或多个计算的评估值中存在大于或等于阈值的评估 值(步骤S944)，则面部确定单元237从大于或等于阈值的评估值中选择最高评估值。因 此，面部确定单元237确定对应于评估值的对象包含在要确定的图像中(步骤S945)。注 意，步骤S970、S944和S945是权利要求中定义的确定步骤的示例。注意，如果在通过评估值计算单元235计算的多个评估值中不存在大于或等于阈 值的评估值(步骤S941)，或如果通过面部确定单元237计算的评估值中不存在大于或等于 阈值的评估值(步骤S944)，则完成确定处理。图30是图示根据本发明第一实施例、通过图像拾取设备100执行的面部检测处理 的第一评估值计算子处理(图29中所示的步骤S950中执行的处理)的处理流程的流程图。首先，分数Sl到S9初始化为“0”(步骤S951)，并且变量i初始化为“1” (步骤S952)。随后，评估值计算单元235提取对应于评估值计算字典301的 第i行中的位置l(ul，vl)和位置2(u2，v2)中包含的位置的亮度值(步骤S953)。在该 示例中，设A(i)表示对应于位置l(ul，vl)的亮度值，并且设B(i)表示对应于位置2(u2， v2)的亮度值。然后，评估值计算单元235计算两个亮度值之间的差值(A⑴-B⑴)(步骤 S954)。随后，评估值计算单元235确定计算的差值(A(i)-B(i))是否小于评估值计算字 典301的第i行中存储的阈值θ (i)(步骤S955)。如果计算的差值(A(i)-B(i))小于阈值 θ (i)(步骤S955)，则评估值计算单元235将α lL(i)到a9L(i)分别与分数Sl到S9顺 序相加(步骤S956)。然而，如果计算的差值(Aa)-Ba))不小于阈值θ (i)(步骤S955)， 则评估值计算单元235将a IH⑴到a 9H(i)分别与分数Sl到S9顺序相加(步骤S957)。随后，变量i递增1 (步骤S958)，并且确定变量i是否大于T (步骤S959)。如果 变量i不大于T (步骤S959)，则处理返回到步骤S953。此后，重复评估值计算处理(步骤 S953到S958)。然而，如果变量i大于T (步骤S959)，则完成第一评估值计算子处理。图31是图示根据本发明第一实施例、通过图像拾取设备100执行的面部检测处理 的第二评估值计算子处理(图29中所示的步骤S970中执行的处理)的处理流程的流程图。首先，分数S初始化为“0”(步骤S971)，并且变量i初始化为“ 1 ”(步骤S972)。 随后，面部确定单元237从要确定的图像提取对应于面部确定字典存储器239中存储的面 部确定字典之一的第i行中存储的位置l(ul，vl)和位置2(u2，v2)的亮度值(步骤S973)。 在此示例中，设A(i)表示对应于位置l(ul，vl)的亮度值，并且设B(i)表示对应于位置 2(u2,v2)的亮度值。随后，面部确定单元237计算两个亮度值之间的差值(A(i)-B(i))(步 骤 S974)。
随后，面部确定单元237确定计算的差值(A(i)-B(i))是否小于当前面部确定字 典的第i行中存储的阈值θ (i)(步骤S975)。如果计算的差值(A(i)-B(i))小于阈值θ (i) (步骤S975)，则面部确定单元237将ciL(i)加到分数S (步骤S976)。然而，如果计算的差 值(A(i)-B(i))不小于阈值θ (i)(步骤S975)，则面部确定单元237将ciH(i)加到分数 S (步骤 S977)。随后，变量i递增1 (步骤S978)，并且确定变量i是否大于Z (步骤S979)。如果变 量i不大于Z (步骤S979)，则处理返回到步骤S973。此后，重复使用当前面部确定字典的 评估值计算处理(步骤S973到S978)。然而，如果变量i大于Z (步骤S979)，则面部确定 单元237将计算的评估值S与对应于当前面部确定字典的对象相关联地存储(步骤S980)。随后，面部确定单元237确定在面部确定字典存储器239中存储的面部确定字典 中是否存在还没有对其计算评估值的另一面部确定字典(步骤S981)。如果存在还没有对 其计算评估值的另一面部确定字典(步骤S981)，则处理返回到步骤S971。此后，重复评估 值计算处理，直到对面部确定字典存储器239中存储的所有面部确定字典执行评估值的计 算。然而，如果不存在还没有对其计算评 估值的另一面部确定字典(步骤S981)，则完成第 二评估值计算子处理。在该示例中，使用每个面部确定字典的第1行到第Z行中存储的值来计算分数S。 然而，例如，对于每个面部确定字典的每个记录，停止(stopping)阈值可存储在面部确定 字典存储单元中。如果在步骤S976或S977中计算的分数S低于当前记录的停止阈值，则 可以停止使用当前面部确定字典的评估值计算处理。以此方式，可进一步提高面部检测处 理的速度。如上所述，根据本发明第一实施例，面部检测处理包括两级评估值计算处理。因 此，可以减少弱学习器的数量，并因此可以以高速执行面部检测处理。此外，可提高检测精 度。此外，当执行面部检测处理时，根据值是否小于每个字典的阈值改变与分数相乘的权 重，并执行计算。以此方式，可进一步提高检测精度。2.第二实施例图像拾取设备的示例性配置在本发明第一实施例中，描述了使用单个评估值计算字典同时计算关于多个对象 的评估值的示例。参照附图描述本发明第二实施例。即，通过转换对其计算评估值计算字 典中存储的亮度差值的两点，可对于可使用评估值计算字典计算其评估值的对象的最大数 量的四倍的数量的对象计算评估值。与根据本发明第一实施例的图像拾取设备100不同， 根据本发明第二实施例的图像拾取设备包括面部检测单元250来替代面部检测单元230。 因此，不重复与第一实施例的组件相同的组件的描述。下面主要描述不同组件。图32是根据本发明第二实施例的面部检测单元250的功能框图。面部检测单元 250是图3所示的面部检测单元230的修改。面部检测单元250包括位置计算单元251、评 估值计算单元252和面部确定字典存储单元253。与在描述图3中使用的标号相同的标号 将用于描述图32的面部检测单元230的相同组件，并且不重复其描述。位置计算单元251转换评估值计算字典存储单元300中存储的评估值计算字典 301中的位置1 (ul，vl) 302和位置2 (u2，v2) 303的值，并获得两个新的点。位置计算单元 251然后将两个转换的点、与两个原始点相关联的评估值计算字典301中的阈值(θ )304、以及权重(α 到α 9) 305的值输出到评估值计算单元252。例如，位置计算单元251使用 要确定的图像的中心点作为参照，对位置l(ul，vl) 302和位置2(u2，v2) 303的值应用仿射 变换，并计算两个新的点。例如，在该仿射变换中，执行90度顺时针旋转变换、90度逆时针 旋转变换、以及180度旋转变换。下面将参照图33A到33D和图34A到34D更详细描述用 于计算位置的方法。 评估值计算单元252使用评估值计算字典存储单元300中存储的评估值计算字典 301中的值、通过位置计算单元251计算的两点的位置和与该两点对应的值来计算对于每 个对象的评估值。下面将讨论其中位置计算单元251执行90度顺时针旋转、90度逆时针旋 转变换、以及180度旋转的情况。在此情况下，通过评估值计算单元252计算的评估值的数 量增加到仅使用评估值计算字典301计算的评估值的数量的四倍。以此方式计算的每个对 象的评估值输出到选择单元236。因为计算每个对象的评估值的方法类似于本发明的第一 实施例的方法，所以不重复其描述。面部确定字典存储单元253与对象相关联地存储面部确定字典，所述面部确定字 典用于确定特定对象是否包含在从图像检索单元233输出的图像中。此外，面部确定字典 存储单元253将存储的面部确定字典提供到面部确定字典存储器239。面部确定字典存储 单元253对多个对象的每个存储面部确定字典，所述多个对象对应于通过评估值计算单元 252对其计算评估值的对象。注意，下面将参照图33A到33D更详细描述在面部确定字典存 储单元253中存储其面部确定字典的对象。图33A到33D图示根据本发明第二实施例、可通过使用位置计算单元251计算两 个新的点的位置来计算其评估值的对象的示例。图33A图示对象图像组500，其包括表示可 使用图20B所示的评估值计算字典301计算其评估值的对象的面部图像。注意，对象图像 组500对应于图20A所示的对象图像组600。图33B到33D图示包括下述面部图像的对象 图像组501到503，通过转换图20B所示的评估值计算字典301中包含的位置1 (ul，vl)302 和位置2(u2，v2)的值可计算所述面部图像的评估值。如本发明第一实施例所述，通过使用图20B中示出的评估值计算字典301，可同 时计算关于转向不同方向的九个面部的评估值。此时，例如，评估值计算字典301的位置 Kul, vl) 302和位置2 (u2，v2)中包含的两点的位置在逆时针方向上关于要确定的图像的 中心旋转90度。此后，使用旋转后的两点的位置和与两点相关联地存储的评估值计算字典 301中包含的阈值(θ)304、以及权重(α 1到α 9) 305的值执行上述评估计算处理。以此 方式，例如，可同时计算对应于图33Β中所示的对象图像组501中包括的面部图像的对象的 评估值。类似地，例如，评估值计算字典301的位置l(ul，￥1)302和位置2(112，￥2)中包含 的两点的位置在顺时针方向关于要确定的图像的中心旋转90度。此后，使用旋转后的两点 的位置执行上述评估计算处理。以此方式，例如，可计算对应于图33C中所示的对象图像组 502中包括的面部图像的对象的评估值。类似地，例如，评估值计算字典301的位置l(ul，￥1)302和位置2(112，￥2)中包含 的两点的位置关于要确定的图像的中心旋转180度。此后，使用旋转后的两点的位置执行 上述评估计算处理，以此方式，例如，可计算对应于图33D中所示的对象图像组503中包括 的面部图像的对象的评估值。
通过位置计算单元251执行这些位置的转换。此外，可使用仿射变换，其中使用二 维坐标系统中的3X3矩阵(仿射矩阵)转换两点的位置。此外，面部确定字典存储单元 253存储分别与对应于图33A到33D中所示的对象图像组500到503中包括的面部图像的 对象有关的面部确定字典。也就是说，面部确定字典存储单元253存储根据本发明第一实 施例的面部确定字典存储单元310中存储的面部确定字典的数量的四倍。图34A到34D是图示通过根据本发明第二实施例的位置计算单元251计算的两个 新的点的位置和使用两个新的点的位置计算的评估值之间的关系示例。注意，图34A到34D 的每个中示出的评估值Sl到S9对应于图23B中示出的评估值Sl到S9。
图34A图示使用两个原始位置计算的评估值的示例。注意，在图34A中，示出要对 其计算评估值的要确定的图像470、以及要确定的图像470的两点(两点的位置471和472) 的组合之一。图34B图示通过位置计算单元251执行90度逆时针旋转后的两点的位置和使用 这两点计算的评估值的示例。例如，图34A所示的两点的位置471和472通过位置计算单 元251执行的90度逆时针旋转，转换为两个新点的位置473和474。通过使用以此方式转 换的两点的位置，用评估值计算单元252计算图34B所示的评估值。图34C图示通过位置计算单元251执行90度顺时针旋转之后的两点的位置和使 用这两点计算的评估值的示例。例如，图34A所示的两点的位置471和472通过位置计算 单元251执行的90度顺时针旋转，转换为两个新点的位置475和476。通过使用以此方式 转换的两点的位置，用评估值计算单元252计算图34C所示的评估值。图34D图示通过位置计算单元251执行180度旋转之后的两点的位置和和使用这 两点计算的评估值的示例。例如，图34A所示的两点的位置471和472通过位置计算单元 251执行的180度旋转，转换为两个新点的位置477和478。通过使用以此方式转换的两点 的位置，用评估值计算单元252计算图34D所示的评估值。以此方式，通过转换评估值计算字典301的位置l(ul，vl)302和位置2(u2，v2)中 包含的两点的位置并且使用两个转换后的位置，可计算评估值。因此，通过使用单个评估值 计算字典，可以以高速计算更多评估值。例如，如图34A到34D所示，通过使用允许同时计 算九个评估值的评估值计算字典301来执行三种转换，可计算36个评估值。因此，可减小 用于评估值计算字典的存储容量。此外，以此方式计算的图34A到34D中所示的评估值S 1到S9输出到选择单元 236。此后，如本发明第一实施例中，从九个评估值Sl到S9提取大于或等于阈值447的评 估值。随后，选择单元236从顶部起选择三个高的评估值，并且将与对应于选择的评估值的 对象有关的信息(选择对象信息)输出到面部确定单元237。例如，作为大于或等于阈值 447并的前三个高的评估值，选择对应于图34B所示的图像611和614以及图34D所示的对 象631的评估值。在图34A到34D的条形曲线图中，用具有斜线的条示出选择的评估值。图35A到35E是由根据本发明第二实施例的面部检测单元250执行的面部检测处 理的处理流程的示意性图示。图35A图示通过图像检索单元233检索的要确定的图像480。 图35B图示包括表示要经历评估值计算处理的面部的图像的对象图像组500到503。注意， 如图34A到34D中，通过评估值计算单元252计算对象图像组500到503中包括的、对应于 图像601到609、图像611到619、图像621到629、和图像631到639的评估值。例如，如图34A到34D中，计算评估值，并且选择对应于图35B中所示的图像611、614和631的评估值。图35C图示图像611、614和631和通过面部确定单元237对要确定的图像480计 算的评估值SS 10到SS12之间的关系，所述图像611、614和631表示对应于通过选择单 元236选择的评估值的面部。注意，通过面部确定单元237执行的面部检测处理类似于本 发明第一实施例中图示的处理。因此，不重复其描述。例如，在分别对应于图35B所示的图 像611、614和631的评估值SS10、SS11和SS12中，大于或等于阈值448的最高值是评估值 SSlO0因此，确定对应于评估值SS 10的图像611中包含的面部包含在要确定的图像480 中。图36图示可通过根据本发明第二实施例的面部检测单元250检测的面部和检测 结果的示例。在图36中，示出包括正面并以预定角度间隔安排在圆圈中的面部。此外，通 过围绕面部的框示出检测结果。如图36所示，根据本发明第二实施例，即使对于各个角度 倾斜的面部也可检测。例如，可检测以各个角度倾斜的面部，如躺在地上的人的面部、倒立 的人的面部、以及图像拾取设备100倾斜时捕获的图像的面部。此外，尽管图36仅图示其 中在滚动方向上从正面倾斜的面部，但是可以以类似方式检测在摇动或偏转方向上倾斜的 面部。如上所述，根据本发明第二实施例，通过简单地转换相同字典中的两点的位置，可 以高速计算关于字典中包含的对象的数量的若干倍的对象的评估值。因此，可显著有效地 计算评估值，并且因此可提供对象检测精度。 例如，如果假设在几乎不出现由图像拾取设备100在捕获翻转的被摄体的图像的 情况，则位置计算单元251可不执行180度旋转。此外，面部确定字典存储单元253可仅存 储对应于可使用评估值计算字典301计算其评估值的对象的面部确定字典。此后，与上述 评估值计算处理类似，面部确定单元237可使用面部确定字典中的值或转换的两点的位置 的值来计算评估值。图像拾取设备的示例性操作图37是图示通过根据本发明第二实施例的图像拾取设备100执行的面部检测处 理的处理流程的流程图。该示例是根据本发明第一实施例的面部检测处理(图29中示出 的步骤S940中的处理)的修改。因此，与在描述图29中使用的标号相同的标号将用于描 述图37中的相同处理，并且不重复其描述。首先，评估值计算单元252执行第一评估值计算子处理(步骤S950)。随后，确定 是否存在对其还没有计算评估值的角度(步骤S991)。例如，当对90度顺时针旋转、90度 逆时针旋转和180度旋转计算评估值时，确定是否已经对这些角度计算评估值。如果存在 对其还没有计算评估值的角度(步骤S991)，则位置计算单元251转换评估值计算字典301 的位置l(ul，vl) 302和位置2 (u2，v2) 303中包含的两点的位置。然后，位置计算单元251 计算两个新点的位置(步骤S992)。此后，转换后的两点的位置、以及评估值计算字典301 的阈值(θ)304和权重(α 到α 9)305中包含的值输出到评估值计算单元252。以此方 式，执行第一评估值计算子处理(步骤S950)。虽然已经参照使用要确定的图像的两点之间的亮度差值进行对象的检测来描述 了本发明实施例，但是本发明实施例可应用到使用要确定的图像的两个区域中的其他物理量的差值来检测对象的方法。例如，本发明实施例可应用到这样的对象检测方法，其中使用 要确定的图像内的两个区域的矩形特征计算评估值并检测对象。替代地，本发明实施例可 应用到这样的对象检测方法，其中使用要确定的图像内的两个区域之间的亮度直方图的预 定类的差值计算评估值并且检测对象。在此情况下，例如，可使用作为一种亮度直方图的面 向梯度的直方图(histograms of oriented gradients, HOG)。面向梯度的直方图通过将 目标图像划分为多个区域、并对每个区域计算亮度梯度方向和亮度梯度强度而生成。此外，尽管已经参照转向不同方向的面部描述了本发明实施例，但是本发明实施 例可应用到面部以外的对象。例如，本发明实施例可应用到用作对象的一个或多个动物或 宠物(哺乳动物、爬行动物或鱼)、汽车或飞机。在此情况下，各种相同对象(例 如，转向不 同方向的狗)、或多个对象的混合物(例如，狗和猫)可以用作对象。此外，本发明实施例可应用到数字摄像机(例如，装配了相机的记录器)或具有图 像捕获功能的蜂窝电话的各种图像拾取设备。此外，本发明实施例可应用到对象检测设备， 如连接到安全相机并检测人的面部的面部检测设备。上述实施例仅是用于实现本发明的示例。如上所述，实施例的元件或关键特征与 所要求保护的主题的元件或关键特征具有对应关系。然而，不应解释为将本发明的技术范 围限制与此。本领域技术人员将认识到，可对上述实施例进行改变或修改而不背离本发明 的宽泛的发明构思。此外，本发明实施例中描述的处理过程可认为是包括处理过程的方法。此外，该处 理过程可认为是用于允许计算机执行处理过程的程序或存储程序的记录介质。记录介质的 示例包括致密盘(CD)、迷你盘(MD)、数字多功能盘(DVD)、存储卡、蓝光盘(注册商标)。本申请包含涉及于2009年1月9日向日本专利局提交的日本优先权专利申请JP 2009-003869中公开的主题，在此通过引用并入其全部内容。本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、 子组合和更改，只要它们在权利要求或其等效物的范围内。
权利要求
一种对象检测设备，包括评估信息存储单元，配置为存储用于计算多个对象的每个的评估值的评估信息，所述评估值用于评估所述对象的哪一个包含在图像中；确定信息存储单元，配置为与每个对象相关联地存储用于确定对象是否包含在图像中的确定信息；计算单元，配置为通过使用所述评估信息从图像的多个区域提取特征、并比较两个提取的特征，计算对于每个对象的评估值；以及确定单元，配置为使用与下述对象相关联的确定信息，确定该对象是否包含在图像中，所述对象与对多个对象计算的评估值当中满足预定条件的评估值有关。
2.如权利要求1所述的对象检测设备，其中所述确定信息是用于计算下述评估值的信 息，当从图像的多个区域提取特征、并通过比较提取的特征中的两个特征来确定所述对象 是否包含在所述图像中时，使用所述评估值，并且其中所述评估信息是用于使用下述条件 计算对象的评估值的信息，所述条件比用于使用确定信息计算对象的评估值的条件较不严 格。
3.如权利要求1所述的对象检测设备，还包括选择单元，配置为从对所述对象计算的评估值中从顶部起选择预定数量的具有高的值 的评估值；其中所述确定单元使用与关于选择的评估值的对象相关联的确定信息进行确定。
4.如权利要求3所述的对象检测设备，其中所述选择单元从预定数量的评估值中选择 高于预定值的评估值作为满足预定条件的评估值。
5.如权利要求1所述的对象检测设备，其中所述评估信息包括图像中的两个位置、阈 值和分配给每个对象的权重值的组合，并且其中所述计算单元从通过所述两个位置标识的 图像的两个区域提取特征，比较提取的特征和阈值，使用对每个对象的比较结果计算权重 值，并计算对于每个对象的评估值。
6.如权利要求5所述的对象检测设备，还包括位置计算单元，配置为通过将评估信息中包含的两个位置关于图像的中心旋转预定角 度，计算图像中的两个新的位置，用于计算关于多个新对象的评估值；以及第二确定信息存储单元，配置为与新对象相关联地存储在将对象旋转预定角度后与多 个新对象的每个有关的确定信息；其中所述计算单元对通过每个新对象的两个新计算位置标识的图像的两个区域执行 权重值的计算，并且计算对每个新对象的评估值，并且其中所述确定单元使用与下述对象 相关联的确定信息，确定该对象是否包含在图像中，该对象与对对象计算的评估值和对新 对象计算的评估值当中的满足预定条件的评估值有关。
7.如权利要求5所述的对象检测设备，其中所述计算单元计算从两个区域提取的特征 之间的差值，比较计算的差值和阈值，并且基于比较结果计算评估值。
8.如权利要求5所述的对象检测设备，其中所述评估信息包括多个组合，并且其中所 述计算单元通过顺序计算每个组合的对象的权重值，计算每个对象的评估值。
9.如权利要求1所述的对象检测设备，其中所述确定单元使用与关于满足预定条件的 评估值的对象相关联的确定信息，从图像的多个区域提取特征，比较两个提取的特征，计算与满足预定条件的评估值相关联的每个对象的评估值，并且基于所述评估值确定所述对象是否包含在图像中。
10.如权利要求9所述的对象检测设备，其中所述确定单元确定使用确定信息计算的 对象的评估值当中的、与最高评估值有关的对象包含在图像中。
11.如权利要求10所述的对象检测设备，其中如果最高评估值高于预定值，则所述确 定单元确定与最高评估值有关的对象包含在图像中。
12.如权利要求1所述的对象检测设备，其中所述多个对象是朝向不同方向的人的面部。
13.如权利要求1所述的对象检测设备，其中所述多个对象是包括狗和猫中的至少一 个的动物。
14.一种图像拾取设备，包括评估信息存储单元，配置为存储用于计算评估值的评估信息，所述评估值用于评估多 个对象的哪一个包含在图像中；确定信息存储单元，配置为与每个对象相关联地存储用于确定对象是否包含在图像中 的确定信息；图像拾取单元，配置为通过捕获被摄体的图像生成捕获的图像；图像检索单元，配置为从捕获的图像检索要确定的图像；计算单元，配置为通过使用评估信息从要确定的图像的多个区域提取特征、并比较两 个提取的特征，计算对于每个对象的评估值；以及确定单元，配置为使用与下述对象相关联的确定信息，确定该对象是否包含在要确定 的图像中，所述对象与对该对象计算的评估值当中满足预定条件的评估值有关。
15.一种对象检测方法，包括下述步骤通过使用评估信息从图像的多个区域提取特征、并比较两个提取的特征，对于多个对 象的每个计算用于评估所述对象是否包含在图像中的评估值；以及使用与下述对象相关联的确定信息，确定该对象是否包含在图像中，所述对象与对多 个对象计算的评估值当中满足预定条件的评估值有关。
16.一种程序，包括用于使得计算机执行以下步骤的程序代码通过使用评估信息从图像的多个区域提取 特征、并比较两个提取的特征，对于多个对象的每个计算用于评估所述对象是否包含在图 像中的评估值；并且使用与下述对象相关联的确定信息确定该对象是否包含在图像中，所 述对象与对多个对象计算的评估值当中满足预定条件的评估值有关。
全文摘要
本发明涉及对象检测设备、图像拾取设备、对象检测方法和程序。对象检测设备包括评估信息存储单元，存储用于计算多个对象的每个的评估值的评估信息，其中所述评估值用于评估所述对象的哪一个包含在图像中；确定信息存储单元，与每个对象相关联地存储用于确定对象是否包含在图像中的确定信息；计算单元，通过使用评估信息从图像的多个区域提取特征、并比较两个提取的特征，计算对于每个对象的评估值；以及确定单元，使用与下述对象相关联的确定信息，确定该对象是否包含在图像中，所述对象与对该对象计算的评估值当中满足预定条件的评估值有关。
文档编号G06K9/00GK101840504SQ201010003220
公开日2010年9月22日 申请日期2010年1月11日 优先权日2009年1月9日
发明者小川要 申请人:索尼公司