图像处理设备、图像显示设备、成像设备、其图像处理方法和程序的制作方法

专利名称：图像处理设备、图像显示设备、成像设备、其图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备，更具体地，涉及一种被配置为检测 包括在图像中的目标对象的图像处理设备、图像显示设备和成像设 备、用于每种i殳备的图4象处理的方法和4吏计算枳4丸4于该方法的程 序。
背景技术：
近年来，诸如数码摄像机和数码相机的成像设备已广泛普及。 另外，存在一种图像处理设备，其能够检测包括在通过这种成像设 备拍摄的图像中的人的面部，生成关于所检测面部的各种属性信息 块，并使用属性信息块来以各种显示模式显示所检测面部。例如，所才企测面部经过i者如性别确定和面部表情(即，笑/不笑) 确定的确定。可以基于确定的结果来生成关于所;险测面部的各种属 性^f言息块。例如，当显示了多个4企测面部时，可以利用关于性别的 属性信息块来显示一列女人的面部。所检测面部有关的各种属性信息块，重 要的是检测高精度的面部图像以增大每个属性信息块的精度。曰本未审查专利申请公开第2005-78376号披露了一种对象检 测设备，用于检测输入图像中的面部候选，基于例如从该设备到每 个面部候选的估计距离与从该设备到每个面部候选的测量距离之 间的差的条件来乂人所才全测面部候选中冲佥测出非面部候选，并且从面 部4美选中除去非面部{矣选。发明内容根据上述现有技术，即使在输入图像中错误检测到除面部之外 的对象时，仍将非面部候选乂人面部候选中除去。因此，可能降^f氐不 正确面部检测的可能性。因此，可以基于高精度的面部图像来生成 关于面部的属性信息。在这种情况下，为了生成与检测面部有关的多个属性信息块， 例如，单独执4于关于各种确定(例如，性别确定和笑/不笑确定)的 多种处理。基于确定结果生成关于4企测面部的多个属性信息块。不 利地，关于面部的属性信息块的生成导致设备结构的复杂性增大以 及属性信息块的生成时间增加。因此，期望有效地生成关于包括在图^f象中的面部的多个属性信 息块。为了克服上述缺点作出本发明。才艮据本发明的第一实施例，图 像处理设备包括以下元件。评价信息存储装置存储用来确定被作为 确定对象的图像是否为目标图像的多个评价信息组。图像输入装置 输入图像。面部检测装置检测包括在所输入图像中的面部。标准化 (normalization,归一化)装置对作为包括所检测面部的图像片段(image segment)的面部图4象进4亍标准化，以-使面部图1象具有预定 分辨率。特征提取装置提取标准化后的面部图像的特征量。属性信 息生成装置基于所提取的特征量和存储在评价信息存储装置中的 每个评价信息组，确定面部图像是否为与评价信息组相关联的目标 图像，并且作为确定结果，生成关于包括在面部图像中的面部的属 性信息块。因此，第一实施例具有以下效果使包括在输入图像中 才企测到的面部的图^f象片^殳(面部图〗象)标准化，基于标准化后的面 部图像的特征量和每个评价信息组来确定面部图像是否为目标图 像，以及作为确定结果，生成关于面部的属性信息块。在该实施例中，优选地，每一个评价信息组均包括在被作为确 定对象的图像中的位置和阈值的组合。属性信息生成装置可以基于 与包括在每个评伯、信息组中的位置相对应的标准化后的面部图傳_ 的特征量和与该位置相关联的阈值，确定面部图像是否为与评价信 息组相关联的目标图像。因此，该实施例具有以下效果基于与包 括在每个评^H言息组中的位置相对应的特;f正量和与该位置相关联 的阈值，确定面部图像是否为目标图像。在该实施例中，优选地，每一个评价信息组均包括在被作为确 定对象的闺^象中的两个位置和阈值的组合。属性信息生成装置可以 计算对应于与包括在每个评4介信息组中的组合相关联的两个位置 的标准化后的面部图像的特征量之间的差，将计算出的差和与组合 相关联的阈值进行比较，并且基于比较结果来确定面部图像是否为 与评价信息组相关联的目标图像。因此，该实施例具有以下效果 计算在对应于与包括在每个评价信息组中的组合相关联的两个位 置的特征量之间的差，将计算出的差和与该组合相关联的阈值的差 进行比较，并基于比较结果来确定关于面部图像是否为目标图像。在该实施例中，优选地，每一个评价信息组均包括每一个均包 括一皮作为确定对象的图<象中的两个位置和阈值的多个组合。属性信息生成装置可以计算对应于与包括在每个评价信息组中的每个组 合相关联的两个位置的标准化后的面部图^f象的特征量之间的差，将 计算出的差和与该组合相关联的阈值进行比较，并且基于比较结果 来确定面部图像是否为与评价信息组相关联的目标图像。因此，该实施例具有以下效果计算在对应于与包括在每个评-f介信息组中的 每个组合相关联的两个位置的特征量之间的差，将计算出的差和与 该组合相关联的阈值进行比较，并且基于比较结果来确定面部图像 是否为目标图像。在该实施例中，优选地，每一个评价信息组均包括每一个均包 括-故作为确定对象的图<象中的两个位置、阈值和4又重的多个组合。 属性信息生成装置可以计算对应于与包括在每个评价信息组中的 每个组合相关联的两个位置的标准化后的面部图像的特征量之间 的差，将计算出的差和与该组合相关联的阈值进行比较，并且基于 比寿交结果加上或减去权重以获得与包括在评^f介信息组中的组合相 关联的值的和，并且基于该和来确定面部图像是否为与评价信息组 相关联的目标图4象。因此，该实施例具有以下作用计算对应于与 包括在每个评^H言息组中的每个组合相关联的两个位置的特征量 之间的差，将计算出的差和与该组合相关联的阈值进行比较，基于 比较结果加上或减去权重以获得与包括在评价信息组中的组合相 关联的值的和，并且基于该和来确定面部图像是否为与评价信息组 相关联的目标图像。在该实施例中，特征^是取装置可以^是取亮度作为标准化后的面 部图像的特征量。因此，该实施例具有提取亮度作为标准化后的面 部图^f象的特4正量的效果。在该实施例中，优选地，存〗诸在评〗介信息存^者装置中的多个评 <介信息组中的至少一个是用于确定标准化后的面部图 <象的标准化 是否成功的一组标准化确定信息。属性信息生成装置可以基于存储准化确定信息组来确定标准化后的面 部图像的标准化是否成功，并且作为确定结果，生成关于包括在面部图像中的面部的属性信息块。因此，该实施例具有以下效果基 于的标准化确定信息组来确定标准化后的面部图 <象的标准化是否 成功，并且作为确定结果，生成关于包括在面部图^f象中的面部的属 性信息块。在该实施例中，当确定标准化后的面部图 <象的标准化不成功 时，属性信息生成装置可以停止生成另外的关于包括在面部图像中 的面部的属性信息块。因此，该实施例具有以下效果当确定标准 化后的面部图^f象的标准化不成功时，停止生成另外的关于包括在面 部图 <象中的面部的属性信息块。在该实施例中，该i殳备还可以包括用于4全测包括在所4企测面部 中的至少 一个特4正的面部特4i;险测装置。标准化装置可以基于所枱r 测特征的位置来对所才企测面部的面部图像进行标准化。因此，该实置对所4企测面部的面部图〗象进行标准化的效果。在该实施例中，面部特征纟企测装置可以包括用于4企测所4企测面 部的两只眼睛的眼睛4企测装置。标准4匕装置可以基于所4企测眼睛的 位置对所检测面部的面部图像进行标准化。因此，该实施例具有检 测所检测面部的眼睛并基于所;险测眼睛的位置对所;险测面部的面 部图4象进行标准化的效果。在该实施例中，标准化装置可以基于所4全测特征的位置来对所 检测面部的面部图像执行仿射变换。因此，该实施例具有基于在面 部中所检测特征的位置来对所检测面部的面部图像执行仿射变换 的岁丈果。在该实施例中，优选地，通过属性信息生成装置生成的多个属 性信息块包括关于面部的两只眼睛的位置、眼睛的峥开/闭合状态、 面部表情、性别、世代、种族、面部摄影条件和面部朝向的至少两个信息块。因此，该实施例具有以下效果生成属性信息块来作为 关于面部的两只眼睛、眼睛的净开/闭合状态、面部表情、性别、世 代、种族、面部摄影条件和面部朝向的至少两个信息块。根据本发明的第二实施例，图像显示设备包括以下元件。评价 信息存储装置存储用来确定被作为确定对象的图像是否为目标图 像的多个评价信息组。图像输入装置输入图像。面部检测装置检测 包括在所IIT入图^f象中的面部。显示装置显示作为包括所;险测面部的 图像片段的面部图像。标准化装置对面部图像进行标准化以使面部 图寸象具有预定分辨率。特征提取装置提取标准化后的面部图像的特 征量。属性信息生成装置基于所提取的特征量和存储在评价信息存 储装置中的每个评价信息组，确定关于面部图像是否为与评价信息 组相关联的目标图像，并且作为确定结果，生成关于包括在面部图 像中的面部的属性信息块。显示控制装置基于所生成的属性信息块 来控制面部图^象在显示装置上的显示。因此，该实施例具有以下效 果对包括在输入图像中检测到的面部的图像片段(面部图像)进 行标准化，基于标准化后的面部图像的特征量和每个评价信息组来 确定该面部图^f象是否为目标图1象，作为确定结果生成关于面部的属 性信息块，并且基于属性信息块来控制面部图像的显示。根据本发明的第三实施例，成像设备包括以下元件。评价信息 存4诸装置存储用来确定^皮作为确定对象的图〗象是否为目标图<象的 多个评价信息组。图像输入装置输入通过拍摄对象而获得的图像。 面部检测装置检测包括在所输入图像中的面部。标准化装置对作为 包括所检测面部的图像片段的面部图像进行标准化，以使面部图像 具有预定分辨率。特征4是取装置4是取标准化后的面部图 <象的特征量。属性信息生成装置基于所提取的特征量和存储在评价信息存储 装置中的每个评价信息组，确定面部图像是否为与评价信息组相关 联的目标图像，并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。因此，该实施例具有以下作用对包括在输入图 像中检测到的面部的图像片段(面部图像)进行标准化，基于标准 化后的面部图像的特征量和每个评1"介信息组来确定该面部图像是 否为目标图像，并且作为确定结果，生成关于面部的属性信息块。根据本发明的第四实施例，提供了 一种关于图像处理设备的图 l象处理的方法，该图4象处理i殳备包括用于存储用来确定^皮作为确定 对象的图像是否为目标图像的多个评价信息组的评价信息存储装 置。该方法包括以下步骤输入图像；检测包括在所输入图像中的 面部；乂t4乍为包4舌所;险测面部的面部片,殳的面部图{象进4亍才示准4匕， 以-使面部图4象具有预定分辨率；提取才示准4匕后的面部图 <象的4争4i 量；基于所提取的特征量和存储在评价信息存储装置中的每个评价 信息组，确定该面部图像是否为与评价信息组相关联的目标图像， 并且作为确定结果，生成关于包括在面部图像中的面部的属性信息 块。根据本发明的第五实施例，提供了 一种使计算机执行关于图像 处理设备的图像处理的方法的程序，该图像处理设备包括用于存储 用来确定被作为确定对象的图像是否为目标图像的多个评价信息 组的评价信息存储装置。该方法包括以下步骤输入图像；检测包 括在所输入图4象中的面部；对作为包括所4企测面部的面部片卓殳的面 部图像进行标准化以使面部图像具有预定分辨率；提取标准化后的 面部图像的特征量；基于所提取的特征量和存储在评价信息存储装 置中的每个评价信息组，确定该面部图像是否为与评价信息组相关 联的目标图^f象；以及作为确定结果，生成关于包括在面部图^f象中的 面部的属性信息块。点在于，可以有效地生成关于包括在图傳_ 中的面部的多个属性信息块。


图1是根据本发明实施例的图像处理器100的功能结构的框图；图2A和图2B是示出了面部图4象的才示准^1实例的示图；图3是示出了关于对标准化后的面部图像执行的各种确定的多 个确定辞典的示图；图4是示出了通过标准化单元140标准化的面部图^f象的示图；图5A~图5C是示意性示出了由图像400生成的标准化后的面 部图4象的專争变(transition)的示图，这些面部图^f象经过关于标准4b 是否成功的确定；图6A示出标准ib后的面部图^象420和示出了关于标准4匕后的 面部图^象420的确定结果的一组属性信息块450;图6B示出标准化后的面部图像440和示出了关于标准化后的 面部图像440的确定结果的一组属性信息块460;图7是示出了存储在属性信息存储单元240中的属性信息组 500的示图；图8是通过图^f象处理器100生成标准化后的面部图像的处理的 流程图；阅o _S ;牵圓雄Al、域聚i"n >t " j￡丰品血a<6居，tvi片自，aI、域 流程图；以及图10是在图9的步骤S930中所执行的处理的流程图。
具体实施方式
以下，将参考附图描述本发明的实施例。图1是才艮据本发明实施例的图像处理器100的功能结构的框 图。图像处理器100包括图像输入单元110、面部检测单元120、 眼睛4企测单元130、标准化单元140、标准化^莫板保持单元145、操 作接收单元150、特征提取单元160、图像确定单元170、显示控制 单元180、显示单元l卯、面部图4象存4诸单元210、标准化图^f象存^f诸 单元220、辞典存4诸单元230、工作存+者器231和属性信息存储单 元240。图^象处理器100可以通过能够对通过例如凄t码才聂〗象才几或凄t 码相机拍摄的图像执行各种图像处理的个人计算机来实现。图像输入单元110输入或接收通过数码摄4象机或数码相机拍才聂 的图像(诸如运动图像或静止图像)，并将输入图像输出至面部检 测单元120。面部检测单元120 4佥测包括在从图像输入单元110提供的输入 图像中的面部，并将面部图像(作为包括输入图像中的所检测面部 的图像片段)输出至眼睛检测单元130、标准化单元140和面部图 像存储单元210。当从图像输入单元110提供的输入图像包括多个 面部时，面部才企测单元12(H企测这些面部。例如，当图^f象400如图 5A所示包4舌两个人401和402的面部403和404时，冲企测面部403 和404。将包^"所才全测面部403和404的面部图4象410和430输出 至眼睛检测单元130、标准化单元140和面部图像存储单元210。目艮睛4企测单元130检测包括在乂人面部检测单元120 出的面部 图像中的两只眼睛，并将关于在面部图像中的所检测眼睛的位置信 息输出至标准化单元140。例如，在包括在图5B所示的面部图像 410中的面部403中4企测到由虚线十字411和412表示的眼睛位置。标准化单元140基于关于面部图像中的两只眼睛的位置的信 息，对从面部4企测单元120输出的面部图像标准化，上述信息从眼 睛才企测单元130输出。标准化才莫^反保持单元145保持在通过标准化 单元140进行标准化时所使用的标准化模板。如图2A所示，例如， 标准化^莫^反可以包4舌面部图 <象中的两只眼睛的位置用作参考组的 模板。标准化单元140改变从面部才企测单元120输出的面部图像的 分辨率并使面部图像旋转，以使通过眼睛冲佥测单元13(M企测到的眼 睛的位置与通过标准化模板保持单元145保持的标准化模板中的参 考眼睛位置相匹配，乂人而对面部图〗象进^f亍标准4匕。将准化后的面部 图像被输出至标准化图像存储单元220并被存储在单元220中。随 后，将参考图2A和图2B来描述面部图像的标准化和标准化模板。操作接收单元150包括各种操作键。当通过那些键中的任意键 接收操作输入时，操作接收单元150将表示接收到的操作输入的信 息输出至图像确定单元170和显示控制单元180。例如，操作接收 单元150包括关于生成有关面部的属性信息的指令的属性信息生成 4建和关于在显示单元190上显示存々者在面部图^f象存々者单元210中的 面部图像的指令的面部图像显示键。可以将操作接收单元150结合 到显示单元190中以实J见触4莫面4反。特征提取单元160提取各个部分的亮度来作为标准化面部图像 的特征的量(下文中为特征量)并将所提取的亮度输出至图像确定 单元170,该标准4匕面部图4象已净皮标准4b单元140标准4匕并^皮存々者 在标准化图像存储单元220中。工作存々者器231存+者在辞典存4诸单元230中所存^f渚的用于确定 的辞典(下文中为确定辞典)中的一个并将所存储的确定辞典的内 容输出至图像确定单元170。以下将参考图3描述存储在辞典存储 单元230中的确定辞典。图4象确定单元170使用通过特征提取单元160提取的亮度和存 储在工作存储器231中的一个确定辞典，确定已萍皮标准化单元140 标准化并被存储在标准化图像存储单元220中的标准化面部图像。 图像确定单元170将作为关于面部的属性信息的确定结果输出至属 性信息存储单元240。将参考图6A ~图7来详细描述基于通过图像 确定单元170得到的确定结果生成的关于面部的属性信息。当操作接收单元150接收表示在显示单元190上显示面部图像 的指令的操作输入时，显示控制单元180使用存储在属性信息存储 单元240中的属性信息块来控制显示单元190以显示存4诸在面部图 <象存<诸单元210中的面部图^f象。在显示控制单元180控制下，显示单元190显示存^f诸在面部图 l象存^f渚单元210中的面部图4象。面部图像存储单元210存储从面部检测单元120输出的面部图 像并将所存储的面部图^f象输出至显示控制单元180。标准化图像存储单元220存储从标准化单元140输出的标准化 面部图像并将所存储的标准化面部图像输出至特征提取单元160。辞典存储单元230存储用于对存储在标准化图像存储单元220 中的任意标准化面部图^象进^f亍确定的多个确定辞典，该确定由图傳-确定单元170执行。将所存储的确定辞典顺序输出至工作存储器 231。以下一寻参考图3来描述确定辞典。属性信息存储单元240存储关于面部的属性信息，该信息由图 像确定单元170生成。属性信息存^f诸单元240将所存^f诸的关于面部 的属性信息块^^出至显示控制单元180。以下，参考图6A~图7来 详细描述关于面部的属性信息块。图2A和图2B是示出了面部图^f象的标准4匕实例的示图。图2A 示出了用于对面部图像进行标准化的标准化模板141。图2B示出 了包括通过面部4企测单元12(H企测到的面部251的面部图^象250的 转变。标准化模板141由标准化模板保持单元145保持并用于通过 标准化单元140进行标准化。在标准化才莫板141中，定义了作为用 于标准化的参考组的参考^f立置142和143。以下描述涉及改变面部 图 <象的分辨率并-走转面部图j象以 -使在面部图 <象中的通过眼睛斗企测 单元130检测到的两只眼睛的位置与标准化才莫^反141中的参考位置 142和143相匹配的情况。包4舌通过面部检测单元120 ^r测到的面部251的面部图^f象250 是输入至图像输入单元110的图像的图像片段。通过眼睛检测单元 130检测在面部图像250中的两只眼睛的位置(下文中为眼睛位置 252和253)。在本发明的该实施例中，假设每只眼睛的中心被设定 为眼睛位置。在如上所述冲企测到面部图^f象250中的眼睛位置252和 253的情况下，通过例如仿射变换来变换眼睛位置252和253,以 -使眼睛位置252和253与图2A中所示的参考位置142和143相匹 配。例如，如图2B所示，当改变面部图4象250的分辨率并S走转面 部图像250时，对面部图像250进行标准化以生成标准化面部图像 260。在标准化面部图《象260中，目艮睛位置262和263与图2A所示 的标准化才莫板141中的各个参考位置142和143相匹配。在本发明 的该实施例中，布i设面部图像的分辨率^皮变为48x48像素，从而生 成了标准化面部图寸象。关于参考位置，可以使用除面部的眼睛之外的另外的特征的位 置。例如，可以4企测面部的鼻子，并且可以基于鼻子的4立置来乂于面部图4象进4亍标准化。面部特;f正的位置可以用作参考位置。例如，可 以^使用眼睛的位置和鼻子的4立置。图3示出了关于将对标准化面部图像执行的各个确定的多个确 定辞典。那些确定辞典用作关于将对存储在标准化图像存储单元220中的标准化面部图像执行的各个确定的评价信息组，这些确定 是通过图^f象确定单元170扭j亍的。确定辞典#1存々者在辞典存+者单元 230中。在本发明的该实施例中，假:没确定辞典包括标准化确定辞 典310、性别确定辞典320、世代(成人/子女)确定辞典330和面 部表情(笑/不笑)确定辞典340。每个确定辞典存储数据元的t个组合。每个组合的数据元表示 在标准化图像中的两个位置pix-l (x, y)和pix-2 (x, y)、在位置pix-l (x， y)处和在位置pix-2 (x, y)处的亮度之差的阈值e、以及基于阈值e 与在位置pix-l (x， y)处和在位置pix-2 (x, y)处的亮度之差的比较结 果加上或减去的权重a。使用通过诸如AdaBoost的冲几器学习算法获 得的数据元的最有效上面的100个组合来i殳定各个数据元的那些 <直。由于各个确定舌辛典具有与以上所述的结构相同的结构，所以可 以根据相同的算法来执行多个确定。参考图3，在各个辞典中的数 据元"pix-l (x, y)" 、 "pix-2 (x, y)" 、 "e"和"a，，用不同的符号表示。 例如，在标准化确定辞典310中，数据元"pix-l (x， y)"被表示为 "pix-标准化-l (x，y)"，数据元"pix-2 (x, y)"被表示为"pix-标准 化-2(x,y)",数据元"e，，被表示为"标准化e，，，以及数据元"a" 净皮表示为"标准化a"。现在，将参考图4来详细描述标准化面部图<象经过4吏用确定辞 典来进行确定的情况。图4示出了作为通过标准化单元140标准化的面部图<象的实例 的标准化面部图像350。在该实例中，々i设原点被限定在图4中的 标准化面部图像350的左上角，横轴被i殳定为x轴，纵轴4皮i殳定为 y轴，以及标准化面部图350经过利用标准化确定辞典310 (参见 图3)进行的确定。在标准化面部图^f象350中，例如，位置351#皮 i殳定为与存々者在标准化确定辞典310的第一行中的凄t据元"pix-标 准化-l(x，y)"的值相对应的位置。位置352被设定为与存储在标准 化确定辞典310的第一4亍中的数据元"pix-标准化-2 (x, y)"的值相 对应的位置。位置353被设定为与存储在标准化确定辞典310的第 二行中的凄t据元"pix-标准化-l (x,y)"的值相对应的位置。位置354 被设定为与存储在标准化确定辞典310的第二行中的数据元"pix-标准化-2(x,y)"的值相对应的位置。位置355祐:设定为与存储在标 准化确定辞典310的第三行中的数据元"pix-标准化-l (x, y)"的值 相对应的位置。位置356被设定为与存储在标准化确定辞典310的 第三行中的数据元"pix-标准化-2 (x, y)"的值相对应的位置。首先，零被设定为用于确定的分数S的值，并且使用存储在标 准化确定辞典310的第一行中的凄t据元的各个值来执4于计算。具体 地，才是取在与存々者在标准化确定辞典310的第一4亍中的数据元"pix-标准化-1 (x, y)"的值相对应的位置351的亮度A(l)和在与存储在标 准化确定辞典310的第一4亍中的ft据元"pix-标准化-2 (x， y)"的值 相对应的位置352的亮度B(l)。使用以下表达式来计算所提取的亮 度之间的差C(l)。C(1)=A(1)-B(1)随后，将计算出的亮度之间的差C(l)与表示存4诸在标准化确定辞典310的第一行中的阈值的数据元"标准化e"的值进行比较。 即，确定差c(i)的值是否小于阈值"标准化e"的值。当差c(i)小 于阈值"标准化e"时，将表示存储在标准化确定辞典310的第一行中的权重的数据元"标准化ot"的值加上到分数S中。另一方面，当差c(i)不小于阈值"标准化e"时，乂人分凄t s中减去标准化确定辞典310的第一^f亍中的^又重"标准化a'，。在此之后，使用存储在标准化确定辞典310的第二行中的数据 元的各个值来重复上述计算。具体地，提取在与存储在标准化确定 辞典310的第二行中的数据元"pix-标准化-l (x， y)"的值相对应的 位置353的亮度A(2)和在与存储在标准化确定辞典310的第二行中 的数据元"pix-标准化-2 (x， y)"的值相对应的位置354的亮度B(2)。 使用以下表达式来计算所提取的亮度之间的差C(2)。C(2)=A(2)-B(2)随后，将计算出的亮度之间的差C(2)与表示存储在标准化确定辞典310的第二行中的阈值"标准化e"的值进行比较。即，确定 计算出的差C(2)的值是否小于阈值"标准化e"。当差C(2)小于阈值"标准化e"时，将存储在标准化确定辞典310的第二行中的权重"标准化a"加上到分数S中。另一方面，当差C(2)不小于阈值"标准化e"时，从分数s中减去标准化确定辞典310的第二行中的权重"标准化a"。在此之后，4吏用在标准^f匕确定辞典310的第三~第t^f于中的每 一行中的数据元的各个值来重复上述计算。换句话说，为了使用标准化确定辞典310来对标准化面部图像 350进行确定，使用存储在标准化确定辞典310的第——第t行中 的每一行中的数据元的各个值，用以下表达式(1)来计算差C(i)。 确定计算出的差C(i)是否满足以下表达式(2)。在这种情况下，变 量i是范围1 ~1的整数。C(i)=A(i)-B(i)......(1)c(i)〈e(i) ……(2)当计算出的差C(i)满足表达式(2)时，将权重a(i)加上到分数 S中。当计算出的差C(i)不满足表达式(2)时，从分数S中减去权 重a(i)。在这种情况下，假设A(i)为与存储在第i行的数据元"pix-标准化-l(x，y)"相对应的亮度，假设B(i)为与存储在第i行中数据 元"pix-标准化-2 (x, y)"相对应的亮度，假设e(i)为存储在第i行的 阈值"标准化e，，，以及假设a(i)为存储在第i行中的权重"标准化a"。在4吏用存4诸在标准化确定辞典310的第t 4亍中的凄t据元的各个 值进行计算之后，确定分数S是否大于0。例如，，i定才艮据上述的才几器学习算法，在成功的标准化确定时 获得的学习样值(sample)纟皮i人为是正^f直，而在不成功的标准化确 定时获得的学习样值被认为是负值。在完成了使用存储在标准化确 定辞典310的第一至~t 4亍中的凄t据元的各个值进4亍的计算之后， 当分数S大于0时，将经过确定的标准化面部图像确定为目标图像。 换句话说，在利用标准化确定辞典310进行确定的情况下，将经过 确定的标准化面部图像确定为成功标准化的图像。这同样应用于其 他的标准化辞典。例如，在利用性别确定辞典320进行确定时，假 定在将面部成功地确定为男性面部的确定时获得的学习样值;陂认 为是正值，当分数S大于O时，将包括在经过确定的标准化面部图 像中的面部确定为男性面部。此外，在利用世代确定辞典330进行 确定时，，"殳在将面部成功i也确定为成人面部的确定时获得的学习 样值被认为是正值，当分数S大于0时，将包括在经过确定的标准 4匕面部图<象中的面部确定为成人面部。另外，在利用面部表情确定 辞典340进行确定时，假定在将面部的表情成功地确定为笑表情的确定时获得的学习样值净皮认为是正值，当分凄ts大于o时，包括在 经过确定的标准4匕面部图 <象中的面部#皮确定为笑面部。另一方面，假定根据上述的机器学习算法，在成功确定时获得 的学习样值被认为是正值以及在不成功确定时获得的学习样值被 认为是负值，当在完成了使用存储在确定辞典的第一 第t行中的数据元的各个值进行的计算之后分数S大于0时，将被作为确定对象的标准化面部图j象确定为非目标图^f象。例如，在4吏用标准化确定辞典310进4亍确定时，4叚定成功标准化确定的学习冲羊值^皮认为是正 值，当分凄史S小于0时，将经过确定的标准化面部图^f象确定为不成 功标准化的图像。另夕卜，在使用性别确定辞典320进行确定时，假 定成功男性确定的学习样值^^人为是正值，当分凄tS小于O时，包 括在经过确定的标准化面部图像中的面部^皮确定为女性面部。在使 用世代确定辞典330进行确定时，假定成功成人确定的学习样值被 认为是正值，当分数S小于0时，将包括在经过确定的标准化面部 图像中的面部确定为子女面部。在使用面部表情确定辞典340进行 确定时，布I定成功笑确定的学习样值一皮认为是正值，当分数S小于 0时，包括在经过确定的标准化面部图像中的面部被认为是不笑面 部。在本发明的该实施例中，对在^f吏用任一确定辞典进4亍确定时将 分数S与0进行比较的情况进行说明。可以将除0之外的值用于进 行确定。换句话说，可以适当地调整将要与分数S进行比较的值。在这种情况下，在完成了使用存储在确定辞典的第一 第t行 中的每一行中的数据元的各个值进行的计算之后获得的分数S可以#皮表示为以下等式。 t<formula>formula see original document page 26</formula>上述等式表示当x>0时等于1而当x^O时等于-1的函凄ts(x)。如上所述，经过确定的标准化图像的分辨率被设定为同一值， 以及用于确定的特4i量一皮统一为在标准化图 <象的两个点处的亮度 之差。因此，可以将确定辞典中的任一个转换为另一个。可以才艮据 同一算法生成多个属性信息块。图5A~图5C是示意性地示出了由图像400生成的标准化面部 图像的转变的示图，这些图像经过了关于标准化是否成功的确定。 假定图像400是通过例如数码相机拍摄的静止图像并包括两个人 401和402。图5A示出了包括人物401和402的图像400。参考图5A,包 ^括在图^f象400中的人物401和402的面部403和404分别由正方形 框围住。由各个框围住的图像片段用作面部图像410和430。假定 人401和402都是成年男性并且他们在笑。图5B示出了/人图^象400中^是取的面部图^象410和430。参考 图5B，在面部图^f象410中检测到的眼睛的位置分别由虚线十字411 和412标示。，I定已正确4企测到面部图像410中的眼睛位置(由虚 线十字411和412标示)。此外，假定眼镜部分被错误地检测为面 部图<象430中的眼睛并JU殳有4吏用虚线十字431和432正确;也标出 眼睛的位置。图5C示出了通过对图5B示出的面部410和430进行标准化而 获得的标准化面部图l象420和440。在图5C中，虚线十字421和 422标示与在图5B中的面部图像410中才企测到的眼睛4立置相只于应 的各个位置，以及虚线十字441和442表示与在面部图像430中枱， 测到的眼睛位置相对应的各个位置。参考图5C，由于正确地才全测 出面部图〗象410中的眼睛^f立置(由图5B中的虚线十字411和412标示)，所以面部图 <象410 #:成功地标准化。然而，因为才企测到不正确的眼睛位置(由图5B中的虚线十字431和432标示)，所以面 部图像430未^皮成功地标准化。如上所述，当正确地4企测到面部图 〃像中的两只眼睛时，面部图^f象的成功标准4匕的可能性高。然而，当 错误检测到面部图像中的两只眼睛时，面部图像的不成功标准化的 可能性高。当4吏用标准4匕确定辞典310来确定图5C中的标准4匕面部图4象 420和440中的每一个的标准化是否成功时，将标准化面部图^象420 确定为成功标准化，以及将另 一个标准化面部图4象440确定为不成 功标准化。对于确定为不成功标准化的标准化面部图^f象，可以中止 其他确定，并且可以终止关于相关面部的另外的属性信息块的生 成。图6A和图6B示出了关于图5C中的标准化面部图像420和440 的属性信息组450和460，属性信息组450和460包括使用标准化 确定辞典310、性别确定辞典320、世代确定辞典330、和面部表示 确定辞典340对各个面部图<象进4于确定的结果。属性信息组450和 460中的每一个均包"fe作为关于面部的属性信息块的确定结果(确 定类型为"标准化"、"性别"、"世代(成人/子女)"和"面部表情 (笑/不笑)")。对于关于"标准化"的确定，存^f诸了表示"OK"或"NG"的 属性信息块。如图6A所示，例如，由于标准化面部图像420的标 准化成功，所以将属性信息块"OK"存^f诸作为〗吏用标准化确定辞 典310进4亍标准4b确定的结果。然而，如图6B所示，由于标准4匕 面部图像440的标准化不成功，所以将属性信息块"NG"存储作 为4吏用标准化确定辞典310进4亍标准化确定的结果。对于关于"性别"的确定，存储了表示"男"或"女"的属性信息块。如图6A所示，例如，由于标准化面部图像420的标准化 成功，所以将属性信息块"男"存储作为使用性别确定辞典320进 行性别确定的结果。另一方面，由于标准化面部图^f象440的标准化 不成功，所以尽管对应于标准化面部图像440的人是男人，仍将属 性信息块"女，，存储作为使用性别确定辞典320进行性别确定的结 果。对于关于"世代(成人/子女)"的确定，存储了表示"成人" 或"子女"的属性信息块。如图6A所示，例如，由于标准化面部 图像420的标准化成功，所以将属性信息块"成人"存储作为使用 世代确定辞典330进行世代确定的结果。另一方面，如图6B所示， 虽然标准化面部图像440的标准化不成功，但是属性信息块"成人" 净皮存储作为使用世代确定辞典330进行世代确定的结果。对于关于"面部表示(笑/不笑)"的确定，存储了表示"笑" 或"不笑"的属性信息块。例如，如图6A所示，由于标准化面部 图像420的标准化成功，所以将属性信息块"笑，，存储作为使用面 部表情确定辞典340进4亍面部表情确定的结果。另一方面，由于标 准化面部图像440的标准化不成功，所以尽管对应于标准化面部图 像440的人物是笑的，但是仍将属性信息块"不笑"存储作为使用 面部表情确定辞典340进4于面部表情确定的结果。如上所述，确定的津奮确性在成功的标准化中高。然而，在许多 情况下，确定的^"确性在不成功的标准化中^f氐。因此，可以如下佳: 用基于确定结果而生成的属性信息当面部图像具有包括例如表示 作为标准化确定的结果的"OK"的属性信息的属性信息组时，将 属性信息组用于各种应用中，相反，当面部图像具有包括表示作为 标准化确定的结果的"NG"的属性信息的属性信息组时，不将属 性信息组用于各种应用中。另外，可以存储基于确定计算出的分数s的值，并且可以才艮据分数s改变属性信息组的使用。此外，可以与确定为不成功标准化的面部图〗象的标准化图^f象相对应的面部图 像相关联地来存储表示低可靠性的标记。图7是示出了存储在属性信息存储单元240中的属性信息组 500的示图。如图6A和图6B所示，基于对每个标准化面部图像进 行确定的结果来生成多个属性信息块。这些属性信息块与各个面部 图像相关地存储在属性信息存储单元240中。例如，用于识别面部 图像的面部识别(ID)号"001" ~ "005"被分配给各个面部图像。 这些面部ID号和各个属性信息块被存储作为属性信息组500，以使 每个面部ID号与关于对应的面部图像的属性信息块相关联。例如， 々I定面部ID号"001" #:分配*会与图5C和图6A所示的标准4b面 部图<象420相对应的面部图^象410，以及面部ID号"002";故分配 给与图5C和6B所示的标准化面部图像440相对应的面部图像430 。 在这种情况下，将包4舌在图6A所示的属性信息组450中的相同确 定结果存储在面部ID号"001"下面的各列中。另夕卜，将包括在图 6B所示的属性信息组460中的相同确定结果存储在面部ID号"002" 下面的各列中。可以使用包括在属性信息组500中的信息块来执行 各种应用。例如，当操作接收单元150接收给出将一列女性面部图像显示 在显示单元l卯上的指令的操作输入时，在显示控制单元180的控 制下，使用关于"性别"的属性信息块(即，表示被作为属性信息 组500存储的属性信息块之中的"男"或"女，，)从存储在面部图 像存储单元210中的面部图像中^U是取出女性面部图〗象，从而可以 将一列女性面部图〗象显示在显示单元190上。例如，提取与面部ID 号"002"、 "003"和"004"相对应的面部图^f象并显示在显示单元 190上。然而，包括在与面部ID号"002"相对应的面部图像430中的面部404是如图5A和5B所示的男性面部。在这种情况下，显 示在显示单元190上的这列女性面部图像包括男性面部。因此，在属性信息组500中，表示"标准化NG，，的属性信 息块没有被使用，这是因为它是不可靠的。仅可以使用表示"标准 化OK"的属性信息块。例如，当操作接收单元150接收给出将一列女性面部图像显示 在显示单元190上的指令的操作输入时，使用表示与面部ID号"001"、 "003"、 "004"和"005"相关联的"标准化:OK "的属 性信息块从存储在面部图像存储单元210中的面部图像中仅提取出 女性面部图^f象，而不^f吏用表示与属性4言息《且500中的面部ID号"002"相关联的"标准化NG"的属性信息块。这列女性面部图 <象#1显示在显示单元190上。因此，可以防止在显示单元190上显 示的这列女性面部图4象包括男性面部。此外，可以将在确定时计算 出的分数S的值存储作为在属性信息组500中的关于"标准化"的 属性信息块。可以根据分数S来改变每个图像的使用。将参考图8~图10来描述根据本发明的该实施例的图像处理 器100的才喿作。图8是通过图^象处理器100生成标准化面部图〗象的处理的流程图。首先，输入图像(步骤S911)。随后，4企测包括在所输入图像 中的面部并将包括所检测面部的面部图像存储到面部图像存储单 元210中(步骤S912)。检测包括在所检测面部中的眼睛(步骤 S913 )。基于所检测眼睛的位置对面部图像进行标准化(步骤S914 )。 例如，如图2B所示，通过对面部图像250进行标准化来生成标准31化面部图像260。此后，将所生成的标准化面部图像存储到标准化 图像存储单元220中(步骤S915)。图9是通过图像处理器IOO生成关于面部的属性信息的处理的 流程图。以下描述涉及当操作接收单元150接收与生成关于面部的 属性信息的指令相对应的操作输入时进行确定的情况。另外，以下 描述涉及所有的确定辞典都用于生成多个属性信息块的情况。响应 于通过才喿作4妄收单元150 4妄收到的纟喿作输入，可以生成单独的属性 信息块。首先，确定是否给出关于生成关于面部的属性信息的指令(步 骤S921)。当没有给出生成关于面部的属性信息的任何指令时(步 骤S921中的否)，终止生成关于面部的属性信息的处理。然而，当 给出了生成关于面部的属性信息的指令时(步骤S921中的是)，从 标准化图像存储单元220中读取所存储的标准化面部图像(步骤 S922)。随后，从所读取的标准化面部图像中提取亮度(步骤S923)。 此后，将还没;波用于进4亍确定的确定辞典乂人存4诸了多个确定辞典的 辞典存储单元230载入到工作存储器231中(步骤S924 )。例如， /人图3所示的各个确定辞典中载入标准化确定辞典310。随后，4吏 用所载入的确定辞典来进4亍确定(步骤S930)。之后将参考图10 来详细描述确定。将确定结果作为关于经过确定的面部的属性信息存储到属性 信息存储单元240中(步骤S925)。随后，确定存储在辞典存4诸单 元230中的确定辞典中的任何一个是否还没被用于确定(步骤 S926)。当存在未使用的确定辞典(步骤S926中的是)时，处理返 回至步骤S924,并且重复处理步骤(即，步骤S924 ~ S926和S930 ) 以生成关于同一面部的属性信息。然而，当不存在未4吏用的确定辞 典(步骤S926中的否)时，终止生成关于面部的属性信息的处理。图10是在通过图〗象处理器100生成关于面部的属性信息的处 理中进行确定(图9中的步骤S930)的处理的流程图。将相对于标 准化面部图像是否为目标图像的确定来描述对本发明的该实施例。首先，将分凄tS初始化为"0"(步骤S931)。将变量i初始化 为"1"(步骤S932)。随后，从在步骤S923 (参考图9)中从标准 化面部图像中提取的亮度中选出与在步骤S924 (参考图9))中载 入工作存储器231的确定辞典的第i行中的位置pix-l (x， y)和pix-2 (x,y)相对应的亮度(步骤S933)。此后，使用表达式(l),利用所 选出的两个亮度来计算差C(i)(步骤S934)。随后，确定计算出的两个亮度之间的差c(i)是否小于阈值e(i)(步骤S935)。当差C(i)小于阈值e(i)时(在步骤S935中的是)，将 权重a(i)加上到分数S中(步骤S936)。相反，当差C(i)不小于阈值 e(i)时(在步骤S935中的否)，从分数S中减去权重a(i)(步骤S937 )。此后，将值"1"加上到变量i中(步骤S938)。确定变量i是 否大于上限t (步骤S939)。当变量i不大于上限t时(在步骤S939 中的否)，意味着使用在步骤S923 (参考图9)中载入的确定辞典 的每一行中的值进行的确定没有完成。因此，处理返回至步骤S933 并且使用相同的确定辞典来重复步骤S933 S939。然而，当变量i 大于上限t时(在步骤S939中的是)，意味着使用在步骤S923 (参 考图9)中载入确定辞典的每一行中的值进行的确定完成。因此， 处理前进至步骤S940。确定分数S是否大于0 (步骤S940 )。当分数S大于0时(在步骤S940中的是)，将经过确定的标准 化面部图像确定为目标图像(步骤S941)。相反，当分数S不大于 0时(在步骤S940中的否)，将经过确定的标准化面部图^f象确定为 非目标图4象(步骤S942)。此后，处理返回至图9中的步驶《S930。如上所述，才艮据本发明的该实施例，存J诸在辞典存+者单元230 中的各个确定辞典具有相同的结构，标准z化单元140对经过确定的 面部图像进行标准化，以使标准化面部图像具有预定分辨率，并且 用于确定的特征量4皮标准化为在标准化图像的两个点处的亮度之 间的差。因此，可以将确定辞典中的任一个切换到另一个，并且可 以根据相同的算法生成多个属性信息块。有利地，由于在图像确定 单元17(H夸确定辞典中的4壬一个切:換到另一个的同时，可以生成关 于所冲企测面部的多个属性信息块，所以可以简化i殳备，乂人而减少了 用于生成属性信息块的计算时间。换句话i兌，可以有效生成关于包 括在图像中的面部的属性信息块。此外，可以显著降低设备的成本。另外， -使用存々者在辞典存卞者单元230中的标准化确定辞典310 来确定标准化面部图^f象的标准化是否成功，并且可以与生成另 一个 属性信息块类似的方式，将确定的结果作为关于面部图像的属性信 息块存储到属性信息存储单元240中。因此，例如，当存储在面部 图像存储单元210中的面部图像显示在显示单元190时，可以仅基 于表示"标准化OK"的属性信息块来显示面部图像而无需使用 表示"标准化NG"的属性信息块，这是因为属性信息块"标准 化NG"是不可靠的。因此，可以使用更高精确度的属性信息块 来显示面部图像。另夕卜，当对标准化面部图像的标准化进行确定的结果是"NG"时，可以停止生成关于标准化面部图像的另一个属 性信息块。有利地，可以快速生成高精确度的属性信息块。已相对于与面部有关地生成关于"标准化"、"性别"、"世代 (成人/子女)"和"面部表情(笑/不笑)"的属性信息块的情况描 述本发明的该实施例。可以将本发明的该实施例应用于生成关于面 部的另一个属性信息块的情况。例如，关于面部的其他属性信息块 可包括面部的两只眼睛的位置、眼睛的净开/闭合状态、面部表情、 种族性、面部纟聂影条件和面部朝向。已相对于存<渚在辞典存4诸单元230中的各个确定辞典^t用估文关于确定标准化面部图像是否为目标 图像的评价信息组的情况描述本发明的该实施例。可以使用另一个 评价信息组来确定关于标准化面部图像是否为目标图像。已相对于检测包括在图像中的人物的面部并生成关于所检测 面部的多个属性信息块的情况描述本发明的该实施例。可以将本发 明的该实施例应用于在图^f象中^r测除人的面部之外的另 一对象并 生成关于所;险测对象的多个属性信息块的情况。例如，除包括在图 像中的人的面部之外的其他对象可以包括宠物(例如，猫或狗)的 面部和动物(例如，马或牛)的面部。已相对于图像处理器描述本发明的该实施例。可以将本发明的 该实施例应用于图像显示设备(例如，便携式终端)和成像设备(例 如，数码相机)，它们都能够输入和显示诸如运动图像或静止图像 的图像。本发明的实施例是用于例示本发明的实例。虽然在权利要求的 特征和本发明实施例中的具体元件之间存在对应关系，但是如后所述，本发明并不限于实施例。本领域的技术人员应理解，可以根据 设计要求和其他因素进行各种修改、组合、子组合和改进，均应包 含在本发明的4又利要求或等同物的范围内。换句话说，例如，图像处理器IOO对应于根据本发明第一实施 例的图像处理设备。例如，图像处理器IOO也对应于根据本发明第 二实施例的图像显示设备。例如，图像处理器IOO还对应于根据本 发明第三实施例的成像设备。例如，辞典存储单元230对应于根据本发明的第——第五实施 例中的每一个的评价信息存储装置。例如，图像输入单元110对应 于根据本发明的第一 ~第五实施例中的每一个的图像输入装置。例如，面部4企测单元120对应于4艮据本发明的第——第五实施例中的 每一个的面部检测装置。例如，标准化单元140对应于根据本发明的第——第五实施例 中的每一个的标准化装置。例如，特征提取单元160对应于才艮据本发明的第——第五实施 例中的每一个的特征提取装置。例如，图像确定单元170对应于根据本发明的第——第五实施 例中的每一个的属性信息生成装置。例如，眼睛4企测单元130对应于根据本发明的第一实施例的面部特征4企测装置。例如，显示单元190对应于根据本发明第二实施例的显示装置。 例如，显示控制单元180对应于根据本发明第二实施例的显示控制装置。例如，步骤S911对应于^4居本发明的第四和第五实施例中的 每一个的图像输入步骤。例如，步骤S912对应于根据本发明的第 四和第五实施例中的每一个的标准化步骤。步骤S923对应于才艮据 本发明的第四和第五实施例中的每一个的特征提取步骤。步骤S930 对应于4艮据本发明的第四和第五实施例中的每一个的属性信息生 成步骤。在本发明之前的实施例中所述的处理步骤可以被当作包括那 些处理步骤的方法、 -使计算积j丸行那些处理步骤的程序或者存储该 程序的记录介质。
权利要求
1.一种图像处理设备，包括评价信息存储装置，用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组；图像输入装置，用于输入图像；面部检测装置，用于检测包括在所输入图像中的面部；标准化装置，用于对作为包括所检测面部的图像片段的面部图像进行标准化，以使所述面部图像具有预定分辨率；特征提取装置，用于提取标准化后的面部图像的特征量；以及属性信息生成装置，用于基于所提取的特征量和存储在所述评价信息存储装置中的每个评价信息组，确定所述面部图像是否为与所述评价信息组相关联的所述目标图像，并且作为确定结果，生成关于包括在所述面部图像中的所述面部的属性信息块。
2. 根据权利要求1所述的设备，其中，每一个所述评价信息组均包括在被作为确定对象的图像 中的位置和阈值的组合，以及所述属性信息生成装置基于与包括在每个评价信息组中 的所述位置相对应的所述标准化后的面部图^f象的特;f正量和与 所述位置相关联的所述阈值，确定所述面部图像是否为与所述 评价信息组相关联的所述目标图像。
3. 根据权利要求1所述的设备，其中，每一个所述评^f介信息组均包括在^皮作为确定对象的图傳_ 中的两个位置和阈值的组合，以及所述属性信息生成装置计算对应于与包括在每个评价信 息组中的所述组合相关联的所述两个位置的所述标准化后的 面部图像的特征量之间的差，将计算出的差和与所述组合相关 联的所述阈值进行比较，并且基于比较结果来确定所述面部图 像是否为与所述评价信息组相关联的所述目标图像。
4. 根据权利要求1所述的设备，其中，每 一 个所述评价信息组均包括每 一 个均包括被作为确定 对象的图像中的两个位置和阈值的多个组合，以及所述属性信息生成装置计算对应于与包括在每个评价信息组中的每个所述组合相关联的所述两个^f立置的所述标准4b 后的面部图像的特征量之间的差，将计算出的差和与所述组合 相关联的所述阈值进行比较，并且基于比较结果来确定所述面 部图像是否为与所述评价信息组相关联的所述目标图像。
5. 根据权利要求1所述的设备，其中，每一个所述评^介信息组均包括每一个均包括;故作为确定 只寸象的图<象中的两个4立置、阈4直和4又重的多个《且合；以及所述属性信息生成装置计算对应于与包括在每个评价信 息组中的每个所述组合相关联的两个位置的所述标准化后的 面部图像的特征量之间的差，将计算出的差和与所述组合相关 联的所述阈值进行比较，并且基于比较结果加上或减去所述权 重以获得与包括在所述评〗介信息组中的所述组合相关联的值 的和，并且基于所述和来确定所述面部图<象是否为与所述评^f介 信息组相关联的所述目标图像。
6. 根据权利要求1所述的设备，其中，所述特征提取装置提取亮 度作为所述标准化后的面部图 <象的特征量。
7. 根据权利要求1所述的设备，其中，存储在所述评价信息存储装置中的所述多个评价信息组 中的至少一个是用于确定所述标准化后的面部图<象的标准化 是否成功的一组标准^Rl确定〗言息，以及所述属性信息生成装置基于存储在所述评价信息存储装 置中的所述标准化确定信息组来确定所述标准化后的面部图 像的所述标准化是否成功，并且作为确定结果，生成关于包括 在所述面部图^f象中的所述面部的属性信息块。
8. 根据权利要求7所述的设备，其中，当确定所述标准化面部图 像的所述标准化不成功时，所述属性信息生成装置停止生成另 夕卜的关于包括在所述面部图像中的所述面部的属性信息块。
9. 根据权利要求1所述的设备，还包括面部特:;f正4企测装置，用于才企测包4舌在所述4全测面部中的 至少一个特征，其中，所述标准化装置基于所4企测特4正的位置来对所述4企测面 部的所述面部图像进行标准化。
10. 根据权利要求9所述的设备，其中，所述面部4争4￡4企测装置包4舌用于4企测所述4企测面部的两 只眼睛的目艮睛纟企测装置，以及所述标准化装置基于所4企测眼睛的位置对所述4企测面部 的所述面部图{象进4亍标准化。
11. 根据权利要求9所述的设备，其中，所述标准化装置基于所检 测特征的位置来对所述检测面部的所述面部图像执行仿射变 换。
12. 根据权利要求1所述的设备，其中，通过所述属性信息生成装 置生成的多个属性信息块包4舌关于所述面部的两只眼睛的位 置、眼睛的峥开/闭合状态、面部表情、性别、世代、种族、 面部纟聂影条件和面部朝向的至少两个信息块。
13. —种图像显示设备，包括评价信息存储装置，用于存储用来确定被作为确定对象 的图像是否为目标图像的多个评价信息组；图像输入装置，用于输入图像；面部检测装置，用于检测包括在所输入图像中的面部；显示装置，用于显示作为包括所检测面部的图像片段的 面部图l象；标准化装置，用于对所述面部图像进行标准化，以使所 述面部图^f象具有预定分辨率；特征提取装置，用于提取标准化后的面部图像的特征量；属性信息生成装置，用于基于所提取的特征量和存储在 所述评价信息存4诸装置中的每个评<介信息组，确定所述面部图 像是否为与所述评价信息组相关联的所述目标图像，并且作为 确定结果，生成关于包括在所述面部图像中的所述面部的属性 信息块；以及显示控制装置，用于基于所生成的属性信息块来控制所 述面部图^f象在所述显示装置上的显示。
14. 一种成^f象i殳备，包4舌评价信息存储装置，用于存储用来确定被作为确定对象 的图^象是否为目标图^f象的多个评4介信息组；图像输入装置，用于输入通过拍摄对象而获得的图像；面部4企测装置，用于^r测包括在所输入图像中的面部；标准化装置，用于对作为包括所检测面部的图像片段的 面部图像进行标准化，以4吏所述面部图4象具有预定分辨率；特征提取装置，用于提取标准化后的面部图像的特征量；属性信息生成装置，用于基于所提取的特征量和存储在 所述评价信息存+者装置中的每个评i介信息组，确定所述面部图 像是否为与所述评价信息组相关联的所述目标图像，并且作为 确定结果，生成关于包括在所述面部图像中的所述面部的属性 信息块。
15. —种关于图像处理设备的图像处理的方法，所述图像处理设备 包括用于存储用来确定净皮作为确定对象的图像是否为目标图 像的多个评价信息组的评价信息存储装置，所述方法包括以下 步骤输入图像；检测包括在所输入图像中的面部；对作为包括所4企测面部的面部片段的面部图像进行标准 化，以^使所述面部图1象具有预定分辨率；提取标准化后的面部图像的特征量；以及基于所提取的特征量和存储在所述评价信息存储装置中 的每个评价信息组，确定所述面部图像是否为与所述评价信息组相关联的所述目标图像，并且作为确定结果，生成关于包括 在所述面部图4象中的所述面部的属性信息块。
16. —种使计算机执行关于图像处理设备的图像处理的方法的程 序，所述图像处理设备包括用于存储用来确定被作为确定对象 的图像是否为目标图像的多个评价信息组的评价信息存储装 置，所述方法包4舌以下步骤输入图像；检测包括在所输入图像中的面部；对作为包括所才全测面部的面部片,殳的面部图像进行标准 化，以4吏所述面部图^f象具有预定分辨率；提取标准化后的面部图像的特征量；以及基于所提取的特征量和存储在所述评价信息存储装置中 的每个评^f介信息组，确定所述面部图j象是否为与所述评〗介信息组相关联的所述目标图像，并且作为确定结果，生成关于包括 在所述面部图{象中的所述面部的属性信息块。
17. —种图像处理设备，包括评《介信息存々者部，用于存^(诸用来确定^皮作为确定对象的 图像是否为目标图像的多个评价信息组；图傳4俞入部，用于输入图^f象；面部4企测部，用于4企测包括在所输入图像中的面部；标准4匕部，用于对作为包4舌所检测面部的图^f象片^殳的面 部图像进行标准化，以使所述面部图像具有预定分辨率；特征^是取部，用于提取标准化后的面部图像的特征量；以及属性信息生成部，用于基于所提取的特征量和存储在所 述评价信息存储部中的每个评价信息组，确定所述面部图像是 否为与所述评价信息组相关联的所述目标图像，并且作为确定 结果，生成关于包括在所述面部图像中的所述面部的属性信息 块。
18. —种图像显示设备，包括评价信息存4诸部，用于存々者用来确定^皮作为确定对象的 图像是否为目标图像的多个评价信息组；图傳_输入部，用于输入图4象；面部才佥测部，用于才佥测包括在所输入图 <象中的面部；显示部，用于显示作为包4舌所冲企测面部的图^f象片^殳的面 部图像；标准化部，用于对所述面部图〗象进行标准化，以使所述 面部图^f象具有预定分辨率；特征提取部，用于提取标准化后的面部图像的特征量；属性信息生成部，用于基于所提取的特征量和存储在所 述评价信息存储部中的每个评价信息组，确定所述面部图像是 否为与所述评价信息组相关联的所述目标图像，并且作为确定 结果，生成关于包括在所述面部图^象中的所述面部的属性信息 块；以及显示控制部，用于基于所生成的属性信息块来控制所述 面部图4象在所述显示部上的显示。
19. 一种成像设备，包括评价信息存^f诸部，用于存储用来确定4皮作为确定对象的 图像是否为目标图像的确定的多个评价信息组；图4象输入部，用于输入通过拍才聂对象而获得的图寸象；面部4企测部，用于检测包4舌在所llr入图 <象中的面部；标准化部，用于对作为包括所4企测面部的图〗象片^:的面 部图l象进行标准化，以4吏所述面部图^f象具有预定分辨率；特^正提取部，用于才是取标准化后的面部图^f象的特4正量；属性信息生成部，用于基于所提取的特征量和存储在所 述评价信息存储部中的每个评价信息组，确定所述面部图像是 否为与所述评价信息组相关联的所述目标图像，并且作为确定 结果，生成关于包括在所述面部图像中的所述面部的属性信息 块。
全文摘要
本发明提供了一种图像处理设备、图像显示设备、成像设备、其图像处理方法和程序，其中，图像处理设备包括以下元件。评价信息存储装置存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组。图像输入装置输入图像。面部检测装置检测包括在所输入图像中的面部。标准化装置对作为包括所检测面部的图像片段的面部图像进行标准化，以使面部图像具有预定分辨率。特征提取装置提取标准化后的面部图像的特征量。属性信息生成装置基于所提取的特征量和存储在评价信息存储装置中的每个评价信息组，确定面部图像是否为与评价信息组相关联的目标图像，并且作为确定结果，生成关于包括在面部图像中的面部的属性信息块。
文档编号G06K9/00GK101324954SQ20081010045
公开日2008年12月17日 申请日期2008年6月11日 优先权日2007年6月11日
发明者小川要 申请人:索尼株式会社