面部检测装置、成像设备、和面部检测方法

专利名称：面部检测装置、成像设备、和面部检测方法
技术领域：
本发明涉及一种被配置为检测输入图像中的人面部的面部抬r 测装置、包括面部检测装置功能的成像设备、以及面部4全测方法。
背景技术：
近些年，包括数字照相机和数字摄像机的数字成像设备的使用 日益快速增长，并且这些设备变得更加精密。这也导致了对在这些 设备中包括更先进的功能从而提高其商业价值的要求的增加。已经 成为该领域中焦点的示例性的先进功能是检测图像中的特定目才示 的技术。检测目标的代表性技术是检测人面部的技术。利用这种面部才企 测技术，可以从所拍摄的图像中提取出人的面部区域，并且提取的结果可以应用于成像"i殳备中的各种应用或者可以:故记录为图像的 附属数据。已知的示例性的面部检测技术包括将所拍摄的图像数据变换 为亮度数据、色调数据、和色度数据、以及根据基于亮度数据的在 肤色区域中垂直方向上的亮度的变化和基于所述三个属性数据的
肤色像素的空间像素分布检测人面部区域(例如，参见第3561985 号曰本专利，第
至
段，图1)。另一个已知的示例性的 技术包括在所拍摄的图像中检测肤色区域和面部特征点(例如，眼 睛和嘴)以及根据特征点的位置来确定肤色区域是否是人面部(例 如，参见公开号为第2004-5384的日本未审查专利申请，
和
至
段，图6 )。发明内容如上所述，可以得到各种面部4企测算法。不管是记录运动图傳— 还是记录静止图像，在将这些面部检测技术应用到成像设备中以下 两点是重要的。第一重要点是满足追踪目标的运动和成像设备本身 的运动的高速度以及能够避免检测中的误差或遗漏的高检测精度 的能力。第二重要点是对不同的检测算法和成像条件的灵活性或适 应性。面部检测可以通过软件或者专用硬件来执行。通常，由软件执 行的面部检测经常不能达到高处理速度。例如，软件可能不能紧密 跟踪在静止图像记录模式中监控图像或记录运动图像的处理。所要 求的检测精度越高，处理负荷就越高。这导致4艮难在成像，i殳备中实 现有效的检测速率。即，如在第一重要点中所述，很难同时满足高 速度和高检测精度。相反，通常已知，与软件相比，由专用硬件执行的面部检测能 够大大提高处理速度和检测精度。但是，如在第二重要点中所述，
硬件难以适应不同的检测算法和成像条件或者难以提高检测性能。 ^/f牛在一企测性能方面具有有限的灵活性和适应性。期望才是供 一 种具有高面部4企测精度的可广泛应用的面部4企测装置、成l象i殳备、和面部4企测方法。
根据本发明的实施例，提供了 一种用于检测输入图像中的人面 部的面部4全测装置，该装置包括下列组件面部4企测电3各，包括被 配置为检测输入图像中的面部的硬件电路；信号处理电路，被配置 为根据包括用于检测输入图像中的面部的面部检测程序的可重写 程序来基于所输入的图像信号执行信号处理；以及控制器，被配置 为使面部检测电路和信号处理电路以并行方式对 一 个帧的图像或 者对连续帧中的相邻帧的各个图像执行面部检测，并根据通过面部 检顶'J电路和信号处理电路获得的面部检观'J结果输出最终面部检领'J 结果。在这样的面部检测装置中，设置了包括被配置为检测所输入的 图像中的面部的面部检测电路的硬件电路，并且设置了被配置为根 据可重写程序来基于所输入的图像信号执行信号处理的信号处理 电路。通过由信号处理电路执行面部检测程序，信号处理电路也能 够执行面部检测。控制器使面部检测电路和信号处理电路以并行方 式对 一 个帧的图像或者对连续帧中的相邻帧的各个图像执行面部 检测。控制器根据由面部检测电路和信号处理电路获得的面部检测 结果来输出最终面部检测结果。
根据本发明实施例的面部检测装置，由于既可以通过面部检测 电路又可以通过信号处理电路4丸4亍面部才企测，并且可以4艮据由面部 检观'J电路和信号处理电路获得的检测结果而输出最终面部检须'J结 果，所以可以提高面部检测精度。通过改变由信号处理电路执行的 禾呈序，可以通过信号处理电3各来扭J亍各种面部4企测算法和除了面部
检测处理以外的处理。因此，可以提高对产品的特征扩展或规格变 化的灵活性或者适应性，并且面部检测装置能够应用到更多种应用 中而无需改变电路构造。


图1是根据本发明实施例的成像设备的主要组件的构造的框图；图2是面部检测电路的示例性的内部构造的框图；图3是由面部检测电路执行基本面部检测处理的流程图；图4A~图4C示出了拍才聂图<象时的#见角和面部4叟索角之间的关系；图5示出了面部搜索角的示例性的定义；图6是可编程的信号处理电路的示例性的内部构造的框图；图7是第一面部检测处理的要点的示意图；图8是在成像设备中执行的第一面部检测处理的流程图；图9是第二面部检测处理的要点的示意图；图10是在成〗象i殳备中4丸行的第二面部4企测处理的流程图；图11是第三面部检测处理的要点的示意图；图12是在成像设备中冲丸行的第三面部4企测处理的流程图13是第四面部检测处理的要点的示意图；图14是在成像设备中才丸行的第四面部才企测处理的流程图；以及图15是根据本发明的另一个实施例的图像记录/再生设备的构 造的框图。
具体实施方式
将在下文中描述本发明的示例性实施例。图1是根据本发明实施例的成像设备的主要组件的构造的框 图。在图l中，实线箭头表示图像数据的路径；点线箭头表示控制 数据的路径；以及虚线箭头表示作为控制数据一部分的用于表示面 部检测结果的数据的路径。图1所示的成像设备是作为数字照相机和数字摄像机等来实现 的。成像设备包括光学组块11、图像传感器12、相机信号处理电 3各13、面部一企测电i 各14、可编禾呈〗言号处理电i 各15、显示处理电^各 16、图^f象压缩/解压缩电路17、存储单元18、图l象随才几存耳又存^f诸器 (RAM) 19、图像总线20、中央处理单元(CPU) 21、电可擦除 可编禾呈只读存4诸器(EEPROM) 22、 RAM 23、和重力方向4专感器 24。光学组块11包括镜头，被配置为将从目标反射的光线聚焦 到图^f象传感器12;驱动^L构，用于移动透^:以调整焦距或者》文大/ 缩小；快门机构；以及光圏机构等。根据来自CPU 21的控制信号 来驱动包含在光学块组11中的这些驱动才几构。图像传感器12是(例
如)诸如电荷耦合器件(CCD )或者互补金属氧化物半导体(CMOS ) 的固态图像拾取装置，并将来自目标的入射光转换为电信号。相机信号处理电^各13是^皮配置为将各种信号处理应用至从图 像传感器12输出的图像信号的组块。更具体地，例如该组块包括 将来自传感器12的图像信号转换为数字数据的功能、用于数字图 像数据的各种检测功能、和用于图像数据的各种图像质量校正功 能。来自相机信号处理电路13的检测信息被提供给CPU 21。根据 该检测信息，CPU 21计算用于自动聚焦(AF )处理、自动曝光(AE ) 处理、和在相机信号处理电路13中的图像质量校正功能的控制值。 相机信号处理电^各13中的图^象质量冲交正功能包括增益冲交正功能、 白平衡调整功能等。面部检测电路14是被配置为才企测输入图像中的人面部的专用 硬件。面部检测电路14经由图像RAM 19接收从相机信号处理电 路13输出的图像数据、检测人面部存在的区域、并将检测结果提 供给CPU21。可编程信号处理电^各15是被配置为将信号处理应用到从图像 RAM 19读耳又的图傳4t据的组块。可编程信号处理电^各15能够通过 从CPU 21读取程序来执行多种类型的信号处理。具体在实施例中， 可编程信号处理电路15被配置为执行用于检测输入图像中的人面 部的程序。即，面部检测电路14和可编程信号处理电路15都具有 面部4企测功能。显示处理电路16经由图像RAM 19接收从相机信号处理电路 13和图像压缩/解压缩电路17输出的图像数据、将图像数据转换为 将被显示的图像信号、并将该图像信号提供给包括(例如)液晶显 示器(LCD)的监—见器(未示出)。 图像压缩/解压缩电路17经由图像RAM 19接收从相机信号处 理电路13输出的图像数据、对图像数据进行压缩/编码，并将压缩/ 编码图像数据作为包括运动图像或者静止图像的数据文件输出到 存储单元18。图^象压缩/解压缩电路17对/人存4诸单元18读取的图 l象凄t据文件进行解压缩/解码，并经由图^象RAM 19将解压缩/解码 图像数据提供给显示处理电路16。例如，运动图像专家组(MPEG) 标准可以^皮用作运动图^f象的编码;标准，以及耳关合图 <象专家组(JPEG ) 标准可以;陂用作^争止图 <象的编码标准。存储单元18是^皮配置为存〗诸由图像压缩/解压缩电if各17编码和 生成的图像文件的单元。存储单元18可以实现为(例如)用于诸 如》兹带或者光盘的移动记录介质的驱动装置，或者可以实现为石更盘 驱动器(HDD)。除了将所存储的图像数据文件读出到图像压缩/解 压缩电路17之外，存储单元18还能够将附属于数据文件的信息提 供给CPU21。图像RAM 19经由图像总线20连接至相机信号处理电路13、 面部;险测电3各14、可编程信号处理电3各15、显示处理电^各16、和 图像压缩/解压缩电3各17。图像RAM 19由这些连接的处理组块共 享，并且经由图像RAM19在这些块之间传送图像数据。在本实施例中，这些处理组块已经:帔描述为经由图^f象RAM 19 传送图像数据。但是，例如，面部检测电路14和显示处理电路16 可以净皮配置为直4妄接收从相机信号处理电3各13和图像压缩/解压缩 电路17输出的图像数据而无需使图像数据通过图像总线20。CPU 21是被配置为控制整个成像设备的组块。CPU 21读取并 执行存储在EEPROM 22中的程序以实现这样的控制。通过CPU 21 和可编程信号处理电路15执4亍的程序、诸如在4丸4亍程序时所选择 的控制数据的各种数据预先存储在EEPROM 22中。在CPU 21执
行程序时数据临时存〗诸在RAM 23中。例如，包括由面部4企测电路 14和可编程信号处理电路15获得的面部4企测结杲的数据存4诸在 RAM 23中。重力方向传感器24检测施加到成像设备上的重力的方向并将 检测结果提供给CPU21。根据检测结果，CPU21可以确定成像设备倾4斗的方向。将在下文中描述成像设备的基本操作。在记录图像时，通过图 像传感器12执行光的接收和光电转换而生成的信号被顺序提供给 相机信号处理电路13，相机信号处理电路13对这些信号施加数字 转换和图像质量校正。经过处理的图像数据经过图像总线20并临 时存储在图像RAM 19中。显示处理电路16经由图像RAM 19接 收来自相机信号处理电路13的图像^t据，生成将4皮显示的图像信 号，并将图像信号提供给监视器(未示出)。因此，当前正被拍摄 的图像(通过相机的图像)显示在监视器上，并且正在拍摄该图像 的人能够观察图像以及检查视角。图像压缩/解压缩电路17经由图像RAM 19顺序接收从相机信 号处理电路13提供的多个输出图像数据，对图像数据进行压缩/编 码以生成运动图像文件，并将运动图像文件记录在存4诸单元18中。 响应于按下快门释放按钮(未示出)等，由图像压缩/解压缩电路 17对来自相机信号处理电路13的图像数据的一帧进行压缩/编码以 生成静止图像文件，静止图像文件可以记录在存储单元18中。存储在存储单元18中的图<象文件#皮读耳又到图像压缩/解压缩电 ^各17,并且图4象压缩/解压缩电路17对该图<象文件进4亍解压缩/解 码，并将解压缩/解码图^象#:据才是供*会显示处理电^各16。显示处理 电路16将该图像数据转换为将被显示的信号。因此，可以在监视 器上再生和显示运动图像或者静止图像。
在如上所述记录图像时，面部4企测电路14经由图^f象RAM 19 接收来自相机信号处理电路13的输出图像数据并执行面部检测。 还经由图像RAM 19将来自相机信号处理电路13的输出图像数据 才是供纟合可编程4言号处理电^各15，并且可编程/[言号处理电^各15可以 才艮据该图傳_数据#^亍面部一企测。由面部才企测电路14和可编程信号 处理电路15获得的面部检测结果被提供给CPU 21。如下文所述， 面部才全测电路14和可编程信号处理电路15能够经由CPU 21接收 通过其它电路获得的#企测结果并且才艮据所接收的4企测结果进一步 4丸4亍面部4全测。CPU 21 (例如)才艮据由这些处理组块获得的^:测结果而获得最 终检测结果，并使用该最终检测结果来计算用于AE、 AF、白平衡 调整等的控制值。例如，CPU 21调整光圈或者白平tf增益以最优 化被4全测的面部的亮度或者颜色，或调整^皮;险测面部的焦点。面部 检测结果的信息(例如，关于面部区域的位置信息)可以作为图像 文件的附属信息一皮记录在存储单元18中。在再生存储单元18中的图像文件时，面部检测电路14和可编 程信号处理电^各15中的每一个都可以经由图〗象RAM 1SM姿收已经 被图像压缩/解压缩电路17解压缩/解码的图像数据，并执行面部检 测。在此情况下，在记录图像的同时可以通过处理组块来执行面部 4企测。CPU 21 4艮据处理组块获得的#:测结果来获得最终4企测结果， 并(例如)将该最终检测结果记录为原始图像文件的附属信息。可 选的，CPU 21更新原始附属〗言息。可以将^r测结果与再生的图f象 一起显示在监4见器上，或者可以爿夸才企测结果i己录在EEPROM 22中 以1更以后在其它处理中4吏用。接下来，将在下文中详细描述使用面部4企测电路14和可编程 信号处理电^各15的面部纟企测。
图2是面部检测电路14的示例性内部构造的框图。如上所述，面部4企测电3各14是被配置为执行面部检测的专用 硬件。参考图2，面部检测电路14包括放大/缩小电路41、图像存 ^诸器42、面部4企测核(core) 43、和4空制器44。在面部斥企测电^各14中，面部冲企测核43是#:配置为才丸4亍面部#: 测的电3各组块。在该实施例中，面部4企测核43扭J亍预定大小的面 部模板图像和输入图像之间的匹配并根据相关值确定面部的存在。 放大/缩小电路41转换经由图像总线20从图像RAM 19读取的图像 凄t据的大小(水平和垂直方向中的〗象素lt)以适合于面部4金测核43 进行面部检测。图像存储器42临时存储由放大/缩小电路41转换的 图像数据，根据由控制器44指定的读取地址剪下预定大小的图像， 并将剪下的图像输出至面部4企测核43。将剪下的图像数据写入图像 RAM 19以用于以后4吏用。控制器44根据由CPU 21 -提供的面部4全测参数来控制放大/缩 小电路41、图像存储器42、和面部检测核43的操作。例如，控制 器44将图像数据放大/缩小率输出至放大/缩小电路41,将写入/读 取存储地址输出至图像存储器42,以及将指定面部搜索方向的控制 4直等專#出至面部片全测核43。图3是由面部4企测电路14 4丸行的基本面部冲企测处理的流程图。 在步骤Sll中，CPU 21设置用于面部检测电路14中的控制器44 的面部检测参数。根据面部检测参数的设置，控制器44控制从步 -骤S12以后的梯:作。在步骤S12中，控制器44设置用于放大/缩小电路41的图像放 大/缩小率。例如，放大/缩小电路41仅从图像RAM 19中读取已经 被从相机信号处理电路13输出并记录在图像RAM 19中的图像数
据的一帧，根据从控制器44输入的设置变换图像大小，并将经大 小变换后的图像数据临时记录在图像存储器42中。为了缩小图像存储器42中使用的空间，仅可以读取图像RAM 19中的上述一帧图像的预定区域。在此情况下，以预定区域为单位 重复读取图像数据直到读取了整个图像数据。每次读取数据时，重 复步-骤S12至S18中的处理。在步骤S13中，图像存储器42才艮据从控制器44指定的读取地 址而从在步骤S12中记录的经过大小变换的图像中剪下预定大小的 区域作为面部窗，并将该面部窗输出至面部才全测核43。步骤S12和S13中的处理用于使有可能存在于从图像RAM 19 读耳又的图像中的面部区域与在通过面部才企测核43进行面部4企测所 使用的面部模板的大小一致。即，面部冲企测核43在内部存储器中 存储预定大小的面部模板。图像存储器42从所记录的图像中剪下 与面部才莫板的一样大小的区域。在步骤S14中，面部检测核43执行从图像存储器42提供的面 部窗和存储在面部检测核43中的多个面部模板之间的匹配并计算 它们之间的相关值。在步骤S15中，面部冲企测核43通过确定在步骤S14中计算出 来的每个相关值是否足够高，来确定面部窗中的图像是否是面部。 例如，通过确定计算出来的相关值的最大值是否超出预定阈值来执 4亍面部确定。在面部才全测核43在步骤S16中确定面部窗中的图〗象是面部的 情况下，面部;f企测核43 4丸行步骤S17中的处理。否则，面部检测 核43执行步骤S18中的处理。 在步骤S17中，面部检测核43将面部检测结果临时存储在内 部存储器中并临时保存面部检测结果。示例性的面部检测结果包括 关于面部区域的信息(例如，图像中的参考位置的坐标以及相对于 参考位置的水平和垂直方向上的大小)、面部的朝向、面部的倾斜 角、图像被拍摄时的视角、表示"面部性"的评价值(例如，根据 上述相关值的评价值)、以及在已经检测到面部时用于放大/缩小电 路41的放大/缩小率。在步骤S18中，控制器44确定是否已经从存储在图像存储器 42中的图^f象剪下最后的面部窗。在还没有剪下最后的面部窗的情况 下，控制器44改变位置以剪下面部窗，并执行步骤S13中的处理。 在已经剪掉了最后的面部窗的情况下，控制器44执行步骤S19中 的处理。在步骤S19中，控制器44根据由CPU 21设置的面部检测参数 确定是否通过改变一皮一企测的面部的大小来再次4丸^f于面部^r测。在控 制器44没有再次执行一企测的情况下，控制器44前进到步骤S20。 在控制器44确定再次执行检测的情况下，控制器44返回步骤S12 并执行控制，从而从图像RAM 19中再次读取相同的图像。在这种 情况下，改变为放大/缩小电路41设置的放大/缩小率，因此能够检 测输入图像中的不同大小的面部。在步骤S20中，面部检测核43将在步骤S17中保存的面部检 测结果llT出到CPU 21。现在将给出关于步骤Sll中的面部4企测参数的设置的更多描述。可以才艮据通过CPU 21为面部才佥测电路14"i殳置的面部^r测参凄t 来改变面部4企测电i 各14的4企测精度和4全测速度。例如，通过在方文
大/缩小电路41中将放大/缩小率改变为各种比率可以在同一输入图 像中检测任意大小的面部。结果，提高了检测精度。相反，处理速 度变得更低。检测精度和处理速度根据面部检测核43中使用的面 部模板的数目而变化。例如，通过使用具有不同面部方向和倾斜角 的多个面部模板来执行匹配可以提高检测精度。控制器44可以根据由CPU 21设置的面部才企测参数来在面部检 测核43中指定面部搜索方向(搜索角)。现在将使用图4A 图4C 和图5来描述4艮据面部4臾索方向的面部才全测。图4A 图4C示出了在拍摄图像时的视角和搜索角之间的关 系。在图4A~图4C中，点线窗表示对应于被检测的面部的面部窗。在拍摄运动图像时，将记录的运动图像显示在通用电视监视器 上。因此，始终在预定方向上^f吏用成傳^殳备。如图4A所示，所拍 摄的图像将是具有其中扫描基准点Px0位于左上角的水平长视角的 图像。相反，在拍摄静止图像时，以各种倾斜角使用成像设备。除 了图4A所示的一见角之外，其它可能的一见角包^^，例如，其中成4象 i殳备向右倾斜以致扫描参考点Px0位于右上角的垂直长—见角(如图 4B所示)，以及其中成像设备向左倾4斗以致扫描基准点PxO位于左 下角的垂直长视角(如图4C所示)。如果图像以不同角度倾斜，图 像中的面部方向也以不同的角度倾斜。因此在^丸行面部检测中有必 要控制面部搜索方向。在面部才企测电路14中控制器44可以4艮据由 CPU 21 i殳置的面部4全测参lt来i殳置用于面部4全测核43的面部4臾索 角。图5是面部搜索角的示例性定义。例如，如图5所示，可以为面部才全测核43 i殳置四种面部4臾索 角，即，0° 、 +90° 、 — 90° 、和180° 。在该定义中，在图4A
所示的一见角处的面部4臾索角是作为基准的0° ; -90°对应于图4B 所示的^L角处的面部4臾索角；以及+ 90° 乂于应于图4C所示的4见角 处的面部;&索角。根据本实施例的成像设备具有重力方向传感器24。根据来自重 力方向传感器24的检测信号，在拍摄到图像时，CPU21可以自动 确定成像设备的倾斜，并且根据该倾斜，^殳置作为用于面部检测电 ^各14的面部冲全测参凄t的上述面部4叟索角。可选的，用户可以4吏用输入4建等输入拍l聂图像时的倾斜，并且 CPU 21可以根据输入的信息来设置搜索角。可选的，可以在 EEPROM 22中存储根据搜索角设置历史产生的搜索方向的频率， 并且CPU21在下次冲丸4亍面部4臾索时，CPU 21可以读取上述4叟索方 向频率，4艮才居4叟索方向频率，CPU 21可以预测和i殳置4叟索角。当 才企测从存储在存储单元18中的静止图像文件所再生的图像中的面 部时，在拍摄图像时将倾斜信息作为静止图像文件的附属信息进行 存储的情况下，CPU 21可以根据该倾斜信息来设置搜索角。此外， 一个图<象可以包含不同角度倾3绅的多个面部。因此，如 图5所示，当冲企测一个图^f象中的面部(多个面部)时，CPU 21可 以在面部冲企测电3各14中i殳置多个4叟索角。这可以减少面部冲全测中 遗漏的凄t目。图6是可编程信号处理电^各15的示例性内部构造的4匡图。可编程信号处理电路15包括RAM51、数字信号处理器(DSP) 52和53、和控制器54。 RAM 51临时存储从图像RAM 19读耳又的 图像数据和从控制器54纟是供的程序。例如，DSP52和53是被配置 为通过执行存储在RAM51中的程序来4丸行(例如)面部才企测的信 号处理模块。在该实施例中，设置了两个DSP52和53。控制器54
根据来自CPU 21的控制信息来控制DSP 52和53的操作并在RAM 51中指定写入/读耳又地址。在可编禾K言号处理电路15中，由CPU 21读耳又存l诸在EEPROM 22中的程序并经由控制器54将其存储在RAM 51中。同时，将各 种控制参数从CPU 21提供给控制器54,并且控制器54又设置用 于DSP 52和53的参K。冲艮据程序和控制参数的细节，可编程信号 处理电3各15结合多个算术逻辑单元(ALU)以产生用于面部纟企测 的指令集并执行该指令集。换句话说，当CPU 21加载新程序时， 在需要时，可以更新将由可编程信号处理电i 各15^丸行的处理内容。在执行面部检测的情况下，从图像RAM 19读取的图像数据临 时存储在RAM 51中并随后加载到才丸4亍面部^r测的DSP 52和53中。 同时，可以通过CPU 21将基于由面部检测电路14获得的面部检测 结果的信息^殳置为用于DSP 52和53的控制参l史。将由DSP 52和 53获得的面部检测结果被经由控制器54输出到CPU 21。除了面部检测之外，可编程信号处理电3各15还可以才艮据在记 录或者再生图像时根据由CPU 21加载到RAM 51的程序，将其它 信号处理应用至从图像RAM19中读取的图像数据。例如，可编程 信号处理电路15可以执行相机信号处理电路13的检测功能和图像 质量校正功能的一部分。在这种情况下，检测结果被提供给CPU 21 ， 并将图像质量校正图像数据临时存储在图像RAM19中，并加载到 (例如)显示处理电路16或者图像压缩/解压缩电路17中。可选的， 在记录和再生图像中可以执行不同的处理。可选的，DSP 52和53 可以4丸行不同的信号处理。在具有上述构造的成〗象i殳备中，可以通过面部4企测电路14和 可编程信号处理电5各15 ^Vf亍面部4企测。如上所述，由于面部4企测 电路14是专门用于面部检测的硬件电路，因此，虽然可以根据面图13是表示标签编制装置2的控制电路30在图12中的步骤S100A、步骤 S100B中分别执行的标签编制处理的详细步骤的流程图。图13中，首先，在步骤S105中，对收装盒驱动电路24输出控制信号，利 用收装盒用电动机23的驱动力，对压接滚筒107和墨带收巻滚筒106进行旋 转驱动。而且，通过送出滚筒驱动电路29将输出控制信号输出到送出滚筒用 电动机28，对送出滚筒17进行旋转驱动。还将印刷数据输出到印刷驱动电路 25，对打印头IO进行通电。利用这些操作，从第1带盘102抽出基体材料带101，供给压接滚筒107， 同时还从第2带盘104抽出面膜103，用滚筒107、 109将基体材料带101和面 膜103贴在一起，成为已打印标牌标签用带110，往标签编制装置2外的方向 输送。这时，从墨带供给侧带盘111抽出墨带，在面膜103中规定的打印区R 印刷打印字符Rm(或Rs)。接着，转移到步骤SllO，判断是否输送规定量(例如RFID电路元件To到 达输送导轨19的输送距离)的基体材料带IOI(换言之，己打印标牌标签用带 110)。这时的输送距离判断，能通过例如用另行设置的公知带传感器检测出设 置在所述基体材料带101的设定识别用标记进行就足够。输送规定量的基体材 料带101时，满足判断，并转移到步骤S115。步骤S115中，通过装置侧天线14，对RFID电路元件To写入上述图12的 步骤S20(或步骤S85)中产生的写入数据。具体而言，把将希望的数据写入到IC 电路部151的写入命令输出到信号处理电路22。据此，信号处理电路22产生 作为包含ID(识别信息)的RFID信息的写入信号，并通过高频电路21的发送部 32和天线14发送到RFID电路元件To，在其存储部157写入信息。接着，转移到步骤S120，确认面膜103的对打印区R的打印是否全部结束 后，转移到步骤S125。接着，在步骤S125中，判断是否又输送规定量的基体材料带IOI(换言之， 己打印标牌标签用带110)。这时的输送距离判断与上述步骤S110相同，例如 能通过用带传感器检测出标记进行就足够。满足判断时，这时己打印标牌标签 用带110中相当于标签T的输送方向上游侧端部的部位(预定切断位置)与刀具
第一面部一全测处J里图7是第一面部;险测处理的要点的示意图。在图7所示的第一面部才企测处理中，面部检测电路14对整个 输入图像P1执行高速面部检测(步骤S101 )。可编程信号处理电路 15根据由面部检测电路14获得的检测结果对输入图像P1的部分区 域执行更高精度的面部检测(步骤S102 )。 CPU 21根据由这些组块 获得的检测结果而输出最终检测结果。更具体地，面部纟企测电i 各14允许一些4企测误差并检测在整个 #T入图 <象中的面部区i或的大至丈^立置和大小，以至少可以避免面部沖企 测中的遗漏。即，面部检测电路14相对于检测精度优先考虑检测 速度。通过由面部检测电路14执行的上述检测处理，图7示出了 在输入图像P1中冲全测到的面部区域All ~ A15。甚至在不存在面部 的区i或(面部区i或A14和A15 )中也才企测到了面部。相反，为可编禾呈〗言号处理电^各15 i殳置处理禾呈序和面部^r测参 #t， 乂人而可以比利用面部一企测电^各14更加精确;也;险测面部区域。 可编程信号处理电路15可以检测面部区域的精确位置和大小。此 外，在可编程信号处理电路15中比在面部#:测电^各14中更加可靠 地避免了检测误差。在这种情况下，基于通过由面部检测电路14 进行的大致的检测处理来检测面部区域的结果(面部区域的坐标和 大小)，CPU 21对可编程信号处理电路15中的面部检测区域设置 限制。因此，可编程信号处理电路15可以实现高精度以及缩短处 理时间。在图7所示的实例中，4艮据由可编程信号处理电路15在输入 图像P1中获得的面部检测结果，检测到分别对应于面部区域All ~ A13的面部区域A16 ~ A18作为面部区域。从才企测结果中删除被错
误地才企测为面部区域的面部区域A14和A15。这样，才艮据并奇确地^r 测到每个面部的存在和其存在的位置。可编程信号处理电路15将每个面部区域的精确坐标和大小作 为由这种处理获得的面部检测结果输出至CPU 21。除了每个面部 区域的坐标和大小之外，诸如检测到的面部的方向、面部的倾斜、 "面部性"的估计值(例如，关于通过模板匹配获得的相关值的信 息)、和由面部检测电路14获得的检测结果中表示面部不存在的区 域的检测误差信息的更加详细的参数，可以被检测并^皮输出至CPU 21。在图7所示的实例中，由面部区i或A16中的箭头表示面部的方 向，以及由面部区i或A18中的点划线表示面部的倾杀+ 。CPU 21才艮据通过可编程信号处理电^各15获得的上述纟企测结果 来获得最终;险测结果，并将该最终;险测结果用于包括AE和AF的 其它控制处理。即，可编程信号处理电路15可以根据由CPU21加 载的程序和设置的参数的规范在最短的处理时间内输出各种高精 度的检测结果。因此，才全测结果能够灵活地应用到更广泛的多种应 用中。根据通过可编程信号处理电路15获得的精确的检测结果，CPU 21还能够重新计算和设置用于面部检测电路14的面部检测参数。如图7所示，在第一面部冲企测处理中，优选地，面部才企测电^各 14和可编程信号处理电路15根据相同的输入图像Pl来执行面部检 测。然而，在实际的处理中，可编程/f言号处理电^各15可以乂t相只于 于面部检测电路14检测的图像延迟一帧或几帧的图像执行面部检测。图8是在成像设备中执行的第一面部检测处理的流程图。在步 骤Slll中，CPU 21 i殳置用于面部-险测电3各14的面部4全测参凄t。
在步骤S112中，面部才企测电路14中的控制器44才艮据由CPU 21 设置的面部检测参数控制放大/缩小电路41、图像存储器42、和面 部才企测核43，以4艮据以帧为单位依次乂人图 <象RAM 19中读耳又的图傳_ 数据的一个帧，来执行用于检测大致面部区域的高速检测处理。在通过面部一企测电3各14完成面部4企测之后，在步骤S113中面 部检测核43将面部检测结果(例如，面部区域的坐标和大小)输 出至CPU 21。在步骤S114中，CPU 21才艮据/人面部冲企测电3各14 4是 供的检测结果来设置用于可编程信号处理电路15的面部检测参数。 例如，CPU 21为可编程信号处理电路15设置这种面部检测参数以 4吏只有由面部4全测电i 各14 4企测到的面部区i或及其周围的区域可以 作为面部搜索范围。在执行步骤S111之前，CPU21预先将必需的 面部一企测禾呈序加载到可编禾呈〗言号处理电3各15中的RAM 51上。在步骤S115中，可编程信号处理电路15中的控制器54根据 由CPU 21设置的面部检测参数，将从图像RAM 19读取的图像数 据中对应于由面部检测电路14检测到的面部区域及其周围区域的 数据传送至DSP 52和53 (或者DSP 52和53中的一个)，并使得 DSP 52和53才丸^f亍注重^r测4青度的面部4企测。在步骤S116中，可编程信号处理电路15中的控制器54接收 来自DSP52和53的面部检测结果，并将面部检测结果输出至CPU 21。在步骤S117中，CPU 21基于由可编程信号处理电路15获得 的面部一企测结果来生成最终的面部4企测结果。可以只在面部^r测电if各14已经;险测到面部的'|"青况下4丸4亍步艰《 S114-S116中的处理。在步骤S118中，CPU21确定是否结束面部 才企测处理。在CPU21确定不结束面部4全测处理的情况下，CPU 21 执行步骤S119中的处理。 在步骤S119中，CPU 21才艮据由可编程信号处理电^各15获得 的面部检测结果来重新计算用于面部4企测电路14的面部检测参数。 然后，流程返回至步骤Slll,并且CPU21设置用于面部检测电路 14的重新计算的面部冲企测参lt，并^f吏面部;险测电^各14 7寸下一个图 像开始进行面部检测。重新计算的面部检测参数的下列步骤是可能的。例如，根据由 可编程信号处理电路15检测到的面部区域的位置和大小来限制面 部检测电路14中的面部搜索范围。在这种情况下，CPU21根据关 于由可编程信号处理电3各15 4企测到的面部方向的信息来计算运动 矢量，并且可以根据该运动矢量指定面部检测电路14中的面部搜 索范围。关于计算出来的运动矢量的信息可以作为相应的图像文件 的附属数据被记录在存储单元18中或者输出至外部装置。根据来自可编程信号处理电路15的检测误差信息，可以控制 已经被面部检测电路14错误检测到的面部区域不被搜索。根据关 于由可编程信号处理电i 各15 4企测到的面部方向和倾斜的信息，可 以将将净皮用于在面部4全测电路14中确定匹配的面部才莫4反控制为限 于必要性高的那些模板。在上述第一面部4企测处理中，面部纟企测电^各14 一企测大致的面 部区域，以避免在检测整个输入图像中的面部时的遗漏，并且由此 面部4企测电3各14可以^Vf亍高速面部4企测。然后，由可编禾呈4言号处 理电路15使用作为面部搜索范围的、由面部检测电路14检测获得 的面部区域的周围区域，来执行高精度的面部检测。尽管实际上可 编,呈4言号处理电3各15可以4青确地d全测面部区i或并4交正由面部^r测 电路14获得的检测结果，但还限制了面部搜索范围，并由此减少 检测处理时间。在保持相当于单个可编程信号处理电^各15单独执 行面部检测时的检测精度的同时，还可以大大提高可编程信号处理 电路15的处理速度。例如， <吏用这才羊的面部4企测结果，在追踪補:
检测的面部时，可以以相对低的处理负荷容易地实现AF控制和诸 如白平4軒的图 <象质量的调整。由于可以根据由面部检测电路14获得的检测结果来限制可编 程信号处理电i 各15中的面部4叟索范围，因此，可编程信号处理电 路15可以输出包括面部方向和倾斜的各种4企测结果而不增加处理 时间。因此，才企测结果可以^皮灵活;也应用到更广泛的各种应用中。
通过根据由可编程信号处理电路15获得的检测结果来重新计 算为面部检测电路14设置的面部检测参数，面部检测电路14中的 处理变4寻更有岁文并可以更快完成。例如，在预定时间内，只有由可 编程信号处理电路15检测到的面部区域的周围区域用作面部检测 电路14中的下一输入图像的面部搜索区域，从而缩短了处理时间。 在这样的情况下，由于相邻的输入图像彼此高度相关，因此可以保 持一 定程度的检测精度。
可选的，可以根据在成像设备中设置的操作模式来选择性地执 行在上述步骤中由面部检测电路14和可编程信号处理电路15执行 的面部4全测和用于面部4企测电路14的面部4全测参凄t的重新计算。
例如，在静止图像记录模式的情况下，CPU 21将在记录操作 之前已经拍摄的图像显示在监视器上。当用户正在调整视角时，只 4丸行步骤S112和S113中由面部4企测电^各14扭J亍的面部冲企测处理， 以及根据检测结果执行AE和AF控制。因此，虽然具有较低的检 测准确度，但是可以快速显示图像，并且可以抑制检测过程中的功 耗。例如，当快门释放按钮按下一半时，也可以执行步骤S115和 S116中由可编程信号处理电路15执行的面部检测处理，从而执行 精确的面部检测。在运动图像记录模式的情况下，例如，以预定的 时间间隔，执行步骤S119的重新计算用于面部才企测电路14的面部
检测参数，从而在减少全部处理负荷的同时，可以保持面部才企测的 精度。因此，可以以预定帧率可靠地执行图像记录。尽管在上述流程图中由面部检测电路执行的面部;险测和由 可编程信号处理电路15执行的面部检测是以串行方式执行的，但 是它们也可以以并4亍方式冲丸4于。例如，部检测电路可以以帧 为单位执行面部4全测。相反，可编程信号处理电路15可能在一个 帧周期中无法完成面部4全测。在这样的情况下，通过CPU21将关 于面部检测电路14检测的大致面部区域的信息作为每个帧的4企测 结果输出，并且利用从可编程信号处理电^各15每隔几个帧输出的 准确面部区域信息，CPU 21对面部检测电路14获得的检测结果进 行校正。在可编程信号处理电路15中，可能只需要根据由面部检 测电路14获得的最近的检测结果指定面部搜索范围。如上述步骤 S119中的处理，可以根据由可编程信号处理电路15获得的检测结 果来重新设置用于面部一企测电^各14的面部检测执行参凌t。利用这样的 处理，例如在记录运动图像的情况下，可以以帧为单位可靠地输出 检测面部区域的结果，并且由此可以提高检测结果的精度。作为并4于处理情况的另一个例子，面部检测电路执行各14 4丸4于面部 检测，而可编程信号处理电^各15根据由面部检测电路14获得的检 测结果又对下一个帧的图像4丸4亍面部4企测。在这种情况下，在可编 程信号处理电路15执行面部检测的同时，面部检测电路14开始对 同一帧的图像执行面部检测。可选的，如果面部检测电路14能够 比可编程信号处理电路15更快的完成面部检测，面部4企测电路14 对下一个帧以后的帧开始进^亍面部检测，从而面部4佥测电路14将 在可编程信号处理电路15执行的面部检测结束的同时，完成面部 检测。利用这样的处理，可以以帧为单位可靠地输出检测面部区域 的结果，并且可以由此提高检测结果的精度。第二面部检测处理
图9是第二面部检测处理的要点的示意图。在图9所示的第二面部冲企测处理中，面部冲企测电i 各14 4企测整 个输入图像P2中的面部，并输出关于包括整个面部的区域的信息 (步骤S201 )。可编程信号处理电路15检测输入图像P2中的诸如 眼睛、嘴、嘴唇、鼻子、眉毛、眼镜、面具等的面部中的部分或者 面部周围的部分(在下文中简称"面部部分")的位置和状态(方 向、倾斜、形状等)(步骤S202)。在这种情况下，可编程信号处理 电^各15可以只使用通过面部检测电路14检测到的输入图像中的面 部区域或者包括一企测到的面部区域的周围区域的区域作为搜索用 于搜索面部部分的搜索区域，因此缩短了检测这些部分所需的时 间。面部一企测电^各14不仅可以;险测面部的坐标和大小，还可以冲企 测面部的方向和倾斜。通过i殳置作为用于可编程信号处理电^各15 的面部检测参数的这些信息，将面部部分的方向、倾斜、和位置的 偏离预先通知给可编程信号处理电J各15, /人而可编程信号处理电聘^ 15可以更快以及更精确地4企测这些部分。可编程信号处理电^各15 可以才艮据枱r须'J面部部分的位置和状态的结果来输出通过评1"介面部 表情而生成的评价值。在图9所示的实例中，利用由面部才企测电^各14 #^亍的才企测处 理，在输入图像P2中冲企测到面部区域A21 ~ A23。由面部区域A21 中的箭头来表示面部的方向，以及由面部区i或A23中的点划线来表 示面部的倾斜。在这些区域中，在面部区域A22中，通过由可编程 信号处理电路15执行的处理来检测作为面部部分的眼部区域A24 和A25以及卩觜部区i或A26。同在第一面部才全测处理中一样，优选地，在第二面部4企测处理 中，面部检测电路14和可编程信号处理电路15也可以根据同一输
入图像P2的数据执行面部和面部部分的^r测。然而，在实际处理 中，可编禾呈信号处理电3各15可以对相对于面部一企测电^各14 #:测的 图像延迟一帧或者几帧的图像进行检测。图10是在成像设备中执行的第二面部检测处理的流程图。在 步骤S211中，CPU 21设置用于面部检测电路14的面部4企测参数。在步骤S212中，面部片企测电路14中的控制器44根据由CPU 21 设置的面部检测参数来控制放大/缩小电路41、图像存储器42、和 面部检测核43，以根据以帧为单位从图像RAM 19顺序读取的图像 数据的 一 帧来检测整个面部区域。在由面部检测电路14完成面部冲企测之后，在步骤S213中，面 部4全测核43将面部检测结果(例如，面部区域的坐标、大小、方 向、和倾斜)输出至CPU21。在步骤S214中，CPU 21根据从面部才企测电路14提供的才金测 结果，来i殳置用于可编考呈4言号处理电路15的面部检测参lt。例如， CPU 21设置这种用于可编程信号处理电^各15的面部4企测参H以 ^吏只有由面部;险测电^各14 ^r测到的面部区i或及其周围的区i或可以 用作面部搜索范围。此外，CPU 21将关于面部的方向和倾斜的信 息通知给可编程信号处理电3各15。在步骤S215中，可编程信号处理电路15中的控制器54根据 由CPU 21设置的面部检测参数，将从图像RAM 19读取的图像数 据中的对应于由面部检测电路14才企测到的面部区域及其周围区域 的数据传送至DSP 52和53 (或者DSP 52和53中的一个)，并使 DSP 52和53扭^f亍处理以纟企测面部部分并生成面部表情的评价值。
在步骤S216中，可编程信号处理电路15中的控制器54接收 来自DSP 52和53的检测面部部分的结果和面部表情的评价值并将 这些结果输出至CPU21。在步骤S217中，CPU 21根据由可编程信号处理电路15获得 的面部部分检测结果和表情评价值生成最终的面部^r测结果。可以 只在已经由面部4企测电路14 4企测到面部的情况下4丸4亍步骤S214 ~ S216中的处J里。在步骤S218中，CPU21确定是否结束面部检测处理。在CPU 21确定不结束面部^r测处理的情况下，流考呈返回至步-骤S211,并 且CPU 21 ^吏面部^r测电^各14再次^M亍面部4企测。在上述第二面部4全测处理中，可编程信号处理电^各15才艮据由 面部检测电路14获得的面部区域检测结果在限定的搜索区域中检 测面部部分，从而缩短可编程信号处理电路15的处理时间。在保 持检测面部部分精度的同时，检测处理变得更快。通过使用关于由 面部^r测电i 各14 ^r测到的面部的方向和倾斜的信息作为用于可编 程信号处理电^各15的控制参lt,可编程信号处理电^各15中的4企测 处理变得更加有效并且能够更快完成。在可编程的信号处理电路15中，要4企测哪些部分、这些部分 的位置、大小、和状态中的哪种类型的信息用作检测结果、以及根 据才全测结果评^介哪种表情扣都可以通过改变由CPU 21设定的控制 参凄t或者由CPU 21寺丸4亍的禾呈序来按需要改变。例力口，可以#4居由 用户操作所选择的成像模式进行这些改变，或者根据成像状况自动 进行这些改变。根据面部部分的状态，可编程信号处理电^各15可以确定i者如 微笑或者严肃面部的面部表情并评价面部表情的程度。在CPU 21
的控制下，这样的确定和检测结果被用于在拍摄人物的肖像时，在面部表情改变成微笑时控制自动快门释放，或者在拍摄身份证(ID) 照片时，在面部不是微笑时控制自动图像拍摄。在CPU 21的控制下，根据检测眼睛状态的结果确定被拍照的 的每个人是否正在眨眼，并且在所有的^皮拍照的人老卩不眨眼时自动 释放快门。根据检测被拍照的人的眼睛状态的结果，能够估计人注 视的方向，并且能够在人注一见成像透镜时释放快门。根据检测眼睛 状态的结果，4全测眼睛的颜色不满意的非理想情况(例如在眼睛是 "红色"或者眼球反光时)，并且能够控制快门操作，或者能够校 正所拍摄的图像的颜色。根据4全测嘴或者嘴唇状态的结果确定被拍照人是否正在说话， 并且，在人正在i兌话的情况下，能够自动打开麦克风，或者确定结 果可以被用于控制快门操作定时。因此，在不改变内部构造的情况下能够将各种高附加值的功能 包括在成像设备中，由此以低成本制造精密的产品。可以在不改变 基本构造的情况下通过灵活地改变产品的失见格将新产品4更入市场。如上述流程图，在第二面部^r测处理中，可以以并行方式而不 是以串4亍方式来4丸^于由面部4企测电i 各14 4九4亍的面部4企测和由可编 程信号处理电^各15才丸4亍的面部冲企测。例如，面部4全测电i 各14 4丸4亍 面部检测，而可编程信号处理电路15根据由面部检测电路14获得 的检测结果依次对下一个帧的图像执行面部检测。在这种情况下， 在可编程信号处理电路15执行面部检测的同时，面部检测电路14 对同一帧的图像开始执行面部检测。可选的，如果面部检测电路14 能够比可编禾呈^f言号处理电路15更快;也完成面部4企测，则面部4企测 电^各14对下一个帧以后的帧开始进4亍面部4企测，A人而面部4企测电 路14将在由可编程信号处理电路15执行的面部4全测结束的同时完
成面部才企测。利用这样的处理，可以以帧为单位可靠地输出4盒测面 部部分的结果，并且能够由此提高检测结果的精度。第三面部4企测处理图11是第三面部检测处理的要点的示意图。在图11所示的第三面部检测处理中，面部检测电路14根据输 入图像P3的数据的亮度信息来检测面部(步骤S301)。相反，可 编程信号处理电路15根据表示输入图像P3的肤色区域的信息来检 测面部(步骤S302)。例如，可编程信号处理电路15^吏用不同于面 部检测电路14所使用的检测算法的检测算法，来检测具有肤色色 调的区域，并在检测到的肤色区域中或者在包括肤色区域的周围的 区域中冲全测面部。可选4奪的，可编程信号处理电3各15可以将检测 到的肤色区域作为面部区域进行4企测。CPU 21通过另外考虑由这些组块获得的4全测结果来确定最终 面部区域(步骤S303)， 乂人而实现高精度的面部4企测。例如，通过 只使用亮度信息来检测面部可以提高面部检测电路14的处理速度。 相反，面部一企测中可能发生误差或遗漏。在这样的情况下，4艮据月夫 色区i或的^r测可以更4青确地;险测面部，/人而完成由面部4全测电3各14 获得的检测结果。在图ll所示的实例中，面部检测电路14检测面部区域A31， 面部区域A31被错误地检测为具有与肤色相同亮度和与皮肤相同 模式的区域。然而，由可编程信号处理电路15执行的面部检测证 明已经错误的检测了面部区域A31,因此从检测结果中最终删除了 面部区域A31。可编程信号处理电路15 4企测面部区域A36, <旦是 面部4全测电3各14已经;险测出在对应于面部区域A36的区域中没有 面部。由于面部区域A36中的面部-故帽子部分隐藏，因此面部检测
电路14有可能在检测中已经遗漏了该区域。利用可编程信号处理 电路15扭J亍的面部4全测，可以避免冲企测中的这种遗漏。在上述实例中， 一种检测算法的缺点由另一种检测算法获得的 氺全测结果来补偿。可选的，CPU 21可以控制这些组块来相互补偿 检测算法的缺点。此外，CPU 21可以根据由这些组块所获得的检 测结果重新设置用于这些组块的面部4企测参lt， /人而能够更有效的 ^!^亍面吾M全测。图12是在成像设备中执行的第三面部4企测处理的流程图。在 步骤S311中，CPU21设置用于面部检测电路14的面部检测参数。在步骤S312中，面部才企测电3各14中的控制器44才艮据由CPU 21 设置的面部检测参数来控制放大/缩小电路41、图像存储器42、和 面部4企测核43，以才艮据以帧为单位从图像RAM 19中读耳又的一个帧 中的亮度信息来检测面部区域。在由面部才企测电3各14完成面部冲企测之后，在步骤S313中面部 冲企测冲亥43〗夸面部一企测结果(例3口，面部区i或的坐才示和大小)iir出 至CPU 21。在步骤S314中，CPU21以与步骤S311中的处理并行 的方式i殳置用于可编程信号处理电路15的面部一企测参凄史。在步骤S315中，可编程信号处理电路15中的控制器54根据 由CPU 21设置的面部检测参数将从图像RAM 19读取的图像数据 传送至DSP 52和53 (或者DSP 52和53中的一个)，并4吏DSP 52和53根据肤色区域来执行面部检测。如上所述，可编程信号处理电路15根据输入图像的颜色分量 检测(例如)具有与肤色色调一样色调的区域，以及利用不同于面 部检测电路14所使用的检测算法的检测算法来检测检测到的肤色
区域中的或者包括该月夫色区域周围的区域中的面部。可选地，可编程信号处理电路15可以根据不同于面部检测电路14所使用的信号 分量的信号分量(例如，色度分量)来检测该区域中的面部。可选地，例如可以非由可编程信号处理电路15而是由相才几信 号处理电3各13的已知冲企测功能来才企测肤色区域以实现白平4軒调整 等。在这种情况下，CPU21指示可编程信号处理电^各15将由所述 检测功能检测的肤色区域或者包括其周围的区域看作面部搜索区域。在步骤S316中，可编程信号处理电路15中的控制器54从DSP 52和53接收检测面部区域的结果，并将该结果输出至CPU21。在 步骤S317中，CPU 21根据由面部牙全测电路14和可编程信号处理 电路15获得的检测结果来生成最终面部检测结果。在步骤S318中，CPU21确定是否结束面部检测处理。在CPU 21确定不结束面部检测处理的情况下，CPU 21执行步骤S319中的 处理。在步骤S319中，CPU21 4艮据由这些组块获得的面部^r测结 果重新计算用于面部4全测电^各14和可编程/[言号处理电^各15的面部 检测参数。此后，流程返回至步骤S311和S314,并且CPU 21设 置用于面部4全测电^各14和可编程信号处理电路15的重新计算出来 的面部检测参数，并使这些组块开始对下一个图像进行面部检测。^口上所述，以并^f亍方式才丸^f亍由面部冲全测电^各14进行的面部才企 测和由可编程信号处理电路15进行的面部检测，并且由CPU 21根 据面部检测电路14和可编程信号处理电路15获得的检测结果得到 最终才企测结果。因此，可以通过CPU 21的处理来补偿在一个组块/人而^青确i也;险测面部区i或。
在上述流考呈图中，由面部4企测电i 各14进4亍的面部冲企测和由可 编程信号处理电路15进行的面部检测是以并行方式一次执行的。 在面部检测电路14能够比可编程信号处理电路15更快地完成面部 才企测的情况下，在可编禾呈^f言号处理电路15正在7于一个帧扭j于面部 冲企测的同时，面部检测电路14可以对多个帧#^亍面部才企测。在这 种情况下，每次从面部冲企测电路14输出检测结果时，例如，CPU 21 都会4艮据该输出的4企测结果和由可编程信号处理电路15获得的最 近的4全测结果来生成最终一企测结果。利用这样的处理，(例如)在 i己录运动图 <象的情况下可以以帧为单4立可靠的f命出 一企测面部区域< 的结果，并且因此可以提高检测结果的精度。通过在步艰《S319中重新计算面部才企测参凄t，由面部4企测电3各 14和可编程信号处理电路15执行的面部4企测变得更加有效。例如， 除了通过4企测获得的面部区域信息之外，可编程信号处理电^各15 还将肤色区域信息输出至CPU 21。在下一个预定的次凝:对中，例 如，CPU 21重新计算用于可编程信号处理电路15的面部检测参数 以使只有包括肤色区域的输入图像的部分区域将用作面部搜索范 围，/人而缩短可编程信号处理电路15的处理时间。这样的功能可以不在CPU 21的控制下实现，而是由可编程信号处理电路15执行的才全测禾呈序来实5见。进一步i也，例如，在面部冲企测电i 各14中可以只3夺包4舌月夫色区 域的部分区域设置为面部搜索范围，并且可以重新计算面部才企测参 数从而可以提高检测精度。在这种情况下，面部检测电路14每隔 —定次数对整个输入图像执行面部^r测，并且同时，面部检测电路 14只在基于肤色区域的搜索范围内检测面部。如上所述，在通过使 用不同算法的两个处理组块4企测面部或者冲艮据不同的图i象分量枱r 测面部的情况下，在通过在由 一个组块才丸4亍的面部检测中反映由另
一个组块获得的检测结果而提高检测精度的同时，还可以提高整体 的才企测速度。可选地，可以根据在成像设备中设置的操作模式选择性地执行在上述步骤中由面部检测电路14和可编程信号处理电路15执行的 面部4企测和用于面部4全测电3各14和可编考呈4言号处J里电3各15的面部 氺全测参^:的重新计算。例如，在静止图像记录模式的情况下，CPU 21将在记录纟乘作 之前所拍摄的图像显示在监视器上。当用户正在调整视角时，只执 4亍步骤S312和S313中的由面部4企测电i 各14扭J亍的面部冲企测处理， 并且根据该检测结果执行AE和AF控制。因此，虽然具有较低的 检测精度，但是能够快速显示图像，并且能够抑制检测过程中的功 耗。例如，当快门释放按钮按下一半的时候，在步骤S315和S316 中以并行方式执行由可编程信号处理电路15执行的面部检测处理， 从而根据由这些组块获得的检测结果来执行精确的面部检测。在运 动图像记录冲莫式的情况下，例如，以预定的时间间隔4丸行在步骤 S319中的用于面部;险测电路14和可编禾呈^f言号处理电3各15的面部4企 测参数的重新计算，从而在减少整个处理负载的同时能够保持面部 检测的精度。因此，可以以预定的帧率可靠地执行图像记录。第四面部4企测处理图13是第四面部4企测处理的要点的示意图。第四面部检测处理用于检测输入图像中特定人的面部或者具 有特定特征的人的面部。如图13所示，面部检测电路14对整个输 入图像P4执行一般的面部检测而不指定人或特征，并且输出面部 区域的坐标和大小以及面部的方向和倾斜(步骤S401)。可编程信 号处理电路15 4企测输入图像P4中的特定人的面部或者具有特定特4i的人的面部(步骤S402)。在这种情况下，通过只4臾索由面部冲企 测电3各14冲全测的面部区域或者包括"险测到的面部区域周围的区i或 来减少由可编禾呈^言号处理电路15 4企测面部所消耗的处理时间。在图13所示的例子中，面部检测电路14执行一般的面部检测 以才全测输入图l象P4中的面部区i或A41 ~ A43。在面部区域A41 A43中，可编程信号处理电路15将包括在面部区域A41中的面部 确定为纟争定人的面部。面部4全测电3各14不^f又可以;险测面部的坐标和大小，还可以枱r 测面部的方向和倾4牛。通过i殳置作为用于可编禾呈^f言号处理电if各15 的面部检测参数的这些信息，将面部部分的方向、倾斜、和位置的 偏离预先通知给可编程信号处理电路15,从而可编程信号处理电路 15能够更快更4青确地4企测面部。可以通过用户的操作等来选择特定的人或者特定人的特定特 征。在这种情况下，如下文中参考图14所述，可编程信号处理电 ^各15才艮据所选4奪的特定人或者特;f正选4奪面部才企测凄t据库(例如， 包括面部模板等)来使用。相反，面部检测电路14只使用用于一 ^:面部^r测的凄t据库，而不考虑特定人或者其特4正。在第四面部冲企测处理中，和在第一和第二面部;险测处理中一 样，优选地，面部冲全测电路14和可编程信号处理电3各15才艮据同一 输入图像P4的数据执行面部检测。但是，在实际处理中，可编程 信号处理电路15可以对相对于由面部4企测电路144企测的图像延迟 一帧或者几帧的图傳4丸4亍面部4企测。图14是在成像设备中执行的第四面部检测处理的流程图。
在图14所示的处理中，作为4企测具有特定特4正的面部的示例 性的情况，可以根据用户操作的选择来检测女性面部，婴儿面部、 或者东方人的面部中的一个。在步骤S411中，CPU 21设置用于面部检测电路14的面部检 测参数。在步骤S412中，面部检测电路14中的控制器44根据由 CPU 21设置的面部检测参数来控制放大/缩小电路41、图像存储器 42、和面部冲全测核43，以4艮据以帧为单位从图像RAM 19中读耳又的 图像数据的 一 个帧来执行一般的面部检测。在由面部4企测电^各14完成面部4全测之后，在步-银S413中面部 才全测核43将面部4企测结果(例如，面部区i或的坐标和大小，以及 面部的方向和倾杀牛)^"出至CPU21。在步骤S414中，CPU21确定已经由用户指定的特定特征的类 型以检测面部。在已经设置了将要检测女性面部的情况下，CPU 21 执行步骤S415中的处理。在已经设置了将要检测婴儿面部的情况 下，CPU21执行步骤S418中的处理。在已经设置了将要检测东方 人的面部的情况下，CPU 21才丸4亍步骤S421中的处理。在步骤S415中，CPU 21在可编程信号处理电路15中设置用 于检测女性面部的面部检测参数。在这种情况下，例如，面部检测 参^t指示可编程信号处理电路15只将由面部检测电^各14^r测到的 面部区域和包括其周围的区域作为面部4臾索范围。同时，通知可编 程信号处理电J各15关于面部的方向和倾杀牛的信息。此外，_没置用 于女性面部检测的数据库。在该数据库中，例如，记录关于女性面 部的特征点等信息。 在步骤S416中，可编程信号处理电路15中的控制器54根据 由CPU 21设置的面部才全测参数来控制DSP 52和53，以利用于女性面部检测的数据库来执行面部检测。在步骤S417中，可编程信号处理电路15中的控制器54从DSP 52和53接收面部4企测结果，并将该结果输出至CPU 21。在步骤 S418 — S420中的处J里分另'J与步4聚S415 S417中的处J里基本才目同。 不同的是，在步骤S418中，CPU 21 4艮据面部冲企测参数在可编程信 号处理电i 各15中"i殳置用于婴儿面部一企测的^:据库，以及在步骤 S419中，可编程信号处理电路15利用该数据库执行面部检测。步骤S421 ~ S423中的处理分别与步骤S415 ~ S417中的处理基 本相同。不同的是，在步骤S421中，CPU21才艮据面部检测参数在 可编程信号处理电路15中设置用于东方人面部检测的数据库，以 及在步骤S422中，可编程信号处理电路15利用该数据库执行面部检测。在上述6勺步艰《S415 S423中，，JA口， S主重才企观'J ( <列^口 )女'1"生、 婴儿、和东方人的面部的数据库预先加载到可编程的信号处理电路 15的RAM 51中，并且，根据面部检测参数，CPU 21指示可编程 信号处理电路15使用哪个数据库。可选地，与用户选择一致的抬r 测数据库可以通过CPU 21的处理从EEPROM 22中读耳又并加载到 可编程信号处理电路15中。可选地，不4又可以单纯选冲奪与用户选 择一致的面部检测数据库，而且可以由可编程信号处理电路15来在步骤S424中，CPU 21才艮据由可编程信号处理电^各15获得 的面部4全测结果来生成最终冲企测结果(例如，面部的坐标和大小)。 可以只在已经由面部;险测电路14 4企测面部的情况下扭^亍步艰爻 S414 ~ S424中的处J里。
在步骤S425中，CPU21确定是否结束面部检测处理。在CPU 21确定不结束面部检测处理的情况下，CPU 21执行步骤S426中的 处理。在步骤S426中，CPU 21才艮据由可编程信号处理电i 各15获 -彈的面部4企测结果来重#斤计算用于面吾M企测电路14的面部4企测参 数。此后，流程返回至步骤S411，并且CPU21设置用于面部检测 电^各14的重新计算的面部4企测参H并〗吏面部4企测电路14对下一 个图^f象开始才丸4亍面部^r测。在步毒tS415、 S418、和S421之后的步 —骤中一个中，CPU 21在可编禾呈4言号处理电路15中i殳置在步-骤S426 中重新计算出来的面部才佥测参凄t。
在第四面部4企测处理中，由于在可编程信号处理电3各15中限 制了4企测面部的搜索范围以根据由面部检测电路14获得的面部区 域才企测结果来^r测面部，因此减少了可编程信号处理电^各15的处 理时间，从而在保持面部检测精度的同时更快的完成检测处理。具 体地说，由于在已经净皮面部才全测电^各14确定排除(exit)面部的区 域中由可编程信号处理电路15执行更加详细的检测，所以能够执 行更精确的面部4企测而不增加处理负荷。
在可编程信号处理电路15中，可以根据用户的设置来改变要 检测的人或者面部特征。可以提高成像设备的功能性而不改变内部中。因此，可以降4氐多种产品的开发和生产成本。
虽然在上述流程图中的第四检测处理中，以串行方式执行由面 部冲全测电^各14才丸4亍的面部4企测和由可编禾J/f言号处理电^各15 #丸4亍的 面部4企测，〗旦是它们也可以以并4于方式来#1^于。例力。，面部4企测电 路14开始执行面部检测，可编程信号处理电路15根据由面部检测 电路14获得的才企测结果对下一帧的图傳4丸4亍面部才企测。在这种情 况下，在可编禾呈信号处理电路15 ^U亍面部4企测的同时，面部4全测 电路14开始对同一帧的图傳4丸4亍面部才企测。可选J4， 3口果面部4全
测电路14能够比可编程信号处理电路15更快地完成面部检测，面 部冲全测电^各14开始对下一帧以后的帧进4于面部4全测，以4吏面部冲全 测电路14在可编程信号处理电路15执行的面部检测结束的同时完 成面部检测。利用这种处理，可以以帧为单位可靠地输出检测特定 人的面部或者具有特定特征的人的面部的结果，并且可以因此提高 检测结果的精度。另一个实施例图15是根据本发明另一个实施例的图像记录/再生装置的构造 的框图。在图15中，使用相同的参考标号表示与图1中示出的组 块相同的组块。如图15所示，本发明不仅应用于上述成像设备中，还可以应 用于不具有成像功能的图像记录/再生设备中。例如，图像记录/再 生设备被实现为录影机。在这种情况下，从电视广播等的接收信号 获得的运动图像数据被经由图像总线20输入到图像压缩/解压缩电 3各17以进4亍压缩/编码，并在存J诸单元18中存々者为运动图^象文件。 从存储单元18中读耳又这样的运动图像文件并通过图<象压缩/解压缩 电路17进行解压缩/解码。此后，例如，图^象处理电路25将各种图 像质量校正处理应用到解压缩/解码的数据，并将结果输出至显示处 理电路16,从而在监视器(未示出)上显示经过图像质量校正的再 生图像。在再生运动图像时，解压缩/解码图像数据经由图像RAM 19 被提供给面部检测电路14和可编程信号处理电路15,并且利用上 述面部检测步骤可以在再生图像中检测面部。例如，图像处理电路 25可以使用面部检测结果来校正整个图像的颜色，以使被检测的面 部的颜色可以变得更加合适。
同上述的面部检测步骤一样，即使在图像记录/再生设备中也能 够快速精确地执行面部检测。根据面部检测结果的使用目的、必需的冲企测精度、4企测信息等，在可编程信号处理电路15中可以灵活:t也改变4全测步务聚和i殳置。虽然上面已经描述了可以将图像记录在存储介质上的设备，但 是本发明还可以应用于^皮配置为再生存储在(例如)可移动的存储 介质中的图像数据的视频播放器。本发明还可以应用于被配置为再 生由另 一个成像设备已经拍摄的或者经由网络接收并临时存储在存储单元18中的图像文件的再生设备。此外，本发明应用于被配置为打印从由另一个装置提供的图像文件再生的图像的打印机。本领域^支术人员应该理解，才艮据i殳计要求和其它因素，可以进 行各种修改、组合、再组合和变化，只要它们处于所附权利要求或 其等价物的范围以内。
权利要求
1.一种用于检测输入图像中的人面部的面部检测装置，包括面部检测电路，包括被配置为检测输入图像中的面部的硬件电路；信号处理电路，被配置为根据包括用于检测输入图像中的面部的面部检测程序的可重写程序来基于输入图像信号执行信号处理；以及控制器，被配置为使所述面部检测电路和所述信号处理电路以并行方式对一个帧的图像或者对连续的多个帧中的相邻帧的各个图像执行面部检测，并根据由所述面部检测电路和所述信号处理电路获得的面部检测结果来输出最终面部检测结果。
2. 根据权利要求1所述的面部检测装置，其中，所述控制器比较 由所述面部4全测电路获得的所述面部纟企测结果和由所述信号 处理电^各获得的所述面部4企测结果以完成4皮此的4企测结果并 输出最终面部检测结果。
3. 4艮据权利要求2所述的面部冲全测装置，其中，所述面部检测电 路根据输入图像信号的亮度分量来执行面部检测，以及其中，所述信号处理电路根据表示输入图像的肤色区域 的信息来执行面部检测。
4. 冲艮据权利要求3所述的面部冲全测装置，其中，所述信号处理电 路检测所述输入图像中的所述肤色区域，并将所述肤色区域确 定为面4卩区i或。
5.根据权利要求3所述的面部检测装置，其中，所述信号处理电观'j算法来检测包括所述输入图像的所述肤色区域的预定区域 中的面部。
6. 4艮据权利要求2所述的面部冲企测装置，其中，所述面部才全测电 路和所述信号处理电路根据输入图像信号的不同的各个信号 分量来^U于面部4企测。
7. 根据权利要求1所述的面部检测装置，其中，在所述信号处理 电路对一个输入图像执行面部检测的同时，所述控制器使所述 面部;险测电3各对多个连续的输入图傳4丸-f亍面部检测，并且每当 所述面部一企测电路4企测到面部时，所述控制器就才艮据由所述面 部检测电路获得的所述面部检测结果和由所述信号处理电路 获得的最近的面部检测结果来输出最终面部检测结果。
8. 根据权利要求1所述的面部检测装置，其中，所述控制器根据 由所述面部4企测电^各和所述4言号处理电^各中的至少一个所获 得的面部检测结果来重新设置用于控制所述面部检测电路和 所述信号处理电^各中的至少一个的所述面部4企测，喿作的参f史，所述面部冲企测#:作对下一个输入图<象#丸4亍。
9. 根据权利要求1所述的面部检测装置，其中，所述控制器根据 需要选择性输出基于由所述面部检测电路获得的面部检测结 果的信息和基于由所述信号处理电路获得的面部检测结果的 信息中的 一个作为最终面部4企测结果，并且在将由所述面部抬r 测电^各获得的所述面部一企测结果作为所述最终4企测结果而输 出的情况下，所述控制器停止由所述信号处理电路执行的面部 检测。
10. —种用于利用固态图像拾取装置拍摄图像的成像设备，包括面部检测电路，包括被配置为检测输入图像中的面部的 硬件电路；信号处理电路，被配置为根据包括用于检测输入图像中 的面部的面部检测程序的可重写程序来基于输入图像信号执 行信号处理；以及控制器，被配置为使所述面部检测电路和所述信号处理 电路以并行方式对连续拍摄的图像中的一个帧的图像或者相 邻帧的各个图像执行面部检测，并根据由所述面部检测电路和 所述信号处理电路获得的面部检测结果来输出最终面部检测 结果。
11. 根据权利要求10所述的成像设备，其中，所述控制器根据成 像操作的状态选择性输出基于由所述面部检测电路获得的面 部检测结果的信息和基于由所述信号处理电路获得的面部检 测结果的信息中的 一个作为最终面部才全测结果，并且在将由所 述面部检测电路获得的所述面部检测结果作为所述最终检测 结果而输出的情况下，所述控制器停止由所述信号处理电路执 4亍的面部4企测。
12. —种用于检测输入图像中的人面部的面部4全测方法，包括以下 步骤通过包括被配置为执行面部4企测的硬件电路的面部4企测 电路来检测输入图像中的面部；根据包括用于检测面部的面部检测程序的可重写程序通 过被配置为基于输入图像信号而执行信号处理的信号处理电 ^各来4丸行所述面部^r测程序，乂人而以与所述面部4企测电游4丸4亍 的处理并4于的方式，对与，命入到所述面部4企测电路的帧相同的 帧的图^f象或者对连续帧中的与输入到所述面部冲企测电^各的帧相邻的帧的图像执行面部检测；以及由控制器根据由所述面部检测电路和所述信号处理电路 获得的面部^r测结果来输出最终面部才全测结果。
全文摘要
一种用于检测输入图像中的人的面部的面部检测装置包括下列组件面部检测电路，包括被配置为检测输入图像中的面部的硬件电路；信号处理电路，被配置为根据包括用于检测输入图像中的面部的面部检测程序的可重写程序，基于输入图像信号执行信号处理；以及控制器，被配置为使面部检测电路和信号处理电路以并行方式对一帧的图像或者连续帧中的相邻帧的各个图像执行面部检测，并根据由面部检测电路和信号处理电路获得的面部检测结果来输出最终面部检测结果。
文档编号G06K9/00GK101159010SQ20071014012
公开日2008年4月9日 申请日期2007年8月6日 优先权日2006年8月4日
发明者中岛健, 冈田深雪 申请人:索尼株式会社