图像处理装置、图像处理方法及图像处理用集成电路的制作方法

专利名称：图像处理装置、图像处理方法及图像处理用集成电路的制作方法
技术领域：
本发明涉及图像处理技术，特别涉及从摄像图像中确定符合一定条件 的图像范围的技术。
背景技术：
已知在数码相机等中，从每规定时间(例如，33ms)摄像的摄像图像 (帧图像)中确定包含有尺寸比该摄像图像小的确定图像(例如脸部图像) 的范围，并对所确定的范围进行显示框或对焦点等确定处理。
在确定包含该确定图像的范围的方法中，有对用于检测确定图像的模 板图像(小于摄像图像的固定尺寸的图像)与根据摄像图像逐渐改变縮小 率而生成的多个缩小图像进行对照，并检测确定图像的方法。即，对各縮 小图像进行一边从矩形縮小图像的左上端像素到右下端像素移动模板图像 一边对照的处理，从而检测确定图像，并根据其结果确定包含确定图像的 范围。
这里，生成多个縮小图像时的各縮小率被预先设定为，能够通过对照 所生成的多个縮小图像与模板图像来检测摄像图像中所包含的各种大小的 确定图像。
但是，由于生成该缩小图像的处理是一般需要较长时间的处理，因此 从一个摄像图像中生成的縮小图像的数量越多，在摄像间隔时间(该例中， 33ms)内不能检测确定图像的情况也越多。
特别是，在对移动的被摄体进行摄像的情况下，例如，在以与摄像帧 率相同的速率显示时，若假设对于某个摄像图像，在经过摄像间隔时间之 后检测出确定图像，则产生确定的图像范围与实际拍摄有被摄体的范围偏 差较大的问题。例如，作为确定处理，对确定的图像范围进行显示框的处 理的情况下，会导致在与实际拍摄有被摄体的位置不同的位置上显示框。
对此，已知有根据数码相机的摄影模式切换縮小图像的生成顺序，从而提高在摄像间隔时间内检测确定图像的可能性的方法(例如，专利文献1)。
有关专利文献1的摄像装置可以生成将原始图像GO逐渐縮小的縮小图像G1 G7 (在该例中，尺寸以G1、 G2、 、 G7的顺序减小)，在预测
为对人物摄影的模式等人数少的近景摄影的模式中，多数情况下在摄像图像中包含的脸部图像的尺寸较大，因此以G7、 G6、……、G0的顺序生成縮小图像，并与模板图像进行对照。另外，在预定为对风景摄影等远景摄影的模式中，多数情况下在摄像图像中包含的脸部图像的尺寸较小，因此以G0、 Gl、……、G7的顺序生成縮小图像，并与模板图像进行对照。
结果，在摄像间隔时间内没有结束所有种类的缩小图像与模板的对照的状态下必须移到对下一摄像图像的处理的情况下，也能够提高在摄像间隔时间内检测确定图像的可能性。
专利文献l:日本特开2007-135115号公报
但是，近年来，用户对高帧率摄影的需要逐渐增高。若要响应这种需要，则容易产生上述问题，即由于在经过摄像间隔时间之后检测出确定图像而导致确定的图像范围与实际拍摄有被摄体的范围偏差较大的问题。
为了解决该问题，考虑能够在更短的时间内生成各缩小图像的使用高性能硬件的高速处理方法，但这伴随着较大的设计变更，因此期望能够利用现状的硬件资源来解决的方法。

发明内容
因此，本发明是鉴于上述问题而作出的，其目的在于提供一种通过利用现状的硬件资源且与以往不同的方法在摄像间隔时间内能够检测确定图像的图像处理装置。
为了解决上述问题，本发明的图像处理装置，在每规定时间摄像并依次输入的摄像图像中，确定作为确定处理对象的图像范围，其特征在于，
包括缩小图像生成单元，具有根据被输入的一个摄像图像，在上述规定
时间内生成K种倍率的縮小图像的处理能力，生成从各不相同的L种倍率中指定的倍率的縮小图像，其中K》1， L>K;对照单元，将由上述縮小图
像生成单元生成的各縮小图像与模板图像进行对照，送出对照结果；确定单元，根据从上述对照单元送出的对照结果，确定上述图像范围；以及控制单元，每当输入摄像图像时，根据对该摄像图像之前输入的摄像图像指定的倍率，选择对该摄像图像的M种以下的倍率，将选择的M种以下的倍率指定给上述縮小图像生成单元而使其生成各缩小图像，使上述对照单元对照所生成的各縮小图像，并至少根据该对照结果，使上述确定单元确定对该摄像图像的上述图像范围，其中M《K。发明效果
具有上述结构的本发明的图像处理装置对于各摄像图像，以L种倍率中的本装置的处理能力(在规定时间内能够生成的縮小图像的种类数K)以下的M种以下的倍率生成各縮小图像，并对照各缩小图像与模板图像，因此能够提高可在规定时间内检测与模板图像对应的图像的可能性。
另外可以是，每当输入摄像图像时，上述控制单元将下述两种倍率作为上述M种以下的倍率而交替地指定给上述縮小图像生成单元，该两种倍率为，包含将上述L种倍率按升序或降序排列的情况下的从幵头开始的序号为第奇数个的各倍率中的N个倍率的M个以下的倍率、以及包含将上述L种倍率按升序或降序排列的情况下的从开头开始的序号为第偶数个的各倍率中的N个倍率的M个以下的倍率，其中N《M。
由此，交替地利用以将L种倍率按升序或降序排列的情况下的从开头开始的序号为第奇数个的倍率生成的各縮小图像、和以第偶数个的倍率生成的各缩小图像，进行与模板图像的对照，因此与从L种倍率中选择任意M种以下的倍率的情况相比，能够提高可检测出在各摄像图像中包含的各种大小的、与模板图像对应的图像的可能性。
另外可以是，上述控制单元根据从上述对照单元送出的、对该摄像图像的表示检测到与模板图像对应的图像的情况的对照结果，选择对在一个摄像图像之前输入的摄像图像指定的M种以下倍率中的一个以上倍率，并使所选择的倍率包含于指定给上述縮小图像生成单元的、对上述一个摄像图像的上述M种以下的倍率中。
由此，通过从对一个摄像图像之前输入的摄像图像的各缩小图像的生成中使用的各倍率中选择检测出与模板对象对应的图像时的倍率，利用有关该检测的倍率生成一个摄像图像的縮小图像。因此，能够进一步提高在一个摄像图像与其之前输入的摄像图像为相似的图像的情况下，能够检测 出在一个摄像图像中包含的与模板图像对应的图像的可能性。
这里，作为一个摄像图像与其之前输入的摄像图像为相似的图像的情
况，可以举例将规定时间设定为非常短的时间(例如33ms)的情况、或被 摄体静止的情况。
另外可以是，上述控制单元根据从上述对照单元送出的、对该摄像图 像的表示检测出与模板图像对应的图像的情况的对照结果，选择对在一个 摄像图像之前输入的摄像图像指定的M种以下的倍率中的一个以上倍率， 并使将上述L种倍率按升序或降序排列的情况下的从开头开始的序号为所 选择的倍率的序号的紧前或紧后的倍率包含于上述一个摄像图像的上述N 个倍率中。
由此，通过从对一个摄像图像之前输入的摄像图像的縮小图像的生成 中使用的倍率中选择检测出与模板对象对应的图像时的倍率，利用该选择 的倍率的附近倍率生成一个摄像图像的縮小图像。因此，能够进一步提高 在一个摄像图像与其之前输入的摄像图像为相似的图像的情况下，能够检 测出在一个摄像图像中包含的与模板图像对应的图像的可能性。
这是因为，在一个摄像图像与其之前输入的摄像图像为相似的图像的 情况下，以在一个摄像图像之前输入的摄像图像中能够检测的倍率的附近 倍率能够检测在一个摄像图像中包含的与模板图像对应的图像的可能性 高。
另外可以是，上述对照单元在通过对照各縮小图像和模板图像而检测 到对应于该模板图像的图像范围的情况下，将表示检测出的各图像范围的 各范围信息作为上述对照结果送出，上述确定单元根据从上述对照单元送 出的、 一个摄像图像的各范围信息及在该摄像图像之前输入的摄像图像的 各范围信息，进行上述确定。
由此，不仅是根据表示对于一个摄像图像以预先准备的L种倍率中的 M种以下倍率生成的各縮小图像和模板图像进行对照而检测出的各图像范 围的范围信息，而且根据该一个摄像图像之前输入的摄像图像的各范围信 息来确定一个摄像图像的图像范围，因此能够提高抑制误差影响而能够确 定图像范围的可能性。另外可以是，上述确定单元根据从上述对照单元送出的、上述一个摄 像图像的各范围信息及在上述之前输入的摄像图像的各范围信息中的、表 示处于以规定基准决定的接近的位置关系的各图像范围的各范围信息，确 定一个图像范围。
由此，根据表示处于接近的位置关系的各图像范围的、 一个摄像图像 与其之前输入的摄像图像的各范围信息，确定一个图像范围，因此能够抑 制误差影响而确定图像范围。
另外可以是，上述控制单元根据从上述对照单元送出的、在该摄像图 像之前输入的摄像图像的对照结果，决定指定给上述缩小图像生成单元的、
对一个摄像图像的上述M种以下倍率。
由此，在从一个摄像图像之前输入的摄像图像的縮小图像的生成中使 用的倍率中、例如选择了检测出与模板图像对应的图像时的倍率的情况下， 利用有关该检测的倍率生成一个摄像图像的縮小图像，因此在一个摄像图 像与其之前输入的摄像图像为相似的图像的情况下，能够进一步提高可检 测出一个摄像图像中包含的与模板图像对应的图像的可能性。
另外可以是，上述图像处理装置保持作为上述模板图像的候补的多个 模板候补图像，上述对照单元根据一个摄像图像之前输入的摄像图像的对 照结果，从上述模板候补图像中选择该一个摄像图像的对照中使用的上述 模板图像。
由此，例如在对于一个摄像图像之前输入的摄像图像检测出与模板图 像对应的图像的情况下，将该模板图像用于一个摄像图像的对照中，从而 在一个摄像图像与其之前输入的摄像图像为相似的图像的情况下，能够提 高可在较短的时间内检测出一个摄像图像中包含的与模板图像对应的图像 的可能性。
另外可以是，上述对照单元在通过对照各缩小图像和模板图像而检测 出对应于该模板图像的图像范围的情况下，将表示检测出的各图像范围的 各范围信息作为上述对照结果送出，上述确定单元根据从上述对照单元送 出的、 一个摄像图像的各范围信息及在该摄像图像之前输入的摄像图像的 各范围信息，进行上述确定。
由此，不仅是根据表示对于一个摄像图像以预先准备的L种倍率中的M种以下倍率生成的各縮小图像和模板图像进行对照而检测出的各图像范围的范围信息，而且根据该一个摄像图像之前输入的摄像图像的各范围信息，确定一个摄像图像的图像范围，因此能够提高抑制误差影响而能够确定图像范围的可能性。
另外可以是，上述确定单元根据从上述对照单元送出的、上述一个摄像图像的各范围信息及在上述之前输入的摄像图像的各范围信息中的、表示处于以规定基准决定的接近的位置关系的各图像范围的各范围信息，确定一个图像范围。
由此，根据表示处于接近的位置关系的各图像范围的、 一个摄像图像与其之前输入的摄像图像的各范围信息，确定一个图像范围，因此能够抑制误差影响而确定图像范围。
另外可以是，上述图像处理装置还包括显示单元，每当输入摄像图像时，该显示单元显示该摄像图像，并且在该摄像图像上的与上述确定单元对该摄像图像确定的图像范围对应的位置上，显示表示该图像范围的框。
在对被输入的摄像图像确定的图像范围的位置上显示框，因此用户能够容易识别作为确定处理对象的图像范围。


图1是图像处理装置100的功能模块图。图2是用于说明脸部检测装置180的脸部检测方法的图。图3是表示縮小ID与縮小率等的对应的一例的图。图4是用于说明摄像图像1000的图像存储器130上的配置的图。图5是表示图像处理装置100的动作的流程图。图6是表示确定电路184的脸部图像范围的确定处理的流程图。图7是用于以时间序列说明图像处理装置100确定脸部图像范围的过程的图。
图8是用于以时间序列说明现有图像处理装置确定脸部图像范围的过程的图。
图9是表示变形例的图像处理装置的动作的流程图。
图IO是表示包含实施方式中所说明的脸部检测装置180的半导体集成电路200的结构例的图。 标号说明
100图像处理装置 101处理器总线 102存储器总线 110照相机 120照相机输入电路 130图像存储器 140 LCD
150 LCD输出电路 160物体检测电路 170处理器 180脸部检测装置 181结果存储器 182分辨率变换电路 183脸部检测电路 184确定电路 200半导体集成电路
具体实施例方式
以下，说明本发明图像处理装置的一个实施方式。 《实施方式》 <概要>
本实施方式的图像处理装置从每规定时间(例如，33ms)摄像并生成 的各摄像图像中确定包含脸部图像的图像范围(以下，称作"脸部图像范 围")。
各摄像图像的尺寸为4VGA (1280X960像素)，尺寸较大，因此该图 像处理装置锁定其一部分区域的图像(以下，称作"检测对象图像")来进 行脸部图像的检测处理。这里，检测对象图像是利用以往进行的边缘检测 等方法检测出有某种物体的区域的图像。该图像处理装置以每既定尺寸对检测对象图像进行处理并检测脸部图 像。即，生成将该既定尺寸的图像(以下，称作"对照对象图像")逐渐减 小的各缩小图像，并将生成的各縮小图像和脸部图像的模板图像进行对照， 从而检测脸部图像。
作为生成各缩小图像时的缩小率，该图像处理装置能够使用被设定成
縮小的程度逐渐变大的12种縮小率，但不是对每一摄像图像使用12种縮 小率全部，而是使用其中的6中縮小率生成各縮小图像。
另外，在本实施方式中，假设该图像处理装置具有能够在规定时间以 内以6种縮小率生成縮小图像的处理能力。
并且，该图像处理装置利用连续摄像的两个摄像图像与模板图像的对 照结果，确定脸部图像范围。
如此，该图像处理装置以12种縮小率中的6种縮小率生成各縮小图像， 因此，抑制对各摄像图像的缩小图像的生成及对照所需要的处理量，并且 由于利用连续摄像的两个摄像图像的对照结果确定脸部图像范围，因此与 进行生成12种縮小图像并与其对照的处理的情况相比较，精度没有降低很 多而能够确定脸部图像范围。
<结构>
首先，说明图像处理装置100的结构。 图1是图像处理装置100的功能模块图。
图像处理装置100如该图所示，具有照相机110、照相机输入电路120、 图像存储器130、 LCD (Liquid Crystal Display:液晶显示器)140、 LCD输 出电路150、物体检测电路160、处理器170以及脸部检测装置180。
处理器170与其他构成元件的数据交换通过处理器总线101进行，并 且，除了照相机110以外的其他构成元件对图像存储器130的访问通过存 储器总线102来进行。
这里，照相机IIO具有以一定的帧率(例如，30Q)s (frame per second: 帧速))进行摄像，并将依次生成的4VGA尺寸的摄像图像(数据)发送给 照相机输入电路120的功能。
照相机输入电路120具有对从照相机110接收的摄像图像进行用于实 现高画质的各种过滤处理，并保存在图像存储器130中的功能。若将过滤处理后的摄像图像保存在图像存储130中，则照相机输入电路120将该内
容通知给处理器170。
图像存储器130是用于存储过滤处理后的摄像图像的存储区域。 LCD140包含液晶显示器(LCD)，具有根据LCD输出电路150的指示
显示图像的功能。
LCD输出电路150具有以与摄像帧率相同的帧率读出存储在图像存储 器BO中的摄像图像并在LCD140上显示，并且根据来自处理器170的指 示，将表示确定出的脸部图像范围的矩形框显示于LCD140上的功能。
物体检测电路160具有根据来自处理器170的指示，读出存储在图像 存储器130中的摄像图像，进行物体的检测处理，并将检测结果发送给处 理器170的功能，该检测结果包含表示检测的有无的信息。
该物体的检测，例如通过将没有拍摄有物体的状态的摄像图像与存储 在图像存储器130中的摄像图像的边缘检测结果进行比较来进行，特别地， 在检测出物体的情况下，将包含检测出的物体的矩形检测对象图像的坐标 值(例如，左上端及右下端的坐标值)包含在检测结果中发送给处理器170。
处理器170具有通过执行存储在内部存储器(未图示)中的控制程序， 进行图像处理装置100整体的控制及向装置内的各模块的指示及通知的功 能。
特别地，处理器170在从物体检测电路160接收到包含检测出的内容 的信息的检测结果的情况下，向脸部检测装置180通知检测对象图像的坐 标值(该检测结果中包含的坐标值)及生成各縮小图像时的縮小率，在从 物体检测电路160接收到包含未检测出的内容的信息的检测结果的情况下， 向脸部检测装置180通知该情况。
另外，处理器170具有根据从脸部检测装置180接收到的表示确定出 的脸部图像范围的坐标值等，使LCD输出电路150显示表示确定出的脸部 图像范围的矩形框的功能。
脸部检测装置180具有以既定尺寸(QVGA尺寸(320X240像素)单 位对处理器170通知的坐标值所表示的检测对象图像进行处理并确定脸部 图像范围的功能。更详细地讲，通过将縮小了该既定尺寸的图像(对照对 象图像)的各縮小图像与各模板图像进行对照，检测脸部图像，并根据对照结果确定脸部图像范围。
这里，各模板图像是脸部的方向各不相同的图像，通过利用各模板图 像进行比较，能够检测縮小图像所包含的朝向各个方向的脸部图像。
脸部检测装置180具有结果存储器181、分辨率变换电路182、脸部检 测电路183以及确定电路184。
这里，结果存储器181是用于保存脸部检测装置180处理中的摄像图 像的各对照结果的列表(以下，称作"结果列表")、和在该摄像图像的前 一个摄像的摄像图像的结果列表的存储区域。
分辨率变换电路182具有如下功能，即在处理器170通知的坐标值所 表示的检测对象图像中，决定作为縮小图像的生成对象的对照对象图像 (QVGA尺寸)，并生成将决定的对照对象图像以处理器170通知的各縮小 率进行縮小的各缩小图像，发送给脸部检测电路183。
另外，利用例如在PCT/JP2008/000961中公开的在检测对象图像中从 左上端到右下端设置重迭区域来决定的方法同样能够决定对照对象图像， 因此这里省略详细的说明。
并且，本实施方式中的縮小率表示使对照对象图像的尺寸(QVGA尺 寸)为"1"时的縮小后图像的尺寸比例。因此，縮小率大(例如，0.82) 意味着缩小的程度小，相反，缩小率小(例如，O.ll)意味着縮小的程度大。
并且，在本实施方式中，包括縮小率为1.0的情况即縮小图像为对照对 象图像其本身的情况在内都叫作縮小图像。
脸部检测电路183是通过对照从分辨率变换电路182接收的縮小图像 与各模板图像(分别为24X24像素的固定尺寸)，检测縮小图像中包含的 脸部图像的电路。
更详细地讲，对各模板图像进行在接收到的缩小图像中， 一边从左上 端像素到右下端像素移动模板图像， 一边与该模板图像对照的处理，并将 各对照结果作为对脸部检测装置180处理中的摄像图像的结果列表保存在 结果存储器181。
在上述对照结果中，除了包含表示有无检测的信息之外，特别是在检 测出脸部图像的情况下包含将检测出的矩形的脸部图像的左上端的坐标值 (縮小图像上的坐标值)变换为摄像图像上的坐标的坐标值、表示对包含检测出的脸部图像的缩小图像的缩小率的信息(以下，称作"縮小ID")、 以及检测中使用的模板的脸部方向的信息(以下，称作"模板ID")。
以下，作为一例，假设脸部检测电路183是利用脸部方向的正面、右 向、左向的三个模板图像进行对照的结构。另外，脸部方向为正面、右向、 左向的三个模板图像的模板ID分别为"0"、 T、 "2"。
此外，对于从上述的縮小图像上的坐标值到摄像图像上的坐标值的变 换，由于縮小图像与摄像图像处于相似关系，利用两个图像的水平方向尺 寸及垂直方向尺寸的比率进行简单的比例计算就能够实现，因此省略详细 的说明。
确定电路184具有如下功能，即根据对于脸部检测装置180处理中的 摄像图像及其前一个摄像的摄像图像的存储在结果存储器181中的各结果 列表所包含的各对照结果，确定脸部图像范围，并将表示确定出的脸部图 像范围的坐标值等发送给处理器170。关于脸部图像范围的确定方法将在后 面详细说明。
<脸部检测>
下面，说明脸部检测装置180的脸部检测方法。
图2是用于说明脸部检测装置180的脸部检测方法的图。
在该图中，对照对象图像1021即对照对象图像1022分别包含脸部图
像，包含在对照对象图像1021中的脸部图像大于包含在对照对象图像1022
中的脸部图像。
为了将对照对象图像1021和固定尺寸(例如，24X24)的模板图像进 行比较并检测脸部图像，需要将包含在对照对象图像1021中的脸部图像的 大小縮小到与模板图像的脸部图像的大小相同的程度。縮小图像1031表示 该縮小后的图像。
脸部检测电路183在缩小图像1031中，从左上端的像素开始到右下端 的像素， 一边移动模板图像一边进行对照，从而检测脸部图像。
从对照对象图像1022中检测脸部图像的情况也同样。脸部检测电路 183将縮小了对照对象图像1022的縮小图像1032和模板图像进行对照。
这里可知，缩小图像1032的尺寸大于縮小图像1031的尺寸，即縮小 图像1032的缩小程度比缩小图像1031的縮小程度低。这是因为，包含在对照对象图像1022中的脸部图像的大小小于包含在对照对象图像1021中 的脸部图像，所以能够以较低的縮小程度縮小到与模板图像的的脸部图像 的大小相同的程度。
如此，为了从对照对象图像中检测脸部图像，需要将以相应于对照对 象图像中包含的脸部图像的大小的縮小率縮小的縮小图像和模板图像进行 对照。但是，实际进行检测时，不知道在对照对象图像中包含的脸部图像 的大小，因此脸部检测电路183通过对照逐渐改变了缩小率的各缩小图像 和模板图像来检测脸部图像。
各缩小图像的縮小率例如可以如图3所示，每次1/1.22倍地逐渐改变 而决定。
图3是表示縮小ID和缩小率等的对应的一例的图。 在该图中，"(1/1.22) An"的记载表示(1/1.22)的n次方。 该图中表示，例如，縮小ID为"0"的情况下的缩小率为"(1/1.22)
A0，即1.0"，以对应的縮小率縮小对照对象图像的情况下的縮小图像的水
平方向尺寸为"320像素"，，垂直方向尺寸为"240像素"。
此夕卜，在缩小id为"11"的情况下的缩小率为"(1/1.22) aii倍"，缩
小图像的水平方向尺寸为"33像素"，垂直方向尺寸为"25像素"。
另外，若缩小图像的尺寸小于模板图像的尺寸(在该实施方式例子中
为24X24像素)，则不能进行对照，因此在该例中，縮小ID为"11"的情
况的縮小率最小，即，该情况的縮小程度最高。 <数据>
下面，说明摄像图像的图像存储器130上的配置。 图4是用于说明摄像图像1000的图像存储器130上的配置的图。 如上所述，摄像图像1000是4VGA( 1280X960像素)尺寸的图像数 据，构成摄像图像1000的各像素的像素值数据被连续存储在图像存储器
130上的连续区域。即，该图所示的像素以1001、 ......、 1002、 1003、……、
1004、……、1005的顺序存储在连续区域。
这里，若将存储像素1001的图像存储器130上的区域的地址值记为 BASE，则通过以下公式求出存储各像素数据的区域的地址值。另外，公式 中的水平方向尺寸是指摄像图像1000的水平方向尺寸即1280。另外，这里，将像素1001的坐标值设为(0， 0)，在右方向取X轴，在下方向取Y轴。 并且，假设一个地址表示保存一个像素量的像素数据的图像存储器130上 的区域而进行说明。 [公式1]
地址值-BASE+水平方向尺寸X Y坐标+X坐标
例如，保存坐标值为(640， 240)的像素1004的图像存储器130上的 区域的地址值为"BASE+1280X240+640"。
脸部检测装置180的分辨率变换电路182利用根据所决定的对照对象 图像的坐标值计算的地址值，能够从图像存储器130读出该对照对象图像。
<动作>
下面，对具备上述结构、处理上述数据的图像处理装置100的动作进 行说明。
图5是表示图像处理装置100的动作的流程图。
处理器170若从照相机输入电路120接收将摄像图像保存在图像存储 器130中的内容的通知，则计数摄像次数，并且使物体检测电路160开始 检测处理，若从该物体检测电路160接收检测结果，则判断该检测结果是 否包含检测出物体的情况的信息(步骤S1)。
在包含有检测出物体的情况的信息的情况下(步骤Sl:是)，处理器 170根据上述的摄像次数，判断有关该检测的摄像图像的摄像序号是否为第 偶数次(步骤S2)。例如，若摄像次数为1，则进行否定的判断，若摄像次 数为2，则进行肯定的判断。
处理器170在12种縮小ID中的有关检测的摄像图像的摄像序号为第 偶数个的情况下(步骤S2:是)，选择偶数缩小ID (0、 2、 4、……、10) (步骤S3)，在有关检测的摄像图像的摄像序号为第奇数个的情况下(步 骤S2:否)，选择奇数縮小ID (1、 3、 5、……、11)(步骤S4)。
处理器170将所选择的各縮小ID和在所接收的检测结果中包含的检测 对象图像的坐标值通知给脸部检测图像180 (步骤S5)。
脸部检测图像180的分辨率变换电路182在处理器170通知的坐标值 所表示的检测对象图像中决定一个对照对象图像(步骤S6)，并按照公式1 所示的数学公式1，计算存储有所决定的对照对象图像的图像存储器130
18上的地址值，从图像存储器130读出该对照对象图像(步骤S7)。
分辨率变换电路182选择在步骤S5中通知的各縮小ID中的一个縮小 ID，生成以对应于所选择的缩小ID的縮小率将读出的对照对象图像进行缩 小的縮小图像，并发送给脸部检测电路183 (步骤S8)。这里，分辨率变换 电路182例如从尚未被选择的各缩小ID中选择最小的縮小ID。
脸部检测电路183在结果存储器181中生成对于脸部检测装置180处 理中的摄像图像的空的结果列表，并对于各模板图像，在从分辨率变换电 路182接收的縮小图像中一边从左上端的像素开始到右下端的像素移动该 模板图像， 一边进行对照，将对照结果登录在生成的结果列表中(步骤S9)。
分辨率变换电路182判断是否选择了在步骤S5中通知的所有缩小ID (步骤SIO)，在没有选择所有缩小ID的情况下(步骤S10:否)，为了以 未选择的縮小ID生成缩小图像，重新从步骤S7开始进行处理。
另一方面，在选择了所有縮小ID的情况下(步骤S10:是)，判断是 否处理了检测对象图像整体(步骤Sll)，在没有处理检测对象图像整体的 情况下(步骤S11:否)，为了处理下一对照对象图像，重新从步骤S6开 始进行处理。
另外，在步骤Sll中处理了检测对象图像整体的情况下(步骤Sll:是)， 确定电路184根据在结果存储器181中存储的两个结果列表中包含的各对 照结果，进行脸部图像范围的确定处理(步骤S12)。
另一方面，在步骤S1中，在从物体检测电路160接收到的检测结果中 包含没有检测出物体的情况的信息的情况下(步骤Sl:否)，处理器170 将该情况通知给脸部检测装置180，脸部检测电路183在结果存储器181 中生成对脸部检测装置180处理中的摄像图像的空的结果列表，确定电路 184与上述的同样，进行脸部图像范围的确定处理(步骤S12)。
根据作为步骤S12的处理结果而从确定电路184发送来的确定出的脸 部图像范围的信息，处理器170将应该在摄像图像上描绘的脸部图像范围 的坐标值(左上端的坐标值及右下端的坐标值)通知给LCD输出电路150， LCD输出电路150在从图像存储器130读出的摄像图像上描绘表示处理器 170通知的脸部图像范围的矩形，显示在LCD140，结束一系列的处理。另 外，作为步骤S12的处理结果而从确定电路184接收到未能确定脸部图像范围的情况的通知的情况下，处理器170可以不向LCD输出电路150通知 上述的坐标值，也可以根据最近一次从确定电路184接收到的确定的脸部 图像范围的信息，进行上述的坐标值的通知。
以下，对步骤S12的脸部图像范围的确定处理进行说明。 图6是表示确定电路184的脸部图像范围的确定处理的流程图。 确定电路184对于在结果存储器181中保存的两个结果列表各自所包 含的各对照结果，根据该对照结果中包含的检测出的脸部图像的左上端的 坐标值(摄像图像上的坐标值)和縮小ID，计算检测出的脸部图像的中心 点(步骤S13)。
例如，在检测出的脸部图像的左上端的坐标值为(92， 48)，縮小ID 为"2"的情况下，根据模板图像的尺寸(24X24像素)和对应于縮小ID 的縮小率((1/1.22) a2)，能够算出脸部图像的尺寸为"36X36像素"。因 此，能够算出该检测出的脸部图像的中心点为(92+36/2， 48+36/2)，即(IIO， 66)。
另外，在物体检测电路160没有检测出物体的情况下(步骤S1:否)，
如上所述，仅生成空的结果列表，该结果列表未包含对照结果。并且，在
脸部检测电路183完全没有检测出脸部图像的情况下，结果列表所包含的 各对照结果中没有包含坐标值。因此，有时作为结果，仅对一个结果列表 所包含的各对照结果，计算中心点。
此外，虽然没有作出特别的图示，但在哪个结果列表中都没有包含检 测出的脸部图像的左上端的坐标值的情况下，确定电路184将未能确定出 脸部图像范围的情况通知给处理器170，结束确定处理。
确定电路184判断在计算的各中心点中是否有未被决定组的点(步骤 S14)，在有未被决定组的中心点的情况下(步骤S14:是)，选择该未被决 定组的中心点中的一个中心点(步骤S15)。以下，将该中心点称作"选择 点"。另外，确定电路184例如在尚未被决定组的中心点中，选择与包含最 小的縮小ID的对照结果中包含的坐标值对应的中心点。
确定电路184从选择点以外的未被决定组的其他中心点中，将该选择 点的縮小ID的规定范围(例如，士2以内)的縮小ID的中心点，作为属 于该选择点所属的组的中心点的候补(步骤S16)。以下，将该成为候补的各中心点称作"候补点"。
例如，在选择点的縮小ID为"2"的情况下，縮小ID为"0" ~ "4" 的中心点成为候补点。
确定电路184计算选择点与各候补点的距离(步骤S17)，并将计算出 的距离在规定值(例如20)以内的候补点决定为属于与选择点相同的组的 点(步骤S18)。
例如，假设选择点的坐标值为(110， 66)，候补点的坐标值为(118， 68)，则两点的距离为"8.2"，该候补点被决定为属于与选择点相同的组的 占。
确定电路184根据属于相同的组的各中心点的坐标值及各脸部图像的 大小，确定一个脸部图像范围，并将该确定出的脸部图像范围的左上端的 坐标值及大小发送给处理器170 (步骤S19)。
更详细地讲，例如，在上述例子中，有决定为相同的组的两个中心点 (110， 66)和(118， 68)的情况下，各中心点的坐标值的平均值为(114， 67)。
此外，若假设以(110， 66)为中心点的脸部图像的大小如上所述，是 "36X36像素"，以(118， 68)为中心点的脸部图像的大小例如为"44X 44像素"，则这些脸部图像的大小的平均值为"40X40像素"。
确定电路184将中心点为计算出的各中心点的坐标的平均值为(114， 67)、大小为计算出的脸部图像的大小的平均值为"40X40像素"的图像范 围确定为一个脸部图像范围，并将所确定的脸部图像范围的左上端的坐标 值(114-40/2， 67-42/2)即(94， 47)和大小"40X40像素"发送给处理 器170.
若步骤S19的处理结束，则确定电路184重新从步骤S14开始进行处 理，在没有未被决定组的中心点的情况下(步骤S14:否)，从结果存储器 181中删除脸部检测装置180处理中的摄像图像的前一个摄像图像的结果 列表，结束脸部图像范围的确定处理。
<考察>
以下，利用图7、图8比较说明图像处理装置IOO及现有的图像处理装 置分别确定脸部图像范围的过程。<图像处理装置100>
首先，说明图像处理装置ioo。
图7是用于以时间序列说明图像处理装置100确定脸部图像范围的过 程的图。
这里，摄像图像表示照相机110以33ms间隔摄像并生成的摄像图像 1011-1013。摄像图像1011 1013的摄像序号是n n+2， n是偶数。
此外，显示图像表示以33ms间隔显示在LCD140上的显示图像 1041~1043。
首先，若在T1生成摄像图像1011，则由于在该例子中摄像图像1011 的摄像序号是第偶数个，所以直到T2利用偶数缩小ID (0、 2、……、10) 生成各缩小图像，并进行与各模板的对照处理。
接着，若在T2生成摄像图像1012，则对于该摄像图像1012，利用奇 数縮小ID (1、 3、……、11),与T1的摄像图像1011同样地进行縮小处 理及对照处理，并且对摄像图像1011进行脸部图像范围的确定处理。
该脸部图像范围的确定是根据对摄像图像1011的各对照结果以及对摄 像图像1011的前一个摄像的摄像图像的各对照结果来进行的，在摄像图像 lOll上描绘表示被确定的脸部摄像范围的矩形框Sl (显示图像1041)，显 示持续到T3。
另外，在显示图像1041上图示有用虚线表示的椭圆C0、 Cl和用虚线 表示的各矩形，但这些是用于说明的手段，实际上不会显示。这在显示图 像1042、 1043中也一样。
这里，用虚线表示的各矩形表示检测出的各脸部图像，椭圆CO表示包 含从摄像图像1011的前一个摄像的摄像图像中检测出的各脸部图像的范 围，椭圆Cl表示包含从摄像图像1011中检测出的各脸部图像的范围。
艮P，根据椭圆ci所包含的各脸部图像和椭圆co所包含的各脸部图像，
进行对摄像图像1011的脸部图像范围的确定。
接着，若在T3生成摄像图像1013，则对于该摄像图像1013，利用偶 数缩小ID (0、 2、……、10)，与Tl的摄像图像1011同样地进行縮小处 理及对照处理，对于摄像图像1012，与T2的摄像图像1011同样地进行脸 部图像范围的确定处理，在摄像图像1012上描绘表示被确定的脸部图像范围的矩形框S2 (显示图像1042)，显示持续到T4。
对摄像图像1012的脸部图像范围的确定根据从摄像图像1012中检测 出的各脸部图像(椭圆C2所包含的各脸部图像)和从摄像图像1011中检 测出的各脸部图像(椭圆C1所包含的各脸部图像)来进行。
然后，对摄像图像1013也同样处理。
可知，通过这样显示的显示图像1041~1043的各矩形框S1 S3能够显 示在实际显示的脸部图像的附近。 <现有的图像处理装置>
接着，说明将对一个摄像图像使用12种所有的缩小率而生成的各缩小 图像与各模板图像进行对照的现有的图像处理装置。
图8是用于以时间序列说明现有的图像处理装置对脸部图像范围进行 确定的过程的图。
这里，与在图7中说明的同样，摄像图像表示以33ms间隔摄像并生成 的摄像图像2011-2015,2011~2013是与图7的1011-1013完全相同的图像。 另外，各摄像图像的摄像序号为n n+4。
另外，显示图像表示以33ms间隔显示的显示图像2021 2025。
以下，假设现有的图像处理装置对一个摄像图像完成缩小处理和对照 处理所需要的时间为66ms而进行说明。
首先，在T1生成摄像图像2011，则到T3之间利用所有缩小ID (0、 2、……、11)生成各縮小图像，并进行与各模板的对照处理。
接着，在T2，由于对摄像图像2011的与所有缩小图像的对照尚未结束， 因此只有摄像图像2011按原样显示(显示图像2021)。另外，在T2生成 摄像图像2012，但由于对摄像图像2011的与所有縮小图像的对照尚未结 束，因此这里，不进行对摄像图像2012的縮小处理及对照处理。
接着，在T3，根据T1 T3的摄像图像2011的对照结果，对摄像图像 2011进行脸部图像范围的确定处理，在摄像图像2012上描绘表示被确定的 脸部图像范围的矩形框S10 (显示图像2022)，显示持续到T4。并且，该 现有的图像处理装置通过取检测出的各脸部图像的各坐标值及大小的各自 的平均值，确定脸部图像范围。
另外，在T3生成摄像图像2013，则对于摄像图像2013，到T5为止利用所有缩小ID (0、 2、……、11)，与T1的摄像图像2011同样地进行縮 小处理及对照处理。
接着，在T4，由于对摄像图像2013的与所有缩小图像的对照尚未结 束，因此在摄像图像2013上依然描绘表示对于摄像图像2011确定的脸部 图像范围的矩形框SIO (显示图像2023)，显示持续到T5。
然后，同样地，在摄像图像2014及摄像图像2015上分别描绘表示对 于摄像图像2013确定的脸部图像范围的矩形框S11(显示图像2024、2025)， 显示图像2024在T5 T6之间显示，显示图像2025在T6 T7之间显示。
如上所述，现有的图像处理装置利用所有的缩小ID生成各缩小图像并 与各模板图像进行对照的结果，导致该縮小处理及对照处理所需要的时间 比摄像间隔时间(在该例中33ms)长，相反脸部图像的检测精度下降。特 别是，在依然显示表示上次确定出的脸部图像范围的矩形框的显示图像 2023、 2025中，出现实际显示的脸部图像的位置及矩形框的位置的偏差较 大的不良情况。
这样，本发明实施方式的图像处理装置100根据本装置的处理能力， 将对应于12种缩小率中的6种偶数縮小ID的各缩小率和对应于6种奇数 縮小ID的各縮小率交替地用于每一个摄像图像而生成各縮小图像，因此能 够在摄像间隔时间(在该例中33ms)以内进行对各摄像图像的縮小处理和 对照处理，产生如现有的图像处理装置的不良情况。
另外，利用该摄像图像及其前一个摄像的摄像图像的各对照结果，确 定各摄像图像的脸部图像范围，因此能够抑制误差的影响，精度良好地确 定脸部图像范围。 《变形例》
以下，对替换图像处理装置生成各缩小图像时所用的各縮小率的选择 方法的一变形例进行说明。
变形例的图像处理装置(以下，称作"变形图像处理装置")变更了一 些上述图像处理装置100的处理器170的功能及脸部检测电路183的功能， 因此，这里仅对变更部分进行说明。
<动作>
对变形图像处理装置的动作进行说明。图9是表示变形图像处理装置的动作的流程图。
如该图所示，变形图像处理装置的动作在取代图5的步骤S9的处理而 包含步骤S22这一点上与图像处理装置100的情况不同。
这里，步骤S22的处理与步骤S9的处理的不同点是，变形例的脸部检 测电路将对照结果不仅登录在结果存储器181中生成的结果列表中，而且 向变形例的处理器送出。
另外，变形图像处理装置的动作与图像处理装置100的情况的不同点 是，除了图5所示的各处理以外，还包含步骤S20及S21的处理。
这里，变形例的处理器在从物体检测电路160接收的检测结果中包含 有检测出物体的情况的信息的情况下(步骤S1:是)，根据在上述步骤S21 中从变形例的脸部检测电路送出的对照结果，判断从处理中的摄像图像的 前一个摄像的摄像图中是否检测出脸部图像(步骤S20)。 gp，仅在该对照 结果中包含有检测出的情况的信息的情况下，进行肯定的判断。另外，在 对于前一个摄像的摄像图像从物体检测电路160接收的检测结果中包含有 未检测出物体的情况的信息的情况下，进行否定的判断。
在从前一个摄像的摄像图像中没有检测出脸部图像的情况下(步骤 S20:否)，进行步骤S2的处理，根据处理结果，在步骤S3或S4中进行缩 小ID的选择。
另外，在从前一个摄像的摄像图像中检测出脸部图像的情况下(步骤 S20:是)，从包含检测出的内容的信息的各对照结果中包含的各縮小ID及 那些縮小ID的周边的縮小ID中选择6个以下的縮小ID (步骤S21 )。
例如，在包含检测出的内容的信息的对照结果中包含的縮小ID为"2"
的情况下，其周边的縮小ID为"1"及"3"。因此，在该例中作为縮小ID 选择~ "3"。
另外，在选择的縮小ID的数为小于6的情况下，还可以选择任意的縮 小ID，以使选择的縮小ID的数为6。
这样，将在步骤S21、步骤S3、或步骤S4中选择的縮小ID和接收的 检测结果中包含的检测对象图像的坐标值通知给变形例的脸部检测装置通 (步骤S5)，其后，与对图5说明的一样进行处理。
<补充>以上，根据实施方式及变形例说明了本发明的图像处理装置，但当然 也能够进行如下的变形，本发明不限于上述的实施方式及变形例中示出的 图像处理装置。
(1) 将在实施方式及变形例中说明的各构成要素中的全部或一部分可 以通过计算机程序实现，也可以通过一个芯片或多个芯片的集成电路实现。
图IO是表示包含对应于实施方式中说明的脸部检测装置180的半导体 集成电路的半导体集成电路200的结构例的图。
如该图所示，半导体集成电路200包含对应于脸部检测装置180的半 导体集成电路，根据适用半导体集成电路200的装置的用途，此外还包含 ROM210、图像编码电路220以及声音处理部230等。
半导体集成电路200 —般由CMOS等MOS晶体管构成，通过MOS晶 体管的连接结构，实现确定的逻辑电路。近年来，半导体集成电路的集成 度提高，通过一个或多个半导体集成电路能够实现非常复杂的逻辑电路， 因此能够使脸部检测装置180小型化，并且能够实现低耗电力。
另外，将半导体集成电路200作为包含对应于实施方式的脸部检测装 置180的半导体集成电路的结构进行了说明，但是也可以包含对应于变形 例的脸部检测装置的半导体集成电路。
(2) 在实施方式及变形例中，对在摄像图像中包含多个脸部图像的情 况、即检测出多个检测对象图像的情况，特别举例说明，但也可以进行对 多个检测对象图像分别检测脸部图像的处理。
(3) 在实施方式及变形例中，使摄像图像尺寸为4VGA尺寸、使对照 对象图像尺寸为QVGA尺寸、使模板图像的尺寸为24X24像素而进行了 说明，但不限于此，也可以分别为任意尺寸。
(4) 在实施方式及变形例中，将模板图像为3种而进行了说明，但模 板图像的数量不限于此。即，也可以仅为朝向正面的模板图像一种，也可 以按照脸的每个角度利用多于3种的模板图像进行对照。
(5) 实施方式及变形例的脸部检测装置将縮小图像与多个模板图像的 每一个模板图像进行对照，但也可以根据保存在结果存储器181中的对前 一个摄像图像的结果列表内的对照结果，锁定用于对照的模板图像。
艮卩，也可以与模板ID所表示的模板图像进行对照，该模板ID被包含在前一个摄像图像的包含检测出的情况的信息的对照结果中。
(6) 在实施方式及变形例中，作为不管是否检测出脸部图像都对检测 对象图像的所有对照对象图像进行对照的结构进行了说明，但在一定基准
(例如，与模板图像的一致度为既定的阈值以上的情况)之下判断为检测 出脸部图像的情况下，也可以结束对该摄像图像的检测处理。
(7) 在实施方式及变形例中，作为检测脸部图像的结构进行了说明， 但也可以检测脸部图像以外的确定图像。作为确定图像，例如可以是附加 在人或物体上的识别标签，在该情况下，还可以考虑从检测出的识别标签 的信息识别个人或物体的种类等利用。
(8) 实施方式及变形例的物体检测电路160通过比较没有拍摄有物体 的状态的摄像图像与存储在图像存储器130中的摄像图像的边缘检测结果， 检测物体，但这是一个例子，例如也可以通过获取连续生成的摄像图像的 像素值的差分来检测。
(9) 在实施方式及变形例中说明了如图3所示，縮小率每次变化 (1/1.22) an倍的例子，但这是一个例子，只要将各縮小率设定成以最小的
縮小率缩小时的图像(即，縮小程度最高的图像)的尺寸比模板图像的尺 寸大即可，例如，可以每次变化(1/1.25) ~倍。
(10) 在实施方式及变形例中，作为图像处理装置的动作说明了如图5 及图9的步骤S6 S8所示，对于决定的一个对照对象图像， 一边按照序号 改变缩小ID—边生成縮小图像的例子，但也可以对于一个縮小ID， 一边 按照序号改变对照对象图像的位置， 一边生成縮小图像。
(11) 在实施方式及变形例中，如图5、图9的步骤S7所示，将分辨 率变换电路182作为在生成各缩小图像时每次从图像存储器130中读出对 照对象图像的结构进行了说明，但是也可以将生成的縮小图像进行存储， 并利用存储的某縮小图像生成其他縮小率的縮小图像。例如，在处理器170 通知偶数缩小ID的情况下，从图像存储器130中读出一次对照对象图像， 并以縮小ID对应于O的縮小率生成缩小图像，然后通过将生成的縮小图像 进行(1/1.22) a2倍，能够生成缩小ID对应于2、 4、 、 10的縮小图像。
(12) 在实施方式及变形例中，作为图像处理装置的动作，说明了如图5及图9的步骤S2 S4所示，在摄像图像的摄像序号是第偶数个的情况 下(步骤S2:是)，选择偶数缩小ID (步骤S3)，在有关检测的摄像图像 的摄像序号是第奇数个的情况下(步骤S2:否)，选择奇数縮小ID (步骤 S4)，但是可以与其相反。即，可以替换步骤S3及S4。
(13) 在实施方式及变形例中，将物体检测电路160及处理器作为不 包含在脸部检测装置中的结构进行了说明，但是也可以将物体检测电路160 及处理器的全部或一部分包含在脸部检测装置中。
(14) 在实施方式及变形例中，说明了由分辨率变换电路182进行图5 及图9所示的对照对象图像的决定处理(步骤S6)的情况，但也可以由处 理器进行，并将决定的对照对象图像的坐标值通知给分辨率变换电路182。
(15) 在实施方式及变形例的处理器使物体检测电路160对所有的摄 像图像进行检测处理，但也可以在物体检测电路160—旦检测之后，物体 检测电路160不对一定数量的摄像图像进行检测处理，而是从经过该一定 数量之后的摄像图像开始重新进行检测处理。
在该情况下，处理器对不使物体检测电路160进行检测处理的期间的 各摄像图像，将最近一次从物体检测电路160接收的检测结果中包含的检 测对象图像的坐标值通知给脸部检测装置。
另外，处理器在该期间不将检测对象图像的坐标值通知给脸部检测装 置，脸部检测装置一旦将处理器通知的检测对象图像的坐标值进行存储， 直到处理器下一次通知检测对象图像的坐标值，在该坐标值所表示的对照 对象图像中决定对照对象图像。
另外，脸部检测电路在检测出脸部图像时，将有关该检测的对照对象 图像的摄像图像中的坐标值进行存储，在处理器没有通知检测对象图像的 坐标值的期间，对于处理对象的摄像图像，仅对存储中的坐标值所表示的 对照对象图像进行处理。
(16) 另外，实施方式及变形例的处理器使物体检测电路160对所有 的摄像图像进行检测处理，但一旦检测出之后不再使物体检测电路160进 行检测处理，直到从脸部检测装置接收未能确定出脸部图像范围的内容的 通知。作为有关该期间的对照处理的各对照对象图像的决定方法，可以考 虑与上述(15)相同的变化。(17) 实施方式及变形例的确定电路184将确定出的脸部图像范围的 左上端的坐标值及大小发送给处理器，但若能够确定脸部图像范围，则也 可以发送其他信息，例如也可以发送右下端的坐标值及大小，也可以发送 左上端及右下端的坐标值。
另外，说明了处理器将检测对象图像的左上端及右下端的坐标值通知 给脸部检测装置的情况，但若同样能够确定出检测对象图像则可以通知其 他信息，例如，可以通知左上端或右下端的坐标值及该图像的大小。
另外，物体检测电路160包含于检测结果中而发送给处理器的检测对 象图像的左上端及右下端的坐标值也一样。
(18) 在实施方式的<考察>中，说明了如图7所示，在T1 T2，对摄 像图像1011进行缩小处理及对照处理，从T2开始进行对摄像图像1011的 脸部图像范围的确定处理的情况，但在图像处理装置100的处理能力有余 的情况下，也可以在摄像间隔时间(在上述例中33ms)内对一个摄像图像 进行缩小处理、对照处理及确定处理。
另外，也可以通过减小图像处理装置100生成的縮小图像的数量，同 样在摄像间隔时间内进行縮小处理、对照处理及确定处理。并且，若减小 生成的缩小图像的数量，则一般降低检测脸部图像时的精度，因此在该变 形例中，前提是即使在减小了縮小图像的数量的情况下，也要保证该图像 检测装置能够容许的精度范围。
这些变形也可以适用于变形图像处理装置。
(19) 实施方式及变形例的图像处理装置利用12种縮小ID中的6种 以下的縮小ID对各摄像图像生成縮小图像，但是也可以由用户选择使用 12种縮小ID全部的模式和使用6种以下的縮小ID的模式中的任一个，生 成相应于该选择结果的数量的縮小图像。
假设了以实施方式及变形例的图像处理装置的处理能力不能在规定时 间(该例中为33ms)以内生成12种縮小图像全部，但关于几乎为静止状 态的被摄体，即使在经过该规定之后检测出确定图像，也不会产生确定出 的图像范围与实际拍摄有被摄体的范围偏差大的问题。因此，用户例如在 摄像静止的人的情况下，选择使用12种縮小ID全部的模式，从而能够更 正确地确定脸部图像范围。(20) 实施方式及变形例的确定电路184根据一个摄像图像与其前一 个摄像图像的两个结果列表中包含的各对照结果，确定该一个摄像图像中 包含的脸部图像范围，但是也可以根据三个以上结果列表中包含的各对照 结果，确定该一个摄像图像中包含的脸部图像范围。例如，可以根据两个 前的摄像图像的各对照结果进行确定。该情况下，需要在结果存储器181 中存储对两个前的摄像图像的结果列表。
另外，在实施方式及变形例中，作为一个摄像图像之前输入的摄像图 像说明了使用前一个摄像图像的例子，但不限于此，例如可以使用一个摄 像图像的两个前的摄像图像。即，可以考虑根据一个摄像图像与其两个前 的摄像图像的两个结果列表中包含的各对照结果，确定在该一个摄像图像 中包含的脸部图像范围的变形。
(21) 实施方式及变形例的处理器对每一摄像图像从12种缩小ID中 选择用于生成縮小图像的缩小ID，但是作为选择源的缩小ID当然不限于 12种。即，可以比12种多，也可以少。
另外，实施方式的处理器对每一摄像图像选择6种縮小ID，但所选择 的缩小ID的数量当然不限于此。gP，若选择图像处理装置在规定时间以内 能够生成的縮小图像数量以下的縮小ID，则选择的縮小ID的数量可以为 任意个，也可以改变对每一摄像图像选择的缩小ID的数量。
(22) 变形例的处理器如图9所示，对于每一摄像图像，在对该摄像 图像的前一个摄像图像没有检测出脸部图像时(步骤S20:否)，按照摄像 顺序交替地选择偶数縮小ID和奇数縮小ID (步骤S2 S4)，但也可以选择 任意6种以下的縮小ID。
(23) 变形例的处理器如图9的步骤S21所示，选择从前一个摄像图 像中检测出脸部图像时的縮小ID与其周边的縮小ID，但是也可以仅选择 检测出时的缩小ID，或其周边的缩小ID。此时，在选择的縮小ID的数量 为6以下的情况下，为了使选择的縮小ID的数量为6，可以选择任意的縮 小ID,也可以按照序号选择0~11的缩小ID。这同样能够适用于在步骤S21 中选择的縮小ID的数量为6以下的情况。
(24) 在实施方式及变形例中，分别说明了对每一摄像图像以12种縮 小ID (该项中称作"候补ID")中的6种以下的縮小ID (该项中称作"选择ID")生成缩小图像的例子，但可以进行如下的变形。
(a) 在候补ID的数量L为偶数、选择ID的数量M (M<L)大于L/2 的情况下，可以对每一摄像图像交替地选择L/2种偶数縮小ID及M-L/2种 奇数缩小ID、与L/2奇数縮小ID及M- L/2种偶数縮小ID。
例如，在L为12、 M为7的情况下，对每一摄像图像交替地选择6种 偶数缩小ID及一种奇数縮小ID、与6种奇数缩小ID及一种偶数縮小ID。
另外，若对一个摄像图像选择的縮小ID的数量为M以下，则可以任 意调节对每一摄像图像选择的偶数縮小ID与奇数縮小ID的数量，例如， 可以改变对每一摄像图像选择的偶数縮小ID与奇数縮小ID的数量的细目。 此时，分别选择的偶数縮小ID、奇数縮小ID可以选择所有偶数縮小ID、 奇数縮小ID中的任一个，也可以按照序号选择。
(b) 在候补ID的数量L为奇数、选择ID的数量M (M<L)大于L/2 的情况下，对每一摄像图像交替地选择(L+1 )/2种偶数縮小ID及M-(L+1) /2种奇数縮小ID、与(L-l) /2的奇数縮小10及^1- (L-l) /2种偶数縮小 ID。
此时，M- (L+l) /2种奇数縮小ID可以选择所有奇数縮小ID中的任 一个，也可以按照序号选择。另外，对于M- (L-l) /2种偶数縮小ID也同 样。
例如，在L为ll、 M为6的情况下，对每一摄像图像交替地选择6种 偶数缩小ID、 5种奇数縮小ID及一种偶数缩小ID。
另外，若对一个摄像图像选择的縮小ID的数量为M以下，则可以任 意调节对每一摄像图像选择的偶数縮小ID与奇数缩小ID的数量，这与上 述(a)的情况相同。
(c) 在选择ID的数量M (M>L)小于候补ID的数量L/2的情况下， 可以对每一摄像图像交替地选择M种以下的偶数縮小ID与M种以下的奇 数縮小ID。该M种以下的偶数縮小ID、 M种以下的奇数縮小ID分别可以 选择所有偶数縮小ID、所有奇数縮小ID中的任一个，也可以按照序号选 择。
例如，在L为12、 M为5的情况下，对每一摄像图像交替地选择任意 5以下的偶数縮小ID与任意5种以下的奇数縮小ID。另夕卜，若对一个摄像图像选择的縮小ID的数量为M以下，则可以任 意调节对每一摄像图像选择的偶数縮小ID与奇数縮小ID的数量，这与上 述(a)的情况相同。
(25)本发明的图像处理装置的縮小图像生成单元相当于实施方式及 变形例的分辨率变换电路182，对照单元相当于脸部检测电路，确定单元相 当于确定电路184，控制单元相当于处理器，显示单元相当于处理器、LCD 输出电路150及LCD140。
产业上的可利用性
本发明的图像处理装置能够利用于数码相机等的脸部图像的检测。
权利要求
1、一种图像处理装置，在每规定时间摄像并依次输入的摄像图像中，确定作为确定处理对象的图像范围，其特征在于，包括缩小图像生成单元，具有根据被输入的一个摄像图像，在上述规定时间内生成K种倍率的缩小图像的处理能力，生成从各不相同的L种倍率中指定的倍率的缩小图像，其中K≥1，L＞K；对照单元，将由上述缩小图像生成单元生成的各缩小图像与模板图像进行对照，送出对照结果；确定单元，根据从上述对照单元送出的对照结果，确定上述图像范围；以及控制单元，每当输入摄像图像时，根据对该摄像图像之前输入的摄像图像指定的倍率，选择对该摄像图像的M种以下的倍率，将选择的M种以下的倍率指定给上述缩小图像生成单元而使其生成各缩小图像，使上述对照单元对照所生成的各缩小图像，并至少根据该对照结果，使上述确定单元确定对该摄像图像的上述图像范围，其中M≤K。
2、 如权利要求l所述的图像处理装置，其特征在于， 每当输入摄像图像时，上述控制单元将下述两种倍率作为上述M种以下的倍率而交替地指定给上述縮小图像生成单元，该两种倍率为，包含将上述 L种倍率按升序或降序排列的情况下的从开头开始的序号为第奇数个的各倍 率中的N个倍率的M个以下的倍率、以及包含将上述L种倍率按升序或降 序排列的情况下的从开头开始的序号为第偶数个的各倍率中的N个倍率的M 个以下的倍率，其中N《M。
3、如权利要求2所述的图像处理装置，其特征在于， 上述控制单元根据从上述对照单元送出的、对该摄像图像的表示检测出 与模板图像对应的图像的情况的对照结果，选择对在一个摄像图像之前输入 的摄像图像指定的M种以下的倍率中的一个以上倍率，并使所选择的倍率包 含于指定给上述縮小图像生成单元的、对上述一个摄像图像的上述M种以下 的倍率中。
4、如权利要求2所述的图像处理装置，其特征在于，上述控制单元根据从上述对照单元送出的、对该摄像图像的表示检测出 与模板图像对应的图像的情况的对照结果，选择对在一个摄像图像之前输入的摄像图像指定的M种以下的倍率中的一个以上倍率，并使将上述L种倍率 按升序或降序排列的情况下的从开头开始的序号为所选择的倍率的序号的紧 前或紧后的倍率包含于对上述一个摄像图像的上述N个倍率中。
5、 如权利要求2所述的图像处理装置，其特征在于， 上述对照单元在通过对照各缩小图像和模板图像而检测出对应于该模板图像的图像范围的情况下，将表示检测出的各图像范围的各范围信息作为 上述对照结果送出，上述确定单元根据从上述对照单元送出的、 一个摄像图像的各范围信息 及在该摄像图像之前输入的摄像图像的各范围信息，进行上述确定。
6、 如权利要求5所述的图像处理装置，其特征在于， 上述确定单元根据从述对照单元送出的、上述一个摄像图像的各范围信息及在上述之前输入的摄像图像的各范围信息中的、表示处于以规定基准决 定的接近的位置关系的各图像范围的各范围信息，确定一个图像范围。
7、 如权利要求l所述的图像处理装置，其特征在于， 上述控制单元根据从上述对照单元送出的、在该摄像图像之前输入的摄像图像的对照结果，决定指定给上述縮小图像生成单元的、对一个摄像图像 的上述M种以下倍率。
8、 如权利要求l所述的图像处理装置，其特征在于， 上述图像处理装置保持作为上述模板图像的候补的多个模板候补图像， 上述对照单元根据一个摄像图像之前输入的摄像图像的对照结果，从上述模板候补图像中选择该一个摄像图像的对照中使用的上述模板图像。
9、 如权利要求l所述的图像处理装置，其特征在于， 上述对照单元在通过对照各缩小图像和模板图像而检测出对应于该模板图像的图像范围的情况下，将表示检测出的各图像范围的各范围信息作为 上述对照结果送出，'上述确定单元根据从上述对照单元送出的、 一个摄像图像的各范围信息 及在该摄像图像之前输入的摄像图像的各范围信息，进行上述确定。
10、 如权利要求9所述的图像处理装置，其特征在于，上述确定单元根据从上述对照单元送出的、上述一个摄像图像的各范围 信息及在上述之前输入的摄像图像的各范围信息中的、表示处于以规定基准 决定的接近的位置关系的各图像范围的各范围信息，确定一个图像范围。
11、 如权利要求l所述的图像处理装置，其特征在于，上述图像处理装置还包括显示单元，每当输入摄像图像时，该显示单元 显示该摄像图像，并且在该摄像图像上的与上述确定单元对该摄像图像确定 的图像范围对应的位置上，显示表示该图像范围的框。
12、 一种图像处理装置的图像处理方法，该图像处理装置在每规定时间 摄像并依次输入的摄像图像中，确定作为确定处理对象的图像范围，该图像 处理方法的特征在于，包括-缩小图像生成步骤，具有根据被输入的一个摄像图像，在上述规定时间 内生成K种倍率的縮小图像的处理能力，生成从各不相同的L种倍率中指定 的倍率的縮小图像，其中K》1， L>K;对照步骤，将在上述缩小图像生成步骤中生成的各縮小图像与模板图像 进行对照，送出对照结果；确定步骤，根据从上述对照步骤送出的对照结果，确定上述图像范围；以及控制步骤，每当输入摄像图像时，根据对该摄像图像之前输入的摄像图 像指定的倍率，选择对该摄像图像的M种以下的倍率，将选择的M种以下 的倍率指定给上述缩小图像生成步骤而使其生成各縮小图像，使得在上述对 照步骤中对照所生成的各縮小图像，并至少根据该对照结果，使得在上述确 定步骤确定对该摄像图像的上述图像范围，其中M《K。
13、 一种图像处理用集成电路，在每规定时间摄像并依次输入的摄像图 像中，确定作为确定处理对象的图像范围，其特征在于，包括縮小图像生成单元，具有根据被输入的一个摄像图像，在上述规定时间 内生成K种倍率的縮小图像的处理能力，生成从各不相同的L种倍率中指定 的倍率的缩小图像，其中K^1， L>K;对照单元，将由上述縮小图像生成单元生成的各縮小图像与模板图像进 行对照，送出对照结果； '确定单元，根据从上述对照单元送出的对照结果，确定上述图像范围；以及控制单元，每当输入摄像图像时，根据对该摄像图像之前输入的摄像图像指定的倍率，选择对该摄像图像的M种以下的倍率，将选择的M种以下的倍率指定给上述缩小图像生成单元而使其生成各縮小图像，使上述对照单元对照所生成的各縮小图像，并至少根据该对照结果，使上述确定单元确定对该摄像图像的上述图像范围，其中M《K。
全文摘要
一种图像处理装置，在每规定时间摄像并依次输入的摄像图像中，确定作为确定处理对象的图像范围，具有根据被输入的一个摄像图像，在上述规定时间内生成K(K≥1)种倍率的缩小图像的处理能力，每当输入摄像图像时，根据对该摄像图像之前输入的摄像图像指定的倍率，从各不相同的L(L＞K)种倍率中选择对该摄像图像的M(M≤K)种以下的倍率，并将以选择的M种以下的倍率生成的各缩小图像与模板图像进行对照，根据对照结果确定上述图像范围。
文档编号G06T1/00GK101690168SQ20098000048
公开日2010年3月31日 申请日期2009年4月22日 优先权日2008年4月25日
发明者富田裕人, 杉泽裕史 申请人:松下电器产业株式会社