对象决定装置和摄像装置的制作方法

专利名称：对象决定装置和摄像装置的制作方法
技术领域：
本发明涉及可有效应用于摄像静态图像和动态图像等的装置(数字相机(digital still camera)和数字摄像机(digital video camera)等)的技术。
背景技术：
在摄像装置中配备有对特定的被摄物体进行对焦的自动聚焦、和根据特定的被摄物体执行曝光控制的自动曝光控制等技术。以往，对在帧内预先规定的特定位置(例如帧内的中央点)存在的被摄物体实施自动聚焦或自动曝光控制。然而，根据用户的成帧(framing)喜好，用户想关注的被摄物体，即想作为自动聚焦或自动曝光控制的对象的被摄物体并不限于位于帧的中央。在这种情况下，用户操作摄像装置以使想关注的被摄物体移动到帧内的特定位置，在该条件下进行了自动聚焦或自动曝光控制后，必须实施与喜好对应的成帧，进行这种处理是极其麻烦的作业。
作为解决该问题的技术，有为了确定要进行对焦的对象或曝光控制对象而预先实施摄像(以下把这种摄像称为“预备摄像”)的技术。在进行预备摄像的技术中，使用在预备摄像中所摄像的图像来确定对焦或曝光控制的对象。
作为进行预备摄像的技术的具体例，有与视场(图像内)的人物的位置/范围无关地对图像内的人物的脸进行对焦的技术(参照专利文献1)。同样，有与图像内的人物的位置/范围无关地对图像内的人物进行合适曝光的技术(参照专利文献2)。
在上述现有技术中，当在画面内检测出多个脸时，把距中央部近的脸的至少一部分作为测距区域来进行自动对焦控制。并且，作为同样在画面内检测出多个脸的情况下的技术，也具有自动地使画面内的全体人员进入景深的技术(参照专利文献3)。
专利文献1特开2003-107335号公报专利文献2特开2003-107555号公报专利文献3特开2003-092699号公报发明内容然而，在现有技术(例如专利文献1～3所述的技术)中存在以下问题。即，存在的问题是，如果在通过预备摄像获得的图像中最初焦点相对于主要被摄物体大幅偏离，则存在不能检测主要被摄物体即脸的可能性。
作为解决该问题的方法，有通过在预备摄像阶段进行焦点控制，来摄像可检测到主要被摄物体的图像的方法。具体地说，例如有从通过预备摄像获得的多个图像中检测主要被摄物体的方法。在该方法中，在预备摄像时摄像多个已进行了对焦的图像。然后，根据该多个图像实施主要被摄物体的脸检测。因此，即使在某图像中由于主要被摄物体的脸模糊而不能检测的情况下，也能在其它图像中检测出主要被摄物体的脸。
然而，在这种方法，必须对多个图像执行脸检测。并且，为了在摄像装置中摄像多个已对焦了的图像，有必要进行焦点调节。因此，与现有的方法相比，存在对焦处理需要时间的问题。
在本发明中，第一目的是解决该问题，在摄像装置中在预备摄像阶段不进行焦点控制，快速检测成为对焦或曝光控制的对象的主要被摄物体。
另外，在通过进行上述预备摄像来决定对焦或曝光控制的对象的情况下，存在以下问题。在预备摄像的图像内所检测出的人脸的数目不一定是一个。在所检测出的人脸的数目是一个的情况下，只要无条件地对该脸进行对焦或曝光控制即可。然而，在预备摄像的图像内检测出多个人物的脸的情况下，应对哪个脸进行对焦或曝光控制，迄今为止尚未作过充分考虑。例如，具有根据在帧中央所拍摄的人脸是用户期望作为被摄物体的脸的方针，对距帧中央最近的人脸进行对焦或曝光控制的技术。然而，这种技术是以用户最期望作为被摄物体的脸在帧内为一个这样的前提为基础的，如果在帧内存在多个被同等期望作为被摄物体的脸，则不能可靠地应对。
在本发明中，第二目的是解决该问题，提供在预备摄像中检测出多个人物的脸的情况下，判断应对哪个脸进行对焦或曝光控制的装置。
〔第一方式〕在以下说明中，肤色意味着所有人的肤色，不限于特定人种的肤色。
为了达到上述第一目的，本发明采用以下的结构。本发明的第一方式是一种对象决定装置，包括脸检测单元和决定单元。
脸检测单元把根据任意的焦点信息所摄像的图像作为处理对象的图像，从前述处理对象的图像中检测人脸。任意的焦点信息可以是规定的焦点信息。这里，规定的焦点信息是预先定为一个的焦点信息，而不是动态变化的焦点信息。因此，在根据规定的焦点信息来摄像图像的装置，即摄像被输入到脸检测单元中的图像的摄像装置中，期望的是预先实施基于该规定的焦点信息的焦点控制。例如，期望的是，根据该焦点信息预先实施聚焦镜头等的控制。
通过这样预先控制摄像装置，就没有必要在摄像被输入到脸检测单元中的图像时重新实施焦点控制。因此，摄像被输入到脸检测单元中的图像所需要的时间缩短。
然而，在这样根据规定的焦点信息所摄像的图像中，存在焦点没有对准图像中的被摄物体的可能性。因此，在被输入到脸检测单元中的图像中，存在本来应被检测的脸的图像模糊，被不清晰地摄像的可能性。
因此，本发明的第一方式包含的脸检测单元构成为也检测被不清晰地摄像的脸的图像。具体地说，脸检测单元根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值检测人脸。即，本发明的第一方式包含的脸检测单元不是根据由图像中的边缘等构成的形状，而是根据特征区域的统计量的相对值来进行脸的检测。特征区域的统计量是特征区域内的像素值的合计、平均、分布等的值。相对值是例如比、差分、统计距离、互熵等的值。并且，也可以根据特征区域的浓淡值的相对值来执行脸检测。
在被不清晰地摄像的图像中，难以识别由边缘等构成的形状。然而，关于某特征区域的统计量，即使是例如被不清晰地摄像的图像也能取得。因此，本发明的第一方式包含的脸检测单元可以从根据规定的焦点信息所摄像的图像(处理对象的图像)中检测人脸。
决定单元根据由脸检测单元所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。在实施摄像时进行对焦的被摄物体和成为进行曝光控制的对象的被摄物体可以是由脸检测单元所检测出的脸本身，也可以是构成所检测出的脸的各部位(眼、鼻、口、耳、额等)。
在这样构成的本发明的第一方式中的对象决定装置中，从根据任意的焦点信息(规定的焦点信息)所摄像的图像中检测人脸，根据所检测出的脸决定成为对焦对象的被摄物体或成为进行曝光控制的对象的被摄物体。如上所述，通过预先按照规定的焦点信息对摄像装置进行焦点控制，可快速地摄像根据规定的焦点信息来摄像的图像。并且，从该图像中检测人脸，决定成为对焦对象的被摄物体或成为进行曝光控制的对象的被摄物体。
因此，根据本发明的第一方式中的对象决定装置，在摄像装置中在预备摄像阶段不进行焦点控制，可快速地检测和决定成为进行对焦或曝光控制的对象的主要被摄物体(脸或脸的部位等)。
并且，根据本发明的第一方式中的对象决定装置，即使在构成为在摄像装置中取得多张预备摄像的图像的情况下，也可以从更少的预备摄像图像中检测脸。因此，可削减预备摄像所需要的时间和脸检测所需要的时间。
本发明的第一方式中的脸检测单元可以构成为按以下所述来检测人脸。即，首先在所摄像的图像中决定关注区域。关注区域是与所摄像的图像大小相同的区域或者更小的区域。
然后，脸检测单元求出该关注区域内的特征区域即第一区域和第二区域的统计量的相对值。第一区域和第二区域分别是关注区域内的不同区域。
然后，脸检测单元根据所求出的统计量的相对值，判断在关注区域内是否包含有人脸。脸检测单元可以构成为通过例如对某阈值和统计量的相对值进行比较来进行该判断。并且，脸检测单元也可以构成为通过参照将统计量的相对值、和在算出某统计量的相对值的情况下表示在关注区域内是否包含有人脸的值对应起来进行存储的表，来进行该判断。而且，脸检测单元根据该判断来检测人脸。
本发明的第一方式中的决定单元也可以构成为在脸检测单元检测出多个脸的情况下，按以下所述来决定进行对焦的被摄物体或成为进行曝光控制的对象的被摄物体。即，决定单元首先根据由脸检测单元所检测出的多个脸各自的图像信息决定一个脸。脸的图像信息表示从脸的图像中所获得的信息，例如是脸的朝向、脸的图像的大小、图像内的脸的位置、周围的脸的密度等。
周围的脸的密度由例如在所检测出的脸的一定周围(一定的周围区域)存在的脸的数目来表示。如果该值大，则在周围存在许多脸，例如表示所检测出的脸的人被包含在集体内。另一方面，如果该值小，则在周围存在的脸少，例如表示在所检测出的脸的人与集体分离的场所，存在单独的或几个人。
而且，决定单元根据所决定的脸，决定进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
在这样构成的本发明的第一方式中，根据多个脸的图像信息，判断根据哪个脸来决定进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。因此，即使在由脸检测单元检测出多个脸的情况下，用户也不用实施选择，而由决定单元从多个脸中选择一个脸。
本发明的第一方式中的决定单元可以构成为对多个脸各自的图像大小进行比较，根据其大小为最大的脸来决定进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
多个脸中的最大图像的脸一般在距摄像装置最近的位置处。因此，根据这样构成的本发明的第一方式，用户不用实施脸的选择，而是位于距摄像装置最近的位置处的脸被确定，根据该脸来决定进行对焦的被摄物体或成为进行曝光控制的对象的被摄物体。
由于对摄像装置而言越是位于跟前的物体，图像就越模糊，因而一般来说必须针对对摄像装置而言位于跟前的物体进行对焦。并且，对摄像装置而言位于跟前的脸与位于后面的脸相比，包含对进行摄像的用户而言的主要被摄物体或者就是主要被摄物体本身的可能性(以下表现为“脸的重要性”)高。在这点上，根据位于距摄像装置最近的位置的脸来决定进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体是有效的。
本发明的第一方式中的决定单元也可以构成为针对各脸，根据脸的朝向、脸的大小、在图像内的位置、或者周围的脸的密度中的任意一项或多项而算出得分。此时，决定单元把该算出的得分用作图像信息。
在这样构成的本发明的第一方式中的对象决定装置中，根据脸的朝向、脸的大小、在图像内的位置、或者周围的脸的密度等来评价各脸。例如，脸的朝向是面向正面的脸被评价为其脸的重要性比面向侧面的脸高。并且，例如，脸的大小较大的脸被评价为脸的重要性比小的脸高。并且，例如，在图像内的位置是接近中央的脸被评价为脸的重要性比位于远离中央的区域内的脸高。并且，周围的脸的密度高的脸被评价为脸的重要性比周围的脸的密度低的脸高。然而，该评价的高低可以由设计者或用户来任意设定。
根据这样构成的本发明的第一方式，根据这种评价的高低设定，选择得分高即重要性高的脸。
本发明的第一方式中的决定单元也可以构成为在脸检测单元检测出多个人脸的情况下，按以下所述来决定进行对焦的被摄物体和/或成为曝光控制的对象的被摄物体。即，决定单元按照对由脸检测单元所检测出的多个脸的实物分别进行测距所得的结果，决定进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。该测距可以由例如摄像装置中所具备的测距单元或测距装置来实施，也可以由对象决定装置中所具备的测距单元来实施。然而，该测距由于必须测量摄像装置和脸的实物的距离，因而如果摄像装置和对象决定装置相分离，则不能进行由对象决定装置中所具备的测距单元所实施的测距。
测距通过例如对脸的实物射出红外线来实现(有源方式)。并且，测距也可以应用这种有源方式以外的方式(例如无源方式)。而且，决定单元根据其距离为最小的脸来决定进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。这样，根据摄像装置和脸的实物的距离为最小的脸来决定进行对焦的被摄物体或成为进行曝光控制的对象的被摄物体的效果如上所述。
〔第二方式〕本发明的第二方式是一种摄像装置，包括摄像单元、脸检测单元、决定单元、信息取得单元以及图像存储单元。
摄像单元摄像基于规定的焦点信息或者由信息取得单元所取得的焦点信息和/或曝光控制信息的图像。规定的焦点信息是预先决定为一个的焦点信息，而不是动态变化的焦点信息。另一方面，由信息取得单元所取得的焦点信息不是预先决定的焦点信息，而是动态变化的焦点信息。更具体地说，是通过脸检测单元、决定单元以及信息取得单元所决定的焦点信息。即，是用于根据所检测出的脸来决定进行对焦的被摄物体，对该所决定的被摄物体对焦的焦点信息，在没有通过信息取得单元输出的焦点信息的情况下，摄像单元被控制成可取得基于规定的焦点信息的图像的状态。而且，当有摄像指示时，取得基于规定的焦点信息的图像。另一方面，在通过信息取得单元输出有焦点信息或曝光控制信息的情况下，摄像单元被控制成可取得基于这些信息的图像的状态。而且，当有摄像指示时，摄像单元取得基于该焦点信息或曝光控制信息的图像。
脸检测单元从基于规定的焦点信息的处理对象的图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸。决定单元根据由脸检测单元所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。本发明的第二方式的脸检测单元和决定单元基本上具有与本发明的第一方式中的脸检测单元和决定单元相同的结构和作用。
信息取得单元取得用于对由决定单元所决定的被摄物体对焦的焦点信息和/或用于把由决定单元所决定的被摄物体作为对象进行曝光控制的曝光控制信息。
图像存储单元存储由摄像单元根据由信息取得单元所取得的焦点信息和/或曝光控制信息而摄像的图像。即，当由信息取得单元取得了焦点信息或曝光控制信息时，摄像单元根据该焦点信息或曝光控制信息实施焦点控制或曝光控制。通过该焦点控制，对由决定单元所决定的被摄物体进行对焦。并且，通过该曝光控制，实施与由决定单元所决定的被摄物体对应的曝光控制。然后，摄像单元执行摄像，图像存储单元存储所摄像的图像的数据。
并且，本发明的第二方式可以构成为还具有测距单元，其对从摄像装置到任意被摄物体的距离进行测距。然而，在信息取得单元构成为通过对被摄物体的实物和摄像装置的距离进行测距来取得焦点信息的情况下，可以具备信息取得单元作为测距单元的替代单元。即，在该情况下，信息取得单元作为测距单元进行动作。
在这样构成本发明的第二方式的情况下，决定单元构成为在脸检测单元检测出多个人脸的情况下，按照测距单元对多个脸的实物分别进行测距所得的结果，根据其距离为最小的脸来决定进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
在本发明的第二方式中，在摄像装置中配备作为本发明的第一方式的对象决定装置。因此，作为摄像装置，可获得与本发明的第一方式相同的效果。
〔第三方式〕本发明的第三方式是一种对象决定方法，是包含以下各步骤的方法。首先，信息处理装置从根据任意焦点信息所摄像的图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸。然后，信息处理装置根据所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。这样构成的本发明的第三方式获得与本发明的第一方式相同的效果。
〔第四方式〕本发明的第四方式是一种摄像方法，是包含以下各步骤的方法。以下，列举该各步骤。信息处理装置指示摄像装置对基于规定的焦点信息或者由信息取得单元所取得的焦点信息的图像进行摄像的步骤。信息处理装置从由摄像装置根据规定的焦点信息所摄像的图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸的检测步骤。信息处理装置根据所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体的决定步骤。信息处理装置取得用于对所决定的被摄物体进行对焦的焦点信息和/或用于把所决定的被摄物体作为对象来进行曝光控制的曝光控制信息的步骤。信息处理装置指示存储装置存储由摄像装置根据所取得的焦点信息和/或曝光控制信息所摄像的图像的步骤。
并且，本发明的第四方式可以构成为还包含信息处理装置指示测距装置对从摄像装置到任意被摄物体的距离进行测距的步骤。在该情况下，如果在检测步骤中检测出多个人脸，则信息处理装置在决定步骤中，按照测距装置对多个脸的实物分别进行测距所得的结果，根据其距离为最小的脸来决定进行前述对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
在这样构成的本发明的第四方式中，把本发明的第三方式中的对象决定方法作为包含在摄像方法中的步骤来执行。因此，在本发明的第四方式中，可取得与本发明的第三方式相同的效果。
〔第五方式〕本发明的第五方式是一种对象决定装置，包括检测单元和决定单元。检测单元从根据任意的焦点信息所摄像的图像中检测具有人的肤色的被摄物体。作为具有人的肤色的被摄物体的例子，有人的脸、手、身体等。通过这样构成检测单元，尽管不能准确地检测人物的脸，然而可削减检测处理所需要的时间。并且，也能削减检测单元的安装所需要的时间和成本。
决定单元根据由检测单元所检测出的被摄物体，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
在第五方式中，检测单元检测具有人的肤色的被摄物体。即，本发明的第五方式所包括的检测单元与本发明的第一方式一样，不进行基于由图像中的边缘等构成的形状的检测。
在被不清晰地摄像的图像中，难以识别由边缘等构成的形状。然而，即使从例如被不清晰地摄像的图像中也能检测出具有某特定颜色的被摄物体。因此，本发明的第五方式所包括的检测单元能够从根据规定的焦点信息所摄像的图像中检测存在是人脸的可能性的被摄物体，即具有人的肤色的被摄物体。
〔第一方式的变形〕本发明的第一方式可以构成为还包括帧取得单元，该帧取得单元从根据任意的焦点信息所摄像的包含多个帧的时序图像中取得规定的帧的图像作为处理对象的图像。在这样构成的情况下，第一方式中的脸检测单元把由帧取得单元所取得的规定的帧的图像作为处理对象。
在这样构成的本发明的第一方式中，对于包含多个帧的时序图像，可取得与本发明的第一方式相同的作用/效果。
并且，本发明的第一方式中的决定单元可以构成为在由脸检测单元检测出多个人脸时，根据该多个人脸的位置，从该多个人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。通过这样构成，可取得与后述的本发明的第六方式相同的作用/效果。
并且，本发明的第一方式中的决定单元可以构成为在由脸检测单元检测出多个人脸时，以所检测出的脸的数目为基准把位于其正中的人脸决定为在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。通过这样构成，可取得与后述的本发明的第七方式相同的作用/效果。
并且，本发明的第一方式中的决定单元可以构成为包括分类单元，在由脸检测单元检测出多个人脸时，其把所检测出的多个人脸分类为多个集合；暂定决定单元，其针对多个集合中的各个集合，从该集合内所包含的人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及最终决定单元，其从由暂定决定单元所决定的脸中最终决定成为对象的脸。通过这样构成，可取得与后述的本发明的第八方式相同的作用/效果。
并且，本发明的第一方式可以构成为还包含区决定单元，其根据脸检测单元的检测结果来决定选择区，该选择区用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。在这样构成的情况下，决定单元构成为从选择区内所包含的脸中决定成为对象的脸。通过这样构成，可取得与后述的本发明的第九方式相同的作用/效果。
并且，本发明的第一方式可以构成为还包含判断单元，在由脸检测单元检测出多个人脸时，其判断所检测出的人脸中的最大的脸；以及选择单元，其从所检测出的脸中选择最大的脸和具有以该最大的脸的大小为基准的规定范围内的大小的脸。在这样构成的情况下，决定单元构成为从所选择的脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。通过这样构成，可取得与后述的本发明的第十方式相同的作用/效果。
并且，本发明的第一方式可以构成为还包括分类单元，在由前述脸检测单元检测出多个人脸时，将所检测出的多个人脸根据各自的位置分类为多个集合；以及集合决定单元，其从多个集合中决定选择集合，该选择集合用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。在这样构成的情况下，决定单元构成为从由集合决定单元所决定的选择集合内所包含的脸中决定成为对象的脸。
〔第二方式的变形〕本发明的第二方式可以构成为摄像单元摄像包含多个帧的时序图像。本发明的第二方式在这样构成的情况下，构成为还包括帧取得单元，其从由摄像单元所摄像的包含多个帧的时序图像中取得规定的帧的图像。并且，脸检测单元构成为从由帧取得单元所取得的图像中检测人脸。并且，图像存储单元构成为存储由摄像单元所摄像的时序图像。
在这样构成的本发明的第二方式中，对于包含多个帧的时序图像，可取得与本发明的第二方式相同的作用/效果。
并且，本发明的第二方式可以构成为还包括显示单元，其把由决定单元所决定的人脸与其它脸区别开来显示。显示单元例如把框显示在所决定的人脸的周围，从而与其它脸区别开来显示。另外，显示单元例如在所决定的人脸的周围显示与在其它脸的周围所显示的框有不同的颜色、粗细或形状的框，从而与其它脸区别开来显示。另外，显示单元例如对所决定的人脸实施与其它脸不同的图像处理并显示，从而与其它脸区别开来显示。显示单元通过进行这种显示，使用户可以容易地判断是根据哪个脸来决定成为对焦对象的被摄物体等的。
〔第六方式〕为了达到上述第二目的，本发明采用以下结构。本发明的第六方式是一种对象决定装置，包括检测单元和决定单元。本发明的第六方式根据所检测的脸的位置，决定成为应进行对焦和曝光控制的对象的脸。另外，由本发明的第六方式所决定的脸可以作为任何处理的对象，而不限于对焦和曝光控制。例如，可以作为进行颜色校正(白平衡校正)、轮廓强调等处理的对象。
具体地说，检测单元从所输入的图像中检测人脸。检测单元只要是能从图像中检测多个人脸的技术，可以应用现有的任何脸检测技术。例如，可以检测具有肤色的区域作为脸区域。作为其它例子，有使用脸或脸的部位的模板的检测技术、以及根据浓淡差来检测脸区域的技术等。
在检测单元检测出多个人脸时，决定单元根据该多个人脸的位置，从该多个人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。决定单元不是通过独立考虑各个脸的位置来进行决定，而是根据多个脸的位置来进行决定。即，决定单元至少根据多个脸的相对位置关系来进行决定。决定单元可以把脸的位置看作脸部所包含的点的位置，也可以看作脸区域的位置。
另外，可以构成为对由决定单元所决定的脸的一部分(例如眼、鼻、额、口、耳)进行对焦或曝光控制。
根据本发明的第六方式，根据所检测出的多个脸的位置，决定成为对焦或曝光控制的对象的脸。因此，即使在从进行了预备摄像得到的图像中检测出比应成为对焦或曝光控制的对象的脸的数目多的脸的情况下，也能决定规定数目的脸。
并且，不是针对所检测出的各个脸的位置独立考虑，而是根据多个脸的相对位置决定成为对焦或曝光控制的对象的脸。因此，根据所检测出的多个脸的状况(例如脸的密集程度、脸密集的位置)来决定成为对焦或曝光控制的对象的脸。因此，能够进行与所检测出的多个脸的状况对应的对焦处理或曝光控制。
下面，对本发明的第六方式中的决定单元的更具体结构进行说明。本发明的第六方式中的决定单元可以构成为包括中心决定单元和脸决定单元。
中心决定单元根据在检测单元中检测出的多个人脸的位置，决定这些多个人脸的位置的中心。这里所说的中心表示概念中心。例如，在针对某3点称为中心的情况下，表示外心、内心、垂心、重心等多个概念中心。这样，这里所说的中心表示根据某概念所求出的正中。
具体地说，中心决定单元可以构成为求出与多个人脸的位置外接的多边形的中心。此时，多边形可以是具有预先决定的数目的顶点的多边形。在该情况下，所生成的多边形没有必要一定具有所有的人脸作为顶点。
例如，在外接的多边形是三角形的情况下，中心决定单元取得所求出的三角形的外心、内心、垂心、重心中的任意一个作为中心。
并且，例如，在外接的多边形是四边形的情况下，中心决定单元取得所求出的四边形的对角线的交点作为中心。并且，例如，在外接的多边形是四边形的情况下，中心决定单元可以构成为把该四边形分割成二个三角形，分别针对各三角形取得外心、内心、垂心、重心中的任意一个，根据所取得的2点取得中心。
并且，例如，在外接的多边形的顶点数是大于等于5点的情况下，中心决定单元可以构成为把外接的多边形分割成多个三角形，针对各三角形取得外心、内心、垂心、重心中的任意一个，使用所取得的点构成新的多边形，通过针对该多边形重复上述处理来取得中心。
并且，中心决定单元可以构成为把多个人脸的位置的重心决定为中心。
下面，对脸决定单元的结构进行说明。脸决定单元根据由中心决定单元所求出的中心的位置，决定成为对象的脸。脸决定单元根据在实施摄像时成为对焦对象的脸和/或成为进行曝光控制的对象的脸的数目，决定成为对象的脸。
具体地说，脸决定单元可以构成为把位于距中心最近的人脸决定为成为对象的脸。
并且，脸决定单元可以构成为从位于距中心规定距离内的脸中，按照规定的基准决定成为对象的脸。规定的基准例如可以是基于脸的大小的基准(例如决定最大的脸的基准，决定中间大小的脸的基准，决定最小的脸的基准)，可以是基于图像中的脸的位置的基准(例如距图像中央最近的脸的基准)，可以是基于脸的朝向的基准(例如面向正面的脸的基准)，可以是基于类似于脸的基准(例如决定表示类似于脸的程度的量为最大的脸的基准)，可以是基于根据脸所推测的性别的基准(例如决定被推测为男性的脸的基准，决定被推测为女性的脸的基准)，可以是基于根据脸所推测的年代的基准(决定被推测为最年轻的年代的脸的基准，决定被推测为中间年代的脸的基准)，也可以是其它任何基准。并且，规定的基准也可以是将上述基准适当进行多个组合后的基准。
在这样构成的本发明的第六方式中，作为多个脸的相对位置的基准，根据多个脸的位置的中心，来决定成为对焦或曝光控制的对象的脸。例如，位于多个脸的大致中心处的脸被决定为应成为对焦或曝光控制的对象的脸。在对集体进行摄影的状况(多个脸密集的状况)下，多数情况用户都是对该集体的中央附近的脸(无意识地)进行对焦或曝光控制。因此，通过自动实现这种用户的手动操作，可节省用户的工夫。因此，在自动聚焦或自动曝光控制中，一般期望的是对位于集体中的多个脸的中央附近的脸进行对焦或曝光控制。而且，根据上述构成的本发明的第六方式，可自动进行上述的期望的控制，可节省用户的工夫。
并且，本发明的第六方式中的决定单元可以构成为把多个人脸中的位于最下方的脸决定为成为前述对象的脸。另外，最下方的脸没有必要是严格地位于最下方的脸，可以是例如位于从下开始第2的脸，也可以是位于从下开始第3的脸。在人脸纵向排列的状态下进行集合拍照的情况下，一般越是位于下方的脸是距摄像装置的距离越近的脸。例如，在前排人蹲下、后排人站立进行拍照的情况下，就成为上述状态。并且，例如，在使用高台进行集合拍照的情况下，就成为上述状态。因此，通过把位于最下方的脸视为对焦或曝光控制的对象的脸，对距摄像装置最近的脸执行对焦或曝光控制的可能性变大。
本发明的第六方式可以构成为还包括分类单元和集合决定单元。分类单元在由检测单元检测出多个人脸时，将所检测出的多个人脸根据各自的位置分类为多个集合。更具体地说，分类单元通过使用一般的分类方法，把所检测出的多个脸分类为多个集合，以使得图像中的位置相近的脸被包含在同一集合内。
集合决定单元从由分类单元所分类的多个集合中决定(选择)用于决定成为对焦或曝光控制的对象的脸的集合(即，包含成为对焦或曝光控制的对象的脸的集合称为“选择集合”)。即，从由集合决定单元所决定的选择集合内所包含的脸中最终决定成为对焦或曝光控制的对象的脸。
集合决定单元根据哪种基准来决定选择集合均可。例如，集合决定单元可以根据各集合内所包含的脸的数目决定选择集合，可以根据各集合内所包含的多个脸的位置的中心决定选择集合，可以根据基于各集合内所包含的脸所取得的特征量(例如，基于脸的大小、脸的朝向、脸的数目等所取得的量，表示根据脸所推测的特定性别的频率、根据脸所推测的特定年代的频率或者类似于脸的程度的量)决定选择集合。
在本发明的第六方式构成为包括上述分类单元和集合决定单元的情况下，决定单元构成为根据选择集合内所包含的人脸，从选择集合内所包含的人脸中决定成为对象的脸。
根据这样构成的本发明的第六方式，图像中的多个脸被分为多个集合，从多个集合中决定用于决定成为处理对象的脸的选择集合。然后，决定单元从所决定的选择集合内所包含的脸中最终决定成为处理对象的脸。
因此，在图像中存在多个脸的集合的情况下，不是根据多个集合内所包含的所有脸来决定成为处理对象的脸，而是仅根据其中任意一个集合内所包含的脸来决定成为处理对象的脸。因此，可进行仅与由集合决定单元所决定的选择集合内所包含的脸对应的控制。例如，在图像中有多个人的集体相分离而存在的情况下，可对任意一个集体进行特定的对焦和/或曝光控制，而不是对这些集体进行平均的处理。并且，例如在图像中存在集体和孤立的人的情况下，可进行不包含该孤立的人而仅特别针对集体，或者仅特别针对孤立的人的对焦和/或曝光控制。
本发明的第六方式可以构成为还包括显示单元，该显示单元把由决定单元所决定的人脸与其它脸区别开来显示。显示单元通过例如在所决定的人脸的周围显示框，与其它脸区别开来显示。另外，显示单元通过例如在所决定的人脸的周围显示与在其它脸的周围所显示的框具有不同的颜色、粗细或形状的框，与其它脸区别开来显示。另外，显示单元例如通过对所决定的人脸实施与其它脸不同的图像处理并显示，与其它脸区别开来显示。
〔第七方式〕本发明的第七方式是一种对象决定装置，包括检测单元和决定单元。其中，检测单元采用与本发明的第六方式相同的结构。
本发明的第七方式中的决定单元在由检测单元检测出多个人脸时，以所检测的脸的数目为基准把位于其正中的人脸决定为成为对焦或曝光控制的对象的脸。该决定单元对所检测出的脸的数目进行计数，根据所计数的数的中间值来决定脸。例如，该决定单元将各脸根据其x坐标进行排序，把上述与中间值的顺序相当的脸决定为成为对象的脸。该决定单元也可以根据y坐标而不是x坐标来决定成为对象的脸。并且，该决定单元可以构成为根据x坐标和y坐标分别选择脸，在选择了同一个脸的情况下，把该脸决定为成为对象的脸，在选择了不同的脸的情况下，根据规定的基准把其中任意一个脸决定为成为对象的脸。
根据本发明的第七方式，可类似地取得与构成为根据多个脸的位置的中心来决定成为对象的脸的本发明的第六方式相同的效果。并且，根据本发明的第七方式，没有必要取得多个脸的位置的中心。即，只要执行脸的计数和数据排序就够了，没有必要执行几何计算。因此，在使用通用的信息处理装置的情况下，与本发明的第六方式相比可快速地执行处理。
并且，本发明的第七方式可以与本发明的第六方式一样，构成为还包括分类单元和集合决定单元。在该情况下，本发明的第七方式中的决定单元根据选择集合内所包含的人脸，决定成为对象的脸。
〔第八方式〕本发明的第八方式是一种对象决定装置，包括检测单元、分类单元、暂定决定单元以及最终决定单元。其中，检测单元和分类单元采用与本发明的第六方式相同的结构。
本发明的第八方式中的暂定决定单元在由分类单元所生成的多个集合中的各个集合中，暂定决定成为对焦或曝光控制的对象的脸。换句话说，暂定决定单元针对多个集合中的各个集合，从该集合内所包含的人脸中，决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。此时，暂定决定单元根据哪种基准来决定成为对象的脸均可。例如，暂定决定单元可以通过与本发明的第六方式或第七方式所示的决定单元相同的处理，来决定成为对象的脸。另外，例如，暂定决定单元可以根据本发明的第六方式的脸决定单元的规定基准，来决定成为对象的脸。
本发明的第八方式中的最终决定单元从由暂定决定单元所决定的脸中最终决定成为对焦或曝光控制的对象的脸。例如，最终决定单元可以通过与本发明的第六方式或第七方式所示的决定单元相同的处理，从各集合中由暂定决定单元所决定的脸中最终决定成为对象的脸。另外，例如，最终决定单元可以根据本发明的第六方式的脸决定单元的规定基准，从各集合中由暂定决定单元所决定的脸中，最终决定成为对象的脸。
根据本发明的第八方式，可获得与构成为还包括分类单元和集合决定单元的本发明的第六方式或第七方式相同的效果。并且，根据本发明的第八方式，在维持因包括分类单元和集合决定单元而获得的效果的状态下，可以在决定成为对象的脸时根据各种基准来决定该脸。
〔第九方式〕本发明的第九方式是一种对象决定装置，包括检测单元、区决定单元以及决定单元。
本发明的第九方式中的检测单元在将所输入的图像进行分割而得到的多个区的各区中检测人脸。可以预先决定将所输入的图像分成什么样的区，也可以动态决定。
区决定单元根据检测单元的检测结果，决定用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸的区(即包含成为对焦或曝光控制的对象的脸的区称为“选择区”)。例如，可以根据与本发明的第六方式中的集合决定单元相同的基准来决定区。
本发明的第九方式中的决定单元从选择区内所包含的脸中决定成为对象的脸。此时，该决定单元可以根据哪种基准来决定成为对象的脸均可。例如，该决定单元可以通过与本发明的第六方式或第七方式所示的决定单元相同的处理，来决定成为对象的脸。另外，例如，该决定单元可以根据本发明的第六方式的脸决定单元的规定基准，决定成为对象的脸。
〔第十方式〕本发明的第十方式是一种对象决定装置，包括检测单元、判断单元、选择单元以及决定单元。其中，检测单元采用与本发明的第六方式相同的结构。
判断单元在检测单元检测出多个脸时，判断所检测出的人脸中的最大的脸。判断单元可以根据例如所检测出的人脸中的肤色的像素数来判断大小。另外，判断单元可以根据例如在被检测为人脸时所使用的脸矩形的大小来判断脸的大小。判断单元构成为根据其它哪种基准来判断脸的大小均可。另外，最大的脸没有必要是严格意义上的最大，可以是例如第2大的脸，也可以是第3大的脸。
选择单元选择所检测出的脸中的最大的脸、以及具有基于该脸的大小的规定范围内的大小的其它脸。
本发明的第十方式中的决定单元从由选择单元所选择的脸中，决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。这样，本发明的第十方式中的决定单元不是根据由检测单元所检测出的多个脸全部的位置来决定成为对象的脸，而是从所检测出的脸中的最大的脸和具有基于该脸的大小的规定范围内的大小的其它脸中，决定成为对象的脸。该决定单元根据哪种基准决定成为对象的脸均可。例如，该决定单元可以通过与本发明的第六方式或第七方式所示的决定单元相同的处理，来决定成为对象的脸。另外，例如，该决定单元可以根据本发明的第六方式的脸决定单元的规定基准，决定成为对象的脸。
根据本发明的第十方式，仅根据在对焦用图像内具有相对某种程度的大小的脸，选择成为对焦对象的脸。因此，可防止把被拍摄为背景的人，即用户没有有意作为被摄物体的人脸作为处理对象而包含进去。因此，例如在该决定单元进行与本发明的第六方式中的决定单元相同的处理的情况下，提高了选择包含成为对焦对象的脸的集合的处理、取得基于集合内所包含的脸的中心的处理、以及选择成为对焦对象的脸的处理的精度。
〔第十一方式〕本发明的第十一方式是一种对象决定装置，包括检测单元、分类单元、集合决定单元以及决定单元。其中，检测单元、分类单元以及集合决定单元采用与第六方式相同的结构。
本发明的第十一方式中的决定单元从由集合决定单元所决定的集合内所包含的脸中决定成为对象的脸。此时，该决定单元根据哪种基准决定成为对象的脸均可。例如，该决定单元可以通过与本发明的第六方式或第七方式所示的决定单元相同的处理，决定成为对象的脸。另外，例如，该决定单元可以根据本发明的第六方式的脸决定单元的规定基准，决定成为对象的脸。
根据本发明的第十一方式，可取得与本发明的第八方式相同的效果。
〔第十二方式〕本发明的第十二方式是一种对象决定装置，包括检测单元、特征量取得单元以及决定单元。其中，检测单元采用与本发明的第六方式相同的结构。
特征量取得单元针对在检测单元中所检测出的多个人脸的各个，取得表示人脸程度的特征量。“人脸程度”可以根据例如距用于划分某图像是否是人脸的识别边界线的距离来给出。人脸程度可以使用在检测单元中的脸检测处理时所取得的值来表示。
决定单元根据特征量，决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
〔第六方式～第十二方式的变形〕本发明的第六～十二方式可以构成为还包括帧取得单元，其从所输入的包含多个帧的时序图像中取得规定的帧的图像作为处理对象的图像。在这样构成的情况下，检测单元从由帧取得单元所取得的规定的帧的图像中检测人脸。
在这样构成的本发明的第六～十二方式中，对于包含多个帧的时序图像，可获得与本发明的第六～十二方式相同的作用/效果。
〔其它〕本发明的第一方式～第十二方式可以通过使用信息处理装置执行程序来实现。即，本发明可把上述第一方式～第十二方式中的各单元所执行的处理确定为用于使信息处理装置执行的程序、或者记录有该程序的记录介质。
根据本发明，当检测被摄物体时，作为预备摄像没有必要摄像一定对该被摄物体进行了对焦的图像。因此，在预备摄像中不进行用于取得多个进行了对焦的图像等的焦点控制，仅使用根据规定的焦点信息所取得的图像就能快速地检测主要被摄物体。
并且，根据本发明，在预备摄像中检测出多个人物的脸的情况下，根据所检测出的多个脸的位置和大小等，自动判断应对哪个脸进行对焦或曝光控制。


图1是表示摄像装置的功能块的图。
图2是表示使用脸判定矩形的脸的检测例的图。
图3是表示脸判定矩形的图形例的图。
图4是表示使用脸判定矩形的脸的检测例的图。
图5是表示摄像装置的动作例的流程图。
图6是表示对焦对象决定部的动作例的流程图。
图7是表示摄像装置的处理例的图。
图8是表示第一实施方式的功能块的图。
图9是用于对外接多边形法进行说明的图。
图10是用于对重心法进行说明的图。
图11是用于对脸决定部的处理进行说明的图。
图12是表示第二实施方式的动作例的流程图。
图13是表示第二实施方式的动作例的一部分的流程图。
图14是表示第二实施方式的动作例的一部分的流程图。
图15是表示第三实施方式的功能块的图。
图16是表示分类部的处理例的图。
图17是表示第三实施方式中的决定部的处理例的图。
图18是表示第三实施方式的动作例的一部分的流程图。
图19是用于表示第三实施方式中的效果的图。
图20是表示第四实施方式的功能块的图。
图21是表示第四实施方式的动作例的一部分的流程图。
图22是表示第五实施方式的功能块的图。
图23是表示被分为多个区的对焦用图像示例的图。
图24是表示第五实施方式中的决定部的处理例的图。
图25是表示第五实施方式的动作例的一部分的流程图。
图26是表示第六实施方式的功能块的图。
图27是表示最大脸选择部的处理例的图。
图28是表示候选选择部的处理例的图。
图29是表示第六实施方式的动作例的一部分的流程图。
符号说明1摄像装置；2摄像部；3图像存储部；4对焦对象决定部；5脸检测部；6决定部；7测距部；8脸判定矩形；9第一矩形；10第二矩形；11输入部；12a、12b、12c、12d、12e摄像装置；13输入部；14摄像部；15图像存储部；16a、16b、16c、16d、16e对焦对象决定部；17a、17d脸检测部；18a、18b、18c、18d、18e决定部；19a、19b、19d、19e中心决定部；20a、20b、20d、20e脸决定部；21测距部；22分类部；23集合决定部；24区决定部；25最大脸选择部；26候选选择部。
具体实施例方式下面，使用图对第一实施方式的摄像装置1进行说明。另外，针对摄像装置1的以下说明仅是例示而已，其结构不限于以下的说明。
〔系统结构〕摄像装置1是数字相机、数字摄像机、或者具有数字相机和数字摄像机那样的摄像功能的信息处理装置。摄像装置1在硬件上具有通过总线连接的CPU(中央运算处理装置)、主存储装置(RAM(Read Only Memory，只读存储器))、辅助存储装置以及用于作为数字相机或数字摄像机而动作的各装置(摄像镜头、机械机构、CCD(Charge-Coupled Device，电荷耦合装置)、操作部、马达等)等。辅助存储装置使用非易失性存储装置而构成。这里所说的非易失性存储装置是指所谓的ROM(Read-OnlyMemory，只读存储器包含EPROM(Erasable Programmable Read-OnlyMemory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦除可编程只读存储器)、掩模型ROM等)、FRAM(Ferroelectric RAM，铁电RAM)、硬盘等。
图1是表示摄像装置1的功能块的图。摄像装置1通过把存储在辅助存储装置内的各种程序(OS、应用程序等)加载到主存储装置内并通过CPU来执行，从而作为包括摄像部2、图像存储部3、对焦对象决定部4、测距部7以及输入部11等的装置来发挥功能。对焦对象决定部4是通过使用CPU来执行对焦对象决定程序而实现的。另外，对焦对象决定部4也可以作为专用硬件来实现。
以下，使用图1对摄像装置1所包括的各功能部进行说明。
〔〔摄像部〕〕摄像部2使用摄像镜头、机械机构、CCD、马达等构成为具有自动聚焦功能的装置。摄像镜头包括例如用于实现变焦功能的变焦镜头、用于对任意被摄物体进行对焦的聚焦镜头等。机械机构包括机械快门、光圈、滤光器等。马达包括变焦镜头马达、聚焦马达、快门马达等。
摄像部2具有未作图示的存储部，把规定的焦点信息存储在该存储部内。规定的焦点信息是预先决定的一个焦点信息。在摄像装置1的电源接通的情况下，如果从测距部7没有焦点信息的输入，则摄像部2的聚焦镜头被控制成成为基于该规定的焦点信息的状态。另一方面，如果从测距部7有焦点信息的输入，则摄像部2的聚焦镜头被控制成成为基于所输入的焦点信息的状态。
摄像部2使用CCD把通过包括像上述那样被控制的聚焦镜头的摄像镜头而成像的被摄物体的图像转换成电信号，从而进行摄像。
摄像部2可以构成为每当用户通过输入部11进行了输入时，就摄像1张或多张静态图像。并且，摄像部2也可以构成为根据用户通过输入部11进行的输入，摄像由多个帧构成的动态图像(时序图像)。并且，摄像部2在构成为摄像动态图像的情况下，可以构成为从多个帧中取得一个帧的图像，把该帧的图像作为处理对象的图像传递给对焦对象决定部4。
〔〔图像存储部〕〕图像存储部3使用所谓的RAM等可读写记录介质等来构成。图像存储部3也可以使用相对于摄像装置1可拆装的记录介质来构成。图像存储部3存储由摄像部2所摄像的图像的数据。
〔〔对焦对象决定部〕〕对焦对象决定部4从由摄像部2所摄像的被摄物体中决定进行对焦的被摄物体，即成为对焦的对象的被摄物体。此时，对焦对象决定部4使用根据规定的焦点信息由摄像部2为了对焦用而摄像的图像来进行处理。该为了对焦用而摄像的图像由摄像部2输入到对焦对象决定部4中。
对焦对象决定部4包括脸检测部5，其从所输入的图像中检测成为被摄物体的人物的脸；以及决定部6，其根据由脸检测部5所检测出的脸决定进行对焦的被摄物体。以下，对构成对焦对象决定部4的各功能部进行说明。
<脸检测部>
脸检测部5根据多个部分区域的统计量(具体地说是浓淡值)，从所输入的图像中检测成为被摄物体的人物的脸。以下，对由脸检测部5所执行的、检测人物的脸时的处理进行详细说明。
图2是表示基于浓淡值的人物的脸的检测方法的图。在该检测方法中，使特定矩形(以下称为“脸判定矩形”)8在成为处理对象的图像内移动，判断在各移动目的地的脸判定矩形8内(以下称为“关注区域”)是否包含有人物的脸。此时，通过改变脸判定矩形8的大小和成为处理对象的图像的大小的比率、脸判定矩形8和成为处理对象的图像的角度，可检测各种大小或角度的脸。
在脸判定矩形8的矩形内包含多个其它矩形(以下称为“第一矩形”、“第二矩形”)9、10。第一矩形9和第二矩形10分别被配置在脸判定矩形8内的固定位置。在一个脸判定矩形8内分别配置1个以上第一矩形9和第二矩形10。
在脸的检测处理中，算出在各关注区域中，被第一矩形9和第二矩形10所包围的各个区域(以下分别称为“第一特征区域”、“第二特征区域”)的浓淡值。第一特征区域和第二特征区域的浓淡差例如由各区域内的像素值的平均值或合计值来表示。
然后，算出第一特征区域的浓淡值La和第二特征区域的浓淡值Lb的差量。然后，根据该差量值是否大于预先设定的阈值α，来判定在关注区域内是否包含有人物的脸。
图3是表示脸判定矩形8的图形例的图。图4是表示使用多个图形的脸判定矩形8的脸判定处理的图。在实际处理中，如图3所示，为脸判定矩形8准备有多个图形。在各图形中，第一矩形9和第二矩形10的数量和位置各不相同。
然后，针对各图形的脸判定矩形8通过计算浓淡差来执行判定。并且，根据各判定结果，针对每个关注区域算出得分，根据所算出的得分，对该关注区域内是否包含有人物的脸进行最终的判定。所算出的得分与关注区域内是否包含有人物的脸的对应是通过例如使用数量较多的样本图像(包含人物的脸的图像和不包含人物的脸的图像)的学习处理而预先获得的。
脸检测部5在检测出脸的情况下，即进行了在某关注区域内包含有人物的脸的最终判定的情况下，把与该脸有关的图像信息输出到决定部6。具体地说，脸检测部5输出包含有检测出的脸的关注区域的位置和大小。例如，脸检测部5输出该关注区域的中心坐标和面积(区域内的像素数)。
并且，脸检测部5可以构成为根据需要对所检测出的脸的朝向进行判定并输出。另外，脸检测部5在判定脸的朝向的情况下，通过使用例如非专利文献1、2所记载的技术来进行判定。具体地说，脸检测部5还使用例如左朝向用的图形的脸判定矩形8和右朝向用的图形的脸判定矩形8来执行脸检测。并且，脸检测部5在使用例如左朝向用的图形的脸判定矩形8检测出脸的情况下，判定为所检测出的脸是左朝向。同样，脸检测部5在使用右朝向用的图形的脸判定矩形8检测出脸的情况下，判定为所检测出的脸是右朝向。对于正面也一样。脸的朝向判定可以应用任何技术来实施而不限于上述技术。
<决定部>
决定部6根据从脸检测部5输入的与脸有关的图像信息，决定进行对焦的被摄物体。此时，大致来分，决定部6进行二个处理。第一处理是从由脸检测部5所检测出的多个脸中选择一个脸的处理。第二处理是根据由第一处理所选择的脸，决定进行对焦的被摄物体的处理。另外，在脸检测部5中仅检测出一个脸的情况下，省略第一处理。并且，在脸检测部5中未检测出脸的情况下，省略第一处理和第二处理。
<<第一处理>>
首先，对第一处理进行说明。在第一处理中，决定部6选择在第二处理中决定进行对焦的被摄物体时要使用哪个脸的图像信息。在第一处理中，有被称为面积比较法、得分比较法、测距法的三种实现方法。在决定部6中可以采用其中的任意一种方法。以下，对各实现方法进行说明。
<<<面积比较法>>>
在面积比较法中，决定部6对在脸检测部5中所检测出的多个脸的面积进行比较，选择作为图像的面积为最大的脸。在面积比较法中，决定部6为了检测距摄像装置1最近的脸，选择作为图像的面积为最大的脸。即，在面积比较法中，决定部6通过对脸图像的大小进行比较来实施到被摄物体的距离的比较。
<<<得分比较法>>>
在得分比较法中，决定部6针对在脸检测部5中所检测出的多个脸分别求出得分。决定部6根据脸的朝向、脸的大小(面积)、脸在图像内的位置、脸的周围的脸密度等获取得分。决定部6可以针对上述所有四项获得得分，也可以针对一部分项获取得分。
然后，决定部6选择获得了最高得分的脸。关于脸的朝向，例如脸的朝向越是面向正面，则得分被设定得越高。关于脸的大小，例如脸的大小越大，则得分被设定得越高。关于脸在图像内的位置，例如距图像中央越近，则得分被设定得越高。关于脸密度，例如脸密度越高，则得分被设定得越高。然而，在各项(朝向、大小、位置、脸密度)中把哪种状态设定为高得分，可以由用户可变更地来设计，也可以由设计者任意设计。
<<<测距法>>>意设计。
<<<测距法>>>
在测距法中，决定部6取得针对由脸检测部5所检测出的各脸的实物的测距结果。并且，决定部6选择距摄像装置1的距离最小的脸。
决定部6可以构成为获得任意测距装置的测距结果。例如，可以构成为在摄像装置1或对焦对象决定部4中配备未作图示的测距装置，由决定部6获得该测距装置的测距结果。并且，例如，在测距部7采用对到被摄物体的距离进行测距的结构的情况下，可以把测距部7用作测距装置的替代装置。在该情况下，决定部6获得测距部7的测距结果(参照图1的虚线箭头)。在任一种情况下，决定部6把从脸检测部5输入的图像信息中的关注区域的坐标提供给测距装置。并且，测距装置根据该关注区域的坐标，对到所检测出的脸的距离进行测距。
<<第二处理>>
在第二处理中，决定部6根据所选择的脸，决定进行对焦的被摄物体。作为这种被摄物体的例子，有所选择的脸的部位(例如眼、鼻、口、耳、额等)。此时，所选择的脸的部位的位置可以由脸检测部5重新检测，也可以根据所选择的脸的图像信息求出其位置。例如，决定部6把在规定方向上从所选择的脸的中心坐标相对地相隔了规定距离的位置识别为所选择的脸的部位的位置。然后，决定部6把进行对焦的被摄物体的图像的坐标(即二维坐标)输出给测距部7。
并且，所选择的脸本身可以是进行对焦的被摄物体。在该情况下，决定部6把在第一处理中所选择的脸的图像信息内所包含的脸的位置(即二维坐标)输出给测距部7。
〔〔测距部〕〕测距部7取得用于对由对焦对象决定部4的决定部6所决定的被摄物体对焦的焦点信息。此时，测距部7根据从决定部6输入的二维坐标，确定用于进行对焦的被摄物体。
例如，测距部7构成为通过向被摄物体射出红外线等来对到被摄物体的距离进行测距，从而取得焦点信息。在该情况下，测距部7根据从
〔〔输入部〕〕输入部11使用快门释放按钮等来构成。当输入部11检测到用户的命令的输入时，根据所输入的命令，对摄像装置1的各部进行命令通知。例如，当输入部11检测到用户的自动聚焦的命令的输入时，向摄像部2通知自动聚焦的命令。并且，例如，当输入部11检测到用户的摄像命令的输入时，向摄像部2通知摄像的命令。
在输入部11使用快门释放按钮来构成的情况下，自动聚焦命令通过例如将该快门释放按钮半按下，由输入部11来进行检测。并且，摄像命令通过例如将该快门释放按钮完全按下，由输入部11来进行检测。
〔动作例〕图5是表示摄像装置1的动作例的流程图。以下，使用图5对摄像装置1的动作例进行说明。
当摄像装置1接通电源时，摄像部2把聚焦镜头控制成成为基于规定的焦点信息的状态。
当输入部11检测到快门释放按钮被用户半按下时(S01)，把输入了自动聚焦命令的情况通知给摄像部2。
摄像部2判断是否从测距部7输入了焦点信息。在未输入焦点信息的情况下(S02-否)，摄像部2在聚焦镜头被控制成基于规定的焦点信息的状态下进行摄像(S03)。摄像部2把所摄像的图像数据输出给对焦对象决定部4。
对焦对象决定部4根据所输入的图像数据，决定进行对焦的被摄物体(S04)。图6是表示对焦对象决定部4的动作例的流程图。使用图6对S04的处理进行说明。
首先，脸检测部5从所输入的图像中检测人物的脸(S10)。脸检测部5把所检测出的脸的图像信息输出给决定部6。
决定部6调查由脸检测部5所检测出的脸的数目。当脸的数目小于1的情况下(S11＜1)，即为0的情况下，决定部6把画面中央的二维坐标输出给测距部7。在脸的数目大于1的情况下(S11＞1)，即在检测出多个脸的情况下，决定部6执行第一处理，从所检测出的多个脸中选择一个脸(S13)。
在所检测出的脸是一个的情况下(S11＝1)，或者在S13的处理后，决定部6根据一个脸来决定进行对焦的被摄物体(S14)。这里所说的一个脸在所检测出的脸的数目是一个的情况下是该唯一被检测出的脸，在S13处理后的情况下是被选择的脸。并且，决定部6取得所决定的被摄物体的二维坐标，把该二维坐标输出给测距部7(S15)。
回到使用图5的说明。在S04的处理后，测距部7根据从对焦对象决定部4的决定部6中输出的二维坐标，取得针对所决定的被摄物体的焦点信息(S05)。测距部7把所取得的焦点信息输出给摄像部2。在该处理后，再次执行S02及之后的处理。
在S02中，在从测距部7到摄像部2有焦点信息的输入的情况下(S02-是)，摄像部2根据所输入的焦点信息来控制聚焦镜头(S06)。即，摄像部2控制聚焦镜头，以便对由对焦对象决定部4所决定的被摄物体对焦。
在聚焦镜头的控制后，摄像部2进行摄像(S07)。通过该摄像，摄像对由对焦对象决定部4所决定的被摄物体进行了对焦的图像。并且，图像存储部3存储由摄像部2所摄像的图像的数据(S08)。
〔作用/效果〕图7是表示由摄像装置1所摄像的图像的示例的图。在摄像装置1中，检测出作为主要被摄物体的脸(由粗线条矩形围起来的脸)，而不是作为背景而被摄像的人物的脸，以对该主要被摄物体对焦的方式来实施摄像。
在摄像装置1中，对焦对象决定部4的脸检测部5检测人物的脸作为成为对焦对象的被摄物体。此时，脸检测部5根据关注区域内的第一特征区域和第二特征区域的浓淡差进行脸检测。在获取某区域内的浓淡值时，即使在没有对该区域内所摄像的被摄物体对焦的情况下，也能获得接近于进行了对焦的情况下的值。因此，在摄像装置1中，即使在摄像了焦点没有对准人物的脸的图像的情况下，也能检测该脸。因此，在摄像装置1中，在摄像检测人物的脸时所使用的图像时，没有必要进行对被摄物体的焦点控制。因此，在该摄像处理时，在摄像装置1中，没有必要针对被控制为规定焦点的摄像部2的聚焦镜头重新进行焦点控制，可快速地执行摄像。
并且，对焦对象决定部4仅针对一个图像，即被控制为规定焦点而摄像的图像进行脸检测。因此，在摄像装置1中，没有必要对多个图像进行脸检测，可快速地检测脸。
并且，在摄像装置1中，在检测出多个脸的情况下，对焦对象决定部4选择任意一个脸，根据该脸决定成为对焦对象的被摄物体。因此，根据摄像装置1，用户没有必要特意从被收纳在帧内的多个脸中选择一个脸。
〔变形例〕对焦对象决定部4可以独立构成为摄像装置1的外部装置，而不包括在摄像装置1内。并且，这样构成为外部装置的对焦对象决定部4可以构成为在自身的装置内配备具有与测距部7相同功能的未作图示的测距部。
另外，摄像装置1通过使用测距部7对到被摄物体的距离进行测距来取得焦点信息，然而也可以构成为使用测距以外的方法来取得焦点信息。
另外，摄像装置1也可以构成为根据所检测出的脸决定在实施摄像时成为进行曝光控制的对象的被摄物体，由此来进行曝光控制。在该情况下，决定部6决定成为进行曝光控制的对象的被摄物体。并且，在该情况下，摄像装置1还具有测光部，该测光部根据由决定部6所决定的被摄物体取得曝光控制信息。测光部通过把由决定部6所决定的被摄物体作为曝光区域进行测光来算出曝光量(曝光控制信息)。然后，测光部把所算出的曝光控制信息传递到摄像部2。然后，摄像部2通过调节光圈等来实施基于该曝光控制信息的曝光控制，进行摄像。
另外，脸检测部5也可以构成为把具有肤色的被摄物体检测为脸。通过这样构成，尽管不能准确地检测人物的脸，然而可削减检测处理所需要的时间，也能削减脸检测部5的安装所需要的时间和成本。
另外，摄像部2也可以作为手动聚焦装置来实现，而不是自动聚焦功能。在该情况下，可以构成为例如当由用户操作了聚焦镜头，成为适合于从测距部7输入的焦点信息的状态时，把已进行了对焦的情况报知给用户。
另外，摄像装置1也可以构成为摄像到胶卷上的银铅照相机，而不是使用具有CCD的摄像部2来最终实施摄像。在该情况下，摄像装置1具有具备CCD的摄像部2以及作为银铅照相机的摄像部。并且，在该情况下，图像存储部3对摄像装置1而言并不是必要的。摄像部2为了把预备摄像的图像输入到对焦对象决定部4中而实施摄像。并且，在作为银铅照相机的摄像部中实施测距部7的基于焦点信息的聚焦镜头的调节。然而，摄像部2和作为银铅照相机的摄像部可以构成为共用例如聚焦镜头等其结构的一部分。
以下，使用图对具有对焦对象决定部16(16a、16b、16c、16d、16e)的摄像装置12(12a、12b、12c、12d、12e)进行说明。在该说明中，人物图像是至少包含人物的脸的一部分或全部的图像的图像。因此，人物图像可以包含人物整体的图像，也可以包含仅人物的脸或仅上半身的图像。并且，可以包含针对多个人物的图像。而且，背景可以包含人物以外的风景(背景也包含作为被摄物体而被关注的物体)和图案等任何图形。
另外，针对对焦对象决定部16和摄像装置12的以下说明仅是例示，其结构不限于以下说明。
〔系统结构〕首先，对具有对焦对象决定部16a的摄像装置12a进行说明。摄像装置12a在硬件上具有通过总线连接的CPU(中央运算处理装置)、主存储装置(RAM)、辅助存储装置以及用于作为数字相机和数字摄像机进行动作的各装置(摄像镜头、机械机构、CCD、操作部、马达等)等。辅助存储装置使用非易失性存储装置来构成。这里所说的非易失性存储装置是指所谓的ROM、FRAM、硬盘等。
图8是表示摄像装置12a的功能块的图。摄像装置12a通过把存储在辅助存储装置内的各种程序(OS、应用程序等)加载到主存储装置内并使用CPU来执行，从而作为包括输入部13、摄像部14、图像存储部15、对焦对象决定部16a以及测距部21等的装置来发挥功能。对焦对象决定部16a是通过使用CPU来执行对焦对象决定程序而实现的。另外，对焦对象决定部16a也可以作为专用硬件来实现。
以下，使用图8对摄像装置12a内所包含的各功能部进行说明。
<输入部>
输入部13使用快门释放按钮等来构成。当输入部13检测到用户的命令的输入时，根据所输入的命令，对摄像装置12a的各部进行命令通知。例如，当输入部13检测到用户的自动聚焦命令的输入时，向摄像部14通知自动聚焦命令。并且，例如，当输入部13检测到用户的摄像命令的输入时，向摄像部14通知摄像命令。
在输入部13使用快门释放按钮来构成的情况下，自动聚焦命令是通过例如将该快门释放按钮半按下，由输入部13来进行检测。并且，摄像命令是通过例如将该快门释放按钮完全按下，由输入部13来进行检测。
<摄像部>
摄像部14使用摄像镜头、机械机构、CCD、马达等，构成为具有自动聚焦功能的装置。摄像镜头包括例如用于实现变焦功能的变焦镜头、用于对任意被摄物体进行对焦的聚焦镜头等。机械机构包括机械快门、光圈、滤光器等。马达包括变焦镜头马达、聚焦马达、快门马达等。
摄像部14具有未作图示的存储部，把规定的焦点信息存储在该存储部内。规定的焦点信息是预先决定的一个焦点信息。在摄像装置12a的电源接通的情况下，如果从测距部21没有焦点信息的输入，则摄像部14的聚焦镜头被控制成成为基于该规定的焦点信息的状态。另一方面，如果从测距部21有焦点信息的输入，则摄像部14的聚焦镜头被控制成成为基于所输入的焦点信息的状态。
摄像部14通过使用CCD把经由包含有像上述那样被控制的聚焦镜头的摄像镜头而成像的被摄物体的图像转换成电信号，来进行摄像。
摄像部14可以构成为每当用户通过输入部13进行了输入时，就摄像1张或多张静态图像。另外，摄像部14也可以构成为根据通过输入部13的用户输入，摄像由多个帧构成的动态图像(时序图像)。另外，摄像部14在构成为摄像动态图像的情况下，可以构成为从多个帧中取得一个帧的图像，把该帧的图像作为处理对象的图像传递给对焦对象决定部16a。
<图像存储部>
图像存储部15使用所谓的RAM等可读写记录介质等来构成。图像存储部15也可以使用相对于摄像装置12a可拆装的记录介质来构成。图像存储部15存储由摄像部14所摄像的图像的数据。
<对焦对象决定部>
对焦对象决定部16a从由摄像部14所摄像的被摄物体中决定进行对焦的被摄物体，即成为对焦对象的脸。此时，对焦对象决定部16a使用由摄像部14为了对焦用而摄像的图像来进行处理。该为了对焦用而摄像的图像由摄像部14输入给对焦对象决定部16a。
对焦对象决定部16a包括脸检测部17a和决定部18a。以下，对构成对焦对象决定部16a的各功能部进行说明。
<脸检测部>
脸检测部17a从对焦用图像中获得包含人物的脸的区域(以下称为“脸区域”)的坐标。根据该脸矩形的坐标，确定对焦用图像中的人的脸区域的位置和大小。
脸区域的检测可以通过应用现有的任何技术来实现。例如，可以通过使用与脸整体的轮廓对应的基准模板的模板匹配来获得脸矩形的坐标。另外，也可以通过基于脸的构成要素(眼、鼻、耳等)的模板匹配来获得脸矩形的坐标。另外，也可以通过色度键处理来检测头发的顶点，根据该顶点获得脸矩形的坐标。另外，也可以根据肤色区域的检测获得脸矩形的坐标。
<决定部>
决定部18a从由脸检测部17a所检测出的脸中决定成为对焦对象的脸。决定部18a把与所决定的脸有关的脸矩形的坐标(例如表示脸矩形的中央的坐标)传递给测距部21。决定部18a包括中心决定部19a和脸决定部20a。以下，对构成决定部18a的各功能部进行说明。
<中心决定部>
中心决定部19a在由脸检测部17a所检测出的脸是多个的情况下，求出所检测出的多个脸的位置的中心。这里，假定脸矩形的中央点(以下称为“脸点”)表示脸的位置。在所检测出的脸是二个的情况下，中心决定部19a求出二个脸点的中点。并且，在所检测出的脸是三个以上的情况下，中心决定部19a使用以下任一种方法求出中心。
<<外接多边形法>>
在外接多边形法中，中心决定部19a求出与多个脸点外接的多边形的中心作为多个脸的位置的中心。所用的多边形的顶点数无论是多少个均可以，也可以预先决定。这里，对顶点数是4点的情况进行说明。
图9是用于对中心决定部19a根据外接多边形法取得中心的处理进行说明的图。中心决定部19a分别针对多个脸点的x坐标和y坐标，判断最大值和最小值。中心决定部19a生成由与y轴平行的直线和与x轴平行的直线所生成的矩形(在正交坐标系中，由与x轴和y轴平行且分别通过脸点坐标的各坐标成分的最大值和最小值的各条线的交点构成顶点的矩形)，该与y轴平行的直线包含取x坐标的最大值和最小值的脸点，该与x轴平行的直线包含取y坐标的最大值和最小值的脸点。并且，中心决定部19a取得所生成的矩形的对角线的交点的坐标作为中心坐标。
<<重心法>>
图10是用于对中心决定部19a根据重心法取得中心的处理进行说明的图。在重心法中，中心决定部19a取得多个脸点的重心。具体地说，中心决定部19a通过将各脸点的位置矢量的和除以脸点的数目来取得重心的位置矢量，根据该位置矢量取得重心坐标。然后，中心决定部19a把所取得的重心坐标取作中心坐标。图10示出了针对6个脸点，分别求出距某基准点(例如利用各脸点的坐标分量各自的最小值来表示的点)的位置矢量，求出重心坐标(Xg、Yg)的状况。
<脸决定部>
脸决定部20a根据由中心决定部19a所取得的中心坐标，决定可以根据哪个脸进行对焦。图11是用于对脸决定部20a的处理进行说明的图。脸决定部20a根据规定基准从位于距中心规定距离内的脸中选择脸。此时，脸决定部20a根据脸的大小、脸的位置、脸的朝向等中的哪一个基准来决定脸均可。例如，脸决定部20a在位于距由中心决定部19a所取得的中心规定距离内的脸中选择距图像(帧)的中央点(图11中由符号“×”图示)最近的脸(由粗线条圆圈围起来的脸点)。
在图11所示的例中，针对在以距脸点的中心F0规定距离R为半径的圆C1内存在的二个脸点F1和F2，测定与图像(帧)的中心点○的距离L1和L2。然后，由于L1＜L2，因而把脸点F1决定为对焦对象的脸点(即对焦对象的脸)。
脸决定部20a把所选择的脸点的坐标传递给测距部21。
<测距部>
测距部21取得用于对由对焦对象决定部16a的脸决定部20a所决定的脸对焦的焦点信息。此时，测距部21根据从脸决定部20a输入的二维坐标(脸点坐标)，确定用于进行对焦的被摄物体。由测距部21所实施的测距可以应用例如通过向脸的实物射出红外线来实施的方式(有源方式)，也可以应用这种有源方式以外的方式(例如无源方式)。
例如，测距部21构成为通过向被摄物体射出红外线等对到被摄物体的距离进行测距，从而取得焦点信息。在该情况下，测距部21根据从脸决定部20a输入的二维坐标，决定射出红外线等的方向。
当测距部21取得焦点信息时，把所取得的焦点信息传递给摄像部14。
〔动作例〕图12是表示摄像装置12a的动作例的流程图。以下，使用图12对摄像装置12a的动作例进行说明。
当摄像装置12a接通电源时，摄像部14把聚焦镜头控制成成为基于规定的焦点信息的状态。
当输入部13检测到快门释放按钮被用户半按下时(S16)，把输入了自动聚焦命令的情况通知给摄像部14。
摄像部14判断从测距部21是否输入了焦点信息。在未输入焦点信息的情况下(S17-否)，摄像部14摄像对焦用图像(S18)。摄像部14把所摄像的对焦用图像传递给对焦对象决定部16a。
对焦对象决定部16a根据所输入的对焦用图像，决定成为进行对焦的对象的脸(S19)。图13是表示对焦对象决定部16a的动作例(进行对焦的脸的决定处理(S19)的例子)的流程图。使用图13对S19的处理进行说明。
首先，脸检测部17a从所输入的图像中检测人物的脸(S24)。脸检测部17a把所检测出的脸的图像信息传递给决定部18a的中心决定部19a。
中心决定部19a调查由脸检测部17a所检测出的脸的数目。当脸的数目小于1的情况下(S25＜1)，即为0的情况下，中心决定部19a把没有脸的情况通知给脸决定部20。并且，脸决定部20a把图像中央的二维坐标传递给测距部21(S26)。
在脸的数目多于1的情况下(S25＞1)，即在检测出多个脸的情况下，决定部18a执行从多个脸中选择一个脸的处理(S27)。图14是示出从多个脸中选择一个脸的处理(S27)的例子的流程图。使用图14对S27的处理进行说明。
中心决定部19a取得所检测出的脸的脸点的中心坐标(S29)。中心决定部19a把所取得的中心坐标传递给脸决定部20a。然后，脸决定部20a根据所输入的中心坐标，采用例如使用图11所说明的方法选择一个脸(S30)。
回到使用图13的说明。在从图像中所检测出的脸是一个的情况下(S25＝1)，或者在S27的处理后，脸决定部20a把一个脸的脸点的二维坐标传递给测距部21(S28)。这里所说的一个脸，在所检测出的脸的数目是一个的情况下是该唯一被检测出的脸，在S27的处理后的情况下是被选择的脸。
回到使用图12的说明。在S19的处理后，测距部21根据从对焦对象决定部16a的脸决定部20a所传递的二维坐标取得焦点信息(S20)。测距部21把所取得的焦点信息传递给摄像部14。在该处理后，再次执行S17及之后的处理。
在S17中，在从测距部21到摄像部14有焦点信息的输入的情况下(S17-是)，摄像部14根据所输入的焦点信息控制聚焦镜头(S21)。即，摄像部14控制聚焦镜头，以便对由对焦对象决定部16a所决定的脸对焦。
在聚焦镜头的控制后，摄像部14进行摄像(S22)。通过该摄像，摄像了对由对焦对象决定部16a所决定的脸进行了对焦的图像。然后，图像存储部15存储由摄像部14所摄像的图像的数据(S23)。
〔作用/效果〕根据作为本发明的第二实施方式的摄像装置12a，检测图像中存在的人脸，自动把所检测出的脸中的任意一个决定为对焦对象。因此，用户没有必要使要成为对焦对象的脸位于图像(帧)的中心。换句话说，用户没有必要把要对焦的脸放置在帧的中心。
并且，根据作为本发明的第二实施方式的摄像装置12a，在图像中存在多个脸的情况下，根据图像中存在的多个脸的位置的中心，决定成为对焦对象的脸。因此，即使在图像中存在多个脸的情况下，也能决定应成为对焦对象的一个脸。并且，可以对位于集合中的多个脸的中央附近的脸进行对焦。
〔变形例〕脸决定部20a可以构成为根据规定基准，从位于距中心规定距离内的且朝向正面的脸中选择脸。此时，脸决定部20a使用例如以下公知文献所描述的技术来判断脸是否朝向正面。
H.Schneiderman，T.Kanade.“A Statistical Method for 3DObject Detection Applied to Faces and Cars.”IEEE Conference onComputer Vision and Pattern Recognition，2000.
并且，在上述描述中对中心决定部19a把脸的位置作为点来获取的Computer Vision and Pattern Recognition，2000.
并且，在上述描述中对中心决定部19a把脸的位置作为点来获取的结构进行了说明，然而中心决定部19a也可以构成为把脸的位置作为区域来获取。
并且，也可以构成为由脸决定部20a所决定的脸通过未作图示的显示部，在该脸的周围显示框。通过这样构成，用户可知道哪个脸被决定为对焦对象。并且，可以设计成在用户不满意对这样被显示的脸进行对焦的情况下，通过使用输入部13输入命令，可以通过手动操作以便对其它脸对焦。
并且，脸决定部20a可以构成为根据规定基准，从位于距中心规定距离内、且其中的规定大小以上的脸中选择脸。
并且，摄像装置12a也可以构成为根据由决定部18a所决定的脸，执行曝光控制。这点在后述的第二至第六实施方式中也相同。
并且，决定部18a也可以将由脸检测部17a所检测出的各脸根据其x坐标或y坐标进行排序，把与所检测出的脸的数目的中间值的顺序相当的脸决定为成为对象的脸。
并且，决定部18a也可以构成为根据规定基准从由脸检测部17a所检测出的脸中决定脸。规定基准例如可以是基于脸的大小的基准(例如决定最大的脸的基准，决定中间大小的脸的基准，决定最小的脸的基准)，可以是基于图像中的脸的位置的基准(例如距图像中央最近的脸的基准)，可以是基于脸的朝向的基准(例如朝向正面的脸的基准)，可以是基于类似于脸的基准(例如决定表示类似于脸的程度的量为最大的脸的基准)，可以是基于根据脸而推测的性别的基准(例如决定被推测为男性的脸的基准，决定被推测为女性的脸的基准)，可以是基于根据脸而推测的年代的基准(决定被推测为最年轻的年代的脸的基准，决定被推测为中间年代的脸的基准)，是其它哪种基准均可。并且，规定基准也可以是将上述基准适当地进行多个组合的基准。
并且，在上述说明中，前提是摄像部14构成为对一个被摄物体进行对焦。因此，对焦对象决定部16a把一个脸的坐标传递给测距部21。然为这种摄像部14的例子，有特开平11-295826所描述的装置。在该情况下，决定部5a的脸决定部20a根据规定基准对脸赋予优先顺序，根据该优先顺序选择规定数目的脸。例如，脸决定部20a可以构成为按照距由中心决定部19a所决定的中心从近到远的顺序选择规定数目的脸。在所选择的脸的数目未达到规定数的情况下，使用其它哪种方法来取得传递给测距部21的坐标均可。
下面，对具有对焦对象决定部16b的摄像装置12b进行说明。以下，针对摄像装置12b和对焦对象决定部16b，说明与第二实施方式中的摄像装置12a和对焦对象决定部16a的不同点。
〔系统结构〕图15是示出摄像装置12b的功能块的图。取代对焦对象决定部16a，摄像装置12b具有对焦对象决定部16b，这点与第二实施方式中的摄像装置12a不同。因此，以下，省略对摄像装置12b的输入部13、摄像部14、图像存储部15以及测距部21的说明。
<对焦对象决定部>
对焦对象决定部16b包括脸检测部17a、分类部22、集合决定部23以及决定部18b。以下，对构成对焦对象决定部16b的各功能部进行说明。然而，由于对焦对象决定部16b所包括的脸检测部17a具有与第二实施方式中的对焦对象决定部16a所包括的脸检测部17a相同的结构，因而省略其说明。
<分类部>
分类部22把在脸检测部17a中所检测出的脸的脸点分类为多个集合。该分类可以使用最邻近法等任何方法。分类部22根据各脸点的位置执行分类。分类部22的分类结果是将各脸点分类成使得图像中的位置相近的脸点被包含在同一集合内。
图16是示出分类部22的处理例的图。如图16所示，在存在多个脸点的集体的情况下，把每一个集体分类为一个集合。
<集合决定部>
集合决定部23决定在分类部22中分类的多个集合中的用于决定成为对焦对象的脸的集合(即包含成为对焦对象的脸的集合以下称为“选择集合”)。即，传递给测距部21的脸点坐标是由集合决定部23所决定的选择集合内所包含的脸的脸点坐标。
集合决定部23根据各集合内所包含的脸的数目、与各集合内所包含的脸有关的特征量等哪种基准来决定选择集合均可。例如，集合决定部23把各集合中包含最多的脸的集合决定为选择集合。并且，例如，集合决定部23把与各集合内所包含的脸有关的特征量的和最大的集合决定为选择集合。与脸有关的特征量可以根据例如脸的大小、脸的朝向、脸的数目等来取得。并且，与脸有关的特征量可以是表示人脸程度的值。人脸程度例如可以根据距用于划分某图像是否是人脸的识别边界线的距离来给出。人脸程度也可以使用在脸检测部17a的脸检测处理时所取得的值来表示。
使用图16对集合决定部23的处理例进行说明。根据规定基准(这里是集合内所包含的脸点数多的基准)，通过集合决定部23从通过分类部22的处理所生成的多个集合(图16中为三个集合)中选择左上的集合作为选择集合。
<决定部>
决定部18b不是根据由摄像部14所摄像的图像整体内所包含的脸，而是根据由集合决定部23所决定的选择集合内所包含的脸进行处理(把选择集合作为脸的决定的母集合)，这点与决定部18a不同。决定部18b除了上述点以外，进行与决定部18a相同的处理。
图17是示出决定部18b的处理例的图。通过集合决定部23决定的选择集合中，通过决定部18b的中心决定部19b取得脸点的中心。然后，根据所取得的中心，通过脸决定部20b，根据规定基准(这里是距图像(帧)的中央点近的基准)选择一个脸点(由粗线条圆圈围起来的脸点)。
〔动作例〕下面，对第三实施方式中的摄像装置12b的动作例进行说明。摄像装置12b的动作除了S27的处理内容以外，与第二实施方式中的摄像装置12a的动作相同。因此，关于摄像装置12b的动作例，仅对S27的处理内容进行说明。
图18是示出第三实施方式中的对焦对象决定部16b的处理的一部分，即图13中的S27的处理内容的流程图。在第三实施方式中，在S27中，执行该图18所示的处理来取代在第二实施方式中所说明的图14的处理。
当开始S27的处理时，分类部22把由脸检测部17a所检测出的多个脸点分类为多个集合(S31)。然后，集合决定部23从由分类部22所生成的多个集合中选择一个选择集合(S32)。
中心决定部19b根据在S32中所选择的选择集合内所包含的脸，取得该选择集合内所包含的多个脸点的中心(S33)。然后，脸决定部20b根据在S33中所取得的中心，选择一个脸作为成为对焦对象的脸(S34)。
〔作用/效果〕根据第三实施方式中的摄像装置12b，在图像中存在多个集体的情况下，可以仅根据其中一个集体内所包含的人，决定成为对焦对象的脸。在用户摄像某集体的情况下，多数情况是该集体的人集中在一个场所。此时，即使不属于该集体的人(单独人、单独人的零散分布、其它人的集体)存在于帧内，也期望从属于用户想要摄像的集体的人中选择成为对焦对象的被摄物体。根据第三实施方式中的摄像装置12b，可以实现用户的这种期望。即，在第三实施方式中，汇集在帧内的数量最多的人的集体(集合)被选择为摄像对象的集体(选择集合)，实现以属于该集体的任何人为基准的对焦。另外，如后面的变形例栏所述，可以构成为在由集合决定部23所选择的选择集合不是用户期望的集合的情况下，可由用户手动选择任意集合作为选择集合。
图19是用于表示由摄像装置12b所取得的效果的图。如图19所示，即使在存在多个集体的情况下，也仅根据例如位于图像左下方的集体所包含的脸的位置，选择距该集体的中心近的脸(由粗线条矩形围起来的脸)。
〔变形例〕
集合决定部23也可以构成为根据各集合内所包含的脸的脸点的中心来决定选择集合。在该情况下，中心决定部19b针对由分类部22所生成的各集合内所包含的脸点取得中心。集合决定部23根据由中心决定部19b所取得的各集合的中心，决定选择集合。例如，集合决定部23把集合内所包含的脸点的中心坐标距图像的中央点最近的集合决定为选择集合。并且，脸决定部20b根据选择集合的中心，决定成为对焦对象的脸。
并且，集合决定部23也可以构成为根据在各集合中被暂定决定为成为对焦对象的脸的脸的脸点，决定选择集合。在该情况下，决定部18b针对由分类部22所生成的各集合，仅根据该集合内所包含的脸，暂定决定成为对焦对象的脸。并且，集合决定部23根据由决定部18b所取得的各集合中的脸点，决定选择集合。例如，集合决定部23把集合内所包含的被暂定决定的脸点的坐标距图像的中央点最近的集合决定为选择集合。即，实质上集合决定部23最终决定成为对焦对象的脸。在该情况下，集合决定部23也可以构成为把所决定的脸的脸点坐标传递给测距部21。
并且，在这样构成的情况下，也可以构成为在由集合决定部23所选择的集合不是用户期望的集合的情况下(集合的选择结果通过未作图示的显示部被提示给用户)，由用户使用输入部13选择其它集合作为选择集合。在该情况下，可以构成为每当输入部13被操作时，由用户选择的集合就根据优先顺序而移位。该优先顺序是基于由集合决定部23所判断的规定基准的顺序。
如上所述，针对每个集合暂定决定对焦对象的脸(有时也称为“对象脸”)，从暂定的对象脸中决定最终对象脸，把该对象脸提示给用户，在与用户的意图不一致的情况下，可以把对象脸变更为被暂定决定的其它对象脸中的任意一个。
取代上述构成，可以构成为在决定部18b从暂定对象脸中决定最终对象脸之前，把暂定对象脸提示给用户，由用户从其中选择最终对象脸。暂定对象脸通过未作图示的显示部，在该脸的周围显示框来提示给用户。
或者，可以在决定对象脸之前，把分类部22的集合分类结果通过未作图示的显示部提示给用户，由用户决定选择集合，决定部18b从由用户所决定的选择集合中选择对象脸。在该情况下，集合决定部23不进行选择集合的决定处理，而仅进行把用户的选择集合的决定结果传递给决定部18b的动作。这样，可以通过选项操作来打开/关闭集合决定部23的决定动作。
下面，对具有对焦对象决定部16c的摄像装置12c进行说明。以下，针对摄像装置12c和对焦对象决定部16c，说明与第三实施方式中的摄像装置12b和对焦对象决定部16b的不同点。
〔系统结构〕图20是表示摄像装置12c的功能块的图。摄像装置12c具有对焦对象决定部16c来取代对焦对象决定部16b，这点与第三实施方式中的摄像装置12b不同。因此，以下，省略对摄像装置12c的输入部13、摄像部14、图像存储部15以及测距部21的说明。
<对焦对象决定部>
对焦对象决定部16c包括决定部18c来取代决定部18b，这点与第三实施方式中的对焦对象决定部16b不同。因此，省略对脸检测部17a、分类部22以及集合决定部23的说明。
<决定部>
决定部18c根据由集合决定部23所决定的集合(选择集合)内所包含的脸进行处理。决定部18c根据该脸的大小，决定成为对焦对象的脸。决定部18c把例如选择集合内所包含的脸中的最大的脸决定为成为对焦对象的脸。或者，决定部18c也可以把例如由集合决定部23所决定的选择集合内所包含的脸中的具有中间大小的脸决定为成为对焦对象的脸。在以下说明中，设决定部18c把最大的脸决定为成为对焦对象的脸来进行说明。
〔动作例〕下面，对第四实施方式中的摄像装置12c的动作例进行说明。摄像装置12c的动作除了S27的处理内容以外，与第三实施方式中的摄像装置12b的动作相同。因此，关于摄像装置12c的动作例，仅对S27的处理内容进行说明。
图21是示出第四实施方式中的对焦对象决定部16c的处理的一部分，即图13中的S27的处理内容的流程图。
当开始S27的处理时，分类部22把由脸检测部17a所检测出的多个脸点分类为多个集合(S31)。然后，集合决定部23从由分类部22所生成的多个集合中选择一个选择集合(S32)。并且，决定部18c根据各脸的大小，从在S32的处理中所选择的选择集合内所包含的脸中选择一个脸作为成为对焦对象的脸(S35)。
〔作用/效果〕根据第四实施方式中的摄像装置12c，与第三实施方式中的摄像装置12b一样，在图像中存在多个集体的情况下，可以仅根据其中一个集合内所包含的人，决定成为对焦对象的脸。
并且，根据第四实施方式中的摄像装置12c，从所选择的一个集合内所包含的脸中，根据该脸的大小，选择成为对焦对象的脸。有时，对于用户而言最想关注的脸是距摄像装置最近的脸。并且，距摄像装置最近的脸在摄像时是最大的脸的可能性高。因此，根据摄像装置12c，从所选择的一个集合内所包含的脸中，根据脸的大小选择被设想为对用户而言最想关注的脸。因此，在该情况下，用户没有必要手动地对想要关注的脸对焦。至少，没有必要像以往技术那样，把最想关注的脸放置在帧的中心或其附近。
〔变形例〕决定部18c也可以构成为根据与由集合决定部23所决定的集合内所包含的各脸有关的特征量来进行处理。决定部18c取得与各脸有关的特征量。决定部18c构成为例如根据脸的大小、脸的朝向等，取得与各脸有关的特征量。另外，决定部18c构成为例如针对各脸，取得表示类似于脸的程度的量作为特征量。“表示类似于脸的程度的量”使用例如在脸检测部17a的脸检测处理时所取得的值来表示。具体地说，当脸检测部17a构成为在判断某区域内是否包含有脸时算出与该区域内的图像的类似于脸有关的值的情况下，把与该类似于脸有关的值用作特征量。
下面，对具有对焦对象决定部16d的摄像装置12d进行说明。以下，针对摄像装置12d和对焦对象决定部16d，说明与第二实施方式中的摄像装置12a和对焦对象决定部16a的不同点。
〔系统结构〕图22是表示摄像装置12d的功能块的图。摄像装置12d具有对焦对象决定部16d来取代对焦对象决定部16a，这点与第二实施方式中的摄像装置12a不同。因此，以下，省略对摄像装置12d的输入部13、摄像部14、图像存储部15以及测距部21的说明。
<对焦对象决定部>
对焦对象决定部16d包括脸检测部17d、区决定部24以及决定部18d。以下，对构成对焦对象决定部16d的各功能部进行说明。
<脸检测部>
脸检测部17d在从对焦用图像中检测脸区域时，针对预先决定的多个区的每一个检测脸区域，这点与第二实施方式中的脸检测部17a不同。图23是表示被分为多个区的对焦用图像的例子的图。如图23所示，对焦用图像被分为多个区(在图23中，矩形图像(帧)被与其纵或横轴平行且通过图像的中央点的二条线段分为4个区，然而分成多少个区均可)。例如由脸检测部17d存储将对焦用图像分为什么样的区。
脸检测部17d针对多个区的每个区检测脸。然后，脸检测部17d针对每一区把检测结果传递给区决定部24。
<区决定部>
区决定部24选择预先决定的多个区中的用于决定成为对焦对象的脸的区(即，包含成为对焦对象的脸的区以下称为“选择区”)。即，被传递给测距部21的坐标是在由区决定部24所决定的选择区中检测出的脸的脸点坐标。
区决定部24根据在各区中所检测出的脸的数目、与在区中所检测出的脸有关的特征量等哪个基准来决定选择区均可。例如，区决定部24把在各区中检测出最多的脸的区决定为选择区。在这样构成区决定部24的情况下，在图23所示的状况下，左上部的区被区决定部24决定为选择区。
并且，例如，区决定部24也可以把与各区内所包含的脸有关的特征量的和为最大的区决定为选择区。作为与脸有关的特征量的计算方法，可以应用与在上述实施方式中所说明的方法相同的方法。
<决定部>
决定部18d不是根据由摄像部14所摄像的图像整体内所包含的脸，而是根据由区决定部24所决定的选择区内所包含的脸来进行处理，这点与决定部18a不同。决定部18d除了上述点以外，进行与决定部18a相同的处理。
图24是表示决定部18d的处理例的图。在由区决定部24所选择的左上部的区(选择区)中，取得脸点的中心。然后，根据所取得的中心，按照规定基准(这里是距图像(帧)的中央点近的基准)，选择一个脸点(由粗线条圆圈围起来的脸点)。
〔动作例〕下面，对第五实施方式中的摄像装置12d的动作例进行说明。摄像装置12d的动作除了S19的处理内容以外，与第二实施方式中的摄像装置12a的动作相同。因此，关于摄像装置12d的动作例，仅对S19的处理内容进行说明。
图25是示出第五实施方式中的对焦对象决定部16d的处理的一部分，即图12中的S19的处理内容的流程图。这样，在第五实施方式中，在S19中，取代在第二实施方式中所应用的图13所示的处理，而执行图25所示的处理。
当开始S19的处理时，脸检测部17d针对每个区检测脸(S36)。然后，区决定部24调查检测出脸的区的数目。在检测出脸的区的数目少于1的情况下(S37＜1)，即是0的情况下，区决定部24把没有脸的情况通知给决定部18d。然后，决定部18d把图像(帧)中央的二维坐标传递给测距部21(S38)。
在检测出脸的区的数目多于1的情况下(S37＞1)，区决定部24从检测出脸的多个区中选择一个选择区(S39)。在检测出脸的区是一个的情况下(S37＝1)，或者在S39的处理后，决定部18d调查由区决定部24所选择的选择区内所包含的脸的数目。在脸的数目多于1的情况下(S40＞1)，即在该选择区内检测出多个脸的情况下，决定部18d从该多个脸中选择一个脸(S41)。S41的处理是与图14所示的流程相同的处理。然而，处理对象不是图像整体而是选择区，这点与第二实施方式不同。
回到使用图25的说明。在所检测出的脸是一个的情况下(S40＝1)，或者在S41的处理后，决定部18d把一个脸的脸点的二维坐标传递给测距部21(S42)。这里所说的一个脸，在所检测出的脸的数目是一个的情况下是该唯一被检测出的脸，在S41的处理后的情况下是被选择的脸。在该处理后，实施图12中的S20及之后的处理。
〔作用/效果〕根据第五实施方式中的摄像装置12d，把对焦用图像分割成多个区，从多个区中选择包含成为对焦对象的脸的一个选择区。并且，从该一个选择区中选择成为对焦对象的脸。因此，在第五实施方式中的摄像装置12d中，可类似地取得与第三实施方式相同的效果。具体地说，在图像中存在多个集体的情况下，可使用区粗略划分这些集体。并且，根据按照规定基准所选择的一个选择区内所包含的集体或集体的一部分的脸，选择成为对焦对象的脸。
并且，在第五实施方式中的摄像装置12d中，与第三实施方式中的摄像装置12b不同，不执行分类处理。因此，在第五实施方式中的摄像装置12d中，与第三实施方式中的摄像装置12b相比可进行快速处理。
〔变形例〕决定部18d也可以与第三实施方式中的决定部18b相同。在该情况下，决定部18d构成为不是根据由集合决定部23所决定的选择集合内所包含的脸，而是根据由区决定部24所决定的选择区内所包含的脸进行处理，这点与决定部18b不同。即，构成为进行不是以图像整体而是以选择区为对象的集合的分类和选择集合的决定等。在该情况下，决定部18d构成为除了上述点以外，进行与决定部18b相同的处理。
通过这样构成，没有必要进行以画面内所包含的所有脸为对象的分类。即，只要仅对所选择的区内所包含的脸执行分类即可。因此，在画面内包含有较多个集体的情况下，与第三实施方式中的摄像装置12b相比可进行快速处理。并且，与通常的第五实施方式中的摄像装置12d相比，可更准确地选择包含成为对焦对象的脸的集合和成为对焦对象的脸。
下面，对具有对焦对象决定部16e的摄像装置12e进行说明。以下，针对摄像装置12e和对焦对象决定部16e，说明与第二实施方式中的摄像装置12a和对焦对象决定部16a的不同点。
〔系统结构〕图26是表示摄像装置12e的功能区的图。摄像装置12e具有对焦对象决定部16e来取代对焦对象决定部16a，这点与第二实施方式中的摄像装置12a不同。因此，以下，省略对摄像装置12e的输入部13、摄像部14、图像存储部15以及测距部21的说明。
<对焦对象决定部>
对焦对象决定部16e包括脸检测部17a、最大脸选择部25、候选选择部26以及决定部18e。以下，对构成对焦对象决定部16e的各功能部进行说明。其中，对焦对象决定部16e所包括的脸检测部17a与第二实施方式中的对焦对象决定部16a所包括的脸检测部17a结构相同，因而省略其说明。
<最大脸选择部>
最大脸选择部25从由脸检测部17a所检测出的多个脸中选择最大的脸(最大脸)。在脸检测部17a中使用脸矩形的情况下，最大脸选择部25根据该脸矩形的大小进行选择。并且，在脸检测部17a中执行图形匹配的情况下，最大脸选择部25根据该图形的大小进行选择。最大脸选择部25构成为使用其它哪种方法来选择最大脸均可。最大脸选择部25把关于所选择的最大脸的信息(例如脸点的坐标、脸的大小)传递给候选选择部26。
图27是示出最大脸选择部25的处理例的图。在图27中，各脸点的大小表示与各脸点对应的脸的大小。通过最大脸选择部25的处理，把由粗框围起来的脸点选择为最大脸。
<候选选择部>
候选选择部26根据由最大脸选择部25所选择的最大脸的大小，选择成为对焦对象的脸的候选。换句话说，候选选择部26决定成为决定部18e的处理对象的脸。
候选选择部26把由最大脸选择部25所选择的最大脸、和具有基于该最大脸的大小的规定范围内的大小的其它脸选择为对象脸的候选。规定范围内的大小表示比最大脸小例如几个百分比～几十百分比的大小。另外，规定范围内的大小也表示例如为最大脸的一半以上的大小或2/3以上的大小。
图28是示出候选选择部26的处理例的图。在图28中，小的空心圆表示没有被候选选择部26选择的脸点。涂黑的圆表示由候选选择部26所选择的其它的脸的脸点。另外，由粗框包围的脸点表示由决定部18e所选择的最大脸的脸点。
<决定部>
决定部18e不是根据由摄像部14所摄像的图像整体内所包含的脸，而是根据由候选选择部26所选择的候选内所包含的脸进行处理，这点与决定部18a不同。决定部18e除了上述点以外，进行与决定部18a相同的处理。
使用图28对决定部18e的处理进行说明。决定部18e根据由候选选择部26所选择的三个脸点，选择成为对焦对象的脸。此时，决定部18e的中心决定部19e取得该三个脸点的中心(斜线的圆)。并且，决定部18e的脸决定部20e根据该中心，按照规定基准(这里是距图像(帧)的中心(中央点)最近的基准)选择一个脸点(这里是由粗框围起来的脸点(最大脸))。
〔动作例〕下面，对第六实施方式中的摄像装置12e的动作例进行说明。摄像装置12e的动作除了S27的处理内容以外，与第二实施方式中的摄像装置12a的动作相同。因此，关于摄像装置12e的动作例，仅对S27的处理内容进行说明。
图29是示出第六实施方式中的对焦对象决定部16e的处理的一部分，即图13中的S27的处理内容的流程图。这样，第六实施方式在S27中执行图29所示的处理来取代图14所示的处理，这点与第二实施方式不同。
当开始S27的处理时，最大脸选择部25选择由脸检测部17a所检测出的多个脸中的最大脸(S43)。然后，候选选择部26根据由最大脸选择部25所选择的脸(最大脸)的大小，选择成为候选的脸(S44)。
然后，决定部18e的中心决定部19e根据成为由候选选择部26所选择的候选的脸(最大脸、以及具有属于以该最大脸为基准的规定范围内的大小的至少一个其它脸)，取得脸点的中心(S45)。然后，决定部18e的脸决定部20e根据所取得的中心，选择一个脸，即成为对焦对象的脸(S46)。另外，根据上述处理，在未检测出与其它脸相当的脸的情况下，把最大脸决定为对象脸。
〔作用/效果〕根据第六实施方式中的摄像装置12e，仅根据具有某种程度的大小的脸，选择成为对焦对象的脸。某种程度的大小是根据最大脸的大小来判断的。
因此，可防止作为背景而被拍摄的人，即用户没有有意作为被摄物体的人脸被包含进来作为处理对象。因此，提高了选择包含成为对焦对象的脸的集合的处理、取得基于集合内所包含的脸的中心的处理、选择成为对焦对象的脸的处理的精度。
〔变形例〕最大脸选择部25也可以构成为根据所检测出的脸的肤色的区域的大小来进行选择。
并且，第二～第六实施方式也可以构成为具有第一实施方式中的脸检测部5来取代脸检测部17a～17e。
对象决定装置可被装配在进行基于最适于被摄物体的焦距或曝光等的摄影的摄像机和相机上。
权利要求
1.一种对象决定装置，其特征在于，包括脸检测单元，其把根据任意焦点信息所摄像的图像作为处理对象图像，从所述处理对象图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸；以及决定单元，其根据由所述脸检测单元所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
2.一种对象决定装置，其特征在于，包括帧取得单元，其从根据任意焦点信息所摄像的包含多个帧的时序图像中，取得规定的帧的图像作为处理对象图像；脸检测单元，其从所述处理对象图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸；以及决定单元，其根据由所述脸检测单元所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
3.根据权利要求1或2所述的对象决定装置，其中，所述脸检测单元求出在所述处理对象图像中作为关注区域内的特征区域的第一区域和第二区域的统计量的相对值，根据所述统计量的相对值判断在所述关注区域内是否包含有人脸，进而来检测人脸。
4.根据权利要求1～3中的任意一项所述的对象决定装置，其中，所述决定单元在所述脸检测单元检测出多个脸的情况下，根据所述多个脸各自的图像信息决定一个脸，根据该脸决定所述进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
5.根据权利要求4所述的对象决定装置，其中，所述决定单元对所述多个脸各自的图像大小进行比较，根据其大小为最大的脸来决定所述进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
6.根据权利要求4所述的对象决定装置，其中，所述决定单元针对所述各脸，根据脸的朝向、脸的大小、在图像内的位置、或者周围的脸的密度中的任意一项或多项计算得分，把所述算出的得分作为所述图像信息来使用。
7.根据权利要求1～3中的任意一项所述的对象决定装置，其中，所述决定单元在所述脸检测单元检测出多个人脸的情况下，依照对所述多个脸的实物分别进行测距所得的结果，根据其距离为最小的脸来决定所述进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
8.一种摄像装置，其特征在于，包括摄像单元，其摄像基于规定的焦点信息或者由信息取得单元所取得的焦点信息和/或曝光控制信息的图像；脸检测单元，其从根据所述规定的焦点信息由所述摄像单元所摄像的图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸；决定单元，其根据由所述脸检测单元所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体；信息取得单元，其取得用于对由所述决定单元所决定的被摄物体进行对焦的焦点信息和/或用于把由所述决定单元所决定的被摄物体作为对象进行曝光控制的曝光控制信息；以及图像存储单元，其存储通过所述摄像单元根据由所述信息取得单元所取得的焦点信息和/或曝光控制信息而摄像的图像。
9.一种摄像装置，其特征在于，包括摄像单元，其根据规定的焦点信息或者由信息取得单元所取得的焦点信息和/或曝光控制信息，摄像包含多个帧的时序图像；帧取得单元，其从由所述摄像单元所摄像的包含多个帧的时序图像中取得规定的帧的图像；脸检测单元，其从由所述帧取得单元所取得的图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸；决定单元，其根据由所述脸检测单元所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体；信息取得单元，其取得用于对由所述决定单元所决定的被摄物体进行对焦的焦点信息和/或用于把由所述决定单元所决定的被摄物体作为对象进行曝光控制的曝光控制信息；以及图像存储单元，其存储时序图像，该时序图像是通过所述摄像单元根据由所述信息取得单元所取得的焦点信息和/或曝光控制信息而摄像的。
10.根据权利要求8或9所述的摄像装置，还包括测距单元，其测量从摄像装置到任意被摄物体的距离，所述决定单元在所述脸检测单元检测出多个人脸的情况下，依照所述测距单元对所述多个脸的实物分别进行测距所得的结果，根据其距离为最小的脸来决定所述进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体。
11.根据权利要求8或9所述的摄像装置，还包括显示单元，其把由所述决定单元所决定的人脸与其他脸区别开来显示。
12.一种用于使信息处理装置执行以下步骤的程序把根据任意焦点信息所摄像的图像作为处理对象图像，从所述处理对象图像中，根据因人脸的凹凸或器官而产生的多个特征区域的统计量的相对值来检测人脸的步骤；以及根据所检测出的脸，决定在实施摄像时进行对焦的被摄物体和/或成为进行曝光控制的对象的被摄物体的步骤。
13.一种对象决定装置，其特征在于，包括检测单元，其从所输入的图像中检测人脸；以及决定单元，当由所述检测单元检测出多个人脸时，其根据该多个人脸的位置，从该多个人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
14.一种对象决定装置，其特征在于，包括帧取得单元，其从所输入的包含多个帧的时序图像中取得规定的帧的图像作为处理对象图像；检测单元，其从所述处理对象图像中检测人脸；以及决定单元，当由所述检测单元检测出多个人脸时，其根据该多个人脸的位置，从该多个人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
15.根据权利要求13或14所述的对象决定装置，所述决定单元包括中心决定单元，其根据所述多个人脸的位置，决定所述多个人脸的位置的中心；以及脸决定单元，其根据所述中心位置决定成为所述对象的脸。
16.根据权利要求15所述的对象决定装置，其中，所述中心决定单元把与所述多个人脸的位置外接的多边形的中心决定为所述中心。
17.根据权利要求15所述的对象决定装置，其中，所述中心决定单元把所述多个人脸的位置的重心决定为所述中心。
18.根据权利要求15所述的对象决定装置，其中，所述脸决定单元把距所述中心最近的人脸决定为成为所述对象的脸。
19.根据权利要求15所述的对象决定装置，其中，所述脸决定单元按照规定基准，从位于距所述中心规定距离内的脸中决定成为所述对象的脸。
20.根据权利要求13或14所述的对象决定装置，其中，所述决定单元把所述多个人脸中位于最下方的脸决定为成为所述对象的脸。
21.一种对象决定装置，其特征在于，包括检测单元，其从所输入的图像中检测人脸；以及决定单元，当由所述检测单元检测出多个人脸时，其以所检测出的脸的数目为基准，把位于其正中的人脸决定为在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
22.一种对象决定装置，其特征在于，包括帧取得单元，其从所输入的包含多个帧的时序图像中取得规定的帧的图像作为处理对象图像；检测单元，其从所述处理对象图像中检测人脸；以及决定单元，当由所述检测单元检测出多个人脸时，其以所检测出的脸的数目为基准，把位于其正中的人脸决定为在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
23.根据权利要求13、14、21、22中的任意一项所述的对象决定装置，还包括分类单元，当由所述检测单元检测出多个人脸时，其将所检测出的多个人脸根据各自的位置分类为多个集合；以及集合决定单元，其从所述多个集合中，决定选择集合，该选择集合用于决定成为所述对象的脸，所述决定单元根据所述选择集合内所包含的人脸，决定成为所述对象的脸。
24.根据权利要求13、14、21、22中的任意一项所述的对象决定装置，其特征在于，还包括显示单元，其把由所述决定单元所决定的人脸与其他脸区别开来显示。
25.一种对象决定装置，其特征在于，包括检测单元，其从所输入的图像中检测人脸；分类单元，当由所述检测单元检测出多个人脸时，其把所检测出的多个人脸分类为多个集合；暂定决定单元，其针对所述多个集合中的各个集合，从该集合内所包含的人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及最终决定单元，其从由所述暂定决定单元所决定的脸中最终决定成为所述对象的脸。
26.一种对象决定装置，其特征在于，包括帧取得单元，其从所输入的包含多个帧的时序图像中取得规定的帧的图像作为处理对象图像；检测单元，其从所述处理对象图像中检测人脸；分类单元，当由所述检测单元检测出多个人脸时，其把所检测出的多个人脸分类为多个集合；暂定决定单元，其针对所述多个集合中的各个集合，从该集合内所包含的人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及最终决定单元，其从由所述暂定决定单元所决定的脸中最终决定成为所述对象的脸。
27.一种对象决定装置，其特征在于，包括检测单元，其在将所输入的图像进行了分割而得到的多个区的各区中检测人脸；区决定单元，其根据所述检测单元的检测结果，决定选择区，该选择区用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及决定单元，其从所述选择区内所包含的脸中决定成为所述对象的脸。
28.一种对象决定装置，其特征在于，包括帧取得单元，其从所输入的包含多个帧的时序图像中取得规定的帧的图像作为处理对象图像；检测单元，其在将所述处理对象图像进行了分割而得到的多个区的各区中检测人脸；区决定单元，其根据所述检测单元的检测结果，决定选择区，该选择区用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及决定单元，其从所述选择区内所包含的脸中决定成为所述对象的脸。
29.一种对象决定装置，其特征在于，包括检测单元，其从所输入的图像中检测人脸；判断单元，当由所述检测单元检测出多个人脸时，其判断被检测出的人脸中的最大的脸；选择单元，其从所述检测出的脸中选择所述最大的脸和具有以该最大的脸的大小为基准的规定范围内的大小的脸；以及决定单元，其从所述被选择的脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
30.一种对象决定装置，其特征在于，包括帧取得单元，其从所输入的包含多个帧的时序图像中取得规定的帧的图像作为处理对象图像；检测单元，其从所述处理对象图像中检测人脸；判断单元，当由所述检测单元检测出多个人脸时，其判断所检测出的人脸中的最大的脸；选择单元，其从所述所检测出的脸中选择所述最大的脸和具有以该最大的脸的大小为基准的规定范围内的大小的脸；以及决定单元，其从所述所选择的脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
31.一种对象决定装置，其特征在于，包括检测单元，其从所输入的图像中检测人脸；分类单元，当由所述检测单元检测出多个人脸时，其将所检测出的多个人脸根据各自的位置分类为多个集合；集合决定单元，其从所述多个集合中决定选择集合，该选择集合用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及决定单元，其从由所述集合决定单元所决定的选择集合内所包含的脸中决定成为所述对象的脸。
32.一种对象决定装置，其特征在于，包括帧取得单元，其从所输入的包含多个帧的时序图像中取得规定的帧的图像作为处理对象图像；检测单元，其从所述处理对象图像中检测人脸；分类单元，当由所述检测单元检测出多个人脸时，其将所检测出的多个人脸根据各自的位置分类为多个集合；集合决定单元，其从所述多个集合中决定选择集合，该选择集合用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及决定单元，其从由所述集合决定单元所决定的选择集合内所包含的脸中决定成为所述对象的脸。
33.一种用于使信息处理装置执行以下步骤的程序从所输入的图像中检测人脸的步骤；以及当检测出多个人脸时，根据该多个人脸的位置，从该多个人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸的步骤。
34.一种用于使信息处理装置执行以下步骤的程序从所输入的图像中检测人脸的步骤；以及当检测出多个人脸时，以所检测出的脸的数目为基准，把位于其正中的人脸决定为在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸的步骤。
35.一种用于使信息处理装置执行以下步骤的程序从所输入的图像中检测人脸的步骤；当检测出多个人脸时，将所检测出的多个人脸根据各自的位置分类为多个集合的步骤；针对所述多个集合中的各个集合，从该集合内所包含的人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸的步骤；以及从所述各集合中所决定的脸中最终决定成为所述对象的脸的步骤。
36.一种用于使信息处理装置执行以下步骤的程序在将所输入的图像进行了分割而得到的多个区的各区中检测人脸的步骤；根据所述各区的检测结果，决定选择区的步骤，该选择区用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及从所述选择区内所包含的脸中决定成为所述对象的脸的步骤。
37.一种用于使信息处理装置执行以下步骤的程序从所输入的图像中检测人脸的步骤；当检测出多个人脸时，判断被检测出的多个人脸中的最大的脸的步骤；从所述被检测出的脸中选择所述最大的脸和具有以该最大的脸的大小为基准的规定范围内的大小的脸的步骤；以及从所述被选择的脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸的步骤。
38.一种用于使信息处理装置执行以下步骤的程序从所输入的图像中检测人脸的步骤；当检测出多个人脸时，将所检测出的多个人脸根据各自的位置分类为多个集合的步骤；从所述多个集合中决定选择集合的步骤，该选择集合用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及从所决定的所述选择集合内所包含的脸中决定成为所述对象的脸的步骤。
39.根据权利要求1或2所述的对象决定装置，其特征在于，当由所述脸检测单元检测出多个人脸时，所述决定单元根据该多个人脸的位置，从该多个人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
40.根据权利要求1或2所述的对象决定装置，其特征在于，当由所述脸检测单元检测出多个人脸时，所述决定单元以所检测出的脸的数目为基准，把位于其正中的人脸决定为在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
41.根据权利要求1或2所述的对象决定装置，其特征在于，所述决定单元包括分类单元，当由所述脸检测单元检测出多个人脸时，其把所检测出的多个人脸分类为多个集合；暂定决定单元，其针对所述多个集合中的各个集合，从该集合内所包含的人脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸；以及最终决定单元，其从由所述暂定决定单元所决定的脸中最终决定成为所述对象的脸。
42.根据权利要求1或2所述的对象决定装置，其特征在于，还包括区决定单元，其根据所述脸检测单元的检测结果决定选择区，该选择区用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸，所述决定单元从所述选择区内所包含的脸中决定成为所述对象的脸。
43.根据权利要求1或2所述的对象决定装置，其特征在于，还包括判断单元，当由所述脸检测单元检测出多个人脸时，其判断被检测出的人脸中的最大的脸；以及选择单元，其从所述被检测出的脸中选择所述最大的脸和具有以该最大的脸的大小为基准的规定范围内的大小的脸，所述决定单元从所述被选择的脸中决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸。
44.根据权利要求1或2所述的对象决定装置，其特征在于，还包括分类单元，当由所述脸检测单元检测出多个人脸时，其将所检测出的多个人脸根据各自的位置分类为多个集合；以及集合决定单元，其从所述多个集合中决定选择集合，该选择集合用于决定在实施摄像时成为进行对焦的对象的脸和/或成为进行曝光控制的对象的脸，所述决定单元从由所述集合决定单元所决定的选择集合内所包含的脸中决定成为所述对象的脸。
全文摘要
仅对根据预定的任意(规定)焦点信息所摄像的图像执行脸检测。在该脸检测时，根据因人脸的凹凸或器官而产生的多个特征区域内的统计量的相对值来检测人脸。因此，即使在供脸检测用的图像中脸被拍得模糊，也能取得某区域内的统计量，因而可检测该脸。因此，在摄像装置中在预备摄像阶段不进行焦点控制，可快速地检测出成为对焦对象的主要被摄物体。
文档编号G02B7/28GK1823298SQ20048002030
公开日2006年8月23日 申请日期2004年7月14日 优先权日2003年7月15日
发明者井尻善久, 露口卓也, 今江文一, 山元昌史 申请人:欧姆龙株式会社