图像处理设备、图像处理方法和程序的制作方法

图像处理设备、图像处理方法和程序的制作方法
【专利摘要】在图像数据的多个帧的每一个帧中检测成为主被摄体的候选的候选图像。对于检测到的候选图像，之后获得跨越多个帧的图像数据中的稳定存在程度。使用该稳定存在程度，在候选图像当中确定主被摄体。
【专利说明】图像处理设备、图像处理方法和程序
【技术领域】
[0001]本公开涉及用于确定图像中的主被摄体的图像处理设备和图像处理方法和用于执行确定图像中的主被摄体的处理的程序。
【背景技术】
[0002]近来的数字静物相机和数字视频相机通常具有面部检测功能，并具有根据面部位置和区域最优地匹配相机的各种参数(焦点、亮度等)的功能。
[0003]另一方面，专利文献I公开了用户指定并选择作为要在捕获的图像中跟踪的目标被摄体的“主被摄体”的技术。
[0004]另外，如果使用上面描述的专利文献2、3和4中公开的技术，例如，可以实现包含任意被摄体的全体的帧的被摄体跟踪。
[0005]另外，还存在控制光学系统等的功能，比如自动聚焦和自动曝光，以使得检测和追踪捕获图像中的所需区域从而优化该区域。
[0006]如上所述，已知跟踪由用户指定为主被摄体的图像，例如，捕获图像中比如面部的图像区域，聚焦在面部区域上等的技术。
[0007]引文列表
[0008]专利文献
[0009]专利文献I JP2011-166305A
[0010]专利文献2 JP2011-146826A
[0011]专利文献3 JP2011-146827A
[0012]专利文献4 JP2011-160379A

【发明内容】

[0013]技术问题
[0014]但是，在捕获图像中，经历跟踪或者聚焦的所需区域，即，“主被摄体”，由拍照者通过从“多个候选区域”直接选择一个候选来决定，该“多个候选区域”使用目前的任意方法从各种检测器获得。
[0015]在保持相机的状态下，例如，通过从投影在触摸板上的屏幕(在除了操作快门的时间之外的时间显示的被摄体的监视图像)上显示的通过图像上的多个面部中选择任意面部的动作来选择主被摄体。替代地，在由用户指定的时间(半按下快门等)，将预定区域中存在的被摄体设置为主被摄体。
[0016]但是，当在实际使用实例中考虑用户界面时，存在“由拍照者自己选择主被摄体”的动作困难的情况。
[0017]例如，当用户想要使用维持焦点在来回移动的被摄体上的功能时，用户难以在对准被摄体的同时使用他或者她持有相机的手指来选择被摄体。
[0018]例如，存在由于用户对被摄体的改变(移动)的反应的速度而指定困难的情况。例如，存在难以在通过图像的屏幕上精确地指定来回移动的被摄体的情况。
[0019]另外，在用户首先用他或者她的手持有相机并将相机转向被摄体以选择被摄体的情况下，用户难以执行使用他或者她的手指在屏幕上选择主被摄体的动作。
[0020]另外，存在用户难以以布置触摸板的显示屏幕的分辨率选择被摄体的情况。
[0021]另外，还存在难以取决于布置触摸板的显示屏幕上被摄体的尺寸和用户手指的尺寸(厚度)而适当地指定所需被摄体的情况。
[0022]另外，还存在由于相机系统的时间滞后，例如，实际场景和捕获图像的通过图像之间的时间滞后，而用户难以适当地指定被摄体的情况。
[0023]此外，当要在动态图像的成像和记录期间执行这种指定操作时，可能按照原样地记录由选择主被摄体的动作引起的图像摇动，或者在由临时屏蔽引起的巾贞丢(frame-out)或者跟踪丢失(故障)时可能需要重新选择的动作，等等。
[0024]如上所述，手持型相机具有在于选择主被摄体的动作自身在需要该功能的很多使用实例中很困难的问题，这对于拍照者是有压力的。
[0025]因此，本公开目的在于实现确定由比如拍照者之类的用户要求的目标被摄体和设置该被摄体为主被摄体而没有用户有意地选择被摄体的动作的技术。
[0026]技术方案
[0027]根据本公开，提供了图像处理设备，包括:候选检测单元，配置为对于多个帧的图像数据检测用作主被摄体的候选的每一个候选图像；和主被摄体确定单元，配置为获得跨距多个帧的图像数据内由候选检测单元检测的候选图像的稳定存在程度和使用该稳定存在程度在候选图像当中确定主被摄体。
[0028]根据本公开，提供了图像处理方法，包括:对于多个帧的图像数据检测用作主被摄体的候选的每一个候选图像，获得跨距多个帧的图像数据内检测的候选图像的稳定存在程度，和使用该稳定存在程度在候选图像当中确定主被摄体。
[0029]根据本公开，提供了用于使得运算处理设备执行以下处理的程序:位置状态确定处理，对于在视场内多个帧的图像数据确定作为主被摄体的候选检测的每一个候选图像的位置状态；稳定存在程度计算处理，从位置状态确定处理中确定的每一帧的每一个候选图像的位置状态获得跨距多个帧的图像数据内每一个候选图像的稳定存在程度；和主被摄体确定处理，使用在稳定存在程度计算处理中获得的稳定存在程度确定候选图像当中的主被摄体。
[0030]根据本公开的技术，获得多个帧中提取的候选图像的稳定存在程度。稳定存在程度是指示某个图像在在视场内的预定位置状态的频率(存在的时间精度)的值。作为高度可能被认为是持有相机的拍照者的目标的被摄体具有高稳定存在程度。换句话说，使得拍照者主要对准的被摄体被包括在拍照者认为是作为捕获图像中的位置的中心的点或者区域中，且当拍照者另外对准被摄体时，被摄体在长时间段中自然地包括在捕获图像中。由此，以就时间而言的高频率以预定位置状态存在于捕获图像中的被摄体(具有高稳定存在程度的被摄体)可以被假定为拍照者对准的主被摄体。
[0031]技术效果
[0032]根据本公开，因为在捕获图像中自动地确定主被摄体，所以比如拍照者的用户不需要执行选择主被摄体的动作。由此，可以改进用户的操作性和便利。例如，可以实现当通过在手中持有安装有本公开的图像处理设备的成像设备执行捕获时操作性的改进和用户压力的减少，和根据主被摄体的自动确定的各种功能的实现的产品附加值的进一步增强。
【专利附图】

【附图说明】
[0033]图1是本公开的实施例的图像处理设备的配置实例的框图。
[0034]图2是根据本实施例的图像处理设备的主被摄体确定处理的流程图。
[0035]图3是根据本实施例的成像设备的框图。
[0036]图4是根据本实施例的主被摄体确定处理的类型I的流程图。
[0037]图5是根据本实施例的主被摄体确定处理的类型II的流程图。
[0038]图6是根据本实施例的候选图像帧和确定参考点的示意图。
[0039]图7是根据本实施例的候选图像帧和确定参考点之间的距离的示意图。
[0040]图8是根据本实施例的基于位置状态的稳定存在的确定的曲线图。
[0041 ]图9是根据本实施例的处理实例I的流程图。
[0042]图10是根据本实施例的处理实例2的流程图。
[0043]图11是根据本实施例的处理实例3的流程图。
[0044]图12是根据本实施例的处理实例4的流程图。
[0045]图13是根据本实施例的处理实例5的流程图。
[0046]图14是根据本实施例的处理实例6的流程图。
[0047]图15是根据本实施例的候选图像帧和确定参考点的示意图。
[0048]图16是根据本实施例的基于位置状态的稳定存在的确定的曲线图。
[0049]图17是根据本实施例的处理实例7的流程图。
[0050]图18是根据本实施例的处理实例8的流程图。
[0051 ]图19是根据本实施例的处理实例9的流程图。
[0052]图20是根据本实施例的处理实例10的流程图。
[0053]图21是根据本实施例的处理实例11的流程图。
[0054]图22是根据本实施例的处理实例12的流程图。
[0055]图23是实施例应用于计算机设备的情况的框图。
【具体实施方式】
[0056]在下文中，将以下列次序描述实施例。
[0057]〈1.图像处理设备的配置〉
[0058]<2.成像设备的配置>
[0059]<3.主被摄体决定处理的概述〉
[0060][3-1:处理类型 I]
[0061][3-2:处理类型 II]
[0062][3-3:主被摄体确定的机会和目标等]
[0063]<4.特定处理示例>
[0064][4-1:处理示例I (类型I ;确定参考点；第一到达确定；累积存在)]
[0065][4-2:处理示例2 (类型I ;确定参考点；第一到达确定；连续存在)][0066][4-3:处理实例3 (类型I ;确定参考点；第一到达确定；累积存在；扩展实例)]
[0067][4-4:处理实例4 (类型I ;确定参考点；第一到达确定；累积存在；条件确定)]
[0068][4-5:处理示例5 (类型I ;确定参考点；固定时间确定；累积存在)]
[0069][4-6:处理示例6 (类型I ;确定参考点；固定时间确定；连续存在)]
[0070][4-7:处理实例7 (类型I ;确定参考区域；第一到达确定；累积或者连续存在)]
[0071][4-8:处理实例8 (类型I ;确定参考区域；固定时间确定；累积或者连续存在)]
[0072][4-9:处理实例9 (类型II ;确定参考点；平均存在)]
[0073][4-10:处理实例10 (类型II ;确定参考点；累积存在)]
[0074][4-11:处理实例11 (类型II ;确定参考点；连续存在)]
[0075][4-12:处理实例12 (类型II ;确定参考区域；平均存在)]
[0076]〈5.对程序和计算机设备的应用>
[0077]<6.修改示例>
[0078]应当注意，使用的术语的含义如下。
[0079]“视场”指的是捕获图像中表示的空间。其主要具有作为捕获图像中的屏幕平面的二维空间的含义，除此之外还具有也包括在成像时被摄体关于相机的位置的相对距离的三维空间的含义。注意，关于捕获图像，当描述在成像时被摄体关于相机位置的相对距离时，使用术语“被摄体距离”。
[0080]在本实施例中的“视场”用作主要具有屏幕平面上的二维空间(捕获图像中的x-y坐标空间)的含义，且本公开的技术应用“视场”为屏幕平面上的二维空间，但是当除屏幕平面之外特别考虑“被摄体距离”时，假定“视场”指的是三维空间(x-y-z坐标空间)。
[0081]此外，如将在之后作为修改实例描述的，所谓的“视场”还可以被认为是仅考虑屏幕平面的水平方向(X坐标)上的位置、屏幕平面的水平方向(y坐标)上的位置或者被摄体距离(z坐标)的一维空间。
[0082]假定“位置状态”是涉及在捕获图像数据中候选图像的视场中的绝对或者相对位置的状态的集合术语。
[0083]“位置状态”的特定实例包括:
[0084].到本实施例中描述的确定参考点的相对距离；
[0085].对本实施例中描述的确定参考区域的相对位置关系和相对距离；
[0086].捕获图像的二维平面中候选图像的位置；
[0087].被摄体距离；
[0088].被摄体距尚和确定参考点或者确定参考区域之间的相对位置关系；等等。
[0089]假定“稳定存在程度”是指示视场中的某个被摄体处于预定位置状态的频率的值。例如，该值是可以确定被摄体是否以高时间频率处于图像内的预定状态的指标值。为了基于将在之后描述的实施例描述，其是指示候选图像以作为在视场内的位置状态的预定位置状态存在的累积时间或者持续时间、平均存在等的值，且例如具有作为“稳定存在程度”计算出的长累积时间或者持续时间的图像可以估计为拍照者主要对准的被摄体。
[0090]〈1.图像处理设备的配置〉
[0091]图1示出了根据本实施例的图像处理设备的配置实例。
[0092]图像处理设备I具有主被摄体确定单元2和候选检测单元3。[0093]候选检测单元3从多个帧的输入图像数据Dg中检测每一用作主被摄体的候选的候选图像并输出候选图像信息到主被摄体确定单元2。
[0094]换句话说，对于在时间轴上连续输入的图像数据Dg的每一帧(或者每一间隔帧(each intermittent frame))执行面部图像检测、人体检测等,并提取用作主被摄体的候选的图像。
[0095]注意，可以使用在关于捕获图像数据执行的图像分析中的模式匹配等技术执行面部检测、人体检测等，但是如果仅替换模式匹配中使用的词典，则原则上还可以实现其他检测器。例如，用于(某个品种的)狗面部检测、猫面部检测等的主被摄体的候选图像的提取是可能的。
[0096]另外，例如，还可以考虑使用基于帧差别的移动主体检测的技术来检测移动主体和设置移动主体为候选图像，且可以使用提取被称为显著区(Saliency)的感兴趣区域的技术。
[0097]另外，候选检测单元3输出指示提取的候选图像的信息(例如，在候选图像的屏幕内的二维方向上的位置信息(X和y坐标值)、被摄体距离、图像尺寸(像素数目)等)作为候选图像信息。
[0098]主被摄体确定单元2关于由从候选检测单元3提供的候选图像信息指示的候选图像在跨越多个帧的图像数据中获得稳定存在程度，然后使用获得的稳定存在程度在候选图像当中确定主被摄体。然后，输出主被摄体信息Dm。
[0099]为达到该目的，主被摄体确定单元2提供有作为例如由软件程序实现的运算处理功能的位置状态确定部分2a、稳定存在程度计算部分2b和设置处理部分2c。
[0100]位置状态确定部分2a确定在视场内由候选图像信息指示的候选图像的位置状态。
[0101]稳定存在程度计算部分2b基于由位置状态确定部分2a确定的每一帧中候选图像的位置状态而在跨越多个帧的图像数据中获得每一候选图像的稳定存在程度。
[0102]设置处理部分2c执行使用由稳定存在程度计算部分2b获得的稳定存在程度在候选图像当中确定主被摄体，然后设置某个候选图像为主被摄体的处理。输出指示设置为主被摄体的图像的信息作为要传送到其他应用软件、处理电路单元等的主被摄体信息Dm。
[0103]注意，候选检测单元3可以由作为图像分析装置的视频处理DSP(数字信号处理器)或者CPU (中央处理单元)实现。
[0104]另外，主被摄体确定单元2可以由作为运算处理装置的CPU或者DSP实现。
[0105]另外，还假定构成主被摄体确定单元2的CPU等执行像候选检测单元3那样的操作的配置。换句话说，存在执行图像分析的候选检测单元3配置为用作主被摄体确定单元2的运算处理装置中的一个功能模块的情况。
[0106]由图像处理设备I执行的处理的流程如图2A所示。
[0107]作为步骤F1000，开始图像数据Dg的输入。图像数据Dg由接收从成像设备单元或者在该图中未示出的另一成像设备发送的图像数据的接收单元等输入。替代地，存在已经由成像设备捕获并存储在记录介质中的动态图像数据被再现然后输入的情况。
[0108]当图像处理设备I执行主被摄体的确定时，处理从步骤F1001进行到步骤F1002。
[0109]在步骤F1002，候选检测单元3执行目标为顺序输入图像数据Dg的每一帧的图像分析、帧差异检测、感兴趣区域检测等，然后开始执行预定候选图像的检测的处理。
[0110]候选检测单元3可以执行目标为全部输入帧的候选图像提取，或者可以执行目标为间断帧，比如每两个帧、每三个帧等的候选图像提取。换句话说，候选检测单元3可以对于执行主被摄体确定的时段以时间序列方式至少关于多个帧执行候选图像提取处理。哪个图像将被设置为候选图像可以取决于设置而变化，但是例如，考虑面部图像、人体图像、狗图像、猫图像等。
[0111]然后，候选检测单元3将指示每一帧的检测到的候选图像的候选图像信息输出到主被摄体确定单元2。
[0112]在步骤F1003，主被摄体确定单元2执行主被摄体确定处理。
[0113]如图2B所示执行主被摄体确定处理。
[0114]在步骤F1，位置状态确定部分2a接受顺序输入的候选图像信息以确定每一候选图像的位置状态。一个或者多个候选图像可以存在于一个帧中，或者帧中可能不存在候选图像。当在某个帧中存在多个候选图像时，确定每一个候选图像的位置状态。
[0115]在步骤F2，稳定存在程度计算部分2b基于在位置状态确定处理中已经确定的每一帧中每一个候选图像的位置状态，在多个帧上计算图像数据中候选图像的稳定存在程度。例如，稳定存在程度计算如指示位置状态是接近于图像中心的状态等的频率的值。
[0116]在步骤F3，设置处理部分2c使用每一候选图像的稳定存在程度在候选图像当中确定主被摄体。例如，具有作为指示位置状态是接近于图像中心的状态的频率的值的最高稳定存在程度的候选图像(或者就时间而言最快地达到预定值的候选图像)被确定为主被摄体。
[0117]在图2A的步骤F1003中，主被摄体确定单元2执行如上所述的图2B的步骤Fl到F3，由此例如设置一个候选图像为主被摄体。
[0118]然后，在图2A的步骤F1004中，主被摄体确定单元2将主被摄体信息Dm传送到应用程序等。
[0119]应用程序等根据设置为主被摄体的图像的规格执行处理。该处理例如是聚焦调整、跟踪处理、图像效果处理等。
[0120]在由图像处理设备I执行的主被摄体确定处理中，获得在提取的候选图像当中的多个帧中的稳定存在程度。换句话说，获得用于确定被摄体是否存在于正在以高时间频率稳定定位的图像中的指标值。
[0121]例如，认为被持有相机的拍照者猫准为目标的具有闻可罪性的被摄体具有闻稳定存在程度。换句话说，拍照者主要瞄准的被摄体设置为作为捕获图像内的位置包括在拍照者看成中心的点或者区域中，且当拍照者另外瞄准被摄体时，该被摄体在长时间段内被自然地包括在捕获图像中。由此，以高时间频率稳定地位于并存在于捕获图像中的被摄体(具有高稳定存在程度的被摄体)可以被估计为拍照者瞄准的主被摄体。
[0122]以这种稳定存在程度执行主被摄体的确定。因此，自动地确定主被摄体而没有由比如拍照者的用户指定的特定操作，由此进一步增强根据主被摄体的设备执行操作的各种电子装置的用户操作性。
[0123]〈2.成像设备的配置〉
[0124]在下文中，将举例说明嵌入上面描述的图像处理设备的成像设备10而具体描述主被摄体确定操作。
[0125]图3示出了根据本实施例的成像设备10的配置实例。成像设备3假定为是所谓的数码相机或者数字视频相机，作为执行静止图像和动态图像的捕获和记录的装置，并包括权利要求中描述的图像处理设备。
[0126]另外，对应于上面描述的图像处理设备的主被摄体确定单元2的配置由成像设备10的控制单元30中的软件实现。控制单元30通过基于权利要求中提到的程序执行处理来执行作为权利要求中提到的图像处理方法的操作。
[0127]如图1所示，成像设备10包括光学系统11、成像器12、光学系统驱动单元13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制单元30、用户界面控制器(以下称为“Π控制器”)32和用户界面33。
[0128]光学系统11具有比如覆盖镜头、变焦镜头和聚焦镜头的镜头以及调速机制。通过该光学系统11，在成像器12中收集来自被摄体的光。
[0129]例如，成像器12具有CXD (电荷耦合器件)类型或者CMOS (互补金属氧化物半导体)类型成像传感器。
[0130]例如，成像器12对于通过成像传感器中的光电转换获得的电信号执行⑶S(相关二重采样)处理、AGC(自动增益控制)处理等，并进一步执行A-D (模拟-数字)转换处理。然后，成像器12将作为数字数据的图像信号输出到后级的数字信号处理单元20。
[0131]光学系统驱动单元13在控制单元30的控制下驱动光学系统11的聚焦镜头并执行聚焦操作。此外，光学系统驱动单元13在控制单元30的控制下驱动光学系统11的调速机制并执行曝光调整。此外，光学系统驱动单元13在控制单元30的控制下驱动光学系统11的变焦镜头并执行变焦操作。
[0132]例如，数字信号处理单元20配置为DSP等的图像处理器。数字信号处理单元20对于来自成像器12的数字信号(捕获图像信号)执行各种类型的信号处理。
[0133]例如，数字信号处理单元20包括预处理单元21、同步单元22、YC生成单元23、分辨率转换单元24、编解码单元25和候选检测单元26。
[0134]预处理单元51关于来自成像器12的捕获图像信号执行将R、G和B的黑色电平箝位到预定电平的箝位处理或者R、G和B的彩色信道当中的校正处理。
[0135]同步单元22执行解马赛克处理以使得每一像素的图像数据具有R、G和B全部的颜色分量。
[0136]YC生成单元23从R、G和B的图像数据产生(分离)亮度⑴信号和颜色(C)信号。
[0137]分辨率转换单元24关于在其上已经执行了各种类型的信号处理的图像数据执行分辨率转换处理。
[0138]例如，编解码单元25关于已经执行了分辨率转换的图像数据执行用于记录或者通信的编码处理。
[0139]候选检测单元26对应于图1中描述的候选检测单元3，并以帧为单位执行目标为例如在YC生成单元23中获得的捕获图像信号(亮度信号或者彩色信号)的图像分析处理，然后提取候选图像。作为示例，例如检测面部图像，并将其中存在面部图像的区域提取为候选图像帧。关于提取的候选图像，候选图像帧的位置信息(屏幕上的X和y坐标值、被摄体距离的信息等)或者尺寸信息(例如，候选图像帧的像素的宽度、高度和数目等)被作为候选图像信息传送到控制单元30的主被摄体确定单元31。注意，这里，因为候选图像信息是指示用作候选图像的图像区域的帧的信息，所以候选图像信息的术语也被称为“候选图像帧信息”。
[0140]另外，作为候选图像帧信息，也可以包括候选图像的属性信息(面部、人体、狗、猫等的类型)，个体(实体)标识信息和另外的图像数据本身。
[0141]考虑候选检测单元26可以如上所述使用模式匹配技术提取作为候选的目标的特定图像，或者基于帧差异例如使用移动主体检测技术检测移动主体然后设置移动主体为候选图像。提取和选择候选图像的技术不限于上述的，且考虑各种技术。
[0142]另外，候选检测单元26可以执行图像的平滑处理、非正常值(outlier)去除处理等以产生候选图像帧信息。
[0143]控制单元30由具有CPU、R0M(只读存储器)、RAM(随机存取存储器)、闪速存储器等的微计算机(运算处理装置)配置。
[0144]通过执行ROM、闪速存储器等中存储的程序，CPU完全地控制整个成像设备10。
[0145]用作当CPU执行各种数据处理时的工作区的RAM用于临时存储数据、程序等。
[0146]ROM和闪速存储器(非易失性存储器)用于存储由CPU控制每一单元所需的OS (操作系统)、比如图像文件之类的内容文件、用于各种操作的应用程序、固件等。例如，用于执行将在本实例中之后描述的主被摄体确定处理的程序和使用主被摄体确定结果的另外的应用程序等存储在其中。
[0147]上面描述的控制单元30控制关于数字信号处理单元20中的各种信号处理的指令需要的单元的操作，根据用户操作的成像操作和记录操作，记录的图像文件的再现操作，t匕如变焦、聚焦和曝光调整之类的相机操作、用户界面操作等。
[0148]此外，在本实施例的情况下，控制单元2用作主被摄体确定单元31并执行将在之后描述的主被摄体确定处理。
[0149]主被摄体确定单元31以与图1的主被摄体确定单元2相对应的功能执行作为上面描述的位置状态确定部分2a、稳定存在程度计算部分2b和设置处理部分2c的处理。
[0150]用户界面33执行到用户的显示输出和音频输出，并接收用户操作的输入。为此，用户界面具有显示装置、操作装置、扬声器装置、麦克风装置等。在这里，示出了显示单元34和操作单元35。
[0151]显示单元34是执行用于用户(拍照者等)的各种类型的显示的显示单元，且例如使用在成像设备10的外壳上形成的比如IXD (液晶显示器)或者有机EL (电致发光)显示器之类的显示装置形成。另外，显示单元可以使用以所谓的取景器形式的LCD或者有机EL显示器形成。
[0152]该显示单元6包括显示装置和允许显示装置执行显示的显示驱动器。显示驱动器允许基于控制单元30的指令在显示装置上执行各种类型的显示。例如，显示驱动器再现和显示捕获和在记录介质中记录的静止图像或者动态图像，或者在显示装置的屏幕上基于在解除(快门操作)待机期间捕获的每一帧的捕获图像数据作为动态图像显示通过图像(被摄体监视图像)。此外，显示驱动器允许各种操作菜单、图标、消息等，即，⑶K图形用户界面)显示在屏幕上。在本实施例的情况下，例如，还执行在通过图像或者再现图像上帮助用户确认从主被摄体确定获得的确定结果的显示。
[0153]操作单元35具有接收用户操作的输入功能，并发送与输入操作对应的信号到控制单元30。
[0154]例如，操作单元35由在成像设备10的壳体上提供的各种操作器、在显示单元34上形成的触摸板等实现。
[0155]作为壳体的操作器，提供再现菜单起动按钮、决定按钮、箭头键、取消按钮、变焦键、滑动键、快门按钮(释放按钮)等。
[0156]此外，通过使用触摸板上的图标和菜单并显示在显示单元34上的触摸板操作，各种操作是可能的。
[0157]用户界面33的显示单元34的操作等由UI控制器32根据控制单元30的指令控制。另外，操作单元35的操作的信息由UI控制器32发送到控制单元30。
[0158]例如，记录单元15包括非易失性存储器，且用作用于存储比如静止图像数据或者动态图像数据之类的图像文件(内容文件)、图像文件的属性信息、缩略图图像等的存储区。
[0159]例如，以JPEG(联合图像专家组)、TIFF(标签图像文件格式)、GIF(图形交换格式)等形式存储图像文件。
[0160]可以多样地考虑记录单元15的实际形式。例如，记录单元15可以是嵌入在成像设备10中的闪速存储器，或者可以具有基于可附于且可从成像设备10拆卸的存储卡(例如，便携式闪速存储器)以及执行对存储卡的记录和再现访问的卡记录和再现单元的形式。此夕卜，记录单元可以以嵌入在成像设备10中的HDD(硬盘驱动器)等的形式实现。
[0161 ] 此外，在本实例中，用于执行将在之后描述的主被摄体确定处理的程序可以存储在记录单元15中。
[0162]通信单元16以有线或者无线方式与外部装置执行数据通信或者网络通信。
[0163]例如，通信单元与外部显示设备、记录设备、再现设备等执行捕获图像数据(静止图像文件或者动态图像文件)的通信。
[0164]此外，作为网络通信单元，例如，通信单元可以执行通过各种网络，比如因特网、家庭网络或者LAN(局域网)的通信，或者执行与网络上的服务器、终端等的各种类型的数据传输和接收。
[0165]传感器单元14集合地指示各种传感器。例如，提供用于检测相机抖动的陀螺仪传感器、用于检测成像设备10的姿势的加速度传感器等。此外，可以提供检测成像设备10的姿势和移动的角速度传感器、检测调整曝光的外部照度的照度传感器等，且另外可以提供测量被摄体距离的距离测量传感器。
[0166]传感器单元14的各种传感器将由每一个传感器检测到的信息发送到控制单元30。控制单元30可以使用由传感器单元14检测的信息执行各种控制。
[0167]<3.主被摄体决定处理的概述〉
[0168]将在下文中描述由具有上述配置的成像设备10中的控制单元30 (主被摄体确定单元31)执行的主被摄体确定处理。
[0169]虽然将在下面描述主被摄体确定处理的各种实例作为示例I到12的特定处理，但是主被摄体确定处理是其中对于由候选图像信息指示的候选图像获得多个帧上图像数据内的稳定存在程度并使用该稳定存在程度确定候选图像当中的主被摄体的处理。作为这种主被摄体确定处理，以下例示处理类型I和处理类型II。但是，本公开的主被摄体确定处理不限于该两个类型，且以下将要描述的处理示例I到12可以被理解为广泛地划分为类型I和类型II。
[0170]处理类型I是在执行主被摄体确定的时段期间取得候选图像信息的同时执行确定的处理的形式。
[0171]另一方面，处理类型II在某个时段期间得到候选图像信息(执行候选图像信息的缓冲)。其是在经过该时段之后使用得到的候选图像信息执行主被摄体确定的处理的形式。
[0172][3-1:处理类型 I]
[0173]在图4中示出处理类型I的处理的流程。注意，图4还示出了与上面描述的图2B的步骤Fl (取得和位置状态确定)F2(稳定存在程度的计算)和F3(主被摄体的设置)对应的步骤FlO到F15的处理的对应关系。
[0174]在下文中，将描述由控制单元30的主被摄体确定单元31执行的处理。
[0175]在步骤F10，控制单元30从候选检测单元26得到任何一个帧的候选图像帧信息。
[0176]在步骤F11，控制单元30通过计算在视场内的位置确定关于由得到的候选图像帧信息指示的多个候选图像帧中的一个或者每一个的位置状态。
[0177]在这种情况下，作为位置状态，确定候选图像距在视场内设置的确定参考点的距离。替代地，作为位置状态，确定候选图像与在视场内设置的确定参考区域的位置关系。
[0178]在步骤F12，控制单元30计算关于每一候选图像帧的稳定存在程度。在这种情况下，控制单元30计算指示位置状态满足预定条件的累积时间信息作为稳定存在程度。替代地，控制单元30计算指示位置状态连续地满足预定条件的持续时间信息作为稳定存在程度。
[0179]注意，在稳定存在程度的计算中，在视场内候选图像的位置信息或者候选图像的尺寸信息可以用作用于计算的条件。
[0180]在步骤F13，控制单元30使用稳定存在程度确定主被摄体。
[0181]这里，步骤F13的确定是确定其稳定存在程度从主被摄体确定的开始已经最快地达到预定值的候选图像作为主被摄体的处理。替代地，其是确定在主被摄体确定的时段中具有稳定存在程度的最高值的候选图像作为主被摄体的处理。
[0182]另外，在主被摄体的确定中，除了稳定存在程度的值之外，还可以使用在视场内候选图像的位置信息或者候选图像的尺寸信息。
[0183]在其稳定存在程度的值已经达到预定值的候选图像不存在的时候，或者当还没有经过主被摄体确定的预定时段且还未选择在该期间具有稳定存在程度的最高值的候选图像时，在步骤F13的处理中不确定主被摄体。在这种情况下，控制单元30从F14返回到步骤F10，且重复每一处理。换句话说，通过从候选检测单元26取得接下来要处理的帧的候选图像帧信息执行相同处理。
[0184]当找到在某个时点其稳定存在程度的值已经达到预定值的候选图像时，或者当已经经过主被摄体确定的预定时段并已经选择在该时段期间具有稳定存在程度的最高值的候选图像时，控制单元30从F14进行到步骤F15。然后，在步骤F13确定的候选图像设置为主被摄体。[0185][3-2:处理类型 II]
[0186]接下来，在图5中示出处理类型II的处理的流程。图5还示出了与上面描述的图2B的步骤Fl (取得和位置状态确定)F2 (稳定存在程度的计算)和F3 (主被摄体的设置)对应的步骤F20到F24的处理的对应关系。
[0187]在下文中，将描述由控制单元30的主被摄体确定单元31执行的处理。
[0188]在步骤F20，控制单元30从候选检测单元26得到任何一个帧的候选图像帧信息。
[0189]在步骤F21，控制单元30通过计算在视场内的位置确定关于由得到的候选图像帧信息指示的多个候选图像帧中的一个或者每一个的位置状态。
[0190]在这种情况下，作为位置状态，确定候选图像距在视场内设置的确定参考点的距离。替代地，作为位置状态，确定候选图像与在视场内设置的确定参考区域的位置关系。
[0191]然后，控制单元30使得计算出的位置状态的信息(距离或者位置关系)在内部RAM等中累积(缓冲)。
[0192]在步骤F22，控制单元30确定在预定时段(作为主被摄体确定的预定时段的时间的长度或者帧的数目)是否已经完成位置状态的信息的累积，且当累积还未完成时，控制单元返回到步骤F20。
[0193]换句话说，确定是否已经经过预定时段或者已经对于预定数目的帧执行了步骤F20和F21的处理。
[0194]在累积已经完成时，控制单元30进行到步骤F23。
[0195]在步骤F23，控制单元30例如使用预定时段的位置状态的信息计算稳定存在程度，对于该预定时段，对于每一候选图像帧执行缓冲。
[0196]在这种情况下，控制单元30计算指示位置状态满足预定条件的累积时间信息或者指示位置状态连续地满足预定条件的持续时间信息作为稳定存在程度。
[0197]注意，在稳定存在程度的计算中，在视场内候选图像的位置信息或者候选图像的尺寸信息可以用作用于计算的条件。
[0198]在步骤F24，控制单元30使用稳定存在程度确定主被摄体。
[0199]例如，在执行缓冲的主被摄体确定的时段期间具有稳定存在程度的最高值的候选图像被确定为主被摄体，然后候选图像设置为主被摄体。
[0200]注意，在主被摄体的确定中，除了稳定存在程度的值之外，还可以使用在视场内候选图像的位置信息或者候选图像的尺寸信息。
[0201]注意，例如在步骤F22确定积累的完成之后执行步骤F21的实例也可以被认为是图5的处理类型II。换句话说，其是对于预定时段逐渐地积累候选图像帧信息，且在经过该时段之后获得关于每一条候选图像帧信息的位置状态的信息的技术。
[0202][3-3:主被摄体确定的机会和目标等]
[0203]在本实施例中，根据上面描述的处理类型I或者II执行主被摄体确定；但是，将描述用于在成像设备10中执行主被摄体确定的机会、目标等。
[0204]首先，将描述使用主被摄体确定结果的实例。
[0205]例如当用户(拍照者)对准快门定时(释放定时)时执行主被摄体确定，但是控制单元30可以在自动地确定主被摄体之后执行下列处理。
[0206].跟踪处理[0207]跟踪设置在每一捕获帧中的主被摄体。例如，关于用户的通过图像显示指定主被摄体，且提供用于由用户执行的调整视角(例如，用于在以手持有相机的状态下被摄体的决定)。
[0208]注意，作为主被摄体的表示，考虑显示单元34的通过图像显示上主被摄体的帧的高亮显示。另外，可以对于紧接在确定之后的给定时段执行高亮显示等，或者只要主被摄体在通过图像内存在就可以执行。
[0209]?聚焦
[0210]对于主被摄体控制自动聚焦。另外，根据跟踪处理，即使主被摄体来回移动也调整聚焦跟踪主被摄体。 [0211]?曝光调整
[0212]基于主被摄体的亮度(照度)执行自动曝光调整。
[0213].方向性调整
[0214]当与捕获(例如，动态图像捕获)一起由麦克风执行声音收集时，根据在视场内主被摄体的方向执行方向性调整。
[0215]另外，主被摄体还可以用于关于捕获图像信号执行的各种信号处理。
[0216].图像效果处理
[0217]仅关于每一捕获帧中主被摄体的区域执行包括图像质量调整、降噪、肤色调整等的图像处理。
[0218]替代地，还考虑在除了主被摄体的区域之外的区域中添加图像效果，例如，拼接处理、喷绘处理、涂料出处理等。
[0219].图像编辑处理
[0220]对于捕获图像或者记录图像执行比如建帧、裁剪等编辑处理。
[0221 ] 例如，可以执行包括主被摄体的帧内部分区域的裁剪、放大等处理。
[0222]另外，可以执行捕获图像数据等的图像外围部分的切割以使得主被摄体设置在图像的中心，且可以执行布局调整。
[0223]这些仅是实例，且除此之外还考虑使用设置的主被摄体的成像设备中包括的应用程序或者自动调整功能的各种处理。
[0224]接下来，还多样地考虑在什么时点应该执行主被摄体确定处理。
[0225]例如，无论何时成像设备10开启以执行成像(显示单元34显示通过图像的时段)，都可以执行主被摄体确定处理。
[0226]另外，当确定主被摄体然后执行跟踪处理时，可以在跟踪丢失时再次执行主被摄体确定处理。
[0227]另外，主被摄体确定处理可以设置为通过用户操作开始。
[0228]另外，无论何时用户选择确定执行模式，或者跟踪丢失，可以执行处理。
[0229]另外，也可以考虑自动地激活主被摄体确定处理而无论用户操作如何。
[0230]通过执行主被摄体确定处理实现下列效果。
[0231]如前所述，当拍照者持有成像设备10对准被摄体时自然难以执行指定主被摄体的操作。另外，很多次指定被摄体的动作是麻烦的。如果主被摄体确定设置为自动地执行，克服了这种麻烦，且获得关于用户减小压力的效果。[0232] 另外，由用户携带和使用的成像设备10，比如由一般用户使用的数码相机、移动电话中包括的相机等具有小尺寸的显示单元34，由此用户难以在屏幕上执行指定主被摄体的精确操作。通过如在本实施例中描述的执行自动确定解决错误指定的问题。
[0233]另外，如果成像设备10设置为自动地执行主被摄体确定，则由仅持有成像设备10和对准被摄体的用户执行主被摄体确定，由此获得用户从设备感知智能的感觉增强和附加值增强的效果。
[0234]另外，因为用户可以仅通过自然地持有设备而以能够成像主图形的感觉使用成像设备10，可以增加成像机会和与其相关联的使用情况，且因此，可以提供用户友好的相机给用户。
[0235]基于以上各点，作为手持式相机，自动地执行主被摄体确定的本实施例的成像设备10是特别优选的。
[0236]<4.特定处理示例>
[0237][4-1:处理示例I (类型I ;确定参考点；第一到达确定；累积存在)]
[0238]在下文中，将顺序描述处理示例I到处理实例12作为由控制单元30执行的主被摄体确定处理的特定实例。
[0239]处理示例I是上面描述的处理类型I的特定实例。
[0240]另外，作为候选图像帧的位置状态，获得到设置的确定参考点的距离。
[0241]另外，作为关于每一候选图像帧的稳定存在程度，计算指示位置状态(到确定参考点的距离)满足在预定阈值范围内的条件的累积时间信息。
[0242]另外，其稳定存在程度已经从主被摄体确定的开始最快地达到预定值的候选图像被确定为主被摄体。
[0243]在处理的详细说明之前，使用图6、图7和图8描述候选图像帧、到确定参考点的距离和稳定存在程度。
[0244]图6示意性地示出了在候选检测单元26中执行的候选图像帧提取操作。
[0245]该图示出了通过成像设备10的光学系统11和成像器12的操作输入到数字信号处理单元20的捕获图像信号的帧FR1、FR2、FR3、……的每一个。候选检测单元26对于如上顺序地输入的连续帧的每一个(或者对于间断帧的每一个)执行候选图像的检测。
[0246]例如，当在如图所示的帧FRl中存在三个人时，提取每一个人的面部图像部分作为候选图像，然后输出其候选图像帧E1、E2和E3的候选图像帧信息。例如，候选图像帧El的候选图像帧信息例如包括候选图像帧El的图像内的位置信息(X和y位置信息和被摄体距离信息)以及帧的尺寸信息(帧的宽度和高度及像素的数目)和属性信息等。
[0247]候选检测单元26还关于候选图像帧E2和E3产生这种候选图像帧信息，然后传送该信息到控制单元30 (主被摄体确定单元31)。
[0248]以同样方式，候选检测单元26提取后面的帧FR2、FR3、……的候选图像，对于图像的每一个候选图像帧产生候选图像帧信息，然后传送信息到控制单元30。
[0249]每次控制单元得到每一帧的候选图像帧信息，控制单元30计算到确定参考点的距离作为每一个候选图像帧的位置状态。
[0250]图7A示出了确定参考点SP的实例。其是图像的中心设置为确定参考点SP的实例。确定参考点SP的X和y坐标值设置为(Cx, Cy)。[0251]当在帧FRl的时间得到候选图像帧El、E2和E3的每一个的候选图像帧信息时，例如，控制单元30计算从图中示出的候选图像帧El、E2和E3的每一个重心G到确定参考点SP 的距离 Diffl、Diff2 和 Diff3。
[0252]注意，设置确定参考点SP在屏幕中心是实例。
[0253]例如，确定参考点SP可以设置在如图7B所示的中心的略微左上侧的位置。这是由于存在其中当例如考虑静止图像的布局时主被摄体更好地配置在不是中心的位置的要考虑的很多情况。
[0254]在任何情况下，如图7B所示地计算每一个候选图像帧(例如，E4和E5)和确定参考点SP(例如，Diff4和Diff5)之间的距离。
[0255]例如，确定参考点SP可以设置在如图7A和图7B所示的这种，或者可以由用户通过显示屏幕等上的触摸操作来任意地指定。另外，用于确定参考点的几个候选点可能在显示单元34的屏幕上对用户呈现以使得用户可以选择一个。此外，考虑控制单元30根据用于自动设置的图像的内容、图像分析结果等，考虑到布局等来确定最佳位置。
[0256]换句话说，关于确定参考点SP考虑下列条件；
[0257].设置在比如图像的中心的位置、偏离中心的位置等的预先决定的固定位置；
[0258].由用户任意地指定；
[0259].设置为使得几个候选点呈现给用户以使得用户可以选择一个；
[0260].由控制单元30根据图像的内容确定最佳位置来以自动方式灵活地设置；等等。
[0261]在每一帧的时间点获得作为候选图像帧E(n)的位置状态的距离Diff (η)。
[0262]图8示出了假定对于某个时间段在帧(FR1、FR2、……)中连续地存在候选图像帧Ε1、Ε2和Ε3的情况下计算出的距离Diffl、Diff2和Diff3的改变的状态。
[0263]例如，假定拍照者使用成像设备10对于给定时间段捕获三个被摄体的情况。因为三个人中的每一个独立地移动，所以拍照者移动成像设备10的被摄体距离，发生相机抖动等，且每一个计算出的距离Diffl、Diff2和Diff3在时间轴上改变。
[0264]在处理示例I中，稳定存在程度设置为期间被摄体接近确定参考点SP的累积时间。为此，距离阈值Trs-diff用于确定被摄体“接近或者不接近”。
[0265]在图8的下部，示出了在距离Diffl、Diff2和Diff3的每个时间点上距离是否在距离阈值Trs-diff内的确定结果。如果距离Diff (η)等于或者短于距离阈值Trs_diff,贝丨J设置接近=“1”。
[0266]通过累加在每个时间点的确定结果“I”获得的结果是处理示例I的稳定存在程度。
[0267]从确定开始到确定结束的时段取决于处理实例而变化。在处理示例I中，等于或者小于距离阈值Trs-diff的确定结果“I”的累加值用作指示直到该时间点为止的稳定存在的级别的累积时间，且找到累积时间已经达到预定值的候选图像的时间点是确定结束的时间点。 [0268]在图8的实例中，例如，确定候选图像帧E3连续地具有“I (=接近于确定参考点SP) ”，且在累加值达到某个预定值的时间点，确定结束，且候选图像帧E3确定为主被摄体。
[0269]注意，在处理示例I中，连续性无关紧要。例如,确定图8中的候选图像帧E2的距离Diff2取决于时间点而具有“I”或者“0”，但是因为其完全取决于累积时间，所以当存在很多“ I”的情况且其累积时间已经比任何其他候选图像帧更快地达到预定值时，可以确定候选图像帧E2为主被摄体。
[0270]将在图9中描述作为处理示例I的控制单元30的主被摄体确定处理。
[0271]当主被摄体确定处理开始时，控制单元30首先在步骤FlOO中设置变量TSF = O和计数值Cnt (η) = O。
[0272]变量TSF是指示是否已经设置了主被摄体的标记。TSF = “O”指示还未确定主被摄体的状态。
[0273]另外，计数值Cnt (η)是将距离Diff和上面描述的距离阈值Trs-diff的比较确定结果的值相加的计数器的值。
[0274]注意，“η”指示1、2、3、……的自然数且计数值Cnt (η)设置为与比如候选图像帧Ε1、Ε2和Ε3的每一检测到的候选图像帧Ε(η)对应的计数值。当检测到三个候选图像帧Ε1、Ε2和Ε3时，Cntl、Cnt2和Cnt3用作计数值。为了流程图的描述的缘故，建议关于计数值Cnt (η)的处理被理解为例如目标为Cntl、Cnt2和Cnt3中的每一个的处理。
[0275]另外，以同样方式，距离Diff (η)集合地指示从确定参考点SP到三个候选图像帧Ε1、Ε2和Ε3中的每一个的距离0丨€€1、0丨€€2和0丨€€3，且关于距离0丨€€(11)的处理用于指例如关于距离Diffl、Diff2和Diff3中的每一个的处理。
[0276]另外，候选图像帧E(n)指示候选图像帧E1、E2、E3、......中的每一个，但是其优选 地对于多个帧上的每一被摄体区分。在当人A、人B和人C是被摄体时候选检测单元26提取面部的实例中，例如，在每一帧中公共地，人A的面部图像部分设置为候选图像帧EI，人B的面部图像部分为候选图像帧E2，且人C的面部图像部分为候选图像帧E3。如果在某个中间的帧中仅插入人D作为被摄体，则人D的面部图像部分设置为候选图像帧E4。由此，对于候选检测单元26更好地不仅检测“面部”而且确定实体(个体)。
[0277]在步骤F101，控制单元30从候选检测单元26得到某个帧的候选图像帧信息。例如，关于每一候选图像帧E(n)，获取包括作为位置信息的图像数据的二维(x-y)坐标值的X值和I值以及作为尺寸信息的候选图像帧的宽度w和高度h的信息。
[0278]注意，候选图像帧信息还可以包括被摄体距离(被摄体到由与二维(x-y)坐标平面正交的z轴方向的值指示的相机位置的相对距离；z值)、像素的数目等。
[0279]在步骤F102，控制单元30关于每一候选图像帧E (η)计算重心G的坐标。
[0280]例如，对于候选图像帧信息，给定正方形形状的候选图像帧的左上顶点的坐标值作为候选图像帧的X和y坐标值。X和y坐标值设置为(E(n)_x，E(n)_y)。另外，如图7所示，X和y坐标以屏幕平面的左上部分作为原点0(在该处X和y坐标值是(0，O))。
[0281]另外，候选图像帧E (η)的宽度w设置为E(n)_W且其高度h设置为E(n)_h。
[0282]然后，如果候选图像帧E (η)的重心G的坐标值设置为(E (n)_cx，E (n)_cy)，则如下获得重心G的坐标值。
[0283]E (n) _cx = E (n) _cx+E (n) _w/2
[0284]E (n) _cy = E (n) _cy+E (n) Ja/2
[0285]在步骤F103，控制单元30计算从每一候选图像帧E (η)的重心G到确定参考点SP的距离Diff (η)。以确定参考点SP的坐标值(Cx，Cy)如下获得该距离。[0286]Diff (η) = ^{Ε(η)_cx - CxY + (Ε(η)_cv - C ')'
[0287]在步骤F104，控制单元30检查变量TSF。如果变量TSF = 0，则处理进行到步骤F105。
[0288]注意，当主被摄体确定处理开始然后一直继续时，在不需要确定时(当变量TSF =I时)排除步骤F104的处理。当图9的主被摄体确定处理设置为通过用户操作或者当必要时的自动激活确定等执行时，步骤F104可以设置为是多余的。上述情况也适用于将在之后描述的处理实例2和后续实例。
[0289]在步骤F105、F106和F107，控制单元30检查每一候选图像帧E (η)是否满足关于距离Diff (η)的预定条件。
[0290]换句话说，使用距离阈值Trs-diff来确定到确定参考点SP的距离Diff (η)是否接近确定参考点SP。
[0291]为此，控制单元30在步骤F105比较从每一候选图像帧E (η)到确定参考点SP的距离Diff (η)与距离阈值Trs-diff，且如果满足Diff (n) <Trs-diff,则在步骤F106设置标记Flg(n) = 1(接近)。另外,如果不满足Diff (n)〈Trs-diff,则在步骤F107设置标记Flg(n) = 0(不接近)ο
[0292]接下来，在步骤F108和F109，控制单元30计算每一候选图像帧E (η)的稳定存在程度。在这种情况下， 在步骤F108，对于每一候选图像帧E (η)检查是否满足标记Flg (η)=1，且如果满足Flg(n) = 1,则在步骤F109计数值Cnt (η)增加(加I)。当标记Flg(n)=O时，计数值Cnt (η)不改变。
[0293]计数值Cnt (η)用作作为上面描述的累加值的稳定存在程度的值。换句话说，其是指示候选图像帧E (η)处于“接近”确定参考点SP的状态下的频率的值。
[0294]接下来，在步骤Fill、F112和F113，控制单元30使用每一候选图像帧E (η)的稳定存在程度确定主被摄体。
[0295]控制单元30在步骤Flll检查每一候选图像帧E (η)的计数值Cnt (η)是否已经达到计数阈值CTthr。
[0296]如果不满足Cnt(n) > CTthr,换言之，如果每一候选图像帧E(n)的任何计数值Cnt (η)没有达到计数阈值CTthr，则在步骤Fl 13设置变量TSF = O而不改变，然后处理返回到步骤FlOl而不设置为在步骤F114确定结束。在这种情况下，以与上面描述的相同的方式基于对于下一帧的候选图像帧信息输入执行步骤FlOl和后续步骤的处理。
[0297]注意，如果在步骤F114满足变量TSF = 0，则还没有完成主被摄体的确定且确定处理继续，而如果满足变量TSF = 1，则主被摄体确定假定为完成。
[0298]当在上面描述的步骤F104检测到变量TSF = I时，设置确定结束而不改变。
[0299]虽然将省略详细说明，但是主被摄体的选择可以设计为例如通过由用户在显示单元34的屏幕上执行的对于主被摄体的触摸操作、在屏幕上的预定位置调整被摄体之后半按下快门按钮的操作等，与本实例的自动主被摄体确定并行地执行。当用户在图9的处理的执行期间执行这种指定处理时，优选地给予用户操作优先级。由此，当通过这种手动操作执行主被摄体设置时，设置变量TSF = I。在这种情况下，图9的处理可以基于步骤F104和fll4的确定设置为停止(半途停止)。[0300]因为对于某个时间长度做出基于稳定存在程度的主被摄体确定，如果对于某个时间段(多个帧)未执行关于候选图像帧信息的处理，则处理返回到步骤FlOl且重复后续处理而不在上面描述的步骤F114确定结束。
[0301]这里，例如，图8所示的某个候选图像帧E3可以是不连续的，但是假定帧以高频率在捕获图像上多个帧中存在于接近于确定参考点SP的位置的情况。由此，随着时间经过创建在步骤F109中候选图像帧E3的计数值Cntl增加的很多机会，且比计数值Cntl和Cnt2更快地获得计数值Cnt3。
[0302]然后计数值Cnt3在某个时间点第一次达到计数阈值CTthr。
[0303]在这种情况下，控制单元30使得处理从步骤Flll进行到F112。
[0304]在步骤Fl 12,控制单元30确定其计数值Cnt (η)已经达到计数阈值CTthr的候选图像帧Ε(η)为主被摄体，并执行主被摄体设置。然后，设置变量TSF= I。
[0305]在这种情况下，在步骤F114设置确定结束。换句话说，例如以候选图像帧Ε3设置为王被摄体完成图9的王被摄体确定处理。
[0306]注意，处理示例I继续直到设置变量TSF = I为止，但是在实际情况中，设置预定时间限制是适当的。换句话说，当即使在从图9的处理开始时间经过预定时间之后也难以确定主被摄体时，认为不存在主被摄体，其然后处理设置为结束。
[0307]根据上面描述的处理示例1，在用户持有成像设备10(跟踪被摄体)以使得用户想要首先捕获的被摄体尽可能地接近于比如图像中心等的确定参考点SP时，该被摄体被自动地确定为王被摄体。
[0308]具体地，在处理示例I中，基于处于“接近于”确定参考点SP的状态的累积时间确定稳定存在程度。在被摄体来回移动或者被摄体进行快速移动，比如动物的的情况下，存在拍照者难以在某个时间段(例如，即使大约几秒)在图像的中心连续地捕获感兴趣的被摄体的情况。另外，还存在由于取决于拍照者的技术的严重的相机抖动等难以将所需的被摄体保持在图像的中心的情况。即使在这种情况下，也可以使用累积时间相对快速地做出主被摄体确定。
[0309]因此，累积时间对于快速移动的目标被摄体或者对于相对无经验的用户是有用的。
[0310]另外，因为不是必须对于规定的时间段执行主被摄体确定处理且处理在确定主被摄体时结束，优点在于取决于被摄体和拍照者的技术快速地建立主被摄体确定。
[0311][4-2:处理示例2(类型I ;确定参考点；第一到达确定；连续存在)]
[0312]接下来，处理实例2也是上面描述的处理类型I的特定实例。
[0313]另外，作为候选图像帧的位置状态，获得到设置的确定参考点的距离。
[0314]另外，作为关于每一候选图像帧的稳定存在程度，计算指示位置状态(到确定参考点的距离)满足在预定阈值范围内的条件的持续时间信息。
[0315]另外，其稳定存在程度已经从主被摄体确定的开始最快地达到预定值的候选图像被确定为主被摄体。
[0316]与处理示例I的差别在于稳定存在程度设置为处于接近于确定参考点SP的状态的持续时间。在预定时间段(预定数目的帧)上充分地连续接近于确定参考点SP的候选图像帧被确定为主被摄体。[0317]图10示出处理示例2。通过对图10中的相同处理给予相同步骤编号来避免重叠的描述。
[0318]注意，对于将在之后描述的处理实例3到处理实例12的每一流程图，将给予已经描述的处理相同的步骤编号且将省略其描述。
[0319]图10是其中步骤FllO被添加到图9的处理的实例。
[0320]在步骤F108、F109和F110，控制单元30计算每一候选图像帧E(n)的稳定存在程度。在这种情况下，在步骤F108,对于每一候选图像巾贞E (η)检查是否标记Flg(η) =1,且如果满足Flg(η) = I,则在步骤F109计数值Cnt (η)增加(加I)。当标记Flg(n) =0时,处理进行到步骤FllO且清除计数值Cnt (η)。
[0321]如在处理示例I中，计数值Cnt(n)用作稳定存在程度的值。换句话说，根据候选图像帧E(n)处于“接近于”确定参考点SP的状态的检测增加计数值。但是，在处理实例2中，在步骤Fl 10清除计数值Cnt (η)。
[0322]这意味着，一旦帧与确定参考点SP分隔，则稳定存在程度的值归零。
[0323]例如，如果即使候选图像帧已经接近于确定参考点SP，某个候选图像帧也处于以某个帧隔开的状态，则复位相应的计数值Cnt (η)。
[0324]由此，关于每一个候选图像帧E (η)，只要在处于连续地接近于确定参考点SP的状态下(在距离阈值Trs-diff的范围内)捕获帧的被摄体，则稳定存在程度的值(计数值Cnt (η))增加。换句话说，在处理实例2中，计数值Cnt(n)指示接近于确定参考点SP的状态的“持续时间”。
[0325]另外,在步骤Flll计数值Cnt (η)达到计数阈值CTthr的情况是某个候选图像中贞对于与计数阈值CTthr对应的数目的帧(时间)连续地满足连续地接近于确定参考点SP的条件的情况。
[0326]在这种情况下，控制单元30使得处理从步骤Flll进行到Fl 12，然后控制单元30确定其计数值Cnt(n)已经达到计数阈值CTthr的候选图像帧E(η)为主被摄体，然后执行主被摄体设置。另外，设置变量TSF= I。
[0327]其他处理与图9中的相同。
[0328]注意，当在处理实例2中同样即使在从处理开始的时间点经过预定时间限制之后也难以确定主被摄体时，处理可以在没有发现主被摄体的情况下设置为结束。
[0329]根据上面描述的处理实例2，通过持有成像设备10(跟踪被摄体)以使得用户想要首先捕获的被摄体处于尽可能地接近于比如图像中心等的确定参考点SP的状态，该被摄体被自动地确定为主被摄体。
[0330]具体地，在处理实例2中，基于持续时间估计帧是否稳定地存在。在这种情况下，当对准移动很少的被摄体时，可以容易地在图像等的中心连续地捕获目标被摄体，由此存在能够精确地设置用户所需的主被摄体的高可能性。另外，取决于拍照者的技术，希望首先捕获的被摄体可以连续地保持在图像等的中心(接近于确定参考点SP的位置)，由此存在能够精确地确定拍照者所需的被摄体为主被摄体的高可能性。换句话说，可以另外提升取决于具有高等级的拍照技术的拍照者或者被摄体而能够确定用户所需的被摄体为主被摄体的可能性。
[0331]另外，因为不是必须执行主被摄体确定处理固定时间，且主被摄体确定处理在确定主被摄体时结束，所以取决于被摄体或者拍照者的技术而迅速地进行主被摄体确定。
[0332][4-3:处理实例3 (类型I ;确定参考点；第一到达确定；累积存在；扩展实例)]
[0333]处理实例3也是上面描述的处理类型I的特定实例，但是处理实例3是通过发展上面描述的处理示例I而获得的实例。
[0334]作为候选图像帧的位置状态，获得到设置的确定参考点的距离。
[0335]作为关于每一候选图像帧的稳定存在程度，计算位置状态(到确定参考点的距离)满足处于预定阈值的范围内的条件的累积时间信息。
[0336]其稳定存在程度已经从主被摄体确定的开始最快地达到预定值的候选图像被确定为主被摄体。
[0337]上述与在处理示例I中相同，但是在处理实例3中，可以对稳定存在程度的计算加权。另外，添加应对多个候选图像帧的稳定存在程度同时达到预定值的情况，换言之，多个候选图像巾贞被确定为主被摄体的情况的处理。
[0338]图11示出了处理示例3。步骤FlOO到F107与图9的相同。
[0339]在步骤F108、F121、F122和F123，控制单元30计算每一候选图像帧E (η)的稳定
存在程度。
[0340]在这种情况下，在步骤F108，对于每一候选图像帧Ε(η)检查是否标记Flg(n)=
1
[0341]如果满足标记Flg(n) = 1，则控制单元30进行到步骤F121，并以变量设置值A代替计数变量OFST。变量设置值A是基于A>0设置的值。
[0342]如果满足标记Flg(n) = 0，则控制单元30进行到步骤F122，并以变量设置值B代替计数变量OFST。变量设置值B是基于ASO设置的值。
[0343]然后，在任何情况下，控制单元30对于用作在步骤F123中的稳定存在程度的值的计数值Cnt (η)执行下列算术运算。
[0344]Cnt (n) = Cnt (n) +OFST
[0345]另外，计算每一候选图像巾贞E (η)的平均距离Ave-Diff (η)。
[0346]因为变量设置值Α>0，所以如果在步骤F108满足标记Flg(n) =1，则稳定存在程度的值(计数值Cnt (η))增加。
[0347]另外,在步骤Flll计数值Cnt (η)达到计数阈值CTthr的情况是某个候选图像中贞以高频率在多个帧中满足处于虽然不连续但是接近于确定参考点SP的条件的情况。
[0348]在这种情况下，控制单元30进行到步骤Flll到Fl 12，且控制单元30确定其计数值Cnt(n)已经达到计数阈值CTthr的候选图像帧E (η)为主被摄体，然后执行主被摄体设置。然后，设置变量TSF = I。
[0349]步骤Fl 13和Fl 14的处理与图9中的相同。
[0350]另外，当在处理实例3中即使在从处理开始的时间点经过预定时间限制之后也难以确定主被摄体时，处理可以在没有发现主被摄体的情况下设置为结束。
[0351]上面描述的步骤F108、F121、F122和F123的处理的含义如下。
[0352]变量设置值A和B可以设置为由控制单元30固定，或者可以基于用户指令、应用程序等设置。替代地，该值可以根据帧的数目的进程或者在执行主被摄体确定的时段期间经过的时间而改变。换句话说，可以基于主被摄体确定处理的外部因素设置变量设置值A和B的值。
[0353]在下面，变量设置值A和B的各种设置实例将描述为(exl)到(ex7)。
[0354](exl):在变量设置值A = I和B = O的固定设置的情况下
[0355]在这种设置中，图11的处理与图9的相同。换句话说，如果在步骤F108满足标记Flg (η) = 1，则计数值Cnt(n)增加,而如果满足标记Flg(n) = 0，则计数值Cnt (η)不增加而是保持。
[0356](ex2):在变量设置值A = 2 (或者3或者更大)且B = O的固定设置的情况下
[0357]例如，通常应用上面描述的(exl)，但是根据用户指令或者应用程序的指令提升变量设置值A的值。在这种情况下，可以缩短计数值Cnt(n)达到计数阈值CTthr所用的时间。由此，该设置对于希望比正常情况更快地结束主被摄体确定的情况，希望主被摄体确定的响应速度增加以对准快速移动的被摄体的情况等是优选的。
[0358](ex3):在变量设置值A = I和B = _1的固定设置的情况下
[0359]这是通常执行增加，但是如果满足标记Flg(n) = O则计数值Cnt(n)减少的实例。
[0360]换句话说，该设置是当某个候选图像帧与确定参考点SP隔开时(当标记Flg(n)=O)时减小稳定存在程度的处理。
[0361]该设置基于重要性置于保持在尽可能地接近于确定参考点SP的状态的被摄体的构思，由此是接近于上面描述的处理实例2的构思，但是基于累积时间全面地做出确定，而不是限于持续时间。换句话说，处理示例I的稳定存在程度的构思近似处理实例2的构思。
[0362](ex4):在变量设置值A = I和B = _2 (或者_3或者更小)的固定设置的情况下
[0363]虽然类似于上面描述的(ex3)，但是该设置是当某个候选图像帧与确定参考点SP隔开且设置标记Flg(n) = O时提升稳定存在程度延后的级别的实例。换句话说，该设置增强主被摄体确定中接近于确定参考点SP的重要性。
[0364](ex5):在变量设置值A = 2 (或者3或者更大)和B = -2 (或者_3或者更小)的固定设置的情况下
[0365]这是上面描述的(ex2)和(ex4)的构思的组合应用到的处理实例。该设置增强主被摄体确定和确定响应性中接近于确定参考点SP的重要性。
[0366](ex6):在确定时段期间改变变量设置值A
[0367]例如，执行图11的处理的确定时段以从开始点的预定时间为单位设置为包括第一时段、第二时段、......的划分时段。
[0368]然后，改变变量设置值A以使得在第一时段中A= 1，在第二时段中A = 2，在第三时段中A = 3，等等。
[0369]这在处理进行到后一半时增加了接近于确定参考点SP的值。
[0370]当拍照者一般持有相机对准被摄体时，拍照者逐渐地调整相机的方向，而不是首先将希望为主对象的被摄体置于比如图像的中心之类的要求位置。当考虑该实践时，已经在拍照者的思想中首先保持为“主被摄体”的被摄体随着时间的流逝在图像的中心逐渐地捕获。
[0371]由此，随着时间的流逝在主被摄体确定处理的执行期间增加接近于确定参考点SP的重要性提升了与拍照者的想法相符的主被摄体确定的可能性。
[0372]注意，多样地考虑(ex6)中划分的时段的设置和每一个划分时段中的值A。另一方面，也考虑以下实例，其中变量设置值A改变为逐渐减小以使得取决于捕获情况或者环境在第一时段中A = 3，在第二时段中A = 2，在第三时段中A = I等，以在确定的最初阶段中增加接近于确定参考点SP的值。
[0373]例如，存在在最初保持静止的被摄体开始移动的定时执行主被摄体确定的情况。
[0374]另外，可以由用户选择划分时段的设置和改变变量设置值A的方式。
[0375]另外，关于(ex6)的变量设置值B，可以组合上面描述的(exl)到(ex5)中的任意一个或者接下来将描述的(ex7)。
[0376](ex7):在确定时段期间改变变量设置值B
[0377]例如，执行图11的处理的确定时段以从开始点的预定时间为单位设置为包括第一时段、第二时段、......的划分时段。
[0378]然后，改变变量设置值A以使得在第一时段中B = 1，在第二时段中B = 2，在第三时段中B = 3，等等。
[0379]由于与确定参考点SP隔开的重要性(非稳定存在程度)被理解为进行到后面的部分的处理的事实，该设置的构思与上面描述的(ex6)的相同。换句话说，这是存在随着确定进行到后面的部分而不由拍照者认为是主被摄体的被摄体与确定参考点SP隔开的很多情况的构思。这也增加与拍照者的想法相符的主被摄体确定的可能性。
[0380]注意，多样地考虑(ex7)中划分的时段的设置和每一个划分时段中B的值。也考虑以下实例，其中变量设置值B改变为逐渐减小以使得取决于捕获情况或者环境在第一时段中B = 3，在第二时段中B = 2，在第三时段中B = I等，以在确定的最初阶段中增加接近于确定参考点SP的值。
[0381]另外，可以由用户选择划分时段的设置和改变变量设置值B的方式。
[0382]另外，关于(ex7)的变量设置值A，可以组合上面描述的(exl)到(ex6)的任意一个。
[0383]上述是实例；但是，基于如上所述变量设置值A和B的设置，根据对象和情况的主被摄体确定是可能的。
[0384]注意，在处理实例3中，使用计数值Cnt (η)作为如在处理示例I中接近于确定参考点SP的累积时间信息执行主被摄体确定，但是根据变量设置值A和B决定要加到或者从计数值Cnt(n)减去的值。为此，计数值Cnt(n)不是累积“时间”本身，但是从计数值Cnt (η)减去不满足条件的时间，或者根据划分时段改变条件满足的权重。
[0385]如上所述,存在计数值Cnt (η)不指示满足接近于确定参考点SP的条件的“时间(帧的数目)”的累积时间的情况，但是在每一实施例中，“累积时间”用作还包括如上应用减法或者加权的累积时间(或者帧的数目)的概念。
[0386]但是，使用变量设置值A的构思也可以应用于上面描述的处理实例2。
[0387]换句话说，当在上面描述的图10中标记Flg (η) = I时,在步骤F109计数值Cnt (η)增加，但是在这一点上，可以执行Cnt (n) =Cnt (η) +变量设置值A的算术运算。以变量设置值A的设置，可以实现如在以上的(ex2)和(ex6)中描述的构思的处理。
[0388]注意，在这种情况下，存在计数值Cnt (η)不直接指示满足接近于确定参考点SP的条件的“时间(帧的数目)”的“持续时间”的情况，但是“持续时间”还用作包括通过如上所述的减法和加权获得的时间(或者帧的数目)的概念。[0389]接下来，图11的处理实例3描述当在步骤Flll多个候选图像帧E(η)的计数值Cnt (η)同时达到计数阈值CTthr时步骤Fl 12的处理。
[0390]还考虑某个时间点的在步骤Flll多个候选图像帧Ε(η)的计数值Cnt (η)同时达到计数阈值CTthr的情况。
[0391]在这种情况下，多个候选图像帧E (η)也可以被认为是全部被确定为主被摄体，但是这里，将描述仅一个候选图像帧被确定为主被摄体的实例。
[0392]在多个候选图像帧Ε(η)的稳定存在程度(计数值Cnt (η))同时达到计数阈值CTthr的情况中，考虑在下面(条件I)到(条件3)下设置一个候选图像帧为主被摄体。
[0393](条件I):选择具有最小平均距离Ave-Diff(η)的候选图像中贞。
[0394]关于是否距离Diff (η)等于或者小于距离阈值Trs-diff，根据在步骤F105 “标id Flg(η) = I”和“标记Flg(n) = O”来向上或者向下计数计数值Cnt (η)。由此,计数值Cnt (η)不指示绝对距离Diff (η)。
[0395]这里，在步骤F123尝试获得平均距离Ave-Diff (η),可以确定多个候选图像中贞E (η)当中哪个候选图像帧处于“接近于确定参考点SP的状态”。
[0396]在步骤F123，可以如下获得平均距离Ave-Diff (η)。
[0397]Ave-Diff (η)=(距离Diff (η)的累加值)/距离Diff (η)的相加的次数)
[0398]当多个候选图像帧Ε(η)的稳定存在程度(计数值Cnt (η))同时达到计数阈值CTthr时，在步骤F112可以确定具有最小的平均距离Ave-Diff (η)的候选图像帧为主被摄体。
[0399]注意，基于平均距离Ave-Diff (η)做出确定；但是，当然可以基于距离Diff (η)的累加值做出确定。
[0400]另外，还考虑使用候选图像帧是否平均起来在预定距离的范围之内，或者平均起来在预定区域的范围内的指标而不是使用平均距离来选择一个候选图像帧。
[0401]另外，可以使用被摄体距离。例如，获得每一帧中候选图像帧Ε(η)的被摄体距离的位置(ζ值)和ζ轴方向上确定参考点SP的位置之间的差。然后，计算其平均值。这是选择具有被摄体距离差的最小平均值的候选图像帧的实例。
[0402](条件2):选择具有预定范围中包括的尺寸的候选图像帧。
[0403]每一候选图像帧E (η)具有根据成像设备10和被摄体之间的距离不同的尺寸，或者被摄体本身的尺寸。通常，拍照者通过关于被摄体调整变焦到一定程度或者改变他或者她的站立位置，来适当地调整图像中他或她主要想要捕获的被摄体的尺寸。由此，在多数情况下，拍照者认为是主被摄体的被摄体包括在图像的某个范围中。另外，存在远程被摄体或者拍照者不调整变焦或者聚焦的被摄体显得非常小或者过大的很多情况。
[0404]由此，关于候选图像帧的像素PX的数目，例如，设置确定上限PXmax和确定下限PXmim,由此设置下列尺寸条件。
[0405]PXmax ≥ PX (η)≥ PXmim
[0406]在多个候选图像帧Ε(η)的稳定存在程度(计数值Cnt (η))同时达到计数阈值CTthr的情况下，在步骤F112满足尺寸条件的候选图像帧可以被确定为主被摄体。
[0407]注意，可以仅就上限设置尺寸条件以使得PXmax≥PX (η)，或者仅就下限PX (η) > PXmim。[0408]另外，可以使用候选图像帧E (η)的宽度w和高度h而不是使用像素PX的数目确定尺寸。
[0409](条件3):选择在某个时间点在预定距离的范围内或者在最短距离的候选图像帧。
[0410]在某个时间点确定为接近确定参考点SP的候选图像巾贞或者最接近确定参考点SP的候选图像帧设置为主被摄体。
[0411]某个时间点例如指的是处理进行到步骤F112的时间点的最后一帧，当开始主被摄体确定处理时的第一帧，中间的帧，等等。
[0412]例如，从拍照者对准他或她认为是主被摄体的被摄体开始，向着最终时间点在多数情况下被认为是主被摄体的被摄体被认为接近确定参考点SP。这是与上面描述的(ex6)的后一半的加权等相同的构思。
[0413]由此，当多个候选图像帧E (η)的稳定存在程度(计数值Cnt(n))同时达到计数阈值CTthr时，在步骤F112可以确定在最后一针中具有最小距离Diff (η)的候选图像帧为主被摄体。
[0414]注意，在最后一帧中在预定范围中包括的距离Diff (η)(换句话说，等于或者小于距离阈值Trs-diff)的候选图像帧E(n)可以被确定为主被摄体。但是，难以在处理实例3中在从多个候选图像帧当中选择时使用该条件，因为当计数值Cnt (η)同时达到计数阈值CTthr且全部多个候选图像帧E (η)满足该条件时做出确定，但是在如在以下将要描述的处理实例5到处理实例12中那样不可避免地执行主被摄体确定处理固定时间段的情况下，在这个条件下选择是有效的。
[0415]另外，存在根据成像情况、被摄体等适当地选择第一帧、中间的帧等而不是最后一帧中预定距离范围中包括的或者最短距离的候选图像帧的情况。
[0416]另外，可以使用被摄体距离。其是通过获得在特定时间点，例如，在最后一帧等中候选图像帧Ε(η)的被摄体距离的位置(ζ值)和ζ轴方向上确定参考点SP的位置之间的差而选择具有被摄体距离的最小差值的实例。
[0417]在上文中，举例说明(条件I)到(条件3)，但是当然(条件I)到(条件3)的组合可以用于选择一个候选图像帧作为主被摄体，而不是使用一个条件。另外，其他条件也可以用于选择。
[0418]如上所述，当控制单元30在步骤Fl 12应该基于稳定存在程度(计数值Cnt (η))确定多个候选图像帧E (η)为主被摄体时，使用视场中候选图像帧的位置信息或者尺寸信息选择一个候选图像，且所选的候选图像设置为主被摄体。
[0419]因此，可以设置一个最优的主被摄体。
[0420]注意，选择多个候选图像帧当中的一个作为主被摄体的技术还可以应用于处理示例I和2。
[0421]在上文中，在图11中描述的处理实例3中，获得与处理示例I中相同的效果，且根据各种情况的适当的主被摄体确定基于变量设置值A和B的设置是可能的。
[0422][4-4:处理实例4 (类型I ;确定参考点；第一到达确定；累积存在；条件确定)]
[0423]接下来，处理实例4也是上面描述的处理类型I的特定实例，但是处理实例4是通过进一步发展上面描述的处理实例3而获得的实例。[0424]作为候选图像帧的位置状态，获得到设置的确定参考点的距离。
[0425]作为关于每一候选图像帧的稳定存在程度，计算位置状态(到确定参考点的距离)满足处于预定阈值的范围内的条件的累积时间信息。
[0426]另外，其稳定存在程度已经从主被摄体确定的开始最快地达到预定值的候选图像被确定为主被摄体。
[0427]上述与处理示例I中和处理实例3中相同，但是处理实例4是除了在稳定存在程度的计算中距离Diff (η)是否等于或者小于距离阈值Trs-diff的条件之外添加其他条件的示例。
[0428]图12 示出了处理实例 4。步骤 FlOO 到 F104、F105 到 F108、F121 到 F123 和 Fill到F114与图11的相同。图12是步骤F130添加到图11的处理的处理。
[0429]在步骤F130、F105、F106和F107中，执行标记Flg(n)的处理。
[0430]这里，在步骤F130，处理基于是否满足某个条件而分支。然后，如果满足该条件，则处理进行到步骤F105以确定距离Diff (η)是否等于或者小于距离阈值Trs-diff。然后，基于确定结果，在步骤F106或者F107设置标记Flg (η)。
[0431]另外，当在步骤F130确定不满足该条件时，处理进行到步骤F107，且设置标记Flg (η) = O。 [0432]换句话说，对于在步骤F130中不满足条件的候选图像帧E (η)，而无论Diff (η)的差如何都设置标记Flg(η) =0。
[0433]步骤F106和F107的标记Flg (η)的处理之后的处理与图11中的相同。
[0434]作为步骤F130的条件，考虑(条件11)到(条件14)的下列实例。
[0435](条件11):被摄体距离在预定范围内。
[0436]获得作为被摄体距离的候选图像帧E (η)的位置(ζ值)和ζ轴方向上确定参考点SP的位置之间的差。被摄体距离差值在预定范围内设置为条件。
[0437](条件12):尺寸处于预定范围内。
[0438]每一候选图像帧E (η)具有根据成像设备10和被摄体之间的距离或者被摄体本身的尺寸而不同的尺寸。基于与上述处理实例3中描述的(条件2)相同构思，因为拍照者通常通过关于被摄体调整变焦到一定程度或者改变他或她的站立位置，而在图像中适当地调整他或她主要想要捕获的被摄体的尺寸，所以认为拍照者不考虑过小或者过大的图像作为主被摄体。
[0439]由此，关于候选图像帧的像素PX的数目，例如，设置确定上限PXmax和确定下限PXmim,由此设置下列尺寸条件。
[0440]PXmax ≥ PX (η)≥ PXmim
[0441 ] 注意，可以仅就上限设置尺寸条件以使得PXmax≥PX (η)，或者仅就下限PX (η) > PXmim。
[0442]另外，可以使用候选图像帧E (η)的宽度w和高度h而不是使用像素PX的数目确定尺寸。
[0443](条件13):图像的特定类型
[0444]例如，可以由候选检测单元26在候选图像提取处理中设置条件，但是当候选检测单元26在特别扩展的条件下提取候选图像时，在步骤F130作为候选图像的条件可以缩窄。[0445]例如，以用户的指定，将面部、人体、狗、猫等的图像设置为条件。当狗图像设置为条件时，如果在步骤F130中候选图像帧E(n)的类型是面部图像、人体图像、猫图像等，则确定不满足条件，且不增加计数值Cnt (η)。
[0446](条件14):图像的特定状态
[0447]添加提取图像本身的亮度信息或者彩色信息在预定范围内、预定颜色等的条件。在亮度信息的情况下，假定过暗或者过亮的图像本身不满足条件。另外，如果用户指定某个颜色且被摄体具有该颜色，则该被摄体可以确定为满足该条件。
[0448]注意，控制单元30可以接收候选图像数据本身，或者从候选检测单元26接收亮度信息或者彩色信息以确定图像的状态。
[0449]在上文中，举例说明(条件11)到(条件14)，但是当然(条件I)到(条件3)的组合可以用于选择一个候选图像帧作为主被摄体，而不是使用一个条件。除这些条件之外，还可以设置其他条件。
[0450]控制单元30在如上所述的稳定存在程度的计算处理中使用在视场内候选图像的位置信息，候选图像的尺寸信息等。
[0451]因此，图12中描述的处理实例4获得与处理示例I和3中相同的效果，且可以以条件的设置执行更适当的稳定存在程度的计算，由此可以以更高精度自动地确定拍照者认为是主被摄体的主被摄体。
[0452]注意，在步骤Fl 12的最终主被摄体确定中，可以确定上面描述的(条件11)到(条件14)。换句话说，即使在步骤Flll某个候选图像帧Ε(η)的计数值Cnt(n)达到计数阈值CTthr,候选图像帧自然地不设置为主被摄体，且还考虑如果帧不能满足条件则不确定候选图像帧为主被摄体的处理。以该方式，控制单元30可以在步骤Fl 12的主被摄体确定处理中使用在视场内候选图像的位置信息，候选图像的尺寸信息等。
[0453]另外，在如在步骤F130中那样的稳定存在程度的计算中设置条件和在如在上面描述的步骤F112中那样的主被摄体确定中设置条件也可以应用于将稳定存在程度用作持续时间的处理实例2。
[0454][4-5:处理示例5 (类型I ;确定参考点；固定到达确定；累积存在)]
[0455]处理实例5也是处理类型I的特定实例，但是不同于上面描述的处理示例I到处理实例4,处理实例5是执行主被摄体确定固定时间的实例。
[0456]换句话说，这是控制单元30确定在固定的主被摄体确定时段中具有稳定存在程度的最高值的候选图像的处理实例。
[0457]作为候选图像帧的位置状态，获得到设置的确定参考点的距离。
[0458]作为关于每一候选图像帧的稳定存在程度，计算位置状态(到确定参考点的距离)满足处于预定阈值的范围内的条件的累积时间信息。
[0459]对于主被摄体确定,如上面描述的选择在固定的主被摄体确定时段中具有稳定存在程度的最高值的候选图像。
[0460]图13示出处理实例5。
[0461]当开始主被摄体确定处理时，控制单元30首先在步骤F100A执行初始位置。如在处理示例I到处理实例4的步骤FlOO中那样，设置变量TSF = O和计数值Cnt (η) =0。另夕卜，在这种情况下，复位并启动计时器TM以对固定的主被摄体确定时段计数。[0462]步骤FlOl到F108和F121和F122与图11的相同。
[0463]注意，步骤F123A与图11的步骤F123相同在于执行计数值Cnt (η)的相加和相减。另外，在步骤F123A，计算平均值。在图11中，计算“平均距离Ave-Diff (η) ”，但是在这里除平均距离Ave-Diff (η)之外，“平均值的计算”也指指示候选图像帧是否平均起来在预定距离的范围内的值的计算，或者指示候选图像帧是否平均起来在预定区域的范围之内的值的计算。
[0464]如上所述，当获得稳定存在程度(计数值Cnt (η))的最高值的结果时，这种平均值可用于在多个候选图像帧E (η)当中最终选择一个候选图像帧E (η)。
[0465]在步骤F140,控制单元30检查计时器TM的计数值是否已经达到预定时间ΤΜον。换句话说，确定从主被摄体确定处理的开始经过的时间是否达到预定时间(固定的主被摄体确定时段)。
[0466]如果经过的时间未达到预定时间，则处理返回到步骤FlOl然后继续。
[0467]当计时器TM的计数值已经达到预定时间TMov时，控制单元30进行到步骤F141以执行主被摄体确定。
[0468]换句话说，检查在该时间点每一候选图像帧E (η)的计数值Cnt (η)，且具有最大值的候选图像帧E(η)设置为主被摄体。另外，相应地设置变量TSF= I。然后，该处理结束。
[0469]换句话说，在处理实例5中，稳定存在程度的计算(计数值Cnt (η)的处理)继续固定时间段。然后，在经过固定的时间段之后之后在一时间点具有最大计数值Cnt (η)的候选图像帧E (η)设置为主被摄体。
[0470]注意,在步骤F141的时间点，存在多个候选图像巾贞Ε(η)的计数值Cnt(n)具有相同数目的最大值的情况。在这种情况下，可以在上面的处理实例3中描述的(条件I)、(条件2)、(条件3)等下选择一个候选图像帧。当做出(条件I)下的确定时，可以使用在步骤F123A获得的平均值。
[0471]根据上面描述的处理实例5，通过持有成像设备10(跟踪被摄体)以使得用户想要主要地捕获的被摄体处于尽可能地接近于比如图像中心等的确定参考点SP的状态，该被摄体被自动地确定为王被摄体。
[0472]具体地，在处理示例5中，基于处于“接近于”确定参考点SP的状态的累积时间确定稳定存在程度。在被摄体来回移动或者被摄体快速移动，比如动物的的情况下，存在拍照者难以在某个时间段(例如，多达几秒)在图像的中心连续地捕获感兴趣的被摄体的情况。另外，还存在由于取决于拍照者的技术的严重的相机抖动等难以将所需的被摄体保持在图像的中心的情况。即使在这种情况下，也可以使用累积时间相对快速地做出主被摄体确定。
[0473]换句话说，累积时间对于快速移动的目标被摄体或者对于相对无经验的用户是有用的。
[0474]另外，主被摄体确定处理是在固定时间中选择具有最高稳定存在程度(计数值Cnt (η))的被摄体的处理。为此，即使在未充分地进行计数值Cnt (η)的向上计数的情况下，优点也在于在固定时间中做出主被摄体确定。例如，即使在被摄体来回移动以使得很难捕获接近于确定参考点SP的被摄体的情况下，也在固定时间中完成主被摄体确定。
[0475]但是，存在当对于任何候选图像帧E (η)向上计数未充分地进行时可能做出“未找到主被摄体”的确定的情况，而不是强制地选择主被摄体。由此，可以对于计数值Cnt (η)设置用于选择主被摄体的下限的条件。换句话说，在步骤F141，计数值Cnt(n)可以被认为是被选择作为与下限值Lth相比的最大值，且如果满足Cnt (n) <Lth,则确定“未找到主被摄体”。因此，可以避免在最初不存在王被摄体的情况下决定王被摄体。
[0476]注意，下限值Lth可能具有实质上与在处理示例I中的计数阈值CTthr相等的值等，或者可能具有更小的值。换句话说，通过设置考虑为用于设置主被摄体的最小计数值(稳定存在程度)的值，可以获得即使非常难以捕获例如如上所述来回移动以接近于确定参考点的被摄体也可以在固定时间中完成主被摄体确定的效果。
[0477][4-6:处理示例6 (类型I ;确定参考点；固定时间确定；连续存在)]
[0478]处理示例6也是处理类型I的特定实例。
[0479]在处理实例6中，作为候选图像帧的位置状态，获得到设置的确定参考点的距离。
[0480]另外，作为每一候选图像帧的稳定存在程度，计算指示位置状态(到确定参考点的距离)连续地满足在预定阈值范围内的条件的持续时间信息。
[0481]另外，在主被摄体确定中，在固定主被摄体确定时段中具有稳定存在程度的最高值的候选图像如在处理实例5中被确定为主被摄体。
[0482]与处理示例5的差别在于稳定存在程度是处于接近于确定参考点SP的状态的持续时间。换句话说，在固定主被摄体确定时段中在最长的时间内连续地处于接近于确定参考点SP的状态的候选图像帧被确定为主被摄体。
[0483]图14示出了处理实例6。
[0484]当开始主被摄体确定处理时，控制单元30首先在步骤F100B执行初始设置。以与处理实例5的步骤F100A同样的方式，设置变量TSF = O和计数值Cnt (η) =0。另外，复位并启动计时器TM以对固定的主被摄体确定时段计数。另外，在这种情况下，初始化持续时间保持变量CC (η) ( = O)。
[0485]步骤FlOl到F107与图13的相同。
[0486]在步骤F108、F121、F123A和F124到F126，执行计数值Cnt (η)的处理作为计算稳
定存在程度的处理。
[0487]控制单元30检查在步骤F108对于每一候选图像巾贞E (η)是否满足标记Flg (η)=I，且如果满足标记Flg(η) = 1，则在步骤F121中以变量设置值Α(其中，Α>0)代替计数变量0FST。然后，控制单元30在步骤F123中对于作为稳定存在程度的值的计数值Cnt (η)执行如下的算术运算。
[0488]Cnt (n) = Cnt (n) +OFST
[0489]换句话说,计数值Cnt (η)向上计数值A。
[0490]另一方面，如果在步骤F108满足标记Flg (η) = 0，则控制单元30进行到步骤F124以比较在该时间点的计数值Cnt (η)与持续时间保持变量CC (η)。
[0491]如果满足CC (n) >Cnt (η),则在步骤F126清除计数值Cnt (η)。
[0492]如果不满足CC(n)>Cnt(n)，则在步骤F125以持续时间保持变量CC (η)代替在该时间点的计数值Cnt (η),然后在步骤F126清除计数值Cnt (η)。
[0493]如在上面描述的处理示例I到处理实例5中那样，计数值Cnt (η)设置为稳定存在程度的值。换句话说，根据候选图像帧E (η)处于“接近于”确定参考点SP的状态的检测增加计数值。[0494]另一方面，候选图像帧E (η)确定不处于“接近于”确定参考点SP的状态(标记Flg (η) = O),在步骤F126清除计数值Cnt (η)。
[0495]这指的是一旦候选图像帧与确定参考点SP隔开，稳定存在程度的值就归零，如在处理实例2中描述的情况。
[0496]由此，只要每一候选图像帧E (η)的被摄体连续地接近确定参考点SP，稳定存在程度的值(计数值Cnt (η))增加，但是如果被摄体未处于连续状态，则设置计数值Cnt (η)=O。由此，计数值Cnt (η)指示处于接近于确定参考点SP的状态的“持续时间”。
[0497]在这种情况下，持续时间保持变量CC(n)在固定的主被摄体确定时段内保持最大的“持续时间”。
[0498]为此，当持续时间中断时，在步骤F124和F125中持续时间保持变量CC更新为最大值。换句话说，作为在连续性中断的当前点的“持续时间”的计数值Cnt(n)大于以持续时间保持变量CC保持的“持续时间”，计数值Cnt(n)代替持续时间保持变量CC(η)且更新到最大值。
[0499]在步骤F140,控制单元30检查计时器TM的计数值是否已经达到预定时间ΤΜον。当该值还没有达到预定时间时，处理返回到步骤FlOl然后继续。
[0500]当计时器TM的计数值已经达到预定时间TMov时,控制单元30在步骤F127比较该时间点的计数值Cnt (η)与持续时间保持变量CC(η)。
[0501]如果不满足CC(n) >Cnt (η)，则在步骤F128在该时间点的计数值Cnt (η)代替持续时间保持变量CC (η)。步骤F127和F128是用于当处于接近于确定参考点SP的状态在固定的主被摄体确定时段结束的时间点继续且连续性达到最大“持续时间”时更新持续时间保持变量CC (η)的处理。
[0502]然后，控制单元30进行到步骤F141以执行主被摄体确定。
[0503]换句话说，检查在该时间点每一候选图像帧Ε(η)的持续时间保持变量CC(n)的值，且具有最大值的候选图像帧E(η)设置为主被摄体。另外，相应地设置变量TSF= I。然后，处理结束。
[0504]如上所述，处理实例6继续稳定存在程度的计算(计数值Cnt (η)的处理)固定时间。然后，在经过固定时间之后的时间，具有由持续时间保持变量CC (η)指示的最大持续时间的候选图像帧Ε(η)设置为主被摄体。
[0505]注意，在步骤F141的该时间点，存在多个候选图像帧Ε(η)的持续时间保持变量CC(η)已经相同值的最大值的情况。在这种情况下，可以在以上的处理实例3中描述的(条件I)、(条件2)、(条件3)等下选择一个候选图像帧。
[0506]另外，在步骤141比较持续时间保持变量CC (η)的最大值与下限值Lth，且如果满足CC (n)〈Lth，则也可以考虑设置“未找到主被摄体”。因此，可以避免在最初不存在主被摄体的情况下决定主被摄体。
[0507]根据上面描述的处理实例6，通过持有成像设备10(跟踪被摄体)以使得用户想要主要地捕获的被摄体处于尽可能地接近于比如图像中心等的确定参考点SP的状态，该被摄体被自动地确定为王被摄体。
[0508]另外，主被摄体确定处理是选择在固定时间中具有最高稳定存在程度(持续时间保持变量CC(η))的处理。为此，即使在未充分地进行计数值Cnt (η)的向上计数的情况下，优点也在于如在处理实例5中在固定时间内做出主被摄体确定。
[0509]此外，在处理实例6中，基于持续时间估计稳定存在程度。取决于人是否擅长于拍照或者关于被摄体，如在处理实例2中可以提升用户更需要的被摄体被确定为主被摄体的可能性。
[0510][4-7:处理实例7 (类型I ;确定参考区域；第一到达确定；累积或者连续存在)]
[0511]处理示例7也是上面描述的处理类型I的特定实例。
[0512]在处理实例7中，作为候选图像帧的位置状态，获得与设置的确定参考区域的位
置关系。
[0513]另外，作为每一候选图像帧的稳定存在程度，计算位置状态(与确定参考区域的关系)满足处于预定状态的条件的累积时间信息(或者持续时间信息)。
[0514]另外，在主被摄体确定中，如在处理示例I到处理实例4中，选择其稳定存在程度在开始主被摄体确定之后最快地达到预定值的候选图像。
[0515]首先，将在图15中描述与确定参考区域的位置关系。
[0516]图15示出了确定参考区域SA的实例。
[0517]图15A是在图像中心的正方形区域设置为确定参考区域SA的实例。在这里，示出了在某个帧的时间点取得每一个候选图像帧El、E2和E3的候选图像帧信息的状态。
[0518]每一候选图像帧E (η)与确定参考区域SA的位置关系例如包括:
[0519].每一帧的重心是否包括在确定参考区域SA中；
[0520].全部帧是否包括在确定参考区域SA中；
[0521].帧的至少一部分是否包括在确定参考区域SA中；
[0522].从帧到确定参考区域的外边缘的距离是否在预定值的范围内；等等。
[0523]注意，设置确定参考区域SA在图像中心是实例。
[0524]如图15Β所示，例如，确定参考区域SA可以设置在从中心略微左上侧的位置。这是由于当考虑静止图像的布局时，例如，存在将考虑为是主被摄体的被摄体设置在不是中心的位置更好的很多情况。
[0525]替代地，如图15C所示，整体图像(整个帧)可以设置为确定参考区域SA。在这种情况下每一候选图像帧E(η)和确定参考区域SA的位置关系是“是否候选图像在图像内”。
[0526]另外，确定参考区域SA的形状不限于图15Α的正方形，且可以是如图15Β和图15C中的矩形。另外，三角形、具有五个或更多边的多边形、圆形、椭圆形或者卵形、不定形等的形状是可能的。
[0527]此外，还考虑各种尺寸。
[0528]另外，确定参考区域SA可以固定地设置在例如图15Α或者图15Β的区域中，或者可以由用户通过显示屏幕上的触摸操作等任意地指定。
[0529]另外，确定参考区域SA的几个候选区域可以在显示单元34的屏幕上呈现给用户以允许用户选择一个。
[0530]此外，考虑控制单元30根据图像的内容、图像分析的结果等考虑布局等来确定最优区域并用于自动设置。
[0531]换句话说，关于确定参考点SP考虑下列条件。
[0532].设置在图像的中间位置周围的固定形状的预决定区域中、偏离中心的位置等；[0533].设置为使得用户任意地指定全部或者某些中间位置、形状和尺寸；
[0534].设置为使得几个候选区域呈现给用户以使得用户可以选择一个；
[0535].通过由控制单元30根据图像内容确定最优区域而以自动方式灵活地设置；等
坐寸ο
[0536]在每一帧的时间点获得候选图像帧E(n)和确定参考区域SA的位置关系，并用于计算稳定存在程度(计数值Cnt (η))。
[0537]例如，作为每一候选图像帧E (η)与确定参考区域SA的位置关系，确定“重心是否包括在确定参考区域SA中”。
[0538]图16示出了每一帧中候选图像帧Ε1、Ε2和Ε3的位置关系，换言之，重心在确定参考区域SA之内或者之外的确定结果的可变状态。
[0539]在处理实例7中，稳定存在程度是重心包括在确定参考区域SA中的累积时间。为此，对重心包括在确定参考区域SA中的次数计数作为计数值Cnt (η)。
[0540]图17描述了作为处理实例7由控制单元30执行的主被摄体确定处理。注意，图17是通过修改上面描述的的图11的处理实例3为使用确定参考区域SA的处理而获得的实例。
[0541 ] 步骤FlOO到F102和F104与图11的相同。
[0542]在图17的情况下，与图11的步骤F103对应的距离Diff (η)的计算处理是多余的。
[0543]在步骤F150，控制单元30检查每一候选图像帧E (η)的重心G是否在确定参考区域SA中。
[0544]这里，屏幕平面的x-y坐标的原点O设置为图像的左上侧上的顶点，如图15A所
/Jn ο
[0545]然后，每一候选图像帧E (η)的重心G的χ和y坐标值设置为(E (n)_cx, E (n)_cy)。
[0546]另外，确定参考区域SA的形状设置为例如正方形，确定参考区域SA的左上顶点的χ和y坐标值设置为(SAx，SAy)，其宽度设置为SAw，且其高度设置为SAh。
[0547]然后，关于每一候选图像帧E (η)的重心G，控制单元30在步骤F150确定是否满足下列条件。
[0548]SAx ^ E (n) _cx ^ (SAx+SAw)
[0549]SAy ^ E (n) _cy ^ (SAy+SAh)
[0550]如果满足该条件，则候选图像帧E (η)的重心G确定为包括在确定参考区域SA中。
[0551]控制单元30对于每一候选图像帧E (η)做出上述确定，且如果重心G包括在确定参考区域SA中，则在步骤F106设置标记Flg(η) = I (包括在该区域中)。另外，如果重心G不包括在确定参考区域SA中，则在步骤F107设置标记Flg (η) = O (在该区域以外)。
[0552]步骤？108、？121、？122、？1238、？111、？112、？113和？114基本上与图11 的相同。注意，与图11的步骤F123的差别在于在步骤F123B不计算平均距离(将在之后描述由虚线指示的步骤Fl 10)。
[0553]根据上面描述的处理实例7，基于与确定参考区域SA的位置关系计算每一候选图像帧Ε(η)的稳定存在程度。稳定存在程度是位置状态(与确定参考区域的关系)满足处于预定状态的条件的累积时间。
[0554]另外，其稳定存在程度(累积时间)在开始主被摄体确定之后最快地达到预定值的候选图像被确定为主被摄体。
[0555]因此，获得与处理示例I和处理实例3相同的效果。除此之外，通过使用确定参考区域SA而不是确定参考点SP，用于确定主被摄体的位置扩展，这对取决于捕获环境、被摄体、用户的捕获技术等的主被摄体确定可能是有利的。
[0556]注意，当在步骤F108设置标记Flg (η) = O时，可以不执行步骤F122和F123B的处理且可以在如由虚线指示的步骤FllO清除计数值Cnt (η)。
[0557]当采用步骤FllO的清除的处理时，计数值Cnt (η)表示持续时间而不是如在处理实例2中描述的满足条件(在图17的情况下重心包括在确定参考区域SA中的条件)的累积时间。
[0558]换句话说，当采用步骤FllO时，“持续时间”用作稳定存在程度的指标，且基于在图17的处理中的确定主被摄体。
[0559]在这种情况下，获得与处理实例2相同的效果。
[0560]注意，在图17中，在步骤F150确定候选图像帧E (η)的重心是否包括在确定参考区域SA中的条件，但是如上所述，在步骤F150可以确定是否全部(或者某些)候选图像帧E (η)包括在确定参考区域SA中的条件或者是否候选图像帧E (η)的重心与确定参考区域的外边缘之间的距离在预定值的范围内的条件。
[0561][4-8:处理实例8 (类型I ;确定参考区域；固定时间确定；累积或者连续存在)]
[0562]处理示例8也是处理类型I的特定实例。这可以被称为是使用通过修改处理实例5获得的确定参考区域SA的实例。
[0563]在处理实例8中，作为候选图像帧的位置状态，获得与设置的确定参考区域SA的位置关系。
[0564]另外，作为每一候选图像帧的稳定存在程度，计算指示位置状态(与确定参考区域SA的关系)满足处于预定状态的条件的累积时间信息(或者持续时间信息)。
[0565]另外,在固定主被摄体确定时段中具有稳定存在程度的最高值的候选图像被确定为主被摄体。
[0566]图18描述了作为处理实例8由控制单元30执行的主被摄体确定处理。注意，图18是通过修改上面描述的的图13的处理实例5为使用确定参考区域SA的处理而获得的实例。
[0567]步骤F100A、F101、F102 和 F104 与图 11 的相同。
[0568]在图18的情况下，与图13的步骤F103对应的距离Diff (η)的计算处理是多余的。
[0569]在步骤F150，控制单元30检查每一候选图像帧E (η)的重心G是否包括在确定参考区域SA中。这是与先前在图17中描述的相同的处理。
[0570]然后，如果每一候选图像帧E (η)的重心G包括在确定参考区域SA中，则控制单元30在步骤F106设置标记Flg (η) = I (包括在该区域中)。另外，如果重心G不包括在确定参考区域SA中，在步骤F107设置标记Flg (η) = O (在该区域之外)。
[0571]步骤？108、？1214122、？1238、？140和？141与图13的相同。注意，与图13的步骤F123A的差别在于在步骤F123B不计算平均值。
[0572]根据处理实例8，基于与确定参考区域SA的位置关系计算每一候选图像帧E (η)的稳定存在程度。稳定存在程度是位置状态(与确定参考区域的关系)满足处于预定状态的条件的累积时间。
[0573]另外，在王被摄体确定开始之后的固定时间中具有最大稳定存在程度(累积时间)的候选图像被确定为主被摄体。
[0574]因此，获得与处理实例5相同的效果。除此之外，通过使用确定参考区域SA而不是确定参考点SP，用于确定主被摄体的位置扩展，这对取决于捕获环境、被摄体、用户的捕获技术等的主被摄体确定可能是有利的。
[0575]注意，作为处理实例8的修改实例，还考虑获得基于持续时间而不是累积时间的稳定存在程度的实例。
[0576]省略该情况的流程图，但是删除图14的步骤F103和代替步骤F105执行上面描述的步骤F150的处理的处理是可能的。
[0577]以该处理，获得与处理实例6相同的效果。
[0578]另外，在使用累积时间和使用持续时间的两个情况下，在步骤F141比较计数值Cnt (η)的最大值与下限值Lth，且如果满足Cnt (n) <Lth,则也可以考虑设置“未找到主被摄体”。因此，可以避免在最初不存在王被摄体的情况下决定王被摄体。
[0579]另外，在图18中，在步骤F150确定候选图像帧E (η)的重心是否包括在确定参考区域SA中的条件，但是如上所述，在步骤F150可以确定是否全部(或者某些)候选图像帧E (η)包括在确定参考区域SA中的条件或者是否候选图像帧E (η)的重心与确定参考区域的外边缘之间的距离在预定值的范围内的条件。
[0580][4-9:处理实例9 (类型II ;确定参考点；平均存在)]
[0581]将描述处理实例9。处理示例9是处理类型II的特定实例。
[0582]另外，在处理实例9中，作为候选图像帧的位置状态，获得到设置的确定参考点SP的距离。
[0583]另外，作为每一候选图像帧的稳定存在程度，计算位置状态(到确定参考点的距离)的平均值(平均距离)。平均距离用作指示位置状态就时间而言以高频率接近确定参考点的指标。例如，“平均距离的小值”具有与在上面描述的每一处理实例中提到“长累积时间”相同的含义。
[0584]另外，具有最小平均距离并满足平均值在预定阈值的范围内的条件的候选图像帧被确定为主被摄体。
[0585]注意，因为该实例是处理类型II，所以在完成候选图像帧信息的缓冲的固定时间或者更长时间中执行主被摄体确定处理，只要处理不由于用户操作等而停止。
[0586]图19描述作为处理实例9由控制单元30执行的主被摄体确定处理。
[0587]当主被摄体确定处理开始时，控制单元30首先在步骤F200设置作为指示是否完成主被摄体的设置的标记的变量TSF = O和计数值BfC = O。
[0588]另外，计数值BfC是通过由控制单元30从候选检测单元26获取候选图像帧信息，通过对每一计算候选图像帧E (η)的距离DifT (η)的缓冲次数(帧的数目)进行计数而获得的值。
[0589]在步骤F201，控制单元30从候选检测单元26得到某个帧的候选图像帧信息。对于每一候选图像帧Ε(η)，例如，获取图像数据的二维(x-y)坐标值的χ值和y值作为位置信息，且获取候选图像帧的宽度w和高度h的信息作为尺寸信息。注意，候选图像帧信息还可以包括被摄体距离(Z值)、像素的数目等。
[0590]在步骤F202，控制单元30计算每一候选图像帧E (η)的重心G的坐标。这是与图9的步骤F102中描述的相同的处理。
[0591]在步骤F203，控制单元30计算从每一候选图像帧E (η)的重心G到确定参考点SP的距离Diff (η)。这是与图9的步骤F103中描述的相同的处理。
[0592]在步骤F204，控制单元30例如在内存储器区域的区域Diff (n) [BfC]中存储(执行)在步骤F203计算出的距离Diff (η)(的缓冲)。
[0593]在步骤F205，控制单元30使得计数值BfC增加。
[0594]在步骤F206，控制单元30确定计数值BfC是否已经达到对应于固定时间的计数阈值THrTM，且如果计数值没有达到计数阈值，则处理返回到步骤F201。
[0595]在上面描述的步骤F204的区域Diff (n) [BfC]指的是存储从主被摄体确定处理的开始在第(BfC)阶得到的帧FR(BfC)的候选图像帧E(n)的信息的区域。
[0596]例如，当在步骤F201首先得到帧FR (O)的候选图像帧信息的时间点的帧FR(O)中存在候选图像帧El、E2和E3时，对于每一个候选图像帧在步骤F203计算出的距离Diffl、Diff2 和 Diff3 存储在区域 Diff(I) [O]、Diff (2) [O]和 Diff (3) [O]中。
[0597]另外，当在接下来在步骤F201得到的帧FR(I)中存在候选图像帧El、E2和E3时，对于每一个候选图像帧在步骤F203计算出的距离Diffl、Diff2和Diff3存储在区域Diff(I) [I],Diff (2) [I] Diff (3) [I]中。
[0598]换句话说，通过在固定时间(THrTM)中重复步骤F201到F205的处理，缓冲帧FR(O) (O)到中贞(m)的候选图像巾贞E (η)的距离Diff (η)。
[0599]缓冲在经过固定时间之后结束，然后控制单元30使得处理从步骤F206进行到步骤 F207。
[0600]在步骤F207,控制单元30计算候选图像巾贞E (η)的平均距离Ave-Diff (η)。
[0601]Ave-Diff (η)=(缓冲的距离Diff (η)的累加值)/(距离Diff (η)的相加次数)
[0602]然后，在步骤F208，控制单元30确定候选图像帧Ε(η)的平均距离Ave-Diff (η)当中的最小距离MIN[Ave-Diff (η)]。获得具有最低平均距离Ave-Diff (η)的候选图像中贞E (η) ο
[0603]当确定最小距离MIN[Ave-Diff (η)]时，控制单兀30确定最小距离MIN[Ave-Diff (η)]是否等于或者低于距离阈值Trs-diff。
[0604]如果最小距离MIN[Ave_Diff (η)]等于或者小于距离阈值Trs-diff,则控制单元30进行到步骤F210的处理以确定具有最小距离MIN[Ave-Diff(n)]的候选图像帧E(n)为主被摄体，由此设置主被摄体。然后，设置变量TSF= I。
[0605]如果最小距离MIN[Ave_Diff (η)]不等于或者小于距离阈值Trs-diff,则控制单元30在步骤F211执行设置变量TSF = O的处理。在这种情况下，获得“未找到主被摄体”的结果。
[0606]注意，当至少存在候选图像帧E (η)且明确地实现决定主被摄体的处理时，去掉步骤F209，且具有最小距离MIN[Ave-Diff (η)]的候选图像帧E (η)可以按照原样地被确定为主被摄体。
[0607]根据上面描述的处理实例9，通过持有成像设备10(跟踪被摄体)以使得用户想要主要地捕获的被摄体处于尽可能地接近于比如图像中心等的确定参考点SP的状态，该被摄体被自动地确定为王被摄体。
[0608]另外，因为花费固定时间以获取候选图像帧信息，所以获得与处理实例5相同的效果。
[0609]注意，当然，在处理实例9中，还存在多个候选图像帧具有最小距离MIN[Ave-Diff (η)]的情况。当一个候选图像巾贞E(η)设置为主被摄体时,可以以使用如在处理实例3描述的(条件I)到(条件3)的技术选择将用作主被摄体的候选图像帧E (η)。
[0610]另外，在关于处理类型II的图5中，描述了可以在步骤F22确定积累的完成之后执行步骤F21。
[0611]当执行与其对应的处理时，当处理从步骤F206进行到步骤F207时可以执行图19的步骤F202和F203的处理。
[0612]换句话说，其是在步骤F204缓冲候选图像帧信息本身，并在缓冲的完成之后使用缓冲的候选图像帧信息计算每一帧的每一候选图像帧E(η)的距离Diff (η)的实例。
[0613][4-10:处理实例10(类型II ;确定参考点；累积存在)]
[0614]处理实例10也是处理类型II的实例，并使用确定参考点。作为每一候选图像帧的稳定存在程度，计算位置状态(到确定参考点的距离)满足处于预定阈值的范围内的条件的累积时间信息。
[0615]然后，在执行缓冲的时段中具有稳定存在程度的最高值的候选图像被确定为主被摄体。
[0616]图20示出了作为处理实例10由控制单元30执行的主被摄体确定处理。
[0617]当开始主被摄体确定处理时，控制单元30首先在步骤F200A设置变量TSF = O和计数值BfC = O。另外，执行初始化以设置变量L = O用于循环控制，并另外执行初始化以设置对应于稳定存在程度的计数值Cnt (n) =O0
[0618]步骤F201到F206与图19的相同，且在固定时间执行得到候选图像帧信息和缓冲每一个候选图像帧E (η)的距离Diff (η)。
[0619]当在步骤F206作为计时器的计数值BfC达到计数阈值THrTM时，缓冲结束，且控制单元30使得处理从步骤F206进行到步骤F210。
[0620]在步骤F210，控制单元30读取在区域Diff (n) [L]中缓冲的距离Diff (η)。
[0621]因为首先变量L = 0，所以读取在步骤F201首先得到帧FR(O)的候选图像帧信息的时间点在区域Diff (η) [O]中缓冲的每一候选图像巾贞E (η)的距离Diff (η)。
[0622]在步骤F211、F212和F213中，控制单元30使用距离阈值Trs-diff确定关于每一候选图像帧E(n)的距离Diff(n)的预定条件，即，候选图像帧是否接近于确定参考点SP。
[0623]然后，如果满足Diff (n)〈Trs-diff，则在步骤F212设置标记Flg (n) = 1(关闭)，而如果不满足Diff (n)〈Trs-diff，则在步骤F213设置Flg (n) =0(不关闭)。这是与处理示例I的步骤F105、F106和F107相同的处理。
[0624]在步骤F214、F215、F216和F217，执行计数值Cnt (η)的处理作为计算稳定存在程度的处理。
[0625]控制单元30在步骤F214检查对于每一候选图像巾贞E (η)是否满足标记Flg (η)=I，且如果满足标记Flg(η) = 1，则在步骤F215以变量设置值Α(其中，Α>0)代替计数变量OFST。然后，控制单元30在步骤F217对于作为稳定存在程度的值的计数值Cnt (n)执行如下的算术运算。
[0626]Cnt (n) = Cnt (n) +OFST
[0627]换句话说，计数值Cnt (η)向上计数值A。
[0628]另外，如果满足标记Flg (η) = 0，则控制单元30在步骤F216以变量设置值B (其中，B < O)代替计数变量0FST。然后，控制单元30在步骤F217对于作为稳定存在程度的值的计数值Cnt (η)执行如下的算术运算。
[0629]Cnt (n) = Cnt (n) +OFST
[0630]换句话说，计数值Cnt (η)向下计数值B (或者保持)。
[0631]另外，在步骤F217，还执行平均值的计算。
[0632]上述与图11的步骤F108、F121和F123(或者图13的F123A)相同。
[0633]在步骤F218，控制单元30检查变量L是否已经达到缓冲的计数值BfC。如果变量没有达到计数值，则在步骤F220变量L增加且处理返回到步骤F210。
[0634]然后，接下来在步骤F210，读取在步骤F201中得到帧FR(I)的候选图像帧信息的时间点在区域Diff (η) [I]中缓冲的每一候选图像帧E (η)的距离Diff (η)。
[0635]然后，执行步骤F211到F217的处理。
[0636]重复上面描述的步骤F210到F217直到在步骤F218满足变量L = BfC0因此，执行关于缓冲的距离Diff (η)的处理。
[0637]当该处理结束时，控制单元30进行到步骤F219以执行主被摄体确定。
[0638]换句话说，检查在该时间点候选图像帧E (η)的计数值Cnt (η)，且具有最大计数值的候选图像帧E(η)设置为主被摄体。另外，相应地设置变量TSF= I。然后，该处理结束。
[0639]注意,在步骤F219的时间点，如果多个候选图像巾贞Ε(η)的计数值Cnt(n)具有相同数目的最大值，则可以在以上处理实例3中描述的(条件I)、(条件2)、(条件3)等下选择一个候选图像帧。当执行(条件I)的确定时，可以使用在步骤F127获得的平均值。
[0640]另外，在步骤F219比较计数值Cnt(n)的最大值与下限值，且如果满足Cnt (n) <Lth,则还可以考虑设置“未找到主被摄体”。因此，可以避免在最初不存在主被摄体的情况下决定主被摄体。
[0641]上面描述的处理实例10也获得与处理实例9相同的效果。
[0642][4-11:处理实例11 (类型II ;确定参考点；连续存在)]
[0643]处理实例11也是处理类型II的实例，并使用确定参考点。作为每一候选图像帧的稳定存在程度，计算指示位置状态(与确定参考点的距离)满足处于预定阈值的范围内的条件的持续时间信息。
[0644]然后，在执行缓冲的时段中具有稳定存在程度的最高值的候选图像被确定为主被摄体。
[0645]图21示出了作为处理实例11由控制单元30执行的主被摄体确定处理。
[0646]当开始主被摄体确定处理时，控制单元30首先在步骤F200B设置变量TSF = O和计数值BfC = O。另外，执行初始化以设置变量L = O用于循环控制，并另外执行初始化以设置对应于稳定存在程度的计数值Cnt (η) = O。此外，初始化持续时间保持变量CC(η)(=O)。[0647]步骤F201到F206与图19的相同，且在固定时间执行候选图像帧信息的获取和每一个候选图像帧E(n)的距离Diff (η)的缓冲。
[0648]当在步骤F206作为计时器的计数值BfC达到计数阈值THrTM时，缓冲结束，且控制单元30使得处理从步骤F206进行到步骤F210。
[0649]步骤F210 到 F215、F217、F218 和 F220 与图 20 的相同。
[0650]另一方面，如果在步骤F214设置标记Flg (η) = 0，则控制单元30进行到步骤F224以比较在该时间点的计数值Cnt (η)与持续时间保持变量CC (η)。
[0651]如果满足CC (n) >Cnt (η),则在步骤F226清除计数值Cnt (η)。
[0652]如果不满足CC(n) >Cnt (η)，则在步骤F225在该时间点的计数值Cnt (η)代替持续时间保持变量CC (η)，且在步骤F226清除计数值Cnt (η)。
[0653]步骤？224、？225和？226是具有与执行以设置计数值(:社(11)为意味着持续时间的值的图14的步骤F124、F125和F126相同含义的处理。
[0654]在步骤F218，控制单元30检查变量L是否已经达到缓冲的计数值BfC，且如果变量已经达到计数值，则处理进行到步骤F227。步骤F227和F228是与图14的步骤F127和F128相同的处理。
[0655]换句话说，控制单元30在步骤F227比较在该时间点的计数值Cnt (η)与持续时间保持变量CC (η)。如果满足CC (n) >Cnt (η)，则在步骤F228在该时间点的计数值Cnt (η)代替持续时间保持变量CC (η)。
[0656]该处理是当在缓冲的执行时段结束且候选图像帧具有“持续时间”的最大值的时间点某个候选图像帧Ε(η)继续接近确定参考点SP时更新持续时间保持变量CC(n)的处理。
[0657]然后，控制单元30进行到步骤F219以执行主被摄体确定。
[0658]换句话说，检查在该时间点每一候选图像帧E (η)的计数值Cnt (η)，且具有最大值的候选图像帧E(η)设置为主被摄体。另外，相应地设置变量TSF= I。然后，该处理结束。
[0659]注意,在步骤F219的时间点，如果多个候选图像巾贞Ε(η)的计数值Cnt(n)具有相同数目的最大值，则可以在以上处理实例3中描述的(条件I)、(条件2)、(条件3)等下选择一个候选图像帧。当执行(条件I)的确定时，可以使用在步骤F127获得的平均值。
[0660]另外，在步骤F219比较计数值Cnt (η)的最大值与下限值Lth，且如果满足Cnt (n) <Lth,则还可以考虑设置“未找到主被摄体”。因此，可以避免在最初不存在主被摄体的情况下决定主被摄体。
[0661]上面描述的处理实例10也获得与处理实例6相同的效果。
[0662][4-12:处理实例12 (类型II ;确定参考区域；平均存在)]
[0663]处理实例12是处理类型II的实例，其通过修改处理实例9为使用确定参考区域SA的处理而获得。
[0664]在处理实例12中，作为候选图像帧的位置状态，获得与设置的确定参考区域SA的位置关系。
[0665]另外，作为每一候选图像帧的稳定存在程度，计算满足位置状态(与确定参考区域SA的关系)处于预定状态的条件的平均时间(累积时间)。
[0666]然后，在执行缓冲的时段中具有稳定存在程度的最大值的候选图像被确定为主被摄体。
[0667]图22示出了处理实例12。
[0668]步骤F200到F202与图19的相同。
[0669]在缓冲时段中，在步骤F230检查每一候选图像帧E (η)的重心G是否包括在确定参考区域SA中。这是与图17的步骤F150相同的处理。
[0670]如果每一候选图像帧E (η)的重心G在确定参考区域SA中，则控制单元30在步骤F231设置条件满足标记AR (η) = I。
[0671]如果每一候选图像帧E (η)的重心G不在确定参考区域SA中，则控制单元30在步骤F232设置条件满足标记AR (η) = O。
[0672]在步骤F233，控制单元30例如在内存储器区域的区域AR(n) [BfC]中存储(执行)在条件满足标记AR (η)(的缓冲)。
[0673]在步骤F205，控制单元30使得计数值BfC增加。
[0674]在步骤F206，控制单元30确定计数值BfC是否已经达到对应于固定时间的计数阈值THrTM，且如果计数值没有达到计数阈值，则处理返回到步骤F201。
[0675]在上面描述的步骤F233的区域AR(n) [BfC]指的是存储从主被摄体确定处理的开始在第(BfC)阶得到的帧FR(BfC)的候选图像帧E (η)的信息的区域。
[0676]例如，当在作为在步骤F201首先得到帧FR(O)的候选图像帧信息的时间点的帧FR(O)中存在候选图像帧El、Ε2和Ε3时，在区域AR⑴[O]、AR⑵[O]和AR (3) [O]中存储对于每一个候选图像帧在步骤F230到F232设置的条件满足标记AR1、AR2和AR3。
[0677]另外，当在接下来在步骤F201得到的帧FR(I)中存在候选图像帧Ε1、Ε2和Ε3时，在区域AR (I) [1]、AR(2) [I]和AR (3) [I]中存储对于每一个候选图像帧在步骤F230到F232设置的条件满足标记AR1、AR2和AR3。
[0678]换句话说，通过在固定时间(THrTM)重复步骤F201到F206的处理，累积帧FR(O)到帧(m)的候选图像帧E(n)的条件满足标记AR (η)(帧是否包括在确定参考区域SA中的
信息)。
[0679]缓冲在经过固定时间之后结束，然后控制单元30使得处理从步骤F206进行到步骤 F240。
[0680]在步骤F240，控制单元30计算确定参考区域SA中每一候选图像帧E (η)的存在精度。
[0681 ] 该存在精度设置为条件满足标记AR (η)的平均值Ave [AR (η)]。
[0682]该平均值(存在精度)Ave[AR(n)]可以如下计算。
[0683]Ave [AR (η)]=(对于候选图像巾贞E (η)缓冲的条件满足标记AR (η)的累加值)/(AR (η)的相加次数)
[0684]然后，在步骤F241，控制单元30设置候选图像帧E (η)的存在精度Ave [AR(η)]当中的最大值为最大精度MAX [Ave [AR (η)]]。换句话说,选择已经在最长时间内存在于确定参考区域SA的候选图像帧E (η)的存在精度。
[0685]当确定最大精度MAX[Ave[AR(n)]]时，控制单元30在步骤F242确定最大精度MAX [Ave [AR (η)]]是否等于或者大于精度阈值Trs_AR。
[0686]如果最大精度MAX [Ave [AR (η)]]等于或者大于精度阈值Trs_AR，则控制单元30使得处理进行到步骤F243以确定具有最大精度MAX [Ave [AR (η)]]的候选图像帧E (η)作为主被摄体，然后执行主被摄体设置。然后，设置变量TSF= I。
[0687]如果最大精度MAX [Ave [AR (η)]]不等于或者大于精度阈值Trs_AR，则控制单元30在步骤F244设置变量TSF = O。在这种情况下，获得“未找到主被摄体”的结果。
[0688]注意，当至少存在候选图像帧E (η)且明确地实现决定主被摄体的处理时，去掉步骤F242，且具有最大精度MAXMIN[Ave [AR(η)]]的候选图像帧E (η)可以按照原样地被确定为主被摄体。
[0689]根据上面描述的处理实例12，通过持有成像设备10以使得用户想要主要地捕获的被摄体处于尽可能地接近于比如图像中心等的确定参考点SP的状态(跟踪被摄体)，该被摄体被自动地确定为主被摄体。
[0690]另外，因为获取候选图像帧信息固定时间，获得与处理实例8相同的效果。
[0691]注意，虽然指示稳定存在程度的存在精度设置为候选图像帧存在于确定参考区域SA中的累积时间的平均值，可以使用累积时间本身。
[0692]另外，具有巾贞存在于确定参考区域SA中的最长持续时间而不是具有最长累积时间的候选图像帧可以设置为主被摄体。
[0693]在这种情况下，计算缓冲的条件满足标记AR (η)是“ I”的连续帧的数目，且计数值可以用作存在精度。
[0694]另外，当然，在处理实例12中，还存在多个候选图像帧对应于最大精度MAX [Ave [AR (η)]]的情况。当一个候选图像帧E (η)设置为主被摄体时，可以以使用如在处理实例3描述的(条件I)到(条件3)的技术选择将用作主被摄体的候选图像帧E (η)。
[0695]另外，在关于处理类型II的图5中，描述了可以在步骤F22确定积累的完成之后执行步骤F21。
[0696]当执行与其对应的处理时，当处理从步骤F240进行到步骤F206时可以执行图22的步骤F202和F232的处理。
[0697]换句话说，其是在步骤F204缓冲候选图像帧信息本身，并在缓冲的完成之后使用缓冲的候选图像帧信息计算每一帧的每一候选图像帧E (η)的条件满足标记AR(n)的设置的实例。
[0698]〈5.对程序和计算机设备的应用>
[0699]在上文中，已经描述了图像处理设备I和成像设备10的实施例，且可以通过硬件或者软件执行上面描述的主被摄体确定处理。
[0700]根据实施例的程序是使得运算处理装置(例如，CPU(中央处理单元)、DSP (数字信号处理器)等)执行上面描述的主被摄体确定处理的程序。
[0701]换句话说，该程序获取指示多个图像数据帧中检测为主被摄体的候选的候选图像的候选图像信息，并使得运算处理装置执行用于确定在视场内由候选图像信息指示的候选图像的位置状态的位置状态确定处理。
[0702]另外，该程序使得运算处理装置执行用于根据位置状态确定处理中确定的帧中候选图像的位置状态而获得在跨越多个帧的图像数据内候选图像的稳定存在程度的稳定存在程度计算处理。
[0703]另外，该程序使得运算处理装置执行用于使用在稳定存在程度计算处理中获得的稳定存在程度确定候选图像当中的主被摄体的主被摄体确定处理。
[0704]具体地说，根据本实施例的程序可以是使得运算处理装置执行图2、4和5以及另外处理实例I到处理实例12中描述的处理的程序。
[0705]以该程序，执行上面描述的主被摄体确定处理的装置可以使用运算处理装置实现。
[0706]这种程序可以预先记录在作为嵌入在比如计算机设备的仪器中的记录介质的HDD、具有CPU的微计算机中的ROM等上。
[0707]替代地，程序可以临时或者永久地存储(记录)在可拆卸记录介质711上，比如软盘、⑶-ROM(致密盘只读存储器)、MO (磁光)盘、DVD (数字多用途盘)、蓝光盘、磁盘、半导体存储器或者存储卡。这种可拆卸记录介质可以提供为所谓的封装软件。
[0708]此外，除从可拆卸记录介质安装到个人计算机等之外，这种程序可以通过比如LAN(局域网)或者因特网之类的网络从下载地点下载。
[0709]此外，这种程序适于要广泛地提供的实施例的图像处理设备。例如，该程序下载到个人计算机、便携式信息处理设备、蜂窝电话、游戏机、视频播放器、PDA(个人数字助理)等，以使得便携式信息处理设备等可用作执行主被摄体确定处理的根据本公开的实施例的图像处理设备。
[0710]例如，在如图23所示的计算机设备中，可以在图像处理设备I和成像设备10中执行与主被摄体确定处理相同的处理。
[0711]在图23中，计算机设备70的CPU71根据R0M72中存储的程序或者从存储单元78载入到RAM73的程序执行各种处理。此外，RAM73适当地存储当CPU71执行各种处理时需要的数据等。
[0712]CPU71、R0M72和RAM73通过总线74彼此连接。此外，输入和输出接口 75也连接到总线74。
[0713]输入/输出接口 75连接到包括键盘、鼠标等的输入单元76，包括比如CRT (阴极射线管)、LCD或者有机EL面板的显示器、扬声器的输出单元77，包括硬盘的存储单元78和包括调制解调器的通信单元79等。通信单元79通过包括因特网的网络执行通信处理。
[0714]此外，驱动器80根据需要连接到输入和输出接口 75，比如磁盘、光盘、磁光盘或者半导体存储器的可移除介质81适当地安装在输入和输出接口上，且从其读取的计算机程序根据需要安装在存储单元78中。
[0715]在通过软件执行上述的主被摄体确定处理时，从网络或者记录介质安装构成软件的程序。
[0716]例如如图23所示的记录介质由与设备主体分开并具有在其中记录的程序的可移除介质81配置，可移除介质81包括分布以传递程序给用户的磁盘(包括软盘)、光盘(包括蓝光盘(注册商标)、⑶_R0M(致密盘-只读存储器)和DVD(数字多用途盘))、磁光盘(包括MD (微型盘))、半导体存储器等。替代地，记录介质也由以预先并入设备主体中的状态传递给用户并具有在其中记录的程序的R0M72、在存储单元78中包括的硬盘等配置。
[0717]在计算机设备70中，当通过通信单元79的接收操作，或者驱动器80 (可移除介质81)或者记录单元78中的再现操作输入动态图像数据时，CPU71基于程序执行上面描述的候选图象检测单元(3和26)以及主被摄体确定单元(2和31)的功能。换句话说，通过执行图2、图4和图5或者处理实例I到处理实例12的处理，可以在输入图像数据中确定主被摄体。
[0718]〈6.修改示例〉
[0719]基于上面描述的实施例，考虑各种修改实例。
[0720]具体地，假定主被摄体确定处理的各种更详细的实例。
[0721]例如，重心G用于候选图像帧E(n)和确定参考点SP之间的距离Diff (η)和其与确定参考区域SA的位置关系，但是可以不使用重心G。例如，可以使用候选图像帧Ε(η)的顶点位置。
[0722]另外，候选图像帧的形状不限于正方形或者矩形，且考虑圆形、椭圆形、多边形、不定形等。根据候选图像帧的形状，中间位置或者终点位置可以用于距离Diff的计算。
[0723]另外，在视场内候选图像的位置状态在实施例中主要地描述为作为二维空间的视场中其与确定参考点SP或者确定参考区域SA的位置关系，但是可以描述为其与三维空间坐标空间(x-y-z坐标空间)中确定参考点SP或者确定参考区域SA的位置关系,通过将被摄体距离添加到二维屏幕平面而形成该三维空间坐标空间。
[0724]此外，考虑到作为一维空间的视场的与确定参考点SP或者确定参考区域SA的候选图像的X坐标值的位置关系(例如，距离)可以被认为是在在视场内候选图像的位置状态。当然，可以以同样方式考虑这种仅与确定参考点SP或者确定参考区域SA的y坐标值或者z坐标值的位置关系。
[0725]此外，作为指示稳定存在程度的指标，除满足条件的累积时间和持续时间、平均存在的值和存在的平均精度之外还考虑各种因数。例如，满足条件的持续时间的平均值是可能的。
[0726]此外，每一帧的候选图像帧的尺寸(像素的数目)的变化程度可以设置为稳定存在程度的指标。
[0727]另外，主被摄体确定处理的结果可以添加到在处理之后捕获和记录的静止图像数据和动态图像数据作为元数据。换句话说，指示平静的被摄体的信息被添加到静止图像文件等。
[0728]另外，虽然显示通过图像且同时执行主被摄体确定处理，通过拍照者的操作指定主被摄体的操作可以是可能的。
[0729]当执行指定主被摄体的操作时，优选地相应地设置变量TSF = 1，且半途停止由控制单元30执行的主被摄体确定处理。
[0730]另外，在该实施例中，主要描述静止图像捕获的假设下确定主被摄体的处理，但是在用于动态图像捕获的待机模式或者动态图像捕获和记录的执行期间，上面描述的实施例的处理可以应用为根据多个捕获的帧执行主被摄体确定的处理。
[0731]另外，本技术还可以如下配置。
[0732](I) 一种图像处理设备，包括:
[0733]候选检测单元，配置为用于对于图像数据的多个帧检测用作主被摄体的候选的每一个候选图像；和
[0734]主被摄体确定单元，配置为获得在跨越多个帧的图像数据内由候选检测单元检测到的候选图像的稳定存在程度，并使用该稳定存在程度在候选图像当中确定主被摄体。[0735](2)根据(I)的图像处理设备，其中，主被摄体确定单元执行确定在视场内每一个候选图像的位置状态的位置状态确定处理，根据位置状态确定处理中确定的每一帧的每一个候选图像的位置状态而获得在跨越多个帧的图像数据内每一个候选图像的稳定存在程度的稳定存在程度计算处理，和使用在稳定存在程度计算处理中获得的稳定存在程度在候选图像当中确定主被摄体的主被摄体确定处理。
[0736](3)根据(2)的图像处理设备，其中，主被摄体确定单元将每一个候选图像与在视场内设置的确定参考点之间的距离确定为位置状态。
[0737](4)根据(3)的图像处理设备，其中，主被摄体确定单元根据操作输入设置确定参考点。 [0738](5)根据(2)的图像处理设备，其中，主被摄体确定单元将每一个候选图像与在视场内设置的确定参考区域的位置关系确定为位置状态。
[0739](6)根据(5)的图像处理设备，其中，主被摄体确定单元根据操作输入设置确定参考区域。
[0740](7)根据(2)到(6)的任何一个的图像处理设备，其中，主被摄体确定单元计算指示位置状态满足预定条件的累积时间信息作为稳定存在程度。
[0741](8)根据(2)到(6)的任何一个的图像处理设备，其中，主被摄体确定单元计算指示位置状态连续地满足预定条件的持续时间信息作为稳定存在程度。
[0742](9)根据(I)到(8)的任何一个的图像处理设备，其中，主被摄体确定单元将稳定存在程度已经在主被摄体确定的开始之后最快地达到预定值的候选图像确定为主被摄体。
[0743](10)根据(I)到(8)的任何一个的图像处理设备，其中，主被摄体确定单元将在主被摄体确定时段中具有稳定存在程度的最高值的候选图像确定为主被摄体。
[0744](11)根据(I)到(10)的任何一个的图像处理设备，其中，主被摄体确定单元在稳定存在程度的计算处理或者主被摄体的确定处理中使用在视场内候选图像的位置信息或者候选图像的尺寸信息。
[0745](12)根据⑴到(11)的任何一个的图像处理设备，其中，当多个候选图像基于稳定存在程度确定为主被摄体时，主被摄体确定单元使用在视场内候选图像的位置信息或者在视场内候选图像的尺寸信息选择一个候选图像并设置所选的候选图像为主被摄体。
[0746](13)根据(I)到(12)的任何一个的图像处理设备，其中，候选检测单元检测人或者动物的面部或者身体的图像作为用作主被摄体的候选的候选图像。
[0747]附图标记列表
[0748]10 基站
[0749]12核心网络
[0750]20UE
[0751]150、151、152、160、161、162 映射存储单元
[0752]154、264映射管理单元
[0753]158签名确定单元
[0754]160、161、162传输数据确定单元
[0755]180通信资源确定单元
[0756]250传输数据生成单元[0757]268签名选择单元
[0758]270前同步码生成单元
[0759]280通信资源选择单元
【权利要求】
1.一种图像处理设备，包括: 候选检测单元，配置为对于图像数据的多个帧检测用作主被摄体的候选的每一个候选图像；和 主被摄体确定单元，配置为获得在跨越多个帧的图像数据内由所述候选检测单元检测到的候选图像的稳定存在程度，并使用所述稳定存在程度在候选图像当中确定主被摄体。
2.根据权利要求1所述的图像处理设备，其中，所述主被摄体确定单元执行确定在视场内每一个候选图像的位置状态的位置状态确定处理、根据在所述位置状态确定处理中确定的每一帧的每一个候选图像的位置状态而获得在跨越多个帧的图像数据内每一个候选图像的稳定存在程度的稳定存在程度计算处理和使用在所述稳定存在程度计算处理中获得的所述稳定存在程度在候选图像当中确定主被摄体的主被摄体确定处理。
3.根据权利要求2的图像处理设备，其中，所述主被摄体确定单元将每一个候选图像与在视场内设置的确定参考点之间的距离确定为所述位置状态。
4.根据权利要求3所述的图像处理设备，其中，所述主被摄体确定单元根据操作输入设置所述确定参考点。
5.根据权利要求2的图像处理设备，其中，所述主被摄体确定单元将每一个候选图像与在视场内设置的确定参考 区域的位置关系确定为所述位置状态。
6.根据权利要求5的图像处理设备，其中，所述主被摄体确定单元根据操作输入设置确定参考区域。
7.根据权利要求2所述的图像处理设备，其中，所述主被摄体确定单元计算指示所述位置状态满足预定条件的累积时间信息作为所述稳定存在程度。
8.根据权利要求2所述的图像处理设备，其中，所述主被摄体确定单元计算指示所述位置状态连续地满足预定条件的持续时间信息作为所述稳定存在程度。
9.根据权利要求1所述的图像处理设备，其中，所述主被摄体确定单元将其稳定存在程度已经在主被摄体确定开始之后最快地达到预定值的候选图像确定为主被摄体。
10.根据权利要求1所述的图像处理设备，其中，所述主被摄体确定单元将在主被摄体确定时段中具有稳定存在程度的最高值的候选图像确定为主被摄体。
11.根据权利要求1所述的图像处理设备，其中，所述主被摄体确定单元在所述稳定存在程度的计算处理或者主被摄体的确定处理中使用在视场内候选图像的位置信息或者候选图像的尺寸信息。
12.根据权利要求1所述的图像处理设备，其中，当多个候选图像基于所述稳定存在程度确定为主被摄体时，所述主被摄体确定单元使用在视场内候选图像的位置信息或者在视场内候选图像的尺寸信息选择一个候选图像并设置所选的候选图像为主被摄体。
13.根据权利要求1所述的图像处理设备，其中，所述候选检测单元检测人或者动物的面部或者身体的图像作为用作主被摄体的候选的候选图像。
14.一种图像处理方法，包括: 对于图像数据的多个帧检测用作主被摄体的候选的每一个候选图像； 获得在跨越多个帧的图像数据内所检测到的候选图像的稳定存在程度；和 使用所述稳定存在程度确定候选图像当中的主被摄体。
15.一种使得运算处理设备执行下列处理的程序:位置状态确定处理，对于在视场内图像数据的多个帧确定检测为主被摄体的候选的每一个候选图像的位置状态； 稳定存在程度计算处理，根据在所述位置状态确定处理中确定的每一帧的每一个候选图像的位置状态获得在跨越多个帧的图像数据内每一个候选图像的稳定存在程度；和主被摄体确定处理，使用在所述稳定存在程度计算处理中获得的所述稳定存在程度在候选图像当中确定主被摄体。
【文档编号】H04N5/232GK103975575SQ201280059289
【公开日】2014年8月6日 申请日期:2012年10月16日 优先权日:2011年12月6日
【发明者】木下雅也 申请人:索尼公司