控制装置和图像传感设备的控制方法与流程

本发明通常涉及一种控制装置和图像传感设备的控制方法，尤其涉及一种用于控制追踪并传感追踪目标的图像传感设备的技术。

背景技术：

在能够进行摇摄/俯仰(pan/tilt)控制的监控摄像机中安装了运动物体检测功能，并且设计了具有用于控制摇摄/俯仰的自动追踪功能以便在画面的中心附近继续拍摄在摄像画面中检测到的运动体的监控摄像机。

在日本特开平第3-26180号公报中，公开了如下技术：在自动追踪装置中，如果在画面上显示的被追踪物体的尺寸小，则通过在望远方向(telescopic direction)上控制变焦使被追踪物体在画面上显示得更大。此外，在日本特开平第3-26180号公报中，公开了一种变焦控制方法，其中，在物体从视野消失时，通过向广角侧控制变焦来搜索该物体。

在日本特开平第7-30795号公报中，公开了在物体从视野消失时使得在广角方向上对透镜单元进行变焦操作的方法，预测物体的位置并对预测的位置执行摇摄/俯仰控制的方法以及扫描操作的方法。

然而，如传统技术中那样，在被追踪的物体从视野消失时通过向广角侧控制变焦来搜索该物体时，存在如下的情况：在画面上的物体尺寸变得过小从而变得不能检测到该物体。

此外，在预测物体的位置的方法中，是否存在追踪取决于预测的精确度，并且存在当预测错误时不能执行追踪的情况。此外，在通过控制摇摄/俯仰而扩大摄像机能够传感的范围来进行扫描的方法中，由于摇摄/俯仰控制而使得在与摇摄/俯仰运动的方向相反的方向上出现新的死角区。这样，将会增加不再发现出现在那里的物体的问题的可能性，并增加由于扫描分离的位置而将会发现并追踪与被追踪的运动体不同的运动体的可能性。

技术实现要素：

本发明鉴于这些问题而构思，并提供一种减少如下问题的技术：该问题是由于传感视频上的追踪目标的尺寸变得过小而不能检测到追踪目标并不再能够追踪目标。

根据本发明的第一方面，提供一种控制用于追踪并传感追踪目标的图像传感设备的控制装置，所述控制装置包括：记录单元，其被配置为记录所述图像传感设备传感的传感视频中出现的追踪目标的尺寸；以及，搜索单元，其被配置为在从能够从所述传感视频中检测到所述追踪目标的状态进入不能检测到所述追踪目标的状态时，针对以预定比例因子进行缩小的情况，基于所述记录单元记录的尺寸而获得所述传感视频中的所述追踪目标的预测尺寸，并且如果所述预测尺寸大于预定尺寸，则通过预定比例因子进行缩小，然后在缩小后的传感视频中搜索所述追踪目标。

根据本发明的第二方面，提供一种用于追踪并传感追踪目标的图像传感设备的控制方法，所述控制方法包括：记录在所述图像传感设备传感的传感视频中出现的追踪目标的尺寸；在从能够从所述传感视频中检测到所述追踪目标的状态进入不能检测到所述追踪目标的状态时，针对以预定比例因子进行缩小的情况，基于记录的尺寸获得所述传感视频中的所述追踪目标的预测尺寸，并且如果所述预测尺寸大于预定尺寸，则通过预定比例因子进行缩小，然后搜索缩小后的传感视频中的所述追踪目标。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。

附图说明

图1是例示图像传感设备的示例配置的框图。

图2A到图2C是说明追踪目标从视野消失的原因的图。

图3A和图3B是说明可检测尺寸的图。

图4是通过图像传感设备对追踪目标进行的追踪图像传感操作的流程图。

图5是例示步骤S406中的处理的详情的流程图。

图6是通过图像传感设备对追踪目标进行的追踪图像传感操作的流程图。

图7是通过图像传感设备对追踪目标进行的追踪图像传感操作的流程图。

图8是例示步骤S713中的处理的详情的流程图。

图9是例示控制装置的硬件配置的框图。

图10A和图10B是例示图像传感设备的外观图。

具体实施方式

下文将参照附图详细描述本发明的实施例。请注意，下文描述的实施例仅例示了实现本发明的具体示例，并且仅仅是权利要求的范围内定义的配置的具体实施例。作为示例描述了在图像传感设备内具有控制装置的示例，但可以在图像传感设备的外部配置控制装置。

[第一实施例]

在本实施例中，针对追踪并传感追踪目标的图像传感设备描述了以具有以下配置为特征的图像传感设备的示例。此图像传感设备记录了传感视频内出现的追踪目标的尺寸。然后，在不能从传感视频检测到追踪目标的情况下，此图像传感设备基于前述尺寸而获得在以预定比例因子进行缩小后的传感视频中的追踪目标的预测尺寸。然后，如果预测尺寸大于预定尺寸，则图像传感设备以预定比例因子进行缩小，并在缩小后搜索传感视频中的追踪目标。其后，追踪并传感搜索到的追踪目标。

首先，使用图1的框图说明具有根据实施例的控制装置的图像传感设备的示例配置。请注意，图1中例示的配置仅是能够实现下文说明的图像传感设备的操作的配置的示例，并不限于图1中例示的配置。此外，图1中例示的配置仅例示了用于实现下文说明的图像传感设备的操作的主要配置，例如，图中省略了诸如根据电源系统的配置和根据用户界面的配置等并非下文说明的关键的配置。请注意，作为示例，通过系统控制单元103和图像分析单元110实现作为控制装置的功能。

图像传感单元101用于通过光电转换使外界光转换为视频信号，并向随后阶段的图像处理单元102输出视频信号。能够使用例如CMOS图像传感器(互补金属氧化物半导体图像传感器)作为执行光电转换的图像传感器。此外，可以使用CCD图像传感器(电荷耦合器件图像传感器)作为图像传感器。

图像处理单元102通过将各种已知的图像处理应用于从图像传感单元101输出的视频信号而生成传感视频。例如，图像处理单元102使视频信号数字化，并将它转为能够在其他装置上再现的视频数据(传感视频)。图像处理单元102能够采用诸如MPEG2等各种已知格式的视频数据将视频信号转换为视频数据。此外，图像处理单元102可以适当对传感视频进行编码。

图像分析单元110使用已知的模式匹配技术等，执行用于从图像处理单元102生成的传感视频中检测变为追踪目标的特定被摄体的处理。例如，检测人物作为特定被摄体。可以采用使图像分析单元110检测作为追踪目标而注册的特定人物的配置。还可以采用使图像分析单元110检测作为特定被摄体的简单移动的物体(运动体)的配置。

通过与驱动源电机对应的变焦透镜和聚焦透镜驱动系统等配置透镜驱动单元104。通过透镜控制单元105对透镜驱动单元104执行操作控制。透镜控制单元105根据系统控制单元103的指示对透镜驱动单元104执行操作控制。

通过用于对图像传感设备执行摇摄(pan)操作的机构驱动系统和驱动源电机等配置摇摄操作驱动单元106，作为示例，如图10A和图10B所示，能够在摇摄方向上使图像传感方向(图像传感透镜的光轴)22旋转360度。换言之，能够使用预定摇摄轴20作为旋转轴使图像传感设备的图像传感方向22旋转。通过摇摄操作控制单元107对摇摄操作驱动单元106执行操作控制。摇摄操作控制单元107根据系统控制单元103的指示对摇摄操作驱动单元106执行操作控制。

通过用于对图像传感设备执行俯仰(tilt)操作的机构驱动系统和驱动源电机等配置俯仰操作驱动单元108，并且，作为示例，如图10A和图10B所示，能够使图像传感方向22围绕与摇摄轴20垂直的俯仰轴21旋转。换言之，能够使图像传感方向22从与摇摄轴20垂直的方向旋转180度。通过俯仰操作控制单元109对俯仰操作驱动单元108执行操作控制。俯仰操作控制单元109根据系统控制单元103的指令对俯仰操作驱动单元108执行操作控制。

系统控制单元103具有处理器(例如CPU或DSP)和存储器(例如RAM)，并通过处理器使用存储器中存储的计算机程序和数据执行处理而对配置图像传感设备的各单元执行操作控制。这样，作为结果，系统控制单元103执行或控制后述的各处理作为图像传感设备执行的处理。例如，系统控制单元103对图像处理单元102做出画质调整的指令，并对透镜控制单元105做出变焦和聚焦控制的指令。此外，系统控制单元103对摇摄操作控制单元107和俯仰操作控制单元109做出用于摇摄操作和俯仰操作的各指令。

通信接口单元111与外部设备执行数据通信。例如，通信接口单元111向外部设备发送图像处理单元102生成的传感视频，并接收从外部设备发送的诸如用于图像传感设备的摇摄、俯仰和变焦等的图像传感参数以及图像传感设备的设置数据。

凭借图1的配置，图像分析单元110能够参照图像处理单元102生成的各帧的传感视频，并通过获得相邻两帧之间的视频中的差异来检测帧中的运动体。当然，用于检测帧中的运动体的方法可以是除此之外的方法。系统控制单元103基于图像分析单元110检测到的运动体的帧中的位置获得摇摄角度、俯仰角度和变焦的变更量，以使运动体以规定的大小出现在帧的中央位置。请注意，不需要连续获得所有摇摄角度、俯仰角度和变焦的变更量，而视情况存在仅获得其中一者的变更量或者仅获得其中两者的变更量的情况。

如果获得了摇摄角度的变更量，则系统控制单元103指示摇摄操作控制单元107通过获得的摇摄角度变更量变更图像传感设备的摇摄角度。此外，如果获得了俯仰角度的变更量(运动量)，则系统控制单元103指示俯仰操作控制单元109通过获得的俯仰角度变更量变更图像传感设备的俯仰角度。此外，如果获得变焦的变更量，则系统控制单元103指示透镜控制单元105通过获得的变焦变更量变更图像传感设备的变焦。这样，图像传感设备能够追踪并传感追踪目标。

然而，在图像传感设备的摇摄角度或俯仰角度的变更期间，存在由于追踪目标的运动而使追踪目标从视野消失的情况(图像分析单元110不能从传感视频检测到追踪目标)。关于发生这类情况的原因，使用图2A至图2C从传感视频中的被摄体位置和摇摄/俯仰运动量之间的关系进行说明。

请注意，在下文的说明中，使用水平方向作为基准进行说明，但能够根据图像传感设备的安装方向视情况假定不同的基准。在以下说明中，作为示例而假定以使摇摄轴20处于垂直方向上而将图像传感设备安装到天花板上来进行说明。即，假定图像传感设备在从天花板向下的方向上进行传感。此外，在图2A、图2B和图2C中，使画面的水平方向和俯仰轴21平行。

在图像传感方向(图像传感透镜的光轴的方向)与水平方向接近的情况下，图2A表示图像传感设备的传感范围(传感视频)。用于使传感视频中的被摄体P1、P2和P3到达帧的中央位置的摇摄角度的变更量(摇摄运动角度)分别是向左方向上(从向上方向看时的逆时针方向)的θp1、θp2和θp3，并且俯仰角度变更量(俯仰运动角度)大约是0。此外，与被摄体T1、T2和T3相关的摇摄运动角度是0，并且俯仰运动角度分别是向上方向上的θt1、θt2和θt3。

在俯仰位置接近直下方向，并且附装到天花板的图像传感设备的图像传感透镜的光轴处于垂直方向(直下方向)的情况下，图2B和图2C都表示图像传感设备的传感范围(传感视频)。这里，为了使图像传感方向22在传感视频中向上/向下方向上移动，使俯仰角度进行变更。同时，对于在传感视频中水平方向上的移动，不能单独通过摇摄方向上的移动而直接地移动。在这种情况下，摇摄方向上的移动是以传感视频的中央为中心的旋转。

如图2B所示，与图2A类似，为了使被摄体T1、T2和T3进入帧的中央位置，摇摄移动角度为0，并且俯仰移动角度是画面的向上方向上的θt1、θt2和θt3。同时，如图2C所示，使被摄体P1、P2和P3进入帧的中央位置的摇摄移动角度是从向上方向看时的逆时针方向90度，并且俯仰移动角度是画面的向上方向上的θt1、θt2和θt4。如图2C所示，存在当透镜朝向直下方向(摇摄轴20的方向)时，摇摄/俯仰运动角度变大的情况。

因为在速度过快时的摇摄/俯仰运动期间，传感视频变得难以查看，所以使用于追踪特定被摄体的摇摄/俯仰变更时的速度(预定时间内变更的角度)经常是恒定的角速度。因此，摇摄角度越大，摇摄运动所需的运动时间变得越长，并且俯仰角度越大，俯仰运动所需的运动时间越长。在运动期间，很难检测被摄体。因此，摇摄/俯仰的运动时间越长，被摄体在此期间退出视角的可能性越大，或者由于被摄体运动而远离图像传感设备，使得画面上的尺寸变得小于能够检测到的尺寸(最小检测尺寸)的可能性越大。因此，被摄体在运动后从视野消失的可能性增加。

接下来，使用图3A和图3B说明能够检测到特定被摄体的尺寸。图像分析单元110将传感视频分为预定大小的块单位，并以块为单位执行被摄体检测处理。例如，针对水平1280像素×垂直720像素的传感视频，使8像素×8像素大小的块作为执行被摄体检测处理的单位。在这种情况下，传感视频具有水平160块×垂直90块的大小。

图像分析单元110计算临时邻接的两个帧之间的对应块之间的差分，并基于差分值大于或等于预定值的块确定追踪目标。例如，使连续成簇的块成为作为差分块的追踪目标。然而，为了去除由于传感视频的亮度上的微小改变、图像传感设备的安装部的微小振动等产生的噪声，针对获得的差分块中小尺寸的差分块而确定噪声块。噪声块是不作为被摄体检测目标的块，并从非噪声块检测特定被摄体。这里，如果检测到尺寸小于四个块的运动体，则将该运动体视作噪声。在图3A中，例示了被视作噪声的差分块出现图案。针对四个出现图案的运动体的高度和宽度的组合分别是(1，1)，(2，1)，(1，2)和(2，2)。此外，图3B中例示了没有被视作噪声的最小尺寸的块的出现图案。针对这些出现图案的运动体的高度和宽度的组合分别是(4，1)，(1，4)，(3，2)，(2，3)和(2，2)。针对高度和宽度组合(2，2)，存在具有三个出现块的、被视作噪声的图案和具有成簇的四个差分块的、不被视作噪声的图案。为了降低由于过度缩小而使被摄体从视野消失的可能性，假定(2，2)组合为被视作噪声的组合，并且在高度方向上的块数和宽度方向上的块数的总数是五块或以上时，确定可以检测为运动体。即，在这种示例中，能够检测到的尺寸(最小检测尺寸)是高度方向上的块数和宽度方向上的块数的总和是五块的尺寸。

如上所述，在本实施例中，图像分析单元110确定尺寸小于特定尺寸(基准尺寸)的被摄体(运动体)是噪声。然后，图像分析单元110不会使被确定为噪声的被摄体作为追踪目标。因此，能够检测到的尺寸是基于作为用于确定是否使其成为追踪目标的基准的尺寸而定义的尺寸。退一步说，比用于确定噪声的基准尺寸略大的尺寸可以作为后述可检测的尺寸。例如，用于确定噪声的基准的尺寸的1.1倍的尺寸可以作为可检测的尺寸。

接下来，将使用图4的流程图说明图像传感设备对追踪目标进行的追踪图像传感操作。请注意，在根据图4的流程图的处理的开始阶段，图像传感设备的摇摄角度、俯仰角度和变焦不发生变化。

在步骤S401中，图像分析单元110获得临时邻接的两个帧之间的对应块之间的差分，并基于该差分执行用于检测变为追踪目标的被摄体(追踪目标)的处理。然后，在步骤S402中，图像分析单元110确定传感视频中是否包括变为追踪目标的被摄体。如果图像分析单元110检测到变为追踪目标的被摄体，则处理进入步骤S403，而如果不能检测到追踪目标，则处理进入步骤S406。

图像分析单元110可以使运动体(除噪声块之外的差分块)成为追踪目标，并可以使被确定为特定被摄体(例如，人)的被摄体成为追踪目标。此外，图像分析单元110还可以使作为运动体的特定被摄体成为追踪目标。此外，图像分析单元110可以使特定被摄体中预先在记录单元(未图示)中注册的目标(例如，可疑人物)作为追踪目标。此外，图像分析单元110可以使进入预定区域的特定被摄体作为追踪目标。

在步骤S403中，系统控制单元103基于当前的摇摄角度和/或俯仰角度(摇摄角度和俯仰角度中的至少一者)以及图像分析单元110检测到的追踪目标的帧中的位置获得使追踪目标出现在帧的中央位置处的摇摄角度和/或俯仰角度的变更量。然后，系统控制单元103向摇摄操作控制单元107和/或俯仰操作控制单元109(摇摄操作控制单元107和俯仰操作控制单元109中的至少一者)发出指令，从而以获得的摇摄角度和/或俯仰角度的变更量来变更当前的摇摄角度和/或俯仰角度。这样，摇摄操作控制单元107和/或俯仰操作控制单元109控制摇摄操作驱动单元106和/或俯仰操作驱动单元108，从而以系统控制单元103指示的变更量来变更当前摇摄角度和/或俯仰角度。

在步骤S404中，系统控制单元103获得变焦的变更量，以使追踪目标以规定尺寸出现。例如，系统控制单元103首先确定追踪目标在传感视频中的尺寸相对于传感视频的尺寸是否合适。例如，确定追踪目标的高度(垂直方向上的像素数)与传感视频的画面的高度(垂直像素数)的比率是否超过第一比率(例如，60％)，以及追踪目标的水平宽度(水平方向上的像素数)与传感视频的水平宽度(水平方向上的像素数)的比率是否超过第一比率。如果结果是追踪目标的高度与传感视频的高度的比率超过第一比率，或者追踪目标的水平宽度与传感视频的水平宽度的比率超过第一比率，则系统控制单元103确定需要进行缩小。此外，确定追踪目标的高度与传感视频的高度的比率是否低于第二比率(例如，15％)，以及追踪目标的水平宽度与传感视频的水平宽度的比率是否低于第二比率。如果结果是追踪目标的高度与传感视频的高度的比率低于第二比率，或者追踪目标的水平宽度与传感视频的水平宽度的比率低于第二比率，则系统控制单元103确定需要进行放大。

此外，系统控制单元103指示透镜控制单元105以获得的变焦变更量变更图像传感设备的当前变焦。透镜控制单元105控制透镜驱动单元104，以通过系统控制单元103指示的变焦量执行变焦控制。

在步骤S405中，系统控制单元103获得步骤S401中检测到的追踪目标的尺寸、步骤S404中的放大或缩小比率(变焦率)以及变焦控制后的传感视频中的追踪目标的尺寸。例如，如果假定在步骤S404中执行变焦，并且该放大是1.4倍放大，则如果放大前的追踪目标的高度是传感视频的高度的15％，则追踪目标在放大后的传感视频中的高度变为传感视频的高度的21％。此外，假定在步骤S404中执行缩小，并且该缩小使视角垂直/水平地放大150％。这里，如果缩小前的追踪目标的高度是传感视频高度的60％，则追踪目标在缩小后的传感视频中的高度变为传感视频的高度的40％。

此外，系统控制单元103在系统控制单元103具有的存储器中或外部存储器(未示出)中记录通过这种方式获得的、追踪目标在变焦控制后的传感视频中的尺寸。

另一方面，在步骤S406中，如果从检测到追踪目标的状态进入没有检测到追踪目标的状态，则执行用于搜索从视野消失的追踪目标的处理(被摄体搜索处理1)。使用图5的流程图说明步骤S406中的处理的详细内容。

在步骤S501中，图像分析单元110读取步骤S405中在存储器中记录的尺寸，即，追踪目标从视野消失前(例如，在即将消失前)传感视频上的追踪目标的尺寸。

在步骤S502中，图像分析单元110执行以下处理。具体地说，如果追踪目标确实出现在当前帧的传感视频中，则假设追踪目标具有在步骤S501中读取的追踪目标尺寸，如果从这种状态进一步执行缩小，则获得该追踪目标要在传感视频中缩小的尺寸。例如，如果假定读取的追踪目标的尺寸是垂直H像素×水平W像素，则以前述块为单位表示的追踪目标尺寸将是垂直H/8块×水平W/8块。这里，如果在单一的缩小中执行传感的视角垂直地/水平地延伸3/2倍，那么缩小后的追踪目标的大小将变为以前述块为单位的垂直H/12块×水平W/12块。假定H＝32并且W＝64，则缩小后的追踪目标的尺寸变为垂直8/3块×水平16/3块。

在步骤S503中，图像分析单元110执行以步骤S502中获得的追踪目标的块为单位的尺寸与可检测尺寸(预定尺寸)的大/小比较。如果此大/小比较的结果是以步骤S502中获得的追踪目标的块为单位的尺寸大于可检测尺寸，则处理进入步骤S504。另一方面，如果以步骤S502中获得的追踪目标的块为单位的尺寸小于或等于可检测尺寸，则处理进入步骤S508。

在前述示例中，因为以步骤S502中获得的追踪目标的块为单位的尺寸是垂直8/3块+水平16/3块＝8块，并且可检测尺寸＝5，所以处理进入步骤S504。

在步骤S504中，系统控制单元103控制透镜控制单元105，以使透镜驱动单元104执行缩小。这里的缩小量是用于计算步骤S502中的追踪目标的尺寸的缩小量(在前述示例中，是使视角变为水平/垂直3/2倍的缩小量)。

在步骤S505中，图像分析单元110删除步骤S405中在存储器中记录的追踪目标尺寸，并取而代之地在存储器中记录步骤S502中获得的追踪目标的尺寸(最近获得的追踪目标尺寸)。此记录尺寸可以是以上述块为单位的尺寸，并且可以是以垂直/水平像素数表示的尺寸。

在步骤S506中，图像分析单元110通过与前述步骤S401中相同的处理执行用于从图像处理单元102生成的传感视频中检测追踪目标的处理。此传感视频是前述步骤S504中执行的缩小后的传感视频。如果追踪目标出现在缩小后的传感视频中，则追踪目标在该传感视频中的尺寸至少变得大于可检测尺寸。因此，考虑到将不会出现由于追踪目标在缩小后的传感视频中的尺寸问题而使得不能检测到追踪目标的问题。

在步骤S507中，图像分析单元110确定是否能够检测到追踪目标被摄体，并且如果图像分析单元110能够从传感视频检测到追踪目标，则处理进入步骤S407。另一方面，如果在步骤S506中，图像分析单元110不能从传感视频检测到追踪目标，则处理进入步骤S502，并且使用步骤S505中在存储器中记录的追踪目标的尺寸执行以下处理。这里，在步骤S502中，使用“在步骤S505中在存储器中记录的追踪目标的尺寸”代替“在步骤S501中读取的追踪目标的尺寸”。将此“在步骤S505中在存储器中记录的追踪目标的尺寸”视作在步骤S502中在之前获得的追踪目标的尺寸。

即，如果与缩小后的传感视频相关的搜索结果是不能在那个传感视频中检测到追踪目标，则图像分析单元110基于之前获得的预测尺寸获得追踪目标在进一步缩小后的传感视频中的预测尺寸。然后，如果追踪目标在进一步缩小后的传感视频中的预测尺寸大于预定尺寸，则执行缩小，并在缩小后的传感视频中搜索追踪目标。

另一方面，在步骤S508中，系统控制单元103控制透镜控制单元105，使透镜驱动单元104只执行一次缩小。这里的缩小量是以步骤S502中获得的追踪目标的块为单位的尺寸可检测尺寸的缩小量。

在步骤S509中，图像分析单元110通过与前述步骤S401中相同的处理执行用于从图像处理单元102生成的传感视频中检测追踪目标的处理。此传感视频是前述步骤S508中执行的缩小后的传感视频。

返回图4，如果在步骤S407中，图像分析单元110确定能够从传感视频中检测到追踪目标，则处理进入步骤S403。另一方面，如果图像分析单元110不能从传感视频中检测到追踪目标，则处理进入步骤S408。在步骤S408中，系统控制单元103删除存储器中记录的追踪目标的尺寸。

如上所述，系统控制单元103和图像分析单元110协作用作搜索单元。

通过这种方式，凭借本实施例，在被摄体在追踪期间从视野消失时，比较基于即将消失前存储的被摄体的尺寸计算的、缩小情况下的追踪目标的尺寸(预测尺寸)和能够检测到运动体的最小尺寸，并通过根据比较结果确定是否进行缩小，能够防止由于过度缩小而不能检测到被摄体。

[第二实施例]

在本实施例例中，与第一实施例类似，如果追踪目标从视野消失前(例如，即将消失前)用于摇摄角度/俯仰角度变更量大于规定量，则执行缩小以搜索从视野消失的追踪目标。

然后，如果追踪目标从视野消失前(例如，即将消失前)的摇摄角度/俯仰角度变更量小于或等于规定量，则不执行缩小以搜索从视野消失的追踪目标。通过以这种方式进行配置，在预测到追踪目标变得小于画面上的可检测尺寸而不是变得在画面以外时，或者在追踪目标停止时的情况中，能够防止执行不必要的缩小处理。在下文中，主要说明了与第一实施例的不同之处，并假定未在下文中特别提及的事项与第一实施例中的相同。

使用图6的流程图说明通过图像传感设备对追踪目标进行的追踪图像传感操作。请注意，在图6中，与图4中例示的处理步骤相同的步骤被赋予相同的步骤标号，并省略与这些步骤相关的描述。

在步骤S604中，系统控制单元103在存储器中存储步骤S403中获得的摇摄角度和/或俯仰角度的变更量。在步骤S607中，系统控制单元103读取步骤S604中在存储器中记录的摇摄角度和/或俯仰角度的变更量。这里，实际上可以使摇摄/俯仰变化。

在步骤S608中，系统控制单元103确定步骤S607中读出的摇摄角度和/或俯仰角度的变更量是否大于规定量。如果此确定结果是步骤S607中读取的摇摄角度和/或俯仰角度的变更量大于规定量，则处理进入步骤S406。在这种情况下，因为预测追踪目标的运动快，所以追踪目标变到画面之外的可能性高。

另一方面，如果步骤S607中读取的摇摄角度和/或俯仰角度的变更量小于或等于规定量，则处理进入步骤S401。在这种情况下，因为预测追踪目标的运动慢，所以追踪目标不会变到画面外而会变得小于画面上的可检测尺寸的可能性高。例如，如果摇摄角度或俯仰角度的变更量是与传感视频的视角的宽度(水平方向上的视角大小)的1/4或以上对应的量，则处理进入步骤S406，并且如果是与小于传感视频的宽度视角的1/4对应的量，则处理进入步骤S401。

在步骤S611中，系统控制单元103删除存储器中记录的追踪目标的尺寸，以及在步骤S604中在存储器中记录的摇摄角度和/或俯仰角度的变更量。

通过这种方式，根据本实施例，通过在即将消失前存储的摇摄角度和/或俯仰角度的变更量大时执行缩小操作，能够减少追踪目标在追踪期间从视野消失时执行不必要缩小处理的次数。具体地说，如果追踪目标从视野消失前(例如，即将消失前)的摇摄角度/俯仰角度的变更量小于或等于规定量，则不执行缩小以搜索从视野消失的追踪目标，从而能够减少执行不必要缩小处理的次数。

[第三实施例]

除了第二实施例外，在本实施例中，如果追踪目标从视野即将消失前的摇摄角度/俯仰角度的变更量小于第二规定量，则为了搜索从视野消失的追踪目标也执行放大。在下文中，主要说明与第二实施例的不同之处，除非在下文中特别提及，否则假定与第二实施例中的相同。

接下来，使用图7的流程图说明图像传感设备对追踪目标进行的追踪图像传感操作。请注意，在图7中，与图4和图6中例示的处理步骤相同的步骤被赋予相同的步骤标号，并省略与这些处理步骤相关的说明。

请注意，在图7的步骤S608中，仅在第二实施例中被称为“规定量”的事物被称为“第一阈值”这点与第二实施例的步骤S608不同，而实质处理与第二实施例中说明的步骤S608中的处理相同。在步骤S608中，如果步骤S607中读取的摇摄角度和/或俯仰角度的变更量小于或等于第一阈值，则处理进入步骤S712。

在步骤S712中，系统控制单元103确定步骤S607中读取的摇摄角度和/或俯仰角度的变更量是否小于第二阈值。请注意，第二阈值小于第一阈值。如果此确定结果是步骤S607中读取的摇摄角度和/或俯仰角度的变更量小于第二阈值，则处理进入步骤S713。另一方面，如果步骤S607中读取的摇摄角度和/或俯仰角度的变更量大于或等于第二阈值，则处理进入步骤S401。例如，如果满足摇摄角度的变更量小于或等于传感视频的宽度的视角的1/8(第二阈值)，并且俯仰角度的变更量小于或等于传感视频高度方向上的视角的1/8(第二阈值)的条件，则处理进入步骤S713。另一方面，如果不满足此条件，则处理进入步骤S401。

在步骤S712的确定结果是步骤S607中读取的摇摄角度和/或俯仰角度变更量小于第二阈值时，存在追踪目标以低速运动的可能性。在通过帧间的差异检测到被摄体时，存在即使被摄体出现在画面上也将不会检测到以这种方式缓慢运动或者停止运动的被摄体的可能性。因此，不执行放大。通过这种方式，能够避免执行不必要的放大。如果过度执行放大，则存在被摄体在画面上的可见运动速度变得过快，并且被摄体的可见尺寸变得过大而伸出画面外的可能性。通过防止不必要的放大，能够提高检测精确度。

在步骤S713中，执行用于搜索从视野消失的追踪目标的处理(被摄体搜索处理2)。使用图8的流程图说明步骤S713中的处理的详细内容。

在步骤S801中，图像分析单元110读取步骤S405中在存储器中记录的尺寸，即，追踪目标在其从视野消失前(例如，即将消失前)在传感视频上的尺寸。

在步骤S802中，如果以前述块为单位表示步骤S801中读取的追踪目标尺寸，则图像分析单元110首先获得与追踪目标的尺寸对应的块数(A×B)，假定垂直A块×水平B块。然后，系统控制单元103确定获得的块数是否小于或等于可检测尺寸的常数倍。例如，与第一实施例类似，假定可检测尺寸是“5”，并假定常数是“2”，则确定获得的块数是否小于或等于5×2＝10。

如果确定结果是获得的块数小于或等于可检测尺寸的常数倍，则处理进入步骤S803，而如果获得的块数大于可检测尺寸的常数倍，则处理进入步骤S407。

另一方面，在步骤S803中，系统控制单元103控制透镜控制单元105以使透镜驱动单元104只执行一次放大。

在步骤S804中，图像分析单元110获得追踪目标在放大后的传感视频中的尺寸。如果假定与步骤S802中获得的追踪目标大小对应的块数是N，并且假定步骤S803中执行的变焦量是M，则获得(N×M)作为追踪目标在放大后的传感视频中的尺寸。然后，图像分析单元110删除步骤S405中在存储器中记录的追踪目标尺寸，并取而代之地在存储器中记录在此步骤中获得的追踪目标的尺寸。

在步骤S805中，图像分析单元110通过与前述步骤S401中相同的处理执行用于从图像处理单元102生成的传感视频中检测追踪目标的处理。此传感视频是在前述步骤S803中执行了放大后的传感视频。

如果在步骤S805中，图像分析单元110能够检测到传感视频中的追踪目标，处理经由步骤S806而进入步骤S407。另一方面，如果在步骤S805中，图像分析单元110不能在传感视频中检测到追踪目标，则处理经由步骤S806进入步骤S802，并且使用步骤S804中在存储器中记录的追踪目标的尺寸执行以下处理。

通过这种方式，凭借本实施例，在追踪目标在追踪期间从视野消失时，能够找到并追踪通过在即将消失前存储的摇摄角度和/或俯仰角度的变更量小时执行放大操作而变得远离图像传感设备的追踪目标。

[第四实施例]

可以通过硬件配置图1中例示的所有功能单元，但还可以通过软件(计算机程序)实现系统控制单元103的部分。此外，可以通过处理器和存储器实现各实施例中的图像处理单元102、图像分析单元110、透镜控制单元105、摇摄操作控制单元107和俯仰操作控制单元109。可以通过一个处理器和一个存储器，或者可以通过多个处理器和多个存储器实现上述配置。

这里，使用图9说明在通过处理器和存储器实现上述配置的情况的图像传感设备的计算机的硬件配置示例。使用CPU作为处理器，并使用RAM作为存储器作为示例进行说明。

除使用RAM 92和ROM 93中存储的计算机程序和数据对整个计算机执行控制外，还使用CPU 91执行上述单元执行的处理。

RAM 92具有临时存储计算机程序、数据等的区域。此外，RAM 92具有CPU 91执行各处理时使用的工作区域。即，RAM 92用作帧存储器，例如，用作其他各种记录区域。

在ROM 93中存储计算机、启动程序等的设置数据。94是连接前述各单元的总线。

此外，可以适当地组合上述所有或部分实施例。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。