视频处理装置、视频处理方法和存储介质与流程

本发明涉及一种用于跟踪图像中的目标的跟踪装置、跟踪方法以及存储介质。

背景技术：

常规上已知一种用于对监视照相机的拍摄图像中的预定物体进行跟踪的技术。还已知一种用于彼此相关联地管理作为跟踪目标的目标物体和与目标物体相关的相关物体并通过使用相关物体的跟踪结果来跟踪目标物体的技术。这样的技术能够提高对目标物体的跟踪精度。日本特开2012-103752号公报讨论了一种用于基于移动物体的区域与特定物体的区域之间的交叠区域的面积来确定移动物体是否对应于特定物体，并且如果移动物体被确定为对应于特定物体，则将移动物体与特定物体相关联的技术。

然而，目标物体与相关物体之间的关系不限于这两个物体的图像区域的交叠。例如，如果目标物体是人的下半身的一部分，则能够将同一人的头部作为特定物体进行关联。因此，期待一种用于对具有各种关系的图像进行适当地关联的技术。

技术实现要素：

本发明旨在适当地关联图像中的多个物体。

根据本发明的一个方面，一种视频处理装置包括：目标检测单元，其被构造为检测视频图像中包括的跟踪目标的区域的位置；特定物体检测单元，其被构造为检测视频图像中包括的特定物体的位置，所述特定物体具有预定特征；以及关联单元，其被构造为基于由目标检测单元检测到的跟踪目标的区域的位置与由特定物体检测单元检测到的特定物体的位置之间的相对位置而将跟踪目标的区域与特定物体相关联，其中，在关联单元将跟踪目标的区域和特定物体彼此关联的情况下，目标检测单元通过使用跟踪目标的区域的检测位置和由特定物体检测单元检测到的特定物体的位置中的至少一者来对跟踪目标进行跟踪。

通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出跟踪系统的总体图。

图2是示出照相机的硬件构造的图。

图3是示出照相机的软件构造的图。

图4是示出由照相机进行的跟踪处理的流程图。

图5a、图5b、图5c和图5d是跟踪处理的说明图。

具体实施方式

下面将参照附图描述本发明的示例性实施例。

图1是示出根据本示例性实施例的跟踪系统100的总体图。将通过使用跟踪系统100跟踪人的情况作为示例来描述本示例性实施例。然而，跟踪目标不限于人，并且可以是车辆、自行车或摩托车。跟踪系统100包括照相机101、记录装置102、显示装置103和输入装置104。照相机101、记录装置102和显示装置103经由网络105彼此连接。输入装置104连接到显示装置103。照相机101是一种能够进行摇摄、倾斜和变焦调节的称为摇摄-倾斜-变焦(pan-tilt-zoom，ptz)的照相机。照相机101自动地控制摇摄、倾斜和变焦，使得作为跟踪目标的目标物体总是被拍摄到。这里，摇摄指的是水平地改变照相机101的方向。倾斜指的是竖直地改变照相机101的方向。变焦是指将视角改变为远摄或广角侧。

照相机101根据来自记录装置102或显示装置103的请求发送视频图像。记录装置102将从照相机101获得的视频图像存储在未示出的记录介质中。显示装置103显示从照相机101获得的视频图像，并且读取和显示存储在记录装置102中的视频图像。显示装置103还经由输入装置104从用户接收请求，并将该请求发送到照相机101。

图2是示出照相机101的硬件构造的图。中央处理单元(cpu)201读取只读存储器(rom)202中存储的控制程序，并执行各种类型的处理。随机存取存储器(ram)203用作诸如cpu201的主存储器和工作区域等的临时存储区域。下面描述的照相机101的功能和处理由cpu201读取和执行rom202中存储的程序来实现。摄像单元204包括诸如互补金属氧化物半导体(cmos)图像传感器和电荷耦合器件(ccd)图像传感器等的固态图像传感器以及摇摄头(panhead)。摄像单元204改变摇摄、倾斜和变焦以拍摄视频图像(图像)。显示单元205显示各种类型的信息。输入单元206包括键盘和鼠标并且接受用户的各种操作。通信单元207基于诸如超文本传输协议(http)和传输控制协议/因特网协议(tcp/ip)的通信方法，经由网络105与外部装置进行通信处理。

图3是示出照相机101的软件构造的图。视频图像获取单元301从摄像单元204获取拍摄的图像数据。这里，拍摄的图像数据是指包括由摄像单元204拍摄的视频图像和在拍摄视频图像时关于摄像单元204的姿势信息(摇摄值、倾斜值和变焦值)的数据。编码单元302从视频图像获取单元301接收拍摄的图像数据，并通过适当的编码方法对视频图像进行编码。编码方法的示例包括联合图像专家组(jpeg)、运动图像专家组(mpeg)-2、mpeg-4和h.264。通信处理单元303经由通信单元207将编码的视频图像发送到外部。通信处理单元303向外部装置发送数据/从外部装置接收数据。例如，通信处理单元303经由通信单元207从输入装置104接收用户输入的信息。

检测单元304接收由视频图像获取单元301获得的拍摄的图像数据中包括的视频图像。检测单元304通过使用诸如图案识别和机器学习的各种已知技术来检测视频图像中包括的各个帧图像中的特定物体的区域。这里，特定物体是指诸如面部、整个人体或人体的一部分等的预定物体。在本示例性实施例中，人脸被预先确定为特定物体。如果跟踪目标是汽车，则特定物体可以是车辆的牌照。

表示特定物体的物体类型所特有的特征的、检测特定物体所需的信息被预先存储在照相机101的ram203中。例如，检测单元304通过在改变图像的尺寸的同时通过对整个图像使用对照图案来提取多个局部图案，并且计算各个局部特征量。然后，检测单元304根据具有相应权重的局部特征量的总和来确定特定物体。对于这种处理，参见日本特开2009-211311号公报。

特定物体跟踪单元305跟踪特定物体的区域。具体地，特定物体跟踪单元305将视频图像中在时间上连续的多个帧图像中的各个中检测到的特定物体的区域相关联。这种关联处理可以被表述为用于将帧图像中的特定物体的区域的检测结果当中的、与同一特定物体相对应的检测结果进行配对的匹配程序。特定物体跟踪单元305最初通过使用任意值来定义多个帧图像中的特定物体之间的相似度。任意值的示例包括代表特定物体的图形的位置和大小以及从特定物体提取的特征量。接下来，特定物体跟踪单元305能够通过使用按相似度的降序对检测结果进行配对的方法或对检测结果进行配对以使相似度的总和最大化的整体优化方法来确定检测结果的匹配。然后，特定物体跟踪单元305将相同的标识符(id)分配给特定物体的相关联区域。

确定单元306接收由视频图像获取单元301获得的拍摄的图像数据中包括的视频图像。然后，确定单元306将视频图像中的移动物体确定为跟踪目标。作为跟踪目标的移动物体在下文中将被称为目标物体。目标物体跟踪单元307基于目标物体的区域的位置和与目标物体的区域相关联的特定物体的区域的位置来跟踪目标物体的区域。关联单元308将由确定单元306确定的目标物体的区域与由检测单元304检测到的特定物体的区域相关联。下面将描述确定单元306、目标物体跟踪单元307和关联单元308的处理详情。控制单元309生成并发出用于照相机101的摇摄电机、倾斜电机和变焦电机的控制命令。

图4是示出由照相机101进行的跟踪处理的流程图。例如，如果通信处理单元303接收到根据输入到输入装置104的用户输入而发送到照相机101的ptz跟踪开始请求，则照相机101的cpu201开始ptz跟踪模式。跟踪处理是照相机101在ptz跟踪模式中的处理。图5a至图5d是跟踪处理的说明图。图5a至5d所示的帧图像500、510、520和530是视频图像中包括的连续帧图像。帧图像500、510、520和530按照对应于拍摄顺序的顺序排列。换句话说，帧图像500、510、520和530是按时间序列获得的多个图像的示例。下面将描述图5a至5d中的帧图像的右侧所示的坐标。

在图4的步骤s400中，视频图像获取单元301获得由摄像单元204拍摄的帧图像(输入图像)。对步骤s400中获得的帧图像进行步骤s401及后续步骤的处理。下文中将要处理的帧图像称为目标帧图像。跟踪处理是循环处理。例如，如果要处理包括图5a至图5d所示的四个帧图像的视频图像，则当第一次执行步骤s401时，视频图像获取单元301获得帧图像500。视频图像获取单元301在第二次执行步骤s401时获得帧图像510。以这种方式，视频图像获取单元301按视频图像中的排列顺序(拍摄顺序)逐个地获得帧图像。

在步骤s401中，检测单元304通过使用包括已知的图案识别和机器学习技术的各种技术来从目标帧图像检测特定物体的区域。在本示例性实施例中，检测单元304使用人的头部作为特定物体来检测特定物体的区域。在图5a至图5d的示例中，图5a的帧图像500不包括特定物体，并且没有检测到特定物体的区域。从图5b的帧图像510检测特定物体的区域512和513。从图5c的帧图像520检测特定物体的区域522和523。从图5d的帧图像530检测特定物体的区域532和533。

在步骤s402中，特定物体跟踪单元305进行时间上连续的帧图像之间的特定物体的对应区域的关联处理。在图5a至图5d的示例中假设图5b的帧图像510是目标帧图像。在这种情况下，紧接在前的帧图像500不包括与特定物体的区域512和513相对应的特定物体的区域。因此，特定物体跟踪单元305将新的特定物体id分配给特定物体的区域512和513。在图5b的示例中，特定物体id“1”被分配给特定物体的区域512。特定物体id“2”被分配给特定物体的区域513。

假设图5c的帧图像520是目标帧图像。在这种情况下，紧接在前的帧图像510包括特定物体的区域512和513。因此，特定物体跟踪单元305将与帧图像510中的特定物体的区域512和513的特定物体id相同的特定物体id(即，“1”和“2”)分配给帧图像520中的特定物体的各个对应区域522和523。以这种方式，将相同的特定物体id分配给与相同的特定物体相关的区域，使得特定物体的区域能够彼此关联。类似地，特定物体id“1”和“2”分别被分配给图5d的特定物体的区域532和533。

返回图4，在步骤s402的处理之后，处理进入步骤s403。在步骤s403中，cpu201确定是否已经确定要跟踪的移动物体。如果确定了要跟踪的移动物体(步骤s403中为“是”)，则处理进入s406。如果尚未确定要跟踪的移动物体(步骤s403中为“否”)，则处理进入s404。例如，紧接在开始ptz跟踪模式之后，由于确定没有要跟踪的移动物体，所以处理进入步骤s404。

在步骤s404中，确定单元306确定在目标帧图像中是否存在要跟踪的移动物体。如果在目标帧图像中存在要跟踪的移动物体(步骤s404中为“是”)，则处理进入步骤s405。在步骤s405中，确定单元306将要跟踪的移动物体的区域确定为目标物体的区域。具体地，确定单元306自动检测移动物体。例如，确定单元306通过使用用于确定时间上相邻的帧图像之间的差分(被称为帧间差分(interframedifference))的技术来检测移动区域。然后，确定单元306检测包括许多移动区域的矩形区域作为目标物体的区域。在图5a至图5d的示例中，如图5a所示，人的脚最初出现在帧图像中。因此，包括人的脚的矩形区域501被确定为目标物体的区域。如果在目标帧图像中没有要跟踪的移动物体(步骤s404中为“否”)，则处理进入步骤s413。

在另一示例中，用户可能想通过输入装置104明确地指定移动物体。在这种情况下，确定单元306可以确定存在要跟踪的移动物体。如果用户在用户想跟踪的物体附近点击作为输入装置104的示例的鼠标，则确定单元306经由通信处理单元303获得关于点击的信息。然后，确定单元306确定存在要跟踪的移动物体。基于该信息，确定单元306确定例如围绕点击的坐标的某个尺寸的矩形区域作为目标物体的区域。

在步骤s406中，cpu201确定特定物体的区域是否与目标物体的区域相关联。如果存在将目标物体的区域与特定物体的区域相关联的信息(步骤s406中为“是”)，则处理进入步骤s410。如果不存在将目标物体的区域与特定物体的区域相关联的信息(步骤s406中为“否”)，则处理进入步骤s407。

在步骤s407中，目标物体跟踪单元307跟踪目标帧图像中的目标物体的区域。具体地，目标物体跟踪单元307检测在截止到目标帧图像的前一帧图像的处理中确定了的目标物体的区域，并且识别检测到的位置。目标物体跟踪单元307可以通过使用任意跟踪技术来检测目标物体的区域。跟踪技术的示例包括模板匹配和平均偏移。在图5a至图5d的示例中，通过对图5a的帧图像500中的目标物体的区域501的跟踪处理，图5b的帧图像510中的区域511被检测为目标物体的区域。目标物体跟踪单元307识别区域511的位置。类似地，图5c的帧图像520中的区域521和图5d的帧图像530中的区域531被检测为目标物体的区域。目标物体跟踪单元307识别区域521和531的位置。

在步骤s408中，关联单元308确定是否存在要与目标区域的区域相关联的特定物体的新区域。这里，关联单元308参照作为目标物体的跟踪处理的结果而获得的目标物体的位置以及作为特定物体的跟踪处理的结果而获得的特定物体的位置。现在将参照图5a至图5d描述步骤s408的处理。图5a至图5d中的帧图像510至530右侧所示的坐标系是以目标物体的中心为原点的正交坐标系。在这种正交坐标系中，帧图像的水平方向由x轴代表(向右方向为正)。竖直方向由y轴代表(向上方向为正)。目标物体的区域的中心是原点。这种正交坐标系能够对特定物体的区域之间的相对位置进行数字化。在目标物体的区域的竖直宽度和水平宽度之间，较大的一个被定义为具有1.0的长度。在图5a至图5d中，与坐标系中的特定物体的区域512、513、522、523、532和533对应的框中所示的数字表示特定的物体id。

关联单元308根据关于目标物体的区域与特定物体的区域之间的位置关系的关联条件，来确定是否将目标物体的区域与特定物体的区域相关联。关联条件被预先设置在诸如ram203等的存储单元中。在本示例性实施例中，关联条件包括以下描述的两个条件。如果特定物体的区域满足这两个条件，则关联单元308确定将特定物体的区域与目标物体的区域相关联。

第一条件是在确定时段期间目标物体的区域与特定物体的区域之间的距离保持小于距离阈值。第二条件是在确定时段期间特定物体的区域相对于目标物体的区域的位置的相对位置的变化量的最大值(以下，最大位置变化量)小于变化量阈值。确定时段可以由帧数或经过的时间来定义。确定时段可以是连续时段，也可以是占用连续时段的预定比例的时段。例如，预定时段可以是“五个连续的帧”或“五个连续的帧中的四个帧或更多帧”。在下面的描述中，假设确定时段是三个连续的帧。

将进一步描述第一条件。例如，可以通过各个区域的中心坐标之间的欧几里德距离来定义目标物体的区域与特定物体的区域之间的距离。只有距离小于或等于某个值(例如，小于或等于2.5)的特定物体的区域才被确定为满足第一条件。假设特定物体的区域512、513、522、523、532和533各自距离目标物体的区域的距离为2.5或更小。在这种情况下，特定物体的所有区域512、513、522、523、532和533满足第一条件。

将进一步描述第二条件。特定物体的区域相对于目标物体的区域的位置的相对位置由前述正交坐标系中的特定物体的区域的中心点的x和y坐标来定义。假设具有特定物体id“1”的区域512、522和532中的特定物体分别具有(-0.1,1.2)、(-0.1,1.3)和(0,1.1)的x和y坐标。还假设具有特定物体id“2”的区域513、523和533中的特定物体分别具有(1.8,1.6)、(1.0,0.8)和(0.4,-0.4)的x和y坐标。在这种情况下，例如，最大位置变化量可以被定义为在确定时段期间出现的具有同一特定物体id的特定物体的两个区域之间的欧几里德距离的最大值。

例如，在图5b、图5c和图5d的帧图像510、520和530中具有特定物体id“1”的特定物体的区域之间的最大位置变化量是特定物体的区域522与特定物体的区域532之间的0.22的欧几里得距离。类似地，在图5b、图5c和图5d的帧图像510、520和530中具有特定物体id“2”的特定物体的区域之间的最大位置变化量是特定物体的区域513与特定物体的区域533之间的1.84的欧几里得距离。例如，假设只有具有小于或等于0.7的最大位置变化量的特定物体的区域才满足第二条件。那么具有特定物体id“1”的特定物体的区域满足第二条件。具有特定物体id“2”的特定物体的区域不满足第二条件。

因此，如果将图5d的帧图像530设置为目标帧图像，则确定具有特定物体id“1”的特定物体的区域532与目标物体的区域相关联。确定具有特定物体id“2”的特定物体的区域533不与目标物体的区域相关联。

以这样的方式，关联单元308能够通过参考关于目标物体的区域与特定物体的区域之间的位置关系的条件，来适当地将目标物体的区域与特定物体的区域相关联。即使特定物体的区域和目标物体的区域并不总是彼此交叠，关联单元308也能够适当地确定是否将特定物体的区域与目标物体的区域相关联。步骤s408的处理是用于确定是否将特定物体的物体区域与目标物体的物体区域相关联的确定处理的示例。

返回到图4。在步骤s408中，如果关联单元308确定存在要与目标物体的区域相关联的特定物体的新区域(步骤s408中为“是”)，则处理进入步骤s409。如果关联单元308确定不存在要关联的特定物体的新区域(步骤s408中为“否”)，则处理进入步骤s412。

在步骤s409中，关联单元308将在步骤s408中确定要被关联的特定物体的区域与目标物体的区域相关联。例如，关联单元308生成将目标物体的区域与特定物体的区域的特定物体id相关联的关联信息，并将关联信息存储到ram203中。在图5d的帧图像530中，目标物体的区域531与具有特定物体id“1”的特定物体的区域532相关联。与目标物体的区域相关联的特定物体的区域在下文中将被称为相关物体的区域。

在步骤s410中，目标物体跟踪单元307基于目标物体的区域的位置和相关物体的区域的位置来跟踪目标物体的区域。可以使用任意的方法进行跟踪处理。第一方法是基于相关物体的区域的位置来跟踪目标物体的区域的方法。目标物体跟踪单元307基于步骤s402中的跟踪结果来识别具有与相关物体的特定物体id相同的特定物体id的特定物体的区域，并且更新相关物体的区域的位置。目标物体跟踪单元307能够通过假设在目标物体的区域与相关物体的区域相关联时目标物体的区域与相关物体的区域之间的位置关系不变，来根据相关物体的区域的位置而确定目标物体的区域的位置。

第二方法是基于目标物体的区域的位置和相关物体的区域的位置二者来跟踪目标物体的区域的方法。这里，目标物体跟踪单元307通过类似于步骤s407的处理来跟踪目标物体的区域。目标物体跟踪单元307还通过与针对第一方法描述的处理类似的处理来跟踪相关物体的区域。然后，目标物体跟踪单元307对两个跟踪结果进行综合，以确定目标物体的区域的位置。具体地，目标物体跟踪单元307可以通过采用跟踪结果之间的关于跟踪具有较高置信度的跟踪结果来确定目标物体的区域的位置。目标物体跟踪单元307可以计算根据各个跟踪结果所确定的目标物体的位置之间的中间值作为目标物体的位置。如本文所使用的，跟踪的置信度是指表示跟踪的成功概率的得分。

如果在步骤s410中计算的跟踪的置信度小于或等于阈值，则目标物体跟踪单元307将要跟踪的移动物体恢复到未确定状态。在步骤s407中，目标物体跟踪单元307类似地计算跟踪的置信度。如果计算的跟踪的置信度小于或等于阈值，则目标物体跟踪单元307将要跟踪的移动物体恢复到未确定状态。

在步骤s411中，关联单元308更新关于目标物体的区域与特定物体的区域之间的关联的信息(关联信息)。例如，如果相关物体的区域从多个连续的帧图像中消失，则关联单元308取消目标物体的区域与用作相关物体的区域的特定物体的区域之间的关联。具体地，关联单元308从关联信息中删除用作与目标物体的区域相关联的相关物体的区域的特定物体的区域的特定物体id。

在步骤s412中，控制单元309基于在步骤s407或s411中确定的目标物体的区域的位置来控制照相机101的摇摄、倾斜和变焦，使得目标物体在图像的中心附近被显示。具体地，控制单元309生成用于摇摄电机、倾斜电机和变焦电机的控制命令，并将控制命令发送到摄像单元204。

在步骤s412中，如果存在相关物体的区域，则控制单元309可以基于相关物体的位置来控制照相机101的摇摄、倾斜和变焦，使得目标图像继续被显示在图像的中心附近。在本示例性实施例中，控制单元309被描述为控制所有的摇摄、倾斜和变焦。然而，控制单元309可以控制摇摄、倾斜和变焦中的至少一个。该处理是基于用作相关物体的物体区域的位置来控制摄像方向和摄像视角中的至少一者的控制处理的示例。

在另一示例中，如果存在相关物体的区域，则能够基于相关物体的区域的位置和大小来估计目标物体的区域的位置和大小。然后，控制单元309可以基于估计结果来控制照相机101的变焦，例如，使得目标物体在图像中具有恒定的大小。

在步骤s413中，cpu201检查通信处理单元303是否接收到根据输入到输入装置104的用户输入而发送的ptz跟踪开始请求。如果接收到ptz跟踪开始请求(步骤s413中为“是”)，则跟踪处理结束。如果没有接收到ptz跟踪开始请求(步骤s413中为“否”)，则处理进入步骤s400。

如上所述，根据本示例性实施例的跟踪系统能够自动地将目标物体的区域与适当物体的区域相关联。目标物体的区域甚至可以同与图像中的目标物体的区域不交叠的物体的区域相关联。即使存在能够与图像上的目标物体的区域相关联的多个特定物体的区域，也可以选择适当的特定物体的区域并将其与目标物体的区域相关联。以这种方式，能够适当地关联图像中的多个物体的区域。

在ptz跟踪中，目标物体的区域和特定物体的区域彼此相关联，从而提高跟踪精度。通过使用外观信息(例如，从图像提取的颜色和边缘)来跟踪目标物体的区域。如果存在如下因素，例如目标物体的外观变化和照明的变化，则这种跟踪可能失败。替代跟踪目标物体的区域，跟踪与目标物体的区域相关联的特定物体的区域，并且同时跟踪目标物体的区域和相关物体的区域，然后，对结果进行综合使得能够进行更准确的跟踪。

此外，目标物体的区域和特定物体的区域彼此相关联，使得能够进行适当的ptz控制。能够根据画面上的相关物体的区域的位置和大小来估计目标物体的区域的位置和大小。例如，基于估计结果，可以控制变焦，使得目标物体在画面上以恒定大小显示。可以控制摇摄和倾斜，使目标物体的重要部分显示在画面的中心处。

在本示例性实施例的第一变型中，关联单元308可以根据出现在视频图像中的特定物体的区域的数量来确定(改变)关联条件。例如，出现特定物体的区域的数量越多，关联单元308可以做出的确定时段越长。这种处理是用于改变确定时段的时段变化处理的示例。关联单元308可以改变第一条件和第二条件，使得出现的特定物体的区域的数量越多，特定物体的区域越不可能与目标物体的区域相关联。如果存在可能与目标物体的区域相关联的多个特定物体的区域，则这种改变使得能够仅将与目标物体的区域更高度相关的特定物体的区域与目标物体的区域相关联。

在第二变型中，关联单元308可以适当地改变本示例性实施例中描述的关联条件的确定时段。例如，关联单元308可以基于目标物体的区域与特定物体的区域之间的距离或者基于目标物体的区域与特定物体的区域之间的交叠区域的面积来改变确定时段。例如，如果目标物体的区域与特定物体的区域之间的距离小于阈值，则关联单元308可以将该确定时段设置为比在该距离大于或等于阈值时短的时段。如果目标物体的区域与特定物体的区域之间的交叠区域的面积大于或等于阈值，则关联单元308可以将确定时段设置为比在目标物体的区域与特定物体的区域之间的交叠区域的面积小于阈值时短的时段。本处理是用于改变确定时段的时段变化处理的示例。

在另一示例中，关联单元308参考包括在目标物体的区域和特定物体的区域中的至少一者的区域或包含目标物体的区域和特定物体的区域的最小外接矩形作为基准。如果目标物体的区域与特定物体的区域的交叠面积相对于基准面积的比例高，则关联单元308可以将确定时段改变为更短的时段。

在第三变型中，关联条件不限于上述的本示例性实施例的关联条件。例如，除了前述第一条件和第二条件之外，如果还满足第三条件，则关联单元308可以关联特定物体的区域。第三条件是，特定物体的区域的面积相对于目标物体的区域的面积的变化量(以下称为最大面积变化量)落在预定范围内。通过添加第三条件，能够从关联候选中排除相对于目标物体的区域面积变化很大的特定物体的区域。

在本示例性实施例中，根据二维图像上的物体的位置来定义物体之间的距离。然而，用于计算距离的方法不限于此。在第四变型中，例如，假定以照相机101为中心的球体。将该球、与始于照相机101处的并且使照相机101与物体连接的半线的交点定义为物体的坐标。然后，物体的坐标由经度和纬度唯一确定。能够根据关于在拍摄视频图像期间的摄像单元204的姿势信息和关于视频图像中的物体的位置的信息，来计算物体的经度和纬度。在另一示例中，照相机101可以因此基于经度和纬度而不是二维坐标来定义物体之间的距离。

在第五变型中，确定单元306可以在步骤s409中的关联之后改变目标物体的区域。例如，确定单元306可以改变目标物体的区域，使得目标物体的区域的中心与相关联的特定物体的区域的中心重合。这种处理是用于改变目标物体的物体区域的区域改变处理的示例。

在第六变型中，跟踪处理可以由除照相机101以外的装置进行。例如，如果存在与照相机101分离的照相机101的控制装置，则该控制装置可以执行跟踪处理。在这种情况下，控制装置实时地接收由照相机101拍摄的视频图像，对所接收的视频图像执行跟踪处理，并且将通过ptz控制生成的摇摄、倾斜和变焦控制命令发送到照相机101。在另一示例中，记录装置102可以进行跟踪处理。在这种情况下，记录装置102可以对从照相机101接收到的视频图像实时地进行跟踪处理。记录装置102可以对记录在未示出的存储单元中的视频图像进行跟踪处理。如果记录装置102进行跟踪处理，则可以省略ptz控制处理(步骤s412)。

到目前为止，结合其示例性实施例详细描述了本发明。然而，本发明不限于这样的具体示例性实施例，并且本发明还包括不脱离本发明要点的各种方式。可以适当地组合前述示例性实施例的一些部分。

以上详细描述了本发明的示例性实施例。然而，本发明的示例性实施例的示例还可以包括系统、装置、方法、程序和记录介质(存储介质)。具体地，本发明的示例性实施例可以应用于包括多个设备(例如，主机、接口设备、摄像装置和web应用)的系统。本发明的示例性实施例可以应用于包括单个设备的装置。

本发明的示例性实施例可以通过经由网络或存储介质向系统或装置供给用于实现前述示例性实施例的一个或更多个功能的程序，并通过该系统或装置的计算机的一个或更多个处理器读取和执行该程序来实现。本发明的示例性实施例可以由实现一个或更多个功能的电路(例如，专用集成电路(asic))来实现。

根据前述示例性实施例，可以适当地关联图像中的多个物体。

其它实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)^tm)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。