移动体检测方法及移动体检测装置的制作方法

专利名称：移动体检测方法及移动体检测装置的制作方法
技术领域：
本发明涉及通过抽取图像中的移动体的区域来检测移动体的图像处理技术，尤其 涉及在移动体是人物那样的形状变化的同时进行移动的对象的情况下，根据动态图像中的 运动信息来检测移动体的区域的装置。
背景技术：
以往，广泛进行了区域抽取技术的研究开发，从包含移动体的像(以下简称为“移 动体”)的图像中抽取图像中的移动体的区域，由此检测移动体。尤其在移动体是人的情况 下，抽取该移动体的区域的技术成为数字摄像机或者数字照相机的焦点控制和画质改善处 理、汽车的安全运转支持系统、或者机器人的避免与人的冲击控制或避免冲击用报警等共 同利用的基础技术。作为抽取图像中的移动体的区域的技术中的普通方法，可以列举(1)评价预先准 备的移动体的模型与图像中的候选区域之间的相似度，并确定移动体的区域的方法，(2)将 图像划分为多个小区域并计算特征量，把特征量作为基准来整合相似的区域，由此确定移 动体的区域的方法。作为前者的代表性的方法有如下方法，即在从图像中抽取移动体区域的候选后， 评价所抽取的移动体区域的候选与预先准备的移动体模型之间的相似度，并抽取相似度较 高的区域作为移动体区域。另外，还有如下方法，即在抽取诸如步行中的人物等形状变化 的同时进行移动的移动体的区域时，利用考虑了形状的变化的移动体模型的方法。例如，在专利文献1记载的方法中，从多个图像中抽取移动体的剪影 (silhouette)图像作为移动体区域候选。并且公开了下述方法，即评价预先被参数化的 与移动体的形状变化相关的模型和所抽取的剪影图像之间的相似度，并估算相似度较高的 区域和模型的参数。由此，针对形状变化的同时进行移动的人物，也能够适用被参数化的模 型，所以能够实现移动体的区域抽取。作为后者的代表性的方法有如下方法，即将图像暂且划分为多个小区域，抽取基 于各个小区域的像素的亮度值的特征量，然后评价多个小区域之间的特征量的相似度，并 把相似度较高的区域整合为同一移动体区域。例如，在专利文献2记载的方法中，将图像暂且划分为矩形的小区域，根据小区域 的亮度或运动来计算特征量，并根据特征量的相似度的顺序来整合小区域，由此能够实现 移动体的区域抽取。现有技术文献专利文献专利文献1 日本特开平8-214289号公报专利文献2 日本特开2006-031114号公报发明概要发明要解决的问题但是，上述的现有的区域抽取的技术存在以下问题，例如在街头等多个人物等移 动体往来行走的场景下等，在移动体被其他移动体部分遮挡的情况下、或者包括移动体的 大小明显不同的移动体的情况下等，不能准确抽取移动体。以专利文献1记载的方法为代表的、采用预先准备的模型的现有的区域抽取方 法，需要从图像中抽取移动体区域的候选。此时，如果不能抽取合适的移动体区域候选，则 不可能将把移动体参数化而得到的模型正确地适用于移动体区域的候选区域。尤其在上述 那样的场景下，由于移动体的形状或者大小在大幅变化，所以很难适当地抽取移动体区域 的候选区域。另外，假设即使能够适当地抽取移动体区域的候选，也存在下述的问题。尤其在人 物等多关节物体是移动体的情况下，由于移动体的各种姿势或者大小而造成的图像上的形 状或者大小的变化幅度非常大，所以在进行移动体模型的参数化时需要数量庞大的参数。 这将诱发模型的适用错误。因此，存在例如将多个移动体错误地视为一个移动体并抽取区 域，或将成为抽取对象的移动体不在的区域错误地作为移动体并抽取区域等不能正确检测 移动体的问题。以专利文献2记载的方法为代表的、采用小区域之间的特征量的现有的区域抽取 方法，分离并抽取被用作特征量的亮度值或者运动不相似的两个小区域，作为属于不同的 两个移动体的区域。因此，在某个移动体像人物那样其亮度值因场所而异、而且其运动因场 所而异的情况下，即使是同一移动体上的两个小区域，也被错误地作为属于不同的两个移 动体的区域而进行分离及抽取，所以存在不能正确检测移动体的问题。

发明内容
本发明就是为了解决上述问题而提出的，其目的在于，提供一种移动体检测方法 等，能够正确抽取移动体的区域，而不受动态图像中的移动体的形状变化、大小变化或者遮 挡等的影响。为了达到上述目的，本发明的移动体检测方法的一个方式，通过对动态图像中的 移动体的全部或者一部分区域进行划分，检测动态图像中的移动体，所述移动体检测方法 包括距离计算步骤，获取多个移动轨迹，并针对所获取的移动轨迹计算表示移动轨迹间的 相似度的距离，该移动轨迹是构成动态图像的多个图像间的对应点；以及区域划分步骤，根 据在所述距离计算步骤计算的距离，将相似的移动轨迹的集合确定为一个区域，由此进行 区域划分，所述区域划分步骤包括测地距离计算步骤，根据在所述距离计算步骤计算的移 动轨迹间的距离，计算移动轨迹间的测地距离；区域划分候选生成步骤，根据所述多个移动 轨迹，生成多个区域划分候选，该区域划分候选是移动轨迹的集合；区域间测地距离计算步 骤，针对在所述区域划分候选生成步骤生成的区域划分候选，根据属于所述区域划分候选 的多个移动轨迹间的测地距离，计算表示区域划分候选间的相似度的区域间测地距离；以 及区域划分候选选择步骤，选择在所述区域划分候选生成步骤生成的区域划分候选之中、 通过所述区域间测地距离计算步骤计算的区域间测地距离满足预先设定的条件的区域划 分候选，作为区域划分的结果。
根据上述结构，通过根据区域划分候选间的区域间测地距离来选择区域划分候 选，能够选择区域抽取的候选，而不受区域候选内的局部距离的影响，所以能够更正确地抽 取区域。即，由于移动轨迹相似的图像的区域被集合成为区域划分候选、在选择区域划分候 选时判定区域划分候选间的相似度、以及按照根据移动轨迹间的测地距离而定义的区域间 测地距离来判定区域划分候选间的相似度，所以能够正确抽取具有相似的运动的图像的区 域，因而在移动体被其他移动体部分遮挡的情况下、或者包括移动体的大小明显不同的移 动体的情况下等，也能够正确抽取移动体，并且在某个移动体像人物那样其亮度值因场所 而异、而且其运动因场所而异的情况下，能够避免同一移动体上的两个小区域被错误地作 为属于不同的两个移动体的区域而被分离抽取。另外，本发明的移动体检测方法不仅能够利用计算机上的程序实现，也能够实现 为利用硬件构成上述各个步骤的移动体检测装置、使计算机执行上述各个步骤的程序、存 储了该程序的CD-ROM等计算机可读的记录介质、抽取或者划分在动态图像中具有运动的 对象的区域的图像处理装置等。发明效果根据上述的方法及装置等，能够根据两个区域划分候选的移动轨迹间的测地距离进 行区域划分，所以能够正确抽取移动体的区域，而不受动态图像中的移动体的形状变化、大小 变化或者遮挡等的影响。另外，也能够使用进行了区域抽取的结果来进行移动体的移动预测。因此，在数字摄像机等动态图像摄影装置日益普及的今天，作为数字照相机的焦 点控制或画质改善处理、汽车的安全运转支持系统、机器人中的避免与人冲击的控制或报 警等的应用技术，本发明的实用价值极高。


图1是表示本发明的实施方式1的移动体检测装置的结构的图。图2是表示利用计算机构成的移动体检测装置的硬件结构的图。图3是表示本发明的实施方式1的移动体检测装置的动作步骤的流程图。图4是表示本发明的实施方式的摄影状况的示例的图。图5(a) 图5(f)是表示本发明的实施方式的构成输入动态图像的多个图片的示 例的图。图6是表示移动轨迹的示例的图。图7(a) 图7(c)是表示测地距离的计算步骤的示意图。图8(a)及图8(b)是说明测地距离的特征的图。图9 (a) 图9 (e)是表示使用测地距离的聚类的示例的图。图10(a) 图10(f)是表示测地距离矩阵、代表测地距离矩阵及参照矩阵的示例 的图。图11 (a) 图11 (d)是表示代表测地距离矩阵及参照矩阵的示例的图。图12是表示在图像输出步骤生成的图像的示例的图。图13是表示本发明的另一个方式的移动体检测装置的动作步骤的流程图。图14是表示本发明的实施方式2的移动体检测装置的动作步骤的流程图。图15(a) 图15(d)是表示本发明的实施方式2的区域划分候选的示例的图。
8
图16(a)是表示移动轨迹的示例的图，图16(b)是表示移动轨迹的聚类的示例的 图，图16(c)及图16(d)是表示区域抽取结果的图。图17(a)及图17(b)是说明使用区域间测地距离进行区域划分的效果的图。图18是表示本发明的另一个方式的移动体检测装置进行的运动预测的图。
具体实施例方式本发明的一个实施方式是一种移动体检测方法，通过对动态图像中的移动体的全 部或者一部分区域进行划分，检测动态图像中的移动体，所述移动体检测方法包括距离计 算步骤，获取多个移动轨迹，并针对所获取的移动轨迹计算表示移动轨迹间的相似度的距 离，该移动轨迹是构成动态图像的多个图像间的对应点；以及区域划分步骤，根据在所述距 离计算步骤计算的距离，将相似的移动轨迹的集合确定为一个区域，由此进行区域划分，所 述区域划分步骤包括测地距离计算步骤，根据在所述距离计算步骤计算的移动轨迹间的 距离，计算移动轨迹间的测地距离；区域划分候选生成步骤，根据所述多个移动轨迹，生成 多个区域划分候选，该区域划分候选是移动轨迹的集合；区域间测地距离计算步骤，针对在 所述区域划分候选生成步骤生成的区域划分候选，根据属于所述区域划分候选的多个移动 轨迹间的测地距离，计算表示区域划分候选间的相似度的区域间测地距离；以及区域划分 候选选择步骤，选择在所述区域划分候选生成步骤生成的区域划分候选之中、通过所述区 域间测地距离计算步骤计算的区域间测地距离满足预先设定的条件的区域划分候选，作为 区域划分的结果。其中，也可以是，所述方法还包括图像输入步骤，受理构成动态图像的多个图片； 以及运动分析步骤，按由构成所述图片的一个以上的像素所构成的每个块，检测在时间上 邻接的两个图片间的图像的运动并对所述多个图片连结所检测到的运动，由此计算移动轨 迹，在所述距离计算步骤，获取在所述运动分析步骤计算的移动轨迹，并计算所述距离。根 据上述的结构，通过根据区域划分候选间的区域间测地距离来选择区域划分候选，能够选 择区域抽取的候选，而不受区域候选内的局部距离的影响，所以能够更正确地抽取区域。另外，作为移动轨迹间的距离的计算方法也可以构成为，例如，在所述距离计算步 骤，计算所述多个图像中的移动轨迹间的欧几里得距离的平均值，作为表示移动轨迹间的 相似度的所述距离。另外，作为测地距离的具体计算方法优选构成为，例如，在所述测地距 离计算步骤中，在计算从第1移动轨迹到第2移动轨迹的测地距离时，将在所述距离计算步 骤获取的多个移动轨迹中的某一个移动轨迹作为中继点，计算从所述第1移动轨迹到达所 述第2移动轨迹的全部路径中的最短路径，作为所述测地距离，更具体地讲，在所述测地距 离计算步骤中，(1)针对在所述距离计算步骤计算的移动轨迹间的距离，计算通过将该距离 的一部分无限大化而得到的非线性化的距离，(2)在根据所述非线性化的距离来计算从第 1移动轨迹到第2移动轨迹的测地距离时，将另一个移动轨迹作为中继点，计算从所述第1 移动轨迹到达所述第2移动轨迹的全部路径的距离中的最短距离，作为所述测地距离。其中，作为区域划分候选的生成方法可以构成为，在所述测地距离计算步骤中， 获取多个阈值，将获取到的多个阈值用作定义移动轨迹的附近的阈值，根据在所述距离计 算步骤计算的移动轨迹间的距离，按每个阈值计算沿着位于附近的移动轨迹的路径上的距 离，由此计算所述移动轨迹间的测地距离，在所述区域划分候选生成步骤中，根据在所述测地距离计算步骤计算的多个阈值中的每个阈值的移动轨迹间的测地距离，将相似的移动轨 迹的集合作为一个区域划分候选，由此生成所述多个区域划分候选。此时，作为多个阈值的 具体示例，优选在所述测地距离计算步骤中，生成在所述距离计算步骤计算的多个距离之 中的最大值和最小值之间的值，作为所述多个阈值。由此，通过限定阈值的候选，能够更快 速地抽取区域。另外，作为区域间测地距离的计算方法，在所述区域间测地距离计算步骤中，作为 针对所述多个阈值中的各个阈值在所述区域划分候选生成步骤生成的多个区域划分候选 集之中的第1区域划分候选集中的两个区域划分候选间的区域间测地距离，通过使用代表 测地距离和参照测地距离进行预先设定的运算而计算，其中该代表测地距离是该两个区域 划分候选中的测地距离，该参照测地距离是上述多个区域划分候选集之中的第2区域划分 候选集中的测地距离，该第2区域划分候选集包含的区域划分候选的总数仅次于该第1区 域划分候选集中包含的区域划分候选的总数。更具体地讲，在所述区域间测地距离计算步 骤中，根据所述参照测地距离和所述代表测地距离，计算表示两个区域划分候选间的距离 的指标、和表示各个区域划分候选内的偏差的指标，并通过用表示所述偏差的指标对表示 所述距离的指标进行规范化的运算，计算所述区域间测地距离。或者，更优选的是，在所述 区域间测地距离计算步骤计算的区域间测地距离是使用第2指标和第3指标将第1指标规 范化而得到的值，所述第1指标表示根据属于某个区域划分候选的多个移动轨迹与属于另 一个区域划分候选的多个移动轨迹之间的测地距离的总和而计算的两个区域划分候选间 的距离，所述第2指标表示根据属于所述某个区域划分候选的多个移动轨迹间的测地距离 的总和而计算的区域划分候选内的偏差，所述第3指标表示根据属于所述另一个区域划分 候选的多个移动轨迹间的测地距离的总和而计算的区域划分候选内的偏差。根据上述的结 构，能够计算更加正确地反映区域划分候选间的距离的区域间测地距离，所以能够更正确 地抽取移动体的区域。其中，作为区域划分候选的选择基准也可以构成为，在所述区域划分候选选择步 骤中，将在所述区域划分候选生成步骤生成的区域划分候选之中、通过所述区域间测地距 离计算步骤计算的区域间测地距离比预先设定的阈值大的两个区域划分候选，全部选择为 所述区域划分的结果并输出。由此，选择区域间测地距离分开较大的区域划分候选，所以能 够将运动大不相同的图像的区域分离，并正确地抽取移动体或者移动体的部位的区域。另外，作为区域划分候选的另一个选择基准，优选的是在所述区域划分候选选择 步骤中，根据在所述区域划分候选生成步骤生成的区域划分候选之中、通过所述区域间测 地距离计算步骤计算的区域间测地距离的时间变化，选择所述区域划分候选，并作为所述 区域划分的结果输出。具体地讲，优选在所述区域划分候选选择步骤中，将在所述区域划分 候选生成步骤生成的区域划分候选之中、通过所述区域间测地距离计算步骤计算的区域间 测地距离的时间变化比预先设定的阈值大的两个区域划分候选，选择为不同的区域，并作 为所述区域划分的结果输出，或者将在所述区域划分候选生成步骤生成的区域划分候选之 中、通过所述区域间测地距离计算步骤计算的区域间测地距离的时间变化比预先设定的阈 值小的两个区域划分候选，选择为同一区域，并作为所述区域划分的结果输出，或者在所述 区域划分候选生成步骤生成的区域划分候选之中，根据通过所述区域间测地距离计算步骤 计算的区域间测地距离的时间变化，以(1)变化越大时越使两个区域划分候选成为不同区域、且( 变化越小时越使两个区域划分候选成为同一区域的方式，选择区域划分候选，并 作为所述区域划分的结果输出，或者针对新的动态图像反复执行所述距离计算步骤及所述 区域划分步骤，在所述区域划分候选选择步骤中，将在所述区域划分候选生成步骤生成的 区域划分候选之中、在所述反复执行中通过所述区域间测地距离计算步骤计算的区域间测 地距离的时间变化比预先设定的阈值大的两个区域划分候选，全部选择为所述区域划分的 结果并输出。根据上述的结构，通过根据区域间测地距离的时间变化来选择区域划分候选，能 够选择进行与某个区域划分候选不同的运动的区域划分候选，所以能够更正确地抽取移动 体的区域。另外，作为区域划分候选的另一种生成方法也可以构成为，在所述区域划分候选 生成步骤中，根据在所述图像输入步骤获取的图像的亮度信息，生成多个区域划分候选图 像，并将与区域划分候选图像对应的一个以上的移动轨迹的集合作为区域划分候选，由此 生成所述多个区域划分候选。由此，由于根据图像的亮度信息来生成区域划分候选，所以在 亮度上相似的图像的区域被作为一个区域进行区域划分，区域划分的精度提高。另外，作为包含区域划分候选的移动轨迹的数量也可以构成为，在所述区域划分 候选生成步骤生成的多个区域划分候选之中、至少一个区域划分候选是一个移动轨迹所属 的区域划分候选，在所述区域间测地距离计算步骤中，输出所述一个移动轨迹与属于另一 个区域划分候选的任意一个移动轨迹之间的测地距离，作为所述一个移动轨迹所属的区域 划分候选与所述另一个区域划分候选之间的区域间测地距离。此时，作为区域划分候选的生成方法也可以构成为，在所述区域划分候选选择步 骤中，将作为所述区域间测地距离而输出的移动轨迹间的测地距离的时间变化比预先设定 的阈值小的两个移动轨迹，确定为同一区域，还可以构成为，在所述区域划分候选选择步骤 中，将作为所述区域间测地距离而输出的移动轨迹间的测地距离的时间变化比预先设定的 阈值大的两个移动轨迹，确定为不同区域。由此，在一个区域划分候选只包含一个移动轨迹 的情况下，也能够计算合适的区域间测地距离，并且生成依赖于测地距离的时间变化的合 适的区域划分候选，能够正确抽取移动体的区域。另外，还可以包括输出步骤，该输出步骤为针对在所述图像输入步骤受理的动 态图像实施图像处理，以使得通过所述区域划分步骤而确定的每个区域成为不同的显示方 式，并进行输出。由此，对所确定的每个区域以不同的显示方式实施图像处理，所以能够容 易确认所检测到的移动体。另外，还可以包括运动预测步骤，该运动检测步骤为根据构成通过所述区域划分 步骤而确定的区域的移动轨迹，计算代表该区域的移动轨迹，并预测为该区域按照所计算 的代表的移动轨迹进行移动，由此预测所述移动体的运动。由此，能够以更好的精度预测运动。下面，使用

本发明的实施方式。(实施方式1)图1是表示实施方式1的移动体检测装置100的结构的图。如图1所示，该移动体 检测装置100具有图像输入部101、运动分析部102、距离计算部103、区域划分部104、输出 部105。其中，区域划分部104具有测地距离计算部106、区域划分候选生成部107、区域间测地距离计算部108、区域划分候选选择部109。移动体检测装置100是通过将包括多个图 片(picture)的动态图像中的移动体的全部或者一部分区域进行划分来检测动态图像中 的移动体的装置。在本实施方式中，移动体检测装置100获取利用摄像机110拍摄的动态 图像，检测所获取的动态图像中的移动体，根据检测结果生成图像并输出图像。显示器120 显示从移动体检测装置100输出的图像。图像输入部101是一个处理部，受理从摄像机110等发送来的、构成动态图像的时 间上不同的多个图片的输入，例如是视频摄像机或者与视频摄像机连接的通信接口等。运动分析部102是一个处理部，对构成由图像输入部101受理的多个图片的由一 个以上的像素所构成的每个块，检测在时间上邻接的两个图片间的图像的运动，并对多个 图片，将检测到的运动加以连结，由此计算移动轨迹。即，所谓块是计算移动轨迹的单位，是 一个以上的像素的集合。距离计算部103是一个处理部，获取多个构成动态图像的多个图像间的对应 点——即移动轨迹，针对获取的移动轨迹计算表示移动轨迹间的相似度的距离，在本实施 方式中，为了捕捉移动的物体的形状变化，使用由运动分析部102计算的块i的移动轨迹和 除块i之外的块的移动轨迹，计算表示块的运动的相似度的距离。因此，在使用I个块的移 动轨迹的情况下，所计算的距离成为I行I列(IXI)的距离矩阵。在此，通过计算用于评 价块的运动的相似度的距离，能够将块间的距离由于运动而变化的移动体、尤其是像关节 物体那样形状变化的同时进行移动的人物等物体的运动，表现为距离矩阵。另外，在后面的 说明中，把块i的移动轨迹称为移动轨迹i。这样，本说明书中的“距离”不仅包括二维空间 中的两点间的距离，也包括后面所述的多维数据间的算术距离，是一个值或者多个值的集 合(距离矩阵)。另外，距离计算部103计算例如多个图像中的移动轨迹间的欧几里得距离 的平均值，作为表示移动轨迹间的相似度的距离。区域划分部104是一个处理部，根据由距离计算部103计算的距离，将相似的移动 轨迹的集合确定为一个区域，由此进行区域划分。该区域划分部104具有测地距离计算部 106、区域划分候选生成部107、区域间测地距离计算部108、区域划分候选选择部109。构成区域划分部104的测地距离计算部106及区域划分候选生成部107，使用由距 离计算部103计算的距离矩阵，检测移动轨迹间的距离的分布中的不连续性，并生成使彼 此离开的距离比所检测到的不连续点还小的移动轨迹成为一个聚类(cluster)的多个区 域划分候选。具体地讲，测地距离计算部106生成作为在区域划分中使用的判定基准的多个阈 值，关于所生成的多个阈值中的各个阈值，(1)针对由距离计算部103计算的距离，实施用 于将比该阈值大的距离无限大化的非线性化，(2)使用非线性化后的距离，计算由运动分析 部102计算的多个移动轨迹中的移动轨迹间的测地距离。区域划分候选生成部107根据由测地距离计算部106生成的多个阈值中的各个阈 值的移动轨迹间的测地距离，把距离为有限值的测地距离的移动轨迹的集合设为区域划分 候选，由此生成多个区域划分候选。区域间测地距离计算部108针对由区域划分候选生成部107计算的多个区域划分 候选，根据属于区域划分候选的多个移动轨迹间的测地距离，计算表示两个区域划分候选 间的相似度的区域间测地距离。
区域划分候选选择部109根据由区域间测地距离计算部108计算的区域间测地距 离，选择区域划分候选，并按照与所选择的区域划分候选相对应的多个移动轨迹中的每个 移动轨迹进行聚类，由此进行图像中的移动体的检测和图像的区域划分。具体地讲，区域划 分候选选择部109把由区域划分候选生成部107生成的区域划分候选中、由区域间测地距 离计算部108计算的区域间测地距离满足预先设定的条件的区域划分候选，选择为区域划 分的结果。输出部105输出由区域划分部104进行的动态图像中的移动体的检测结果或者图 像的区域划分结果。具体地讲，输出部105针对由图像输入部101受理的动态图像实施图 像处理，并输出给显示器120等，以使例如由区域划分部104确定的每个区域成为不同的显 不方式。在本说明书中，“区域抽取”包括抽取某个特定的对象物所在的图像区域的检测技 术、和对每个物体划分图像区域而不需区分对象物的区域划分技术这两者。另外，检测技术 和区域划分技术有许多部分是相同的，所以在本说明书中对两者不进行区分。另外，构成上述移动体检测装置100的各个构成要素(图像输入部101、运动分析 部102、距离计算部103、区域划分部104、输出部10 ，可以利用在计算机上执行的程序等 软件实现，也可以利用电子电路等硬件实现。图2是表示利用软件实现的本实施方式的移动体检测装置的硬件结构的图。在图 2中，摄像机110拍摄图像并输出图像，计算机1002获取图像并进行区域抽取处理，并生成 表示区域抽取结果的图像。显示器120获取由计算机1002生成的图像并显示该图像。计 算机 1002 由 I/F 1004、CPU1005、ROM 1006、RAM 1007、HDD 1008、视频卡 1009 构成。使计 算机1002工作的程序被预先保存在ROM 1006或HDD 1008中。程序由处理器即CPU 1005 从ROM 1006或HDD 1008读出到RAM 1007中进行展开。CPU1005执行在RAM 1007中展开 的程序中的被代码化的各个命令。I/F 1004根据程序的执行，将由摄像机110拍摄的图像 取入到RAM 1007中。视频卡1009输出根据程序的执行而生成的图像，并在显示器120上 进行显示。另外，计算机程序不限于被存储在作为半导体的ROM 1006或HDD 1008中，也可以 存储在例如光盘中。并且，计算机程序还可以通过有线或无线的网络、广播等进行传输，并 被取入到计算机的RAM 1007中。下面，使用图3说明本实施方式的移动体检测装置100的动作。图3是表示本实施方式的移动体检测装置100的动作的流程图。在图3中，7个步骤S201 S209分别与图1所示的各个处理部对应。即，图像输 入部101执行图像输入步骤S201的动作，运动分析部102执行运动分析步骤S202的动作， 距离计算部103执行距离计算步骤S203的动作，测地距离计算部106执行测地距离计算步 骤S204的动作，区域划分候选生成部107执行区域划分候选生成步骤S205的动作，区域间 测地距离计算部108执行区域间测地距离计算步骤S206的动作，区域划分候选选择部109 执行区域划分候选选择步骤S207的动作，输出部105执行图像输出步骤S208的动作。区 域划分部104执行区域划分步骤S209。在图像输入步骤S201，图像输入部101从摄像机110获取构成动态图像的多个图 片。此处假设是输入T个图片。
13
图4是表示利用摄像机110拍摄的对象物的状况——即摄影状况的一例的图。另 外，图5(a) 图5(f)是表示在图4所示的摄影状况下利用摄像机110拍摄的动态图像中 包含的多个图片的一例的图。图像输入部101从摄像机110接受第1帧到第T帧的T个图 片。在本实施方式中，图片的数量T是预先设定的数量。然后，在运动分析步骤S202，运动分析部102计算所输入的多个图片间的运动信 息，生成移动轨迹并进行输出。其中，作为计算多个图片间的运动的方法，这里是把多个图 片中的某一个图片上的I个像素作为基准，搜索另一(T-I)个图片中的对应的像素。另外， 也可以取代I个像素，而把I个小矩形区域(块)作为基准。例如，使用t帧和(t+ι)帧的 图片，估算与t帧的图片上的像素i的像素坐标(Xit，yit) (i = 1...I)对应的、(t+Ι)帧 的图片上的像素坐标(xit+l，yit+l)。在图片是3个以上的情况下，依次求出对应的坐标， 由此计算所输入的全部T个图片的I个对应点。关于上述的计算多个图片间的对应点的具体方法，在非专利文献1或者非专利文 献2等中做了详细记载，所以此处省略详细说明。(非专利文献 1)P· Anandan，“A Computational Framework and an Algorithm for the Measurement of Visual Motion”， International Journal of Computer Vision, Vol. 2,pp.283-310,1989(非专禾Ij文献 2) Vladimir Kolmogorov and Ramin Zabih, "Computing Visual Correspondence with Occlusions via Graph Cuts，，，International Conference on Computer Vision,2001 另外，在该运动分析步骤S202，运动分析部102根据作为I个像素的跨越T个图片 的运动信息的、对应点的像素坐标的组，按照下述式1生成与I个像素的每个对应的I个移 动轨迹。[数式 1]
权利要求
1.一种移动体检测方法，通过对动态图像中的移动体的全部或者一部分区域进行划 分，检测动态图像中的移动体，所述移动体检测方法包括距离计算步骤，获取多个移动轨迹，并针对所获取的移动轨迹计算表示移动轨迹间的 相似度的距离，该移动轨迹是构成动态图像的多个图像间的对应点；以及区域划分步骤，根据在所述距离计算步骤计算的距离，将相似的移动轨迹的集合确定 为一个区域，由此进行区域划分，所述区域划分步骤包括测地距离计算步骤，根据在所述距离计算步骤计算的移动轨迹间的距离，计算移动轨 迹间的测地距离；区域划分候选生成步骤，根据所述多个移动轨迹，生成多个区域划分候选，该区域划分 候选是移动轨迹的集合；区域间测地距离计算步骤，针对在所述区域划分候选生成步骤生成的区域划分候选， 根据属于所述区域划分候选的多个移动轨迹间的测地距离，计算表示区域划分候选间的相 似度的区域间测地距离；以及区域划分候选选择步骤，选择在所述区域划分候选生成步骤生成的区域划分候选之 中、通过所述区域间测地距离计算步骤计算的区域间测地距离满足预先设定的条件的区域 划分候选，作为区域划分的结果。
2.根据权利要求1所述的移动体检测方法，还包括图像输入步骤，受理构成动态图像的多个图片；以及运动分析步骤，按由构成所述图片的一个以上的像素所构成的每个块，检测在时间上 邻接的两个图片间的图像的运动，并对所述多个图片连结所检测到的运动，由此计算移动 轨迹，在所述距离计算步骤，获取在所述运动分析步骤计算的移动轨迹，并计算所述距离。
3.根据权利要求1所述的移动体检测方法，在所述距离计算步骤，计算所述多个图像中的移动轨迹间的欧几里得距离的平均值， 作为表示移动轨迹间的相似度的所述距离。
4.根据权利要求1所述的移动体检测方法，在所述测地距离计算步骤中，在计算从第1移动轨迹到第2移动轨迹的测地距离时，将 在所述距离计算步骤获取的多个移动轨迹中的某一个移动轨迹作为中继点，计算从所述第 1移动轨迹到达所述第2移动轨迹的全部路径中的最短路径，作为所述测地距离。
5.根据权利要求4所述的移动体检测方法，在所述测地距离计算步骤中，(1)针对在所述距离计算步骤计算的移动轨迹间的距离，计算通过将该距离的一部分 无限大化而得到的非线性化的距离，(2)在根据所述非线性化的距离来计算从第1移动轨迹到第2移动轨迹的测地距离时， 将另一个移动轨迹作为中继点，计算从所述第1移动轨迹到达所述第2移动轨迹的全部路 径的距离中的最短距离，作为所述测地距离。
6.根据权利要求1所述的移动体检测方法，在所述测地距离计算步骤中，获取多个阈值，将获取到的多个阈值用作定义移动轨迹的附近的阈值，根据在所述距离计算步骤计算的移动轨迹间的距离，按每个阈值计算沿着 位于附近的移动轨迹的路径上的距离，由此计算所述移动轨迹间的测地距离，在所述区域划分候选生成步骤中，根据在所述测地距离计算步骤计算的多个阈值中的 每个阈值的移动轨迹间的测地距离，将相似的移动轨迹的集合作为一个区域划分候选，由 此生成所述多个区域划分候选。
7.根据权利要求6所述的移动体检测方法，在所述测地距离计算步骤中，生成在所述距离计算步骤计算的多个距离之中的最大值 和最小值之间的值，作为所述多个阈值。
8.根据权利要求1所述的移动体检测方法，在所述区域间测地距离计算步骤中，作为针对所述多个阈值中的各个阈值在所述区域 划分候选生成步骤生成的多个区域划分候选集之中的第1区域划分候选集中的两个区域 划分候选间的区域间测地距离，通过使用代表测地距离和参照测地距离进行预先设定的运 算而计算，其中该代表测地距离是该两个区域划分候选中的测地距离，该参照测地距离是 上述多个区域划分候选集之中的第2区域划分候选集中的测地距离，该第2区域划分候选 集包含的区域划分候选的总数仅次于该第1区域划分候选集中包含的区域划分候选的总 数。
9.根据权利要求8所述的移动体检测方法，在所述区域间测地距离计算步骤中，根据所述参照测地距离和所述代表测地距离，计 算表示两个区域划分候选间的距离的指标、和表示各个区域划分候选内的偏差的指标，并 通过用表示所述偏差的指标对表示所述距离的指标进行规范化的运算，计算所述区域间测 地距离。
10.根据权利要求1所述的移动体检测方法，在所述区域间测地距离计算步骤计算的区域间测地距离是使用第2指标和第3指标将 第1指标规范化而得到的值，所述第1指标表示根据属于某个区域划分候选的多个移动轨 迹与属于另一个区域划分候选的多个移动轨迹之间的测地距离的总和而计算的两个区域 划分候选间的距离，所述第2指标表示根据属于所述某个区域划分候选的多个移动轨迹间 的测地距离的总和而计算的区域划分候选内的偏差，所述第3指标表示根据属于所述另一 个区域划分候选的多个移动轨迹间的测地距离的总和而计算的区域划分候选内的偏差。
11.根据权利要求1所述的移动体检测方法，在所述区域划分候选选择步骤中，将在所述区域划分候选生成步骤生成的区域划分候 选之中、通过所述区域间测地距离计算步骤计算的区域间测地距离比预先设定的阈值大的 两个区域划分候选，全部选择为所述区域划分的结果并输出。
12.根据权利要求1所述的移动体检测方法，在所述区域划分候选选择步骤中，根据在所述区域划分候选生成步骤生成的区域划分 候选之中、通过所述区域间测地距离计算步骤计算的区域间测地距离的时间变化，选择所 述区域划分候选，并作为所述区域划分的结果输出。
13.根据权利要求12所述的移动体检测方法，在所述区域划分候选选择步骤中，将在所述区域划分候选生成步骤生成的区域划分候 选之中、通过所述区域间测地距离计算步骤计算的区域间测地距离的时间变化比预先设定的阈值大的两个区域划分候选，选择为不同区域，并作为所述区域划分的结果输出。
14.根据权利要求12所述的移动体检测方法，在所述区域划分候选选择步骤中，将在所述区域划分候选生成步骤生成的区域划分候 选之中、通过所述区域间测地距离计算步骤计算的区域间测地距离的时间变化比预先设定 的阈值小的两个区域划分候选，选择为同一区域，并作为所述区域划分的结果输出。
15.根据权利要求12所述的移动体检测方法，在所述区域划分候选选择步骤中，在所述区域划分候选生成步骤生成的区域划分候选 之中，根据通过所述区域间测地距离计算步骤计算的区域间测地距离的时间变化，以(1) 变化越大时越使两个区域划分候选成为不同区域、且( 变化越小时越使两个区域划分候 选成为同一区域的方式，选择区域划分候选，并作为所述区域划分的结果输出。
16.根据权利要求12所述的移动体检测方法，针对新的动态图像反复执行所述距离计算步骤及所述区域划分步骤，在所述区域划分候选选择步骤中，将在所述区域划分候选生成步骤生成的区域划分 候选之中、在所述反复执行中通过所述区域间测地距离计算步骤计算的区域间测地距离的 时间变化比预先设定的阈值大的两个区域划分候选，全部选择为所述区域划分的结果并输 出ο
17.根据权利要求2所述的移动体检测方法，在所述区域划分候选生成步骤中，根据在所述图像输入步骤获取的图像的亮度信息， 生成多个区域划分候选图像，并将与区域划分候选图像对应的一个以上的移动轨迹的集合 作为区域划分候选，由此生成所述多个区域划分候选。
18.根据权利要求1所述的移动体检测方法，在所述区域划分候选生成步骤生成的多个区域划分候选之中、至少一个区域划分候选 是一个移动轨迹所属的区域划分候选，在所述区域间测地距离计算步骤中，输出所述一个移动轨迹与属于另一个区域划分候 选的任意一个移动轨迹之间的测地距离，作为所述一个移动轨迹所属的区域划分候选与所 述另一个区域划分候选之间的区域间测地距离。
19.根据权利要求18所述的移动体检测方法，在所述区域划分候选选择步骤中，将作为所述区域间测地距离而输出的移动轨迹间的 测地距离的时间变化比预先设定的阈值小的两个移动轨迹，确定为同一区域。
20.根据权利要求18所述的移动体检测方法，在所述区域划分候选选择步骤中，将作为所述区域间测地距离而输出的移动轨迹间的 测地距离的时间变化比预先设定的阈值大的两个移动轨迹，确定为不同区域。
21.根据权利要求2所述的移动体检测方法，还包括输出步骤，该输出步骤为针对在所述图像输入步骤受理的动态图像实施图像 处理，以使得通过所述区域划分步骤而确定的每个区域成为不同的显示方式，并进行输出。
22.根据权利要求1所述的移动体检测方法，还包括运动预测步骤，该运动检测步骤为根据构成通过所述区域划分步骤而确定的 区域的移动轨迹，计算代表该区域的移动轨迹，并预测为该区域按照所计算的代表的移动 轨迹进行移动，由此预测所述移动体的运动。
23.—种移动体检测装置，通过对动态图像中的移动体的全部或者一部分区域进行划 分，检测动态图像中的移动体，包括距离计算部，获取多个移动轨迹，并针对所获取的移动轨迹计算表示移动轨迹间的相 似度的距离，该移动轨迹是构成动态图像的多个图像间的对应点；区域划分部，根据通过所述距离计算部计算的距离，将相似的移动轨迹的集合确定为 一个区域，由此进行区域划分，所述区域划分部包括测地距离计算部，根据通过所述距离计算部计算的移动轨迹间的距离，计算移动轨迹 间的测地距离；区域划分候选生成部，根据所述多个移动轨迹，生成多个区域划分候选，该区域划分候 选是移动轨迹的集合；区域间测地距离计算部，针对通过所述区域划分候选生成部生成的区域划分候选，根 据属于所述区域划分候选的多个移动轨迹间的测地距离，计算表示区域划分候选间的相似 度的区域间测地距离；以及区域划分候选选择部，选择在通过所述区域划分候选生成部生成的区域划分候选之 中、通过所述区域间测地距离计算部计算的区域间测地距离满足预先设定的条件的区域划 分候选，作为区域划分的结果。
24.一种移动体检测装置用的程序，该移动体检测装置通过对动态图像中的移动体的 全部或者一部分区域进行划分，检测动态图像中的移动体，所述程序使计算机执行权利要求1所述的移动体检测方法中包含的步骤。
全文摘要
一种移动体检测方法，能够正确抽取区域，而不受移动体的形状、大小的变化、遮断的影响，该方法计算表示构成动态图像的多个块的各个块中的图像的移动轨迹间的相似度的距离(S203)，根据该距离将相似的移动轨迹的集合确定为一个区域(S209)。在步骤S209，对于多个阈值中的各个阈值，(1)将上述距离非线性化，(2)根据非线性化后的距离计算多个移动轨迹间的测地距离(S204)，(3)将多个移动轨迹之中距离为有限值的测地距离的移动轨迹的集合设为区域划分候选(S205)，针对这些区域划分候选计算表示区域划分候选间的相似度的尺度即区域间测地距离(S206)，将这些区域划分候选之中、区域间测地距离满足预先设定的条件的区域划分候选，选择为区域划分的结果(S207)。
文档编号H04N5/232GK102077250SQ20098012539
公开日2011年5月25日 申请日期2009年12月18日 优先权日2009年1月9日
发明者岩崎正宏, 甲本亚矢子, 登一生 申请人:松下电器产业株式会社