移动体检测方法以及移动体检测装置的制作方法

专利名称：移动体检测方法以及移动体检测装置的制作方法
技术领域：
本发明涉及检测图像中的移动体的方法，尤其涉及从由多个图像构成的动态图像 中，根据图像的运动信息，通过进行区域划分从而检测移动体的方法，所进行的区域划分是 指，对伴随着形状的变化而移动的人物等移动体的全部或一部分的区域进行确定。
背景技术：
作为根据图像来检测伴随着形状的变化而移动的人物等移动体，并对包括移动体 的图像进行区域划分的一个技术例如有，将从图像抽出对象物的候补区域的方法，以及针 对抽出的对象物的候补区域，利用预先准备的对象物模型来进行适用的方法进行组合的方 法(例如，参照专利文献1以及非专利文献1)。例如，在专利文献1中所公开的方法是，作 为对象物候补区域，从多个图像中抽出人物等对象物的轮廓图像，根据有关所述对象物的 知识，预先对对象物的部位进行参数化，并利用与进行了参数化的人物等对象物相关的模 型，对抽出的轮廓图像适用该模型。这样，能够针对伴随着形状的变化而移动的人物等移动 体适用参数化后的模型，从而能够进行移动体的检测以及区域划分。并且，在非专利文献1中所公开的方法是，从多个视点对被固定的一个移动体进 行拍摄，并将拍摄的图像作为输入，从而计算各个图像中的像素值数据和其他的图像的像 素值数据的欧几里得距离，并在进行了测地线距离变换后，通过进行维数压缩，从而从类 似的视点拍摄的图像能够在二维空间上投影成近距离。在此，与以往的PCA(Principal component analysis 主元分析)等线性维数压缩方法相比较，通过进行测地线距离变换， 从而能够进一步压缩为低维，并且也能够处理非线性分布的数据。(现有技术文献)专利文献专利文献1日本国特开平8-214289号公报非专利文献非专利文献 1 Joshua Tenenbaum, Vin de Silva, John Langford, “ A Global Geometric Framework for Nonlinear Dimensionality Reduction" , Science, V0L290, pp.2319-2322,22 December,2000然而，在上述的专利文献1的技术中所出现的问题是，尤其是在街头等人物等移 动体往来场景中，不能正确地检测移动体。在上述专利文献1的代表的移动体检测方法中， 如以上所述需要从图像中抽出对象物候补区域。此时，若不能正确地抽出对象物候补区域， 则对对象物进行参数化后的模型不能被正确地适用于对象物候补区域。尤其是在混乱的场 景中，正确地抽出对象物候补区域是非常困难的。例如，在图像上混在有各种大小的移动体 的情况下，会出现将多个移动体误认为是一个移动体，而作为对象物候补区域进行抽出，或 者成为抽出对象的移动体所不存在的区域被误认为是对象物候补区域而被抽出的问题。并 且，在移动体的一部分被遮挡的情况下也是同样，会出现将多个移动体作为一个对象物候 补区域来抽出，或者作为对象物候补区域而不能抽出的问题。并且，不能正确地抽出对象物候补区域也存在以下的问题。尤其是在将人物等多关节物体作为对象物的情况下，由于对 象物的各种姿势或者大小而造成在图像上看上去变化非常大，因此，在对对象物进行参数 化时需要大量的参数。这样，会导致模型的适用错误。因此，由于被适用的对象物模型是与 实际不同的姿势相对应的模型，所以出现不能正确地进行区域划分的问题。另外，在非专利文献1的代表的移动体检测方法中，通过将图像间的距离作为输 入来进行非线性处理，以实现高效率地将图像数据投影到被压缩的低维空间。而且，通过测 地线距离变换以及维数压缩，从而能够高效率地表现连续地且非线性分布的数据。然而，非 专利文献1的主要的目的是，通过将多个图像投影到低维空间，从而使图像间的类似性成 为可视化，但是，对于在适应形状不断地发生变化的人物等多关节物体的各种姿势变化的 状态下，正确地检测移动体的方法却没有给予公开。

发明内容
因此，本发明的目的在于提供一种移动体检测方法以及移动体检测装置，即使对 于包括伴随着形状的变化而移动的人物等移动体的图像，也不会受到移动体的姿势或大小 的影响，而能够正确地进行区域划分。为了解决上述的课题，本发明的移动体检测方法，通过进行区域划分从而检测移 动体的方法，所进行的区域划分是指，对动态图像中的移动体的全部或一部分的区域进行 确定，所述移动体检测方法包括图像输入步骤，接受构成动态图像的多个图片；运动分析 步骤，按照由构成所述图片的一个以上的像素所构成的各个块，检测在时间上相邻的两个 图片之间的图像的运动，并通过针对所述多个图片链接检测出的运动，从而算出移动轨迹； 距离算出步骤，针对在所述运动分析步骤所算出的多个移动轨迹，算出表示移动轨迹间的 类似性的距离；区域划分步骤，通过对在所述距离算出步骤被算出的距离中的比预先规定 的阈值小的距离进行连接，从而将在所述距离算出步骤所算出的距离变换为测地线距离， 检测得到的测地线距离的分布中的不连续的点，并通过将相距比检测出的不连续的点的测 地线距离小的测地线距离的移动轨迹作为一个群，从而进行所述区域划分；以及输出步骤， 输出在所述区域划分步骤进行了区域划分后的结果。并且，本发明不仅能够作为上述的移动体检测方法来实现，而且还可以作为将上 述各个步骤作为构成要素的移动体检测装置、将上述各个步骤作为使计算机执行的程序、 以及作为存储了这些程序的⑶-ROM等计算机可读取的记录介质等来实现。通过上述的方法以及装置等，对于伴随着形状的变化而移动的人物等移动体，能 够正确地进行检测，并且能够正确地对部位进行区域划分。并且，利用所进行的检测以及区 域划分的结果，还能够进行移动体的移动预测等。


图1是示出本发明的实施例1中的移动体检测装置的基本构成的功能方框图。图2是示出本发明所涉及的移动体检测装置的硬件构成的方框图。图3是示出本发明的实施例1中的移动体检测装置的基本动作的流程图。图4示出了本发明的实施例1中的运动分析部的处理例子。图5的(a)-(c)示出了本发明的实施例1中的区域划分部的测地线距离的效果的一个例子。图6的(a)以及(b)示出了本发明的实施例1中的区域划分部的测地线距离的效 果的一个例子。图7的(a)-(c)示出了本发明的实施例1中区域划分部的处理例子。图8是示出本发明的实施例1中的变形例中的移动体检测装置的基本工作的流程 图。图9的(a)-(d)示出了本发明的实施例1的变形例中区域划分部的处理例子。图10是示出本发明的实施例2中的移动体检测装置的基本构成的功能方框图。图11是示出本发明的实施例2中的移动体检测装置的基本工作的流程图。图12的(a)-(f)示出了本发明的实施例2中区域划分部的处理例子。图13的(a)-(c)示出了本发明的实施例2中的区域划分部的分层的分群处理例 子。图14是示出本实施例1以及实施例2的变形例1中的移动体检测装置的构成例 子的功能方框图。图15的(a)以及(b)示出了本发明的实施例1以及2的变形例1中的图像显示 部的显示例子。图16是示出本发明的实施例1以及2的变形例2中的移动体检测装置的构成例 子的功能方框图。图17示出了本发明的实施例1以及2中的变形例2中的记录、发送数据的一个例子。图18是示出本发明的实施例3中的移动体检测装置的构成例子的功能方框图。图19是示出本发明的实施例3中的移动体检测装置的基本工作的流程图。图20示出了本发明的实施例3中的运动预测的一个例子。图21的(a)-(c)示出了通过本发明的实施例2的方法能够分离的图形的一个例子。
具体实施例方式作为本发明的第一实施例的移动体检测方法，通过进行区域划分从而检测移动体 的方法，所进行的区域划分是指，对动态图像中的移动体的全部或一部分的区域进行确定， 所述移动体检测方法包括图像输入步骤，接受构成动态图像的多个图片；运动分析步骤， 按照由构成所述图片的一个以上的像素所构成的各个块，检测在时间上相邻的两个图片之 间的图像的运动，并通过针对所述多个图片链接检测出的运动，从而算出移动轨迹；距离算 出步骤，针对在所述运动分析步骤所算出的多个移动轨迹，算出表示移动轨迹间的类似性 的距离；区域划分步骤，通过对在所述距离算出步骤被算出的距离中的比预先规定的阈值 小的距离进行连接，从而将在所述距离算出步骤所算出的距离变换为测地线距离，检测得 到的测地线距离的分布中的不连续的点，并通过将相距比检测出的不连续的点的测地线距 离小的测地线距离的移动轨迹作为一个群，从而进行所述区域划分；以及输出步骤，输出在 所述区域划分步骤进行了区域划分后的结果。据此，相距比不连续的点小的测地线距离的 各个移动轨迹成为一个群，因此与利用了直线距离的欧几里得距离的分群相比，关于移动轨迹间的类似性，能够进行考虑了时间空间的连续性的分群。因此，能够确实地辨别图片中 的各个块是属于同一个物体(或者部位)还是属于个别的物体(或者部位)。这样，在由进 行不同运动的多个部位构成的人物等多关节物体作为移动体被检测的情况下，能够进行正 确地区域划分，并且移动体能够被正确地检测。也就是说，即使是伴随着形状的变化而移动 的人物等移动体也能够正确地进行区域划分，据此，能够确实地检测图像中的移动体。并且，作为测地线距离变换的更详细的方法最好是，在所述区域划分步骤，在从所 述距离向所述测地线距离的变换中，在将第一移动轨迹与第二移动轨迹之间的距离变换为 测地线距离的情况下，在追寻着相距在所述距离算出步骤所算出的距离中比所述预先规定 的阈值小的距离的移动轨迹的同时，将从所述第一移动轨迹到所述第二移动轨迹的路径的 距离作为测地线距离来算出。并且，本发明的优选的构成也可以是，在所述区域划分步骤中，在将在所述距离算 出步骤所算出的距离变换为测地线距离时，利用加权来进行所述变换，所述加权的方法是， 所述多个移动轨迹的分布中的密集度越大，就越使测地线距离成为小的距离。通过利用移 动轨迹的分布的密集度来进行距离变换，从而能够以更高的精确度将类似性高的移动轨迹 作为同一个群，因此，即使是对于伴随着形状的变化而移动的人物等移动体也能够确实的 进行检测，同时还能够正确地进行区域划分。并且，作为区域划分步骤的具体方法的另外的一个方法也可以是，所述区域划分 步骤包括区域划分候补生成步骤，生成多个用于所述区域划分的阈值，针对生成的多个阈 值的每一个，通过将在所述距离算出步骤所算出的距离中比该阈值小的距离连接，从而将 在所述距离算出步骤被算出的距离变换为所述测地线距离，检测得到的多个测地线距离的 分布中的不连续的点，并通过将相距比检测出的不连续的点的测地线距离小的测地线距离 的移动轨迹作为一个群，从而进行所述区域划分，并将该区域划分的结果作为区域划分候 补来生成；以及区域划分候补选择步骤，获取关于类别数量的指示，并从在所述区域划分候 补生成步骤所生成的多个区域划分候补中，选择被划分成与获得的类别数量相同或者最接 近的数量的区域的区域划分候补，并将选择的区域划分候补作为所述区域划分的结果来输 出。据此，由于能够针对预先生成的多个判断基准的每一个进行分群，因此能够根据多个分 群来生成所希望的个数的群。作为本发明的优选的构成也可以是，在所述区域划分候补生成步骤，将在所述距 离算出步骤所算出的多个距离中的最大值和最小值之间的多个值，作为所述阈值来生成。 据此，通过有效地设定阈值，从而即使是对于伴随着形状的变化而移动的人物等移动体也 能够确实地且快速地进行检测，同时还能够正确地进行区域划分。作为本发明的优选的构成也可以是，在所述区域划分候补生成步骤中，针对在所 述距离算出步骤所算出的多个距离，检测在将阈值从大到小的顺序排列时的最初的不连续 的点，将比检测出的不连续的点小的多个值作为所述多个阈值来生成。据此，通过有效地设 定阈值，从而即使是对于伴随着形状的变化而移动的人物等移动体也能够确实地且快速地 进行检测，同时还能够正确地进行区域划分。作为本发明的优选的构成也可以是，在所述区域划分候补生成步骤中，针对在所 述距离算出步骤所算出的多个距离进行不连续的点的检测，并根据阈值的大小分阶层地进 行所述区域划分。据此，通过进行分阶层地分群，从而即使是对于伴随着形状的变化而移动
8的人物等被拍摄物，也能够进行从用于确定被拍摄物的图像上的位置的粗略移动体抽出， 到根据被拍摄物的详细的运动而进行的精细地移动体抽出。作为本发明的优选的构成也可以是，在所述区域划分候补生成步骤中，针对在所 述距离算出步骤所算出的多个距离，从阈值为大的值开始进行不连续的点的检测，还针对 被划分的每一个群利用阈值来进行不连续的点的检测，并分阶层地进行所述区域划分。据 此，通过从阈值为大的顺序开始分阶层地进行分群，从而能够以较少的计算量，对于伴随着 形状的变化而移动的人物等被拍摄物，进行从用于确定被拍摄物的图像上的位置的粗略移 动体抽出，到根据被拍摄物的详细的运动而进行的精细地移动体抽出。作为本发明的优选的构成可以是，在所述区域划分候补生成步骤，以在所述距离 算出步骤所算出的多个距离的平均值或中值作为中心进行增加以及减少，并将进行了增加 以及减少而得到的多个值作为所述多个阈值来生成。据此，通过有效地设定阈值，从而即使 是对于伴随着形状的变化而移动的人物等移动体也能够确实地且快速地进行检测，同时还 能够正确地进行区域划分。作为本发明的优选的构成可以是，在所述区域划分候补生成步骤中，针对在所述 运动分析步骤所算出的多个移动轨迹的每一个，确定与该移动轨迹的距离在从小到大的顺 序中为第N位的距离，并从确定的多个距离中以大的顺序来选择多个值，并将该被选择的 多个值作为所述多个阈值来生成。据此，通过有效地设定阈值，从而即使是对于伴随着形状 的变化而移动的人物等移动体也能够确实地且快速地进行检测，同时还能够正确地进行区 域划分。作为本发明的优选的构成可以是，在所述区域划分步骤，针对在所述运动分析步 骤所算出的多个移动轨迹的每一个，以所述距离为从小到大的顺序来选择预先规定个数的 移动轨迹，在对与没有被选择的移动轨迹之间的距离进行变更为无限大的非线性化之后， 将所述多个距离分别变换为测地线距离。据此，由于被选择的距离与没有被选择的距离成 为非线性的关系，因此与线性距离相比较，移动轨迹间的类似与非类似被强调，从而能够正 确地表现像人物这种以关节连接的物体的运动。作为本发明的优选的构成可以是，在所述区域划分步骤，针对在所述运动分析步 骤所算出的多个移动轨迹的每一个，选择所述距离为预先规定的阈值以下的移动轨迹，在 对与没有被选择的移动轨迹之间的距离进行变更为无限大的非线性化之后，将所述多个距 离分别变换为测地线距离。据此，由于被选择的距离与没有被选择的距离成为非线性的关 系，因此与线性距离相比较，移动轨迹间的类似与非类似被强调，从而能够正确地表现像人 物这种以关节连接的物体的运动。作为本发明的优选的构成可以是，在所述运动分析步骤，作为所述运动的检测，算 出表示所述运动的二维运动矢量或者仿射参数。据此，通过根据运动矢量或仿射参数来进 行块的运动的分析，从而能够算出块的移动轨迹。作为本发明的优选的构成可以是，在所述距离算出步骤，作为所述距离的算出，除 算出所述块的移动轨迹间的类似性以外，还算出所述图片中的所述块之间的距离、以及示 出连接所述块与块之间的直线的倾斜的角度之中的某一个。据此，能够高效率地捕捉像人 物这种以关节为轴来进行旋转运动，并且同时发生形状的变化的移动体的移动。作为本发明的优选的构成可以是，所述输出步骤包括显示步骤，在该显示步骤将 9在所述区域划分步骤得到的区域划分的结果，重叠显示到在所述图像输入步骤接受的图片 上。据此，通过将区域划分的部位显示在图像上，从而能够应用于体育运动的姿势校正，或 者康复治疗中的步行校正等。作为本发明的优选的构成可以是，在所述图像输入步骤，接受包括两个以上的移 动体的动态图像；在所述区域划分步骤，通过对所述两个以上的移动体进行所述区域划分， 从而检测两个以上的移动体。据此，即使针对包含伴随着形状发生变化而移动的多个移动 体的图像，也能够正确地检测多个移动体。作为本发明的一个实施例的构成也可以是，所述移动体检测方法进一步包括运动 预测步骤，在该运动预测步骤，根据构成在所述区域划分步骤被确定的区域的块的移动轨 迹，来算出代表该区域的移动轨迹，通过算出的代表的移动轨迹来预测该区域的移动，从而 预测所述移动体的运动。据此，通过利用代表多个块的移动轨迹的轨迹来预测移动体的运 动，从而能够进行对噪声耐性墙的运动预测。作为本发明的一个实施例的构成也可以是，所述输出步骤包括记录发送步骤，在 该记录发送步骤，根据在所述区域划分步骤的区域划分的结果，来确定在所述图像输入步 骤所接受的图片中的区域，按照确定的每个区域，将对应的区域划分的结果记录到记忆单 元或者进行发送。据此，通过根据划分了被检测的移动体图像后而得到的区域来分别进行 保持，从而能够从各个移动体图像中仅选择必要的部分的图像并进行保存，并通过向外部 输出，从而作为图形要素能够高效率地进行保存以及输出。因此，对于移动电话等处理能力 受到先是的设备，在进行保存以及发送时能够起到作用。作为本发明的一个实施例可以包括图像输入步骤，接受构成动态图像的多个图 片；运动分析步骤，按照由构成所述图片的一个以上的像素所构成的各个块，检测在时间上 相邻的两个图片之间的图像的运动，并通过针对所述多个图片链接检测出的运动，从而算 出移动轨迹；距离算出步骤，针对在所述运动分析步骤所算出的多个移动轨迹，算出表示移 动轨迹间的类似性的距离；区域划分步骤，按照在所述距离算出步骤所算出的距离为小的 顺序，进行将移动轨迹的组合并为同一个群的处理，且直到群的数量达到规定的数量为止 反复进行该处理，从而将相距一定距离以上的不连续的点作为群的边界来进行所述区域划 分；以及输出步骤，输出在所述区域划分步骤的区域划分的结果。据此，通过直到群的数量 达到规定的数量为止反复进行将移动轨迹的组合并为同一个群的处理，从而能够将相距一 定距离以上的不连续的点作为群的边界。这样，能够进行在考虑了有关移动轨迹间的类似 性的连续性的分群，并能够进行移动体的检测。以下，利用附图对本发明的实施例进行说明。(实施例1)图1示出了实施例1中的移动体检测装置100的构成的功能方框图。如图1所示， 该移动体检测装置100包括图像输入部101、运动分析部102、距离算出部103、区域划分 部104、以及输出部105。并且，该移动体检测装置100通过进行区域划分从而检测动态图 像中的移动体，所进行的区域划分是指，对动态图像中的移动体的全部或一部分的区域进 行确定。图像输入部101是一处理部，接受构成动态图像的不同时间的多个图像(图片) 的输入，例如电视摄像机、或与电视摄像机连接的通信接口等。
运动分析部102是一处理部，按照构成在图像输入部101接受的画面的、由一个以 上的像素构成的块，检测在时间上相邻的两页画面间的图像的运动，并通过将检测出的运 动与多个图片进行链接，从而算出移动轨迹。距离算出部103是一处理部，为了捕捉移动的物体的形状变化，利用在运动分析 部102算出的块i的移动轨迹和i以外的块的移动轨迹，来算出表示块的运动的类似性的 距离。例如，在利用N个块的移动轨迹的情况下，算出的距离则成为NXN的距离矩阵。在 此，通过计算用于评价块的运动的类似性的距离，从而能够将通过块间距离的运动而变化 的移动体的运动作为距离矩阵来表现，尤其是能够将关节物体这种伴随着形状的变化而移 动的人物等的物体的运动作为距离矩阵来表现。并且，在以后的说明中，将块i的移动轨迹 称为移动轨迹i。因此，本说明书中的“距离”不仅是二维空间中的两点间的距离，而且包含 多维的数据间的算数距离，是一个值或多个值的集合(距离矩阵)。区域划分部104是一处理部，利用在进行区域划分时所使用的阈值，通过对由运 动分析部102所算出的多个移动轨迹进行分群，从而进行区域划分。具体而言，该区域划 分部104针对距离算出部103所算出的距离矩阵，利用与数据的连续性有关的阈值来适用 测地线距离变换，即通过与距离算出部103所算出的多个距离中比该阈值小的距离进行连 接，从而将多个距离分别变换为测地线距离，并检测利用了阈值的测地线距离变换后的移 动轨迹间的距离分布中的不连续的点，为了使多个移动轨迹中彼此相距比检测出的不连续 的点的距离还要小的测地线距离的移动轨迹作为一个群，从而通过对连续分布的移动轨迹 进行分群来进行针对所述阈值的区域划分。并且，在从由距离算出部103算出的距离(距离矩阵)向测地线距离变换(测地 线距离变换)的过程中，在将第一移动轨迹与第二移动轨迹之间的距离变换为测地线距离 的情况下，该区域划分部104在追寻由距离算出部103算出的距离中的、相距比预先规定的 阈值小的距离的移动轨迹的同时，将从第一移动轨迹到第二移动轨迹的路径的距离作为测 地线距离来算出。输出部105是将在区域划分部104进行的动态图像中的移动体的检测结果或者图 像的区域划分结果输出，并写入到存储器或记录介质的处理部，或者是向显示器装置进行 输出的输出接口等。在本说明书中，由于进行了区域划分后而得到的各个区域分别对应于移动体，因 此对于各个移动体的检测与对图像中的多个移动体区域进行划分的区域划分不作特殊的 区分。即，“移动体的检测”这一处理相当于“区域划分”处理。并且，构成该移动体检测装置100的各个构成要素(图像输入部101、运动分析部 102、距离算出部103、区域划分部104、输出部105)如图2所示，可以作为在计算机2002 上执行的程序等的软件来实现，也可以作为电子电路等硬件来实现，所述计算机2002包 括获得从摄像机2001发送来的图像的接口(I/F)2004、CPU2005、RAM2007、R0M2006、硬盘 2008、将影像信号输出到显示器2003的视频卡2009等。也就是说，对于本实施例的构成要 素中的除显示器装置等的输入输出部以外的构成要素，也可以以计算机执行的程序以及数 据(即软件)来实现，也可以以电子电路、存储器以及记录介质等硬件来实现，也可以将这 些混合在一起来实现。以下，对于其他的实施例中的移动体输出装置也是同样。以下针对本发明的移动体检测方法，即移动体检测装置100的工作，利用图3所示的流程图对检测移动的移动体(即区域划分)的例子进行详细说明。首先，在步骤S101，图像输入部101接受多个图片。接着，在步骤S102，运动分析部102至少从两页画面中算出块的运动。并且，在此 作为算出块的运动的一个例子，算出像素的运动。以下，在本实施例中以块为单位的处理作 为一个例子，对像素单位的处理进行说明。并且，在以由多个像素构成的块单位来进行处理 的情况下，可以通过(i)对与像素相对应的数据的块的部分进行合计，或者(ii)求出各个 块中的平均值，或者(iii)通过求出块的中心值，来求与块对应的数据(代表值)，利用得到 的代表值进行与像素单位的处理相同的处理。并且，在本说明书中，“块的运动”以及“像素 的运动”所分别表示的意思是，“在图像的各个块的运动”以及“在图像的各个像素的运动”。首先，对通过光流(optical flow)法来计算像素的运动的例子进行说明。通过光 流法来计算运动矢量时可以利用非专利文献2或非专利文献3以及非专利文献4所公开的 技术。非专禾丨J文献 2 P. Anandan, “ Computational Framework and an Algorithm for the Measurement of Visual Motion" A,International Journal of Computer Vision, Vol. 2，pp.283-310，1989非专利文献 3 Vladimir Kolmogorov and Ramin Zabih, " Computing Visual Correspondence with Occlusions via Graph Cuts" , International Conference on Computer Vision,2001非专利文献 4 Thomas Pock, Martin Urschler, Christopher Zach, Reinhard Beichel and Horst Bischof, " Duality Based Algorithm for TV-Ll-Optical-Flow Image ARegistration" , International Conference on Medical Image Computing and Computer Assisted Intervention,2007例如，假定在步骤S101，T页的画面被输入，运动分析部102利用在时刻t和时刻 t+Ι被输入的画面，来推定像素i的运动矢量(Uit, Vit)。在此，帧可以不必是连续的，例如 也可以利用在时刻t和时刻t+n被输入的画面来求出像素的运动。并且，η为1以上的整 数。并且，作为像素的运动也可以取代上述的二维运动矢量而推定仿射参数。此时，可以对 所有的像素求出运动信息。并且，在想要更快速地进行处理的情况下，也可以将图像分割 成格子，并仅对一定间隔的格子中的像素来求运动信息，如以上所述，也可以将图像分割成 块，来求出各个块的运动信息。而且，在利用非专利文献2来算出运动矢量的情况下，由于 能够计算其可靠度，因此也可以利用具有可靠度高的运动信息的像素。并且，在利用非专利 文献3来算出运动矢量的情况下，可以推定中部遮光(occlusion)。因此，可以仅利用没有 被遮挡的像素的运动信息。并且，非专利文献4由于能够进行高速处理，因此在想要达到处 理的高速化时可以利用非专利文献4。并且，作为算出像素的运动的方法，也可以假定上述的块的平移移动，取代算出运 动矢量的方法，而采用假定块的仿射变形以算出运动矢量的方法。假定仿射变形来算出运 动矢量的方法可以采用非专利文献5所公开的技术。非专利文献 5 Jianbo Shi and Carlo Tomasi"Good Features to Track"，IEEE Conference on Computer Vision and Pattern Recognition，pp593_600，1994在上述的方法中推定与在时刻t和时刻t+Ι输入的画面的像素i的周边的像素的
12运动相对应的仿射参数Aitt5对于像素i，在时刻t和时刻t+Ι的画面上的像素位置Xit和 χ\+1具有以下的关系。(算式1)
权利要求
一种移动体检测方法，通过进行区域划分而检测动态图像中的移动体，所进行的区域划分是指，对动态图像中的移动体的全部或一部分的区域进行确定，所述移动体检测方法包括图像输入步骤，接受构成动态图像的多个图片；运动分析步骤，按照由构成所述图片的一个以上的像素所构成的各个块，检测在时间上相邻的两个图片之间的图像的运动，并通过针对所述多个图片连接检测出的运动，从而算出移动轨迹；距离算出步骤，针对在所述运动分析步骤所算出的多个移动轨迹，算出表示移动轨迹间的类似性的距离；区域划分步骤，通过对在所述距离算出步骤被算出的距离中的比预先规定的阈值小的距离进行连接，从而将在所述距离算出步骤所算出的距离变换为测地线距离，检测得到的测地线距离的分布中的不连续的点，并通过将相距比检测出的不连续的点的测地线距离小的测地线距离的移动轨迹作为一个群，从而进行所述区域划分；以及输出步骤，输出在所述区域划分步骤进行了区域划分后的结果。
2.根据权利要求1所述的移动体检测方法，在所述区域划分步骤，在从所述距离向所述测地线距离的变换中，在将第一移动轨迹 与第二移动轨迹之间的距离变换为测地线距离的情况下，在跟踪相距在所述距离算出步骤 所算出的距离中比所述预先规定的阈值小的距离的移动轨迹的同时，将从所述第一移动轨 迹到所述第二移动轨迹的路径的距离作为测地线距离来算出。
3.根据权利要求1所述的移动体检测方法，在所述区域划分步骤中，在将在所述距离算出步骤所算出的距离变换为测地线距离 时，利用加权来进行所述变换，所述加权的方法是，所述多个移动轨迹的分布中的密集度越 大，就越使测地线距离成为小的距离。
4.根据权利要求1所述的移动体检测方法，所述区域划分步骤包括区域划分候补生成步骤，生成多个用于所述区域划分的阈值，针对生成的多个阈值的 每一个，通过将在所述距离算出步骤所算出的距离中比该阈值小的距离连接，从而将在所 述距离算出步骤被算出的距离变换为所述测地线距离，检测得到的多个测地线距离的分布 中不连续的点，并通过将相距比检测出的不连续的点的测地线距离小的测地线距离的移动 轨迹作为一个群，从而进行所述区域划分，并将该区域划分的结果作为区域划分候补来生 成；以及区域划分候补选择步骤，获取关于类别数量的指示，并从在所述区域划分候补生成步 骤所生成的多个区域划分候补中，选择被划分成与获得的类别数量相同或者最接近的数量 的区域的区域划分候补，并将选择的区域划分候补作为所述区域划分的结果来输出。
5.根据权利要求4所述的移动体检测方法，在所述区域划分候补生成步骤，将在所述距离算出步骤所算出的多个距离中的最大值 和最小值之间的多个值，作为所述阈值来生成。
6.根据权利要求4所述的移动体检测方法，在所述区域划分候补生成步骤中，针对在所述距离算出步骤所算出的多个距离，检测在将阈值从大到小的顺序排列时的最初的不连续的点，将比检测出的不连续的点小的多个 值作为所述多个阈值来生成。
7.根据权利要求4所述的移动体检测方法，在所述区域划分候补生成步骤中，针对在所述距离算出步骤所算出的多个距离进行不 连续的点的检测，并根据阈值的大小分阶层地进行所述区域划分。
8.根据权利要求7所述的移动体检测方法，在所述区域划分候补生成步骤中，针对在所述距离算出步骤所算出的多个距离，从阈 值为大的值开始进行不连续的点的检测，还针对被划分的每一个群利用阈值来进行不连续 的点的检测，并分阶层地进行所述区域划分。
9.根据权利要求4所述的移动体检测方法，在所述区域划分候补生成步骤，以在所述距离算出步骤所算出的多个距离的平均值或 中央值作为中心进行增加以及减少，并将进行了增加以及减少而得到的多个值作为所述多 个阈值来生成。
10.根据权利要求4所述的移动体检测方法，在所述区域划分候补生成步骤中，针对在所述运动分析步骤所算出的多个移动轨迹 的每一个，确定与该移动轨迹的距离在从小到大的顺序中为第N位的距离，并从确定的多 个距离中以从大到小的顺序来选择多个值，并将该被选择的多个值作为所述多个阈值来生 成。
11.根据权利要求1所述的移动体检测方法，在所述区域划分步骤，针对在所述运动分析步骤所算出的多个移动轨迹的每一个，以 所述距离为从小到大的顺序来选择预先规定个数的移动轨迹，在对与没有被选择的移动轨 迹之间的距离进行变更为无限大的非线性化之后，将所述多个距离分别变换为测地线距罔。
12.根据权利要求1所述的移动体检测方法，在所述区域划分步骤，针对在所述运动分析步骤所算出的多个移动轨迹的每一个，选 择所述距离为预先规定的阈值以下的移动轨迹，在对与没有被选择的移动轨迹之间的距离 进行变更为无限大的非线性化之后，将所述多个距离分别变换为测地线距离。
13.根据权利要求1所述的移动体检测方法，在所述运动分析步骤，作为所述运动的检测，算出表示所述运动的二维运动矢量或者 仿射参数。
14.根据权利要求1所述的移动体检测方法，在所述距离算出步骤，作为所述距离的算出，除算出所述块的移动轨迹间的类似性以 外，还算出所述图片中的所述块之间的距离、以及示出连接所述块与块之间的直线的倾斜 的角度之中的至少一个。
15.根据权利要求1所述的移动体检测方法，所述输出步骤包括显示步骤，将在所述区域划分步骤得到的区域划分的结果，重叠到 在所述图像输入步骤接受的图片上并显示。
16.根据权利要求1所述的移动检测方法，在所述图像输入步骤，接受包括两个以上的移动体的动态图像；在所述区域划分步骤，通过对所述两个以上的移动体进行所述区域划分，从而检测两 个以上的移动体。
17.根据权利要求1所述的移动体检测方法，所述移动体检测方法进一步包括运动预测步骤，在该运动预测步骤，根据构成在所述 区域划分步骤被确定的区域的块的移动轨迹，来算出代表该区域的移动轨迹，通过算出的 代表的移动轨迹来预测该区域的移动，从而预测所述移动体的运动。
18.根据权利要求1所述的移动体检测方法，所述输出步骤包括记录发送步骤，在该记录发送步骤，根据在所述区域划分步骤的区 域划分的结果，来确定在所述图像输入步骤所接受的图片中的区域，按照确定的每个区域， 将对应的区域划分的结果记录到记忆单元或者进行发送。
19.一种移动体检测装置，通过进行区域划分从而检测动态图像中的移动体，所进行的 区域划分是指，对动态图像中的移动体的全部或一部分的区域进行确定，该移动体检测装 置包括图像输入部，接受构成动态图像的多个图片；运动分析部，按照由构成所述图片的一个以上的像素所构成的各个块，检测在时间上 相邻的两个图片之间的图像的运动，并通过针对所述多个图片连接检测出的运动，从而算 出移动轨迹；距离算出部，针对在所述运动分析部算出的多个移动轨迹，算出表示移动轨迹间的类 似性的距离；区域划分部，通过对在所述距离算出部算出的距离中的比预先规定的阈值小的距离进 行连接，从而将在所述距离算出部算出的距离变换为测地线距离，检测得到的测地线距离 的分布中的不连续的点，并通过将相距比检测出的不连续的点的测地线距离小的测地线距 离的移动轨迹作为一个群，从而进行所述区域划分；以及输出部，输出在所述区域划分部被区域划分后的结果。
20.一种用于移动体检测装置的程序，所述移动体检测装置通过进行区域划分从而检 测动态图像中的移动体，所进行的区域划分是指，对动态图像中的移动体的全部或一部分 的区域进行确定，该程序使计算机执行权利要求1所述的移动体检测方法中所包括的步骤。
21.—种移动体检测方法，包括图像输入步骤，接受构成动态图像的多个图片；运动分析步骤，按照由构成所述图片的一个以上的像素所构成的各个块，检测在时间 上相邻的两个图片之间的图像的运动，并通过针对所述多个图片连接检测出的运动，从而 算出移动轨迹；距离算出步骤，针对在所述运动分析步骤所算出的多个移动轨迹，算出表示移动轨迹 间的类似性的距离；区域划分步骤，按照在所述距离算出步骤所算出的距离为由小到大的顺序，进行将移 动轨迹的组合并为同一个群的处理，且直到群的数量达到规定的数量为止反复进行该处 理，从而将相距一定距离以上的不连续的点作为群的边界来进行所述区域划分；以及输出步骤，输出在所述区域划分步骤的区域划分的结果。
全文摘要
提供一种移动体检测方法，即便是包括伴随着形状的变化而移动的人物等被拍摄物的图像，也能够正确地进行区域划分。其中包括步骤(S101)，接受构成动态图像的多个图片；步骤(S102和S103)，按照由构成图片的一个以上的像素所构成的各个块，检测在时间上相邻的两个图片之间的图像的运动，并通过针对多个图片链接检测出的运动，从而算出移动轨迹；步骤(S104)，针对被算出的多个移动轨迹算出表示移动轨迹间的类似性的距离；以及步骤(S105和S106)，通过对被算出的距离中的比阈值小的距离进行连接，从而变换为测地线距离，检测得到的测地线距离的分布中的不连续的点，并通过将相距比检测出的不连续的点的测地线距离小的测地线距离的移动轨迹作为一个群，从而进行区域划分。
文档编号G06T7/00GK101983389SQ20098011182
公开日2011年3月2日 申请日期2009年9月11日 优先权日2008年10月27日
发明者岩崎正宏, 登一生 申请人:松下电器产业株式会社