专利名称：移动体检测装置以及移动体检测方法
技术领域：
本发明涉及通过确定图像中的移动体的区域来检测移动体的图像处理技术。特别涉及在移动体是人物那样在形状变化的同时进行移动的对象的情况下根据动态图像中的运动信息来高速检测移动体的移动体检测装置等。
背景技术：
以往，广泛进行如下的区域提取技术的研究开发从包含移动体的像(以下简称为“移动体”。)的图像中提取图像中的移动体的区域，由此检测移动体。特别地，在移动体是人的情况下，提取该移动体的区域的技术成为数字摄像机或者数字静止照相机的焦点控制和画质改善处理、汽车的安全运转辅助系统、或者机器人中的与人的冲突避免控制或冲突避免用的警报等共同利用的基础技术。作为提取图像中的移动体的区域的技术中的一般手法，存在如下手法在从图像中提取移动体区域的候选后，评价提取出的移动体区域的候选与预先准备的移动体模型之间的类似度，提取类似度高的区域作为移动体区域。进而，存在如下手法在提取步行的人物等在变形的同时进行移动的移动体的区域的情况下，利用考虑了变形的移动体模型。例如，在专利文献1的技术中，从多个图像中提取移动体的剪影图像作为移动体区域候选。而且，公开了如下手法评价预先参数化的与移动体的变形有关的模型与提取出的剪影图像之间的类似度，估计类似度高的区域和与该区域对应的模型的参数。由此，针对在形状周期变化的同时进行移动的人物，也能够适用参数化的模型，所以，能够进行移动体的区域提取。并且，在非专利文献1的技术中，将从多个视点拍摄固定的一个移动体而得到的图像作为输入，计算排列了各图像中的像素值的矢量与排列了其他图像的像素值的矢量之间的欧几里德距离。而且，公开了如下方法对计算出的欧几里德距离进行测地距离转换后，进行维数压缩，由此，能够以使从类似视点拍摄的图像在二维空间上成为近距离的方式进行投射。这里，与现有的PCA(Principal Component Analysis)等的线性维数压缩方法相比，通过测地距离转换，能够压缩为更低维数，进而，还能够对非线性分布的数据进行处理。现有技术文献专利文献专利文献1 日本特开平8-214289号公报非专利文献非专利文献 1 Joshua Tenenbaum,Vin de Silva and John Langford,"A Global Geometric Framework for Nonlinear Dimensionality Reduction，，， Science, V0L290, pp.2319-2322,22 December,2000
发明内容
发明要解决的课题
但是，上述现有的区域提取的技术存在如下问题例如，如在街头等多个人物等移动体来回行走的场景等那样，在移动体被其他移动体部分遮挡的情况下、或者包括大小显著不同的移动体的情况下等，无法正确提取移动体。在以专利文献1为代表的现有的区域提取手法中，需要从图像中提取移动体区域的候选。此时，如果无法适当提取移动体区域候选，则无法准确地在移动体区域候选中适用对移动体进行参数化而得到的模型。特别地，在上述那种场景中，难以适当提取移动体区域候选。进而，即使能够适当提取移动体区域候选，也存在以下课题。即，特别地，在将人物等多关节物体作为移动体的情况下，由于移动体的各种姿势或大小而引起的图像的变化和变动非常大，所以，在进行移动体模型的参数化时需要数量庞大的参数。这将诱发模型的适用错误。因此，例如存在将多个移动体误检测为一个移动体、或将不存在作为提取对象的移动体的区域误检测为移动体等、无法正确检测移动体的课题。另一方面，在以非专利文献1为代表的图像处理手法中，通过将图像间的距离作为输入而进行非线性处理，能够向高效压缩后的低维空间投射图像数据。由此，能够期待针对噪声的耐性。进而，通过测地距离转换和维数压缩，能够高效地表现连续且非线性分布的数据。但是，非专利文献1的主要目的在于，通过向低维空间投射多个图像从而使图像间的类似度可视化，没有公开对应于形状变化的人物等多关节物体中的各种姿势变化来正确检测移动体的方法。这里，在非专利文献1中，在设要处理的全部数据数为N的情况下，需要使用具有 N2的要素数的矩阵进行测地距离转换和维数压缩。因此，在数据数N较大的情况下，公知存在计算量庞大的问题。与此相对，在非专利文献2和非专利文献3中提示了如下方法从数据点中设定数量比数据点数量少的地标点，使用所设定的地标点生成所述矩阵，进行测地距离转换和维数压缩，从而削减计算量。非专禾丨J文献 2 :Vin de Silva and Joshua B. Tenenbaum，“Global Versus Local Methods in Nonlinear Dimensionality Reduction”， Neural Information Processing Systems 15，pp.705-712，2002非专禾Ij 文献 3 :Vin de Silva and Joshua B. Tenenbaum，“Sparse Multidimensional Scaling using Landmark Points”， Technical Report， Stanford University, June 2004因此，本发明人以解决专利文献1的无法正确进行区域提取的问题为目的，发明了由以下单元构成的区域提取技术。使用该区域提取技术的区域提取装置包含图像输入单元；运动解析单元，从在时间上不同的图像中检测运动，在时间上连接检测到的运动，从而计算移动轨迹；距离计算单元，计算表示移动轨迹间的类似性的距离；以及区域分割单元，将所述距离转换为测地距离，根据所得到的测地距离对移动轨迹进行分类，从而进行区域提取。特别地，在该区域提取技术中，作为基于非专利文献1所记载的测地距离转换处理的性质，利用能够高效表现连续且非线性分布的数据的性质。但是，在该区域提取技术中，与非专利文献1的技术同样，当输入数据数增多时， 存在计算量庞大的问题。进而，在以非专利文献2和非专利文献3为代表的计算量的削减方法中，关于存在于地标点与地标点之间的数据点、即未选作地标点的点，使用地标点进行线性插值。但是，特别地，在形状变化的人物等移动体中，即使是同一移动体，运动也根据不同部位而不同，如头和脚的运动不同。例如，在头和脚存在地标点的情况下或者在地标点与地标点之间存在关节的情况下，当进行地标点间的线性插值时，无法适当捕捉手腕或膝盖的关节运动等的运动。因此，难以对应于形状变化的人物等多关节物体中的各种姿势变化来正确提取移动体。进而，在没有预先提取被摄体的阶段中，难以针对人物等多关节物体适当设定地标点。因此，本发明是为了解决上述课题而完成的，其目的在于，提供一种移动体检测装置等，确保能够高效表现连续且非线性分布的数据的测地距离的性质，并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够以较少的计算量、高速且正确地进行区域提取，而不受移动体的姿势或大小的影响。用于解决课题的手段为了解决该课题，本发明的某个方面的移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；子类分类部， 将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及区域分割部，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。根据该结构，根据针对全部移动轨迹的对计算出的线性距离，计算子类间距离，使用子类间距离计算子类间近似测地距离。并且，子类间距离包含属于分别不同的子类的移动轨迹间的线性距离的最小值作为距离，所以，在产生多关节物体的运动的情况下，也难以变化。进而，本发明的类与图像中的移动体区域对应，所以，其结果，能够检测移动体。因此，确保能够高效表现连续且非线性分布的数据的测地距离的性质，并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够以较少的计算量、高速且正确地进行区域提取，而不受移动体的姿势或大小的影响。另外，本发明不仅能够作为上述移动体检测装置实现，还能够作为将移动体检测装置中包含的特征处理部作为步骤的移动体检测方法、使计算机执行上述各步骤的程序、 存储了该程序的CD-ROM等计算机可读取的记录介质等实现。另外，这种程序当然能够经由因特网等通信网络流通。发明效果根据本发明，确保能够高效表现连续且非线性分布的数据的测地距离的性质，并且，针对包含在形状变化的同时进行移动的人物等移动体的图像，也能够以较少的计算量、 高速且正确地进行区域提取，而不受移动体的姿势或大小的影响。
图1是示出本发明的实施方式1的移动体检测装置的基本结构的图。图2是通过软件实现本发明的实施方式1的移动体检测装置时的硬件结构图。图3是示出本发明的实施方式1的移动体检测装置的基本动作的流程图。图4是示出本发明的实施方式1的移动轨迹计算部的处理例的图。图5是示出本发明的实施方式1的子类分类部的处理例的图。图6是示出本发明的实施方式1的测地距离的效果的一例的图。图7是示出本发明的实施方式1的子类间近似测地距离的效果的一例的图。图8是示出本发明的实施方式1的子类间近似测地距离的计算方法的一例的图。图9是示出本发明的实施方式1的区域分割部的处理例的图。图10是示出本发明的实施方式2的移动体检测装置的基本结构的图。图11是示出本发明的实施方式2的移动体检测装置的基本动作的流程图。图12是示出本发明的实施方式2的子类分类部的处理例的图。图13是示出本发明的实施方式3的移动体检测装置的基本动作的流程图。图14是示出本发明的实施方式3的子类间近似测地距离的性质的概念图。图15是示出本发明的实施方式3的图像输入部的处理例的图。图16是示出本发明的实施方式1 3的第1变形例的移动体检测装置的基本结构的图。图17是示出本发明的实施方式1 3的第1变形例的记录/发送数据的一例的图。图18是示出本发明的实施方式1 3的第2变形例的移动体检测装置的结构例的图。图19是示出本发明的实施方式1 3的第2变形例的移动体检测装置的基本动作的流程图。图20是示出本发明的实施方式2的运动预测的一例的图。图21是示出本发明的第3变形例的移动体检测用数据生成装置的功能结构的框图。图22是示出记录在记录介质中的信息的数据结构的图。图23是用于说明图片的尺寸(X，Y)和图片张数(T)的图。图M是用于说明移动轨迹数(N)的图。图25是用于说明子类数⑶的图。图沈是用于说明带子类标记的移动轨迹矢量的图。图27是示出记录在记录介质中的信息的具体例的图。图28是示出移动体检测装置的功能结构的框图。
具体实施例方式本发明的一个实施方式的移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有 图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及区域分割部，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。由此，根据类似性汇集连续且非线性分布的移动轨迹并进行类分类，所以，在将由运动不同的多个部位构成的人物等多关节物体检测为移动体的情况下，也被判定为一个区域。其结果，能够进行准确的区域提取，正确检测移动体。即，针对在形状变化的同时进行移动的人物等移动体，也能够正确进行区域提取，由此，能够高速且可靠地检测图像中的移动体。并且，将移动轨迹分类为子类，进而，代替表示移动轨迹的类似性的测地距离，计算子类间近似测地距离，由此，特别地，针对具有关节的物体的运动，能够以更少的计算量计算具有与计算测地距离的情况相同的性质的距离，所以，能够进行高速的移动体检测。进而，不需要预先保持或学习与应该提取的移动体有关的形状信息等事前信息。优选所述子类间近似测地距离计算部按照每个子类，计算对表示属于该子类的移动轨迹的类似性的子类内距离、所述其他子类的所述子类内距离、该子类与所述其他子类之间的所述子类间距离进行相加后的距离，作为该子类与其他子类之间的所述子类间近似测地距离。使用子类间距离和子类内距离作为子类间近似测地距离，从而能够更高精度地近似测地距离。由此，针对在形状变化的同时进行移动的人物等移动体，也能够以较少的计算量正确地进行区域提取，由此，能够高速且可靠地检测图像中的移动体。这里，也可以构成为，所述子类间近似测地距离计算部按照每个子类，计算属于该子类的移动轨迹间的线性距离的平均值、最频值或中值，作为该子类的所述子类内距离。进而，特别地，在移动体的大小变化的情况下，所述区域分割部还计算通过所述子类内距离对2个子类间的所述子类间近似测地距离进行归一化后的距离，作为所述子类间近似测地距离。通过包含子类的空间大小的信息的子类内距离对子类间近似测地距离进行归一化，由此，能够更准确地检测图像上的尺寸变化的移动体。并且，也可以构成为，所述子类间近似测地距离计算部在所述最小值大于规定阈值的情况下，进行将所述子类间近似测地距离变更为无限大的非线性化，从而计算所述子类间近似测地距离。并且，也可以构成为，所述子类间近似测地距离计算部对第1子类与第2子类之间的子类间近似测地距离、所述第1子类与第3子类之间的子类间近似测地距离、以及所述第 3子类与所述第2子类之间的子类间近似测地距离之和进行比较，计算较小的值作为所述第1子类与所述第2子类之间的子类间近似测地距离。并且，也可以构成为，所述区域分割部根据所述子类间近似测地距离的时间变化， 确定由类似的移动轨迹构成的子类的集合作为表示一个区域的类，从而执行区域分割。这样，根据子类间近似测地距离的时间变化来判定子类标记的统合/非统合，由此，针对关节物体等的运动，也能够检测为一个移动体。
另外，为了根据时间变化对子类标记进行统合，优选所述区域分割部在表示2个子类间的所述子类间近似测地距离的时间变化的值为规定的时间变化阈值以下的情况下， 判定为所述2个子类属于同一类，从而执行区域分割。由此，在子类间近似测地距离的时间变化较小的情况下，如关节运动或刚体那样能够判定为同一移动体。进而，为了根据时间变化而不对子类标记进行统合，优选所述区域分割部在表示2 个子类间的所述子类间近似测地距离的时间变化的值大于规定的时间变化阈值的情况下， 判定为所述2个子类属于不同的类，从而执行区域分割。由此，在子类间近似测地距离的时间变化较大的情况下，能够判定为不同的移动体。并且，也可以是，所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、从最小距离起的规定个数的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。并且，也可以是，所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、规定阈值以下的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。根据该结构，能够计算更难受噪声影响的子类间近似测地距离。并且，关于子类的生成方法，本发明的更加优选的方式构成为，所述子类分类部通过将计算出的所述多个移动轨迹中的类似的移动轨迹分类为同一子类，将所述多个移动轨迹分类为多个子类。更加优选构成为，所述子类分类部以规定次数或者直到将所述多个移动轨迹分类为规定子类数为止，反复执行将计算出的所述多个移动轨迹中的最类似的移动轨迹的组合分类为同一子类的处理，从而将所述多个移动轨迹分类为多个子类。这样，通过将类似的移动轨迹分类为同一子类，与不分类为子类的情况相比，能够削减子类间近似测地距离的计算量。进而，关于子类的生成方法，其他优选方式构成为，所述子类分类部根据在所述图像输入部中受理的所述多张图片中的至少一张图片，使用该图片的边缘信息、颜色信息和亮度信息中的至少一方，将该图片分割为多个区域，将通过分割后的各区域的移动轨迹分类为同一子类，从而将所述多个移动轨迹分类为多个子类，还能够使用边缘、亮度、颜色等的图像的空间信息将移动轨迹分类为子类。优选上述移动体检测装置还具有输出部，该输出部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，按照通过由所述区域分割部执行区域分割而确定的每个区域，实施图像处理以使其成为与其他确定的区域不同的显示方式，输出包含实施了图像处理后的区域的图片。根据该结构，在图像上显示提取出的移动体，从而在AV、图像监视装置等中分别在图像上显示移动体，由此，具有用户容易识别各个被摄体的效果。更加优选上述移动体检测装置还具有记录/发送部，该记录/发送部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，将赋予了由所述区域分割部执行的区域分割的结果后的图片写入记录装置，或者经由传送路径发送到外部。根据该结构，根据提取出的区域分别保持检测到的移动体图像，由此，仅从各移动体图像中选择必要部分的图像进行保存或输出到外部，由此，作为图形要素，能够进行高效的保存和输出。因此，在便携电话等处理能力有限的设备中进行保存和发送的情况下，有效发挥作用。并且，也可以是，上述移动体检测装置还具有运动预测部，该运动预测部计算构成由所述区域分割部确定的类的移动轨迹中的代表该类的代表移动轨迹，根据计算出的所述代表移动轨迹，预测为与该类对应的区域在图片间移动，从而预测所述移动体的运动。通过使用代表多个块的移动轨迹的轨迹对移动体的运动进行预测，能够进行噪声耐性高的运动预测。本发明的其他实施方式的计算机可读取的记录介质记录了具有包含头信息和体信息的数据构造的数据，其中，所述头信息包含构成动态图像的图片的尺寸；构成所述动态图像的所述图片的张数即图片张数；从所述动态图像得到的移动轨迹的数量即移动轨迹数；以及作为类似的移动轨迹的集合的子类的数量即子类数，所述体信息包含构成所述动态图像的所述图片张数的图片；表示从所述动态图像得到的所述移动轨迹数的移动轨迹的数据；表示各所述移动轨迹所属的子类的数据；以及按照每个子类表示该子类与其他子类之间的类似性的子类间近似测地距离。这样，通过保持与图片的尺寸、图片张数、移动轨迹数、子类数有关的信息作为头， 接受这些数据进行区域分割的装置能够确保区域分割所需要的信息的存储。并且，作为区域分割所需要的信息，包含子类间近似测地距离，所以，与包含移动轨迹间的测地距离的情况相比，在装置侧，具有能够以较少的存储量进行区域分割的效果。本发明的另一实施方式的移动体检测用数据生成装置具有图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及数据输出部，输出至少包含所述子类间近似测地距离计算部计算出的所述子类间近似测地距离的数据。数据输出部输出包含子类间近似测地距离的数据。因此，在接受该数据的其他装置中，能够以较少的存储量进行区域分割。本发明的另一实施方式的移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有 数据输入部，至少受理包含子类间近似测地距离的数据的输入，该子类间近似测地距离表示属于动态图像中的类似的移动轨迹的集合即子类的移动轨迹、与属于不同于该子类的所述动态图像中的类似的移动轨迹的集合即子类的移动轨迹之间的类似性；以及区域分割部，根据由所述数据输入部受理的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。受理包含子类间近似测地距离的数据的输入，执行区域分割。因此，与根据移动轨迹间的测地距离进行区域分割的情况相比，能够以较少的存储量进行区域分割。下面，使用附图详细说明本发明的实施方式。(实施方式1)下面，使用
本发明的实施方式。
图1是示出实施方式的移动体检测装置100的结构的图。如图1所示，该移动体检测装置100具有图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104、区域分割部105以及输出部106。移动体检测装置100是通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体的装置。艮口， 移动体检测装置100是通过使用2张以上的图片间的对应点的轨迹即移动轨迹执行确定动态图像中的移动体的全部或一部分区域的类分类(聚类)来检测动态图像中的移动体的装置。以下，将图片称为图像。图像输入部101是如下的处理部受理构成动态图像且摄影时刻在时间上不同的多张图片的输入，例如是摄像机或者与摄像机连接的通信接口等。并且，图像输入部101也可以从蓄积了动态图像的存储器中取得动态图像。移动轨迹计算部102是如下的处理部按照构成由图像输入部101受理的图片的由一个以上的像素构成的每个块，检测构成动态图像的2张图片间的图像的运动，针对多张图片连接检测到的运动，从而计算多个移动轨迹。这里，块是计算移动轨迹的单位，是一个以上的像素的集合。子类分类部103是如下的处理部将由移动轨迹计算部102计算出的多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类。即，子类分类部103关于由移动轨迹计算部102计算出的多个移动轨迹，以使类似的移动轨迹属于相同子类的方式进行分类，针对各移动轨迹赋予分类结果即子类的标记。子类间近似测地距离计算部104是如下的处理部使用由子类分类部103赋予标记的移动轨迹，计算表示子类间的类似度的距离。在本实施方式中，为了捕捉移动物体的形状变化并缩短距离的计算时间，子类分类部103使用子类内距离和子类间距离，计算子类间的近似的测地距离即子类间近似测地距离。即，子类间近似测地距离计算部104按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与其他子类之间的类似性的子类间近似测地距离。这里，测地距离是追寻作为中继点的移动轨迹而从一个移动轨迹到达另一个移动轨迹的路径的距离。并且，子类内距离是使用对同一子类赋予标记的移动轨迹而计算出的距离， 是表示属于同一子类的移动轨迹间的类似性的距离。子类间距离是包含属于2个不同子类的移动轨迹间的线性距离的最小值的距离。另外，在希望进一步削减距离计算的计算量的情况下，也可以不使用子类内距离，而将子类间距离代用作子类间近似测地距离。另外，距离表示类似性，例如，在距离大的情况下类似性低，在距离小的情况下类似性高。这里，在使用S个子类的情况下，计算出的子类间近似测地距离为S行S列(SX S) 的距离矩阵。这样，通过计算对属于2个不同子类间的移动轨迹的类似性进行评价的距离， 能够将块间的线性距离由于运动而变化的移动体、特别是如关节物体那样在形状变化的同时进行移动的人物等物体的运动表现为近似测地距离矩阵。由此，能够针对关节物体的运动进行健壮的被摄体提取。这里，本说明书中的“距离”不仅包含二维空间中的两点间的距离，如后所述，还包含多维数据间的算术距离，是一个值或者多个值的集合(距离矩阵)。区域分割部105是如下的处理部根据由子类间近似测地距离计算部104计算出的子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。即，区域分割部105根据由子类间近似测地距离计算部104计算出的子类间近似测地距离，针对由类似的移动轨迹构成的子类的集合进行统合/非统合的判断。然后，通过将子类分类为类，检测动态图像中的移动体。这里，一个类对应于一个被摄体或者被摄体的部位，所以，如果能够分类为类，则能够确定移动体的区域，并检测移动体。另外，类是子类的集合。输出部106输出由区域分割部105进行的动态图像中的移动体的检测结果。具体而言，输出部106针对由图像输入部101受理的多张图片中的至少一张图片实施图像处理， 以使其成为例如按照由区域分割部105检测到的移动体的每个区域而不同的显示方式，向显示装置等输出包含实施了图像处理后的区域的图片。另外，在本说明书中，“区域”包含提取某个特定的对象物所在的图像区域的检测技术、以及不区分对象物而按照每个物体对图像区域(移动轨迹)进行分类的类分类技术这两者。另外，检测技术和类分类技术的相同部分很多，所以，在本申请说明书中不对两者进行区分。另外，构成上述移动体检测装置100的各结构要素(图像输入部101、移动轨迹计算部102、子类分类部103、子类间近似测地距离计算部104、区域分割部105、输出部106) 可以利用在计算机上执行的程序等软件实现，也可以利用电子电路或集成电路等硬件实现。图2是示出通过软件实现的本实施方式的移动体检测装置的硬件结构的图。在图2中， 照相机201拍摄图像并输出。计算机202从照相机201取得图像并进行移动体检测处理， 生成显示移动体检测结果的图像。显示器203取得由计算机202生成的图像并进行显示。 计算机 202 包含 I/F 204、CPU 205、ROM 206、RAM 207、HDD 208 以及视频卡 209。使计算机202工作的程序预先保持在ROM 206或HDD 208中。程序通过处理器即CPU 205从ROM 206或HDD 208读出到RAM207中进行展开。CPU 205执行在RAM 207中展开的程序中的被编码的各命令。I/F 204根据程序的执行，将由照相机201拍摄的图像取入到RAM 207中。 视频卡209输出根据程序的执行而生成的图像，在显示器203上显示该图像。另外，计算机程序不限于存储在半导体即ROM 206或HDD 208中，例如也可以存储在光盘中。并且，还可以经由有线或无线的网络、放送等进行传送而取入到计算机的RAM 207 中。下面，使用图3说明本实施方式的移动体检测装置100的动作。图3是示出本实施方式的移动体检测装置100的动作的流程图。在图3中，7个步骤S301 S306分别对应于图1的各处理部。即，在图像输入部 101中执行图像输入步骤S301的动作，在移动轨迹计算部102中执行移动轨迹计算步骤 S302的动作，在子类分类部103中执行子类分类步骤S303的动作，在子类间近似测地距离计算部104中执行子类间近似测地距离计算步骤S304的动作，在区域分割部105中执行区域分割步骤S305的动作，在输出部106中执行图像输出步骤S306的动作。在图像输入步骤S301中，图像输入部101从照相机201取得构成动态图像的多个图片。这里，假设输入有T张图片。接着，在移动轨迹计算步骤S302中，移动轨迹计算部102计算所输入的多个图片间的运动信息，生成移动轨迹并输出。作为计算多个(T张)图片间的运动信息的手法，这里，以多个图片中的某一个图片上的I点的像素为基准，搜索其他T-I张图片中的对应像素。另外，代替I点的像素，也可以以I个小矩形区域(块)为基准，搜索对应的小矩形区
14域的位置。例如，如图4(a)所示，移动轨迹计算部102使用在时刻t和时刻t+Ι拍摄的图片，估计与时刻t的图片上的像素i的像素坐标(xit，yit) (i = 1…I)对应的、时刻t+Ι的图片上的像素坐标(xit+1，yit+1)。此时，移动轨迹计算部102在时刻t+Ι的图片上扫描(虚线)时刻t中的小矩形区域404(块)，将时刻t中的小矩形区域内的像素值与时刻t+Ι中的小矩形区域内的像素值之差的总和最小时的像素坐标(实线箭头所指的坐标)估计为对应的像素坐标。像素坐标使用表示块的中心位置的像素坐标即可。这里，也可以预先决定扫描小矩形区域404的范围。并且，作为评价块彼此的差异的尺度，不限于像素值之差的总和，只要是表示要比较的块内的像素值的差异的尺度即可，也可以是其他尺度。例如，也可以使用时刻t中的小矩形区域内的像素值和时刻t+Ι中的小矩形区域内的像素值的平均二乘误差，还可以使用中值等的很难受极值(异常值)影响的值。在图片存在3张以上的情况下，如图4(b)所示，移动轨迹计算部102在相邻的2张图片间依次求出对应的坐标，从而针对所输入的T张图片计算I点的对应点。另外，为了求出对应的坐标而使用的2张图片不一定相邻。例如，也可以在2张图片之间隔着另外的一张以上的图片。作为上述的计算多个图片间的对应点的其他具体手法，也可以使用非专利文献4 或非专利文献5等所示的方法。非专利文献4 :P· Anandan，"A Computational Framework and an Algorithm for the Measurement of Visual Motion”， International Journal of Computer Vision, Vol. 2,pp.283-310,1989非专禾Ij 文献 5 :Vladimir Kolmogorov and Ramin Zabih，“Computing Visual Correspondence with Occlusions via Graph Cuts，，，International Conference on Computer Vision,2001然后，在该移动轨迹计算步骤S302中，移动轨迹计算部102根据I点的像素的T张图片所涉及的运动信息即对应点的像素坐标的组，生成I个与每个像素对应的移动轨迹。 使用第ι帧的图片上的某个像素i的坐标值(X1Sy/)与对应点的像素坐标(χΛν)，如下述式1那样示出像素i的移动轨迹P。[数式1]X'...,^,Z, .·.,<，3^)(式 1)这里，T是用于计算移动轨迹的图片的张数。图4(b)是示出移动轨迹Xi的一例的图。移动轨迹Xi是在时刻t到时刻t+(T_l) 的τ张输入图像401中根据从第1帧的图片上的像素i403到其他图片上的与像素i403对应的像素的运动信息402计算出的、由像素坐标的集合构成的矢量。接着，在子类分类步骤S303中，子类分类部103将式1所示的I个移动轨迹分类为S个子类。使用图5说明针对子类的分类。例如，如图5(a)所示，假设第1帧的图片中包含的被摄体501A和501B在第N帧中分别移动到被摄体502B和502B的位置。此时的被摄体501A和501B的移动轨迹分别如多个移动轨迹503A和50 所示。但是，在图5(a)中， 为了简化说明，仅示出移动轨迹的一部分。关于针对子类的分类，只要能够将类似的移动轨迹分类为同一子类即可，所以，可以使用各种方法。例如，如果将式1所示的I个移动轨迹作为输入，使用非专利文献6的pp. 526-528所示的k-means法，将子类数设定为S个，则如图5 (b)那样，能够在移动轨迹矢量构成的多维空间上将移动轨迹矢量分类为子类。这里，如虚线的箭头所示，图5(b)的〇 表示与图5(a)的各移动轨迹对应的多维空间上的点。为了进行说明，在三维空间图上示出与移动轨迹对应的点，但是，移动轨迹矢量所在的空间实际上是式1所示的维数为2XT的多维空间。因此，如图5(c)所示，在所述多维空间上，将类似的移动轨迹作为同一子类，能够将I个移动轨迹分类为S个子类。进而，还可以将I个移动轨迹作为输入，使用以非专利文献6的pp. 550-555所示的树状图为基准的聚类算法。这里，直到子类数成为S个为止，反复进行依次将类似度最高 (距离最小)的移动轨迹的对作为同一子类的处理，或者进行规定次数的该处理。其结果， 如图5(c)那样，能够将类似的移动轨迹作为同一子类，将I个移动轨迹分类为S个子类。另外，这里，移动轨迹的类似度可以使用移动轨迹矢量间的欧几里德距离，也可以使用利用属于子类的移动轨迹的数量对所述欧几里德距离进行归一化后的距离。例如，在计算移动轨迹对的类似度(距离)时，如果执行使用属于同一子类的移动轨迹的数量进行归一化的处理，则如图5(d)那样，容易使各子类的尺寸均勻。即，属于各子类的移动轨迹的数量的偏差减小。另外，距离或类似度不限于通过上述计算方法计算出的距离或类似度，只要是能够判定移动轨迹矢量间的类似性的距离或类似度即可。另外，在这些情况下，距离越小，类似度越大。即，这里，进行将类似度最大或距离最小的移动轨迹对作为同一子类的处理。这样将移动轨迹分类为子类的结果如图5(d)所示。S卩，对各移动轨迹赋予子类标记的结果为，类似的移动轨迹被分类为同一子类。例如，如果对象是人物，则能够得到如图5(d)那样细细分割人物身体的结果。非专利文献 6 :Richard 0. Duda, Peter Ε. Hart and David G Stork, "Pattern Classification，，，John Wiley & Sons, Inc. , 2001通过使用上述聚类算法的处理，如下述式2所示，各移动轨迹Xi分别属于子类Dj 中的任意一方。即，分别对各移动轨迹赋予子类Dj的标记。[数式2]
2 曰 J^y·“····X J =(x(,Ζ,…,(式幻另外，可以以如下方式分类为子类使与子类对应的区域的尺寸为与希望检测的移动体的最小尺寸相同或更小的尺寸，也可以以使子类数比预先假设的被摄体数多的方式分类为子类。接着，在子类间近似测地距离计算步骤S304中，子类间近似测地距离计算部104 使用由子类分类步骤S303赋予的子类标记和属于该子类的移动轨迹，计算子类间近似测地距离。这里，使用图6说明计算测地距离的优点。这里，为了以易于理解的方式说明线性距离与测地距离的差异，以时刻t中的移动轨迹间距离为例。例如，属于子类Da602的头部的像素与属于子类Db603的手指部的像素之间的线性距离601为图6(a)所示的距离。另一方面，在测地距离的情况下，如图6(b)所示，属于子类Da602的头部的像素与属于子类 Db603的手指部的像素的测地距离为，通过作为中继点的属于子类Dc604的像素到达属于子类Db603的手指部的像素的箭头所示的距离之和。因此，在图6(a)所示的线性距离601 中，无法将在人物这种关节处连续连接的形状连续表现为数据，与此相对，根据图6(b)所示的测地距离，具有能够将在关节处连续连接的形状作为距离而表现连续性的效果。另外，在计算测地距离时，如图6(a)所示，不是计算属于子类Da602的头部的像素与属于子类Db603的手指部的像素之间的直线距离，而是如图6(b)所示，需要进行搜索通过中继点追寻两点间的最短路径的计算。关于最短路径搜索用的高效计算方法，例如广泛公知有非专利文献7所示的最短路径法，但是，在非专利文献3中报告了，即使使用该手法， 当移动轨迹的数量特别多时，计算量也变得庞大。非专利文献 7 :E. W. Di jkstra，“A note on two problems in connexion with graphs”，Numerische Mathematik，pp.269-271，1959因此，在子类间近似测地距离计算步骤S304中，将以更少的计算量实现具有与测地距离相同的性质的距离的计算作为目的，子类间近似测地距离计算部104计算子类间近似测地距离。这里，说明对子类间的测地距离进行近似的方法。例如，如图7(a)所示，在寻求像素i的移动轨迹与像素j的移动轨迹的测地距离的情况下，即使使用非专利文献7所示的最短路径法，也需要计算连接像素i的移动轨迹与像素j的移动轨迹的距离的多个候选(实线和虚线)，并从中选择最小的距离(实线)。因此，在计算作为候选的距离的过程中需要较多的计算量。但是，通过子类分类步骤S303将类似的移动轨迹分类为同一子类，所以，能够假设被分类为同一子类的移动轨迹是类似的。即，图5示出将移动轨迹分类为子类的例子，可以认为属于同一子类内的移动轨迹是不引起大幅形状变化的刚体的移动轨迹。而且，在刚体的移动轨迹的情况下，可以认为测地距离与线性距离之差较小。因此，关于子类内的移动轨迹，线性距离与测地距离之差较小，利用图7(b)所示的线性距离的平均来近似测地距离的平均。即，子类内的线性距离的平均[数式3]fIntra J aa与子类内的测地距离的平均[数式4]pr]ritra
ο aa的关系如下述式3表现。[数式5]fJntra ^ Olntra (式 3) J aaο aa接着，说明属于不同子类的移动轨迹间的距离即子类间距离。列举使用非专利文献7所公开的方法计算子类间距离的情况的例子。例如，在寻求属于图7(a)的子类Da的像素j的移动轨迹与属于子类Db的像素k的移动轨迹的测地距离的情况下，也需要计算连接像素j的移动轨迹与像素k的移动轨迹的距离的多个候选(实线和虚线)，并从中选择最小的距离(实线)。但是，如上所述，关于子类内的移动轨迹，能够利用线性距离来近似。 因此，连接一个子类与另一个子类的距离很重要。这里，如图7(b)所示，将连接一个子类与其他子类的最小距离定义为子类间距离。根据该方法，不需要进行图7(a)所示的搜索通过中继点追寻两点间的最短路径的处理，只要求出分别属于子类Da和子类Db的移动轨迹间的线性距离的最小值fminIntCT即可。进而，为了使噪声更加健壮，也可以按照分别属于子类 Da和子类Db的移动轨迹间的距离从小到大的顺序选择多个距离，将选择出的距离的平均值作为fminIntCT，还可以将选择出的距离的中值作为fminInte。然后，如图7(b)所示，子类间近似测地距离g’能够如下述式4表现。[数式6]
权利要求
1.一种移动体检测装置，该移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动， 从而计算多个移动轨迹；子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及区域分割部，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。
2.如权利要求1所述的移动体检测装置，其中，所述子类间近似测地距离计算部按照每个子类，计算对表示属于该子类的移动轨迹的类似性的子类内距离、所述其他子类的所述子类内距离、该子类与所述其他子类之间的所述子类间距离进行相加后的距离，作为该子类与其他子类之间的所述子类间近似测地距1 O
3.如权利要求2所述的移动体检测装置，其中，所述子类间近似测地距离计算部按照每个子类，计算属于该子类的移动轨迹间的线性距离的平均值、最频值或中值，作为该子类的所述子类内距离。
4.如权利要求2或3所述的移动体检测装置，其中，所述区域分割部还计算通过所述子类内距离对2个子类间的所述子类间近似测地距离进行归一化后的距离，作为所述子类间近似测地距离。
5.如权利要求1 4中的任意一项所述的移动体检测装置，其中，所述子类间近似测地距离计算部在所述最小值大于规定阈值的情况下，进行将所述子类间近似测地距离变更为无限大的非线性化，从而计算所述子类间近似测地距离。
6.如权利要求5所述的移动体检测装置，其中，所述子类间近似测地距离计算部对第1子类与第2子类之间的子类间近似测地距离、 与所述第1子类与第3子类之间的子类间近似测地距离以及所述第3子类与所述第2子类之间的子类间近似测地距离之和进行比较，计算较小的值作为所述第1子类与所述第2子类之间的子类间近似测地距离。
7.如权利要求1 6中的任意一项所述的移动体检测装置，其中，所述区域分割部根据所述子类间近似测地距离的时间变化，确定由类似的移动轨迹构成的子类的集合作为表示一个区域的类，从而执行区域分割。
8.如权利要求7所述的移动体检测装置，其中，所述区域分割部在表示2个子类间的所述子类间近似测地距离的时间变化的值为规定的时间变化阈值以下的情况下，判定为所述2个子类属于同一类，从而执行区域分割。
9.如权利要求7或8所述的移动体检测装置，其中，所述区域分割部在表示2个子类间的所述子类间近似测地距离的时间变化的值大于规定的时间变化阈值的情况下，判定为所述2个子类属于不同的类，从而执行区域分割。
10.如权利要求1 9中的任意一项所述的移动体检测装置，其中，所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、从小的距离起的规定个数的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。
11.如权利要求1 9中的任意一项所述的移动体检测装置，其中，所述子类间近似测地距离计算部按照每个子类，将属于该子类的移动轨迹与属于其他子类的移动轨迹之间的距离中的、规定阈值以下的距离的平均值，作为该子类与所述其他子类之间的所述子类间距离。
12.如权利要求1 11中的任意一项所述的移动体检测装置，其中，所述子类分类部通过将计算出的所述多个移动轨迹中的类似的移动轨迹分类为同一子类，将所述多个移动轨迹分类为多个子类。
13.如权利要求12所述的移动体检测装置，其中，所述子类分类部以规定次数或者直到将所述多个移动轨迹分类为规定子类数为止，反复执行将计算出的所述多个移动轨迹中的最类似的移动轨迹的组合分类为同一子类的处理，从而将所述多个移动轨迹分类为多个子类。
14.如权利要求1 11中的任意一项所述的移动体检测装置，其中，所述子类分类部根据在所述图像输入部中受理的所述多张图片中的至少一张图片， 使用该图片的边缘信息、颜色信息和亮度信息中的至少一方，将该图片分割为多个区域，将通过分割后的各区域的移动轨迹分类为同一子类，从而将所述多个移动轨迹分类为多个子类。
15.如权利要求1 14中的任意一项所述的移动体检测装置，其中，所述移动体检测装置还具有输出部，该输出部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，按照通过由所述区域分割部执行区域分割而确定的每个区域， 实施图像处理以成为与其他确定的区域不同的显示方式，输出包含实施了图像处理后的区域的图片。
16.如权利要求1 15中的任意一项所述的移动体检测装置，其中，所述移动体检测装置还具有记录/发送部，该记录/发送部针对在所述图像输入部中受理的所述多张图片中的至少一张图片，将赋予了由所述区域分割部执行的区域分割的结果后的图片写入到记录装置，或者经由传送路径发送到外部。
17.如权利要求1 15中的任意一项所述的移动体检测装置，其中，所述移动体检测装置还具有运动预测部，该运动预测部计算构成由所述区域分割部确定的类的移动轨迹中的代表该类的代表移动轨迹，根据计算出的所述代表移动轨迹，预测为与该类对应的区域在图片间移动，从而预测所述移动体的运动。
18.—种移动体检测方法，该移动体检测方法通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测方法包含以下步骤图像输入步骤，受理构成动态图像的多张图片；移动轨迹计算步骤，按照构成所受理的所述图片的由一个以上的像素构成的每个块， 检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动，从而计算多个移动轨迹；子类分类步骤，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算步骤，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及区域分割步骤，根据计算出的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。
19.一种程序，该程序用于通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该程序用于使计算机执行权利要求18所述的移动体检测方法中包含的步骤。
20.一种计算机可读取的记录介质，该计算机可读取的记录介质记录了具有包含头信息和体信息的数据结构的数据，其中，所述头信息包含构成动态图像的图片的尺寸；构成所述动态图像的所述图片的张数即图片张数；从所述动态图像得到的移动轨迹的数量即移动轨迹数；以及作为类似的移动轨迹的集合的子类的数量即子类数，所述体信息包含构成所述动态图像的所述图片张数的图片；表示从所述动态图像得到的所述移动轨迹数的移动轨迹的数据；表示各所述移动轨迹所属的子类的数据；以及按照每个子类表示该子类与其他子类之间的类似性的子类间近似测地距离。
21.—种移动体检测用数据生成装置，其中，该移动体检测用数据生成装置具有 图像输入部，受理构成动态图像的多张图片；移动轨迹计算部，按照构成所受理的所述图片的由一个以上的像素构成的每个块，检测构成所述动态图像的2张图片间的该块的运动，针对所述多张图片连接检测到的运动， 从而计算多个移动轨迹；子类分类部，将计算出的所述多个移动轨迹分类为彼此类似的移动轨迹的集合即多个子类；子类间近似测地距离计算部，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与所述其他子类之间的类似性的子类间近似测地距离；以及数据输出部，输出至少包含所述子类间近似测地距离计算部计算出的所述子类间近似测地距离的数据。
22.—种移动体检测装置，该移动体检测装置通过执行确定动态图像中的移动体的全部或一部分区域的区域分割来检测动态图像中的移动体，其中，该移动体检测装置具有数据输入部，至少受理包含子类间近似测地距离的数据的输入，该子类间近似测地距离表示属于动态图像中的类似的移动轨迹的集合即子类的移动轨迹、与属于不同于该子类的所述动态图像中的类似的移动轨迹的集合即子类的移动轨迹之间的类似性；以及区域分割部，根据由所述数据输入部受理的所述子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。
全文摘要
移动体检测装置(100)具有图像输入部(101)，受理构成动态图像的多张图片；移动轨迹计算部(102)，根据多张图片计算多个移动轨迹；子类分类部(103)，将多个移动轨迹分类为多个子类；子类间近似测地距离计算部(104)，按照每个子类，使用包含属于该子类的移动轨迹与属于其他子类的移动轨迹之间的线性距离的最小值的距离即子类间距离，计算表示该子类与其他子类之间的类似性的子类间近似测地距离；以及区域分割部(105)，根据计算出的子类间近似测地距离，确定由类似的移动轨迹构成的子类的集合作为一个类，从而执行区域分割。
文档编号G06T7/20GK102396001SQ20108001541
公开日2012年3月28日 申请日期2010年12月24日 优先权日2009年12月28日
发明者岩崎正宏, 甲本亚矢子, 登一生 申请人:松下电器产业株式会社