专利名称：移动体检测装置以及移动体检测方法
技术领域：
本发明涉及通过对图像中的移动体的区域进行确定，来检测移动体的图像处理技术，尤其涉及在容易发生遮蔽的环境下，根据运动图像中的运动信息来检测并提取移动体的移动体检测装置等。
背景技术：
以往广泛进行的研究开发是，从包含有移动体的像(以下，简单称为“移动体”)的图像中，通过提取图像中的移动体的区域，来检测移动体的区域提取技术。提取移动体的区域的技术是能够在数字视频摄像机或数字静态相机中的焦点控制、画质改善处理、汽车的安全行驶支援系统、或机器人技术中的与移动体的冲突回避控制、或者用于冲突回避的报警等中共同利用的基础技术。作为检测图像中的移动体的技术中的一般的方法例如有非专利文献I所公开的技术，具体而言，预先学习与移动体相关的形状信息，在图像中一边扫描，一边对学习的形状信息与图像中的区域进行匹配，将匹配度高的区域作为检测对象物体来提取。并且，在非专利文献2至5中公开的方法是，在容易发生遮蔽的混乱的场面中追踪移动体。这些方法与非专利文献I不同，不是利用形状信息，而是能够从运动图像中提取移动轨迹，通过根据移动轨迹的类似性来对各个移动轨迹进行分群，将进行不同运动的移动体分别作为类来提取并进行追踪。这种方法尤其对于在利用形状信息的移动体提取方法中难于提取的遮蔽物体的追踪有效。(非专利文献)非专利文献IB.Leibe, K.Schindler, N.Cornellis and L.Van Gool, “CoupledObject Detection and Tracking from Static Cameras and Moving Vehicles，，，IEEETrans.Pattern Recognition and Machine Intelligence Vol.30,N0.10，1683-1698，2008非专利文献2G.J.Brostow and R.Cipolla,“Unsupervised Bayesian Detectionof Independent Motion in Crowds，，，In Proc.0f IEEE Conference on Computer Visionand Pattern Recognition,2006非专利文献3L.Kratz and K.Nishino,“Tracking with Local Spatio-temporalMotion Patterns in Extremely Crowded Scenes，，，In Proc.0f IEEE Conference onComputer Vision and Pattern Recognition,2010非专利文献4V.Rabaud and S.Belongie,“Counting Crowded Moving Objects”,In Proc.0f IEEE Conference on Computer Vision and Pattern Recognition,2006非专利文献5D.Sugimura, K.Kitani, T.0kabe, Y.Sato, and A.Sugimoto, “UsingIndividuality to Track Individuals:Clustering Individual Trajectories inCrowds using Local Appearance and Frequency Trait，，，In Proc.0f InternationalConference on Computer Vision,2009但是，在上述的专利文献I所记载的方法中的问题是，尤其是在混乱的环境下等容易发生遮蔽的场面中，会出现只能看到移动体的形状信息的一部分的情况，这样就会因所述匹配度低而造成不能对检测对象物体进行检测。并且，在以上述的非专利文献2到5为代表的混乱状态下的移动体追踪技术中，由于不是着眼于区域提取而是移动体的追踪，因此前提条件是即使移动体的一部分也不被长期间地遮蔽的场面。也就是说是在各个移动体的一部分不被遮蔽而能够进行追踪的情况下利用的方法。因此，出现的问题是需要将摄像机设置在高的位置，仅限定于俯视拍摄场面
坐寸o
发明内容
因此，本发明为了解决摄像机的拍摄位置被限定的问题以及误检测的问题，目的在于提供一种移动体检测装置以及移动体检测方法，即使在容易发生遮蔽的环境下也能够确切地对移动体进行检测并提取。为了达成上述的目的，本发明的一个实施方式所涉及的移动体检测装置，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测装置具备:图像输入部，接受构成运动图像的并且至少由三张图片构成的多张图片；移动轨迹算出部，从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹；子类分类部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹，分类为子类；子类间类似度计算部，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及移动体检测部，以由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。另外，这些所有的或具体的实施方式不仅能够以系统、方法、集成电路或计算机程序或者记录介质来实现，而且可以通过对系统、方法、集成电路、计算机程序以及记录介质进行任意地组合来实现。通过本发明能够解决摄像机的拍摄位置被限定的问题以及误检测的问题，即使在容易发生遮蔽的环境下也能够进行确切地移动体的检测以及提取。
图1A示出了本发明将要解决的课题的一个例子。图1B示出了本发明将要解决的课题的一个例子。图2示出了本发明的实施方式I中的移动体检测装置的基本构成。图3是在以软件来实现本发明的实施方式I中的移动体检测装置的情况下的、执行软件的硬件的构成图。图4是示出本发明的实施方式I中的移动体检测装置的基本工作的流程图。图5A示出了本发明的实施方式I中的分割为图像子集的分割方法的处理例子。图5B示出了本发明的实施方式I中的移动轨迹算出部的处理例子。
图6示出了本发明的实施方式I中的子类标记赋予部的处理例子。图7A示出了本发明的实施方式I中的移动轨迹的共用比例的算出例子。图7B示出了本发明的实施方式I中的移动轨迹的共用比例的算出例子。图8A示出了本发明的实施方式I中的标记传播部以及移动体检测部的处理例子。图SB示出了本发明的实施方式I中的标记传播部以及移动体检测部的处理例子。图SC示出了本发明的实施方式I中的标记传播部以及移动体检测部的处理例子。图9是针对人物步行中的步调的说明图。图10示出了本发明的实施方式2中的移动体检测装置的基本构成。图11是示出本发明的实施方式2中的移动体检测装置的基本工作的流程图。图12示出了本发明的实施方式2中的子类标记赋予部的处理例子。图13示出了本发明的实施方式3中的移动体检测装置的构成。图14是示出本发明的实施方式3中的移动体检测装置的基本工作的流程图。图15示出了本发明的实施方式3中的测地距离的效果的一个例子。图16示出了本发明的实施方式3中的子类标记赋予部的处理例子。图17示出了本发明的实施方式3中的子类标记赋予部的处理例子。图18示出了本发明的实施方式4中的移动体检测装置的基本构成。图19是示出本发明的实施方式4中的移动体检测装置的基本工作的流程图。图20示出了本发明的实施方式4中的移动轨迹恢复部的处理例子。图21示出了本发明的实施方式I至4的第一变形例中的移动体检测装置的基本构成。图22示出了本发明的实施方式I至4的第一变形例中的记录或发送数据的一个例子。图23示出了本发明的实施方式I至4的第二变形例中的移动体检测装置的构成例子。图24是示出本发明的实施方式I至4的第二变形例中的移动体检测装置的基本工作的流程图。图25示出了本发明的实施方式I至4的第二变形例中的运动预测的一个例子。
具体实施例方式(成为本发明的基础的见解)本领域技术人员针对在“背景技术” 一栏中记载的现有技术文献，发现会发生以下的问题。车载摄像机或可携带的摄像机大多都是用在从比较低的位置来拍摄。尤其是从低的位置来拍摄混乱的场面的情况下，与从高的位置俯视拍摄的场面相比，远处的移动体容易被存在于跟前的移动体遮蔽。因此，如图1A以及图1B所示，在容易发生由护栏或者其他的物体等遮蔽的环境下，会出现难于长时间地追踪移动体的问题。针对该问题，若应用根据短时间的运动信息的所述移动体追踪的技术，在图1A以及图1B所示的例子中就会出现发生误检测的问题。例如，在移动体的一部分一时性地由护栏或者人等遮蔽的情况下，就会出现像检测结果a-l、a_2以及检测结果b-l、b_2所示那样，移动体的头部和脚部被作为分离的移动体而被提取，本来是一个移动体而被作为了两个移动体被检测，这样出现误检测的问题。例如，在图1A中，若经过长的时间来求出移动轨迹，则在发生了遮蔽的时刻开始以后的时刻中，移动轨迹就会出现间断。因此，若在人物的腰部、脚部、头部等依次发生遮蔽，则出现最终不能求出移动轨迹的问题。即，若经过长的时间来求移动轨迹，则会出现不能求出紧密的移动轨迹的问题。为了解决这样的问题，本发明的一个实施例所涉及的移动体检测装置，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测装置具备:图像输入部，接受构成运动图像的并且至少由三张图片构成的多张图片；移动轨迹算出部，从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹；子类分类部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹，分类为子类；子类间类似度计算部，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及移动体检测部，以由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。根据此构成，能够按每个图像子集来算出移动轨迹。通过以这样短的时间间隔来算出移动轨迹，从而能够在图像子集内算出紧密的移动轨迹。通过将这样的紧密的移动轨迹分类为子类，并根据共用比例来计算子类间的类似度，从而即使在容易发生遮蔽的情况下也能够确切地对移动体进行检测。例如，在第一图像子集中被分类为第一子类的移动轨迹因遮蔽的影响，在下一个时刻的第二的图像子集中被分离为第二子类以及第三子类，即使在这样的情况下，第一子类与第二子类之间的共用比例以及第一子类与第三子类之间的共用比例均增高。因此，若利用根据共用比例而被计算的子类间的类似度来对子类进行类的分类，则从第一至第三子类被分类为同一个类，作为同一个移动体被检测。因此，摄像机的拍摄位置被限定的课题以及误检测的课题均得以解决，即使在容易发生遮蔽的环境下也能够确切地对移动体进行检测以及提取。例如，也可以是，所述子类分类部包括子类标记赋予部，该子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记；所述子类间类似度计算部包括标记传播部，该标记传播部，在从所有的子类中任意选择的第一子类以及第二子类之间，算出表示示出同一个块的运动的移动轨迹被共用的程度的移动轨迹的共用比例，通过对所述共用比例越高的所述第一子类以及第二子类就越再次赋予同一个子类标记，从而使子类标记在子类间传播；所述移动体检测部，通过将被赋予了同一个子类标记的子类的集合分类为同一个类，从而将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，据此对运动图像中的移动体进行检测。根据此构成，能够按每个图像子集来算出移动轨迹。通过以这样短的时间间隔来算出移动轨迹，从而能够在图像子集内算出紧密的移动轨迹。通过将这样的紧密的移动轨迹分类为子类，并根据共用比例使子类标记在子类标记间传播，从而即使在容易发生遮蔽的情况下也能够确切地对移动体进行检测。例如，在第一图像子集中被分类为第一子类的移动轨迹因遮蔽的影响，在下一个时刻的第二的图像子集中被分离为第二子类以及第三子类，即使在这样的情况下，第一子类与第二子类之间的共用比例以及第一子类与第三子类之间的共用比例均增高。通过进行子类间的传播处理，从而从第一至第三子类能够被再次赋予同一个子类标记，从而作为同一个移动体被检测。因此，摄像机的拍摄位置被限定的课题以及误检测的课题均得以解决，即使在容易发生遮蔽的环境下也能够确切地对移动体进行检测以及提取。S卩，与以往的移动轨迹的分群法相比较，能够将时间短的移动轨迹分类为子类，将子类间的时间上的关联的强度用作移动轨迹的共用比例，并通过传播得到的子类标记，从而能够将时间上关联强的子类标记更新为同一个类标记，从而能够进行确保了时间上的相干的区域提取。因此，能够对暂时被分离为两个部分的一个移动体，作为一个移动体来赋予同一个标记，从而能够实现减少移动体检测中的误检测的效果。而且，由于利用了时间短的移动轨迹，因此能够减少频繁出现遮蔽的场面中所发生的，对应点的消失而不能算出移动轨迹的危险性。据此，能够高密度地提取移动体，并能够提高检测精度。而且，不仅能够检测移动体，而且还能够从图像中提取移动体。并且，也可以是，所述移动轨迹算出部，以使时间上相邻的图像子集间的一部分的图片重叠的方式，从所述多张图片中抽取多个图像子集，并按照每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是构成图片的一个以上的像素所构成的块的运动的轨迹；所述标记传播部，在经过所述第一子类以及第二子类之间所共用的图片中的同一个位置的移动轨迹，相对于所述第一子类以及第二子类中所包含的移动轨迹的比例越大的情况下，就越将所述第一子类以及第二子类之间的移动轨迹的共用比例判断为高，并通过对所述移动轨迹的共用比例越高的所述第一子类以及第二子类，就越再次赋予同一个子类标记，从而使子类标记在子类间传播。以使时间上相邻的图像子集间的图片重叠的方式来抽取图像子集。因此，在具有时间上相邻的图像子集间的重合(重叠)的图片中，移动轨迹相同。因此，能够简单地算出第一以及第二子类间的共用比例。并且，也可以是，所述标记传播部，进一步，对子类的可靠性越大的子类，就再次赋予与所述子类标记赋予部赋予的子类标记相同的子类标记，据此使子类标记在子类间传播，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。通过利用子类的可靠性，从而能够以更高的精确度来进行在时间上具有相干的区域分割。因此，能够正确对移动体进行区域提取，据此能够确实地检测图像中的移动体。并且，也可以是，上述的移动体检测装置进一步包括:保持部，保持由所述移动轨迹算出部算出的移动轨迹之中的、只有以比构成图像子集的图片的张数少的图片的张数才能算出的移动轨迹；以及移动轨迹恢复部，将所述保持部所保持的移动轨迹，分类为与该移动轨迹连续的其他的移动轨迹所属的类相同的类；所述移动体检测部，进一步，将与所述移动轨迹恢复部所分类的移动轨迹以及同一个类中所包含的移动轨迹相对应的各个块，作为移动体的区域来确定，从而对运动图像中的移动体进行检测。通过将在子类的生成时没有使用的移动轨迹分类为，与该移动轨迹连续的其他的移动轨迹所属的类，从而能够高密度地提取移动体。并且，也可以是，所述子类标记赋予部，通过按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中类似的移动轨迹，分类为同一个子类，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。具体而言，也可以是，所述子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中最类似的移动轨迹的组合分类为同一个子类，通过对这种进行分类的处理反复执行规定的次数或者反复执行到所述多个移动轨迹被分类为规定的子类个数为止，来将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。据此，能够将类似的移动轨迹分类为同一个子类。并且，也可以是，所述子类标记赋予部，(a)针对由所述移动轨迹算出部算出的多个移动轨迹，算出表示移动轨迹间的类似性的距离，(b)通过对算出的距离之中的比预先规定的阈值小的距离进行连结，从而将所述算出的距离变换为测地距离，(C)按照每个图像子集，针对该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中的任意的两个移动轨迹，将除此以外的移动轨迹作为中继点，算出从所述两个移动轨迹之中的一方沿着所述中继点到达另一方的路径的距离，以作为测地距离，对得到的测地距离中分布的不连续的点进行检测，将相隔的测地距离比检测的不连续的点小的移动轨迹作为一个类来分类为同一个子类，通过 进行这样的分类的处理，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。像这样为了表现移动轨迹间的类似性而利用移动轨迹间的测地距离，从而能够对人物等关节物体进行更正确的移动体的检测以及提取。而且，关于子类的生成方法，其他的优选的方式是，所述子类标记赋予部，按照每个图像子集，从该图像子集中所包含的至少一张图像中，使用边缘、颜色、亮度之中的至少一种，将图像分割为多个区域并生成子类，对经过分割后的区域的移动轨迹分别赋予子类
己 O这样，能够利用边缘、亮度、颜色等图像的空间信息来将移动轨迹分类为子类。并且，也可以是，上述的移动体检测装置进一步具备输出部，该输出部针对由所述图像输入部接受的所述多张图片之中的至少一张图片，以由所述移动体检测部被分类为同一个类的移动体区域为单位来施行图像处理，以便成为与其他的移动体区域不同的显示方式，并输出被施行了图像处理的图片。在AV(Audio/Visual)设备、图像监视装置等能够将提取的移动体分别显示在图像上。因此，用户容易识别移动体。并且，也可以是，上述的移动体检测装置进一步具备记录或发送部，将由所述移动体检测部进行的移动体的检测结果，写入到记录装置，或者经由传输路径发送到外部。例如，仅从各个移动体图像中选择需要的移动体图像并保存,通过向外部输出，能够作为图形要素来高效率地保存以及输出。因此，能够有效地使用于便携式电话等处理能力受限的设备对移动体图像的保存以及发送的情况。并且，也可以是，上述的移动体检测装置进一步具备运动预测部，该运动预测部从构成由所述移动体检测部确定的类的移动轨迹中，算出代表该类的代表移动轨迹，按照算出的所述代表移动轨迹，将与该类对应的移动体的区域预测为在图片间移动，据此对所述移动体的运动进行预测。通过利用代表多个块的移动轨迹的轨迹来预测移动体的运动，从而能够进行噪声耐性高的运动预测。并且，也可以是，所述子类间类似度计算部，通过使以子类间的类似度为要素的矩阵Z，反复与以子类间的移动轨迹的共用比例为要素的矩阵W相乘，来更新以子类间的类似度为要素的矩阵Z，从而计算子类间的类似度。由于子类间的类似度能够在矩阵间进行乘法运算来算出，因此能够进行高速地子类间的类似度的计算。并且，也可以是，所述子类间类似度计算部，进一步，通过对以子类的可靠性为要素的矩阵Y进行加权并与更新后的矩阵Z相加，从而计算子类间的类似度，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。通过在考虑了子类的可靠性的基础上来计算子类间的类似度，从而能够提高子类间的类似度的可靠性。并且，这些发明的全体或每个具体的发明能够由系统、方法、集成电路、计算机程序或者记录介质来实现，也可以通过对系统、方法、集成电路、计算机程序或者记录介质进行任意地组合来实现。以下参照附图对本发明的实施方式进行详细说明。并且，以下所说明的实施例均为本发明的一个具体的例子。在以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的设置位置以及连接形态、步骤、步骤的顺序等均是本发明的一个例子，本发明并非受这些所限。并且，对于以下的实施例中的构成要素之中的、示出最上位概念的独立权利要求所没有记载的构成要素，能够作为任意的构成要素来说明。(实施方式I)以下，利用附图对本发明的实施方式进行说明。图2示出了实施方式I中的移动体检测装置的构成。如图2所示，该移动体检测装置200具备:图像输入部201、移动轨迹算出部202、子类分类部213、子类间类似度计算部214A、移动体检测部204B以及输出部205。该移动体检测装置200是利用移动轨迹，通过对用于确定运动图像中的移动体的全部或一部分的区域进行类的分类，来检测运动图像中的移动体的装置。即，移动体检测装置200是通过执行用于确定运动图像中的移动体的全部或者一部分区域的区域分割，来检测运动图像中的移动体的装置。图像输入部201是接受构成运动图像的、在时间上互不相同的多张图片的输入的处理部，例如是视频摄像机或者与视频摄像机连接的通信接口等。即，图像输入部201接受构成运动图像的至少由三张图片构成的多张图片。以下，将图片也称为图像。移动轨迹算出部202将由图像输入部201接受的至少三张图片，分割为多个图像子集。在此，图像子集至少由两张图片构成。并且，移动轨迹算出部202按每个图像子集算出移动轨迹。移动轨迹算出部202按照构成图片的且由一个以上的像素构成的块，至少检测两张图片间的图像的运动，通过将检测出的运动连结到多张图片，从而算出移动轨迹。即，块是算出移动轨迹的单位，是一个以上的像素的集合。即，移动轨迹算出部202从多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集在该图像子集所包含的图片之间，算出多个移动轨迹，该移动轨迹是构成图片的、由一个以上的像素构成的块的运动的轨迹。子类分类部213按照每个图像子集，将该图像子集中中包含的、由所述移动轨迹算出部算出的多个移动轨迹分类为子类。子类分类部213包括子类标记赋予部203。子类标记赋予部203按照每个图像子集，将该图像子集中包含的由移动轨迹算出部202算出的多个移动轨迹分类为子类，向各移动轨迹赋予该移动轨迹被分类后的子类的标识符，即赋予子类标记。子类间类似度计算部214A在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度。子类间类似度计算部214A包括标记传播部204A。标记传播部204A在从所有的子类中任意选择的第一子类以及第二子类之间，算出表示同一个移动轨迹(表示同一个块的运动的移动轨迹)被共用的程度的移动轨迹的共用比例，算出的共用比例越高，就越将同一个子类标记再次赋予到所述第一子类以及第二子类，据此，使子类标记在子类间传播。即，标记传播部204A利用移动轨迹的共用比例，以作为任意的子类配对中的子类配对的类似度(时间上的关联强度)，使子类的标记信息在子类间传播。并且，移动轨迹的共用比例是指，子类间的同一移动轨迹的保持率，详细待后述。在此，根据传播的子类的标记信息的结果，来子更新类的标记信息。即，被赋予了同一子类标记的各个子类之间示出了，子类间的类似度高。移动体检测部204B对于由子类间类似度计算部214A计算的子类间的类似度越高的子类的集合，就越分类为同一个类，这样能够将与同一个类中所包含的移动轨迹对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。同一个子类标记被赋予到类似度高的两个子类。因此，移动体检测部204B将被赋予了同一个子类标记的子类的集合分类为同一个类，并将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。S卩，移动体检测部204B通过标记信息的更新，将被赋予了同一个子类标记的子类判断为是同一个类。这样，移动体检测部204B通过对从各个图像子集得到的子类是否为同一个类进行判断，从而能够进行具有时间上的相干的分群。据此，在属于被判断为同一个类的子类的移动轨迹中，被赋予了相同的类标记。结果是，一个类与一个移动体相对应，只要能够将各个移动轨迹分类到类，就能够对移动体的区域进行确定，从而能够检测移动体。在此，类是至少由一个子类构成的集合，属于同一个类的子类与同一个移动体相对应。输出部205输出由移动体检测部204B进行的运动图像中的移动体的检测结果。具体而言，输出部205针对在图像输入部201接受的多张图片中的至少一张图片，按照每个由移动体检测部204B被分类为同一个类的移动体区域进行图像处理，以便成为与其他的移动体区域不同的显示状态，并输出被进行了图像处理的图片。并且，输出部205将被进行了图像处理的图片输出到显示器装置等。另外，在本说明书中，“区域”的决定方法包括以下的两个技术，即:提取某个确定的对象物所存在的图像区域的检测技术、以及不对对象物进行区分而按照每个物体对图像区域(移动轨迹)进行分类的类的分类技术。另外，由于检测技术与类分类技术共同的部分较多，在本说明书中不对两者进行区分。并且，构成上述的移动体检测装置200的各个构成要素(图像输入部201、移动轨迹算出部202、子类标记赋予部203、标记传播部204A、移动体检测部204B、输出部205)可以由在计算机上执行的程序等软件来实现，也可以由电子电路或者集成电路等硬件来实现。图3示出了由软件实现的本实施方式中的移动体检测装置的硬件构成。在图3中，摄像机301对图像进行拍摄并输出。计算机302从摄像机301获得图像，并进行移动体检测处理，生成显示移动体检测结果的图像。显示器303获得并显示在计算机302生成的图像。计算机 302 包括:I/F304、CPU305、R0M306、RAM307、HDD308 以及视频卡 309。使计算机 302工作的程序预先被保持在R0M306或者HDD308中。程序由作为处理器的CPU305从R0M306或者HDD308中读出到RAM307并被展开。CPU305执行在RAM307被展开的程序中的被代码化后的各个命令。I/F304按照程序的执行，将由摄像机301拍摄的图像取入到RAM307。视频卡309输出按照程序的执行而被生成的图像，显示器303显示该图像。另外，计算机程序并非受限于存放在R0M306或者HDD308这种半导体中，例如也可以被存放在光盘中。并且，也可以经由有线或无线的网络、广播等而被传送，被取入到计算机的RAM307内。以下，利用图4对本实施方式的移动体检测装置200的工作进行说明。图4是示出本实施方式的移动体检测装置200的工作的流程图。在图4中，步骤S401至S403分别与图2的图像输入部201、移动轨迹算出部202以及子类标记赋予部203相对应。并且，步骤S404与图2的标记传播部204A以及移动体检测部204B相对应。而且，步骤S405与图2的输出部205相对应。即，在图像输入部201执行图像输入步骤S401的工作，在移动轨迹算出部202执行移动轨迹算出步骤S402的工作，在子类标记赋予部203执行子类标记赋予步骤S403的工作，在标记传播部204A以及移动体检测部204B执行标记传播及更新步骤S404的工作，在输出部205执行图像输出步骤S405的工作。
在图像输入步骤S401，图像输入部201从摄像机301获得构成运动图像的多个图片。在此视为T (T≥3)张图片被输入。接着，在移动轨迹算出步骤S402，移动轨迹算出部202将由图像输入部201接受的T张图片，以由F(F彡2)张图片构成一个图像子集的方式，并以时间序列分割为D个图像子集。在此，T>F。并且，移动轨迹算出部202最好是如图5A所示，以同一时刻的图片重叠的方式，将图片分割为图像子集502。并且，移动轨迹算出部202按每个图像子集算出移动轨迹。在此，如图5B所示，移动轨迹算出部202算出各个图像子集502中包含的多个图片间的运动信息503，生成移动轨迹并输出。作为多个图片间的算出运动的方法是，以多张图片中的某一张图片上的I点的像素i504为基准，搜索其他(F-1)张图片中的对应的像素。另外，也可以取代I点的像素，而以I个小矩形区域(块)为基准。例如，移动轨迹算出部202利用在时刻t和时刻(t+Ι)拍摄的图片，推定与时刻t的图片上的像素i的像素坐标(xit，yit) (i=L...)相对应的时刻(t+1)的图片上的像素坐标(xit+1，yit+1)。在图片为3张以上的情况下，通过依次求出对应的坐标，从而能够算出各个图像子集的F张图片的I点的对应点。
作为算出上述的多个图片间的对应点的具体的方法，由于已由非专利文献6或者非专利文献7等详细记载，因此在此省略详细说明。另外，在本实施方式中，只要T为3以上，F为2以上即可。并且，图像子集也可以不必像图5A的例子那样，以同一时刻的图片重叠的方式对T张图片进行分割，而是可以将时刻(t+Ι)到时刻(t+F)为止的图片作为一个图像子集，将时刻(t+F+n)到时刻(t+2F-l+n)作为一个图像子集，以不使图片重叠的方式来进行分割。这样，在图像子集间同一时刻的图片不重叠的方式来进行分割的情况下，移动轨迹算出部202在作为图像子集的图像的、时刻(t+F)和时刻(t+F+n)之间的图像中，进行块间的匹配，预先算出两张图像间的对应点。非专利文献 6P.Anandan, “A Computational Framework and an Algorithm forthe Measurement of Visual Motion”， International Journal of Computer Vision,Vol.2，pp.283-310，1989非专利文献7Vladimir Kolmogorov and Ramin Zabih,“Computing VisualCorrespondence with Occlusions via Graph Cuts，，，International Conference onComputer Vision,2001并且，在该移动轨迹算出步骤S402中，移动轨迹算出部202 ii针对各个图像子集，如下式I所示，从对应点的像素坐标的组中生成I条与每个像素相对应的移动轨迹，该移动轨迹是指I点的像素经过F张图片时的运动信息。以下，以针对一个图像子集算出移动轨迹为例进行说明。[数式1]
权利要求
1.一种移动体检测装置，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测装置具备: 图像输入部，接受构成运动图像的并且至少由三张图片构成的多张图片； 移动轨迹算出部，从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹； 子类分类部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹，分类为子类； 子类间类似度计算部，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及 移动体检测部，以由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，从而对运动图像中的移动体进行检测。
2.如权利要求1所述的移动体检测装置， 所述子类分类部包括子类标记赋予部，该子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记； 所述子类间类似度计算部包括标记传播部，该标记传播部，在从所有的子类中任意选择的第一子类以及第二子类之间，算出表示示出同一个块的运动的移动轨迹被共用的程度的移动轨迹的共用比例，通过对所述共用比例越高的所述第一子类以及第二子类就越再次赋予同一个子类标记，从而使子类标记在子类间传播；` 所述移动体检测部，通过将被赋予了同一个子类标记的子类的集合分类为同一个类，从而将与同一个类中所包含的移动轨迹相对应的各个块作为移动体的区域来确定，据此对运动图像中的移动体进行检测。
3.如权利要求2所述的移动体检测装置， 所述移动轨迹算出部，以使时间上相邻的图像子集间的一部分的图片重叠的方式，从所述多张图片中抽取多个图像子集，并按照每个图像子集，算出多个该图像子集中所包含的图片间的移动轨迹，该移动轨迹是构成图片的一个以上的像素所构成的块的运动的轨迹； 所述标记传播部，在经过所述第一子类以及第二子类之间所共用的图片中的同一个位置的移动轨迹，相对于所述第一子类以及第二子类中所包含的移动轨迹的比例越大的情况下，就越将所述第一子类以及第二子类之间的移动轨迹的共用比例判断为高，并通过对所述移动轨迹的共用比例越高的所述第一子类以及第二子类，就越再次赋予同一个子类标记，从而使子类标记在子类间传播。
4.如权利要求2或者3所述的移动体检测装置， 所述标记传播部，进一步，对子类的可靠性越大的子类，就再次赋予与所述子类标记赋予部赋予的子类标记相同的子类标记，据此使子类标记在子类间传播，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。
5.如权利要求2至4的任一项所述的移动体检测装置， 该移动体检测装置进一步包括: 保持部，保持由所述移动轨迹算出部算出的移动轨迹之中的、只有以比构成图像子集的图片的张数少的图片的张数才能算出的移动轨迹；以及 移动轨迹恢复部，将所述保持部所保持的移动轨迹，分类为与该移动轨迹连续的其他的移动轨迹所属的类相同的类； 所述移动体检测部，进一步，将与所述移动轨迹恢复部所分类的移动轨迹以及同一个类中所包含的移动轨迹相对应的各个块，作为移动体的区域来确定，从而对运动图像中的移动体进行检测。
6.权利要求2至5的任一项所述的移动体检测装置， 所述子类标记赋予部，通过按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中类似的移动轨迹，分类为同一个子类，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。
7.如权利要求6所述的移动体检测装置， 所述子类标记赋予部，按照每个图像子集，将该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中最类似的移动轨迹的组合分类为同一个子类，通过对这种进行分类的处理反复执行规定的次数或者反复执行到所述多个移动轨迹被分类为规定的子类个数为止，来将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。
8.如权利要求6所述的移动体检测装置， 所述子类标记赋予部，(a)针对由所述移动轨迹算出部算出的多个移动轨迹，算出表示移动轨迹间的类似性的距离，(b)通过对算出的距离之中的比预先规定的阈值小的距离进行连结，从而将所述算出的距离变换为测地距离，(C)按照每个图像子集，针对该图像子集中所包含的由所述移动轨迹算出部算出的多个移动轨迹之中的任意的两个移动轨迹，将除此以外的移动轨迹作为中继点，算出从所述两个移动轨迹之中的一方沿着所述中继点到达另一方的路径的距离，以作为测地距离，对得到的测地距离中分布的不连续的点进行检测，将相隔的测地距离比检测的不连续的点小的移动轨迹作为一个类来分类为同一个子类，通过进行这样的分类的处理，从而将所述多个移动轨迹分类为子类，并对各个移动轨迹赋予作为该移动轨迹被分类后的子类的标识符的子类标记。
9.如权利要求2至5的任一项所述的移动体检测装置， 所述子类标记赋予部，按照每个图像子集，从该图像子集中所包含的至少一张图像中，使用边缘、颜色、亮度之中的至少一种，将图像分割为多个区域并生成子类，对经过分割后的区域的移动轨迹分别赋予子类标记。
10.如权利要求2至9的任一项所述的移动体检测装置， 该移动体检测装置进一步具备输出部，该输出部针对由所述图像输入部接受的所述多张图片之中的至少一张图片，以由所述移动体检测部被分类为同一个类的移动体区域为单位来施行图像处理，以便成为与其他的移动体区域不同的显示方式，并输出被施行了图像处理的图片。
11.如权利要求2至9的任一项所述的移动体检测装置， 该移动体检测装置进一步具备记录或发送部，将由所述移动体检测部进行的移动体的检测结果，写入到记录装置，或者经由传输路径发送到外部。
12.如权利要求2至9的任一项所述的移动体检测装置， 该移动体检测装置进一步具备运动预测部，该运动预测部从构成由所述移动体检测部确定的类的移动轨迹中，算出代表该类的代表移动轨迹，按照算出的所述代表移动轨迹，将与该类对应的移动体的区域预测为在图片间移动，据此对所述移动体的运动进行预测。
13.如权利要求1所述的移动体检测装置， 所述子类间类似度计算部，通过使以子类间的类似度为要素的矩阵Z，反复与以子类间的移动轨迹的共用比例为要素的矩阵W相乘，来更新以子类间的类似度为要素的矩阵Z，从而计算子类间的类似度。
14.如权利要求13所述的移动体检测装置， 所述子类间类似度计算部，进一步，通过对以子类的可靠性为要素的矩阵Y进行加权并与更新后的矩阵Z相加，从 而计算子类间的类似度，所述子类的可靠性是指，与子类中所包含的移动轨迹的数量或者该子类中所包含的移动轨迹所构成的空间上的大小相对应的值。
15.一种移动体检测方法，通过执行用于确定运动图像中的移动体的全部或者一部分的区域的区域分割，从而对运动图像中的移动体进行检测，该移动体检测方法包括以下的步骤: 接受构成运动图像的并且至少由三张图片构成的多张图片的步骤； 从所述多张图片中，抽取多个至少由两张图片构成的图像子集，并按每个图像子集，算出多个该图像子集所包含的图片间的移动轨迹的步骤，所述移动轨迹是由构成图片的一个以上的像素构成的块的运动的轨迹； 按照每个图像子集，将该图像子集中所包含的被算出的多个移动轨迹，分类为子类的步骤； 在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度的步骤；以及 以被计算出的子类间的类似度越高的子类的集合，就越被分类为同一个类的方式，来将子类分类为类，并通过将与同一个类中所包含的移动轨迹相对应的各个作为移动体的区域来确定，从而对运动图像中的移动体进行检测的步骤。
16.一种程序，用于使计算机执行权利要求15所述的移动体检测方法中所包含的所有的步骤。
全文摘要
移动体检测装置(200)具备移动轨迹算出部(202)，按每个图像子集算出多个移动轨迹；子类分类部(213)，按每个图像子集将多个移动轨迹分类为子类；子类间类似度计算部(214A)，在任意的两个子类之间，算出表示同一个移动轨迹被共用的程度的移动轨迹的共用比例，并根据所述共用比例，计算子类间的类似度；以及移动体检测部(204B)，由所述子类间类似度计算部计算的子类间的类似度越高的子类的集合就越被分类为同一个类的方式，将子类分类为类，从而对运动图像中的移动体进行检测。
文档编号G06T7/20GK103189898SQ201280003439
公开日2013年7月3日 申请日期2012年3月13日 优先权日2011年3月22日
发明者岩崎正宏, 登一生, 甲本亚矢子 申请人:松下电器产业株式会社