专利名称：移动物体检测装置的制作方法
技术领域：
本发明涉及从动态图像数据中检测移动物体的移动物体检测装置。
背景技术：
过去，已经研究出了从动态图像数据中检测以步行者为代表的移动物体的方法。 移动物体检测方法是能够在监视用途、行驶车辆中的步行者检测、或者智能机器人等技术中应用的重要技术。
截止到目前已经研究出了许多方法，但是步行者是多关节物体且能够采取各种姿势，并且由于衣服、外部光及复杂的背景等的影响，有多种多样的外观，因而存在很难检测步行者的问题。
过去，作为从静态图像数据中检测人物的方法，已经公知有根据HOG (Histogram of Oriented Gradient :方向梯度直方图)特征与Adaboost识别器的组合来检测人物的方法(例如，参照非专利文献I)。
图32是用于说明非专利文献I记载的方法的图。如图32 (a)所示，在输入图像 10中设定规定尺寸的窗口 12。将窗口 12内部划分为多个块(patch)(块14a和14b等)， 对每个块计算HOG特征。
例如，参照图32 (b)说明块14a的HOG特征的计算方法。在将块14a内的各个像素的亮度值设为I (X，y)的情况下，计算各个像素的空间梯度Vl = [Uyl·并且，计算各个像素的空间亮度梯度方向Φ = tar^a/IJ。空间梯度VI与空间亮度梯度方向Φ的关系如图32 (C)所示。即，在设横轴为Ix、设纵轴为Iy的情况下，空间梯度VI形成的矢量与横轴Ix所成的角成为空间亮度梯度方向Φ。通过对块14a内的各个像素计算出空间亮度梯度方向Φ的频度，能够得到如图32 (d)所示的直方图。该直方图表示HOG特征。同样，对于块14b也能够得到如图32 (e)所示的HOG特征。通过对窗口 12内的所有块计算HOG特征，并作为Adaboost识别器的输入，Adaboost识别器判定窗口 12内有无人物。通过从输入图像10的左上角一直到右下角对该窗口 12进行光栅扫描，并在各个位置判定有无人物， 能够检测包含于输入图像10内的人物。
另外，空间梯度Vl = I^xJy]能够使用普通的一阶微分算子(Sobel、Roberts、 Rosenfeld等)计算出。因此,省略其详细说明。
将该HOG特征扩展得到的CoHOG特征也是公知的(例如，参照非专利文献2)。图 33是用于说明CoHOG特征的图。如图33 (a)所示，在与图32 (a)相同地考虑窗口 12的情况下，将窗口 12内部划分为多个块(块14b等)，对每个块计算CoHOG特征。
例如，说明块14b的CoHOG特征的计算方法。图33 (b)是将块14b放大的图。首先，按照图32 (b)所示，对于块14b内的各个像素计算空间亮度梯度方向Φ = tan-1 (Iy/ Ix)。然后，将块14b内的关注的像素设为P。，将像素P。的左斜下方的邻接像素、像素P。的下方的邻接像素、像素Ptl的右斜下方的邻接像素、像素Ptl的右侧邻接的邻接像素分别设为共现(co-occurrence)像素PpPyPyP4t5并且，将像素P。的空间亮度梯度方向设为Φ。，将CN 102947863 A书明说2/20 页共现像素Pi Cl = I 4)的空间亮度梯度方向设为Φι (i = I 4)。在将块14b内的各个像素作为关注的像素Ptl的情况下，生成以Φο和Φ 为变量组的二维直方图。该二维直方图表示CoHOG特征量。图33 (c)表示以(K和Ct1为变量组的二维直方图的一例，图33 (d)表示以(K和小2为变量组的二维直方图的一例，图33 (e)表示以(K和小3为变量组的二维直方图的一例。在图33所示的示例中，像素Pci与共现像素Pi (i = I 4)的组合有4个，因而从一个块14b能够得到4个CoHOG特征量。对所有的块计算这4个CoHOG特征量，并与HOG特征量同样地输入给Adaboost识别器等识别器，由此能够判定窗口 12内有无人物。另外，共现像素Pi不限于关注的像素Ptl的邻接像素，只要是和像素Ptl处于规定的位置关系的像素，则可以是任何像素。另外，共现像素Pi的个数不限于4个，能够适当选择个数。已经公知采用CoHOG特征量的方法的精度高于采用HOG特征量的方法。
作为将HOG特征量扩展得到的另一种特征量，还公知有HOGHOF特征量(例如，参照非专利文献3和4)。其中，HOF表示光流(optical flow)的方向的直方图。例如，在将图 32 (a)所示的块14a内的各个像素的光流设为u[ux，uy]的情况下，能够计算出光流的方向 Ψ为Ψ = tan_1(uy/ux)0与Φ相同地生成Ψ的直方图，并生成HOF特征量。通过利用将 HOG特征量和HOF特征量相结合的HOGHOF特征量，能够进行人物的行动分析。另外，作为光流的计算方法，能够采用梯度法或模板匹配法等各种方法。因此，省略其详细说明。
另外，作为将HOG特征量扩展得到的另一种特征量，还公知有3DH0G特征量(例如， 参照非专利文献5)。在3DH0G特征量中，在将静态图像数据沿时间轴方向排列得到的三维动态图像数据中，设定具有规定的体积的窗口。对于该窗口内的各个像素，利用一个矢量表示其空间上的形状和时间上的运动的特征。将该矢量与在窗口内虚拟设定的多面体的各个面的法线矢量进行比较，并投票于具有最接近的法线矢量的面上，由此生成以多面体的各个面为bin(直方图的柱，阶层)的直方图。该直方图表示3DH0G特征量。通过利用该3DH0G 特征量，能够进行人物的行动分析。
现有技术文献
非专利文献
非专利文献I :N. Dalai and B. Triggs, “Histograms of Oriented Gradients for Human Detection”，CVPRj pp.886-893，2005
非专利文献2:T. Watanabe，S. Ito and K. Yokoi，“Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection”，PSIVT，2009
非专利文献3:Ivan Laptev, M. Marsazlekj C. Schmid, B. Rozenfeldj “Learning realistic human actions from movies”，CVPR，2008
非专利文献4 :I. Laptev，P. Perez，“Retrieving actions in movie”，ICCV，2007
非专利文献5:Α· Klaserj M. Marszalekj C. Schmid, “A Spatio-TemporalDescriptor Based on 3D_Gradient”，BMVCj pp. 995-1004，2008发明概要
发明要解决的问题
但是，釆用HOG特征量及CoHOG特征量的方法均利用了与人物的形状相关的空间特征。因此，在从侧面观察人物的情况下，尤其是由于手脚部分轮廓形状变化，诸如步行者7CN 102947863 A书明说3/20 页那样各个关节的运动较大的情况下，这样的方法不适合。另外，这些方法也容易受到背景的变化或纹理的影响。
另外，采用HOGHOF特征量的方法容易受到照明变动或视点变化的影响，存在检测结果容易依赖于学习数据中包含的步行者的步行方向的问题。例如，在HOGHOF特征量中， 存在针对沿与学习时少许不同的方向步行的步行者的检测遗漏较多的问题。
另外，3DH0G特征量是空间上的形状与时间上的运动的特征相结合的、即考虑了共现的特征量。但是，实际步行者的空间上的形状与时间上的运动的结合是极其多样化的，在有限的学习集中很难充分表现这种步行者的多样性，其结果是产生步行者的检测遗漏。
另外，在采用普通的背景差分法的情况下，由于也是容易受到背景变化的影响的方法，因而不能稳定地从动态图像数据中检测移动物体。发明内容
本发明正是为了解决上述问题而提出的，其目的在于，提供一种移动物体检测装置，能够稳定地从动态图像数据中检测移动物体，而且不受复杂的背景或照明变动等的影响。
用于解决问题的手段
为了达到上述目的，本发明的某个方面的移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测·装置具有窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口 ；空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
根据这种结构，独立地计算表示空间上的亮度的梯度方向的分布的空间直方图和表示时间上的亮度的梯度方向的分布的时间直方图，并根据空间直方图和时间直方图判定有无移动物体。在移动物体是步行者的情况下，步行者通常是纵向的边缘成分较多，因而能够利用空间直方图区分检测步行者和背景。并且，通过一并考虑时间直方图，能够更加高精度地检测移动着的步行者和不移动的背景。另外，根据这种结构，能够独立表现空间上的特征和时间上的特征，而不需像3DH0G特征量那样结合表现空间上的特征和时间上的特征。 因此，能够利用空间上的特征和时间上的特征分别吸收背景及步行者的多样性或照明变动等的影响，因而即使是有限的学习集，也能够稳定地检测移动物体。
优选的是，上述的移动物体检测装置还具有光流方向计算部，对包含于所述窗口中的每个像素计算光流的方向；以及光流直方图计算部，计算所述窗口内的所述光流的方向的直方图即光流直方图，所述判定部根据所述空间直方图计算部计算出的所述空间直方图、所述时间直方图计算部计算出的所述时间直方图、和所述光流直方图计算部计算出的所述光流直方图，判定所述窗口内是否包含移动物体。8
根据这种结构，也考虑表示移动物体的运动方向的特征的光流直方图来进行移动物体的检测。因此，能够更加稳定地检测移动物体。
更优选的是，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第I变量组，计算所述窗口内的所述第I变量组的直方图， 所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述光流直方图计算部将相互处于所述规定的位置关系的多个像素的所述光流方向的组合设为第3变量组，计算所述窗口内的所述第3变量组的直方图，所述判定部根据所述第I变量组的直方图、所述第2变量组的直方图和所述第3变量组的直方图，判定所述窗口内是否包含移动物体。
根据这种结构，分别生成窗口内的表示空间亮度梯度方向的共现性的第I变量组的直方图、表示时间亮度梯度方向的共现性的第2变量组的直方图、及表示光流方向的共现性的第3变量组的直方图，根据这三种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。
另外，也可以是，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第I变量组，计算所述窗口内的所述第I变量组的直方图，所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述判定部根据所述第I变量组的直方图和所述第2变量组的直方图，判定所述窗口内是否包含移动物体。
根据这种结构，分别生成窗口内的表示空间亮度梯度方向的共现性的第I变量组的直方图和表示时间亮度梯度方向的共现性的第2变量组的直方图，根据这两种直方图来检测移动物体。通过利用这种表示同一特征量的时间空间内的共现性的直方图，能够稳定地检测移动物体。
另外，也可以是，上述的移动物体检测装置还具有缩小动态图像数据生成部，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及缩小窗口设定部，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口，由此在所述多个缩小动态图像数据中设定多个缩小窗口，所述空间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向， 所述空间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，所述时间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，所述缩小窗口设定部按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，所述判定部根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定部在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述判定部还判定在所述窗口设定部已设定的所述窗口内是否包含移动物体。
根据这种结构，能够在缩小动态图像数据中检测移动物体，并在通常的尺寸的动态图像数据中检测移动物体。即，能够在缩小动态图像数据中粗略地检测移动物体的位置， 并在通常的尺寸的动态图像数据中检测移动物体的具体位置。缩小动态图像数据的数据量少于通常的尺寸的动态图像数据。因此，利用这种方法能够快速地检测移动物体的具体位置。
另外，也可以是，上述的移动物体检测装置还具有缩小动态图像数据生成部，该缩小动态图像数据生成部生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据，所述窗口设定部还在各个所述缩小动态图像数据中设定所述窗口，所述空间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算空间亮度梯度方向，所述空间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小空间直方图，所述时间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算时间亮度梯度方向，所述时间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小时间直方图，所述判定部进行如下判定(a)从所述多个缩小比率中按照缩小比率从小到大的顺序来选择缩小比率作为对象缩小比率，并根据在以所述对象缩小比率而缩小得到的缩小动态图像数据中设定的所述窗口内的所述缩小空间直方图及所述缩小时间直方图，判定所述窗口内是否包含移动物体，直到判定为窗口内包含移动物体，(b)在判定为所述多个缩小动态图像中的任何缩小动态图像的所述窗口内均不包含移动物体的情况下，根据所述空间直方图及所述时间直方图判定在所述动态图像数据中设定的所述窗口内是否包含移动物体。
根据这种结构，使用相同尺寸的窗口、和各种尺寸的动态图像数据及缩小动态图像数据来检测移动物体。因此，能够检测各种大小的移动物体。
另外，也可以是，所述窗口设定部在所述动态图像数据中设定具有彼此不同的规定体积的多个窗口，所述空间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向，所述空间直方图计算部对所述多个窗口的每一个，计算该窗口内的空间直方图，所述时间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个窗口的每一个，计算该窗口内的时间直方图，所述判定部从所述多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的所述空间直方图及所述时间直方图，判定所述选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。
根据这种结构，设定体积不同的窗口，并判定每个窗口是否包含移动物体。因此， 能够检测各种尺寸的移动物体。
另外，本发明不仅能够实现为具有这种特征性的处理部的移动物体检测装置，而且也能够实现为将移动物体检测装置所包含的特征性的处理部执行的处理作为步骤的移动物体检测方法。并且，也能够实现为使计算机执行移动物体检测方法所包含的特征性步骤的程序。并且，这种程序当然能够通过⑶一 ROM (Compact Disc-Read Only Memory)等 计算机可读的非易失性记录介质或因特网等通信网络进行流通。发明效果根据本发明，能够稳定地从动态图像数据检测移动物体，而且不受复杂的背景或 照明变动等的影响。
图1是表示实施方式1的移动物体检测装置的功能性结构的框图。图2是表示动态图像数据的一例的图。图3是实施方式1的移动物体检测装置执行的处理的流程图。图4是用于说明实施方式1的移动物体检测装置计算的特征量的图。图5是表示时间直方图的性质的图。图6是表示实施方式1的变形例1的移动物体检测装置生成的图像金字塔的一例 的图。图7是表示实施方式1的变形例1的移动物体检测装置的功能性结构的框图。图8是实施方式1的变形例1的移动物体检测装置执行的处理的流程图。图9是表示实施方式1的变形例2的移动物体检测装置生成的图像金字塔的一例 的图。图10是表示实施方式1的变形例2的移动物体检测装置的功能性结构的框图。图11是实施方式1的变形例2的移动物体检测装置执行的处理的流程图。图12A是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检 测处理的图。图12B是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检 测处理的图。图12C是用于说明实施方式1的变形例3的移动物体检测装置执行的移动物体检 测处理的图。图13是实施方式1的变形例3的移动物体检测装置执行的处理的流程图。图14是表示实施方式2的移动物体检测装置的功能性结构的框图。图15是实施方式2的移动物体检测装置执行的处理的流程图。图16是用于说明实施方式2的移动物体检测装置计算的特征量的图。图17是用于说明实施方式2的移动物体检测装置计算的特征量的图。图18是用于说明实施方式3的移动物体检测装置计算的特征量的图。图19是表示针对在雨天拍摄到的动态图像数据采用各种特征量的检测方法的 RPC (Recal 1-precis ion curve :查全率与查准率曲线)的曲线图。图20是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的 图。图21是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的 图。图22是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图23是用于针对在雨天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图24是表示针对在晴天拍摄到的动态图像数据采用各种特征量的检测方法的RPC的曲线图。
图25是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图26是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图27是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图28是用于针对在晴天拍摄到的动态图像数据将步行者的检测结果进行比较的图。
图29是表示使用实施方式I所示的特征量即STHOG特征量进行步行者检测的结果的图。
图30是表示使用实施方式I所示的特征量即STHOG特征量进行步行者检测的结果的图。
图31是表示使用实施方式I所示的特征量即STHOG特征量检测骑单轮车的人物的结果的图。
图32是用于说明非专利文献I记载的方法的图。
图33是用于说明CoHOG特征的图。
具体实施方式
下面，参照
本发明的实施方式的移动物体检测装置。
(实施方式I)
图I是表示实施方式I的移动物体检测装置的功能性结构的框图。
移动物体检测装置100是从动态图像数据检测移动物体的装置，具有窗口设定部102、空间亮度梯度方向计算部104、空间直方图计算部106、时间亮度梯度方向计算部108、 时间直方图计算部110和判定部112。
窗口设定部102在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口。
空间亮度梯度方向计算部104对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向。
空间直方图计算部106计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图。
时间亮度梯度方向计算部108对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向。
时间直方图计算部110计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图。
判定部112根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
图2是表示动态图像数据的一例的图。将X y平面上的二维图像数据40沿时间轴t方向排列η个(η为2以上的整数)得到的三维图像数据成为动态图像数据。该动态图像数据被输入给移动物体检测装置100。
图3是移动物体检测装置100执行的处理的流程图。
参照图4 (a)，窗口设定部102在动态图像数据50中设定窗口 52 (S2)。窗口 52 在X轴方向、y轴方向及t轴方向具有规定宽度。S卩，窗口 52不是平面而是具有固定的体积的长方体。窗口 52的初始位置例如是窗口 52的左上角坐标为原点(X，y, t) = (O, O, O) 的位置。另外，窗口 52被划分为多个块(例如块54a和54b等)。但是，窗口 52也可以不划分为块，在这种情况下，窗口的大小与块的大小相同。块与窗口 52相同地是长方体而非平面。
空间亮度梯度方向计算部104对包含于窗口 52中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向(S4)。参照图4 (b)，在将窗口 52内的各个像素的亮度值设为I (x，y，t)的情况下，空间亮度梯度方向计算部104计算各个像素的时间空间梯度 ▽ l = 丄，I丄并且，根据下式(I)计算出各个像素的空间亮度梯度方向φ。另外，Ix表示 X轴方向的亮度值的梯度，Iy表示y轴方向的亮度值的梯度。It表示t轴(时间轴)方向的亮度值的梯度。Ix、Iy& It的值能够使用普通的一阶微分算子(SobeURobertiRosenfeld 等)计算出。因此，省略其详细说明。
Φ = tarT1 (Iy/Ix) ... (I)
时间空间梯度ψ 与空间亮度梯度方向Φ的关系如图4 (C)所示。S卩，在将以Ix、 Iy及It为轴的三维空间中的矢量VI投影于IxIy平面上得到的矢量55与Ix轴形成的角成为空间亮度梯度方向Φ。
空间直方图计算部106对每个块计算块内的空间亮度梯度方向Φ的直方图即空间直方图(S6)。例如，通过以规定的幅度对空间亮度梯度方向Φ进行量化(例如以30度的幅度进行量化)，并计数空间亮度梯度方向Φ的频度，能够计算出如图4 (d)所示的空间直方图。空间直方图计算部106按照块的个数来计算这种空间直方图。例如，在设量化的幅度为30度、设空间亮度梯度方向Φ能取的值的范围为O度 180度的情况下，空间直方图具有6个(=180/30) bin。其中，图4 (d)所示的空间直方图具有8个bin。
时间亮度梯度方向计算部108对包含于窗口 52中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向(S8)。参照图4 (b)，时间亮度梯度方向计算部108根据下式(2)计算出各个像素的时间亮度梯度方向Θ。
[数式I]
权利要求
1.一种移动物体检测装置，从动态图像数据中检测移动物体，该移动物体检测装置具有窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口 ；空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
2.根据权利要求I所述的移动物体检测装置，所述移动物体检测装置还具有光流方向计算部，对包含于所述窗口中的每个像素计算光流的方向；以及光流直方图计算部，计算所述窗口内的所述光流的方向的直方图即光流直方图，所述判定部根据所述空间直方图计算部计算出的所述空间直方图、所述时间直方图计算部计算出的所述时间直方图、和所述光流直方图计算部计算出的所述光流直方图，判定所述窗口内是否包含移动物体。
3.根据权利要求2所述的移动物体检测装置，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第I变量组，计算所述窗口内的所述第I变量组的直方图，所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述光流直方图计算部将相互处于所述规定的位置关系的多个像素的所述光流方向的组合设为第3变量组，计算所述窗口内的所述第3变量组的直方图，所述判定部根据所述第I变量组的直方图、所述第2变量组的直方图和所述第3变量组的直方图，判定所述窗口内是否包含移动物体。
4.根据权利要求I所述的移动物体检测装置，所述空间直方图计算部将相互处于规定的位置关系的多个像素的所述空间亮度梯度方向的组合设为第I变量组，计算所述窗口内的所述第I变量组的直方图，所述时间直方图计算部将相互处于所述规定的位置关系的多个像素的所述时间亮度梯度方向的组合设为第2变量组，计算所述窗口内的所述第2变量组的直方图，所述判定部根据所述第I变量组的直方图和所述第2变量组的直方图，判定所述窗口内是否包含移动物体。
5.根据权利要求I 4中任意一项所述的移动物体检测装置，所述空间亮度梯度方向计算部对包含于所述窗口内的每个像素，在将该像素的X轴方向的亮度值的梯度设为Ix、将y轴方向的亮度值的梯度设为Iy的情况下，根据下面的式(I) 计算出空间亮度梯度方向Φ，Φ = tan-1 (Iy/Ix)…(I)。
6.根据权利要求I 5中任意一项所述的移动物体检测装置，所述时间亮度梯度方向计算部对包含于所述窗口内的每个像素，在将该像素的X轴方向的亮度值的梯度设为Ix、将y轴方向的亮度值的梯度设为Iy、将时间轴方向的亮度值的梯度设为It的情况下，根据下面的式(2)计算出时间亮度梯度方向Θ，[数式I]# = tan-+/；) "狐
7.根据权利要求I 6中任意一项所述的移动物体检测装置，所述移动物体检测装置还具有缩小动态图像数据生成部，生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据；以及缩小窗口设定部，对于所述多个缩小动态图像数据的每一个，在该缩小动态图像数据中设定以在生成该缩小动态图像数据时使用的缩小比率将所述窗口缩小得到的缩小窗口， 由此在所述多个缩小动态图像数据中设定多个缩小窗口，所述空间亮度梯度方向计算部对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算空间亮度梯度方向，所述空间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小空间直方图，所述时间亮度梯度方向计算部还对于所述多个缩小窗口的每一个，对包含于该缩小窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个缩小窗口的每一个，计算该缩小窗口内的缩小时间直方图，所述缩小窗口设定部按照所述缩小比率从小到大的顺序来选择所述多个缩小比率作为对象缩小比率，并在所述对象缩小比率的缩小动态图像数据中设定所述对象缩小比率的缩小窗口，所述判定部根据所述对象缩小比率的缩小空间直方图和所述缩小时间直方图，判定所述对象缩小比率的所述缩小窗口内是否包含移动物体，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述窗口设定部在从与所述对象缩小比率的所述缩小动态图像数据中的所述缩小窗口的设定位置相对应的所述动态图像数据中的位置起到规定范围内的位置依次设定所述窗口，在所述判定部判定为所述缩小窗口内包含移动物体的情况下，所述判定部还判定在所述窗口设定部已设定的所述窗口内是否包含移动物体。
8.根据权利要求I 6中任意一项所述的移动物体检测装置，所述移动物体检测装置还具有缩小动态图像数据生成部，该缩小动态图像数据生成部生成以规定的多个缩小比率将所述动态图像数据分别缩小得到的多个缩小动态图像数据， 所述窗口设定部还在各个所述缩小动态图像数据中设定所述窗口，所述空间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算空间亮度梯度方向，所述空间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小空间直方图，所述时间亮度梯度方向计算部还对所述多个缩小动态图像数据的每一个，对在该缩小动态图像数据中设定的所述窗口中所包含的每个像素计算时间亮度梯度方向，所述时间直方图计算部还对所述多个缩小动态图像数据的每一个，计算在该缩小动态图像数据中设定的所述窗口内的缩小时间直方图，所述判定部进行如下判定(a)从所述多个缩小比率中按照缩小比率从小到大的顺序来选择缩小比率作为对象缩小比率，并根据在以所述对象缩小比率而缩小得到的缩小动态图像数据中设定的所述窗口内的所述缩小空间直方图及所述缩小时间直方图，判定所述窗口内是否包含移动物体，直到判定为窗口内包含移动物体，(b)在判定为所述多个缩小动态图像中的任何缩小动态图像的所述窗口内均不包含移动物体的情况下，根据所述空间直方图及所述时间直方图判定在所述动态图像数据中设定的所述窗口内是否包含移动物体。
9.根据权利要求I 6中任意一项所述的移动物体检测装置，所述窗口设定部在所述动态图像数据中设定具有彼此不同的规定体积的多个窗口， 所述空间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算空间亮度梯度方向，所述空间直方图计算部对所述多个窗口的每一个，计算该窗口内的空间直方图，所述时间亮度梯度方向计算部对于所述多个窗口的每一个，对包含于该窗口中的每个像素计算时间亮度梯度方向，所述时间直方图计算部对于所述多个窗口的每一个，计算该窗口内的时间直方图，所述判定部从所述多个窗口中按照体积从大到小的顺序依次进行选择，并根据针对所选择的窗口的所述空间直方图及所述时间直方图，判定所述选择的窗口内是否包含移动物体，直到判定为窗口内包含移动物体。
10.根据权利要求I 9中任意一项所述的移动物体检测装置，所述空间直方图计算部计算出的所述空间直方图的各个柱中的所述空间亮度梯度方向的宽度是固定的，所述时间直方图计算部计算出的所述时间直方图的各个柱中的所述时间亮度梯度方向的宽度是固定的。
11.一种移动物体检测方法，从动态图像数据中检测移动物体，该移动物体检测方法包括窗口设定步骤，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口；空间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；空间直方图计算步骤，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；时间直方图计算步骤，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及判定步骤，根据所述空间直方图计算步骤计算出的所述空间直方图和所述时间直方图计算步骤计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
12.—种程序，从动态图像数据中检测移动物体，该程序使计算机执行以下步骤 窗口设定步骤，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口 ；空间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；空间直方图计算步骤，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算步骤，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；时间直方图计算步骤，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及判定步骤，根据所述空间直方图计算步骤计算出的所述空间直方图和所述时间直方图计算步骤计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
13.一种集成电路，从动态图像数据中检测移动物体，该集成电路具有窗口设定部，在将二维图像数据沿时间轴方向排列得到的三维图像数据即动态图像数据中，设定具有规定的体积的窗口 ；空间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算空间上的亮度的梯度方向即空间亮度梯度方向；空间直方图计算部，计算所述窗口内的所述空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部，对包含于所述窗口中的每个像素，计算时间上的亮度的梯度方向即时间亮度梯度方向；时间直方图计算部，计算所述窗口内的所述时间亮度梯度方向的直方图即时间直方图；以及判定部，根据所述空间直方图计算部计算出的所述空间直方图和所述时间直方图计算部计算出的所述时间直方图，判定所述窗口内是否包含移动物体。
全文摘要
移动物体检测装置(100)具有窗口设定部(102)，在动态图像数据中设定具有规定的体积的窗口；空间亮度梯度方向计算部(104)，对包含于窗口中的每个像素计算空间亮度梯度方向；空间直方图计算部(106)，计算窗口内的空间亮度梯度方向的直方图即空间直方图；时间亮度梯度方向计算部(108)，对包含于窗口中的每个像素计算时间亮度梯度方向；时间直方图计算部(110)，计算窗口内的时间亮度梯度方向的直方图即时间直方图；以及判定部(112)，根据空间直方图和时间直方图，判定窗口内是否包含移动物体。
文档编号G06T7/20GK102947863SQ20118003028
公开日2013年2月27日 申请日期2011年6月20日 优先权日2010年6月23日
发明者八木康史, 槙原靖, 华春生 申请人:国立大学法人大阪大学