图像处理装置、图像处理方法以及程序的制作方法

专利名称：图像处理装置、图像处理方法以及程序的制作方法
技术领域：
本技术涉及图像处理装置、图像处理方法以及程序，尤其涉及在不动体的检测中，也就是说，在留下的物体或被带走的物体的检测中可以抑制误检的图像处理装置、图像处理方法以及程序。
背景技术：
例如，作为检测有人留下可疑物或带走陈列在陈列室中的展品的技术，存在检测作为图像中的不动体，既不是背景也不动的一部分的方法。检测不动体的不动体检测方法包括从图像中检测静止区域并将新检测静止区域登记为背景以创建多个背景，以及即使一个静止物体出现在另一个静止物体的前面和两个静止物体彼此重叠,也可以分开检测两个静止物体的方法(例如，参照W0/2009/005141)。而且，不动体检测方法包括以多种时标进行背景的更新等以保证抗干扰的健壮性的方法(例如，参照日本待审专利申请公告第2008-257693号)。另外，在公开在W0/2009/005141中的不动体检测方法中，可能将树木的晃动等错误地检测成静止物体(不动体)。此外,在公开在W0/2009/005141中的不动体检测方法中，为了将静止物体彼此分开，由于需要计算各种类型的特征量并且还有必要进行归类，所以使运算量增加，使得不适合实时处理。而且，在公开在日本待审专利申请公告第2008-257693号中的不动体检测方法中，当两个静止物体彼此重叠时，不能保证将两个静止物体适当地检测成不动体。而且，按照在运动体检测、不动体检测等中使用背景图像的代表性检测技术，可能未生成正常背景，以及在人或像车辆那样的物体频繁通过的区域中可能得到错误结果。为了应付这样的情况，日本待审专利申请公告第2004-265291号提出了一种技术:计算亮度值的离差作为每个像素的变化以确定该区域是否是可以处理的有效区。而且，还提出了通过排除确定为无效区的区域进行各种处理的背景差方法。但是，按照在日本待审专利申请公告第2004-265291号中提出的方法，由于有效区是根据亮度值的标准偏差(离差)确定的，所以不可能唯一地区分实际难以创建背景的状况。例如，当使用多项分布检测背景时，在人频繁通过的状况下难以创建背景，但在像闪光那样亮度值差大的状况下可以生成背景。按照在日本待审专利申请公告第2004-265291号中提出的方法，由于有效区是根据亮度值的离差确定的，所以可能将此确定为相同的“无效区”。因此，由于不可能确定是否存在由难以创建背景造成的不可检测区，所以可能无法精确生成背景。而且，日本待审专利申请公告第2006-331306号提出了将每个像素的随时间变化确定为中间类别、不稳定类别等的方法。但是，按照这种确定方法，由于只根据多种分布的权重确定稳定性，所以难以确定在短时间内发生变化的区域，或由频繁通过引起的实际困难区域。因此，在这种情况下，也可能无法精确生成背景。

发明内容
作为不动体检测方法，越来越需要一种能够在抑制误检的同时高精度地检测不动体的方法。监于上述情况，本技术的目的是在抑制误检的同时进行健壮不动体检测。本技术的一个实施例的图像处理装置包括:生成单元，配置成从所获取图像中生成多项分布的背景模型，并生成背景；以及确定单元，配置成确定是否可以从所述生成单元生成的背景模型中生成置信度高的背景。所述背景模型包括将预定坐标上的亮度值与亮度值的出现频率相联系的分布，以及当频率最高的分布大于预定值时，所述确定单元确定可以生成置信度高的背景。所述预定值是从多项分布的项数和背景模型的更新次数中计算的。向用户展示所述确定单元确定为不能生成置信度高的背景的区域的区域。所述图像处理装置进一步包括:运动体检测单元，配置成从当前图像中检测作为与所述生成单元生成的背景不同的图像的运动体；暂时停止确定单元，配置成确定运动体是否暂停了预定时间间隔或更长；置信度处理单元，配置成使用包括暂时停止物体的暂时停止图像为当前图像的像素计算不动体置信度，所述暂时停止物体是暂停了预定时间间隔或更长的运动体，所述不动体置信度代表成为不动体一在预定时间间隔或更长内不变的与背景不同的图像的可能性；以及不动体检测单元，配置成根据所述不动体置信度从当前图像中检测不动体。本技术的一个实施例的图像处理方法包括:从所获取图像中生成多项分布的背景模型，并生成背景；以及确定是否可以从所生成背景模型中生成置信度高的背景。本技术的一个实施例的程序使计算机起如下作用:生成单元，配置成从所获取图像中生成多项分布的背景模型，并生成背景；以及确定单元，配置成确定是否可以从所述生成单元生成的背景模型中生成置信度高的背景。依照按照本技术一个实施例的图像处理装置、图像处理方法以及程序，从所获取图像中生成多项分布的背景模型，并确定是否可以从所生成背景模型中生成置信度高的背
景另外，所述图像处理装置可以是独立装置或构成一台装置的内部块。而且，所述程序可以通过经由传输媒体传输或寄存在记录媒体上来提供。按照本技术，可以在抑制误检的同时进行健壮不动体检测。


图1是例示应用本技术的不动体检测装置的一个实施例的配置例子的方块图；图2是描述不动体检测装置的处理概况的图形；图3A和图3B是描述背景模型的图形；图4是描述背景模型的生成的流程图；图5A和图5B是描述背景模型的图形；图6A和图6B是描述背景模型的图形；图7A和图7B是描述背景模型的图形；图8是例示运动体检测单元31的配置例子的方块图9是描述运动体检测单元31中的运动体检测原理的图形；图10是描述暂时停止确定单元32的处理的图形；图11是描述置信度处理单元35的处理的图形；图12A-图12C是描述置信度处理单元35更新不动体置信度的概况的图形；图13是描述置信度处理单元35更新不动体置信度的细节的图形；图14A和图14B是例示置信度处理单元35更新的不动体置信度C (X)的变化的图形；图15是描述置信度处理单元35对不动体置信度C(X)的初始值C。的设置的图形；图16是描述不动体检测装置的处理(不动体检测处理)的流程图；图17是例示不动体检测装置的另一个配置例子的方块图；图18是描述不动体检测装置的处理的图形；图19是描述不动体置信度C(X)单调降低时阻止像素X被检测为不动体的图形；图20是描述三个暂时停止图像和置信度图像被分别存储在存储单元34和36中时不动体检测装置的处理的图形；图21是例示网络摄像机的配置例子的方块图；以及图22是例示应用本技术的计算机的一个实施例的配置例子的方块图。
具体实施例方式在下文中，将参考附图详细描述本技术的优选实施例。注意，在这个说明书以及附图中，具有大致相同功能和结构的结构元件用相同标号表示，并省略对这些结构元件的重复说明。[应用本技术的不动体检测装置的实施例]图1是例示应用本技术的图像处理装置的不动体检测装置的一个实施例的配置例子的方块图。在图1中，不动体检测装置包括图像获取单元11、背景生成单元21、不可处理区确定单元22、运动体检测单元31、暂时停止确定单元32、暂时停止图像处理单元33、存储单元34、置信度处理单元35、存储单元36、不动体检测单元37、和不动体展示单元38，以及检测和展示不动体。图像获取单元11获取和输出预定速率的图像(运动图像)。也就是说，图像获取单元11是，例如，摄像机，以预定速率捕获像陈列室那样安装了摄像机的预定地方的图像，并输出捕获的图像。而且，图像获取单元11从摄像机(未示出)获取，例如，捕获预定地方获得的图像，进行提高图像清晰度的图像处理，并输出高清晰度图像。另外，图像获取单元11获取的图像可以是彩色图像或黑白图像。这里，假设获取单元11获取的图像是黑白图像。在这种情况下，在如下描述中，像素的数量是亮度值。将从图像获取单元11输出的图像供应给背景生成单元21、运动体检测单元31、暂时停止图像处理单元33、置信度处理单元35、和不动体展示单元38。背景生成单元21使用作为图像获取单元11供应的最后图像的当前图像等生成背景(图像)，并将生成的背景供应给不可处理区确定单元22和置信度处理单元35。不可处理区确定单元22检测其中未正常生成背景的区域，并将检测的区域供应给不动体展示单元38。不动体展示单元38向用户展示未正常生成背景的区域。运动体检测单元31在来自图像获取单元11的当前图像中检测作为与背景不同的图像的运动体(图像)，并将作为围绕运动体的最小长方形区域的运动体区域供应给暂时停止确定单元32和暂时停止图像处理单元33。暂时停止确定单元32确定包括在来自运动体检测单元31的运动体区域中的运动体是否暂停(也称为暂时停止)了预定时间间隔或更长。当确定运动体暂时停止时，暂时停止确定单元32复制暂时停止运动体的运动体区域中的图像作为反映在暂时停止图像上的暂时停止物体，并将该图像供应给暂时停止图像处理单元33，在该暂时停止图像上，暂时停止的物体(暂时停止物体)被反映。暂时停止图像处理单元33将暂时停止确定单元32供应的暂住停止物体登记(存储)在存储单元34中。也就是说，存储单元34是，例如，存储暂时停止图像的帧存储器，且暂时停止图像处理单元33将包括在存储于存储单元34中的图像(暂时停止图像)中、来自暂时停止确定单元32的暂时停止物体的区域中的像素的像素值更新成暂时停止物体的像素值。而且，暂时停止图像处理单元33使用来自图像获取单元11的当前图像和来自运动体检测单元31的运动体(运动体区域)更新存储在存储单元34中的暂时停止图像。也就是说，暂时停止图像处理单元33通过登记在存储单元34中的暂时停止图像(暂时停止物体)和来自图像获取单元11的当前图像的加权相加，更新反映在登记(存储)于存储单元34中的暂时停止图像上的暂时停止物体中，未包括在来自运动体检测单元31的运动体中的像素的像素值。详细地说，如果在时间t的图像(当前图像)的像素X的像素值用It(X)表达，在早I个时间单位的时间t-1的存储在存储单元34中的暂时停止图像的像素X的像素值用Pt-! (X)表达，以及在时间t的暂时停止图像处理单元33获得的更新暂时停止图像的像素X的像素值用Pt(X)表达，则 暂时停止图像处理单元33在反映在存储于存储单元34中的暂时停止图像上的暂时停止物体的像素当中，按照下面的方程I对运动体的像素，和按照下面的方程2对未包括在运动体中的像素计算在时间t的暂时停止图像(更新暂时停止图像)的像素X的像素值Pt⑴:Pt ⑴=P^ (X)(I)Pt ⑴= (l-a' ) Ph (X)+ a It(X)(2)按照基于上面方程2的暂时停止图像的更新，在图像获取单元11获取的图像的整个屏幕的亮度因太阳光或照明的变化而发生变化的状态下，可以适当地更新反映在存储于存储单元34中的暂时停止图像上的暂时停止物体的亮度(像素值)，以便该亮度最大程度地接近当前亮度(当前图像的亮度)，使得抗图像亮度变化的健壮性得到提高。因此，可以高精度地进行不动体检测。另外，按照上面的方程(1)，不更新与当前图像的运动体重叠、反映在暂时停止图像上的暂时停止物体的一部分的像素值(保持更新之前的值)。这是为了防止当像行人那样的运动体从暂时停止物体的前侧通过时，根据行人(运动体)的像素值改写(更新)暂时停止物体的像素值。置信度处理单元35使用来自图像获取单元11的当前图像、来自背景生成单元21的背景、和存储在存储单元34中的暂时停止图像，为当前图像的每个像素(或一些相邻像素)计算不动体置信度，并将不动体置信度登记(存储)在存储单元36中，其中不动体置信度代表成为不动体的可能性，所述不动体是在预定时间间隔或更长内不变的与背景不同的图像。存储单元36存储置信度图像，其中将来自置信度处理单元35的当前图像的每个像素的不动体置信度用作像素值。不动体检测单元37根据存储在存储单元36中的置信度图像从当前图像中检测不动体，并将检测的不动体供应给不动体展示单元38。也就是说，不动体检测单元37使用阈值对不动体置信度一其是存储在存储单元36中的置信度图像的像素值一进行二值化(将大于等于阈值的不动体置信度设置成1，而将小于阈值的不动体置信度设置成0)，从而获得二值化置信度图像。此外，不动体检测单元37对二值化置信度图像进行标记，以便在像素值为I的像素(不动体置信度大于等于阈值的像素)和与该像素相邻的八个像素之间将相同标记附在像素值为I的像素上，从而检测围绕包括像素值为I的像素的区域的最小长方形区域作为不动体的区域(不动体区域)。然后，不动体检测单元37分析(获取)指定不动体(区域)的信息，诸如作为不动体区域的长方形的大小(水平和垂直像素的数量)、长方形的中心或左上角的坐标等，并将该信息供应给不动体展示单元38作为不动体信息。根据来自不动体检测单元37的不动体信息，不动体展示单元38按照必要性，使用来自图像获取单元11的当前图像展示不动体(不动体的检测目的)。也就是说，如果不动体检测单元37供应了不动体信息，则不动体展示单元38通过声音、图像、灯泡的闪烁或发光等向用户展示不动体的检测目的(通知用户)。而且，不动体展示单元38将围绕由来自不动体检测单元37的不动体信息指定的不动体区域的框架的屏幕显示(OSD)叠加在来自图像获取单元11的当前图像上，并使OSD显示在显示装置(未例示)上。另外，只有当不动体(不动体区域)具有预定大小SA或更大时，才可以让不动体展示单元38展示不动体。而且，只有当不动体具有预定大小SA或更小时，才可以让不动体展示单元38展示不动体。此外，只有当不动体具有预定大小SA或更大以及具有另一个预定大小SB (>SA)或更小时,才可以让不动体展示单元38展示不动体。例如,预定大小SA或SB的设置可以通过用户针对不动体检测装置的操作来进行。图2是说明图1的不动体检测装置的处理概况的图形。也就是说，图2例示了图1的图像获取单元11获取的图像的时序例子。在图2中，在时间A的图像上，反映了房屋和生长在房屋芳边的树木。在时间h之后的时间t2的图像上，除了房屋和树木之外，反映了停在房屋前面的汽车，以及在时间t2上反映了从屏幕的右边走向左边的行人。在时间t2之后的时间t3的图像上，反映了房屋、树木、汽车、和移动到屏幕左侧的行人。然后，在时间t3之后的时间t4上，由于行人已经走过屏幕，所以在时间t4的图像上反映了房屋、树木、和汽车，但行人已经消失了。
在这种情况下，在图1的不动体检测装置中，将时间h的图像用作背景(图像)，并检测从时间t2开始停放和与背景不同的汽车(的图像)作为不动体。而且，在图1的不动体检测装置中，由于行人对应于靠行走移动的运动体，所以不将行人检测为不动体。如上所述，在图1的不动体检测装置中，检测图像中在预定时间间隔或更长内不变和与背景不同的部分作为不动体。因此，在图1的不动体检测装置中，例如，如图2所例示，在在时间h包括房屋和树木的图像是背景的情况下，当汽车停放在房屋的前面并留下来时，将汽车检测成不动体。另夕卜，例如，在在时间t4包括房屋、树木、和停放汽车的图像是背景的情况下，当停放的汽车留下来时，将汽车(包括汽车的部分)检测成不动体。[背景生成单元21]图3A是例示背景生成单元21生成的背景模型的例子的图形。在例示在图3A中的背景模型中，水平轴表示亮度值，以及垂直轴表示权重(出现频率)。例示在图3A中的背景模型是用三项分布模拟背景获得的例子。这里，将三项分布作为例子来描述。但是，本技术不局限于三项分布。例如，本技术也可以应用于多项分布。而且，三项分布具有如图3A所例示的三个峰，其中从左侧开始适当地写成第一项、第二项、和第三项。例示在图3A中的背景模型是沿着预定像素的时间方向创建的。如图3B所例示，每种分布包括平均亮度值、权重、和范围三个指标。一种分布的水平轴表示有关平均亮度值的预定范围。该范围中的亮度值的出现频率被表示成一种分布的高度。有关平均亮度值的范围将被继续描述为固定值，以及同一范围将被继续描述为用在每种分布中。但是，可以使用可变值，或在每种分布中可以使用不同范围。而且，可以使每项具有离差等，例如，在使用所谓混合正态分布、和视为相同分布的范围的背景创建技术中有必要已知的参数可以用作随该范围变化的参数。下面描述背景模型的生成。首先，图像获取单元11获取像摄像机那样的拍摄设备拍摄的图像，或像来自另一个再生设备的输入信号那样的图像。按照必要性使获取的图像经受像图像除噪或分辨率提高处理那样的信号处理，然后供应给背景生成单元21。背景生成单元21通过分析供应的时序图像信号进行背景模拟。在估计背景时的每个像素中，创建例示在图3中的多项分布的背景模型。对于每个像素中的生成，例如，在处理了 100个帧的时刻从100个像素的亮度值中生成背景模型。而且，当一个帧包括100个像素时，在每个像素中生成如图3所例示的100个背景模型。参照图4的流程图，描述背景生成单元21进行的背景模型生成。在步骤SI中，搜索包括当前帧的亮度值(在要处理的预定坐标上的像素的亮度值)的所希望分布。首先，从分布中获取当前帧的亮度值与平均亮度值最接近的分布，确定当前帧的亮度值是否包括在所获得分布的范围之内，以及当当前帧的亮度值包括在该范围中时，所获得的分布就是所希望的分布。作为搜索的结果，在步骤S2中确定是否已经找到包括当前帧的亮度值的所希望分布。假设已经处理了一个帧和已经创建了例示在图3A中的背景模型。当前亮度值可以是如图5A所例示的预定分布内的亮度值，或如图5B所例示的预定分布外的亮度值。如图5A所例示，当当前亮度值是预定分布内的亮度值时，确定在步骤S2中找到了所希望分布，并进行步骤S3的处理。
在步骤S3中，更新包括当前亮度值的分布。参考图6描述这种更新。图6A使用与图5A中相同的背景模型，并例示了当前亮度值包括在第二项的分布中的情况。在这种情况下，更新平均亮度值和第二项的分布的权重(频率)。图6B例示了更新之后的背景模型。如图6B所例示，可以明白，更新之后的第二项的分布的频率与例示在图6A中的更新之前的第二项的分布的频率提高了。而且，当前亮度值处在例示在图6A中的更新之前的第二项的分布的右端上，但处在例示在图6B中的更新之后的第二项的分布的近似中心(近似平均亮度值)上。平均亮度值根据下面的方程3来更新。也就是说，如果时间t的图像(当前图像)的位置X的像素(下文也称为像素X)的像素值用It(X)表达，在早I个时间单位的时间t-1的背景生成单元21生成的背景的像素X的像素值用Bw(X)表达，以及在时间t的背景生成单元21生成的背景的像素X的像素值用Bt (X)表达，则背景生成单元21，例如，按照下面的方程(3)计算时间t的背景的像素X的像素值Bt (X):方程3Bt (X) = (1-a ) Bw (X)+ a It(X)在上面的方程3中，系数a表示0〈 a〈1.0范围内的值。按照上面的方程3，背景生成单元21通过从过去时间t_ AT+1到当前时间t的时间AT的图像的加权相加(近似)同等地获取背景，并且在每个像素中生成如图6所例示的背景模型。如果系数a变小，则长间隔地更新按照上面方程3获得的背景。也就是说，在上面方程3的系数a具有小值的情况下，即使在图像中发生变化，如果变化之后图像的状态未持续一长段时间，则在背景中不反映系数a。而且，如果系数a变大，则短间隔地更新按照上面方程3获得的背景。也就是说，在上面方程3的系数a具有大值的情况下，当在图像中发生变化时，如果变化之后图像的状态持续一小段时间，则在背景中反映系数a。当至少在时间m内未移动的物体被检测为不动体时，如果时间m被定义为不动体识别时间m，则优选的是背景生成单元21生成的背景的更新间隔长于不动体识别时间m，例如，大约是不动体识别时间m的五倍那么长。也就是说，即使在图像中发生变化，如果变化之后的图像的状态只持续与大约不动体识别时间m的五倍相对应的时间，则也将系数a设置成反映在背景中的值。这里，不动体识别时间m可以，例如，由用户操作图1的不动体检测装置来设置，以及背景生成单元21按照不动体识别时间m设置系数a。另外，背景生成单元21的背景生成方法不局限于使用上面方程3的方法。也就是说，可以让背景生成单元21应用使用高斯混合模型(加权混合正态分布)等创建背景的方法。平均亮度值根据上面的方程3来更新。程度(频率)根据下面的方程4来更新。如果更新之前的频率用Ws (t，X)表达，以及更新之后的频率用Ws (t+1, X)表达，则如下面的方程4那样计算程度:方程4Ws (t+1, X) =Ws (t, X) +(N-1)
在上面的方程4中，N表示项数。这里，由于将三项分布作为例子来描述，所以N是3。另外，根据上面的方程4计算频率。在这种情况下，(N-1)部分是固定值2(=3_1)。但是，该固定值可以是除了 “2”之外的其它数值。例如，该固定值可以是“I”。在步骤S3中，当更新分布时，也存储更新次数。更新次数是处理帧的数量的累计值。如上所述，当要处理的当前帧中的像素的亮度值在已创建背景模型的分布之内时，更新分布的频率和平均亮度值。同时，当在步骤S2中确定未找到包括要处理的当前帧的亮度值的所希望分布时，进行步骤S4的处理。在步骤S4中，删除不必要分布并创建新分布。步骤S4的处理将参考图7来描述。图7A使用与图5A中相同的背景模型，并例示了当前亮度值包括在第二项的分布与第三项的分布之间的情况。当包括当前亮度值的分布不是背景模型时，从那时的背景模型中搜索权重(频率)最低的分布并删除它。在例示在图7A中的例子中，由于第三项的分布的权重最低，所以删除第三项的分布。然后，新创建将当前亮度值用作平均亮度值的分布。如上所述进行分布的删除和创建(更新)之后的背景模型例示在图7B中。如图7B所例示，在删除了第三项的分布之后，新创建了将当前亮度值用作平均亮度值和具有平均亮度值在其中心上的预定范围的分布作为第三项的分布。将新创建分布的权重设置成具有与上面方程4中的(N-1)相同的值。如上所述，当N是3时，新创建分布的权重是2。而且，当(N-1)是固定值“I”时，将权重设置成固定值。另外，更新时的权重和新创建时的权重不局限于相同值。例如，可以将这些权重设置成不同值。如上所述，在每个像素中生成背景模型，并将其供应给不可处理区确定单元22和置信度处理单元35作为背景(图像)。[运动体检测单元31]图8是例示显示在图1中的运动体检测单元31的配置例子的方块图。运动体检测单元31包括背景生成部分51、背景差图像生成部分52、过去图像存储部分53、过去差图像生成部分54、连续性计数图像生成部分55、运动体候选区图像生成部分56、和检测部分57，以及从来自图像获取单元11 (图1)的当前图像中检测与背景不同的运动体，其中运动体包括正在运动的物体、只暂停一小段时间的物体等。这里，图8的运动体检测单元31，例如，使用公开在日本待审专利申请公告第2006-107457号中的方法检测运动体。但是,运动体检测单元31的运动体检测方法不特别局限于此。在图8中，将来自图像获取单元11的当前图像供应给背景生成部分51、背景差图像生成部分52、过去图像存储部分53、和检测部分57。背景生成部分51，例如，与图1的背景生成单元21类似，按照上面的方程3，使用来自图像获取单元11的当前图像生成背景，并将背景供应给背景差图像生成部分52。另外，为了抑制运动体的误检，背景生成部分51生成与图1的背景生成单元21生成的背景相比短间隔更新的背景。也就是说，如果图1的背景生成单元21生成的背景的更新间隔是例如I小时，则背景生成部分51生成，例如，以大约15秒的间隔更新的背景。因此，背景生成部分51将比用在图1的背景生成单元21中的值大的值设置成上面方程3的系数a。这里，背景生成部分51生成反映在当前图像上的运动体(其显示)受到抑制和暂停了预定时间间隔的图像作为背景。同时，为了检测在像三分钟那样的预定时间间隔或更长内不变和与背景不同的不动体，图1的背景生成单元21，例如，生成在与不动体不变的最小所希望时间(上述的三分钟等)相比足够长的时间内处在暂停状态下的图像作为背景。另外，可以让背景生成部分51生成以与图1的背景生成单元21生成的背景相同的间隔更新的背景。在这种情况下，只将背景生成单元21和51之一配备在不动体检测装置中就足够了。背景差图像生成部分52生成背景差图像，其中将来自图像获取单元11的当前图形与来自背景生成部分51的背景之间的像素的像素值之差的绝对值用作像素值，并将背景差图像供应给检测部分57。同时，过去图像存储部分53依次存储图像获取单元11作为当前图像供应的图像，从而存储从当前往回N+1个时间间隔的图像，即，最近时间(当前时间)t的当前图像和从时间t-N到t-1的过去图像。将存储在过去图像存储部分53中的时间t的图像(当前图像)和从时间t-N到t-1的图像(过去图像)供应给过去差图像生成部分54。过去差图像生成部分54生成将当前图像与每个时间t-n (n=l，2，...N)的过去图像之间的像素的像素值的差值用作像素值的过去差图像，并将过去差图像供应给连续性计数图像生成部分55。连续性计数图像生成部分55对从时间t-N、t_(N+l)、 ..、t_l的过去图像中获得的N个过去差图像的像素进行计数以便确定像素值(差值)的连续性，生成将计数值用作像素值的连续性计数图像，并将连续性计数图像供应给运动体候选区图像生成部分56。运动体候选区图像生成部分56使用阈值对来自连续性计数图像生成部分55的连续性计数图像(其像素的像素值)进行二值化，生成将包括运动体的像素的候选像素值设置成I而将其它像素的像素值设置成0的运动体候选区图像，并将运动体候选区图像供应给检测部分57。检测部分57根据来自背景差图像生成部分52的背景差图像和来自运动体候选区图像生成部分56的运动体候选区图像，检测包括当前图像中的运动体的当前图像的区域。此外，检测部分57复制围绕反映运动体的区域的最小长方形围绕区域的图像，作为来自图像获取单元11的当前图像的运动体区域，并将运动体区域供应给图1的暂时停止确定单元32和暂时停止图像处理单元33。图9是说明图8的运动体检测单元31的运动体检测原理的图形。也就是说，图9
例示了将当前图像与时间t-N、t-(N+l).....t-1的过去图像之间的像素的像素值的差值
用作像素值的N个过去差图像的像素X的像素值(当前图像和过去图像的像素值之间的差值)的例子。另外，在图9中，水平轴表示 为了获取过去差图像而使用的过去图像的时间，以及垂直轴表示过去差图像的像素X的像素值(当前图像和过去图像的像素值的差值)。当运动体未反映在时间t-N到t的每个图像的像素X上时，如图9的顶图所例示，N个过去差图像的像素X的像素值(差值)持续具有相对较小值。同时，在时间t_N到t的时间t'上，当运动体开始反映在像素X上和反映在当前图像中的像素X上时，如图9的中图所例示，时间t'之前的过去差图像的像素X的像素值(差值)持续具有相对较大值，而时间t'之后的过去差图像的像素X的像素值(差值)具有相对较小值。而且，当树木的叶子或纹理反映在时间t_N到t的图像的像素X上以及发生晃动时，如图9的底图所例示，N个过去差图像的像素X的像素值(差值)变成大值或小值。因此，使用阈值对N个过去差图像的像素X的像素值(差值)进行二值化，并将像素值超过阈值和持续预定时间间隔的像素检测为运动体反映在上面的像素，以便可以防止将树木的树叶或纹理的晃动或像太阳光的突然变化引起的亮度变化那样的干扰错误地检测(误检)成运动体。关于这一点，在图8的运动体检测单元31中，连续性计数图像生成部分55对从时
间t-N、t-(N+l).....t-1的过去图像中获得的N个过去差图像的像素进行计数以便计算
像素值连续超过阈值的次数(过去差图像的个数)，生成将计数值用作像素值的连续性计数图像，并将连续性计数图像供应给运动体候选区图像生成部分56。这里，如参考图8所述，运动体候选区图像生成部分56生成使用阈值将来自连续性计数图像生成部分55的连续性计数图像的像素的像素值进行二值化而获得的运动体候选区图像。当运动体反映在像素X上时，由于N个过去差图像的像素X的像素值(差值)持续具有相对较大值，并且连续性计数图像的像素X的像素值超过阈值，所以检测到具有超过阈值的像素值的连续性计数图像的像素，也就是说，检测到具有I的像素值的运动体候选区图像的像素，以便可以检测运动体(运动体反映在上面的像素)。同时，当一个物体从位置X移动到位置Y时，连续性计数图像的像素X和Y的所有像素值都超过阈值。因此，当具有像素值I的运动体候选区图像的像素被检测为运动体时，像素X和Y两者都被检测为运动体。但是，当一个物体从位置X移动到位置Y时，运动体反映在当前图像中的像素Y上，但不反映在像素X上，因为物体已经经过了像素X。因此，当一个物体从位置X移动到位置Y时，在从当前图像中检测到运动体的时候，不将像素X和Y两者都检测为运动体。也就是说，将当前图像中包括已运动体的像素Y检测为运动体，而不将当前图像中不包括已运动体的像素X检测为运动体。关于这一点，在具有像素值I的运动体候选区图像的像素当中，图8的运动体检测单元31只检测当前图像中运动之后包括已运动体的像素作为运动体(不检测当前图像中运动之前包括物体的像素作为运动体)。也就是说，如上所述，在图8的运动体检测单元31中，背景差图像生成部分52生成将来自图像获取单元11的当前图像与来自背景生成部分51的背景之间的像素的像素值之差的绝对值用作像素值的背景差图像，并将背景差图像供应给检测部分57。由于背景差图像的像素值(差值的绝对值)在在当前图像和背景中不同的像素中变大，也就是说，在未反映在背景上但反映在当前图像上的物体的像素中变大，所以使用阈值将背景差图像(其每个像素的像素值)进行二值化，以便可以获得未反映在背景上但反映在当前图像上的物体的像素具有I的像素值、而其它像素具有O的像素值的图像(下文也称为二值化背景差图像)。由于在二值化背景差图像中未反映在背景上但反映在当前图像上的物体的像素具有I的像素值，所以检测二值化背景差图像和运动体候选区图像两者中具有像素值I的像素，以便可以只检测当前图像中运动之后包括物体的像素作为运动体。如上所述，检测部分57根据来自背景差图像生成部分52的背景差图像(获得的二值化背景差图像)和来自运动体候选区图像生成部分56的运动体候选区图像检测运动之后包括物体的当前图像的像素作为运动体。在如上所述的运动体检测单元31中，当出现未在背景中的物体时(例如，当物体被留下时)，检测当前图像中包括物体的部分作为运动体。但是，当存在于背景中的物体消失时(例如，当物体被带走时)，检测当前图像中包括存在于背景中的物体的部分作为运动体。[暂时停止确定单元32]图10是说明图1的暂时停止确定单元32的处理的图形。暂时停止确定单元32确定来自运动体检测单元31的运动体(包括在运动体区域中)是否暂停了预定时间间隔或更长(暂时停止)。有关运动体是否暂时停止的确定包括有关运动体是否处在暂停状态下的暂停状态确定、以及有关暂停状态是否持续了预定时间间隔(等于或稍短于上述不动体识别时间m)或更长的持续确定。也就是说，通过跟踪运动体检测单元31检测的运动体，暂时停止确定单元32使用从时间t的图像(当前图像)中检测的运动体和与上面运动体相同、从早I个时间单位的时间t-1的图像中检测的运动体进行暂停状态确定。在暂停状态确定中，确定从当前图像中检测的运动体与例如从像时间t-1那样早一段时间(过去时间)的图像中检测的运动体之间的位置偏移量是否小于位置偏移量的阈值 TH1。例如，如果从当前图像中检测的运动体的长方形运动体区域的中心坐标(位置)用(ex, cy)表达，以及从时间t-1的图像中检测的运动体的长方形运动体区域的中心坐标(位置)用(cx_p, cy_p)表达,则位置偏移量可以表达成,例如，I cx_cx_p I +1 cy_cy_p I。在这种情况下,在暂停状态确定中,确定是否满足I cx_cx_p I +1 cy_cy_p I〈TH1。当从当前图像中检测的运动体与从时间t-1的图像中检测的运动体之间的位置偏移量小于位置偏移量的阈值THl时，将计数运动体连续处在暂停状态下的变量snum加I。而且，当从当前图像中检测的运动体与从时间t-1的图像中检测的运动体之间的位置偏移量不小于位置偏移量的阈值THl时,使变量snum复位成O。在连续确定中，确定变量snum是否大于(大于等于)与预定时间间隔相对应的时间的阈值TH2。当变量snum大于阈值TH2时,确定从当前图像中检测的运动体暂时停止(处在暂时停止状态下)。当变量snum未大于阈值TH2时,确定从当前图像中检测的运动体未暂时停止(未处在暂时停止状态下)。如上所述，当从当前图像中检测的运动体与从比当前图像早一个时间单位的图像中检测的运动体之间的位置偏移量小于阈值THl的事实持续了时间的阈值TH2或更长时，暂时停止确定单元32确定从当前图像中检测的运动体暂时停止了预定时间间隔或更长，即，处在暂时停止状态下。如果确定从当前图像中检测的运动体暂时停止了预定时间间隔或更长，S卩，处在暂时停止状态下，则暂时停止确定单元32将暂时停止标志isPause指定给运动体，其中暂时停止标志isPause具有指示暂时停止状态的值I。然后，暂时停止确定单元32将指定了具有值I的暂时停止标志isPause的运动体供应给暂时停止图像处理单元33作为暂时停止的暂时停止物体。暂时停止图像处理单元33以改写的形式将暂时停止确定单元32供应的暂时停止物体登记(存储)在存储于存储单元34中的暂时停止图像中。另外，可以从检测为暂时停止物体或不动体的物体中排除掉人(人类)。根据本发明人的经验，由于与有人有关的亮度在相应较短时间内变化，所以如果从当前图像中检测的运动体是亮度在相应较短时间内变化的运动体，则即使暂时停止确定单元32确定运动体是暂时停止的，也不把运动体设置成暂时停止物体(不登记在存储单元34中)，以便可以防止把人检测为不动体。[置信度处理单元35]图11是说明图1的置信度处理单元35的处理的图形。如参考图1所述，置信度处理单元35使用来自图像获取单元11的当前图像、来自背景生成单元21的背景、和存储在存储单元34中的暂时停止图像关于当前图像的每个像素计算不动体置信度，并将不动体置信度登记(存储)在存储单元36中。这里，如图11所例示，假设房屋、树木、汽车、和行人反映在当前图像上。而且，在图11中，假设反映在当前图像上的房屋和树木是背景，汽车是不动体，以及行人是作为运动物体的运动体。在这种情况下，如图11所例示，存储单元34存储作为不动体的汽车作为暂时停止物体反映在上面的暂时停止图像。当关注作为不动体的汽车反映在上面的当前图像的像素(下文也称为不动体像素)x时，当前图像的不动体像素(位置X的像素)X的像素值I与暂时停止图像的不动体像素(位置X的像素)X的像素值P相等(一致或近似一致)。而且，暂时停止图像的不动体像素X的像素值P与背景的不动体像素(位置X的像素)X的像素值B不相等。此外，当前图像的不动体像素X的像素值I与背景的不动体像素X的像素值B不相等。同时，当关注当前图像的背景，例如，房屋反映在上面的像素(下文也称为背景像素)x'时，当前像素的背景像素X'的像素值I与暂时停止图像的背景像素X'的像素值P不相等。此外，暂时停止图像的背景像素V的像素值P与背景的背景像素V的像素值B不相等。但是，当前像素的背景像素X'的像素值I与背景的背景像素X'的像素值B相等。
同时，当关注作为当前图像的运动体的行人反映在上面的像素(下文也称为运动体像素)x"时，当前图像的运动体像素X"的像素值I与暂时停止图像的运动体像素X"的像素值P不相等。此外，暂时停止图像的运动体像素X"的像素值P与背景的运动体像素X"的像素值B不相等，以及当前像素的运动体像素X"的像素值I与背景的运动体像素X"的像素值B不相等。如图11所例示，当作为运动体的行人在作为不动体的汽车的前面以及当前图像的运动体像素是运动体反映在上面的像素时，也是这样的。如上所述，由于当前图像、暂时停止图像和背景之间的位置X的像素的像素值之间的幅度关系随当前图像的位置X的像素是不动体像素、背景像素还是运动体像素而变，所以可以根据幅度关系估计代表当前图像的位置X的像素是不动体像素的可能性的不动体置信度。关于这一点，置信度处理单元35根据当前图像、背景、和暂时停止图像的像素X的像素值之间的幅度关系，计算当前图像的每个像素(每个位置X的像素)x的不动体置信度。例如，当对图1的不动体检测装置加电时，置信度处理单元35使存储在存储单元36中的置信度图像(将不动体置信度用作像素值的图像)的每个像素值复位成，例如，O。然后，如果将暂时停止物体新登记(存储)在存储单元34中，也就是说，如果从当前图像中获得新暂时停止物体，则置信度处理单元35在构成存储在存储单元36中的置信度图像的新暂时停止物体的每个像素中设置不动体置信度的初始值Ctl (将初始值Ctl存储(登记)在存储单元36中)。此外，每当获得新当前图像(在每个帧中)时，置信度处理单元35就确定当前图像的每个像素是否是不动体像素，并根据确定结果更新与存储在存储单元36中的置信度图像的像素值相对应的不动体置信度。也就是说，图12是说明置信度处理单元35更新不动体置信度的概况的图形。假设当前图像的位置X的像素的像素值用I (X)表达，暂时停止图像的位置X的像素的像素值用P(X)表达，以及背景的位置X的像素的像素值用B(X)表达。如参考图11所述，在当前图像的位置X的像素是不动体像素时，像素值I (X)与像素值P (X)相等，像素值P (X)与像素值B (X)不相等，以及像素值I (X)与像素值B (X)不相
坐寸o而且，在当前图像的位置X的像素是背景像素时，像素值I (X)与像素值P(X)彼此相等，像素值P(X)与像素值B(X)彼此不相等，以及像素值I (X)与像素值B(X)彼此相等。此外，在当前图像的位置X的像素是运动体像素时，像素值I (X)与像素值P(X)不相等，像素值P (X)与像素值B (X)不相等，以及像素值I (X)与像素值B (X)不相等。关于这一点，如图12A所例示，当像素值I(X)与像素值P(X)之差的绝对值I(X)-P(X)I小于阈值th，像素值I(X)与像素值B(X)之差的绝对值I OO-B⑴等于
或大于阈值th，以及像素值B(X)与像素值P(X)之差的绝对值IB(X)-P(X)I等于或大于阈值th时，由于当前图像的像素(位置X的像素)X很有可能是不动体像素，所以置信度处理单元35将像素X的不动体置信度C(X)的更新量AC(X)设置成例如+1，并按照方程C⑴=C (X) + A C⑴更新不动体置信度C⑴(增加不动体置信度C (X))。
此外，如图12B所例示，当像素值I (X)与像素值P (X)之差的绝对值I (X) -P (X)等于或大于阈值th，像素值P (X)与像素值B (X)之差的绝对值IP(X)-B(X) I等于或大于阈值th，以及像素值B (X)与像素值I (X)之差的绝对值Ib(X)-1(X) I小于阈值th时，或当像素值I(X)与像素值P(X)之差的绝对值Il(X)-P(X) I小于阈值th，像素值P(X)与像素值B(X)之差的绝对值Ip(X)-B(X) I小于阈值th，以及像素值B (X)与像素值I (X)之差的绝对值Ib(X)-1(X)I小于阈值th时，由于当前图像的像素X很有可能是背景像素，所以置信度处理单元35将像素X的不动体置信度C(X)的更新量AC(X)设置成例如-1，并按照方程C (X) =C (X) + A C (X)更新不动体置信度C (X)(减小不动体置信度C (X))。这里，在本实施例中，由于存储在存储单元34中的暂时停止物体具有长方形形状，所以暂时停止物体的一部分可能包括背景。在暂时停止物体包括背景的情况下，由于包括背景的位置X的像素的像素值I (X)、P(X)和B(X)彼此相等，所以当像素值I (X)与像素值P (X)之差的绝对值Il(X)-P(X) I等于或大于阈值th，像素值P (X)与像素值B (X)之差的绝对值Ip(X)-B(X) I等于或大于阈值th，以及像素值B (X)与像素值I (X)之差的绝对值
B(X)-1(X) I小于阈值th时，以及当像素值I (X)与像素值P (X)之差的绝对值Il(X)-P(X)小于阈值th，像素值P (X)与像素值B (X)之差的绝对值IP(X)-B(X) I小于阈值th，以及像素值B(X)与像素值I (X)之差的绝对值Ib(X)-1 (X) I小于阈值th时，也就是说，即使像素值I(X)、P (X)和B (X)都相等，置信度处理单元35也将当前图像的像素X当作背景像素，并减小不动体置信度C(X)。而且，如图12C所例示，当像素值I (X)与像素值P (X)之差的绝对值Il(X)-P(X)等于或大于阈值th，像素值P (X)与像素值B (X)之差的绝对值IP(X)-B(X) I等于或大于阈值th，以及像素值B (X)与像素值I (X)之差的绝对值Ib(X)-1(X) I等于或大于阈值th时，也就是说，当像素值I(X)、P (X)和B (X)相对不同时，置信度处理单元35不将当前图像的像素X当作不动体像素和背景像素，例如，将当前图像的像素X当作运动体像素，将像素X的不动体置信度C(X)的更新量AC(X)设置成例如0，并按照方程C(X) =C(X)+ AC(X)更新不动体置信度C(X)(使不动体置信度C (X)保持原样)。在上文中，尽管当前图像的像素X很有可能是运动体像素，则置信度处理单元35减小像素X的不动体置信度C(X)。这是因为，当作为运动体的行人在作为不动体的汽车的前面时，当前图像的像素X (X")可能是如图6所例示包括运动体的运动体像素。也就是说，在作为运动体的行人在作为不动体的汽车的前面的情况下，当像素X是包括运动体的运动体像素时，如果作为运动体的行人经过作为不动体的汽车，则像素X是包括不动体的不动体像素。因此，在某时的图像中，在作为运动体的行人在作为不动体的汽车的前面的情况下，即使像素X是包括运动体的运动体像素，像素X在随后时间的图像中也可能是不动体像素。在这样的情况下，如果减小像素X的不动体置信度C (X)，则由于可能未将不动体像素检测成不动体，所以不减小不动体置信度C(X)。图13是说明置信度处理单元35更新不动体置信度的细节的图形。如图13所例示，置信度处理单元 35 确定 11 (X) -P (X) I〈th、IP (X) -B (X) I〈th、和 11 (X) -B (X) |〈th 得到满足(是)还是未得到满足(否)，并根据确定结果增加(提高)，减小(降低)、或保持(既不提高也不降低)不动体置信度C(X)。
也就是说，假设I I (X) -P (X) I〈th得到满足的情况和I I (X) -P (X) I〈th未得到满足的情况分别用[是，，]和[否，，]表达。类似地，假设IP⑴-B⑴I〈th得到满足的情况和
IP⑴-B⑴I〈th未得到满足的情况分别用[，是，]和[，否，]表达，以及11⑴-B⑴I〈th得到满足的情况和I(X)-B(X) I〈th未得到满足的情况分别用[，，是]和[，，否]表达。在这种情况下，例如，[是，是，是]指不11 (X) -P (X) I〈th、IP (X) -B (X) I〈th和I(X)-B(X) I〈th都得到满足。置信度处理单元35在[是，是，是]的情况下将不动体置信度C (X)减小例如1，在[是，否，否]的情况下将不动体置信度c (X)加例如1，在[否，否，是]的情况下将不动体置信度C(X)减小例如1，在[否，否，否]的情况下保持不动体置信度C(X)不变，在[否，是，否]的情况下将不动体置信度C (X)减小例如1，以及在其它情况下将不动体置信度C (X)减小例如I。另外，不动体置信度C(X)的更新量(增量或减量)不局限于I。也就是说，置信度处理单元35在[是，是，是]的情况下可以将不动体置信度C(X)减小例如2，在[是，否，否]的情况下将不动体置信度C (X)加例如1，在[否，否，是]的情况下将不动体置信度C (X)减小例如2，在[否，否，否]的情况下保持不动体置信度C(X)不变，在[否，是，否]的情况下将不动体置信度C(X)减小例如2，以及在其它情况下将不动体置信度C(X)减小例如，I。至此，根据三个像素值，即，当前图像的像素值I⑴、暂时停止图像的像素值P(X)与背景的像素值B(X)之间的幅度关系更新了不动体置信度C(X)。但是，不动体置信度C(X)可以，例如，根据两个像素值，即，当前图像的像素值I (X)与暂时停止图像的像素值P(X)之间的幅度关系来更新。例如，当Il(X)-P(X) |〈th得到满足时，可以将像素X当作不动体像素并可以增加不动体置信度c(x)。当Il(X)-P(X) I〈th未得到满足时，不可以将像素X当作不动体像素并可以减小不动体置信度C(X)。当根据当前图像的像素值I⑴和暂时停止图像的像素值P(X)的两个像素值之间的幅度关系更新不动体置信度C(X)时，不动体的检测精度与根据当前图像的像素值I (X)、暂时停止图像的像素值P(X)和背景的像素值B(X)的三个像素值之间的幅度关系更新不动体置信度C(X)的情况相比降低了，但可以(更小尺寸地)制造没有背景生成单元21的不动体检测装置。图14是例示置信度处理单元35更新的不动体置信度C(X)的变化的图形。也就是说，图14A例示了像素X是不动体像素时像素X的不动体置信度C(X)的变化。当像素X是不动体像素时，如果暂时停止确定单元32确定像素X是暂时停止的，则将像素X (它的像素值)存储在存储单元34中作为暂时停止物体。如果将像素X存储在存储单元34中作为暂时停止物体，则置信度处理单元35在存储单元36中设置(存储)初始值Ctl作为像素X的不动体置信度C(X)。当像素X是不动体像素时，按照经过的时间提高(增加)像素X的不动体置信度C(X)。因此，当像素X是不动体像素时，如果设置了初始值Ctl并经过了预定时间，则像素X的不动体置信度C(X)是等于或大于用在不动体检测单元37 (图1)进行的二值化中的阈值th_conf的值，使得不动体检测单元37将像素X检测为不动体。图14B例示了像素X是存在反映树木的树叶等在晃动的干扰的像素时像素X的不动体置信度C(X)的变化。暂时停止确定单元32可能受干扰的影响将存在反映树木的树叶等在晃动的干扰的像素X错误地确定为暂时停止的。在这种情况下，将像素X (它的像素值)存储在存储单元34中作为暂时停止物体。如果将像素X存储在存储单元34中作为暂时停止物体，则置信度处理单元35在存储单元36中设置初始值Ctl作为像素X的不动体置信度C(X)。如上所述，即使在对像素X的不动体置信度C(X)设置了初始值Ctl之后，当像素X是存在反映树木的树叶等在晃动的干扰的像素时，在更新像素X的不动体置信度C (X)时随机增加、减小、或保持不动体置信度C(X)的数值。因此，即使在经过一段时间之后，像素X的不动体置信度C(X)相对于初始值C。变化不大，并不等于或大于阈值th_conf。因此，由于不动体检测单元37未将像素X检测为不动体像素，所以可以防止将存在干扰的像素错误地检测为不动体。图15是说明图1的置信度处理单元35对不动体置信度C (X)的初始值C。的设置的图形。如果将暂时停止物体新登记(存储)在存储单元34中，也就是说，如果从当前图像中获得新暂时停止物体，则置信度处理单元35在构成暂时停止物体的每个像素中设置不动体置信度C(X)的初始值Q。也就是说，在存储在存储单元36中和将不动体置信度C(X)用作像素值的置信度图像的像素当中，置信度处理单元35存储(登记)初始值Ctl作为暂时停止物体的像素(与该像素相同的位置中的像素)的像素值。在这种情况下，存储在存储单元36中的置信度图像的像素值被初始值Ctl改写。同时，当已经获得了暂时停止物体A和不动体置信度已经存储在暂时停止物体A的区域中的像素中作为置信度图像的像素值时，假设新获得了与暂时停止物体A至少部分重叠的暂时停止物体B。在这种情况下，对于新暂时停止物体B，如果不加限制地将不动体置信度的初始值C0存储在暂时停止物体B的区域(在图15中用粗线围住的区域)中的像素中作为置信度图像的像素值，则已经大于初始值Ctl的暂时停止物体A的不动体置信度被初始值Ctl改写。当已经大于初始值Ctl的暂时停止物体A的不动体置信度被初始值Ctl改写时，例如，当改写之前的不动体置信度已经等于或大于阈值th_conf时，存在检测为不动体的暂时停止物体A的一部分可能出乎意料地不被检测为不动体的问题。关于这一点，在将初始值Ctl存储成存储在存储单元36中的置信度图像的像素值的情况下，当置信度图像的像素的像素值已经等于或大于初始值Ctl时，置信度处理单元35保持等于或大于初始值Ctl的像素的像素值，而不存储初始值Ctl (限制改写)。也就是说，当新获取暂时停止物体时，置信度处理单元35只在新暂时停止物体的区域中的像素之间像素值小于初始值Ctl的置信度图像的像素中存储(设置)初始值C。。这样，在置信度图像中，已经等于或大于初始值Ctl的像素值不被初始值Ctl改写，从而可以防止不动体检测不到。[不动体检测装置的处理]图16是说明图1的不动体检测装置的处理(不动体检测处理)的流程图。
图像获取单元11获取最近图像，并将最近图像供应给背景生成单元21、运动体检测单元31、暂时停止图像处理单元33、置信度处理单元35、和不动体展示单元38作为当前图像。如果从图像获取单元11供应了当前图像，则在步骤Sll中，背景生成单元21按照上面的方程I使用当前图像生成(更新)背景，并将背景供应给置信度处理单元35。然后，该处理转到步骤S12。在步骤S12中，运动体检测单元31进行运动体检测处理，以便从来自图像获取单元11的当前图像中检测运动体。然后，该处理转到步骤S13。在步骤S13中，运动体检测单元31确定在步骤S12的运动体检测处理中是否检测到运动体。当在步骤S13中确定未检测到运动体时，该处理跳过步骤S14到S16转到步骤S17。此外，当在步骤S13中确定检测到运动体时，运动体检测单元31将从当前图像中检测的运动体(其运动体区域)供应给暂时停止确定单元32和暂时停止图像处理单元33。然后，该处理转到步骤S14。在步骤S14中，暂时停止确定单元32确定来自运动体检测单元31的运动体是否暂时停止。当在步骤S14中确定运动体未暂时停止时，该处理跳过步骤S15和S16转到步骤S17。此外，当在步骤S14中确定运动体暂时停止时，暂时停止确定单元32将暂时停止的运动体供应给暂时停止图像处理单元33作为暂时停止物体。然后，该处理转到步骤S15。在步骤S15中，暂时停止图像处理单元33将来自暂时停止确定单元32的暂时停止物体登记在存储单元34中，也就是说，将暂时停止物体存储在与暂时停止物体相对应的存储在存储单元34中的暂时停止图像的区域中。然后，该处理转到步骤S16。在步骤S16中，对于在步骤S15中存储在存储单元34中的暂时停止物体，置信度处理单元35在与暂时停止物体相对应的存储在存储单元36中的置信度图像的像素中存储(设置)不动体置信度的初始值Q。然后，该处理转到步骤S17。在步骤S17中，暂时停止图像处理单元33按照上面的方程2和方程3，使用来自图像获取单元11的当前图像和来自运动体检测单元31的运动体更新存储在存储单元34中的暂时停止图像(反映在暂时停止图像上的暂时停止物体)。然后，该处理转到步骤S18。在步骤S18中，置信度处理单元35如参考图11到图14所述，使用来自图像获取单元11的当前图像、来自背景生成单元21的背景、和存储在存储单元34中的暂时停止图像更新作为存储在存储单元36中的置信度图像的像素值的不动体置信度。然后，该处理转到步骤S19。在步骤S19中，不动体检测单元37根据存储在存储单元36中的置信度图像进行检测处理，以便从当前图像中检测不动体。然后，该处理转到步骤S20。也就是说，在检测处理中，不动体检测单元37使用阈值th_conf将作为存储在存储单元36中的置信度图像的像素值的不动体置信度进行二值化，从而获得二值化置信度图像。
此外，不动体检测单元37对二值化置信度图像进行标记，以便在像素值为I的像素(不动体置信度大于或等于阈值th_conf的像素)和与该像素相邻的八个像素之间将相同标记附在像素值为I的像素上，从而检测围绕包括像素值为I的像素的区域的最小长方形区域作为不动体的区域(不动体区域)。在步骤S20中，不动体检测单元37确定在步骤S19的检测处理中是否检测到不动体。当在步骤S20中确定未检测到不动体时，该处理跳过步骤S21转到步骤S22。此外，当在步骤S20中确定检测到不动体时，不动体检测单元37计算包括不动体(不动体区域)的大小、中心坐标等的不动体信息，并将不动体信息供应给不动体展示单元38。然后，该处理转到步骤S21。在步骤S21中,根据来自不动体检测单元37的不动体信息,不动体展示单元38按照必要性，使用来自图像获取单元11的当前图像展示不动体(不动体的检测目的)。然后，该处理转到步骤S22。在步骤S22中，暂时停止图像处理单元33参照存储在存储单元36中的置信度图像，并删除不动体置信度(像素值)小于初始值Ctl，例如，0的存储存储单元34中的暂时停止物体。也就是说，在存储在存储单元34中的暂时停止物体的像素当中，暂时停止图像处理单元33将不动体置信度为0的像素的像素值设置成，例如，0等。在将新当前图像从图像获取单元11供应给背景生成单元21、运动体检测单元31、暂时停止图像处理单元33、置信度处理单元35、和不动体展示单元38之后，该处理从步骤S22返回到步骤S11，以便重复相同的处理。如上所述，图1的不动体检测装置确定运动体是否暂时停止，至少使用当前图像和包括作为暂时停止运动体的暂时停止物体的暂时停止图像更新(生成)不动体置信度，并根据不动体置信度删除不动体，从而在抑制误检的同时进行健壮的不动体检测。[防止误检的处理]至此，在图1的不动体检测装置中，可以在抑制误检的同时进行健壮的不动体检测。但是，当获得的图像(要处理的图像)是如下图像时，有可能未正常进行不动体检测。在下文中，将对检测可能未正常进行不动体检测的区域，以及在进一步抑制误检的同时进行健壮不动体检测的处理加以描述。可能未正常进行不动体检测的区域的图像包括，例如，像拍摄交叉点的摄像机获取的图像那样，包括许多人或车辆来来往往的区域的图像。在包括许多人或车辆来来往往的区域的图像的情况下，有可能未正常生成背景，并错误地检测不动体。关于这一点，检测这样的区域并进行适当处理。按照适当处理，例如，如下所述，由不动体展示单元38向用户展示这个区域，以便用户可以识别该区域。未正常生成背景的区域由不可处理区确定单元22检测。不可处理区确定单元22使用背景生成单元21生成的背景模型检测不可处理区。如参考图3到图7所述，在每个像素中生成背景模型。作为背景模型，例如，在三项分布的情况下生成例示在图3A中的背景模型。在下文中，将再次描述背景模型。例如，考虑通过处理连续100个帧中的图像获得相同静止图像，例如，图2的时间tl的图像的情况。在这种情况下，由于预定像素的亮度值在100个帧中都是相同的，所以当生成像素的背景模型时，只存在一种分布，并生成分布的权重按照处理帧的数量具有相对较大值(例如，当将权重设置成逐一增大时，100)的背景模型。如果存在像背景那样的图像，而不是静止图像，则可以假设生成了这样的背景模型。而且，与图2的时间tl的图像一样，在存在连续拍摄包括房屋和树木的图像和树木在晃动的情况下，当关注房屋的预定位置上的墙壁时，可以看见墙壁，并且可以看到朝着墙壁晃动的树木的树叶。当观看这样的区域时，交替地看到墙壁和树木的树叶。从该区域获得的背景模型很有可能存在墙壁的像素的亮度值的分布和树木的树叶的像素的亮度值的分布。 如上所述，估计从确定为背景的图像(区域)获得的背景模型至少具有一种分布，以及每种分布的权重具有相对较高数值。而且，由于一种分布在预定范围内具有亮度值，所以如果亮度值有所变化，则在该范围内亮度值可能被吸收掉。而且，如参考图4的流程图所述，由于进行包括更新、删除和生成分布的处理，所以尽管背景的亮度值发生变化，但背景模型的分布不会突然改变。因此，从确定为背景的图像中获得的背景模型具有高权重的分布。在包括这样背景模型的区域中，正常地生成背景，并较不可能错误地检测不动体。另一方面，在从像车辆或人那样的运动体频繁地来来往往和亮度值突然变化的区域中获得的背景模型中，由于亮度值突然变化，所以背景模型的亮度值的分布是分散的，并且一种分布的权重具有较低数值。在包括这样背景模型的区域中，不能正常生成背景，并很有可能错误地检测不动体。于是，不可处理区确定单元22检测具有不动体有可能被错误检测的概率的区域(图像)。在下文中，将不动体有可能被错误检测、以及即使检测到不动体检测的置信度也很低的区域称为不可处理区。换句话说，当通过与置信度高的背景的比较来检测不动体时，会高置信度地检测到不动体，而难以高置信度地生成背景的区域被称为不可处理区。另一方面，很有可能正常检测到不动体以及检测的置信度高的区域被称为可处理区。从上面的描述中可明显看出，在生成的背景模型中可以根据具有最高权重的分布的权重和更新数次确定可处理区或不可处理区。在下文中，将对具有最高权重的分布的权重高于通过更新次数和项数计算的阈值时确定可处理、而在其它情况下确定不可处理的情况加以描述。详细地说，当生成的背景模型的分布当中具有最高权重的分布的权重用Wh (t，X)表达，在作出确定之前分布的更新次数用C(t，X)表达，以及在背景模型中表达的分布的数量是N时，按照下面的方程5确定一个像素是否属于可处理区。方程5如果Wh (t，X) > P X C (t, X) /N:可处理否则:不可处理在上面的方程5中，^是调整参数，在正常情况下被设置成I。当在三项分布的情况下生成背景模型时，N是3。C(t，X)表示分布的更新次数。例如，在通过处理100个帧获得的背景模型的情况下，C(t，X)是100。因此，分布的更新次数是要处理的帧的数量的累计值。根据上面的方程5，可以确定一个区域(像素)是否是可处理的。如果方程5中的不等号的右侧被设置成预定阈值(固定值)以及权重等于或大于预定阈值，则可以确定该区域(像素)是可处理的。至此，已经描述了在每个像素中生成背景模型以及根据方程5使用生成的背景模型确定一个区域是否是可处理的情况。也就是说，在这种情况下，确定每个像素是否是可处理的。可以应用以预定块为单位，而不是每个像素地确定一个区域是否是集体可处理的配置。这样，由于确定为可处理的像素和包括这个像素的区域使背景可以正常生成，所以在随后处理中不会出现问题。但是，由于确定为不可处理的图像(区域)使背景不能正常生成并引起不动体的误检，所以有必要对这样的区域进行适当处理。在下文中，将对作为适当处理，向用户展示确定为不可处理的区域的情况加以描述。将确定单元22的输出供应给不动体展示单元38。如上所述,不动体展示单元38根据来自不动体检测单元37的不动体信息，展示检测到不动体的事实。按照如上所述的展示，将围绕来自不动体检测单元37的不动体信息指定的不动体区域的框架的屏幕显示(OSD)叠加在来自图像获取单元11的当前图像上，并显示在显示装置(未例示)上。与检测到不动体的区域类似，对于确定为不可处理的区域，将围绕框架的屏幕显示(OSD)叠加在来自图像获取单元11的当前图像上，并显示在显示装置(未例示)上，以便可以向用户展示该区域。换句话说，向用户展示不动体和不可处理区。由于用户确认以这种方式展示的不可处理区，所以即使展示了在该区域中检测到不动体，用户也可以认识到不动体检测的置信度是低的。而且，用户还可以确定不处理置信度低的不动体。一旦用户确认了这种情况，即使已经确定不是不可处理区，也可以按照用户的指令进行复位处理等。而且，一旦用户确认了这种情况，即使已经确定是不可处理区，用户也可以停止该区域的展示，或可以改变展示方法。例如，作为确认结果，当不可处理区很有可能是以后的不可处理区时，如果继续展示该区域，则可能妨碍观看。因此，用户可以阻止进行这样的展示，或可以涂掉该区域。而且，可以将不可处理区通知通过网络等连接的另一个装置，该装置可以使用自由显示方法向用户方展示不可处理区，或进行其它处理。在这种情况下，可以生成所检测不可处理区具有I的值而可处理区具有0的值的图像，并通过网络将该图像发送给其它装置作为元数据。而且，在上面的方程5中，0是参数。参数0由用户设置。当设置参数时，用户可以直接设置数值。而且，为了使用户可以容易理解，例如，可以像高、中或低那样多步设置参数。当参数具有高值时，将3设置成具有大值。例如，当分高、中或低三步设置参数时，将参数P设置成具有2 (高)、1 (中)和0.5 (低)的数值。当0被设置成具有大于I的数值时，由于方程5的不等号的右侧的数值变成大，所以不等号得不到满足的情况可能增加，导致确定为不可处理的像素增加。例如，当车辆不那么频繁来往但较不可能检测到不动体的地方被确定为不可处理像素(区域)时，将3设置成具有大值。
如上所述，参数由用户输入，以便可以按照用户的使用环境进行估计，并利用该估计进行处理等。如上所述，当允许用户设置参数或进行与不可处理区的显示方法等有关的设置时，如图17所例示地提供参数设置单元81，以便将通过参数设置单元81设置的参数供应给不可处理区确定单元22。参数设置单元81具有获取用户设置的参数的功能等。例如，可以应用包括像键盘那样的操作单元的配置。在将参数设置单元81设置的参数供应给不可处理区确定单元22之后，不可处理区确定单元22通过将供应的参数作为3的值代入方程5中进行处理。如上所述，可以允许用户设置参数。至此，在上述实施例中，已经描述了如向用户展示的不可处理像素(区域)。但是，不仅可以展示不可处理区，而且可以进行不处理该区域的设置。例如，可以应用将有关不可处理区确定单元22确定为不可处理区的区域的信息供应给像运动体检测单元31或不动体检测单元37那样的不动体检测装置的每个元件的配置(未例示)。借助于这样的配置，例如，可以允许运动体检测单元31进行不处理不可处理区(从该区域中未检测到运动体)的设置，且不允许运动体检测单元31处理该区域。借助于这样的配置，可以减轻不动体检测装置的处理负担。如上所述，可以在用户确认不可处理区以及得到用户的认可之后进行不处理不可处理区的设置。[不动体检测装置的处理]参考图18，再次描述图1的不动体检测装置的处理。在如下描述中，假设未检测不可处理像素(区域)。图18例示了在时间&到t8当前图像、暂时停止图像和背景的例子。在图18中，在时间h，只有树木出现在当前图像中，背景生成单元21生成与当前图像类似只包括树木的图像作为背景。此外 ，没有暂时停止物体显示在暂时停止图像中。在时间h之后的时间t2，从右向左移动的汽车开始出现，与树木一起反映在当前图像的右侧上。反映在当前图像上的汽车被运动体检测单元31检测为运动体。此外，背景生成单元21不受汽车影响地生成只包括树木的图像作为背景。在时间t2之后的时间t3，汽车暂停(停止)，并与树木一起反映在当前图像的左侧上。停止的汽车继续被运动体检测单元31检测为运动体。但是，由于汽车只刚停止，所以暂时停止确定单元32未确定汽车暂时停止，且汽车未反映在暂时停止图像上。此外，背景生成单元21不受汽车影响地生成只包括树木的图像作为背景。在时间t3之后的时间t4，汽车继续暂停，与时间t3的情况类似地与树木一起反映在当前图像的左侧上。在时间t4，由于汽车只继续暂停预定时间间隔，所以暂时停止确定单元32确定汽车暂时停止，汽车被暂时停止图像处理单元33登记(反映)在存储在存储单元34中的暂时停止图像中作为暂时停止物体。这样，暂时停止图像是包括作为暂时停止物体的汽车的图像。此外，在时间&，将作为暂时停止物体的汽车存储在存储单元34中，以便置信度处理单元35在与作为暂时停止物体的汽车相对应的存储在存储单元36中的置信度图像中的区域的像素的像素值中设置不动体置信度的初始值C。。此外，在时间t4，背景生成单元21不受汽车影响地生成只包括树木的图像作为背
旦
o
在时间t4与时间t5之间，汽车继续暂停，与时间t3和t4的情况类似地与树木一起反映在时间t5的当前图像的左侧上。此外，包括作为暂时停止物体的汽车的暂时停止图像继续存储在存储单元34中，以及背景生成单元21不受汽车影响地生成只包括树木的图像作为背景。因此，从时间t4到时间t5，对于包括作为暂时停止物体的汽车的当前图像的像素X，与当前图像的像素X的像素值I (X)、暂时停止图像的像素X的像素值P(X)、和背景的像素X的像素值B (X)有关，由于像素值I (X)与像素值P (X)之差的绝对值11 (X) -P (X) I小于阈值th，像素值I (X)与像素值B(X)之差的绝对值11 (X)-B(X) I等于或大于阈值th，以及像素值B(X)与像素值P(X)之差的绝对值IB(X)-P(X) I等于或大于阈值th，所以如参考图12A所述，置信度处理单元35增加作为存储在存储单元36中的置信度图像的像素(位置X的像素)X的像素值的不动体置信度C(X)。在时间t5，包括作为暂时停止物体的汽车的当前图像的像素X的不动体置信度C(X)等于阈值th conf，使得当前图像的作为暂时停止物体的汽车被不动体检测单元37检测为不动体。在时间t5之后的时间t6，汽车继续暂停，与时间t3到t5的情况类似地与树木一起反映在时间t6的当前图像的左侧上。此外，包括作为暂时停止物体的汽车的暂时停止图像继续存储在存储单元34中。此外，在时间t6，由于从汽车暂停的时间t3开始经过了与不动体识别时间m的大约五倍相对应的时间，所以背景生成单元21因汽车的影响生成包括树木和汽车的图像作为背景。在时间t6与时间t7之间，汽车继续暂停，与时间t3到t6的情况类似地与树木一起反映在时间t7的当前图像的左侧上。此外，包括汽车的暂时停止图像继续存储在存储单元34中，以及背景生成单元21因汽车的影响生成包括树木和汽车的图像作为背景。因此，从时间〖6到时间t7，对于包括汽车的当前图像的像素X，与当前图像的像素X的像素值I (X)、暂时停止图像的像素X的像素值P (X)、和背景的像素X的像素值B (X)有关，由于像素值I⑴与像素值P⑴之差的绝对值11⑴-P⑴I小于阈值th，像素值I⑴与像素值B (X)之差的绝对值Il(X)-B(X) I小于阈值th，以及像素值B (X)与像素值P (X)之差的绝对值IB(X)-P(X) I小于阈值th，所以如参考图12B所述，置信度处理单元35减小作为存储在存储单元36中的置信度图像的像素(位置X的像素)X的像素值的不动体置信度C(X)。在时间t7，包括汽车的当前图像的像素X的不动体置信度C(X)小于阈值th_conf，使得当前图像的汽车未被不动体检测单元37检测为不动体。此后，由于汽车继续暂停，所以继续减小包括汽车的当前图像的像素X的不动体置信度C(X)。在时间t7之后的时间t8，由于包括汽车的当前图像的像素X的不动体置信度C(X)是0，所以暂时停止图像处理单元33删除(移除)不动体置信度为0的存储在存储单元34中的汽车。
至此，在上述情况下，当像素X的不动体置信度C (X)等于或大于阈值th_conf时，将像素X检测为不动体。但是，即使像素X的不动体置信度C (X)等于或大于阈值th_conf，但如果不动体置信度C(X)单调降低，则可以阻止将像素X检测为不动体(不将像素X检测为不动体)。也就是说，在图1的不动体检测装置中，例如，当如参考图18所述作为暂时停止物体的汽车继续暂停并反映在背景上时，如果包括汽车的像素X的不动体置信度C (X)继续减小并变成小于阈值th_conf时，则不将汽车检测为不动体。因此，在继续停止的汽车反映在背景上之后，由于包括汽车的像素的不动体置信度单调降低然后变成小于阈值th_conf，所以不将汽车检测为不动体。因此，包括汽车的像素的不动体置信度单调降低的事实意味着未来不将汽车检测为不动体。关于这一点，即使像素X的不动体置信度C (X)等于或大于阈值th_conf，但如果不动体置信度C(X)单调降低，则可以阻止将像素X检测为不动体。图19是描述不动体置信度C(X)单调降低时阻止像素X被检测为不动体的图形。也就是说，图19是例示不动体置信度C(X)的图形。如图19所例示，即使像素X的不动体置信度C(X)等于或大于阈值th_conf，但如果不动体置信度C(X)在预定时间间隔At内只继续降低(单调降低)，则可以阻止在不动体检测单元37中将像素X检测为不动体。另外,例如，即使像素X的不动体置信度C(X)小于阈值th_conf,但如果不动体置信度C(X)在预定时间间隔At内只继续升高(单调升高)，则可以让不动体检测单元37将像素X检测为不动体。[多个暂时停止图像和置信度图像]至此，在上述情况下，假设将一个(与一个屏幕相对应)暂时停止图像和一个置信度图像分别存储在存储单元34和36 (图1)中。但是，可以将多个暂时停止图像和多个置信度图像分别存储在存储单元34和36中。图20是说明三个暂时停止图像和三个置信度图像被分别存储在存储单元34和36中时图1的不动体检测装置的处理的图形。另外，准备了相同数量的多个暂时停止图像P#i和多个置信度图像Q#i。而且，使一个暂时停止图像P#i和一个置信度图像Q#i相互联系以便用作一对。假设三个暂时停止图像P#1、P#2和P#3存储在存储单元34中，以及与暂时停止图像P#l、P#2和P#3形成配对的三个置信度图像Q#1、Q#2和Q#3存储在存储单元36中。当将来自暂时停止确定单元32的新暂时停止物体登记在存储单元34中时，暂时停止图像处理单元33从存储单元36的置信度图像Q#1、Q#2和Q#3中检测与暂时停止物体相对应的区域的每个不动体置信度都是0的一个置信度图像Q#i。然后，暂时停止图像处理单元33在和其中与暂时停止物体相对应的区域的每个不动体置信度都是0的置信度图像Q#i形成配对的存储单元34的暂时停止图像Ptn到P#3的暂时停止图像P#i中登记(改写)新暂时停止物体。在图20中，在置信度图像Q#1到Q#3当中，由于只有置信度图像Q#3是其中与新暂时停止物体相对应的区域的每个不动体置信度是0的图像，所以将新暂时停止物体登记在与置信度图像Q#3形成配对的暂时停止图像P#3中。另外，在置信度图像Q#1到Q#3当中，当不存在其中与暂时停止物体相对应的区域的每个不动体置信度都是0的置信度图像时，从置信度图像Qtn到Q#3中检测与暂时停止物体相对应的区域的不动体置信度的平均值最小的置信度图像，并将新暂时停止物体登记在与所检测置信度图像形成配对的暂时停止图像中。而且，与一个暂时停止图像的情况类似，暂时停止图像处理单元33按照上面的方程I和2独立地更新存储在存储单元34中的暂时停止图像P#1到P#3。当已经将暂时停止物体新登记在存储在存储单元34中的暂时停止图像P#i中时，与一个暂时停止图像的情况类似，置信度处理单元35只在不动体置信度中设置初始值Ctl,作为与新登记了暂时停止物体的暂时停止图像P#i形成配对的、存储在存储单元36中的置信度图像Q#1到Q#3的置信度图像Q#i的像素值。然后，与一个暂时停止图像的情况类似，置信度处理单元35使用与置信度图像Q#i形成配对的暂时停止图像P#i独立地更新存储在存储单元36中的置信度图像Q#1到Q#3的每个不动体置信度。对于存储在存储单元36中的置信度图像Q#1到Q#3,与一个暂时停止图像的情况类似，不动体检测单元37使用置信度图像Q#i独立地检测不动体。如上所述，由于使用了多个暂时停止图像和多个置信度图像，所以即使相同数量的不动体与暂时停止图像和置信度图像重叠，也可以分开检测重叠不动体。[应用本技术的网络摄像机]可以应用检测不动体的不动体检测装置例如被包括在例示在图21中的网络摄像机的一部分中的配置。例示在图21中的网络摄像机包括成像单元91、图像信号处理单元92、图像数据处理单元93、图像处理单元94、和发送单元95。将成像单元91捕获的图像的信号供应给图像信号处理单元92，经受像清晰度提高那样的图像处理。将图像处理之后的信号供应给图像数据处理单元93，经受通过适合发送单元95发送的压缩方案的压缩处理，并通过网络从发送单元95发送给另一个装置。而且，还将来自图像信号处理单元92的信号供应给图像处理单元94。图像处理单元94包括例示在图1或图17中的不动体检测装置，以及例如，将有关所检测不动体的信息、有关作为背景的置信度低的区域的信息等供应给发送单元95作为元数据。发送单元95通过网络将供应的元数据与来自图像数据处理单元93的捕获数据一起发送给其它装置。应用本技术的不动体检测装置可以应用于具有这样配置的网络摄像机。而且，尽管未例示在图中，但本技术也可以应用于信号处理IC等。而且，本技术也可以应用于例示在图22中的计算机。[应用本技术的计算机的说明]接着，如上所述的一系列处理可以通过硬件或软件来执行。当一系列处理通过软件来执行时，将构成软件的程序安装在通用计算机等中。关于这一点，图22例示了安装了进行一系列处理的程序的计算机的一个实施例的配置例子。程序可以事先记录在作为内置在计算机中的记录媒体的硬盘105或R0M103中。可替代地，程序可以存储(寄存)在可换式记录媒体111中。这样的可换式记录媒体111可以作为软件包来提供。这里，可换式记录媒体111包括，例如，软盘、光盘只读存储器(⑶-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等。除了从上述可换式记录媒体111安装到计算机上之外，也可以通过通信网络或广播网络将程序下载到计算机中，或可以安装在内置在计算机中的硬盘105中。也就是说，例如，可以通过用于数字卫星广播的人造卫星以无线方式将程序从下载服务器发送到计算机，或可以通过像局域网(LAN)或互联网那样的网络以有线方式将程序从下载服务器发送到计算机。该计算机含有中央处理单元(CPU) 102，并通过总线101将输入/输出接口 110与CPU 102 连接。如果用户操作输入单元107并通过输入/输出接口 110输入命令，则CPU102按照该命令执行存储在只读存储器(ROM) 103中的程序。可替代的是，CPU 102将存储在硬盘105中的程序装载到随机访问存储器(RAM) 104中并执行装载的程序。这样，CPU 102进行基于上述流程图的处理或基于上述方块图的配置的处理。然后，例如，CPU 102从输出单元106输出处理的结果或通过输入/输出接口 110从通信单元108发送处理的结果，或按照必要性将处理的结果寄存在硬盘105中。另外，输入单元107包括键盘、鼠标、麦克风等。而且，输出单元106包括液晶显示器(IXD)、扬声器等。在本说明书中，计算机根据程序进行的处理可以不按流程图的次序依时序进行。也就是说，计算机根据程序进行的处理可以包括以并行方式或以分别方式进行的处理(例如，并行处理或基于对象处理)。而且，程序也可以由一台计算机(处理器)执行，或者也可以由多台计算机分布式地执行。此外，程序也可以发送给远程计算机来执行。本领域的普通技术人员应该明白，只要在所附权利要求书或其等效物的范围之内，视设计要求和其它因素而定，可以作出各种各样的修改、组合、分组合和变更。也就是说，在本实施例中，如果从不动体检测单元37供应不动体信息，则不动体展示单元38通过声音、图像、灯泡的闪烁或发光等向用户展示(通知)不动体的检测目的。但是，不动体检测单元37获得的不动体信息可以作为图像的元数据通过网络与图像获取单元11获取的图像一起发送。而且，在本实施例中，通过二值化，不动体检测单元37将不动体置信度等于或大于阈值的存储在存储单元36中的置信度图像的像素的像素值设置成1，并将不动体置信度小于阈值的像素的像素值设置成0，从而获得二值化置信度图像。但是，可替代的是，二值化置信度图像可以，例如，通过二值化，也就是说，通过将具有等于或大于阈值的不动体置信度、包括暂时停止物体、和在存储在存储单元34中之后的预定时间间隔或更长内存在的置信度图像的像素的像素值设置成I ;而将其它像素的像素值设置成0来获得。而且，图1的不动体检测装置可以应用于，例如，能够通过网络发送捕获图像的网络摄像机、用于联网模拟图像的装置(通过网络发送模拟图像的装置或个人计算机(PO)、或其它装置。在本说明书中，“等于或大于”或“等于或小于”可以代表“大于”或“小于”，或“大于”或“小于”可以代表“等于或大于”或“等于或小于”。而且，本技术也可以配置成如下那样。(I)一种图像处理装置，其包括:
生成单元，配置成从所获取图像中生成多项分布的背景模型，并生成背景；以及确定单元，配置成确定是否可以从所述生成单元生成的背景模型中生成置信度高的背景。(2)按照(I)所述的图像处理装置，其中所述背景模型包括将预定坐标上的亮度值与亮度值的出现频率相联系的分布，以及当频率最高的分布大于预定值时，所述确定单元确定可以生成置信度高的背景。(3)按照(2)所述的图像处理装置，其中所述预定值是从多项分布的项数和背景模型的更新次数中计算的。(4)按照(I)至(3)的任何一项所述的图像处理装置，其中向用户展示所述确定单元确定为不能生成置信度高的背景的区域的区域。(5)按照(I)所述的图像处理装置，进一步包括:运动体检测单元，配置成从当前图像中检测作为与所述生成单元生成的背景不同的图像的运动体；暂时停止确定单元，配置成确定运动体是否暂停了预定时间间隔或更长；置信度处理单元，配置成使用当前图像和包括暂时停止物的暂时停止图像关于当前图像的像素计算不动体置信度，所述暂时停止物是暂停了预定时间间隔或更长的运动体，所述不动体置信度代表成为不动体的可能性，所述不动体是在预定时间间隔或更长内不变的与背景不同的图像；以及不动体检测单元，配置成根据所述不动体置信度从当前图像中检测不动体。(6)一种图像处理方法，其包括:从所获取图像中生成多项分布的背景模型，并生成背景；以及确定是否可以从所生成背景模型中生成置信度高的背景。(7)一种使计算机起如下作用的程序:生成单元，配置成从所获取图像中生成多项分布的背景模型，并生成背景；以及确定单元，配置成确定是否可以从所述生成单元生成的背景模型中生成置信度高的背景。本公开包含与公开在2011年9月16日向日本专利局提交的日本优先权专利申请JP 2011-202748中的主题有关的主题，特此通过引用并入其全部内容。
权利要求
1.一种图像处理装置，其包含: 生成单元，配置成从所获取图像中生成多项分布的背景模型，并生成背景；以及 确定单元，配置成确定是否可以从所述生成单元生成的背景模型中生成置信度高的背
2.按照权利要求1所述的图像处理装置，其中所述背景模型包括将预定坐标上的亮度值与亮度值的出现频率相联系的分布，以及 当频率最高的分布大于预定值时，所述确定单元确定可以生成置信度高的背景。
3.按照权利要求2所述的图像处理装置，其中所述预定值是从多项分布的项数和背景模型的更新次数中计算的。
4.按照权利要求1所述的图像处理装置，其中向用户展示所述确定单元确定为不能生成置信度高的背景的区域的区域。
5.按照权利要求1所述的图像处理装置，进一步包含: 运动体检测单元，配置成从当前图像中检测作为与所述生成单元生成的背景不同的图像的运动体； 暂时停止确定单元，配置成确定运动体是否暂停了预定时间间隔或更长； 置信度处理单元，配置成使用当前图像和包括暂时停止物体的暂时停止图像关于当前图像的像素计算不动体置信度，所述暂时停止物体是暂停了预定时间间隔或更长的运动体，所述不动体置信度代表成为不动体的可能性，所述不动体是在预定时间间隔或更长内不变的与背景不同的图像；以及 不动体检测单元，配置成根据所述不动体置信度从当前图像中检测不动体。
6.一种图像处理方法，其包含: 从所获取图像中生成多项分布的背景模型，并生成背景；以及 确定是否可以从所生成背景模型中生成置信度高的背景。
7.一种使计算机起如下作用的程序: 生成单元，配置成从所获取图像中生成多项分布的背景模型，并生成背景；以及 确定单元，配置成确定是否可以从所述生成单元生成的背景模型中生成置信度高的背旦 o
全文摘要
本发明提供了一种图像处理装置，其包括生成单元，配置成从所获取图像中生成多项分布的背景模型，并生成背景；以及确定单元，配置成确定是否可以从所述生成单元生成的背景模型中生成置信度高的背景。
文档编号G06T7/20GK103198490SQ20121032882
公开日2013年7月10日 申请日期2012年9月7日 优先权日2011年9月16日
发明者西野胜章 申请人:索尼公司