图像处理设备、图像处理方法和程序的制作方法

专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本技术涉及图像处理设备、图像处理方法和程序，更具体地，涉及通过其可以在非移动物体的检测中，即，在被留下的物体或者被带走的物体的检测中，抑制错误检测的图像处理设备、图像处理方法和程序。
背景技术：
例如，作为检测可疑物体已经留下或者在展览室中展出的展品已经被带走的技术，存在检测作为图像中的非移动物体的、不是背景且非移动的部分的方法。检测非移动物体的非移动物体检测方法包括这样的方法从图像检测静止区域且将新检测的静止区域登记为背景以创建多个背景，且甚至当在另一静止物体的前面出现静止物体且两个静止物体彼此重叠时，可以分开地检测两个静止物体(例如，参见W0/2009/005141)。此外，非移动物体检测方法包括其中以多个时间尺度执行背景的更新等以保证相对于干扰的鲁棒性的方法(例如，参见日本未审查专利申请公开No. 2008-257693)。此外，在W0/2009/005141中公开的非移动物体检测方法中，树的摇动等可能被错误地检测为静止物体(非移动物体)。此外，在W0/2009/005141中公开的非移动物体检测方法中，为了彼此分离静止物体，因为计算各种类型的特征量且另外需要聚类(clustering)，所以增加了操作量，因此其不适于实时处理。此外，在日本未审查专利申请公开No. 2008-257693中公开的非移动物体检测方法中，当两个静止物体彼此重叠时，不保证两个静止物体被适当地检测为非移动主体。

发明内容
作为非移动物体检测方法，越来越需要能够以高精度检测非移动物体同时抑制错误检测的方法。考虑上述，本技术的目的是执行鲁棒的非移动物体检测同时抑制错误检测。根据本技术实施例的图像处理设备或者程序是图像处理设备或者用于使得计算机用作该图像处理设备的程序，该图像处理设备包括移动物体检测单元，配置为检测作为不同于当前图像中的背景的图像的移动物体；临时暂停确定单元，配置为确定移动物体是否暂停预定时间段或更长时间；可靠性处理单元，配置为使用当前图像和临时暂停图像来计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括暂停预定时间段或更长时间的用作移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间不改变的背景的图像的非移动物体的似然性；和非移动物体检测单元，配置为基于非移动物体可靠性从当前图像检测非移动物体。根据本技术实施例的图像处理方法是如下图像处理方法，包括检测作为不同于当前图像中的背景的图像的移动物体；确定移动物体是否暂停预定时间段或更长时间；使用当前图像和临时暂停图像来计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括暂停预定时间段或更长时间的用作移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内不改变的背景的图像的非移动物体的似然性；和基于非移动物体可靠性从当前图像检测非移动物体。根据本技术的实施例，检测作为不同于当前图像中的背景的图像的移动物体，并确定移动物体是否暂停预定时间段或更长时间。然后，使用当前图像和临时暂停图像计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括暂停预定时间段或更长时间的用作移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内不改变的背景的图像的非移动物体的似然性。基于非移动物体可靠性，从当前图像检测非移动物体。此外，图像处理设备可以是独立设备，或者构成一个设备的内部模块。此外，可以通过经由传输介质传输或者寄存在记录介质上来提供程序。 根据本技术，可以执行鲁棒的非移动物体检测同时抑制错误检测。


图I是图示采用本技术的非移动物体检测设备的实施例的配置示例的框图；图2是解释非移动物体检测设备的处理的概述的示图；图3是图示移动物体检测单元31的配置示例的框图；图4是解释移动物体检测单元31的移动物体检测原理的示图；图5是解释临时暂停确定单元32的处理的示图；图6是解释可靠性处理单元35的处理的示图；图7A至图7C是解释可靠性处理单元35的非移动物体可靠性的更新的概述的示图；图8是解释可靠性处理单元35的非移动物体可靠性的更新的细节的示图；图9A和图9B是图示由可靠性处理单元35更新的非移动物体可靠性C(X)的变化的示图；图10是解释可靠性处理单元35的非移动物体可靠性C⑴的初始值C。的设置的示图；图11是解释非移动物体检测设备的处理(非移动物体检测处理)的流程图；图12是解释非移动物体检测设备的处理的示图；图13是解释当非移动物体可靠性C (X)单调减小时防止像素X被检测为非移动物体的示图；图14是解释当在存储单元34和36中分别存储三个临时暂停图像和三个可靠性图像时非移动物体检测设备的处理的示图；和图15是图示采用本技术的计算机的实施例的配置示例的框图。
具体实施例方式在下文中，将参考附图详细描述本技术的优选实施例。注意到，在该说明书和附图中，具有实质上相同的功能和结构的结构元件由相同的附图标记表示，且省略这些结构元件的重复说明。
[采用本技术的非移动物体检测设备的实施例]图I是图示采用本技术的图像处理设备的非移动物体检测设备的实施例的配置示例的框图。在图I中，非移动物体检测设备包括图像获取单元11、背景产生单元21、移动物体检测单元31、临时暂停确定单元32、临时暂停图像处理单元33、存储单元34、可靠性处理单元35、存储单元36、非移动物体检测单元37和非移动物体呈现单元38，并检测和呈现非移动物体。图像获取单元11获取并输出预定速率的图像(移动图像)。也就是说，例如，图像获取单元11是相机，并在其中已经安装了相机的比如展览 室之类的预定位置以预定速率捕捉图像，并输出捕捉的图像。此外，例如，图像获取单元11获取通过从相机(未示出)捕捉预定位置而获得的图像，执行增加图像分辨率的图像处理，并输出高分辨率图像。此外，由图像获取单元11获取的图像可以是彩色图像或者黑白图像。这里，假定由图像获取单元11获取的图像为黑白图像。在这种情况下，在下面的描述中，像素的像素值是亮度值。从图像获取单元11输出的图像提供到背景产生单元21、移动物体检测单元31、临时暂停图像处理单元33、可靠性处理单元35和非移动物体呈现单元38。背景产生单元21使用作为从图像获取单元11提供的最新图像的当前图像等产生背景(图像)，并提供背景到可靠性处理单元35。也就是说，如果在时间t的图像(当前图像)的位置X的像素(在下文中，也称为像素X)的像素值由It(X)表示，则在I时间之前的时间t-Ι由背景产生单元21产生的背景的像素X的像素值由Bw(X)表示，而在时间t由背景产生单元21产生的背景的像素X的像素值由Bt(X)表示，例如，背景产生单元21根据以下公式I计算在时间t的背景的像素X的像素值Bt (X)。公式IBt(x) = (l_a ) B^1 (X) +a It(X)在以上公式I中，系数α表示1〈α〈I. O的范围中的值。根据以上公式1，背景产生单元21通过关于从过去时间t-ΛΤ+Ι到当前时间t的时间AT的图像的加权相加来(近似)等效地获得背景。如果系数α变小，则以长时段更新根据以上公式I获得的背景。也就是说，在其中以上公式I的系数α具有小值的情况下，即使在图像中发生变化，如果变化之后图像的状态不持续长时间，系数α也不反映在背景中。此外，如果系数α变大，则以短时段更新根据以上公式I获得的背景。也就是说，在以上公式I的系数α具有大值的情况下，当图像中发生变化时，如果变化之后的图像状态持续短时间，则系数α反映在背景中。当仅已经移动至少时间m的物体检测为非移动物体时，如果时间m被定义为非移动物体识别时间m，则优选地由背景产生单元21产生的背景的更新周期比非移动物体识别时间m更长，例如，大约非移动物体识别时间m的五倍。也就是说，即使在图像中发生变化，如果变化之后的图像状态仅持续对应于非移动物体识别时间m的大约五倍的时间，则系数α被设置为反映在背景中的值。这里，例如，可以由用户操作图I的非移动物体检测设备设置非移动物体识别时间m，且背景产生单元21根据非移动物体识别时间m设置系数α。此外，背景产生单元21的背景产生方法不限于使用以上公式I的方法。也就是说，背景产生单元21可以采用用于使用高斯混合模型(加权混合正态分布)等来创建背景的方法。移动物体检测单元31检测来自图像获取单元11的当前图像中作为不同于背景的图像的移动物体(图像)，并向临时暂停确定单元32和临时暂停图像处理单元33提供作为外接(circumscribe)移动物体的最小矩形区域的移动物体区域。临时暂停确定单元32确定来自移动物体检测单元31的包括在移动物体区域中的 移动物体是否暂停预定时间段或更长时间(在下文中也称为临时暂停)。当确定移动物体临时暂停时，临时暂停确定单元32复制临时暂停移动物体的移动物体区域中的图像作为临时暂停物体，并将该图像提供到临时暂停图像处理单元33，在反映临时暂停的物体(临时暂停物体)的临时暂停图像上反映该临时暂停物体。临时暂停图像处理单元33在存储单元34中寄存(存储)从临时暂停确定单元32提供的临时暂停物体。也就是说，例如，存储单元34是用于存储临时暂停图像的帧存储器，且临时暂停图像处理单元33将包括在存储在存储单元34中的图像(临时暂停图像)中的来自临时暂停确定单元32的临时暂停物体的区域内的像素值更新为临时暂停物体的像素值。此外，临时暂停图像处理单元33使用来自图像获取单元11的当前图像和来自移动物体检测单元31的移动物体(移动物体区域)来更新在存储单元34中存储的临时暂停图像。也就是说，临时暂停图像处理单元33通过在存储单元34中寄存的临时暂停图像(临时暂停物体)和来自图像获取单元11的当前图像的加权相加，更新存储单元34中寄存(存储)的临时暂停图像上反映的临时暂停物体中、不包括在来自移动物体检测单元31的移动物体中的像素的像素值。详细地说，如果在时间t的图像(当前图像)的像素X的像素值由It⑴表示，则在I之前时间的时间t-ι在存储单元34中存储的临时暂停图像的像素X的像素值由Pw(X)表示，且在时间t由临时暂停图像处理单元33获得的更新的临时暂停图像的像素X的像素值由Pt(X)表示，临时暂停图像处理单元33在存储单元34中存储的临时暂停图像上反映的临时暂停物体的像素当中，根据以下公式2关于移动物体的像素并根据以下公式3关于不包括在移动物体中的像素，来计算在时间t的临时暂停图像(更新的临时暂停图像)的像素X的像素值Pt (X)。公式2Pt ⑴=P^ ⑴公式3 Pt (X) = (I- a，)Ph (X) + a It (X)基于根据以上公式3的临时暂停图像的更新，在其中由图像获取单元11获取的图像的整个屏幕的亮度由太阳光或者照明的变化而改变的状态中，可以适当地更新在存储单元34中存储的临时暂停图像上反映的临时暂停物体的亮度(像素值)，因此亮度最大限度地接近当前亮度(当前图像的亮度)，导致相对于图像亮度的变化的鲁棒性的改进。因此，可以以高精度执行非移动物体检测。此外，根据以上公式2，在临时暂停图像上反射的临时暂停物体与当前图像的移动物体重叠的部分的像素值不被更新(保持更新之前的值)。这是为了防止当比如行人之类的移动物体通过临时暂停物体的前侧时关于行人(移动物体)的像素值覆盖(更新)临时暂停物体的像素值。可靠性处理单元35使用来自图像获取单元11的当前图像、来自背景产生单元21的背景和在存储单元34中存储的临时暂停图像，计算当前图像的每一个像素(或者一些相邻像素)的非移动物体可靠性，并在存储单元36中寄存(存储)非移动物体可靠性，其中，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内不改变的背景的图像的非移动物体的似然性。 存储单元36存储其中采用来自可靠性处理单元35的当前图像的每一个像素的非移动物体可靠性作为像素值的可靠性图像。非移动物体检测单元37基于在存储单元36中存储的可靠性图像从当前图像检测非移动物体，并提供检测的非移动物体给非移动物体呈现单元38。也就是说，非移动物体检测单元37使用阈值二进制化作为存储单元36中存储的可靠性图像的像素值的非移动物体可靠性(等于或大于阈值的非移动物体可靠性设置为I且小于阈值的非移动物体可靠性设置为0)，由此获得二进制化的可靠性图像。此外，非移动物体检测单元37执行二进制化的可靠性图像的标记(labeling)以在具有像素值I的像素(具有等于或大于阈值的非移动物体可靠性的像素)和与该像素相邻的八个像素将相同标签附加到具有像素值I的像素，由此检测外接包括具有像素值I的像素的区域的最小矩形区域作为非移动物体的区域(非移动物体区域)。然后，非移动物体检测单元37分析(获得)用于指定非移动物体(区域)的信息，比如作为非移动物体区域的矩形的尺寸(水平和垂直像素的数目)、矩形的中心或者左上点的坐标等，并将该信息提供到非移动物体呈现单元38作为非移动物体信息。基于来自非移动物体检测单元37的非移动物体信息，非移动物体呈现单元38根据需要使用来自图像获取单元11的当前图像来呈现非移动物体(非移动物体的检测目的)。也就是说，如果从非移动物体检测单元37提供非移动物体信息，则非移动物体呈现单元38通过声音、图像、灯闪烁或灯发光等来向用户呈现(通知用户)非移动物体的检测目的。此外，非移动物体呈现单元38将包围由来自非移动物体检测单元37的非移动物体信息指定的非移动物体区域的帧的在屏显示(OSD)叠加在来自图像获取单元11的当前图像上，并允许OSD显示在显示设备(未示出)上。此外，仅当非移动物体(非移动物体区域)具有预定尺寸SA或更大时，非移动物体呈现单元38可以呈现非移动物体。此外，仅当非移动物体具有预定尺寸SA或者更小时，非移动物体呈现单元38可以呈现非移动物体。此外，仅当非移动物体具有预定尺寸SA或更大且具有另一预定尺寸SB (>SA)或更小时，非移动物体呈现单元38可以呈现非移动物体。例如，通过用户对于非移动物体检测设备的操作可以设置预定尺寸SA或者SB。
图2是解释图I的非移动物体检测设备的处理的概述的示图。也就是说，图2图示由图I的图像获取单元11获取的图像的时间序列示例。在图2中，在时间tl的图像上，反映房屋和房屋附近生长的树。在时间tl之后的时间t2的图像上，除了房屋和树之外，在时间t2反映停在房屋前面的汽车并反映从屏幕的右向左走的行人。在时间t2之后的时间t3的图像上，反映房屋、树、汽车和已经移动到屏幕左侧的行人。然后，在时间t3之后的时间t4，因为行人已经通过屏幕，所以在时间t4在图像上反映房屋、树和汽车，但是行人已经消失。在这种情况下，在图I的非移动物体检测设备中，在时间tl的图像采用为背景(图 像)，且从时间t2开始停放并不同于背景的汽车(其图像)被检测为非移动物体。此外，在图I的非移动物体检测设备中，因为行人对应于通过行走移动的移动物体，所以行人不被检测为非移动物体。如上所述，在图I的非移动物体检测设备中，预定时间段或更长时间内不改变且不同于图像中的背景的一部分被检测为非移动物体。由此，在图I的非移动物体检测设备中，例如，如图2所示，在其中在时间tl的包括房屋和树的图像是背景的情况下，当汽车已经停在房屋前面且已经留下时，汽车被检测为非移动物体。此外，例如，在其中在时间t4的包括房屋、树和停放的汽车的图像是背景的情况下，当停放汽车已经留下时，汽车(包括汽车的一部分)被检测为非移动物体。[移动物体检测单元31]图3是图示图I的移动物体检测单元31的配置示例的框图。在图3中，移动物体检测单元31包括背景产生部分51、背景差别图像产生部分52、过去图像存储部分53、过去差别图像产生部分54、持续性计数图像产生部分55、移动物体候选区域图像产生部分56和检测部分57，并从来自图像获取单元11 (图I)的当前图像检测不同于背景的移动物体，其中，移动物体包括正在移动的物体，仅对于短时间暂停的物体等。这里，例如，图3的移动物体检测单元31使用在日本未审查专利申请公开No. 2006-107457中公开的方法来检测移动物体。然而，移动物体检测单元31的移动物体检测方法不特别限制于此。在图3中，来自图像获取单元11的当前图像提供到背景产生部分51、背景差别图像产生部分52、过去图像存储部分53和检测部分57。例如，类似于图I的背景产生单元21，背景产生部分51根据以上公式I使用来自图像获取单元11的当前图像产生背景，并提供背景给背景差别图像产生部分52。此外，为了抑制移动物体的错误检测，背景产生部分51产生与由图I的背景产生单元21产生的背景相比以短周期更新的背景。也就是说，例如，如果由图I的背景产生单元21产生的背景的更新周期是一小时，则例如，背景产生部分51产生以大约15秒的周期更新的背景。由此，背景产生部分51设置大于图I的背景产生单元21中使用的值的值作为以上公式I的系数α。
这里，背景产生部分51产生其中在当前图像上反射的移动物体(其显示)已经抑制并已经暂停预定时间段的图像作为背景。同时，为了检测在预定时间段或更长时间(比如三分钟)内不改变且不同于背景的非移动物体，例如，图I的背景产生单元21产生与非移动物体不改变的最小要求时间(上述三分钟等)相比在充分长的时间处于暂停状态的图像作为背景。此外，背景产生部分51可以产生以与图I的背景产生单元21产生的背景的周期相同的周期更新的背景。在这种情况下，只要在非移动物体检测设备中提供背景产生单元21和51之一就足够了。背景差别图像产生部分52产生其中来自图像获取单元11的当前图像和来自背景产生部分51的背景之间像素的像素值的差值的绝对值采用为像素值的背景差别图像，并提供背景差别图像到检测部分57。 同时，过去图像存储部分53顺序地存储从图像获取单元11作为当前图像提供的图像，由此存储从当前回到过去的N+1个时间段的图像，S卩，在最新时间(当前时间)t的当iu图像和从时间t_N到t_l的过去图像。在过去图像存储部分53中存储的在时间t的图像(当前时间)和从时间t-N到t-1的图像(过去图像)提供到过去差别图像产生部分54。过去差别图像产生部分54产生其中当前图像和在每个时间t-n (η=1、2、· · ·、N)的过去图像之间的像素的像素值的差值采用为像素值的过去差别图像，并提供过去差别图像到持续性计数图像产生部分55。持续性计数图像产生部分55执行从在时间t-N、t-(N+l)、. . .、t_l的过去图像获得的N个过去差别图像的像素的计数以确定像素值(差值)的持续性，产生其中计数值采用为像素值的持续性计数图像，并将持续性计数图像提供到移动物体候选区域图像产生部分56。移动物体候选区域图像产生部分56使用阈值二进制化来自持续性计数图像产生部分55的持续性计数图像(其像素的像素值)，产生其中包括移动物体的像素的候选像素值设置为I且其他像素的像素值设置为O的移动物体候选区域图像，并提供移动物体候选区域图像到检测部分57。检测部分57基于来自背景差别图像产生部分52的背景差别图像和来自移动物体候选区域图像产生部分56的移动物体候选区域图像，来检测包括当前图像中的移动物体的当前图像的区域。此外，检测部分57复制包围其中已经反映移动物体的区域的最小矩形外接区域(circumscribing area)的图像,作为来自图像获取单元11的当前图像的移动物体区域，并提供移动物体区域到图I的临时暂停确定单元32和临时暂停图像处理单元33。图4是解释图3的移动物体检测单元31的移动物体检测原理的示图。也就是说，图4图不其中在时间t_N、t- (N+1)、· · · > t~l的当如图像和过去图像之间像素的像素值的差值被采用为像素值的N个过去差别图像的像素X的像素值(当前图像和过去图像的像素值之间的差值)的示例。此外，在图4中，横轴表示为获得过去差别图像而使用的过去图像的时间，且纵轴表示过去差别图像的像素X的像素值(当前图像和过去图像的像素值的差值)。
当移动物体没有反映在时间t-Ν到t的每个图像的像素X上时，相对小值继续作为N个过去差别图像的像素X的像素值(差值)，如图4的顶图所示。同时，在时间t-Ν到t的时间t’，当移动物体开始在像素X上反映且在当前图像的像素X上反映时，相对大值继续作为时间t’之前过去差别图像的像素X的像素值(差值)，且时间t’之后的过去差别图像的像素X的像素值(差值)是相对小值，如图4的中间图所示。此外，当树的树叶或者纹理已经反映在时间t-N到t的图像的像素X上，且已经摇动时，N个过去差别图像的像素X的像素值(差值)改变为大值或者小值，如图4的底图所示。由此，使用阈值二进制化N个过去差别图像的像素X的像素值(差值)，且具有超过阈值的像素值且持续预定时间段的像素被检测为在其上已经反映移动物体的像素，因此可以防止将树的树叶或纹理的摇动或者比如由于太阳光的突然变化的亮度变化的干扰错误地检测(错误检测)为移动物体。在这点上，在图3的移动物体检测单元31中，持续性计数图像产生部分55执行从·
在时间t-N、t-(N+l).....t-1的过去图像获得的N个过去差别图像的像素的计数，以计算
像素值连续超过阈值的次数(过去差别图像的数目)，产生其中计数值被采用为像素值的持续性计数图像，并提供持续性计数图像到移动物体候选区域图像产生部分56。这里，如参考图3描述的，移动物体候选区域图像产生部分56产生通过使用阈值二进制化来自持续性计数图像产生部分55的持续性计数图像的像素的像素值而获得的移动物体候选区域图像。当移动物体已经反映在像素X上时，因为相对大值继续作为N个过去差别图像的像素X的像素值(差值)且持续性计数图像的像素X的像素值超过阈值，所以检测到已经超过阈值的像素值的持续性计数图像的像素，即，检测到具有像素值I的移动物体候选区域图像的像素，因此可以检测移动物体(在其上已经反映移动物体的像素)。同时，当物体已经从位置X移动到位置Y时，持续性计数图像的像素X和Y的所有像素值超过阈值。由此，当具有像素值I的移动物体候选区域图像的像素被检测为移动物体时，像素X且Y两者被检测为移动物体。然而，当物体已经从位置X移动到位置Y时，移动的物体反映在当前图像中的像素Y上，但是因为物体已经经过像素X而不反映在像素X上。由此，当物体已经从位置X移动到位置Y时，在来自当前图像的移动物体的检测时，像素X和Y不都被检测为移动物体。也就是说，包括当前图像中的已移动物体的像素Y被检测为移动物体，而不包括当前图像中的已移动物体的像素X不被检测为移动物体。在这点上，在具有像素值I的移动物体候选区域图像的像素当中，图3的移动物体检测单元31仅将包括当前图像中移动之后的已移动物体的像素检测为移动物体(不将包括当前图像中移动之前的物体的像素检测为移动物体)。也就是说，如上所述，在图3的移动物体检测单元31中，背景差别图像产生部分52产生其中来自图像获取单元11的当前图像与来自背景产生部分51的背景之间的像素的像素值的差值的绝对值被采用为像素值的背景差别图像，并提供背景差别图像到检测部分57。因为背景差别图像的像素值(差值的绝对值)在当前图像与背景中不同的像素中变大，即，在不反映在背景上但是反映在当前图像上的物体的像素中变大，所以使用阈值二进制化背景差别图像(其每一个像素的像素值)，因此可以获得其中不反映在背景上但是反映在当前图像上的物体的像素具有像素值1，且其它像素具有像素值O的图像(在下文中，也称为二进制化背景差别图像)。因为不反映在背景上但是反映在当前图像上的物体的像素在二进制化背景差别图像中具有像素值1，所以检测到在二进制化背景差别图像与移动物体候选区域图像两者中具有像素值I的像素，因此可以仅将包括当前图像中移动之后的物体的像素检测为移动物体。如上所述，检测部分57基于来自背景差别图像产生部分52的背景差别图像(获得的二进制化背景差别图像)和来自移动物体候选区域图像产生部分56的移动物体候选区域图像，仅将包括移动之后的物体的当前图像的像素检测为移动物体。在如上所述的移动物体检测单元31中，当出现不在背景中的物体时(例如，当物体已经留下时)，包括当前图像中的物体的一部分被检测为移动物体。然而，当存在于背景 中的物体已经消失时(例如，当物体已经被带走时)，包括存在于当前图像中的背景的物体的一部分被检测为移动物体。[临时暂停确定单元32]图5是解释图I的临时暂停确定单元32的处理的示图。临时暂停确定单元32确定来自移动物体检测单元31 (包括在移动物体区域中)的移动物体是否暂停预定时间段或更长时间(临时暂停)。关于移动物体是否临时暂停的确定包括关于移动物体是否处于暂停状态的暂停状态确定和关于暂停状态是否持续预定时间段(等于或者略微地短于上述非移动物体识别时间m)或更长时间的持续确定。也就是说，通过跟踪由移动物体检测单元31检测的移动物体，临时暂停确定单元32使用从在时间t的图像(当前图像)检测到的移动物体和从在I时间之前的时间t-Ι的与上述移动物体相同的图像检测的移动物体，来执行暂停状态确定。在暂停状态确定中，确定从当前图像检测的移动物体和例如从一时间之前(过去时间)，比如时间t-Ι的图像检测的移动物体之间的位移量是否小于位移量的阈值TH1。例如，如果从当前图像检测到的移动物体的矩形移动物体区域的中心的坐标(位置)由(cX，cy)表示且从在时间t-1的图像检测到的移动物体的矩形移动物体区域的中心的坐标(位置)由(cx_p, cy_p)表示,则例如,位移量可以表示为I cx_cx_p I +1 cy_cy_p I。在这种情况下,在暂停状态确定中，确定是否满足I cx_cx_p I +1 cy_cy_p I〈TH1。当从当前图像检测到的移动物体与从在时间t-Ι的图像检测到的移动物体之间的位移量小于位移量的阈值THl时，用于对移动物体连续处于暂停状态计数的变量snum递增I。此外，当从当前图像检测到的移动物体与从在时间t-Ι的图像检测到的移动物体之间的位移量不小于位移量的阈值THl时,变量snum复位为O。在持续确定中，确定变量snum是否大于(等于或大于)对应于一预定时间段的时间的阈值TH2。当变量snum大于阈值TH2时，确定从当前图像检测到的移动物体临时暂停(处于临时暂停状态)。当变量snum不大于阈值TH2时，确定从当前图像检测到的移动物体未临时暂停(未处于临时暂停状态)。如上所述，当从当前图像检测到的移动物体与从当前图像的I时间之前的图像检测到的移动物体之间的位移量小于阈值THl的事实持续阈值TH2或更长时间时，临时暂停确定单元32确定临时从当前图像检测到的移动物体暂停预定时间段或更长时间，即，处于临时暂停状态。如果确定从当前图像检测到的移动物体临时暂停预定时间段或更长时间，即，处于临时暂停状态，则临时暂停确定单元32向移动物体分配临时暂停标记isPause，其中，临时暂停标记isPause具有指示临时暂停状态的值I。然后，临时暂停确定单元32向临时暂停图像处理单元33提供已经向其分配具有值I的临时暂停标记isPause的移动物体，作为临时暂停的临时暂停物体。临时暂停图像处理单元33以覆盖的形式在存储单元34中存储的临时暂停图像中 寄存(存储)从临时暂停确定单元32提供的临时暂停物体。此外，可以从要被检测为临时暂停物体的物体排除人(人类)，或者被检测为非移动物体。根据本发明人的经验，因为亮度关于人在相对短时间内改变，所以如果从当前图像检测到的移动物体是其中亮度在相对短时间内改变的移动物体，则即使临时暂停确定单元32确定移动物体临时暂停，移动物体也不设置为临时暂停物体(不寄存在存储单元34中)，因此可以防止将人被检测为非移动物体。[可靠性处理单元35]图6是解释图I的可靠性处理单元35的处理的示图。如参考图I描述的，可靠性处理单元35使用来自图像获取单元11的当前图像、来自背景产生单元21的背景和在存储单元34中存储的临时暂停图像，计算当前图像的每一个像素的非移动物体可靠性，并在存储单元36中寄存(存储)非移动物体可靠性。这里，如图6中所示，房屋、树、汽车和行人假定为反映在当前图像上。此外，在图6中，假定反映在当前图像上的房屋和树是背景，汽车是非移动物体，且作为移动物体的行人是移动物体。在这种情况下，如图6中所示，存储单元34存储在其上用作非移动物体的汽车反映为临时暂停物体的临时暂停图像。当注意到在其上反映用作非移动物体的汽车的当前图像的像素(在下文中，也称为非移动物体像素)X时，当前图像的非移动物体像素(位置X的像素)X的像素值I和临时暂停图像的非移动物体像素(位置X的像素)X的像素值相等(一致或者大致一致)。此外，临时暂停图像的非移动物体像素X的像素值P和背景的非移动物体像素(位置X的像素)的像素值B不相等。此外，当前图像的非移动物体像素X的像素值I与背景的非移动物体像素X的像素值B不相等。同时，当注意到当前图像的背景，例如，在其上反映房屋的像素(在下文中，也称为背景像素)x’时，当前图像的背景像素X’的像素值I与临时暂停图像的背景像素X’的像素值P不相等。此外，临时暂停图像的背景像素X’的像素值P与背景的背景像素X’的像素值B不相等。
然而，当前图像的背景像素V的像素值I与背景的背景像素V的像素值B相等。同时，当注意到在其上反映用作当前图像的移动物体的行人的像素在下文中，也称为移动物体像素)X”时，当前图像的移动物体像素X”的像素值I与临时暂停图像的移动物体像素X”的像素值P不相等。此外，临时暂停图像的移动物体像素V,的像素值P与背景的移动物体像素V,的像素值B不相等，当前图像的移动物体像素V,的像素值I与背景的移动物体像素V,的像素值B不相等。当用作移动物体的行人在用作非移动物体的汽车前面且当前图像的移动物体像素是在其上反映移动物体的像素时，也是这样，如图6所示。如上所述，因为当前图像的位置X的像素的像素值、临时暂停图像和背景当中的量值关系(magnitude relation)根据当前图像的位置X的像素是非移动物体像素、背景像 素或者移动物体像素而改变，可以基于该量值关系估计表示当前图像的位置X的像素作为非移动物体像素的似然性的非移动物体可靠性。在这点上，可靠性处理单元35基于当前图像、背景和临时暂停图像的像素X的像素值当中的量值关系，计算当前图像的每一个像素(每个位置X的像素)的非移动物体可靠性。例如，当图I的非移动物体检测设备接通电源时，可靠性处理单元35将存储单元36中存储的可靠性图像(其中非移动物体可靠性采用为像素值的图像)的每一个像素值复位为例如O。然后，如果在存储单元34中重新寄存(存储)临时暂停物体，即，如果从当前图像获得新的临时暂停物体，则可靠性处理单元35设置构成在存储单元36中存储的可靠性图像的新的临时暂停物体的每一个像素中的非移动物体可靠性的初始值Ctl (在存储单元36中存储(寄存)初始值CtlX此外，可靠性处理单元35无论何时(在每个帧中)获得新的当前图像，都确定当前图像的每一个像素是否是非移动物体像素，并基于确定结果更新与在存储单元中存储的可靠性图像像素值对应的非移动物体可靠性。也就是说，图7是解释可靠性处理单元35的非移动物体可靠性的更新的概述的示图。假定当前图像的位置X的像素的像素值由I(X)表示，临时暂停图像的位置X的像素的像素值由P(X)表示，且背景的位置X的像素的像素值由B(X)表示。如参考图6描述的，当当前图像的位置X的像素是非移动物体像素时，像素值I (X)和像素值P (X)相等，像素值P (X)和像素值B (X)不相等，且像素值I (X)和像素值B (X)不相等。此外，当当前图像的位置X的像素是背景像素时，像素值I(X)和像素值P(X)彼此不相等，像素值P (X)和像素值B (X)彼此不相等，且像素值I (X)和像素值B (X)彼此相等。此外，当当前图像的位置X的像素是移动物体像素时，像素值I (X)和像素值P(X)不相等，像素值P (X)和像素值B (X)不相等，且像素值I (X)和像素值B(X)不相等。在这点上，当如图7A所示，像素值I(X)和像素值P(X)之间的差值的绝对值I⑴-P⑴I小于阈值th，像素值I⑴和像素值B⑴之间的差值的绝对值11⑴-B⑴I等于或大于阈值th，且像素值B(X)和像素值P(X)之间的差值的绝对值Ib(X)-P(X) I等于或大于阈值th时，因为很可能当前图像的像素(位置X的像素)X是非移动物体像素，所以例如，可靠性处理单元35将像素X的非移动物体可靠性C(X)的更新量AC(X)设置为+1，并根据公式C(X) =C(X)+ AC(X)更新非移动物体可靠性C(X)(递增非移动物体可靠性C(X))。此外，当如图7B中所示，像素值I(X)和像素值P(X)之间的差值的绝对值I(X)-P(X) I等于或大于阈值th，像素值P(X)和像素值B(X)之间的差值的绝对值P(X)-B(X)等于或大于阈值th，且像素值B(X)和像素值I(X)之间的差值的绝对值B⑴-I (X) I小于阈值th时，或者当像素值I(X)和像素值P(X)之间的差值的绝对值I(X)-P(X) I小于阈值th，像素值P (X)和像素值B (X)之间的差值的绝对值P(X)-B(X)
小于阈值th，且像素值B (X)和像素值I (X)之间的差值的绝对值IB(X)-I(X) I小于阈值th时，因为很可能当前图像的像素X是背景像素，所以例如，可靠性处理单元35将像素X的非移动物体可靠性C(X)的更新量AC(X)设置为-I，并根据公式C(X) =C(X)+ AC(X)更新非移动物体可靠性C(X)(递减非移动物体可靠性C(X))。这里，在本实施例中，因为在存储单元34中存储的临时暂停物体具有矩形形状，临时暂停物体的一部分可以包括背景。在其中临时暂停物体包括背景的情况下，因为包括背景的位置X的像素的像素值I (X)、p (X)和B (X)彼此相等，当像素值I (X)和像素值P (X)之间的差值的绝对值Il(X)-P(X) I等于或大于阈值th，像素值P (X)和像素值B(X)之间的差值的绝对值Ip(X)-B(X) I等于或大于阈值th，且像素值B (X)和像素值I (X)之间的差值的绝对值IB⑴-I⑴I小于阈值th时，且当像素值I⑴和像素值P⑴之间的差值的绝对值Ii(X)-P(X) I小于阈值th，像素值P (X)和像素值B (X)之间的差值的绝对值P(X)-B (X)小于阈值th，且像素值B⑴和像素值I⑴之间的差值的绝对值IB⑴-I⑴I小于阈值th时，即，甚至像素值I(X)、P(X)和B (X)全部相等时，可靠性处理单元35将当前图像的像素X考虑为背景像素并递减非移动物体可靠性C(X)。此外，当如图7C所示，像素值I⑴和像素值P⑴之间的差值的绝对值I(X)-P(X) I等于或大于阈值th，像素值P(X)和像素值B(X)之间的差值的绝对值P(X)-B(X)等于或大于阈值th，且像素值B(X)和像素值I (X)之间的差值的绝对值B(X)-I(X) I等于或大于阈值th时，S卩，甚至像素值I(X)、P(X)和B(X)相对不同时，可靠
性处理单元35不将当前图像的像素X考虑为非移动物体像素和背景像素，例如，将当前图像的像素X考虑为移动物体像素，例如将像素X的非移动物体可靠性c (X)的更新量Λ C (X)设置为0，并根据公式C(X) =C(X)+ AC(X)更新非移动物体可靠性C(X)(按照原样维持非移动物体可靠性C(X))。在上述中，即使很可能当前图像的像素X是移动物体像素，可靠性处理单元35也不递减像素X的非移动物体可靠性C(X)。这是由于，当用作移动物体的行人在用作非移动·物体的汽车的前面时，当前图像的像素X (X”)可以是包括移动物体的移动物体像素，如图6所示。也就是说，在其中用作移动物体的行人在用作非移动物体的汽车前面的情况下，当像素X是包括移动物体的移动物体像素时，如果用作移动物体的行人经过用作非移动物体的汽车，像素X是包括非移动物体的非移动物体像素。由此，在确定时间的图像中，在其中用作移动物体的行人在用作非移动物体的汽车前面的情况下，即使像素X是包括移动物体的移动物体像素，像素X可以是在在后续时间的图像中的非移动物体像素。在这种情况下，如果像素X的非移动物体可靠性C(X)递减，因为非移动物体像素可能不被检测为非移动物体，所以不递减非移动物体可靠性C(X)。图8是解释可靠性处理单元35的非移动物体可靠性的更新的细节的示图。可靠性处理单元35 确定 11 (X) -P (X) |〈th、| P (X) -B (X) |〈th 和 11 (X) -B (X) |〈th 满足(“是”)或者不满足(“否”)，并基于如图8所示的确定结果递增(增加)、递减(减少)或者保持(既不增加也不减少)非移动物体可靠性C(X)。
也就是说，假定其中满足I(X)-P(X)〈th的情况和其中不满足I(X)-P(X)〈th的情况分别由[“是，，，，]和[“否”，，]表示。类似地，假定其中满足IP(X)-B(X)〈th的情况和其中不满足Ip(X)-B(X) I的情况分别由[，“是”，]和[，“否”，]表示，且其中满足
I(X)-B(X) I的情况和其中不满足I(X)-B(X) I〈th的情况分别由[，，“是”]和[，，“否”]表不。在这种情况下，例如，[“是”、“是”、“是”]指示I(X)-P(X)〈th、IP(X)-B(X)〈th和I(X)-B(X) I〈th全部满足。可靠性处理单元35在[“是”，“是”，“是”]情况下例如将非移动物体可靠性C(X)递减1，在[“是”，“否”，“否”]的情况下例如将非移动物体可靠性C(X)递增1，在[“否”，“否”，“是”]的情况下例如将非移动物体可靠性C(X)递减1，在[“否”，“否”，“否”]的情况下保持非移动物体可靠性C(X)，在[“否”，“是”，“否”]的情况下例如将非移动物体可靠性C(X)递减1，并在其它情况下例如将非移动物体可靠性C(X)递减I。此外，非移动物体可靠性C(X)的更新量(递增量和递减量)不限于I。也就是说，可靠性处理单元35在[“是”，“是”，“是”]情况下例如可以将非移动物体可靠性C(X)递减2，在[“是”，“否”，“否”]的情况下例如将非移动物体可靠性C(X)递增1，在[“否”，“否”，“是”]的情况下例如将非移动物体可靠性C(X)递减2，在[“否”，“否”，“否”]的情况下保持非移动物体可靠性C(X)，在[“否”，“是”，“否”]的情况下例如将非移动物体可靠性C(X)递减2，并在其它情况下例如将非移动物体可靠性C(X)递减I。迄今为止，基于三个像素值，S卩，当前图像的像素值I(X)、临时暂停图像的像素值P(X)和背景的像素值B(X)当中的量值关系，来更新非移动物体可靠性C(X)。然而，例如，可以基于两个像素值，即，当前图像的像素值I (X)和临时暂停图像的像素值P(X)之间的量值关系来更新非移动物体可靠性C(X)。例如，当满足Il(X)-P(X) I〈th时，像素X可以被认为是非移动物体像素且可以递增非移动物体可靠性C(X)。当不满足Ii(X)-P(X) I〈th时，像素X可能不被认为是非移动物体像素且可以递减非移动物体可靠性C(X)。当基于当前图像的像素值I⑴和临时暂停图像的像素值P(X)这两个像素值之间的量值关系更新非移动物体可靠性C(X)时，与其中基于当前图像的像素值(X)、临时暂停图像的像素值P(X)和背景的像素值B(X)这三个像素值当中的量值关系更新非移动物体可靠性C (X)的情况相比，非移动物体的检测精度减小，但是可以在没有背景产生单元21的情况下(以小尺寸)制造非移动物体检测设备。图9是图示由可靠性处理单元35更新的非移动物体可靠性C(X)的变化的示图。也就是说，图9A图示当像素X是非移动物体像素时像素X的非移动物体可靠性C⑴的变化。当像素X是非移动物体像素时，如果临时暂停确定单元32确定像素X临时暂停，则像素X (其像素值)存储在存储单元34中作为临时暂停物体。如果像素X存储在存储单元34中作为临时暂停物体，则可靠性处理单元35将存储单元36中的初始值Ctl设置(存储)为像素X的非移动物体可靠性C(X)。当像素X是非移动物体像素时，根据时间的推移增加(递增)像素X的非移动物体可靠性C(X)。由此，当像素X是非移动物体像素时，如果设置初始值Ctl并随后经过预定时间，则像素X的非移动物体可靠性C(X)是等于或大于用于由非移动物体检测单元37 (图I)执行的二进制化的阈值th_conf的值，因此由非移动物体检测单元37将像素X检测为非移动物体。·
图9B图示当像素X是具有其中已经反映正在摇动的树的树叶等的干扰的像素时像素X的非移动物体可靠性C(X)的变化。临时暂停确定单元32可能错误地确定具有其中已经反映正在摇动的树的树叶等的干扰的像素X由于该干扰的影响而临时暂停。在这种情况下，在存储单元34中存储像素X (其像素值)作为临时暂停物体。如果像素X存储在存储单元34中作为临时暂停物体，则可靠性处理单元35将存储单元36中的初始值Ctl设置为像素X的非移动物体可靠性C(X)。如上所述，即使在像素X的非移动物体可靠性C(X)中设置初始值Ctl之后，当像素X是具有其中已经反映正在摇动的树的树叶等的干扰的像素时，非移动物体可靠性C(X)的值也在像素X的非移动物体可靠性C(X)的更新中随机地递增、递减或者保持。由此，即使在时间的推移之后，像素X的非移动物体可靠性C(X)也不从初始值C。改变这么多，且不等于或大于阈值th_c0nf。因此，因为不由非移动物体检测单元37检测像素X为非移动物体像素，所以可以防止具有干扰的像素被错误地检测为非移动物体。图10是解释图I的可靠性处理单元35的非移动物体可靠性C(X)的初始值C。的设置的示图。如果在存储单元34中重新寄存(存储)临时暂停物体，即，如果从当前图像获得新的临时暂停物体，则可靠性处理单元35设置构成临时暂停物体的每一个像素中的非移动物体可靠性C (X)的初始值Q。也就是说，在存储单元36中存储并采用非移动物体可靠性C(X)作为像素值的可靠性图像的像素当中，可靠性处理单元35存储(寄存)初始值Ctl作为临时暂停物体的像素(在与像素相同位置的像素)的像素值。在这种情况下，在存储单元36中存储的可靠性图像的像素值由初始值Ctl覆盖。同时，当已经获得临时暂停物体A且已经在临时暂停物体A的区域中的像素中存储非移动物体可靠性作为可靠性图像的像素值时，至少部分地重叠临时暂停物体A的临时暂停物体B被假定为重新获得。在这种情况下，对于新的临时暂停物体B，如果在临时暂停物体B的区域(由图10中的粗线围绕的区域)中的像素中存储非移动物体可靠性的初始值Ctl作为没有限制的可靠性图像的像素值，则已经大于初始值Ctl的临时暂停物体A的非移动物体可靠性由初始值C。覆盖。当已经大于初始值Ctl的临时暂停物体A的非移动物体可靠性由初始值Ctl覆盖时，例如，当覆盖之前的非移动物体可靠性已经等于或大于阈值th_conf时，存在检测为非移动物体的临时暂停物体A的一部分可能不被不期望地检测为非移动物体的问题。在这点上，在其中存储初始值C。作为在存储单元36中存储的可靠性图像的像素值的情况下，当可靠性图像的像素的像素值已经等于或大于初始值Ctl时，可靠性处理单元35保持等于或大于初始值Ctl的像素的像素值，且不存储初始值Ctl (限制覆盖)。也就是说，当新获得临时暂停物体时，可靠性处理单元35仅在新的临时暂停物体的区域中的像素当中具有小于初始值Ctl的像素值的可靠性图像的像素中存储(设置)初始值Co。
以这种方式，在可靠性图像中，已经等于或大于初始值C。的像素值由初始值C。覆盖，因此可以防止非移动物体的未检测。[非移动物体检测设备的处理]图11是解释图I的非移动物体检测设备的处理(非移动物体检测处理)的流程图。图像获取单元11获取最新图像，并提供最新图像到背景产生单元21、移动物体检测单元31、临时暂停图像处理单元33、可靠性处理单元35和非移动物体呈现单元38作为当前图像。如果从图像获取单元11提供当前图像，则背景产生单元21在步骤Sll根据以上公式I使用当前图像产生(更新)背景，并提供背景到可靠性处理单元35。然后，处理进行到步骤S12。在步骤S12，背景产生单元21执行移动物体检测处理以从来自图像获取单元11的当前图像检测移动物体。然后，处理进行到步骤S13。在步骤S13，移动物体检测单元31确定是否已经在步骤S12的移动物体检测处理中检测到移动物体。当在步骤S13确定没有检测到移动物体时，处理通过跳过步骤S14到S16而进行到步骤S17。此外，当在步骤S13确定已经检测到移动物体时，移动物体检测单元31将从当前图像检测到的移动物体(其移动物体区域)提供到临时暂停确定单元32和临时暂停图像处理单元33。然后，处理进行到步骤S14。在步骤S14，临时暂停确定单元32确定来自移动物体检测单元31的移动物体是否临时暂停。当在步骤S14确定移动物体未临时暂停时，处理通过跳过步骤S15和S16而进行到步骤S17。此外，当在步骤S14确定移动物体临时暂停时，临时暂停确定单元32提供临时暂停的移动物体到临时暂停图像处理单元33作为临时暂停物体。然后，处理进行到步骤S15。在步骤S15，临时暂停图像处理单元33在存储单元34中寄存来自临时暂停确定单元32的临时暂停物体，即，存储对应于临时暂停物体的、存储单元34中存储的临时暂停图像的区域中的临时暂停物体。然后，处理进行到步骤S16。
在步骤S16，对于在步骤S15在存储单元34中存储的临时暂停物体，可靠性处理单元35存储(设置)对应于临时暂停物体的、在存储单元36中存储的可靠性图像的像素中的非移动物体可靠性的初始值Q。然后，处理进行到步骤S17。在步骤S17，临时暂停图像处理单元33根据以上公式2和公式3，使用来自图像获取单元11的当前图像和来自移动物体检测单元31的移动物体，更新在存储单元34中存储的临时暂停图像(反映在临时暂停图像上的临时暂停物体)。然后，处理进行到步骤S18。在步骤S18，可靠性处理单元35使用来自图像获取单元11的当前图像、来自背景产生单元21的背景和在存储单元34中存储的临时暂停图像，更新作为在存储单元36中存储的可靠性图像的像素值的非移动物体可靠性，如参考图6到图9描述的。然后，处理进行到步骤S19。在步骤S19，非移动物体检测单元37执行检测处理以基于在存储单元36中存储的 可靠性图像从当前图像检测非移动物体。然后，处理进行到步骤S20。也就是说，在检测处理中，非移动物体检测单元37使用阈值th_conf 二进制化作为在存储单元36中存储的可靠性图像的像素值的非移动物体可靠性，由此获得二进制化的可靠性图像。此外，非移动物体检测单元37执行二进制化的可靠性图像的标记以在具有像素值I的像素(具有等于或大于阈值th_Conf的非移动物体可靠性的像素)和与该像素相邻的八个像素之间将相同标签附加到具有像素值I的像素，由此检测外接包括具有像素值I的像素的区域的最小矩形区域作为非移动物体的区域(非移动物体区域)。在步骤S20，非移动物体检测单元37确定在步骤S19的检测处理中是否已经检测到非移动物体。当确定在步骤S20没有检测到非移动物体时，处理通过跳过步骤S21而进行到步骤 S22。此外，当确定在步骤S20已经检测到非移动物体时，非移动物体检测单元37计算包括非移动物体(非移动物体区域)的尺寸、中心坐标等的非移动物体信息，并提供非移动物体信息到非移动物体呈现单元38。然后，处理进行到步骤S21。在步骤S21，基于来自非移动物体检测单元37的非移动物体信息，非移动物体呈现单元38根据需要使用来自图像获取单元11的当前图像来呈现非移动物体(非移动物体的检测目的)。然后，处理进行到步骤S22。在步骤S22，临时暂停图像处理单元33参考在存储单元36中存储的可靠性图像，并删除其中非移动物体可靠性(像素值)小于初始值Ctl,例如O的存储单元34中存储的临时暂停物体。也就是说，在存储单元34中存储的临时暂停物体的像素当中，临时暂停图像处理单元33例如将具有非移动物体可靠性O的像素的像素值设置为O等。在将新的当前图像从图像获取单元11提供到背景产生单元21、移动物体检测单元31、临时暂停图像处理单元33、可靠性处理单元35和非移动物体呈现单元38之后，处理从步骤S22返回到步骤S11，因此重复相同的处理。如上所述，图I的非移动物体检测设备确定移动物体是否临时暂停，至少使用当前图像和包括用作临时暂停移动物体的临时暂停物体的临时暂停图像来更新(产生)非移动物体可靠性，并基于非移动物体可靠性检测非移动物体，由此执行鲁棒的非移动物体检测同时抑制错误检测。图12是解释图I的非移动物体检测设备的处理的示图。也就是说，图12图示在时间tl到t8的当前图像、临时暂停图像和背景的示例。在图12中，在时间tl，仅树反映在当前图像上，且与当前图像类似的仅包括树的图像由背景产生单元21产生作为背景。此外，没有临时暂停物体反映在临时暂停图像上。在时间tl之后的时间t2，从右向左移动的汽车开始出现，且与树一起反映在当前图像的右侧。反映在当前图像上的汽车由移动物体检测单元31检测为移动物体。此外，仅包括树的图像由背景产生单元21产生作为背景而没有汽车的影响。在时间t2之后的时间t3，汽车暂停(停止)且与树一起反映在当前图像的左侧。停止的汽车继续由移动物体检测单元31检测为移动物体。然而，因为汽车仅刚刚暂停，临时·暂停确定单元32未确定汽车临时暂停且汽车不反映在临时暂停图像上。此外，仅包括树的图像由背景产生单元21产生作为背景而没有汽车的影响。在时间t3之后的时间t4，类似于时间t3的情况，汽车继续暂停且与树一起反映在当前图像的左侧。在时间t4，因为汽车仅对于预定时间段继续暂停，临时暂停确定单元32确定汽车临时暂停，且汽车由临时暂停图像处理单元33寄存(反映)在存储在存储单元34中的临时暂停图像中作为临时暂停物体。以这种方式，临时暂停图像是包括用作临时暂停物体的汽车的图像。此外，在时间t4，用作临时暂停物体的汽车存储在存储单元34中，因此可靠性处理单元35设置对应于用作临时暂停物体的汽车的、在存储单元36中存储的可靠性图像中的区域的像素的像素值中非移动物体可靠性的初始值C。。此外，在时间t4，仅包括树的图像由背景产生单元21产生作为背景而没有汽车的影响。在时间t4和时间t5之间，类似于时间t3和t4的情况，汽车继续暂停且与树一起反映在时间t5的当前图像的左侧。此外，包括用作临时暂停物体的汽车的临时暂停图像持续存储在存储单元34中，且仅包括树的图像由背景产生单元21产生作为背景而没有汽车的影响。由此，从时间t4到时间t5，对于包括用作临时暂停物体的汽车的当前图像的像素X，关于当前图像的像素X的像素值I (X)、临时暂停图像的像素X的像素值P (X)和背景的像素X的像素值B，因为像素值I (X)和像素值P (X)之间的差值的绝对值11 (X) -P (X) I小于阈值th，像素值I (X)和像素值B(X)之间的差值的绝对值Il(X)-B(X) I等于或大于阈值th，且像素值B (X)和像素值P (X)之间的差值的绝对值Ib(X)-P(X) I等于或大于阈值th，所以可靠性处理单元35递增作为在存储单元36中存储的可靠性图像的像素(位置X的像素)X的像素值的非移动物体可靠性C(X)，如参考图7A描述的。在时间t5，用于包括用作临时暂停物体的汽车的当前图像的像素X的非移动物体可靠性C(X)等于阈值th_conf，因此用作当前图像的临时暂停物体的汽车由非移动物体检测单元37检测为非移动物体。在时间t5之后的时间t6，类似于时间t3到t5的情况，汽车继续暂停且与树一起反映在时间t6的当前图像的左侧。此外，包括用作临时暂停物体的汽车的临时暂停图像持续存储在存储单元34中。此外，在时间t6，因为从汽车已经暂停的时间t3已经经过与非移动物体识别时间m的大约五倍对应的时间，所以由于汽车的影响，包括树和汽车的图像由背景产生单元21产生作为背景。在时间t6和时间t7之间，类似于时间t3和t6的情况，汽车继续暂停且与树一起反映在时间t7的当前图像的左侧。此外，包括汽车的临时暂停图像持续存储在存储单元34中，且由于汽车的影响，包括树和汽车的图像由背景产生单元21产生作为背景。由此，从时间t6到时间t7，对于包括汽车的当前图像的像素X，关于当前图像的像素X的像素值I (X)、临时暂停图像的像素X的像素值P (X)和背景的像素X的像素值B，因为像素值I⑴和像素值P⑴之间的差值的绝对值11⑴-P⑴I小于阈值th，像素值I⑴和 像素值B (X)之间的差值的绝对值Il(X)-B(X) I小于阈值th，且像素值B (X)和像素值P (X)之间的差值的绝对值IB(X)-P(X) I小的阈值th，所以可靠性处理单元35递减作为在存储单元36中存储的可靠性图像的像素(位置X的像素)X的像素值的非移动物体可靠性C(X)，如参考图7B描述的。在时间t7，包括汽车的当前图像的像素X的非移动物体可靠性C(X)小于阈值th_conf,因此非移动物体检测单元37不将当前图像的汽车为非移动物体。此后，因为汽车继续暂停，所以包括汽车的当前图像的像素X的非移动物体可靠性C(X)继续递减。在时间t7之后的时间t8，因为包括汽车的当前图像的像素X的非移动物体可靠性C(X)是0，所以由临时暂停图像处理单元33删除(除去)具有非移动物体可靠性O的在存储单元34中存储的汽车。迄今为止，在上述情况下，当像素X的非移动物体可靠性C (X)等于或大于阈值th_conf时，像素X被检测为非移动物体。然而，即使像素X的非移动物体可靠性C(X)等于或大于阈值访_(01^，如果非移动物体可靠性((乂)单调减小，也可以防止像素X被检测为非移动物体(像素X不被检测为非移动物体)。也就是说，在图I的非移动物体检测设备中，例如，当用作临时暂停物体的汽车继续暂停且反映在背景上时，如参考图12描述的，如果包括汽车的像素X的非移动物体可靠性C(X)继续递减且变得小于阈值th_conf，则汽车不被检测为非移动物体。由此，在连续停止的汽车反映在背景上之后，因为包括汽车的像素的非移动物体可靠性单调减小且随后变得小于阈值th_conf，所以汽车不被检测为非移动物体。因此，包括汽车的像素的非移动物体可靠性单调减小的事实指的是汽车在将来将不被检测为非移动物体。在这点上，即使像素X的非移动物体可靠性C (X)等于或大于阈值th_conf，如果非移动物体可靠性C(X)单调减小，可以防止像素X被检测为非移动物体。图13是解释当非移动物体可靠性C (X)单调减小时防止像素X被检测为非移动物体的示图。也就是说，图13是图示非移动物体可靠性C(X)的示图。如图13中所示，即使像素X的非移动物体可靠性C(X)等于或大于阈值th_Conf，如果非移动物体可靠性C (X)仅对于预定时间段At继续减小(单调缩小)，在非移动物体检测单元37中防止像素X被检测为非移动物体。此外，例如，即使像素X的非移动物体可靠性C(X)小于阈值th_conf，如果非移动物体可靠性C(X)仅对于预定时间段At继续增加(单调增加)，则非移动物体检测单元37可以将像素X检测为非移动物体。[多个临时暂停图像和可靠性图像]迄今为止，在上述情况下，分别假定一个(对应于一个屏幕)临时暂停图像和一个可靠性图像存储在存储单元34和36 (图I)中。然而，多个临时暂停图像和多个可靠性图像可以分别存储在存储单元34和36中。图14是解释当三个临时暂停图像和三个可靠性图像分别存储在存储单元34和36中时图I的非移动物体检测设备的处理的示图。 此外，制备相同数目的复数的临时暂停图像P#i和复数的可靠性图像Q#i。此外，一个临时暂停图像P#i和一个Q#i彼此相关联以用作一对。假定三个临时暂停图像P#l、P#2和P#3存储在存储单元34中且与临时暂停图像P#1、P#2和P#3形成对的三个可靠性图像Q#1、Q#2和Q#3存储在存储单元36中。当来自临时暂停确定单元32的新的临时暂停物体寄存在存储单元34中时，临时暂停图像处理单元33从存储单元36的可靠性图像Q#1到Q#3中，检测其中与临时暂停物体对应的区域的每个非移动物体可靠性是O的一个可靠性图像Q#i。然后，临时暂停图像处理单元33在与其中与临时暂停物体对应的区域的每个非移动物体可靠性是O的可靠性图像Q#i形成一对的、存储单元34的临时暂停图像P#1到P#3的临时暂停图像P#i中寄存(覆盖)新的临时暂停物体。在图14中，在可靠性图像Q#1到Q#3当中，因为仅可靠性图像Q#3是其中对应于临时暂停物体的区域的每个非移动物体可靠性是O的图像，所以新的临时暂停物体寄存在与可靠性图像Q#3形成一对的临时暂停图像P#3中。此外，在可靠性图像Q#1到Q#3当中，当没有其中对应于临时暂停物体的区域的每个非移动物体可靠性是O的可靠性图像时，从可靠性图像Qtn到Q#3检测其中与临时暂停物体对应的区域的非移动物体可靠性的平均值最小的可靠性图像，且新的临时暂停物体寄存在与检测到的可靠性图像形成一对的临时暂停图像中。此外，类似于一个临时暂停图像的情况，临时暂停图像处理单元33根据以上公式2和3独立地更新存储在存储单元34中的临时暂停图像P#1到P#3。当临时暂停物体已经重新寄存在存储单元34中存储的临时暂停图像P#i中时，类似于一个临时暂停图像的情况，可靠性处理单元35将仅在非移动物体可靠性中的初始值Ctl设置为在存储单元36中存储的可靠性图像Q#1到Q#3的可靠性图像Q#i (其与其中已经重新寄存临时暂停物体的临时暂停图像P#i形成一对)的像素值。然后，类似于一个临时暂停图像的情况，可靠性处理单元35使用与可靠性图像Q#i形成一对的临时暂停图像P#i，更新在存储单元36中存储的可靠性图像Q#1到Q#3的每个非移动物体可靠性。对于在存储单元36中存储的可靠性图像Q#1到Q#3，类似于一个临时暂停图像的情况，非移动物体检测单元37使用可靠性图像Q#i独立地检测非移动物体。如上所述，因为使用多个临时暂停图像和多个可靠性图像，即使相同数目的非移动主体与临时暂停图像和可靠性图像重叠，也可以分开地检测重叠的非移动主体。[采用本技术的计算机的说明]接下来，可以由硬件或者软件执行如上所述的一系列处理。当由软件执行该一系列处理时，构成软件的程序安装在通用计算机等中。在这点上，图15图示其中安装用于执行该一系列处理的程序的计算机的实施例的配置示例。程序可以预先记录在作为嵌入计算机中的记录介质的硬盘105或者R0M103中。替代地，程序可以存储(寄存)在可拆卸记录介质111中。这种可拆卸记录介质111可以作为封装软件提供。这里，可拆卸记录介质111例如包括软盘、致密盘只读存储器(⑶-ROM)、磁光(MO)盘、数字多用途盘(DVD)、磁盘、半导体存储器等。除从上述可拆卸记录介质111安装到计算机之外，程序可以通过通信网络或者广播网络下载到计算机，并可以安装在嵌入计算机中的硬盘105中。也就是说，例如，可以通过用于数字卫星广播的人造卫星以无线方式将程序从下载服务器发送到计算机，或者可以通过比如局域网(LAN)或者因特网之类的网络以有线方式从下载服务器发送到计算机。
计算机在其中具有中央处理单元(CPU) 102，且输入/输出接口 110通过总线101连接到CPU102。如果输入单元107由用户操作且通过输入/输出接口 110输入命令，则CPU102根据命令执行在只读存储器(ROM) 103中存储的程序。替代地，CPU102将在硬盘105中存储的程序加载到随机存取存储器(RAM) 104并执行加载的程序。以这种方式，CPU102执行基于以上所述的流程图的处理或者基于上述框图的配置的处理。然后，例如，CPU102根据需要从输出单元106输出处理的结果或者通过输入/输出接口 110从通信单元108发送处理的结果，或者在硬盘105中寄存处理的结果。此外，输入单元107包括键盘、鼠标、麦克风等。此外，输出单元106包括液晶显示器(IXD)、扬声器等。在本说明书中，由计算机基于程序执行的处理可能不以流程图的次序以时间顺序执行。也就是说，由计算机基于程序执行的处理包括以并行方式或者以单独方式执行的处理(例如，并行处理或者基于对象的处理)。此外，程序还可以由一个计算机(处理器)执行，或者还可以由以分布方式的多个计算机执行。此外，程序还可以被发送到远程计算机以执行。此外，本技术的实施例不限于上述实施例。例如，在本技术的范围内可以发生各种修改。也就是说，在本实施例中，如果从非移动物体检测单元37提供非移动物体信息，则非移动物体呈现单元38通过声音、图像、灯闪烁或灯发光等来向用户呈现(通知)非移动物体的检测目的。然而，由非移动物体检测单元37获得的非移动物体信息可以通过网络与由图像获取单元11获取的图像一起作为图像的元数据发送。此外，在本实施例中，通过二进制化，非移动物体检测单元37将具有等于或大于阈值的非移动物体可靠性的在存储单元36中存储的可靠性图像的像素的像素值设置为1，并将具有小于阈值的非移动物体可靠性的像素的像素值设置为0，由此获得二进制化的可靠性图像。然而，替代地，例如，可以通过二进制化，即，通过将具有等于或大于阈值的非移动物体可靠性、包括临时暂停物体且在存储单元34中存储之后存在预定时间段或更长时间的可靠性图像的像素的像素值设置为1，而将其他像素的像素值设置为O来获得二进制化的可靠性图像。此外，例如，图I的非移动物体检测设备可以应用于能够通过网络发送捕捉的图像的网络相机、用于联网模拟图像的设备(用于通过网络发送模拟图像的设备或者个人计算机(PO)的应用，或者其他设备。在本说明书中，“等于或大于”或“等于或小于”可以表示“大于”或“小于”，或者“大于”或“小于”可以表示“等于或大于”或“等于或小于”。此外，本技术还可以如下配置。 (I) 一种图像处理设备，包括移动物体检测单元，配置为检测作为不同于当前图像中的背景的图像的移动物体；临时暂停确定单元，配置为确定移动物体是否暂停预定时间段或更长时间；可靠性处理单元，配置为使用当前图像和临时暂停图像计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括用作暂停预定时间段或更长时间的移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内未改变的背景的图像的非移动物体的似然性；和非移动物体检测单元配置为基于所述非移动物体可靠性从当前图像检测非移动物体。(2)根据(I)的图像处理设备，其中，当从当前图像检测到的移动物体和从在当前图像之前的时间的图像检测到的移动物体之间的位移量仅对于阈值时间或更长时间持续小于位移量的阈值时，所述临时暂停确定单元确定移动物体暂停预定时间段或更长时间。(3)根据(I)或者(2)的图像处理设备，进一步包括存储单元，其中寄存所述临时暂停图像；和临时暂停图像处理单元，配置为通过寄存在所述存储单元中的临时暂停图像和当前图像的加权相加，更新反映在存储单元中寄存的临时暂停图像上的临时暂停物体中未包括在移动物体中的像素的像素值。(4)根据(I)到(3)的任意一个的图像处理设备，其中，所述可靠性处理单元基于临时暂停图像、当前图像和背景的目标像素的像素值当中的量值关系，计算当前图像的目标像素的非移动物体可靠性。(5)根据(4)的图像处理设备，其中，所述可靠性处理单元在从当前图像获得临时暂停物体时设置构成临时暂停物体的像素中的非移动物体可靠性的初始值，当当前图像的目标像素的像素值I和临时暂停图像的目标像素的像素值P之间的差值的绝对值Il-Pl小于阈值th，像素值I和背景的目标像素的像素值B之间的差值的绝对值Il-Bl等于或大于阈值th，且像素值B和像素值P之间的差值的绝对值IB-Pl等于或大于阈值th时，递增目标像素的非移动物体可靠性，以及当像素值I和像素值P之间的差值的绝对值|I-P|等于或大于阈值th，像素值P和像素值B之间的差值的绝对值|P-B|等于或大于阈值th，且像素值B和像素值I之间的差值的绝对值Ib-I I小于阈值th时，或者当像素值I和像素值P之间的差值的绝对值I ι-p小于阈值th，像素值P和像素值B之间的差值的绝对值IP-B I小于阈值th，且像素值B和像素值I之间的差值的绝对值|B-I|小于阈值th时，递减目标像素的非移动物体可靠性。(6)根据(5)的图像处理设备，其中，所述非移动物体检测单元将具有等于或大于阈值的非移动物体可靠性的像素检测为构成非移动物体的像素。(7)根据(5)或者(6)的图像处理设备，其中，当设置非移动物体可靠性的初始值时，所述可靠性处理单元仅在其中已经设置小于初始值的非移动物体可靠性的像素中设置初始值。(8)根据(I)到(7)的任意一个的图像处理设备，其中，所述可靠性处理单元计算多个临时暂停图像的非移动物体可靠性，和其中，所述非移动物体检测单元基于使用多个临时暂停图像计算的每个非移动物体可靠性，从当前图像检测非移动物体。 (9) 一种图像处理方法，包括检测作为不同于当前图像中的背景的图像的移动物体；确定移动物体是否暂停预定时间段或更长时间；使用当前图像和临时暂停图像计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括用作暂停预定时间段或更长时间的移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内未改变的背景的图像的非移动物体的似然性；和基于所述非移动物体可靠性从所述当前图像检测所述非移动物体。(10) 一种用于使得计算机用作以下单元的程序移动物体检测单元，配置为检测作为不同于当前图像中的背景的图像的移动物体，临时暂停确定单元，配置为确定移动物体是否暂停预定时间段或更长时间；可靠性处理单元，配置为使用当前图像和临时暂停图像计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括用作暂停预定时间段或更长时间的移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内未改变的背景的图像的非移动物体的似然性，和非移动物体检测单元，配置为基于所述非移动物体可靠性从当前图像检测非移动物体。本领域技术人员应该理解，取决于设计要求及其他因数，可以进行各种修改、组合、部分组合和变更，只要它们在所附权利要求或其等效物的范围内即可。本技术包括与于2011年8月I日在日本专利局提交的日本优先权专利申请JP2011-168025中公开的主题相关的主题，通过引用包含其全部内容。
权利要求
1.一种图像处理设备，包括 移动物体检测单元，配置为检测作为不同于当前图像中的背景的图像的移动物体； 临时暂停确定单元 ，配置为确定移动物体是否暂停预定时间段或更长时间； 可靠性处理单元，配置为使用当前图像和临时暂停图像计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括用作暂停预定时间段或更长时间的移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内未改变的背景的图像的非移动物体的似然性；和 非移动物体检测单元，配置为基于所述非移动物体可靠性从所述当前图像检测所述非移动物体。
2.根据权利要求I所述的图像处理设备，其中，当从当前图像检测到的移动物体和从在当前图像之前的时间的图像检测到的移动物体之间的位移量仅对于阈值时间或更长时间持续小于位移量的阈值时，所述临时暂停确定单元确定移动物体暂停预定时间段或更长时间。
3.根据权利要求2的图像处理设备，进一步包括 存储单元，其中寄存所述临时暂停图像；和 临时暂停图像处理单元，配置为通过寄存在所述存储单元中的临时暂停图像和当前图像的加权相加，更新反映在所述存储单元中寄存的临时暂停图像上的临时暂停物体中未包括在移动物体中的像素的像素值。
4.根据权利要求3所述的图像处理设备，其中，所述可靠性处理单元基于所述临时暂停图像、所述当前图像和所述背景的目标像素的像素值当中的量值关系，来计算所述当前图像的目标像素的非移动物体可靠性。
5.根据权利要求4的图像处理设备，其中，所述可靠性处理单元在从当前图像获得临时暂停物体时设置构成临时暂停物体的像素中的非移动物体可靠性的初始值， 在当前图像的目标像素的像素值I和临时暂停图像的目标像素的像素值P之间的差值的绝对值Il-Pl小于阈值th，像素值I和背景的目标像素的像素值B之间的差值的绝对值I-B等于或大于阈值th，且像素值B和像素值P之间的差值的绝对值|B-P|等于或大于阈值th时，递增目标像素的非移动物体可靠性，以及 当像素值I和像素值P之间的差值的绝对值Il-Pl等于或大于阈值th，像素值P和像素值B之间的差值的绝对值IP-Bl等于或大于阈值th，且像素值B和像素值I之间的差值的绝对值IB-II小于阈值th时，或者当像素值I和像素值P之间的差值的绝对值II-P I小于阈值th，像素值P和像素值B之间的差值的绝对值|P-B|小于阈值th，且像素值B和像素值I之间的差值的绝对值|B-I|小于阈值th时，递减目标像素的非移动物体可靠性。
6.根据权利要求5的图像处理设备，其中，所述非移动物体检测单元将具有等于或大于阈值的非移动物体可靠性的像素检测为构成非移动物体的像素。
7.根据权利要求5的图像处理设备，其中，当设置非移动物体可靠性的初始值时，所述可靠性处理单元仅在其中已经设置小于初始值的非移动物体可靠性的像素中设置初始值。
8.根据权利要求5的图像处理设备， 其中，所述可靠性处理单元计算多个临时暂停图像的非移动物体可靠性，和 其中，所述非移动物体检测单元基于使用多个临时暂停图像计算的每个非移动物体可靠性，从当前图像检测非移动物体。
9.一种图像处理方法，包括 检测作为不同于当前图像中的背景的图像的移动物体； 确定所述移动物体是否暂停预定时间段或更长时间； 使用所述当前图像和临时暂停图像计算所述当前图像的像素的非移动物体可靠性，所述临时暂停图像包括用作暂停预定时间段或更长时间的移动物体的临时暂停物体，所述非移动物体可靠性表示作为不同于在预定时间段或更长时间内未改变的背景的图像的非移动物体的似然性；和 基于所述非移动物体可靠性从所述当前图像检测所述非移动物体。
10.一种用于使得计算机用作以下单元的程序 移动物体检测单元，配置为检测作为不同于当前图像中的背景的图像的移动物体， 临时暂停确定单元，配置为确定移动物体是否暂停预定时间段或更长时间； 可靠性处理单元，配置为使用当前图像和临时暂停图像计算当前图像的像素的非移动物体可靠性，所述临时暂停图像包括用作暂停预定时间段或更长时间的移动物体的临时暂停物体，所述非移动物体可靠性表示作为不同于在预定时间段或更长时间内未改变的背景的图像的非移动物体的似然性，和 非移动物体检测单元，配置为基于所述非移动物体可靠性从所述当前图像检测所述非移动物体。
全文摘要
提供了图像处理设备，图像处理方法和程序。该图像处理设备包括移动物体检测单元，配置为检测作为不同于当前图像中的背景的图像的移动物体；临时暂停确定单元，配置为确定移动物体是否暂停预定时间段或更长时间；可靠性处理单元，配置为使用当前图像和临时暂停图像计算当前图像的像素的非移动物体可靠性，该临时暂停图像包括暂停预定时间段或更长时间的用作移动物体的临时暂停物体，该非移动物体可靠性表示作为不同于在预定时间段或更长时间内未改变的背景的图像的非移动物体的似然性；和非移动物体检测单元，配置为基于非移动物体可靠性从当前图像检测非移动物体。
文档编号G06T7/20GK102915542SQ201210258088
公开日2013年2月6日 申请日期2012年7月24日 优先权日2011年8月1日
发明者西野胜章 申请人:索尼公司