提高监测系统的可靠性的方法与流程

本发明涉及对拍摄的运动视频进行分析，更具体地，涉及用于检测运动视频中对象越过预定线的方法。

背景技术：

监视中的一个普通任务是确定某人或某物是否越过预定的边界或线，例如栅栏。这种类型的监视如果由人工执行则是项单调乏味的任务，因此，这些年来已经提出各种自动化系统。已使用从真实的物理电线到光束的不同类型的绊网。近年来，绊网也已进入逻辑领域。在这种典型体现中，其由分析摄像机拍摄的运动视频的软件实施。这样的逻辑绊网通常定义所拍摄的场景中的一条或多条线，然后分析运动视频以识别视频中移动的对象，并且如果识别出的对象越过了定义的线，则生成事件。事件可以导致警告、在操作者界面上的指示、日志中的记录，等等。

为了使得系统生成有用的警告，并避免生成假阳性，系统通常配置为仅在当越过场景中的逻辑线的对象是受关注的类型的情况下才生成事件。在一些应用中，受关注类型的对象是人，在其它应用中，是大象，在另一些应用中，是狗。受关注类型的对象甚至可以是过程中的产品，例如在传送带上传输的、不能在传送带上弹跳的对象。简单绊网实施中可导致假阳性的一个问题在于，一有检测的对象越过线就生成事件，而不管检测的对象是老鼠、人还是卡车。这个问题在很多实施中已通过使得系统仅在监测的对象是特定尺寸或在特定的尺寸范围内时才生成事件而得到解决。

在“Cisco Video Analytics User Guide(思科视频分析用户指导)”2011，文本部分编号：OL-24428-01，来自思科系统公司，170West Tasman Drive(西部塔斯曼驱动),圣何塞，CA95134-1706，美国，系统实施最小尺寸过滤器和最大尺寸过滤器，以从通用视频分析过程中，去除比特定尺寸小的对象，和去除比特定尺寸大的对象。最大过滤器设置在场景快照中。在场景的快照中呈现两个盒，一个用于前景，一个用于背景。然后，用户改变每个盒的尺寸，以便分别指示前景中的和背景中的对象的最大尺寸。然后针对最小尺寸过滤器执行相同的过程，即呈现盒，然后调节盒的尺寸。该文献还描述了其中可分别使用最大尺寸的过滤器和最小尺寸的过滤器的两个示例。例如，树或树枝的影子可能被误分类成人。如果风吹树使得它的影子越过视频绊网，可导致错误警告。在这种情况下，可定义最大对象过滤器，以给系统提供足够的信息，从而不理会越过视频绊网的过大的对象。在另一示例中，诸如松鼠之类的小动物可被误分类并在越过视频绊网时触发错误警告。这种情况可使用使系统不理会越过视频绊网的小对象的最小对象尺寸过滤器来解决。

因此，以上实施解决了由具有与待检测的对象的尺寸明显不同的尺寸的物体而导致的假阳性的问题。然而，设置过滤器的动作相当麻烦，并且调节过滤器的设置也不容易。

技术实现要素：

本发明的一个目的在于，在借助于运动视频摄像机拍摄的场景中的对象越过预定线的改进检测。另一目的在于，降低由具有与待检测的对象的尺寸明显不同的尺寸的物体导致的假阳性的次数。

根据第一方面，这些以及其它目的全部或至少部分地通过用于检测借助于运动视频摄像机拍摄的场景中的预定第一线处的对象越过事件的方法而得到实现。该方法包括：从由运动视频摄像机拍摄的场景的图像确定对象图像是否越过预定第一线，计算与越过预定第一线的对象图像的尺寸关联的尺寸值，将线距离值设置为从对象与预定第一线的接触点与预定第二线上的邻近点之间的距离计算出的值，并且如果计算出的尺寸值和线距离之间的关系在预定范围内，则生成对象越过事件信号。在将对象图像的尺寸与场景中对象图像的位置处的基准关联的优点在于，可确定拍摄的场景中对象图像的尺寸与相应的真实世界的对象的真实尺寸之间的关系。因此，可确定对象的真实世界的尺寸是否在特定的尺寸范围内，而与对象图像尺寸是沿检测线的何处计算出无关，因此使得可以降低从不受关注的尺寸的对象生成假阳性的风险。这是可能的，因为可提供一基准，该基准随拍摄的图像的深度而缩放，即，离摄像机越远，基准越小，其与位于距摄像机不同距离处的对象的行为相对应。此外，通过引入两条线，并将在对象越过线的位置处两条线的之间的距离作为基准，使得设置线越过的规则的过程更简单，且结果更不易假阳性。

对象的尺寸可与所拍摄的图像中对象所占的面积的大小关联。进一步，与对象的尺寸关联的面积的大小可从对象在拍摄的图像中所占的图像元素的数目计算出。

在一些实施例中，确定对象是否越过预定第一线可包括：检测场景的拍摄的图像中表示对象的图像元素是否位于包括于预定第一线中的图像元素上。根据一些实施例，预定第一线和预定第二线是虚拟线，其中每条线通过表示场景内的位置的至少两个坐标定义。可在场景中定义第一预定线和第二预定线，使们它们在场景中表示离摄像机越远的位置的图像元素处，彼此更越近。通过以此方式定义线，用户将容易地设置与越过线相关的事件规则，这在于在距摄像机不同距离处的各种基准值，可容易地由人通过简单地使得线与场景的透视特性近似，而被容易地近似。对于很多人，在摄像机的拍摄场景中以透视法画两条线来仿真真实世界中的两条平行线的透视图是容易和自然的。通常来说，典型的场景将包括可用于验证两条线之间的距离的准确度的若干对象基准。诚然，这些对象基准很少是一对铁轨，但树、电杆、栅栏的部分、窗、草坪等都可由人类大脑可进行的复杂图像分析进行快速处理。这使得当前方法出人意料的好用。

确定线距离可包括：计算预定第二线上具有到对象与预定第一线的接触点最短距离的位置。以此方式获取基准值的优点在于，这是一种从或多或少连续调节由两条线引入的基准值，而得到基准值的容易的方法。

此外，预定第一线和预定第二线可以是检测线对，并且可针对场景定义多个检测线对。以此方式，可以针对场景中越过一条或多条线来定义事件。还将便于针对场景中的复杂线生成越过线事件。

在一些实施例中，当计算出的对象的尺寸与线距离的平方之间的关系处于预定范围内时，生成对象越过事件信号。此外，一旦如下关系成立，就可生成对象越过事件信号：

L_d²k≤A_o≤L_d²K

其中L_d是在过程中确定的线距离的值，A_o是在该过程中确定的对象面积的值，k是预定下限常数，并且K是预定上限常数。

根据另一方面，用于检测拍摄的场景中对象越过预定线的系统可配置为执行以上介绍的各种方法。这种系统中的特征的优点将与方法中的相应特征的优点相符合。

本发明的应用的另外范围从以下给出的详细描述将变得明显。然而，应当理解，当表明本发明的优选实施例时，详细的描述和特定实施例仅以例示方式给出，因为在本发明的范围内的各种改变和变化对本领域技术人员来说从该详细描述中将变得显而易见。因此，应当理解，本发明不限于所描述的设备的特定组成部分或所描述的方法的步骤，因为这样的设备和方法可变化。还应当理解，本文使用的词语仅用于描述特定实施例的目的而不意在限制。必须注意的是，在说明书和所附权利要求书中使用时，冠词“一”、“一种”、“该”、“所述”意在指存在一个或多个元件，除非上下文另有清楚指示。因此。例如，提到“传感器”或“所述传感器”可包括若干传感器，等等。进一步，词语“包括”不排除其它元件或步骤。

附图说明

通过以下参照附图对当前优选实施例进行的详细描述，本发明的其它特征和优点将变得明显，附图中：

图1是表示包括自然接近限制，即栅栏的场景的示意性图像，在该图像中，已插入了检测线对和对象监测盒的叠层。

图2是呈现图1的检测线对和对象检测盒的示意性图像，并例示出根据本发明一些实施例的方法操作所依据的参数；

图3是呈现图1的检测线对和具有比事件生成尺寸大和小的尺寸的两个对象示例的示意图像；

图4是设置场景中的检测线的过程的流程图；

图5是用于在借助于运动视频摄像机拍摄的场景中的预定第一线处检测对象越过事件的方法的流程图；

图6是根据本发明一些实施例的线越过检测设备的示意性框图；

图7是根据本发明一些实施例的运动视频摄像机中的线越过检测设备的示意性框图；以及

图8是示出多个检测线对的示意图像。

进一步，在图中，同样的参考符号在这数个图中始终指代同样的或相应的部分。

具体实施方式

如上所述，本发明涉及边界监视，和/或在线或多条连接的线定义禁止人、动物或任何其它对象穿过的边界或限制的区域中的监视，如以上所讨论的。在本文中，可将对越过预定线或限制的对象的检测称为绊网、绊网检测、边界越过检测、线越过检测。这些词语均表示检测对象越过场景中的预定线的事件或对其的反应的相同功能。

现在参照图1，其中示出运动视频摄像机拍摄的监视的场景10的示例。在该场景中，有栅栏12形式的物理边界。在当前示例中，我们假定栅栏12是人不能穿过的边界。为了便于对人穿过边界进行检测，在执行检测的系统中，由一对逻辑线14、16表示物理边界12。执行检测的系统可以是拍摄场景的图像的运动视频摄像机或连接至摄像机并具有对来自拍摄的场景的图像数据进行处理的能力的其它设备。两条逻辑线14、16可由用户定义。本领域技术人员已知在显示器上和/或在场景的数字表示中定义逻辑线的多种方法。例如，用户可选择想用的逻辑线的各个端处的点，并让线定义为从一个点延伸到另一个点的线。以“透视法”画两条线，即两条线之间的距离应反应场景中的深度。这可通过用户观看所显示的拍摄的场景，并设想场景中的各个深度处的线之间的固定距离，这将导致两条线朝水平线上的点汇聚，水平线可以可见也可以不可见。以此方式，用户将输入合适的基准，用于确定所拍摄的场景中沿定义的边界的各个深度处的对象的实际尺寸。

执行检测的系统还包括对象检测功能，用于检测对象，特别是场景中的移动对象。进一步，系统布置为确定或将对象图像18的面积A₀进行近似，其中对象图像18是运动视频摄像机拍摄的真实世界的对象的表示。对象检测和对象图像面积A₀的确定或近似可使用任何已知的过程、算法或数值方法来执行。可例如通过将矩形20或多边形近似为所检测的对象图像18然后数出矩形20或多边形内部的图像元素的数目来计算面积。图像元素可以是图像块，或者图像元素可以是像素。

在本发明实施例中，在沿线的检测到对象图像18越过线的位置处，基于所确定的检测对象图像18的面积和两条线14、16之间的距离，确定检测到的对象是受关注的对象。然后，对象图像18的面积与两条线14、16之间的距离之间的关系将可以用于使得检测系统正确地解决特定真实生活尺寸范围内的对象，即使会将离摄像机距离较远处的对象在图像传感器上拍摄为比离摄像机较近的相同尺寸的对象的面积小。这通过将线14、16布置为使得线14、16之间的距离随着沿边界12发现的表示离摄像机越远的位置，而变得越小。因此，两条线14、16之间的距离可以用作尺寸基准，从而使得系统能确定所检测的对象图像18的真实尺寸是否在预定范围内。

在图2中，示出根据一些实施例的确定绊网事件中考虑的参数。如先前提到的，确定所检测的对象图像18越过线14、16之一的位置处、线14、16之间的距离Ld。可通过计算越过处的线14、16之间的最短距离，来确定距离Ld。进一步，确定检测为越过线14的对象图像18的面积A_o。可通过生成围绕对象的逻辑盒然后计算盒中的像素的数目，来确定面积A_o。另一可替代方案是基于所检测的对象图像18所占的像素来计算面积。本领域技术人员清楚计算数字图像中的特定区域的面积的很多方法。为了确定对象图像18越过是否应当生成绊网事件，观察距离L_d与对象图像的面积A_o之间的关系。实施这种观察是为了避免对于明显不是受关注的对象，例如兔子越过边界12、云朵的影子越过边界12等，生成绊网事件。图3例示表示很小的对象A_o1和很大的对象A_o2的面积，这二者应当都在要生成绊网事件的对象尺寸的范围之外。此外，从该图中可以看出，两个对象图像30、32与线14、16之间的不同距离关联。具有面积A_o1的对象图像30与L_d1关联，L_d1是在对象图像30在越过线之一的位置处，线14、16之间的距离，并且具有面积A_o2的对象图像32与L_d2关联，L_d2是在对象图像32越过线14、16之一的位置处，线14、16之间的距离。

在一些实施例中，在所检测的对象图像18越过线14、16的位置处，线14、16之间的距离L_d，与所检测的对象图像18的面积之间的关系，可通过基于对象图像越过线14、16的位置处的线距离L_d计算对象图像18的面积的检测下限，并基于相同的线距离计算对象的面积的检测上限，例如通过计算应当触发特定位置处的绊网事件的面积的范围，来确定。检测下限可计算作线距离L_d的平方乘以检测下限系数k：

L_d²k

检测上限可计算作线距离L_d的平方乘以检测上限系数K：

L_d²K

相应地，将触发绊网事件的检测的对象的面积的大小可表达为：

L_d²k≤A_o≤L_d²K

根据一些实施例，下限系数k的值和上限系数K的值是可预设和可调节的。这些系数的值可依据摄像机所使用的镜头的聚焦长度而变化。如果缩放级别应用于摄像机的光学系统的话，它们也可依据缩放级别而变化。然而，如果线14、16被设置在近似一米远，并且建议绊网事件由人的尺寸的物体触发，则针对这些系数的初始值可以是k＝1/5且K＝5。这些系数值允许相当大的容差，即，可生成很多不期望的假阳性，但可以是可准备好进行调节的系统设置处的完美的开始点。当所使用的对象检测算法倾向于提供比对象图像稍大一点的对象图像面积时，这些系数也是个好的开始点。在具有更精确的针对检测到的对象图像的面积估计算法的实施中，系数可有利地设置为k＝0.75，且K＝1.25。

此外，如结合图1-3所描述的设置中的绊网检测可配置为在线14、16中任一条被具有限定范围内的尺寸的对象图像18越过时，生成绊网事件。然而，可替代地，仅线14、16中的一条可被布置为检测越过的对象，或者在又一可替代方案中，可在边界本身上布置另一条线，同时布置与线14、16对应的两条线，以便提供用于计算与距摄像机的距离有关的对象的相关尺寸。在另外的实施例中，当对象已越过检测线14、16中的第一条，且正越过第二检测线14、16，则指令两条检测线14、16的系统生成绊网事件。这种实施的优点在于在对象向上移动至检测线，使得在拍摄的场景中，对象图像18的一些部分叠盖到检测线14、16上，而在实际世界中物体的任何部分都没有越过线的情况下，可避免生成错误事件。

现在，参照图4中的流程图，示出根据本发明一些实施例的用户设置绊网检测线的方法，过程100。首先，显示要针对其设置绊网检测的场景的数字图像，步骤102，以供操作者设置检测线。数字图像可以是场景的静止图像，其可以是记录的运动视频，或其可以是实时运动视频流。然后，用户通过指示场景中的第一点和第二点来定义第一检测线14，开始步骤104。然后，将该线定义为这两个点之间的线。然后，用户通过指示场景中的第三点和第四点来定义第二检测线16，步骤106。如上所述，相比于两条线在以彼此较大的距离布置的区域来说，两条线14、16，在场景的远离摄像机的位置中，以彼此较近的距离布置。当设置了线时，可向用户呈现调节上限系数和下限系数k、K的值的机会，步骤108。当定义了线14、16时，系统被设置为检测用于特性情形中的应用的相关的尺寸的对象。

在图5的流程图中，呈现了绊网事件生成的过程200。该过程包括接收运动视频，步骤202，以及检测运动视频中的对象图像，步骤204。然后将对象图像18的位置与检测线14、16中至少之一所占的位置进行比较，步骤206。如果检测到的对象图像18越过检测线14、16之一，则过程继续至步骤208。如果检测的对象图像18没有越过检测线14、16之一，则过程返回并接收另外的运动视频并继续检测对象图像。

有多种方式定义系统将哪种标准阐释为越过线。一种实施系统的方式是使得系统在绕对象图像画出的盒接触线时检测越过线。另一种方式是检测的对象图像的像素或一组像素一接触线就检测越过。还有另一种方式是当对象图像的预定量已越过线时检测到越过线，或者当整个对象图像已经越过线且在另一侧移动远离线时检测到越过线。此外，如上所提到的，用于检测的线可依据实施方式而不同。

当对象图像18被检测为越过线14、16时，则计算对象图像18的面积A_o，步骤208。面积A_o也可以已在先前描述的不同的方式确定，然而，为了决定对象检测是否涉及相关对象，计算线越过的位置处的检测线对中的检测线14、16之间的最短距离，步骤210。得出在对象越过线之一的位置处两条线14、16之间的距离的其它方案可如先前讨论的实施。然后，使用对象的面积A_o以及在越过线之一处线之间的距离L_d来确定对象图像18的面积A_o是否在由两条线14、16之间的距离指示的距摄像机的距离处的预定范围内，在该距离处，步骤212，例如，通过将线距离的平方L_d²与对象面积A_o进行比较，如先前描述的那样。如果线距离L_d与越过线14、16的对象图像18的面积A_o之间的关系指示真实世界的对象是当前监测方案中受关注的，则生成绊网事件，步骤214，然后将绊网事件在警告信令设备或在监视客户端中的显示器上呈现给用户。如果越过线14、16的对象的面积A_o被确定为值比受关注的对象小或大，则该过程返回至步骤202，并继续监视绊网，而不生成绊网事件。

现在参照图6，根据本发明一些实施例的线越过检测设备300的示例。该线越过检测设备包括视频输入设备302、对象图像检测器304、处理单元306、非易失性存储器308、绊网事件发生器310、用于输出包括事件在内的数据的输出312。线越过检测设备300可以是通用目的的计算机，布置为将模拟视频编码为数字视频并通过计算机网络将得到的视频发送至客户端的联网的视频编码器，或者为检测运动视频中的线越过的目的而建立的设备。视频输入302是配置为接收运动视频的端口，例如模拟运动视频或包括数字视频的网络流量。对象检测器304配置为检测所接收的运动视频中的对象。

对象图像检测器304可以用电子电路、逻辑门等来实施。对象图像检测器304也可借助于在处理设备中执行的程序代码来实施，处理设备也可以是独立的处理设备或处理单元306。对象图像检测器304的功能是识别所接收的运动视频中的对象图像，并且本领域技术人员清楚用于实现这种功能的多种不同的可能的实施。

处理单元306可以是任何类型的能够执行存储器中存储的程序代码的通用目的的处理器，例如微处理器、CPU等。在线越过检测设备300的示例中，处理单元306运行与越过检测线对14、16中、线14、16中至少之一的对象图像18的检测相关的代码，与计算图像的面积相关的代码，计算线距离Ld和对象图像面积A₀之间的关系，并基于这些操作，发送用于生成绊网事件的指令。在一些实施例中，关于图5描述的所有功能都借助于相应处理单元中的执行代码来执行。非易失性存储器308可存储信息，例如，要由处理单元306执行的程序代码。进一步，非易失性存储器308也可存储要在线越过检测中使用的定义检测线14、16的数据，以及用于相同目的的系数k、K。

绊网事件发生器310布置为生成警告用户或操作者检测线14、16已被越过的事实的绊网事件。输出312可以是用于经由网络向客户端发送绊网事件的网络连接。可替换地，输出312可以是向用户或操作者呈现界面的显示输出，并且在此情况下，绊网事件发生器310可生成图解叠层和/或要呈现的声音。

在其它实施例中，线越过检测设备在联网的运动视频摄像机320内实施。这样的实施例的一个实例示于图7中。图7中的具有与来自图6的特征相同的参考编号的特征应如结合图6所描述的那样理解，因此将不在图7的描述中描述。特征中的主要差别在于，联网的运动视频摄像机320中的输出设备312是布置为提供网络连接的设备，其也是线越过检测设备300的可替代设备。此外，视频输入302用镜头322、图像传感器324和图像处理器326代替。这些特征对本领域技术人员来说是已知的，因此不再本文更详细地描述。

根据本发明的一些实施例，可实施线检测过程来针对多条线检测线越过。在图8中示出了这种的示例。该图示出两个不同的检测线对，14a、16a以及14b和16b。除了该过程要独立地检测每对检测线对，即针对每对检测线对14a、16a、14b、16b独立地执行对象图像18是否已越过线的测试的差别外，线检测操作将与一个线检测对以相同的方式操作。于是，以上描述的针对单个检测线对描述的过程，通过以与本说明书中先前针对单个检测线对描述的相同的方式处理每个检测线对14a、16a、14b、16b，也可应用于多个检测线对。本领域技术人员理解检测线对的数目可大于二。限制检测线对的数目的一种情况可以是拍摄的运动视频的分辨率以及可适配到一个场景内的检测线对的数目。进一步，检测线对的数目也可受实施检测过程的设备的处理功率限制。

根据一些实施例，被处理用来检测线越过的运动视频可以是从拍摄的红外辐射制作的运动视频，即红外运动视频。在运动视频摄像机中实施过程的情况下，运动视频摄像机包括能够拍摄红外辐射的红外图像传感器。