用于检测事件的方法和装置与流程

本发明涉及从捕获的视频中检测事件。更具体地说，本发明涉及用于在捕获的视频中检测事件的方法和装置。

背景技术：

今天的大多数监控、监视和安全系统包括用于捕捉和生成视频的设备。通常，分析捕获的视频以检测特定事件的发生。这种事件的例子是运动检测、对象检测、侵入检测。检测这些类型的事件需要大量的处理能力。这种对高处理能力的要求可能会限制在捕获视频的低处理能力摄像机中提供事件检测的可能性。使用较小处理能力摄像机的一个原因可能是高处理能力摄像机的价格较高。另一个原因可能是，具有高处理能力的摄像机比具有较小处理能力的摄像机需要更多的电能，并且可能无法将该电能的量提供给摄像机的位置。因此，需要一种使得事件检测需要较小的计算能力的方法。

技术实现要素：

本发明的一个目的是使得事件检测需要较小的处理能力。

该目的通过根据权利要求1所述的用于检测事件的方法来实现。本发明的其它实施例在从属权利要求中给出。

更具体地，根据本发明的一些实施例，用于检测事件的方法包括：重复地记录指示由编码器产生的数据量的值，该编码器通过时间压缩对来自场景的视频进行编码；通过将所记录的值的特性与预定特性进行比较来确定编码后的视频所表示的场景中是否发生了特定事件；并且，响应于确定事件发生而生成事件信号。通过记录在视频的编码中生成的数据量，然后使用该数据来确定捕获的视频中是否发生了事件，可以节省处理能力，这是由于可以在不处理所有图像数据的大量分析的情况下进行确定。事实上可能还有另外的优点，即确定所需的数据较少，亦即用于分析的数据的传输可能导致较小的网络负载，使得能够确定事件或者特定事件是否发生的数据的存储可以需要更小的存储容量。

在进一步的实施例中，在确定特定事件是否发生的行为中比较的特性可以是来自一组特性中的任何特性或特性的任何组合，该一组特性包括：所记录的值以高于第一预定阈值的速率增加；至少一个所记录的值高于第二预定阈值；所记录的值以大于第三预定阈值的速率下降；和，在一段时间上的值的积分超过第四预定阈值。采用这些特征中的任何一个特征的优点是，为了从表示由编码器生成的数据量的所记录的值计算出该特征，不需要大量的处理能力或存储器。

而且，基于表示一系列对应值的描述，可以通过将表示一系列所记录的值的特征与预定事件特征进行匹配，来确定和识别特定事件。对所记录的值的序列进行匹配的优点可以是可以检测和识别更具体的事件和/或更复杂的事件。

在又一些实施例中，通过将表示一系列所记录的值的特征与表示正常状态的描述进行比较来确定事件，并且其中如果所记录的值的序列以大于预定值的程度不同于正常状态，则确定发生了这样的事件。如果特征与正常状态特征不同则确定事件发生的优点是，确定可以是非常有效的，这是因为通过与少数特征进行比较就可以检测到许多事件，甚至未预料的事件或未知的事件。

根据另外的实施例，通过测量从先前记录值的时间起包括由编码器产生的数据的传输的数据量，获得指示由编码器产生的数据量的每个重复地记录的值。而且，传输的数据的测量可以从上一个被记录的值的时间开始进行。

一些实施例可以进一步包括将所记录的值存储在数据库中，其中确定特定事件是否发生的动作是对记录在数据库中的值进行的。

其它实施例可以进一步包括通过网络将所记录的值传送到客户端，其中确定特定事件是否发生的动作由客户端进行。

在一些实施例中，表示值随时间增加的所记录的值的特征指示对象进入编码后的视频中的场景。这个特征的优点是确定更复杂事件的特征变得可能。

在进一步的实施例中，所记录的值的特征是值本身，并且其中通过将所记录的值与预定的第一阈值进行比较来识别穿过场景的第一对象类型，并且其中通过将所记录的值与预定的第二阈值进行比较来识别穿过场景的第二对象类型。

根据一些实施例，确定特定事件是否发生的动作仅针对大于预定阈值的所记录的值执行，这种确定方案的优点是非常简单并且需要非常小的处理能力来操作。

在一些实施例中，表示包括未经时间编码的图像帧的数据的值在确定特定事件是否发生的行为中不被使用。不基于非时间编码图像帧确定事件的优点在于，因为非时间编码帧不携带任何与视频中的移动有关的信息，所以即使进一步节省处理能力，也不会降低确定的精度。

在另外的实施例中，该方法还包括每次确定特定事件的发生时，递增计数器。这样的优点是，可以实现需要低处理能力的计数器，例如人计数器、车辆计数器、通用对象计数器。这样的计数器可以例如在具有有限资源的摄像机或具有有限资源或至少有限的空闲资源中的另一设备中实现。在一些实施例中，该方法进一步包括每次确定特定事件的发生时，递增与该特定事件相关的计数器。由此，存在为特定的事件布置的计数器，这可以导致为不同的对象(例如人、动物、车辆等)、或者针对不同的事件(例如跑步、走路、留下物体等)，布置单独的计数器。

根据下面给出的详细描述，本发明的进一步适用范围将变得显而易见。然而，应该理解的是，由于在本发明的范围内的各种变化和修改将通过该详细的描述对于本领域技术人员变得显而易见，因此指示本发明的优选实施例的详细描述和具体示例仅仅是以示例的方式给出的。由此，应该理解的是，本发明不限于所描述的装置的特定组成部分或所描述的方法的步骤，这是因为这样的装置和方法可以变化。还应该理解，这里使用的术语仅仅是为了描述特定实施例的目的，而不是限制性的。必须注意的是，如在说明书和所附权利要求中所使用的，除非上下文另有明确规定，“一”、“该”和“所述”旨在表示存在一个或多个元件。因此，例如，对“传感器”或“该传感器”的引用可以包括若干传感器等。此外，词语“包括”不排除其它元件或步骤。

附图说明

本发明的其它特征和优点将通过下面参照附图的优选实施例的详细说明而变得显而易见，附图中：

图1是可以包括本发明实施例的实现的系统的示意图；

图2是根据本发明实施例的摄像机的框图；

图3是表示数据速率经过一段时间的曲线图，示出了可以用于本发明实施例的该曲线图的特征；和

图4是根据本发明实施例的用于生成事件信号的过程的流程图。

此外，在附图中，相同的附图标记在全部附图中表示相同或相应的部件。

具体实施方式

本发明涉及事件检测系统和用于检测事件的方法。参见图1，事件检测系统可以是包括多个监视摄像机12a-c、通信网络14、系统管理设备16a-b和数据存储设备18的系统。监视摄像机12a-c可以是能够捕获运动视频的任何类型的联网监视摄像机。通信网络14可以是任何有线或无线通信网络，或者可以是各种有线和/或无线网络的任何组合，例如局域网(LAN)、广域网(WAN)、互联网、蜂窝网络、Wi-Fi等。系统管理设备16a-b可以是具有使得操作员能够与系统中的设备交互或者接收与事件检测有关的信息的显示器的任何计算设备。数据存储设备18可以是网络附加存储单元(NAS)、文件服务器、视频服务器或任何其它数据存储单元。

现在参照图2，系统中使用的监视摄像机12被布置为将场景的运动视频捕获为数字数据。因此，监视摄像机12包括将来自场景的光引导到图像传感器42上的至少一个透镜40。图像传感器42和图像处理器44将光转换为表示所捕获的图像的数字数据。此外，摄像机12被布置为捕获多个图像以提供用于生成运动视频的数据。然后，表示运动视频的数据在编码器46中被编码，编码器46使用时间压缩方案对运动视频进行编码。摄像机可以是捕获可见光的相机、IR相机、ToF相机(飞行时间相机)等。

时间压缩方案是通过不将每个帧编码为单独且完整的图像来减小压缩视频尺寸的方案。被完全编码的帧被称为帧内帧(intra frames)，这是因为这些帧基于当前编码的图像帧中的信息被完全编码。视频中的所有其它帧由指定自上一帧起的改变的数据来表示，即表示这些帧的数据表示与其它帧的差异。这些帧被称为增量帧间帧，这是因为这些帧取决于其它帧中的数据。帧间帧可以与在一些编码方案中被称为P帧的先前帧相关，但是可替代地，帧间帧可以与被称为B帧的先前帧和未来帧相关。

运动视频在编码器46中的编码减少了将表示运动视频的数据量。在编码器46中使用的编码方案的示例是H.264、H.265、MPEG-2第二部分、MPEG-4第二部分等。在一些摄像机12中，在运动视频的编码之前和/或之后，甚至更多地分析和/或处理运动视频。在这样的摄像机12中，处理单元48可以被布置为用于这种类型的分析和/或处理。许多摄像机12还需要易失性存储器50和/或非易失性存储器52用于程序的操作和数据的存储。

在运动视频通过网络14传输之前，视频数据由通信协议管理，然后在物理上适应连接到摄像机的网络。图2中的网络接口54可以被视为以本领域技术人员已知的任何方式进行这些操作的设备或模块。摄像机中的设备和模块之间的通信可以通过直接的单独的物理连接，或数据总线，或两者的组合来实现，这些通信实现在图2中由内部通信路径56表示。

本发明的事件检测系统被设计为使用比分析视频流的所有像素以检测事件的系统更小的处理能力来检测事件。当涉及检测存储的数据，即表示较旧的记录的存储的数据中的事件时，表示较长时间段的数据中的事件检测将比使用分析视频流的所有像素以检测事件的系统更快。这些优点是通过分析摄像机12的时间压缩视频编码器46产生的数据量来实现的，摄像机12正在捕获在其中需要事件检测的场景的运动视频。编码器46产生的数据量取决于连续捕获的图像帧之间的变化的量。例如，相比于具有大量移动的场景的图像序列，基本上没有移动对象的场景的图像序列将导致更少的编码数据。由此，编码步骤之后的数据量在很大程度上取决于连续地捕获的图像的变化。这也可以被描述为由编码器46生成的被编码的图像数据的量取决于受场景中的移动影响的图像传感器上的像素的数量。例如，相比于远离摄像机的对象或小对象，靠近摄像机的对象或场景中的大对象将影响图像传感器上的更多像素。因此，数据量是图像信息的时间压缩的效果。

根据本发明的实施例，在包括所监视的场景的运动视频的数据流中，表示每单位时间的数据量的多个数据速率被顺序地测量和记录(register)。从而，记录了表示数据速率随时间变化的数据集。可以从系统中的各个位置测量或获取数据速率。例如，可以在摄像机的编码器46处、在摄像机的网络接口54处、在网络14中的交换机或路由器处、在系统管理设备16a-b中的网络接口或解码器处、或者在网络存储设备18中的网络接口或解码器处，测量或获取数据速率。可以在表示图像流的流上直接测量数据速率，但也可以通过测量传输运动视频的网络数据包的数据速率来测量。测量数据流的数据速率或任何数据传输的过程对于本领域技术人员来说是公知的。表示随着时间的数据速率的数据集可以使用非常少量的数据表示，特别是与表示运动视频流所需的数据相比较。例如，考虑在表示数据速率随时间的变化的数据集中包括表示用于表示图像流中的每个图像的数据量的值或数据条目。如果摄像机是一个一千万像素的摄像机，则使用任何标准编码器，帧内帧的大小，即空间编码的帧内帧的大小约为2.5MB。即使是使用无损编码方案进行编码的一千万像素帧也不会有比10MB更大的尺寸。为了记录表示0MB-10MB之间的每个大小的值或数据条目，只需要三个字节，这是因为三个字节将能够表示超过1600万的值。如果数据速率的分辨率不是那么重要，甚至可能使用两个或一个字节来表示数据速率。无论如何，相比于用于表示一个帧内帧的数据，表示数据集当中的数据速率所需的数据可以容易地小近百万倍。在流媒体视频(streaming video)中，每帧使用的数据当然会更小，这是因为帧间帧是时间编码的。然而，所使用的数据集可以不需要包括每个帧的大小，而是可以表示预定时间段内的累积数据量。在一个实施例中，帧大小被作为数据速率的表示记录。帧大小指示对帧进行编码所需的数据量。帧大小使用4个字节(32位)进行记录，并且为每一帧记录帧大小。以每秒30帧捕获帧，相应地本发明用于检测事件的数据在本实施例中可以是0.12Kb/s。这远远低于6000Kb/s的正常运动视频流的数据速率。

独立于图像流中的图像的编码的确切实现以及在数据集中用于表示数据集中的每个值或数据条目的分辨率(即字节数)，当使用数据速率数据集而不是图像流的图像时，必须处理的数据量的差异是巨大的。在存储方面又获得了另一个巨大的收益，这是因为只有一小部分数据需要存储。例如，监视系统可以仅存储发生感兴趣事件的时间段的运动视频数据，并存储整个监视时间段的数据速率值。然后，所存储的数据速率值可以被搜索和/或分析以过滤出特定的事件。然后，还可以使用数据速率值以确认没有存储运动视频的时间段没有发生事件。而且，一般而言，所存储的数据速率数据集可以被用来在记录的视频中搜索感兴趣的视频序列是有益的。分析数据速率集的另一个优点是可以在不损害场景中存在的人员的完整性的情况下，分析场景中的事件。

在图3中，通过根据时间绘制数据速率来说明数据集的示例。该图的数据集是通过记录表示摄像机捕获的视频流中每个图像帧的数据的量而实现的。在当前的数据集中，通过简单地移除表示帧内帧的每个值，消除了帧内帧的影响。可替代地，去除帧内帧可以被实施为去除高于最大阈值的所有数据值。去除帧内帧的优点是，当你不必考虑每个帧内帧的数据速率的峰值时，分析数据速率将变得更简单。特别是由于帧内帧不提供与帧之间的移动或改变有关的信息，这是因为帧内帧是空间编码的而不是时间编码的。以这种方式，数据集将利用在时间编码器中帧间的固有移动指示，而不受帧内帧的高数据量值的干扰。

导致图3的曲线的监视场景是道路，并且摄像机被布置为在道路的纵向方向上捕获来自道路上方的视频。通过简单地查看曲线就可以识别各种事件。例如，每个峰的高度都能识别车辆的大小，至少是车辆在最近点经过摄像机时的相对大小。由此，可能通过仅关注曲线中的峰值来得出经过摄像机的车辆的尺寸的结论。此外，峰的每一侧的曲线的陡峭性揭示了车辆的行驶方向。曲线的陡峭部分是离开场景的车辆的摄像机编码视频的结果，或者是在靠近摄像机的点到达场景的车辆的摄像机编码视频的结果，即，当捕获的车辆的图像大时，离开或到达场景导致由于车辆的原因而在短时间内很多像素改变。曲线在峰的另一侧的不太陡峭的部分是车辆在捕获的场景中从远处朝向摄像机行驶或在场景中从摄像机驶离的结果。这是车辆在场景中相对较长时间的结果，并且慢慢被看出为越来越小，距离摄像机渐行渐远。

现在参考图3中的曲线104，从上面的推理可以看出，第一峰106表示诸如面包车或卡车的大型汽车驶向摄像机。这是从曲线的以下的外观推导出的：曲线108通向峰106的部分可以被识别为表示在场景中长时间行驶的车辆，直到它到达靠近摄像机的位置，从而导致不太陡峭的曲线。曲线108的不太陡峭的部分在曲线的峰106的顶部之前被记录的事实表明车辆正在场景中朝向摄像机行驶。相应地，如上所述，曲线110在峰的随后侧的部分是陡峭的，指示车辆正在靠近摄像机处离开场景。

第二峰112表示在场景中从摄像机驶离的轿车。由峰112的高度表示的轿车的大小，并且通过曲线114的通向峰112的陡峭部分和曲线116的在峰之后的不太陡峭的部分来确定的行进方向。峰118表示驶离摄像机的另一大型车辆，而峰120和峰122各自可以表示驶离摄像机的轿车。

曲线104的最后一个峰124高于表示大型车辆的峰，并且当查看曲线126、128的在峰124的每一侧的部分的陡度时，发现两个部分都不太陡峭。这些指示使得有可能得出以下结论：峰表示两辆正在彼此相反方向上行驶的车辆。

因此，可以使用表示时间编码的视频数据的数据速率的曲线104的特征来识别或者至少指示特定的事件。例如，可以设置阈值以指示像是场景中的运动的事件，例如，如果数据速率超过阈值，则触发事件。表示朝向摄像机行驶或远离摄像机行驶的对象的事件可以通过分析在峰的每一侧的曲线的部分的导数来识别，即，如上所述计算曲线的这些部分的陡度。这样的陡度值，例如，梯度，也可以用于指示速度事件，例如可以根据曲线的陡度来计算对象的速度。曲线下面的面积也可用于分析事件。该面积可用于确定车辆的速度、车辆的大小以及许多其它事情。

又一替代方案是生成表示各种事件的模型，这些事件在表示数据速率针对时间的曲线中可识别，然后通过使用这些模型识别特定事件。可以通过以下方式来形成这样的模型：识别和记录表示特定事件的曲线的一部分的特定特征的组合，或者记录典型事件、并且如果记录的曲线相比于已记录的典型曲线没有改变超过预定的量，将事件识别为该事件。也可以通过使用深度学习来形成模型，例如，将神经网络训练为通过时间编码视频的数据速率的输入来识别特定事件。

另一个应用是创建一个模型，该模型表示通常应该在场景中发生的事件，然后在所记录的数据速率从该模型改变时，触发警报。例如，该系统可以用于勘察铁路轨道。通过分析曲线的特征或者通过使用神经网络方法训练系统，形成表示轨道上经过的列车的模型。然后，系统可以被设置为指示何时检测到不适合模型的事件。由此，这可以用来检测轨道上的动物或人，这是因为像轨道上的动物或人的事件的数据速率曲线很可能与表示列车的模型显著不同。

用于检测事件的数据速率分析可用于许多应用中。如上所述，用于检测事件的数据速率分析可以用于交通监控和火车轨道监视。其它使用领域是监视工厂中的过程，例如对传送带上的产品进行计数，如果数据速率序列(即经过一段时间的数据速率)的一些或多个特性、或者这样的数据速率序列的一段或多段与“正常”特性或段不同，则产生警报，以例如指示与预期过程不一致等。如上所述，特征可以由诸如数据速率值、梯度、面积的特定数据点表示，而段可以由该时间段上的曲线的形状来表示。此外，检测事件的方法可用于监控建筑物或场所以检测可疑和/或危险的活动。这种检测事件的方法也可以用于控制楼宇自动化系统，如照明、供暖、通风等。

上述使用案例是使用来自一个或多个摄像机的实时数据速率呈现的。然而，有利地，数据速率数据也可以被存储用于以后的分析。数据不需要太多的存储空间，并且当您想要查找特定事件的时间点以研究该事件的视频时，数据可以非常有用。在这种特殊情况下，视频将会可用，但是，用于搜索事件时，数据速率数据的效率要高得多，这是因为要分析的数据要少得多。因此，存储和使用数据速率信息供以后使用是一个很大的优点。

现在参照描绘本发明的实施例的过程200的图4的流程图。该过程包括记录每个指示从特定时间点开始的数据速率的连续值(步骤202)。这些值可以基于摄像机中的编码器提供的信息、基于通过测量从编码器输出的数据的量所获得的值、基于诸如网络流量的由网络接口提供的值等。如在上面的示例中所呈现的，每个值和/或系列的值表示所记录的值的特性，并且与表示至少一个事件的对应的预定特性进行比较(步骤204)。如果比较指示值或系列的值表示事件(步骤206)，则生成事件信号(步骤208)，然后过程返回到步骤202，以记录指示由编码器产生的数据的数据速率的额外的值。事件信号可以是内部信号或传送到其它系统或设备的信号。例如，信号可以指示表示检测到对象的事件，该信号可以在内部被发送到计数器以便针对对象的数量进行计数。此外，事件信号可以是承载事件的数据的信号，例如，中等大小的车辆以60km/h的速度在向西的方向上经过。此外，事件信号可以是警报信号。技术人员将认识到事件信号的多种变化。如果比较没有指示任何事件的发生(步骤206)，则该过程直接返回到步骤202，以记录指示由编码器产生的数据的数据速率的额外的值。该过程可以在实时数据上执行，例如，当数据被产生并且值被生成时执行，或者该过程可以在存储的数据上执行，例如，数据被存储在一些存储设备中并被解析以检测所存储的数据中的事件。

步骤204中的比较可以包括结合图3的数据速率曲线所讨论的特征中的任何一个或任何组合。例如，比较的特征可以是正在被与阈值比较的数据速率的值，该阈值指示场景中是否有足够的改变来触发运动事件。特征可以是与曲线中的单个数据条目或多个连续数据速率值有关的变化的导数，即陡度。可以将这样的导数与预定阈值进行比较以指示事件。另一个可以比较的特征是数据速率值的积分，即曲线下的面积。这样的面积可以在数据速率超过阈值的两个时间点之间测量或者简单地在预定的时间帧上测量。比较可以包括将一组特征与预定的一组特征(例如，上述特征的任何组合)进行比较。另外，一组特征可以包括来自不同时间点的多个特征。例如，可以通过检测第一导数，然后检测峰值并且最后检测第二导数来检测指示轿车正在朝向或远离摄像机行使的事件。然后，可以将这组特征值与一组预定特征进行比较。

而且，该系统可以通过将系统的所有功能布置在摄像机中来实现，即摄像机包括用于执行根据本发明实施例的过程的装置。例如，摄像机12从编码器46，从网络接口或者，从摄像机中的任何其它数据速率提取点获取数据速率值，并且将数据速率值存储在存储器50、52中，以与在摄像机执行的程序中设置的特征进行比较，该程序被摄像机执行以用于现场地或从历史数据速率中检测事件。然后，摄像机可以响应于事件检测来传送事件标识符。

可替代地，可以在经由网络连接到摄像机并接收流运动视频的任何设备中实现该系统。这样的设备，例如系统管理设备16a-b、数据存储设备18等，可以测量在运动视频流中接收到的数据的量并且自己执行过程。该设备也可以是诸如文件服务器、NAS等的存储设备，该存储设备被布置为存储从针对被接收以进行存储的数据的测量获得的数据速率、或者在另一个位置获得的数据速率。

在另一个替代方案中，系统的操作分布在多个设备上。例如，摄像机12可以测量并生成数据速率值，并将数据速率值发送到存储设备18以进行存储，并将数据速率值发送到系统管理设备16a-b以进行现场事件检测。而且，系统管理设备16a-b也可以被布置为获得存储在存储设备处的历史数据速率值，并且分析历史数据速率值以进行事件检测。

表示场景中发生的事件的数据速率值和数据速率值序列的特性可以非常依赖于由摄像机捕获的景观，例如，摄像机是否是被从上面沿道路或路径的纵向定向，或者摄像机是否是被安装来捕获经过者在图像中从左向右移动的场景。相应地，摄像机的视角可以决定可能检测到的事件的类型。

上面的示例都是针对固定式摄像机给出的，但是摄像机也可以是移动摄像机。例如，摄像机可以安装在无人机或UAV(无人驾驶飞行器)中，或者摄像机可以是车辆中的仪表板摄像机。

而且，事件检测可以被用在布置有隐私区域以保护人们的隐私的系统中。根据本发明的事件检测器可以在不泄露任何个人可识别的信息的情况下，分析整个场景以便产生事件。