设备、系统和方法
【技术领域】
[0001]本发明涉及用于分析视频帧序列的设备，使用这种设备的系统以及操作这种设备和系统的方法。具体地，但不排他地，本发明实施例涉及视频监控网络。
【背景技术】
[0002]视频监控网络包括用以提供特定地理位置的监控的一个或多个视频摄像头。网络可以简单地包括单视频摄像头，单视频摄像头用于监视门口，例如可以是门、走廊、电梯、入口门厅、出口门厅、大厅、机场安检门或可能有大量人通过的任何地方。在某些情况下，例如大型购物中心的入口大厅或机场的出发大厅，在较短时间内可能有成千上万人经过。这使得在这种情况下跟踪被认为可能对安全构成威胁或引起安全关注的人充满困难。
[0003]通常，视频监控网络包括多个视频摄像头，它们布置成提供对诸如城市环境之类的分布式地理位置的监控。每个视频摄像头具有特定的视野或者“视场”，在上面捕捉并可以记录视频图像。视频摄像头可以是静止的，或者可以被远程控制在监控地区移动视场。在特定时间的视场的视频图像通常可以称为“场景”，且可以与摄像头捕捉的视频图像帧对应。
[0004]使用如基于互联网协议的通信，可以将网络中的摄像头通过通信网络与控制中心相连接。可选择地，通过专用的模拟或数字通信信道，可以将摄像头与控制中心相连接。通常控制中心由操作人员操纵，甚至在出现针对网络内特定场景的自动警报响应的时候。操作人员需要观察显示相关事件的摄像头，例如产生警报的场景。在包括许多摄像头的网络中，即使当在控制中心每个摄像头具有专用的显示屏幕时，操作员也无法监视所有摄像头。
[0005]此外，许多视频监控网络覆盖广泛的地理区域，而且可以具有不重叠或不邻接的视场覆盖范围。另外，摄像头可以覆盖拥挤地区，可能包括被其它对象遮挡的对象，例如，在静态遮挡的地方，由于城市特色建筑遮挡部分街道从而遮挡在该城市特色建筑后面通过的行人和车辆，或者行人之间互相遮挡的诸如拥挤的环境之类的地方。
[0006]监视这种视频监控网络可能非常复杂，导致难以观察到事件和/或跟踪在事件之前或者事件之后接着发生的活动。
【发明内容】
[0007]考虑到前述情况，设计了本发明的各方面和实施例。
[0008]就第一方面而言，本发明提供了数据处理设备，用于显示摄像头位置的网络地图和第一摄像头视场的场景；响应用户对场景中的对象所作的标记，以:基于在其它视场中的可能的对象，确定网络中被标记对象可能出现的其它摄像头视场，其它视场满足第一摄像头视场中的出口点和/或入口点与其它视场的入口点和/或出口点之间的时间关系和空间关系；以及显示网络中摄像头位置之间满足时间和空间关系的可能的路线。
[0009]本发明的数据处理设备可进一步用于基于可能的对象和被标记对象之间的外观元数据的相似度确定被标记对象可能出现的其它视场。
[0010]本发明的数据处理设备可进一步用于显示所呈现的路线符合被标记对象采用的路线的概率指示。
[0011]本发明的数据处理设备可进一步用于突出最有可能的路线。
[0012]本发明的数据处理设备可用于响应用户对与其它视场对应的摄像头位置的选择，以显示存在可能的对象的视频场景。
[0013]本发明的数据处理设备可响应用户对可能的对象的选择，以确认可能的对象作为被标记对象，并确认通向摄像头位置的路线，并删除其它路线。
[0014]本发明的数据处理设备可进一步用于基于空间关系和时间关系，以及任选的外观元数据，计算去往和来自用于被标记对象的摄像头位置的进一步可能的路线，并显示可能的路线。
[0015]本发明的数据处理设备可进一步用于至多仅显示一定数量的可能的路线，这些可能的路线对应于具有最尚可能性的那些路线。
[0016]本发明的数据处理设备可进一步用于至多仅显示一定数量的摄像头位置之间的连接。其中，在一个实施方式中，一定数量的摄像头是用户能设置的。
[0017]本发明的数据处理设备可用于与场景一起显示滑块控制器，用户可启动滑块控制器来回滑动以向后或向前移动视频场景。
[0018]本发明的数据处理设备可用于显示沿着所显示的时间线上的一个或多个书签以指示对象进入或离开与所显示的场景对应的视场的地方。
[0019]本发明的数据处理设备可用于在所显示的对象周围显示边界框，所显示的对象具有与其相关的元数据，诸如入口点和出口点。
[0020]本发明的数据处理设备可用于通过以具有不同突出属性的边界框突出可能的对象以区别没有归类为可能的对象的对象，并以具有不同突出属性的边界框突出确认的对象以区别没有归类为确认的对象的对象。
[0021]本发明的数据处理设备可用于生成被标记对象通过网络地图的路线的报告。
[0022]在摄像头视野的环境中的“跟踪”可以是用于定义对象存在的位置、时间和外观细节的结合。这种对于对象的跟踪一直存在，直到他从场景中完全地消失或者满足所设置的跟踪结束的条件为止。
[0023]就本发明的第二方面而言，提供了一种操作数据处理设备的方法，包括:显示摄像头位置的网络地图和第一摄像头视场的场景；响应用户对场景中的对象所作的标记，以:基于在其它视场中可能的对象，确定网络中被标记对象可能出现的其它摄像头视场，其它视场满足第一摄像头视场中的出口点和/或入口点与其它视场中的入口点和/或出口点之间的时间关系和空间关系；以及显示网络中摄像头位置之间满足时间关系和空间关系的可能的路线。
[0024]本发明的操作数据处理设备的方法可包括基于可能的对象和被标记对象之间的外观元数据的相似度确定被标记对象可能出现的其它视场。
[0025]本发明的操作数据处理设备的方法可进一步包括显示所呈现的路线符合被标记对象采用的路线的概率指示。
[0026]本发明的操作数据处理设备的方法可进一步包括突出最有可能的路线。
[0027]本发明的操作数据处理设备的方法可进一步包括响应用户对与其它视场对应的摄像头位置的选择，以显示存在可能的对象的视频场景。
[0028]本发明的操作数据处理设备的方法可进一步包括响应用户对可能的对象的选择，以确认可能的对象作为被标记对象，并确认通向摄像头位置的路线，并删除其它路线。
[0029]本发明的操作数据处理设备的方法可进一步包括基于空间关系和时间关系，以及任选的外观元数据，计算去往和来自用于被标记对象的摄像头位置的进一步可能的路线，并显示可能的路线。
[0030]本发明的操作数据处理设备的方法可进一步包括至多仅显示一定数量的可能的路线，这些可能的路线对应于具有最尚可能性的那些路线。
[0031]本发明的操作数据处理设备的方法可进一步包括至多仅显示一定数量的摄像头位置之间的连接。
[0032]本发明的操作数据处理设备的方法可进一步包括与场景一起显示滑块控制器，用户可启动滑块控制器来回滑动以向后或向前移动视频场景。
[0033]本发明的操作数据处理设备的方法可进一步包括显示沿着所显示的时间线上的一个或多个书签以指示对象进入或离开与所显示的场景对应的视场的地方。
[0034]本发明的操作数据处理设备的方法可进一步包括通过以具有不同突出属性的边界框突出可能的对象以区别没有归类为可能的对象的对象，并以具有不同突出属性的边界框突出确认的对象以区别没有归类为确认的对象的对象。
[0035]本发明的操作数据处理设备的方法可进一步包括生成被标记对象通过网络地图的路线的报告。
[0036]根据第一方面和第二方面的实施例处理视频帧序列中的视频图像数据，以将视频帧序列中诸如人或车辆之类的对象的行为或路径简化为占用较低带宽的元数据格式，例如，仅四个简单的数据点，这使得易于搜索。也就是说，将视频帧序列中的对象的行为简化为合理的数据，该数据定义了对象在序列中起始和终止的地方以及与起点和终点对应的时间。这实质上减少了存储关于对象行为的信息所需的数据存储空间的数量，而且如果将在数据分析中使用对象的行为，也减少了必要的处理量。
[0037]通常，一个或多个实施例可以处理多个监控网络摄像头视场的视频帧序列以跟踪各个视场中的对象，并且将各个起点和终点以及起始时间和终止时间作为各个视场中的每个所述跟踪的属性进行存储。例如，在覆盖诸如市中心、仓库或者其他这种设施之类的大型地理区域的监控网络中，将使用多个视频摄像头。
[0038]适当地，一个或多个实施例可以确定第一视场中的跟踪的终止时间与第二视场中的跟踪的起始时间之间的时间关系，并且基于所述时间关系确定所述第一视场中的所述跟踪过渡到所述第二视场中的所述跟踪的似然值。然后存储该似然值。就这种差异来说，似然值可以是概率值。确定在第一视场和第二视场的跟踪之间的过渡的似然值提供了一种实施例，其中可以根据它们的似然值对过渡进行排序。因此，可以丢弃或忽略具有低似然值的过渡。由于可以忽略较低可能性的过渡并且在它们上没有进行数据处理，因此这在减少数据处理开销方面可能特别重要，并且分析数据依赖于第一视场和第二视场之间的过渡。而且，由于对定义不同视场中的跟踪之间的对应关系的元数据进行处理，而不是对视频帧进行处理，因此需要较少的处理量。
[0039]时间关系可以是基于物理空间中对应于所述起始时间的起点与对应于所述终止时间的终点之间的空间关系。通常，这种空间关系是沿着道路或人行道的出口区和入口区之间的距离，并且可以在系统内定义为系统参数。
[0040]更具体地，根据本发明的实施例可以在所述第一视场和第二视场中跟踪多个对象，并确定相应的多个起点和终点；基于所述多个起点和终点确定所述第一视场和第二视场中的起始区和终止区；确定所述第一视场中的跟踪的终止区与所述第二视场中的跟踪的起始区之间的所述时间关系；以及基于所述时间关系确定从所述第一视场中的跟踪到所述第二视场中的跟踪的过渡的所述似然值。因此，定义了物体可能从视场内出现或消失的区域，这提供了对出口区和入口区更简单的识别。
[0041]通常，时间关系基于物理空间中所述起始区和所述终止区之间的空间关系。
[0042]通常，更多实施例对所述第一视场中所述对象的标记进行响应，以确定具有所述第二窗口中的起始时间并满足所述时间关系的一个或多个跟踪，并向用户显示所述一个或多个跟踪。
[0043]具体地，一个或多个实施例确定对象的外观作为所述对象的属性，比较与所述一个或多个跟踪对应的每个对象的外观属性，以确定每个对象成为被标记对象的概