用于动态跟踪的视频加标签的制作方法

用于动态跟踪的视频加标签的制作方法
【专利摘要】公开了用于动态跟踪的视频加标签。一种方法和设备，其中该方法包括如下步骤：示出保护监视系统的安全区域的摄像机的视野，在显示器内设置图形指示器用于检测摄像机的视野内的事件，基于视野内的与所接收的图形指示器交互的移动对象来检测事件，接收由监视操作者通过用户接口在显示器上邻近移动对象而输入的描述指示器，以及通过另一个摄像机的视野跟踪移动对象，并且在另一个监视操作者的显示器上显示在另一个摄像机的视野内邻近移动对象的描述指示器。
【专利说明】用于动态跟踪的视频加标签

【技术领域】
[0001]本发明的领域涉及安全系统，并且更具体地涉及安全系统内的监视系统。

【背景技术】
[0002]安全系统是众所周知的。这样的系统(例如，住宅内、工厂中，等)典型地包括某些形式的物理屏障和一个或多个入口(例如，门、窗户等)用于已授权人员进入和外出。在每个门和窗户上可提供各自的检测闯入者的传感器。在某些情况下，也可提供一个或多个摄像机以便检测受保护空间内的闯入者，该闯入者已经能够越过物理屏障或传感器。
[0003]在许多情况下，传感器和/或摄像机可以通过本地控制面板连接到中央监控台。在控制面板内，控制电路可以监控用于激活的传感器并且作为响应组成警报信息，该警报信息继而被发送到中央监控台来识别受保护区域的位置并提供所激活的传感器的标示符。
[0004]在其他位置(例如，机场、城市建筑等)中，可能不存在或存在很少的物理屏障以限制进入到受保护空间，并且公众人员根据他们的意愿来去。在这种情况下，可以通过针对麻烦监控受保护空间的多个摄像机来提供安全。然而，这样的空间可能需要由少量警卫监控上百台摄像机。因此，存在对在这样的空间内检测和跟踪事件的更好的方法的需要。

【专利附图】

【附图说明】
[0005]图1描绘根据所说明实施例的用于检测和跟踪事件的系统；
[0006]图2描绘在检测事件中由监视操作者执行的一组步骤；
[0007]图3描绘图2的附加细节；
[0008]图4描绘图2的附加细节；
[0009]图5A-B描绘可在图1的系统内使用的摄像机的不同视角；
[0010]图6A-B描绘图5A-B的不同视图中对象的加标签；
[0011]图7描绘安全区域的接待区域中的加标签；以及
[0012]图8描绘在图1的系统的其他摄像机的视角中示出的图7的加标签。

【具体实施方式】
[0013]虽然实施例能够采用许多不同形式，但其特定实施例在附图中被示出并且将在本文中被详细描述，应理解的是，本公开将被认为是对其原理的举例以及实践其的最好模式。并不意图对所说明的特定实施例有任何限制。
[0014]图1描绘根据所说明实施例的总体示出的安全系统10。在安全系统内包括的可以是多个视频摄像机12、14、16，每个视频摄像机收集在安全区域18内各视野(FOV) 20、22内的视频图像。
[0015]在系统内还包括的是两个或更多用户接口(UI) 24。在这种情况下，每个用户接口24由各自的监视操作者所使用以通过摄像机12、14、16中的一个或多个监控安全区域12。用户接口可通过控制面板40耦合到摄像机并从摄像机中接收视频信息。
[0016]控制面板内包括的是控制电路，其提供安全系统的至少部分功能。例如，控制面板可包括一个或多个处理器设备(处理器)30、32，其在从非暂态计算机可读介质(存储器)38中加载的一个或多个计算机程序34、36的控制下操作。如这里所使用的，对由一个计算机程序执行的步骤的参考也为对执行该步骤的处理器的参考。
[0017]图1的系统可包括服务器侧机器(服务器)和多个(例如，至少两个)客户端侧机器(例如，操作者控制台或终端)。服务器侧机器和客户端侧机器中的每个包括各自的完成这里所描述的功能的处理器和程序。每个客户端侧机器通过并入到操作者控制台的用户接口与各自人类监视操作者交互。服务器侧机器处理共同功能，例如操作者之间(通过服务器和各自客户端侧机器)的通信和将视频存入到各自视频文件38、40中。
[0018]在每个用户接口上包括的是显示器28。显示器28可为交互式显示器，或用户接口可具有单独键盘26，通过键盘26用户可以输入数据或作出选择。
[0019]例如，用户可输入标示符以选择摄像机12、14、16中的一个或多个。作为响应，来自所选择的一个或多个摄像机的视频帧在显示器28上示出。
[0020]每个用户接口中还包括的可以是麦克风48。麦克风可耦合到位于一个或多个摄像机视野内的各自的扬声器50并用于向各自的扬声器50传递音频消息。可替代地，操作者可预先记录消息，只要人员/访问者触发与视野相关联的事件时，就将该消息自动传递给相关联的扬声器。
[0021]控制面板内包括的可以是操作者控制台的一个或多个接口处理器，该一个或多个接口处理器针对来自监视操作者的指令监控用户接口。通过键盘26或通过在显示器28上示出的合适图标的选择来提供输入。例如，接口处理器可沿着显示器屏幕一侧示出每个摄像机的图标。监视操作者可选择任何数量的图标，并且作为响应，显示处理器可打开用于每个摄像机的单独窗口并且同时地在各自显示器上示出来自每个所选择的摄像机的视频。在选择单个摄像机的情况下，示出来自该摄像机的视频的窗口可基本上占用整个屏幕。当选择多于一个摄像机时，显示处理器可调节各窗口的大小和视频图像的比例以便在屏幕上同时并排地示出来自许多摄像机的视频。
[0022]一般而言，当前闭路电视(CCTV)系统不为操作者提供这样的工具，该工具可由单独操作者适配于该操作者的监控环境。相对地，这里所描述的系统允许操作者创建其自己的客户端侧规则。例如，当前CCTV系统不允许操作者通过操作者的监控器与环境交互。当在操作者和监控器之间没有交互时，同时监控超过约十台摄像机的操作者可能无法充分地同时监控全部摄像机。因此，存在可能错过应引起警报的某些危急事件的高风险。
[0023]当前CCTV系统的另一个缺点是不存在促进操作者之间容易的通信以便快速地跟踪对象或人员的机制。例如，如果CCTV操作者想要在其他操作者帮助下跟踪一人员，那么他/她首先必须发送屏幕截图/视频剪辑给其他操作者，并然后呼叫/探测(ping)其他操作者以通知其他操作者跟踪的主题和原因。对于新的或没经验的操作者，很难快速理解任意特定情况下跟踪的需要并且很难能够快速对该需要执行操作。因此，在操作者当中存在错过信号/误通信的高风险。
[0024]图1的系统通过为操作者提供选项来操作，以通过与其实况视频交互来创建用户侧规则，以便使用触摸屏或通过鼠标或键盘控制的光标创建触发点。这允许操作者快速地创建他/她自己定制的规则并且接收警告。这与现有技术的服务器侧规则不同，这是因为其允许操作者快速地对出现在操作者监控器的各窗口中的紧急事件作出反应。这允许操作者监控许多摄像机以配置针对每个视图/摄像机的他/她自己定制的规则，使得根据针对该视图/摄像机所配置的规则来通知/警告他们。这减少了操作者同时主动监控全部摄像机的负担。
[0025]例如，假设操作者正通过来自各摄像机的多个视频馈送来监控公共空间，并且出现危及该空间的安全的情形。例如，机场具有仅允许已经通过安检的人在其中的安全区域和非安全空间。现在假设所警报的通道门必须打开以允许维护人员在安全和非安全空间之间流动。在这种情况下，必须严密地监控该区域以确保在维护区域中的维护人员和安全区域中的其他人员之间没有交互。在这种情况下，操作者能够通过在安全空间的维护子区域周围设置图形指示器(例如，在图像上画出周界)来快速地创建规则。在该示例中，在维护区域周围设置图形指示器创建这样的规则，即每当任何人跨越那条线或边界时，使得操作者接收警告。该规则的处理仅发生在客户端机器(操作者的控制台)上，并且仅该客户端(即，人类监视操作者)接收警告。在该情况下，该操作者的机器的客户端侧的分析评估在该视频窗口中发生的动作。
[0026]如果确实有人跨越那条线或边界，那么客户端侧的分析通过弹出来警告操作者。如果操作者未在预定时间周期内响应，则客户端侧的分析将通知操作者的主管人。
[0027]可以如下更详细解释该示例。例如，图2描绘可由监视操作者执行的一组步骤。在这种情况下，操作者可正在观看具有多个窗口的显示器102，每个窗口描绘来自各自摄像机的实况视频。在这种情况下，可通知操作者:在窗口 104内所示的并且位于屏幕的左下角的区域中必须执行维护。在这种情况下，操作者在窗口上选择(点击)或首先激活规则处理器图标并随后激活窗口。
[0028]作为响应，规则输入窗口 106出现在显示器上。返回上面示例，操作者可确定窗口106具有安全区域108和非安全区域110。为了创建规则，操作者在窗口内在两个地理特征(屏障)之间设置图形指示器(即，线、矩形、圆等)112，该两个地理特征将安全区域与非安全区域分离。可以通过以下方式来创建所述线:操作者从工具区域114中选择适当的工具，利用他的手指在交互式屏幕上画出线，或通过以下方式来创建所述线:首先将光标设置在一端，点击位置，移动到线的另一端并点击第二位置。在这种情况下，如所示，图形处理器可通过操作者的动作检测线的位置，并画出线112。可将线的位置转发到第一规则处理器，其随后监控接近所创建的线的活动。
[0029]分别地，跟踪处理器(在服务器侧机器或客户端侧机器内)处理来自每个摄像机的视频帧以便检测在每个视频流中存在的人。跟踪处理器可通过将相继的帧进行比较以便检测改变来完成此。像素改变可与用于改变的量值以及移动对象的大小(例如，涉及的像素的数量)的门限值相比较，以检测位于视频流内的每个人的形状和大小。
[0030]当检测到每个人时，跟踪处理器可对于该人创建跟踪文件42、44。跟踪文件可包含当前位置和过去位置的位置轨迹以及在每个位置处的时间。
[0031]在此方面应该注意，相同的人可出现在每个不同摄像机视野的不同位置。认识到此，通过将每个被跟踪的人周围的图像特性与每个其他被跟踪的人周围的图像特性相匹配(说明视角中的不同)，跟踪处理器可将相同人的不同的出现相互关联。这允许在以下情况下的跟踪连续性:被跟踪的人完全从第一摄像机视野中离去并且进入到第二摄像机的视野。
[0032]相同的人在不同摄像机的不同位置中的出现可通过创建具有适当交叉参考的单独文件来适应。可替代地，可在单个文件内跟踪每个人，其中为每个摄像机的视野提供单独的位置坐标。
[0033]现在返回到规则的创建，图3提供图2的屏幕106的放大的、更详细的视图。如从图3中可注意到的，线112 (和规则)的创建也可使得规则处理器通过给出动作的指示114来确认规则的创建，所述动作是在检测到跨越线的人时采取的。在这种情况下，给出的指示是向创建该规则的监视操作者显示警告“当跨越时给出告诫警告”。
[0034]作为替代或者附加于创建用于生成警告的单个图形指示器，操作者可创建具有对闯入逐渐响应的图形指示器。在图3所示的示例中，图形指示器也可包括一对平行线112、116,每一个线引起如图3中指示器114、116所示的不同响应。
[0035]如图3所示，第一线112可引起响应“当跨越时给出告诫警告”给操作者。然而，第二线116可引起“警报，人员/访问者不允许超过该线”的第二响应，并且可以不仅警告操作者，还发送警报消息给中央监控台46。中央监控台可为私有安全或本地警力，其提供对于闯入的物理响应。
[0036]另外，操作者也可传递可听消息给操作者观察到正进入限制区域的人员/访问者。在这种情况下，操作者可激活用户接口上的麦克风并且通过摄像机视野中的扬声器通告消息以传递警告给该人员/访问者，该警告即:他/她正进入限制区域并立即返回到非限制区域。可替代地，操作者能够预先记录当人员/访问者跨越线时将自动地传递的警告消肩、O
[0037]一旦已经对于特定摄像机(和显示窗口 )创建规则，相应规则处理器从跟踪处理器中获取关于摄像机视野中的人的跟踪信息。在这种情况下，规则处理器将摄像机视野内的每个人的位置与定义图形指示器的点的轨迹进行比较，以便检测与线交互的人员。只要图形指示器与人员的位置之间存在的一致(例如，参见图4)，就通过规则处理器将合适的响应提供给人类操作者。响应可为在操作者屏幕上弹出，用于指示所涉及的摄像机。可替代地，规则处理器可放大相关联的窗口，以便包含如图4中所示的整个屏幕，从而清楚地示出跨越图形指示器的闯入者并且提供被违反的规则的指示器114、116。
[0038]在另一实施例中，系统允许客户端侧机器和监视操作者出于任何原因对所关注的人员加标签。在上面示例中，监视操作者可通过接收(如上面讨论的)警告来检测从维护子区域移动跨越线112、116而到机场的安全区域中的维护工人。在这种情况下，操作者可能希望对维护工人加标签，使得当工人进入到其他摄像机视野时，其他操作者也可以跟踪该工人。可替代地，操作者可观察携带可疑对象(例如，不寻常的手提箱)到机场的访问者。
[0039]在这种情形下，操作者可能希望跟踪可疑人员/对象，并且可能想要通知/警告其他操作者。在这种情况下，系统允许操作者在视频上快速地画出/写出合适信息，使得该合适信息对于看见该人员/对象的全部其他操作者可用。
[0040]在这种情况下，对对象/人员加标签基于系统识别出现在视频上的对象的能力(服务器侧分析算法)并且能够跟踪在各种摄像机中的那些对象。在这种情况下，检测可基于以下假设:对象最初由人携带并且基于与该人的最初关联是可单独检测(和可跟踪)的。在这种情况下，如果人员将该对象放在行李传送带上，则该对象可基于其移动和其与被跟踪的人的原始关联被单独跟踪。
[0041]例如，在机场的监视操作者可注意到携带可疑手提箱的人员。当操作者看着该人员/手提箱时，操作者能够将描述指示器附着于手提箱。操作者能够通过以下方式来完成此:首先在手提箱周围画出圆圈并且然后在邻近对象或对象上的屏幕上写出描述项。系统然后能够将对象位置映射到其他摄像机视图中。这然后允许消息对于在不同角度观看相同对象的其他操作者是可见的。
[0042]作为更特定的示例，图5A和图5B描绘两个不同监视操作者的用户接口(显示器)上的显示。在此方面，图5A示出机场的到达区域，并且图5B示出离港区域。在此方面应注意的是在图5A的第一摄像机的视野和图5B的第二摄像机的视野之间存在显著的重叠46。
[0043]为了对对象/人员加标签，操作者在其显示器上激活加标签图标以激活加标签处理器。接着，操作者在对象/人员周围画出圆圈并且在圆圈上或邻近圆圈处写出描述指示器,如图6A所示。
[0044]可替代地，操作者将光标设置在对象/人员上并且激活与光标相关联的鼠标上的开关。然后操作者可在描述指示器中打字。
[0045]加标签处理器接收描述指示器和标签的位置，并且将标签的位置与被跟踪的对象/人员的位置相关联。在此方面应注意标签的坐标是在其中首先执行加标签的视野的坐标。
[0046]加标签处理器也发送加标签消息给服务器的跟踪处理器。作为响应，跟踪处理器可将加标签指示器添加到被跟踪的人员/对象的各自文件42、44。跟踪处理器也可将来自其中首先对人员/对象加标签的视野的已加标签人员/对象的位置与其他摄像机视野中的位置进行相关或以其他方式映射。
[0047]另外，跟踪处理器发送加标签指令给每个操作者控制台，来识别与标签相关联的描述指示器和人员/对象的被跟踪的位置。跟踪处理器可发送单独的一组坐标，其适应每个摄像机的视野。作为响应，每个相应操作者控制台的相应加标签处理器在操作者控制台上在每个摄像机视野中的已加标签人员/对象上施加圆圈和描述指示器，如图6B所示。
[0048]相似地，第一控制台的操作者可以在其他摄像机的其他视野中对用于跟踪的人员加标签。在这种情况下，对人员加标签与如上文所讨论的跟踪对象基本上同样地发生。通过系统保持标签并且标签出现在操作者控制台上显示的各窗口中的每个监视操作者的显示器上。
[0049]作为另一示例，假设监视操作者正在监控限制区域的接待区域(例如，建筑的大厅)并且可能希望在每个访问者进入安全区域(例如，建筑的休息区、校园等)之前对每个访问者加标签。在这种情况下，当访问者通过接待区域进入时对访问者加标签允许当访问者移动通过其余安全区域时并且当访问者经过其他摄像机的视野时，容易识别访问者。
[0050]例如，图7示出当访问者通过接待区域进入时由操作者附着的标签。图8示出被示出为附着到行进穿过另一个摄像机视野的访问者的标签。
[0051]一般而言，系统提供如下步骤:示出保护监视系统的安全区域的摄像机的视野，在显示器内设置图形指示器用于检测摄像机的视野内的事件，基于视野内的与所接收的图形指示器交互的移动对象来检测事件，接收由监视操作者通过用户接口在显示器上邻近移动对象而输入的描述指示器，以及通过另一个摄像机的视野跟踪移动对象，并且在另一个监视操作者的显示器上显示在另一个摄像机的视野内邻近移动对象的描述指示器。
[0052]在另一实施例中，系统包括:监视系统的事件处理器，其基于监视系统的安全区域内人员或对象的移动来检测监视系统的摄像机的视野内的事件；监视系统的接收描述指示器的处理器，所述描述指示器是由监视操作者通过显示器的用户接口在显示器上邻近移动对象而输入的；以及监视系统的处理器，其通过另一个摄像机的视野跟踪移动对象，并且在另一个监视操作者的显示器上显示在另一个摄像机的视野内邻近移动对象的描述指示器。
[0053]系统还可包括监视系统的检测用户接口的操作者的处理器，该操作者在显示器内设置图形指示器用于在第一摄像机的视野内的事件的检测。系统还可包括基于移动人员或对象与所设置的图形指示器的交互来检测事件的处理器。
[0054]根据前述内容，将观察到多种变型和修改可实现而不偏离其精神和范围。应理解的是，并不意图或应推断出针对这里所说明的特定设备的任何限制。当然，意图由所附权利要求涵盖如落入权利要求的范围内的所有这样的修改。
【权利要求】
1.一种方法，包括: 监视系统的用户接口示出保护监视系统的安全区域的摄像机的视野，所述视野是用户接口的显示器示出的； 监视系统检测用户接口的操作者，所述操作者在显示器内设置图形指示器用于摄像机的视野内的事件的检测； 监视系统基于视野内与所接收的图形指示器交互的移动对象来检测事件； 监视系统接收由监视操作者通过用户接口在显示器上邻近移动对象而输入的描述指示器；以及 监视系统通过另一个摄像机的视野跟踪移动对象，并且在另一个监视操作者的显示器上显示在另一个摄像机的视野内邻近移动对象的描述指示器。
2.如权利要求1所述的方法，其中图形指示器进一步包括在安全区域的两个物理位置之间由操作者画出的线。
3.如权利要求1所述的方法，其中图形指示器进一步包括围绕安全区域的子区域由操作者画出的矩形。
4.如权利要求1所述的方法，进一步包括监视操作者在交互式屏幕上画出图形指示器。
5.如权利要求1所述的方法，其中描述指示器进一步包括词“访问者”。
6.如权利要求1所述的方法，进一步包括监视操作者检测在安全区域的子区域内的可疑活动并且围绕子区域画出矩形作为图形指示器。
7.如权利要求6所述的方法，其中描述指示器进一步包括在子区域内所检测的可疑活动的类型。
8.如权利要求1所述的方法，其中图形指示器进一步包括一对平行线，其将安全区域内的可疑活动的子区域与非可疑活动的子区域进行分离。
9.如权利要求8所述的方法，进一步包括一旦检测到移动对象跨越所述一对平行线的第一线，就生成警告给监视操作者。
10.如权利要求8所述的方法，进一步包括一旦检测到事件，操作者就传递可听警告消息给可疑活动的子区域或者处理器就自动地传递预先记录的可听警告消息。
11.如权利要求9所述的方法，进一步包括一旦检测到移动对象跨越所述一对平行线的第二线，就生成警报。
12.—种设备,包括: 监视系统的事件处理器，其基于监视系统的安全区域内人员或对象的移动来检测监视系统的摄像机的视野内的事件； 监视系统的接收描述指示器的处理器，所述描述指示器是由监视操作者通过显示器的用户接口在显示器上邻近移动对象而输入的；以及 监视系统的处理器，其通过另一个摄像机的视野跟踪移动对象，并且在另一个监视操作者的显示器上显示在另一个摄像机的视野内邻近移动对象的描述指示器。
13.如权利要求12所述的设备，进一步包括监视系统的检测用户接口的操作者的处理器，所述操作者在显示器内设置图形指示器用于在第一摄像机的视野内的事件的检测。
14.如权利要求13所述的设备，进一步包括基于移动人员或对象与所设置的图形指示器的交互来检测事件的处理器。
15.如权利要求12所述的设备，进一步包括耦合到摄像机的视野内的扬声器的麦克风，所述麦克风允许操作者基于检测到的事件来传递警告可听消息给闯入者。
16.如权利要求13所述的设备，其中图形指示器进一步包括在安全区域的两个物理位置之间由操作者画出的线。
17.如权利要求12所述的设备，其中描述指示器进一步包括词“访问者”或指示子区域内所检测的可疑活动的类型的另一个词。
18.如权利要求12所述的设备，其中图形指示器进一步包括一对平行线，其将安全区域内的可疑活动的子区域与非可疑活动的子区域进行分离。
19.如权利要求18所述的设备，进一步包括处理器，其一旦检测到移动对象跨越所述一对平行线的第一线就生成警告给监视操作者，以及一旦检测到移动对象跨越所述一对平行线的第二线就生成警报。
20.—种设备,包括: 监视系统的用户接口，其示出保护监视系统的安全区域的摄像机的视野，所述视野是用户接口的显示器示出的； 监视系统的检测用户接口的操作者的处理器，所述操作者在显示器内设置图形指示器用于第一摄像机的视野内的事件的检测； 监视系统的基于视野内与所接收的图形指示器交互的移动对象来检测事件的处理器； 监视系统的接收描述指示器的处理器，所述描述指示器是由监视操作者通过用户接口在显示器上邻近移动对象而输入的；以及 监视系统的处理器，其通过另一个摄像机的视野跟踪移动对象，并且在另一个监视操作者的显示器上显示在另一个摄像机的视野内邻近移动对象的描述指示器。
【文档编号】G06T7/00GK104243907SQ201410363115
【公开日】2014年12月24日 申请日期:2014年6月10日 优先权日:2013年6月11日
【发明者】M·拉马林加穆尔蒂, R·M·苏拜亚 申请人:霍尼韦尔国际公司