云视频服务中的智能视图选择的制作方法
【专利摘要】基于云的网络服务提供了在多个位置和环境中对监视相机视图的智能访问。云计算服务器维护通过连接到网络的相机所捕获的视图的数据库。根据表征通过每个相机所获得的视图的标签，该数据库通过一个或多个类进行索引。响应于用户搜索串，该串根据类和其它指示符被有力地解释，以搜索数据库和确定对视图的选择。该服务器使得对视图的选择被传输到用户接口，在那里用户可以通过所选择的视图来远程监控环境。
【专利说明】
云视频服务中的智能视图选择
【背景技术】
[0001]监视相机一般用于监控室内位置和室外位置。监视相机的网络可以用于监控给定的区域(例如零售机构的内部部分和外部部分)。监视相机网络内的相机典型地不知道它们在系统内的位置或系统中的其它相机的存在性和位置。因此，监控相机所产生的视频馈送的用户(例如零售商店管理者)必需手动地分析并且处理视频馈送，以在所监控的区域内跟踪并且定位对象。传统相机网络操作为闭路系统，其中，连网的安全相机针对单个地理区域提供视频馈送，并且用户观测视频馈送而且从位于同一地理区域处的固定位置用户终端操作网络。
[0002]在其它实现方式中，监视相机的网络可以延伸遍及多个远程位置，并且通过广域网(例如互联网)得以连接。该网络用于监控距彼此远程的若干区域。例如，相机的网络可以用于提供公共管理下的多个零售机构的视频馈送。
【发明内容】
[0003]本发明的示例实施例提供一种管理视频监视系统的方法。多个项存储到数据库，其中，每个项与多个相机中的一个对应。此外，每个项包括相机标识符和至少一个标签。通过一个或多个类索引所述数据库，并且所述项中的每一个基于其标签而与所述类中的一个或多个关联。然后基于用户输入串和所述类而搜索所述数据库，以确定所述项的选择。作为搜索的结果，使得视频内容被发送到用户接口，其中，所述视频内容与对应于所述项的选择的所述多个相机中的至少一个对应。所述相机可以连接到网络的区别节点，并且所述视频内容可以穿过所述网络被路由到所述用户接口。
[0004]在其它实施例中，所述多个项可以基于各个标签的语义等同物而与所述类关联。可以响应于用户操作(例如，访问相机，浏览视频内容，以及选择至少一个相机)而自动地更新标签。更新可以包括例如:自动地将标签加入到所述项，所述标签与用户输入对应。
[0005]在又其它实施例中，可以基于相机标识符或规则集合而自动地更新所述标签。例如，可以加入标签，以指示各个相机所获得的视图。也可以修改标签，以匹配语义上等同的标签。
[0006]在又其它实施例中，可以在所述数据库搜索中生成并且采用等同于所述用户输入串的语义。所述类可以包括指示关联相机的特性的多个类(例如相机所获得的视图或相机的地理位置)。相机基于其标签可以与所述类中的一个或多个关联。为了容纳相机的附加组织，可以响应于所述标签而自动地生成类。
[0007]本发明其它实施例提供一种用于管理视频监视系统的系统，所述系统包括数据库、数据库控制器以及网络服务器。所述数据库存储多个项，每个项与各个相机对应。每个项可以包括相机标识符以及一个或多个标签。数据库控制器操作为通过一个或多个类索引数据库，所述项中的每一个基于标签而与所述类中的一个或多个关联。所述数据库控制器还基于用户输入串和所述类而搜索数据库，以确定项的选择。所述网络服务器使得视频内容逼发送到用户接口，所述视频内容与关联于项的选择的所述相机对应。
[0008]本发明其它实施例提供一种管理视频监视系统的方法。定义与来自多个相机中的至少一个的所记录的视频内容对应的运动数据。将多个项存储到数据库，其中，每个项包括指示各个兴趣时间段的开始时间和停止时间的时间数据。从所记录的视频内容生成至少一个视频分段。每个视频分段具有基于所述运动数据和所述项中的至少一个的时间数据的时间边界。所述视频分段可以然后被发送到用户接口，以用于回放。
[0009]在又其它实施例中，可以通过基于云的服务器来执行所述定义、存储、生成以及使得，并且相机可以连接到与基于云的视频服务器进行通信的网络的区别节点。可以在所述用户接口处使得能够基于所述节点选择所述至少一个视频分段。为了形成所述视频分段，可以组合来自多个不同相机的所记录的视频。所述项可以包括指示各个兴趣时间段、运动数据以及时间边界的一个或多个标签。
[0010]在又其它实施例中，在生成所述视频分段中，甚至当视频内容的选择处于项所定义的开始时间和停止时间内时，如果该选择展现小于运动数据所指示的运动的阈值，则可以排除所述视频内容的选择。类似地，当所述视频内容的选择具有大于所述运动数据所指示的运动的阈值时，可以包括其选择。
【附图说明】
[0011]从附图所示的本发明的示例实施例的以下更具体的描述，前述方面将是清楚的，其中，相同标号贯穿不同附图指代相同部分。附图并不一定按比例，反而着重示出本发明的实施例。
[0012]图1是可以实现本发明实施例的零售场景和网络的简化说明。
[0013]图2是可以实现本发明实施例的网络的框图。
[0014]图3是一个实施例中的云计算服务器的框图。
[0015]图4是示出一个实施例中的示例数据库项的框图。
[0016]图5是示例实施例中的基于云的监控服务所提供的用户接口的说明。
[0017]图6是一个实施例中的管理视频监视网络的视图的方法的流程图。
[0018]图7是一个实施例中的管理视频监视网络的所记录的视频变动(videoshift)(BP兴趣时间段)的方法的流程图。
[0019]图8是可以实现本发明实施例的计算机系统的框图。
【具体实施方式】
[0020]本发明的示例实施例的描述如下。所有专利、公开的申请以及在此引证的引用的教导通过其完整引用合并到此。
[0021]典型监视相机网络采用连接到受限到待监控的区域的固定本地网络的多个相机。该网络面临多种限制。例如，网络不提供视频的移动性;视频内容和关联数据仅可用在典型地在物理上位于部署相机的同一地点内的本地控制室中的现场用户接口处。此外，相机网络操作为孤立系统，并且未被配置为接收或利用视频内容或其它与本地相机网络外部的实体对应的信息。在相机网络内，用户接口也不可以能够关于与多个相机关联的信息执行分析;反之，接口仅可以使得相机网络的操作者能够手动地检查并且分析与多个相机关联的数据。
[0022]为了增加视频监视网络的移动性和多样性并且至少缓解上述缺点，可以使用多层级结构来设计视频监视网络，以促进基于云的分析和管理服务，以用于增强的功能和移动性。基于云的服务指代网络服务提供商经由云计算提供的并且从网络服务提供商访问的计算服务。提供基于云的服务的多层级网络描述于美国专利申请N0.13/335,591中，其全部通过引用合并到此。
[0023]这种多层级监视网络可以实现为同时监控公共管理下的若干不同的环境(例如多个零售机构)。管理者可以能够从单个接口同时访问并且监控来自所有这些机构的场景。然而，一次监控若干环境可能对管理者和监视网络都提出附加挑战。例如，如果单个管理者负责在很多地理上分布的位置处监控操作，则他/她关于监控每个商店的注意力和有效性可能实质上是有限的。此外，管理者的接口处的带宽可能是有限的，阻碍对所有视频内容的立即访问。鉴于这些限制，有益的是，以在快速并且容易地访问最有关并且值得注意的即刻视频内容和所记录的视频内容方面协助管理者的智能方式来组织、搜索并且呈现监视网络的视频内容。
[0024]本发明的示例实施例通过提供一种用于管理视频监视系统的智能的基于云的服务来解决上述限制。在一个实施例中，云计算服务器提供多种服务，以用于智能地处理遍及网络来自若干相机的视频内容并且将有选择的所组织的视频内容提供给连接云的用户接
□ O
[0025]图1是可以实现本发明实施例的零售场景100和网络101的简化说明。零售场景100示出消费者可以进行商务的典型零售环境。零售机构典型地受管理者监视，管理者负责商店的连日操作，包括其雇员的动作。具有入口 109的零售场景100还包括收银柜台区域111。收银柜台区域111可以座落在雇员108旁。雇员108可以在收银柜台区域111处与消费者107a-n交互。零售场景100还包括典型产品放置区域110和112，其中，消费者107a-n可以浏览产品并且选择用于购买的产品。
[0026]场景100还包括相机102a_n，其可以包括固定相机、摇摄-倾斜-变焦(PTZ)相机或任何另外对于监控场景内的兴趣区域适当的相机。场景100可以包括对于监控包括零售机构内部和外部的区域的兴趣场景的区域必要的任何数量的相机102a-n。相机102a-n具有各个视场104a-n。这些相机102a_n可以定向为这样的:各个视场104a_n处于向下向前的定向上，从而相机102a-n可以捕获消费者107a-n和雇员108的头部和肩部区域。相机102a-n可以按足以允许相机捕获每个各个兴趣区域的视频内容的角度而定位。相机中的每一个可以还包括处理器103a-n，其可以被配置为提供多种功能。具体地说，相机处理器103a-n可以对视频执行图像处理(例如运动检测)，并且可以操作为网络节点，以与网络101的其它节点进行通信，如以下进一步详细地描述的那样。在其它实施例中，相机102a-n可以被配置为:提供人检测，如美国专利申请N0.13/839,410中所描述的那样，其全部通过引用合并到此。
[0027]相机102a_n可以经由互连部105(或替代地，经由无线通信)连接到局域网(LAN)32，局域网32可以包括零售机构的所有节点。可以使用本领域公知的各种技术(例如以太网缆线连接)实现互连部105。此外，虽然相机102a-n示出为经由互连部105互连，但本发明实施例提供并非彼此互连的相机102a-n。在本发明其它实施例中，相机102a-n可以是经由无线网络与度量服务器106进行通信的无线相机。
[0028]网关52可以是将LAN32的相机102a_n链接到包括云计算服务器62和管理者用户接口(UI)64的网络101的其它节点的网络节点(例如路由器或服务器)。相机102a-n收集可以包括视频内容、元数据和命令的相机数据113a-n，并且将其发送到网关52，网关52进而穿过互联网34将相机数据113a-n路由到云计算服务器62。用户(例如零售机构的管理者)可以于是访问管理者UI 64，以有选择地访问相机数据，以监控零售场景100处的操作。因为管理者UI 64经由连接到互联网34的基于云的服务访问相机数据113a-n，所以管理者可以因此从对互联网34可访问的任何位置监控零售场景处的操作。
[0029]然而，在其它实施例中，零售场景100可以仅是管理者所负责的若干机构(未示出)中的一个。管理者可以能够从管理者UI 64同时访问并且监控所有这些零售场景。以下参照图2描述囊括多个不同的受监控的环境的本发明另一实施例。
[0030]图2示出用于视频监视系统管理的基于云的网络系统200的示例。系统的第一层级40包括具有嵌入式视频分析能力的边沿设备(edge device)(例如路由器20和相机102a-n)。系统的第一层级40通过一个或多个LAN 32连接到系统的第二层级50。第二层级50包括可以如以上参照图1所描述的那样操作的一个或多个网关设备52。系统的第二层级50经由互联网34连接到系统的第三层级60，其包括经由云计算服务器62和/或其它实体所提供的云计算服务。此外，可以如以上参照图1所描述的那样配置的用户接口64可以经由LAN 32和/或互联网34访问与系统200关联的信息。具体地说，用户接口 64可以连接到云计算62，云计算62可以如下所述提供监控服务和管理服务。用户接口 64可以包括例如计算机工作站或移动计算设备(例如智能电话或平板计算机)，并且提供视觉接口和功能模块，以使得操作者能够以智能并且有组织的方式查询、处理并且浏览与系统关联的数据。由于系统200是基于云的并且经由互联网34而操作，因此用户接口 64可以从具有互联网访问的任何位置连接到系统200，并且因此可以位于任何合适的位置中，而且无需与关联于系统的任何特定边沿设备或网关协同定位。
[0031]系统200可以被配置为:监控距彼此远程的多个独立环境。例如，LAN 32每个可以均位于落入公共管理之下的不同零售机构或其它机构(例如消费者商务的若干专卖店)处，并且因此待受公共管理者或管理者群组监控。管理者可以能够从管理者UI 64同时访问并且监控来自所有这些机构的场景。然而，一次监控若干环境可能对管理者和系统200都提出附加挑战。例如，如果单个管理者负责在很多地理上分布的位置处监控操作，则他/她关于监控每个商店的注意力和有效性可能实质上是有限的。此外，管理者接口 64处的带宽可能是有限的，阻碍对所有视频内容的立即访问。带宽限制可能源于必需频繁访问移动视频的管理者在行进的同时使用移动网络的限制，或可能源于与其它商业服务共享带宽。附加的挑战也出现在用户接口处。例如，管理者可能并不拥有关于高效地访问若干商店的视频内容的技术专长。关于访问很多不同相机的选项使得管理者难以组织并且回顾每个相机所提供的视图。在用户接口处组织相机视图可能是困难的，导致遍布不同视图的错误和不一致性。
[0032]对于前述挑战的先前解决方案包括:限制带宽使用情况并且修改操作以增加保留时间。为了限制带宽，可以禁用或限制移动访问，访问可以受限为一次一个商店，有效用户的数量和可访问的相机的数量可以受限达给定的时间，并且视频内容的质量可以降级。为了增加服务的保留时间，所有视频内容可以推送到云，视频内容的图像质量或帧率可以减少，并且视频的记录可以受控为仅在检测到运动时产生。这些解决方案典型地导致欠优化的监控服务，并且也仍无法充分地解决监控若干不同环境的基于云的服务中出现的以上所描述的所有挑战。
[0033]本发明的示例实施例通过提供一种用于管理视频监视系统的智能的基于云的服务来解决上述限制。在一个实施例中，再次参照图2，云计算服务器62提供多种服务，以用于智能地处理穿过网络200来自若干相机102a-n的视频内容并且将有选择的所组织的视频内容提供给连接云的用户接口 64。云计算服务器62与相机102a-n进行通信，以收集相机数据113，并且可以发送控制信号114，以操作相机102a-n(例如PTZ相机的移动以及启用/禁用记录)。类似地，云计算服务器62与用户接口进行通信，以提供直播视频流和预先记录的视频内容118，并且响应于UI控制信号119以确定待呈现的视频内容而且在服务器62处更新数据库。以下参照图3-图7进一步详细描述云计算服务器的操作。
[0034]在其它实施例中，网络系统200可以被配置为:执行附加操作，并且对用户提供附加服务(例如附加视频分析和有关通知)。这些特征的示例进一步详细地描述于美国专利申请N0.13/335,591中，其全部通过引用合并到此。例如，相机102a-n可以被配置为:操作视频分析处理，其可以用作场景分析器以检测并且跟踪场景中的对象，并且生成用于描述对象及其事件的元数据。场景分析器可以操作为基于背景减除的处理，并且可以通过色彩、场景中的位置、时间戳、速度、大小、移动方向等描述对象。场景分析器也可以触发预定义的元数据事件(例如区带或姅网(tr ipwire)违例、计数、相机破坏、对象合并、对象划分、静止对象、对象徘徊等)。对象元数据和事件元数据连同边沿设备所生成的任何其它元数据一起可以发送到网关52，网关52可以存储并且处理元数据，然后将处理后的元数据转发到云计算服务器62。替代地，网关可以将元数据直接转发到云计算服务器62，而无需初始处理。
[0035]在如上所述实现元数据生成的实施例中，网关52可以被配置作为本地网络中的存储和处理设备，以存储视频内容和元数据内容。网关52可以整体地或部分地实现为网络视频记录器或独立服务器。如上所述，从边沿设备生成的元数据可以提供给它们的对应网关52。进而，网关52可以将从相机102a-n捕获的视频上传到云计算服务器62，以用于存储、显示以及搜索。因为相机102a-n所捕获的视频的体量可能明显很大，所以其可能关于用于上传与相机102a-n关联的所有视频内容的成本和带宽是惊人地昂贵的。因此，可以利用网关52以减少发送到云计算服务器62的视频量。作为元数据过滤和其它操作的结果，从网关52发送到云计算服务器62的信息量可以显著减少(例如，减少到如果系统连续地发送所有信息则将发送到云计算服务器62的信息的百分之几)。除了成本节约和带宽节约之外，这种减少还改进系统的可分级性，使得公共平台能够经由云计算服务器62从单个计算系统64遍及很多地理区域监控并且分析监视网络。
[0036]边沿设备所提供的元数据在网关52处受处理，以消除噪声并且减少重复的对象。从边沿设备获得的视频内容的关键帧也可以基于元数据时间戳和/或与视频关联的其它信息而得以提取，并且存储为静止图片，以用于后处理。所记录的视频和静止图片可以进一步受分析，以在网关52上使用增强式视频分析算法提取未从边沿设备获得的信息。例如，可以在网关52处执行算法(例如面部检测/识别以及号码牌识别)，以基于来自关联相机102a-n的运动检测结果而提取信息。增强式场景分析器也可以运行在网关52处，其可以用于处理高清晰度视频内容，以提取较好的对象特征。
[0037]通过过滤有噪声的元数据，网关52可以减少上传到云计算服务器62的数据量。反之，如果网关52处的场景分析器并未得以正确地配置，则很多噪声可能将检测为对象并且作为元数据被发送。例如，枝叶、旗帜以及一些阴影和眩光可能在边沿设备处生成错误的对象，并且这些边沿设备在传统上难以实时检测而且消除这些种类的噪声。然而，网关52可以在本地监视网络中遍及所有相机102a-n和/或其它边沿设备利用时间信息和空间信息，以通过较小的难度来过滤这些噪声对象。可以基于各种准则在对象级实现噪声过滤。例如，如果对象在其显现之后迅速消失，如果其改变移动方向、大小和/或移动速度，如果其突然显现并且然后站立得静止等，则其可以分类为噪声。如果两个相机具有重叠的区域并且它们(例如经由公共映射)彼此配准，则若在一个相机上的位置的周围区域处无法发现另一相机上所标识的对象，那么其也可以被标识为噪声。也可以使用其它准则。如上所执行的噪声元数据的检测可以基于预定义的阈值;例如，如果对象在距其出现的阈值时间量内消失，或如果其展现出大于对方向、大小和/或速度的阈值改变，则其可以被分类为噪声。
[0038]通过如上所述将对象分类为噪声，网关52能够在边沿设备所提供的多数错误运动信息发送到云之前将其过滤掉。例如，系统可以在网关52处经由透视变换在映射上配准相机102a-n，并且场景的特征点可以与映射上的对应点配准。该方法使得系统能够运作为交叉相机监视监控系统。由于可能在相机102a-n重叠的区域中从多个相机102a-n检测到对象，因此可以使用该信息以从元数据对象消除噪声。
[0039]作为另一示例，网关52可以利用边沿设备所监控的场景中的各对象之间的时间关系，以促进对象检测方面的一致性并且减少假阳性。再次参照观测停车场的相机的示例，边沿设备可以生成与行走通过停车场的人对应的元数据。如果人的全身在相机处是可见的，则相机生成与人的高度对应的元数据。然而，如果随后人在停车场中的各排车辆之间行走，从而他的下身从相机看是模糊的，则相机将生成与人的仅可见部分的高度对应的新的元数据。由于网关52可以智能地分析相机所观测的对象，因此即使对象的各个部分变为模糊的，网关52也可以利用所观测的对象之间的时间关系以及关于持久性和特征连续性预先建立的规则，来跟踪对象。
[0040]在如上所述过滤有噪声的元数据对象并且执行增强式视频分析之后，网关52将其余元数据对象和关联视频内容上传到云计算服务。作为网关52处的处理的结果，仅与元数据关联的视频片段将上传到云。这样可以显著减少待发送的数据量(例如，达90%或更多)。网关52所处理的原始视频和元数据也可以在本地存储在网关52处作为备份。替代或外加内容或元数据自身，网关52也可以将视频内容和/或元数据的表示发送到云服务。例如，为了进一步减少从网关52发送到云的与所跟踪的对象对应的信息量，网关52可以发送对象的坐标或映射表示(例如与映射对应的动画或另外标记)替代实际视频内容和/或元数据。
[0041]可以通过较低分辨率和/或帧率来对上传到云计算服务器62的视频进行译码，以关于大相机网络减少互联网34上的视频带宽。例如，网关52可以将以视频压缩标准所编码的高清晰度视频转换为低带宽视频格式，以减少上传到云的数据量。
[0042]通过利用云计算服务，与系统关联的用户可以经由任何合适的固定或便携式计算设备64处所提供的用户接口随时随地观看并且搜索与系统关联的视频。用户接口可以是基于web的(例如，经由HTML 5、Flash、Java等实现的)并且经由web浏览器实现的，或替代地，用户接口可以提供为一个或多个计算平台上的专用应用。计算设备64可以是台式计算机或膝上型计算机、平板计算机、智能电话、个人数字助理(PDA)和/或任何另外合适的设备。
[0043]此外，使用云计算服务将增强的可分级性提供给系统。例如，可以利用系统以整合与例如公司实体的不同物理分支对应的监视系统的广大网络。系统使得单个计算设备64处的用户能够从任何关联位置观看并且搜索正上传到云服务的视频。此外，如果系统操作者期望在长时间段上搜索大量相机，则云服务可以与加速搜索并行地对计算机集群执行搜索。云计算服务器62也可以可操作为提供广泛范围的服务(例如高效地取证搜索服务、操作视频服务、实时检测服务、相机网络服务等)。
[0044]图3是一个实施例中的云计算服务器62的框图，并且可以包括如以上参照图1和图2所描述的特征。云计算服务器62是以简化形式示出的，以传达本发明实施例，并且可以包括本领域所知的附加组件。云计算服务器包括网络服务器340，其可以被配置为:如上所述穿过互联网34与相机、网关、用户接口和其它云网络组件进行通信。网络服务器340也可以操作基于云的软件服务，以用于访问与连接到云网络的环境有关的视频内容和其它信息。可以例如穿过互联网34通过用户接口访问该软件服务。
[0045]云计算服务器62还包括数据库控制器320、项数据库350和视频数据库360。网络服务器340与数据库控制器320进行通信，以转发用于视频数据库360处的存储的视频内容，并且(例如，响应于来自用户接口的命令)访问而且修改视频数据库360处的所存储的视频内容。在一些实例中，网络服务器340也可以与数据库控制器350进行通信，以修改项数据库350的项。数据库控制器320通常管理视频数据库360处所存储的内容，视频数据库360可以存储从监视相机上传的原始视频内容或处理后的视频内容以及伴随元数据。
[0046]数据库控制器320还管理项数据库350处所存储的项。项数据库350可以存储保存多个项的一个或多个表，其可以由数据库控制器320和网络服务器340利用以组织视频内容并且确定视频内容的选择，以提供给用户接口。
[0047]项数据库的项可以采取多种不同形式，以促进基于云的服务内的不同功能。例如，项的子集可以定义相机所获得的各个“视图”，使得相机能够在用户接口被组织并且高效地被访问。项的另一子集可以定义可以用于进一步组织并且表征视图的各个“类”。此外，项的另一子集可以定义用于管理者的“变动”或兴趣时间段，并且可以用于定义用于在用户接口处的回放的所记录的视频。以下参照图4进一步详细描述示例项。
[0048]图4是示出包括视图项420、变动项430和类项440的一个实施例中的示例数据库项的框图。视图项420可以定义并且描述给定的相机所获得的视图。网络中的每个监视相机可以具有对应视图项。每个视图项可以包括以下项:相机ID 422保存用于各个相机的唯一标识符，并且可以被编码以指示相机或相机所属群组(例如特定零售商店或另外环境)的地理位置。可以利用标签424A-C以指示关于各个相机的各种信息(例如相机所获得的视图(例如销售点、前门、后门、储藏室)、相机的地理位置或相机所占据的特定环境(例如给定的零售机构))。标签424A-C也可以保存用户定义的指示符(例如书签或频繁访问的或“偏好的”状态)。类426A-B指示视图所属的一个或多个类。类426A-B可以与类项440的类ID对应，如下所述。视图项420也可以包含用于指示与视图有关的告警的规则428或指令，如下所述。
[0049]类项440可以定义并且描述视图的类，其可以用于进一步表征并且组织相机视图。每个类项可以包括以下项:类ID 442保存用于各个类的唯一标识符，其也可以包括用于用户接口处的显示和选择的标记或描述符。相机ID 444保存与类关联的一个或多个视图的相机ID。类项440的相机ID 444和视图项420的类426A-B可以提供将视图与类进行关联的相同用途，并且因此，实施例可以仅采用相机ID 444和类426A-B中的一个。类规则446可以定义视图被加入到类的多个条件。例如，类规则446可以参照针对(可选地包括标签的语义等同物的)每个视图项的标签匹配的多个标签，以确定每个项应包括于类中还是排除于类外。每个类可以定义任何项群组，以促进用户接口处的视图的组织和选择。例如，类可以对给定的商店的视图、地理位置或相机所获得的视图的“类型”(例如销售点、前门、后门、储藏室)进行分组。类可以在每个类中所包括的视图中重叠，并且每个视图可以属于若干类。
[0050]变动项430定义“变动”，其为用于管理者的兴趣时间段，并且可以用于定义用于用户接口处的回放的所记录的视频内容。变动也可以组织于类内，在此情况下，标识符或标签可以加入到各个变动项或类项。每个变动项可以包括以下项:变动ID 432保存用于变动的唯一标识符，并且可以被编码为包括变动的描述。可以利用标签434A-C以指示关于各个变动的各种信息(例如关联相机所获得的视图(例如销售点、前门、后门、储藏室)、变动的时间段、关联视图的地理位置或相机所占据的特定环境(例如给定的零售机构))。标签434A-C也可以保存用户定义的指示符(例如书签或频繁访问的或“偏好的”状态)。相机ID 436保存与变动关联的一个或多个视图的相机ID。时间数据438定义变动的时间段，并且用于确定待关于变动检索的所记录的视频内容的开始时间和结束时间。然而，归因于运动数据或下述其它规则，用于呈现给用户的所记录的视频内容的最终时间边界可以距时间数据438偏离。变动规则439可以定义将通知发送到用户的多个条件或所记录的视频内容的时间边界可以距时间数据438偏离的条件。例如，对于具有时间数据438所定义的开始时间和停止时间的给定的所记录的视频，变动规则439可以指示为排除相机未检测到运动的所记录的视频的一些部分或所有部分。反之，当相机检测到开始时间和停止时间之外的运动时，变动规则可以指示为包括开始时间和停止时间(例如所设置的时间限制内)的外部的附加视频内容。关于通知，变动规则439可以指示为基于元数据或运动数据而将通知转发到用户接口。例如，给定的变动可能希望在给定的时间段期间不从关联相机检测运动。如果检测到运动，则变动规则439可以指示为提出通知，以用于由管理者浏览。
[0051]图5是示例实施例中的基于云的监控服务所提供的用户接口的显示(即屏幕捕获)500的说明。视图500可以示出例如以上参照图1-图4所描述的用户接口64的显示。显示500包括搜索窗口 530、快速访问窗口 540以及视图窗口 550。在普通使用期间，用户在搜索窗口530和/或快速访问窗口 540处录入输入，并且用户接口响应于用户的输入而显示对应视图552、553以及对应状态556、557。搜索窗口 530包括输入框532，其中，用户可以键入搜索串。用户可以输入作为自然语言的搜索串，或可以输入标识用户希望访问的视图的关键字。云计算服务器可以接收输入串，其中，其得以鲁棒地解释，以检索视图和/或变动的选择。具体地说，输入串可以连同其语义等同物一起与视图中的标签和其它标识指示符、变动项和类项进行比较，并且与匹配项对应的视图可以显示在视图窗口550中。在通过语义等同物进行搜索的示例中，“收银柜台”的搜索串可以使得服务器关于匹配“收银柜台”的术语以及具有所定义的等同于该术语的语义的术语(例如“销售点”或“P0S”)搜索项。为了促进选择，结果框534可以列出匹配搜索串或其语义等同物的多个标签、类或其它描述符。
[0052]快速访问窗口540可以包含可以被选择为立即显示直播视频内容或所记录的视频内容的关联选择的多个用户定义的和/或自动地选择的按钮。按钮可以与给定的标签或类(例如“收银柜台”、“前门”、“商店#3”)或给定的变动(例如“商店开放”、“午餐休息”、“商店打烊”)关联，或可以是用户定义的具有关联标签的子集(例如“偏好”、“频繁访问”)。
[0053]视图窗口 550响应于用户的输入而显示对应视图(或变动)552、553以及对应状态556、557。状态556、557可以显示关于各个视图或变动的各种信息，包括视图的描述(例如“商店#7:收银柜台”，“商店#4:后门”)、视图的类型(例如“即刻视图”、“打烊变动”)以及与视图关联的任何告警或通知(例如“告警:P0S未占据”、“告警:雇员早退”)。可以例如从关于(云计算服务器、网关或相机可以生成的)视图的运动数据得到这些告警。当将视图或变动呈现给用户时，云计算服务器可以执行各个视图项、变动项或类项中所包含的规则，以确定是否转发告警或另外通知，以用于状态556、557处的显示。
[0054]图6是一个实施例中的管理视频监视网络的视图的方法600的流程图。参照以上参照图2-图5所描述的系统200和云计算服务器62来描述所述方法。建立用于视图选择的数据库的一种方法如下。相机102A-N操作为连续地、周期性地或响应于来自网关52或网络服务器439的命令而捕获视频内容(605)。视频内容可以包括元数据(例如相机标识符以及关于相机的其它信息)，并且发送到网络服务器340，网络服务器340接收并且处理视频和元数据(610)。视频内容可以完全或部分地存储在数据库360处(615)，并且网络服务器340可以进一步处理元数据，以得到包括相机标识符和关于相机所捕获的视图的信息的视图数据(620)。替代地，可以在每相机的基础上手动地录入一些或所有视图数据。使用该视图数据，网络服务器340可以将与视图对应的项存储到项数据库350(625)。项可以可与以上参照图4所描述的视图项420比较，并且处理(620、625)可以重复，直到每个相机与项数据库350处所存储的视图项关联。此外，通过一个或多个类索引项，其中的每一个可以具有可与以上参照图4所描述的项440比较的类项(640)。如类项所指示的那样，视图可以基于所列出的标签(及其语义等同物)以及其它视图信息而加入到类。类项可以是预先定义的；替代地，网络服务器340可以被配置为:基于从相机102A-N或网关52接收到的数据而生成类项。例如，如果网络服务器340检测到具有不匹配类项中所列出的标签的公共标签或相似标签的若干视图项，则网络服务器可以于是将类加入到项数据库350，以对具有给定的标签的所有项进行分组。
[0055]—旦视图项的数据库得以建立并且按类索引，用户就可以通过在用户接口 64处输入搜索串来访问一个或多个视图(650)。网络服务器340接收搜索串并且通过针对每个类项的类规则匹配串来搜索数据库350(655)。网络服务器340可以根据自然语言处理来执行解释串的立即操作，以从搜索串及其语义等同物得到关键字，由此使用这些结果来执行搜索。项数据库350返回匹配视图(即项的选择)(660)，网络服务器340据此标识一个或多个对应相机(例如相机102A)。网络服务器340然后使得来自对应相机的视频内容发送到用户接口64(665)，用户接口64显示视频内容(680)。作为网络服务器建立适当流水线的结果，视频内容可以经由网关52直接从相机102A-N发送到用户接口 64。替代地，网络服务器340可以被配置为:有选择地从相机102A-N收集视频内容，并且穿过互联网34将直播视频内容流送到用户接口 64。
[0056]图7是一个实施例中的管理视频监视网络的所记录的视频变动的方法700的流程图。参照以上参照图2-图5所描述的系统200和云计算服务器62来描述所述方法。可以结合以上参照图6所描述的管理视图的处理600来执行方法700。建立所记录的视频变动的数据库的一种方法如下。相机102A-N操作为连续地、周期性地或响应于来自网关52或网络服务器439的命令而捕获视频内容(705)。视频内容可以包括元数据(例如相机标识符以及关于相机的其它信息)，并且发送到网络服务器340，网络服务器340接收并且处理视频和元数据(710)。视频内容可以整体或部分地存储在数据库360处(715)，并且可以基于项数据库350处所存储的变动项而确定存储视频的哪些部分。此外，数据库控制器320可以根据用户输入来更新变动项，包括存储新的变动项(725)。变动项可以可与以上参照图4所描述的变动项430比较。网络服务器340可以进一步处理来自视频内容的元数据，以得到运动数据(720)。在替选实施例中，可以通过一个或多个类索引变动项，其中的每一个可以具有可与以上参照图4所描述的项440比较的类项。如类项所指示的那样，变动可以基于所列出的标签(及其语义等同物)以及其它视图信息而加入到类。类项可以是预先定义的；替代地，网络服务器340可以被配置为:基于从相机102A-N或网关52接收到的数据而生成类项。
[0057]一旦变动项的数据库被更新并且关联的所记录的视频存储在视频数据库360处，用户就可以通过输入变动视图请求来访问一个或多个变动(730)。可以通过用户(经由“快速访问”按钮)选择变动或通过在用户接口 64处输入搜索串来形成请求。网络服务器340接收请求，并且检索匹配变动项中所指示的时间信息和相机信息的来自视频数据库的视频记录。使用来自变动项的时间数据以及运动数据，网络服务器340生成用于所请求的变动的视频分段(750)。具体地说，网络服务器可以生成用于具有从变动规则和/或运动数据确定的带有距变动项的时间数据的偏离的时间边界的视频分段。例如，对于具有时间数据所定义的开始时间和停止时间的给定的所记录的视频，变动项的变动规则可以指示为排除相机未检测到运动的所记录的视频的一些部分或所有部分。反之，当相机检测到开始时间和停止时间之外的运动时，变动规则可以指示为包括开始时间和停止时间(例如所设置的时间限制内)的外部的附加视频内容。
[0058]一旦产生用于变动的视频分段，网络服务器340于是就使得视频分段发送到用户接口 64(760)，用户接口 64显示视频分段(680)。
[0059]图8是可以实施本发明实施例的计算机系统800的高级框图。系统800包含总线810。总线810是系统800的各个组件之间的连接。连接到总线810的是输入/输出设备接口830，用于将各种输入设备和输出设备(例如键盘、鼠标、显示器、扬声器等)连接到系统800。中央处理单元(CPU)820连接到总线810，并且提供计算机指令的执行。存储器840对于用于执行计算机指令的数据提供易失性存储。盘存储850对于软件指令(例如操作系统(OS))提供非易失性存储。
[0060]应理解，可以通过很多不同的方式实现以上所描述的示例实施例。在一些实例中，可以通过物理计算机、虚拟计算机或混合通用计算机(例如计算机系统800)分别实现在此所描述的各种方法和机器。计算机系统800可以例如通过将软件指令加载到存储器840或非易失性存储850以用于由CPU820执行而变换为执行上述方法的机器。具体地说，系统800可以实现以上各个实施例中所描述的云计算服务器。
[0061 ]可以通过硬件、固件或软件的形式实现实施例或其方面。如果实现于软件中，则软件可以存储在被配置为使得处理器能够加载软件或其指令的子集的任何非瞬时计算机可读介质上。处理器于是执行指令，并且被配置为操作或使得装置以在此所描述的方式操作。
[0062]虽然已经参照本发明的示例实施例具体示出并且描述了本公开，但本领域技术人员应理解，在不脱离所附权利要求所囊括的本发明的范围的情况下，可以在其中进行形式和细节方面的各种改变。
【主权项】
1.一种管理视频监视系统的方法，其包括: 将多个项存储到数据库中，每个项对应于多个相机中的一个，每个项包括相机标识符和至少一个标签； 通过至少一个类对所述数据库进行索引，多个项中的每一个基于所述至少一个标签与所述至少一个类相关联； 基于用户输入串和所述至少一个类搜索所述数据库，以确定对所述项的选择；以及 使得视频内容被传输到用户接口，所述视频内容对应于与所述项的选择相对应的所述多个相机中的至少一个。2.根据权利要求1所述的方法，其中至少所述多个相机的子集连接到网络的区别节点，并且还包括跨越所述网络将所述视频内容路由到所述用户接口。3.根据权利要求1所述的方法，其中对所述数据库进行索引包括基于所述至少一个标签的语义等同物，将所述多个项中的至少一个与所述至少一个类相关联。4.根据权利要求1所述的方法，还包括响应于用户操作，自动更新所述多个项中的所述至少一个标签。5.根据权利要求4所述的方法，其中自动更新所述标签包括向所述多个项中的至少一个自动添加标签，所述标签对应于用户输入。6.根据权利要求4所述的方法，其中所述用户操作包括以下内容中的至少一个:访问相机，观看视频内容，以及选择至少一个相机。7.根据权利要求1所述的方法，还包括基于一组规则和所述相机标识符中的至少一个，自动更新所述多个项中的所述至少一个标签。8.根据权利要求7所述的方法，其中更新所述至少一个标签包括向所述多个项中的至少一个添加标签，所述标签指示通过各相机所获得的视图。9.根据权利要求7所述的方法，其中更新所述至少一个标签包括将所述至少一个标签修改为语义等同物标签。10.根据权利要求1所述的方法，还包括对所述用户输入串的至少一部分产生至少一个语义等同物，并且其中搜索所述数据库是基于所述至少一个语义等同物。11.根据权利要求1所述的方法，其中所述至少一个标签指示通过多个相机中的一个所获得的视图。12.根据权利要求1所述的方法，其中所述至少一个类至少包括第一类和第二类，所述第一类指示通过相机所获得的视图，所述第二类指示相机的地理位置。13.根据权利要求1所述的方法，还包括基于所述至少一个标签产生所述至少一个类。14.一种用于管理视频监视系统的系统，其包括: 存储多个项的数据库，每个项对应于多个相机中的一个，每个项包括相机标识符和至少一个标签； 数据库控制器，其被配置为I)通过至少一个类对所述数据库进行索引，多个项中的每一个基于所述至少一个标签与所述至少一个类相关联，并且2)基于用户输入串和所述至少一个类搜索所述数据库，以确定对所述项的选择;以及 网络服务器，其被配置为使得视频内容被传输到用户接口，所述视频内容对应于与所述项的选择相对应的所述多个相机中的至少一个。15.根据权利要求14所述的系统，其中至少所述多个相机的子集连接到网络的区别节点，还包括至少一个被配置为跨越所述网络将所述视频内容路由到所述用户接口的网关。16.根据权利要求14所述的系统，其中所述数据库控制器还被配置为基于所述至少一个标签的语义等同物，将所述多个项中的至少一个与所述至少一个类相关联。17.根据权利要求14所述的系统，其中所述数据库控制器还被配置为响应于用户操作，自动更新所述多个项中的所述至少一个标签。18.根据权利要求17所述的系统，其中更新所述标签包括向所述多个项中的至少一个自动添加标签，所述标签对应于用户输入。19.根据权利要求17所述的系统，其中所述用户操作包括以下内容中的至少一个:访问相机，观看视频内容，以及选择至少一个相机。20.根据权利要求14所述的系统，其中所述数据库控制器还被配置为基于一组规则和所述相机标识符中的至少一个，自动更新所述多个项中的所述至少一个标签。21.根据权利要求20所述的系统，其中更新所述至少一个标签包括向所述多个项中的至少一个添加标签，所述标签指示通过各相机所获得的视图。22.根据权利要求20所述的系统，其中更新所述至少一个标签包括将所述至少一个标签修改为语义等同物标签。23.根据权利要求14所述的系统，其中所述数据库控制器还被配置为对所述用户输入串的至少一部分产生至少一个语义等同物，并且其中搜索所述数据库是基于所述至少一个语义等同物。24.根据权利要求14所述的系统，其中所述至少一个标签指示通过多个相机中的一个所获得的视图。25.根据权利要求14所述的系统，其中所述至少一个类至少包括第一类和第二类，所述第一类指示通过相机所获得的视图，所述第二类指示相机的地理位置。26.根据权利要求14所述的系统，其中所述数据库控制器还被配置为基于所述至少一个标签产生所述至少一个类。27.—种包括指令的非暂时性计算机可读介质，当所述指令由计算机执行时，所述指令使得计算机: 将多个项存储到数据库中，每个项对应于多个相机中的一个，每个项包括相机标识符和至少一个标签； 通过至少一个类对所述数据库进行索引，多个项中的每一个基于所述至少一个标签与所述至少一个类相关联； 基于用户输入串和所述至少一个类搜索所述数据库，以确定对所述项的选择；以及 使得视频内容被传输到用户接口，所述视频内容对应于与所述项的选择相对应的所述多个相机中的至少一个。
【文档编号】H04N7/18GK106031165SQ201380082042
【公开日】2016年10月12日
【申请日】2013年12月23日
【发明人】F.阿格达西, T.T.迪克罗斯, S.M.里皮, B.维拉斯克斯, E.安德森三世, G.M.米勒, K.A.梅德赫斯特, S.J.米切尔
【申请人】派尔高公司