智能视频摘要系统和方法与流程

本申请是于2014年6月9日提交的第14/299,939号美国申请的继续申请并要求享有该美国申请的优先权。通过引用将上述申请的全部内容并入本文。

背景技术：

某些类型的视频记录(例如，与安全系统相关联的监督记录)记载长时间段内的环境。这样的视频记录可以仅包括非常少的相关事件。找出并呈现那些相关事件可能是冗长乏味的过程。

现有的视频监督系统在向审查者指示感兴趣的可操作的视频方面的工作做得不好。审查者能够例如按照日期和时间或者针对与运动或警报事件有关的视频进行搜索，但是审查者必须一次一个搜索结果地回放视频。这是耗时的处理，因此，审查者不可能进行审查，除非他们已经知道存在需要审查的问题。

虽然一些分析工具目标在于更有效地过滤扫描结果，但是用户仍然被迫一次回放一个视频。

技术实现要素：

所描述的实施例根据一个或多个实时视频记录自动地创建提供来自实时记录的显著事件的概要的短视频。

以下示例展示所描述的实施例的优点。假设某个零售公司包括10个商店，每个具有8个监督相机。还假设来自这些80个相机的所有视频均存储在云视频存储系统上，产生在任何给定日期中的1920个小时(10个商店乘以8个相机乘以24小时)的视频。负责所有10个商店的管区经理想要从这些监督视频获得有用的信息，但是从1920个小时的视频中进行拣选(即使是带有看看哪的一些想法)是使人畏缩的任务。

所描述的实施例可以从一个或多个实时监督视频记录自动地创建向管区经理提供相关信息的短视频剪辑(例如10分钟，在本文中也被称为集锦)。在某些产业中，诸如快餐店、常规商店或者与加油站相关联的食品店的零售连锁，存在管区经理正在寻求的内容的重复模式。所描述的实施例可以提取并概括这些问题以创建菜单项的界面。使用该菜单界面，管区经理能够指定其在给定时间段内(例如，一天内、一星期内或者一个月内)感兴趣看到的某些类型的事件。所描述的实施例可以应用各种智能视频提取工具以基于管区经理的兴趣来创建集锦。

在一方面中，所描述的实施例是一种概述视频记录中的事件的方法。该方法包括评估至少一个视频记录以标识违反至少一个规则的事件。该方法还包括摘录所述至少一个视频记录的片段，所述片段包含所述事件的描述。该方法还包括使所述片段包括在概要视频记录中。

在一个实施例中，一个或多个规则的至少一个涉及在至少一个所接收的视频记录中所记录的物理空间中的运动的阈值量。在另一个实施例中，一个或多个规则的至少一个涉及在至少一个所接收的视频记录中所记录的物理空间中的运动的阈值持续时间。在一个实施例中，一个或多个规则的至少一个涉及在至少一个所接收的视频记录中所记录的物理空间中的特定色彩的存在。在另一个实施例中，一个或多个规则的至少一个涉及在至少一个所接收的视频记录中所记录的物理空间中的项目的数量。在又一个实施例中，一个或多个规则的至少一个涉及在至少一个所接收的视频记录中所记录的物理空间中的项目的大小。在另一个实施例中，一个或多个规则还包括一个或多个规则例外。

在一个实施例中，概要视频中的至少一个片段以实时之外的帧速率呈现。另一个实施例包括将第一视频的片段限制到特定时间段。

一个实施例包括：在启动所述评估之后添加附加规则，并且用一个或多个规则以及所述附加规则继续所述评估。在另一个实施例中，至少一个所接收的视频记录包括来自两个或多个物理位置的视频馈送。

在另一方面中，所描述的实施例是一种概述视频记录中的事件的系统。该系统包括存储器设备，用于存储至少一个视频记录。该系统包括基于微处理器的工作站，被配置为评估至少一个视频记录以标识违反至少一个规则的事件。该基于微处理器的工作站还被配置为摘录所述至少一个视频记录的片段，所述片段包含所述事件。该基于微处理器的工作站还被配置为使所述片段包括在概要视频记录中。

在另一方面中，所描述的实施例是一种有形的非瞬时性的计算机可读介质，用于存储概述视频记录中的事件的计算机可执行的指令，其中，所述计算机可执行的指令用于：评估至少一个视频记录以标识违反至少一个规则的事件；摘录所述至少一个视频记录的片段，所述片段包含所述事件的描述；以及使所述片段包括在概要视频记录中。

附图说明

根据本发明的在附图中所例示的示例性实施例的下面的更具体的描述，前述内容将是显而易见的，附图中相同的标号在不同的视图中指代相同的部件。附图未必是等比例的，而是在例示本发明的实施例时加以强调。

图1例示根据所描述的实施例的用户界面的示例。

图2例示图1的用户界面的另一版本。

图3例示图1的用户界面的另一版本。

图4例示图1的用户界面的另一版本。

图5示出根据所描述的实施例的概要视频记录的概览呈现。

图6示出根据所描述的实施例的仪表板的示例。

具体实施方式

本发明的示例性实施例的描述如下。

所描述的实施例提供概要视频记录(在本文中也被称为视频摘要或视频集锦)，该概要视频记录包括从一般长得多的视频记录或多个视频记录中摘录(诸如一个或多个实时监督视频记录)的一个或多个视频片段(亦即短视频场景)。该概要视频记录还基于由用户所提供的标准(在本文中也被称为规则)，用户即被分派从视频记录中提取有用的信息的人。在本文中将详细地描述具体的规则，但是可以包括例如：

(a)该视频概要是固定持续时间还是可变持续时间？

(b)如果是固定持续时间，则视频概要持续时间是什么？

(c)应当监视哪些位置？

(d)在具体位置内的哪些区域应当被监视？

(e)什么事件在被检测到的情况下应当触发摘录片段到概要视频？

(f)应当在哪存储源视频记录？

(g)应当在哪存储概要视频？

一个实施例可以使用运动作为触发摘录片段到概要视频的事件。实施例可以使用一定量的运动(例如，跨越某个区域的运动或者超出一定速率的运动)或者缺少运动来触发摘录片段。其他实施例可以使用其他事件以触发摘录片段，诸如检测到色彩或者缺少色彩或者项目的大小或数量。

所描述的实施例可以向用户提供通过用户界而来设置这样的标准的能力，用户界面的示例在图1中示出。用户界面可以通过在现有技术中已知的各种处理平台中的任何一种上执行的软件来实现。例如，软件可以在台式机、膝上型或笔记本计算机上、在智能电话上或者在平板上或者其他这样的手持处理设备上实现该用户界面。

用户设置的标准可以本地存储在实现该用户界面的处理设备上，或者可以将它们经过网络推送到远程位置(例如基于云的储存器)。实时视频记录还可以经过网络传递到并存储在远程位置处。因此，针对标准的实时视频记录的评估可以从能够访问该远程位置的任何地方执行。

在图1中所示出的特定示例图示新的概要视频记录的创建。用户界面100包括用于启动新的概要视频记录的选择图标102。在该情况下的选择图标是图形按钮，但是其他实施例可以使用在本领域中已知的其他图形选择工具。用户界面100还包括允许用户输入新的概要视频记录的名称的名称区段104。该名称区段104还可以显示被打开以便在用户界面100上编辑的先前创建的概要视频记录的名称。

用户界面100还包括用于选择要包括在概要视频记录中的活动类型的一组单选按钮106。虽然针对该示例示出单选按钮，但是还可以使用其他图形选择工具。在图1中所示出的示例呈现三种不同的活动类型。一个选择是“任何活动”，其实质上对活动类型不做限制。另一种选择允许用户对要包括在概要视频记录中的活动的持续时间进行限制。另一种选择允许用户对要包括在概要记录中的缺少活动的持续时间进行限制。

用户界面100还包括用于选择具体位置(在该示例中为商店)或者全局的“所有位置”选择的选择工具108；用于选择所选取的位置处的特定视图的选择工具110；用于选择评估日期的选择工具112和选择评估时间的选择工具114；用于选择从更长的视频记录中摘录并放置在概要视频记录上的视频片段的回放速度的选择工具。用户界面100包括允许用户保存所选择的规则的选择工具118或者删除现有的规则集的选择工具120。

图2例示用户所选择的一组具体的规则。在该示例中，用户选择了“所有商店”208以及“办公室”视图210，其包含跨越用户(例如管区经理)的权限内的所有商店的可能的活动。所选择的时间范围是从11:00am到1:00pm午餐轮班，并且所选择的活动的类型是持续超过30秒的任何活动。该组具体的规则对于快餐连锁管区经理是有用的，该快餐连锁管区经理关注于当本地经理应当在场上处理午餐时间高峰时本地经理在办公室中花费大量的时间(例如30秒以上)。通过该示例性实施例，在午餐时间期间出现的在任何所监视的办公室中所检测到的任何运动触发描述要从监督视频记录中摘录并放置到概要视频记录中的运动的视频片段。

图3例示在图2中所例示的类似的规则场景，除了选择了特定的商店308之外。在该示例中，仅在商店1、商店2、商店6或商店8中出现的所指定的活动将触发描述要从监督视频记录中摘录并放置到概要视频记录中的运动的视频片段。

图4例示可以由若干管区经理使用的用户界面，使得某些管区409内的某些商店408可以由每个具体的管区经理选择。

一个所描述的实施例可以在生成概要视频记录之后呈现概要视频概览。在图5中示出示例性的概览。在该示例中，提供“不常见的活动”分组502，其图示可能已经基于用户选择的规则所生成的结果。每组结果用有多少视频片段在具体类别中的指示504来标记。例如，图5示出找到7个片段违反与午餐高峰有关的规则集。该示例还提供“随机”分组506，其呈现从监督视频记录中随机选择的一组视频片段。该示例还提供概要表格508，其提供针对该概览所呈现的片段的列表和描述。

所描述的实施例还向用户提供仪表板呈现，该仪表板呈现提供概要视频记录的高级别视图。图6例示根据所描述的实施例的仪表板的示例。第一指示602提供针对问题“每个商店均按时开放”的具有“是”的绿点，其指示用户被授权监视的每个商店均按时开放。日历控件604允许用户针对仪表板结果选择具体的日期。提供视频查看器606以示出与某些仪表板项目相关联的视频片段。在该示例中，示出Modesto商店的视频。该视频查看器包括允许用户将该片段传送给其他用户的“共享剪辑”(亦即共享视频片段)功能608。“在上下文中查看剪辑”工具601允许用户查看该所选择的商店中的该特定相机上的日期和时间的单个相机视图。这些是示例性仪表板的一部分，替代地，或者在所示出的基础上，可以使用其他特征。

在一些实施例中，概要视频记录可以是由用户选择的固定持续时间。使用固定持续时间的概要视频记录，概要视频的每个视频片段的持续时间将根据视频片段的总数量而改变。在一些实施例中，片段仍然实时地显示而提供很少的实时信息。在其他实施例中，片段被“加速”使得更多的实时信息被压缩在一定量的时间内。

显然，在本文中所描述的一个或多个实施例可以以很多形式的软件和硬件来实现。用于实现在本文中所描述的实施例的软件代码和/或专用硬件不是对本发明的限制。因此，在未参考特定软件代码和/或专用硬件的情况下描述了实施例的操作和行为，应当理解到，基于在本文中的描述，能够设计出用以实现实施例的软件和/或硬件。

另外，本发明的某些实施例可以实现为执行一个或多个功能的逻辑。该逻辑可以是基于硬件的、基于软件的或者基于硬件和基于软件的结合。所述逻辑中的一些或全部可以存储在一个或多个有形的计算机可读的存储介质上，并且可以包括可以由控制器或处理器执行的计算机可执行的指令。所述计算机可执行的指令可以包括实现本发明的一个或多个实施例的指令。该有形的计算机可读取的存储介质可以是易失性的或者非易性的，并且可以包括例如闪速存储器、动态存储器、可移动盘和不可移动盘。虽然参照本发明的示例性实施例而具体地示出和描述了本发明，但是本领域技术人员将理解到可以对其在形式和细节上做出各种变化而不脱离由所附权利要求所涵盖的本发明的范围。