用于视频分析的基于云的主动调试系统的制作方法

文档序号:16050464发布日期:2018-11-24 11:14阅读:132来源:国知局

本文中公开的主题一般涉及计算机视觉、视频处理和云计算,并且更具体地,涉及基于云的视频分析。

通常,对于视频分析算法,具有计算机视觉专业知识的工程师或技术人员需要花费很长时间来配置系统,以通过手动尝试不同的参数集来获得最佳性能。这是一项非常耗时的任务,并且也需要受过高等教育的操作员。两者都会增加系统设置成本和维护成本,尤其是在应用场景或环境发生变化时。

因此,期望提供一种方法和系统,其可以通过使用例如某种形式的云计算来帮助减轻与本地视频分析相关联的一些成本。



技术实现要素:

根据一个实施方案,提供了一种用于视频监控的视频分析(va)的主动调试系统的方法。该方法包括使用视频捕获装置捕获视频序列,在va处理器处接收来自云资源的参数集,其中该参数集用于视频分析,使用va处理器通过选择视频序列的子部分作为事件来处理视频序列,其中基于va处理器使用的参数集检测事件,使用来自va处理器的事件生成可视化报告并将可视化报告提供给操作员,由操作员在可视化报告中的事件上标记是/否,基于标记来生成事件的注释,以及将注释和事件传送到云资源以进行处理,其中云资源处理注释和事件,并基于该处理来提供参数集。

除了上述一个或多个特征之外,或作为替代,该方法的其他实施方案包括接收在云资源的视频数据库中的注释和事件,用云资源的穷举va处理器来处理带有注释的事件,基于来自穷举va处理器的带有注释的已穷举处理的事件来生成可行的参数集,用云资源的低级特征提取器来处理没有注释的视频片段并生成视频序列的低级特征描述符,使用特征参数映射模型基于低级特征描述符来生成可能的参数集,基于可行的参数集和可能的参数集来选择参数集,以及将该参数集从云资源传送到va处理器。

除了上述一个或多个特征之外,或作为替代,该方法的其他实施方案包括,其中基于来自穷举va处理器的带有注释的已穷举处理的事件来生成可行的参数集包括选择能够检测事件为带注释的所有参数集,避免提供事件的错误检测的参数集,以及将来自视频序列的带有注释的所有事件的所有选择的参数集进行组合。

除了上述一个或多个特征之外,或作为替代,该方法的其他实施方案包括,其中视频序列的子部分包括未编辑视频片段、未编辑静止图像、已裁剪视频片段、已裁剪静止图像、已编辑视频片段和已编辑静止图像中的一个或多个。

除了上述一个或多个特征之外,或作为替代,该方法的其他实施方案包括,其中视频捕获装置是从由固定监控摄像机、移动监控摄像机、照相机、安装在移动装置上的摄像机、安装在机动车上的摄像机以及安装在无人驾驶飞行器上的摄像机组成的组中选择的摄像机。

除了上述一个或多个特征之外,或作为替代,该方法的其他实施方案包括,其中参数集包括从由对象大小、对象形状、对象运动模式、对象加速度、对象速度、对象颜色、对象数量、对象之间的交互、对象在某些位置的时间值、对象在某些地点的时间值、一天中的时间、对象类型、视频背景学习更新率、视频背景学习初始学习时间、对象停止时间和对象闲逛时间组成的组中选择的一个或多个参数。

除了上述一个或多个特征之外,或作为替代,该方法的其他实施方案包括,其中事件包括检测或跟踪参数集中包括的一个或多个参数、一般对象检测、对象闲逛检测,以及对象遗留检测。

根据一个实施方案,提供了一种用于视频监控的视频分析(va)的主动调试系统。该主动调试系统包括客户端,该客户端包括具有计算机可读指令的客户存储器,以及被配置为执行计算机可读指令的一个或多个客户处理器。计算机可读指令包括使用视频捕获装置捕获视频序列,接收来自云资源的参数集,其中参数集用于视频分析,通过选择视频序列的子部分作为事件来处理视频序列,其中基于参数集检测事件,使用事件来生成可视化报告并向操作员提供可视化报告,由操作员在可视化报告中的事件上标记是/否,基于标记来生成事件的注释,以及将注释和事件传送到云资源以进行处理,其中云资源处理注释和事件,并基于该处理来提供参数集。

除了上述一个或多个特征之外,或作为替代,主动调试系统的其他实施方案包括云端,该云端包括云资源,该云资源包括具有计算机可读指令的云存储器,以及被配置为执行计算机可读指令的一个或多个云处理器。计算机可读指令包括接收在视频数据库中的注释和事件,用穷举va处理器来处理带有注释的事件,基于来自穷举va处理器的带有注释的已穷举处理的事件来生成可行的参数集,用低级特征提取器来处理没有注释的视频片段并生成视频序列的低级特征描述符,使用特征参数映射模型基于低级特征描述符来生成可能的参数集,基于可行的参数集和可能的参数集来选择参数集,以及将该参数集从云端传送到客户端。

除了上述一个或多个特征之外,或作为替代,主动调试系统的其他实施方案包括,其中基于来自穷举va处理器的带有注释的已穷举处理的事件来生成可行的参数集包括选择能够检测事件为带注释的所有参数集,避免提供事件的错误检测的参数集,以及将来自视频序列的带有注释的所有事件的所有选择的参数集进行组合。

除了上述一个或多个特征之外,或作为替代,主动调试系统的其他实施方案包括,其中视频序列的子部分包括未编辑视频片段、未编辑静止图像、已裁剪视频片段、已裁剪静止图像、已编辑视频片段和已编辑静止图像中的一个或多个。

除了上述一个或多个特征之外,或作为替代,主动调试系统的其他实施方案包括,其中视频捕获装置是从由固定监控摄像机、移动监控摄像机、照相机、安装在移动装置上的摄像机、安装在机动车上的摄像机以及安装在无人驾驶飞行器上的摄像机组成的组中选择的摄像机。

除了上述一个或多个特征之外,或作为替代,主动调试系统的其他实施方案包括,其中参数集包括从由对象大小、对象形状、对象运动模式、对象加速度、对象速度、对象颜色、对象数量、对象之间的交互、对象在某些位置的时间值、对象在某些地点的时间值、一天中的时间、对象类型、视频背景学习更新率、视频背景学习初始学习时间、对象停止时间和对象闲逛时间组成的组中选择的一个或多个参数。

除了上述一个或多个特征之外,或作为替代,主动调试系统的其他实施方案包括,其中事件包括检测或跟踪参数集中包括的一个或多个参数、一般对象检测、对象闲逛检测,以及对象遗留检测。

根据一个实施方案,提供了一种用于配置用于视频监控的视频分析(va)的主动调试系统的计算机程序产品。该计算机程序产品包括计算机可读存储介质,该计算机可读存储介质具有随其体现的程序指令。该程序指令可由一个或多个处理器执行以使处理器:使用视频捕获装置捕获视频序列,在va处理器处接收来自云资源的参数集,其中该参数集用于视频分析,使用va处理器通过选择视频序列的子部分作为事件来处理视频序列,其中基于va处理器使用的参数集检测事件,使用来自va处理器的事件生成可视化报告并将可视化报告提供给操作员,由操作员在可视化报告中的事件上标记是/否,基于标记来生成事件的注释,以及将注释和事件传送到云资源以进行处理,其中云资源处理注释和事件,并基于该处理来提供参数集。

除了上述一个或多个特征之外,或作为替代,计算机程序产品的其他实施方案包括具有随其体现的附加程序指令,该程序指令可由一个或多个处理器执行以使处理器:接收在云资源的视频数据库中的注释和事件,用云资源的穷举va处理器来处理带有注释的事件,基于来自穷举va处理器的带有注释的已穷举处理的事件来生成可行的参数集,用云资源的低级特征提取器来处理没有注释的视频片段并生成视频序列的低级特征描述符,使用特征参数映射模型基于低级特征描述符来生成可能的参数集,基于可行的参数集和可能的参数集来选择参数集,以及将该参数集从云资源传送到va处理器。

除了上述一个或多个特征之外,或作为替代,计算机程序产品的其他实施方案包括,其中基于来自穷举va处理器的带有注释的已穷举处理的事件来生成可行的参数集包括选择能够检测事件为带注释的所有参数集,避免提供事件的错误检测的参数集,以及将来自视频序列的带有注释的所有事件的所有选择的参数集进行组合。

除了上述一个或多个特征之外,或作为替代,计算机程序产品的其他实施方案包括,其中视频序列的子部分包括未编辑视频片段、未编辑静止图像、已裁剪视频片段、已裁剪静止图像、已编辑视频片段和已编辑静止图像中的一个或多个。

除了上述一个或多个特征之外,或作为替代,计算机程序产品的其他实施方案包括,其中视频捕获装置是从由固定监控摄像机、移动监控摄像机、照相机、安装在移动装置上的摄像机、安装在机动车上的摄像机以及安装在无人驾驶飞行器上的摄像机组成的组中选择的摄像机。

除了上述一个或多个特征之外,或作为替代,计算机程序产品的其他实施方案包括,其中参数集包括从由对象大小、对象形状、对象运动模式、对象加速度、对象速度、对象颜色、对象数量、对象之间的交互、对象在某些位置的时间值、对象在某些地点的时间值、一天中的时间、对象类型、视频背景学习更新率、视频背景学习初始学习时间、对象停止时间和对象闲逛时间组成的组中选择的一个或多个参数,并且其中事件包括检测或跟踪参数集中包括的一个或多个参数、一般对象检测、对象闲逛检测和对象遗留检测。

除非另外明确指出,否则前述特征和元件可以各种组合方式进行组合,而不具有排他性。根据以下描述和附图,这些特征和元件及其操作将变得更为明显。然而,应理解,以下描述和附图旨在本质上是说明性和解释性的而非限制性的。

附图说明

本公开的前述和其他特征以及优点根据结合附图进行的以下具体实施方式是明显的,在附图中:

图1描绘了根据一个或多个示例性实施方案的云计算环境;

图2描绘了根据一个或多个示例性实施方案的抽象模型层;

图3是示出根据一个或多个示例性实施方案的用于实践本文中教导的处理系统的一个示例的方框图;

图4示出了根据一个或多个示例性实施方案的用于视频分析的基于云的主动调试系统的方框图;

图5示出了根据一个或多个示例性实施方案的用于视频监控的视频分析(va)的主动调试系统的方法的流程图;以及

图6示出了根据一个或多个示例性实施方案的用于视频监控的视频分析(va)的主动调试系统的方法的附加操作的流程图。

具体实施方式

如本文中所示和所述,将呈现本公开的各种特征。各种实施方案可以具有相同或类似的特征,并且因此相同或类似的特征可以用相同的参考符号来标记,但具有不同的第一数字,所述第一数字指示示出该特征的图。因此,例如,图x中所示的元件“a”可以被标记为“xa”,而图z中的类似特征可以被标记为“za”。虽然类似的参考符号可以一般意义使用,但将描述各种实施方案,并且各种特征可包括如本领域技术人员应理解的变化、更改、修改等,无论是明确描述还是本领域技术人员原本应理解。

本文中描述的实施方案涉及计算机视觉、视频处理和云计算,并且教导了用于视频分析的基于云的主动调试系统。本文中公开的一个或多个示例性实施方案降低了用于视频监控的视频分析系统的设置成本。这在配置期间提供,使得操作员不需要任何特殊的计算机视觉知识,并且仅需要在视频分析算法报告的事件上交互地标记是/否。然后,可以从云中检索最佳参数以应用于本地客户端。

根据一个或多个实施方案,实现云计算参数调试系统可以提供诸如大存储、大计算能力和一群客户之类的优点。客户可以安全且私有地将带有基本事实的视频数据共享到云中,以创建有价值的大型数据库,该数据库可以随着时间的推移而构建和更新。从数据库中,可以在针对客户的特定请求实施相应的计算之后发现知识。

另外,一个或多个示例性实施方案采用云计算的“共享然后发现”特征,通过将计算机视觉的专业知识从操作员(最终用户)转移到云,以及通过基于共享视频/基本事实数据库来发现每个特定请求的参数集,简化视频分析系统的建立。

可以预先理解,尽管本公开包括关于云计算的详细描述,但是本文中所述的教导的实现方式不限于云计算环境。而是,实施方案能够结合现在已知或以后开发的任何其他类型的计算环境来实现。

云计算是一种服务交付模型,用于实现对可配置计算资源(例如,网络、网络带宽、服务器、处理、存储器、存储、应用程序、虚拟机和服务)共享池的方便、按需网络访问,这些计算资源可以通过最少的管理努力或与服务提供商的交互来快速供应和释放。该云模型可以包括至少五个特性,至少三个服务模型和至少四个部署模型。

特性如下:

按需自助服务:云消费者可以根据需要自动单方面提供计算功能,诸如服务器时间和网络存储,而无需与服务提供商进行人工交互。

广泛的网络访问:通过网络供应功能,并通过标准机制访问这些功能,这些标准机制促进异构瘦客户端或胖客户端平台(例如,移动电话、笔记本电脑和pda)使用这些功能。

资源池化:使提供商的计算资源池化,以使用多租户模型,为多个消费者提供服务,其中根据需求,动态分配和重新分配不同的物理和虚拟资源。存在位置独立感,因为消费者通常对提供的资源的确切位置没有控制或了解,但是可能能够指定在更高抽象级别(例如,国家、州或数据中心)的位置。

快速弹性:可以快速、弹性地供应功能(在某些情况下自动地)以快速向外扩展,并快速释放以快速向内扩展。对于消费者而言,可用于供应的功能通常似乎是无限的,并且可以随时购买任何数量。

测量的服务:云系统通过在适合服务类型(例如,存储、处理、带宽和活动用户账户)的某个抽象级别,利用计量功能,自动控制和优化资源使用。可以监视、控制和报告资源使用,从而为所使用的服务的提供商和消费者提供透明性。

服务模型如下:

软件即服务(saas):提供给消费者的功能是使用在云基础设施上运行的提供商的应用程序。可以通过诸如web浏览器(例如,基于web的电子邮件)之类的瘦客户端接口,从各种客户端装置访问应用程序。消费者不管理或控制底层云基础设施,包括网络、服务器、操作系统,存储或甚至单独的应用程序功能,可能的例外是有限的用户特定应用程序配置设置。

平台即服务(paas):提供给消费者的功能是将消费者创建或获取的应用程序部署到云基础设施上,这些应用程序是使用由提供商支持的编程语言和工具创建的。消费者不管理或控制底层云基础设施,包括网络、服务器、操作系统或存储,而是控制已部署的应用程序以及可能控制应用程序托管环境配置。

基础设施即服务(iaas):提供给消费者的功能是供应处理、存储、网络和其他基本计算资源,消费者能够在这些资源中部署和运行任意软件,包括操作系统和应用程序。消费者不管理或控制底层云基础设施,而是控制操作系统、存储、部署的应用程序,并且可能对选定的联网组件(例如,主机防火墙)有有限的控制。

部署模型如下:

私有云:云基础设施仅为某一组织运营。它可以由该组织或第三方管理,可以存在于本地或外部。

社区云:云基础设施由多个组织共享,并支持具有共同关注点(例如,任务、安全要求、策略和法规遵从性考虑)的特定社区。它可能由组织或第三方管理,并且可能存在于本地或外部。

公共云:云基础设施可供一般公众或大型行业组织使用,并由销售云服务的组织所有。

混合云:云基础设施由两个或多个云(私有云、社区云或公共云)组成,这些云仍然是独特的实体,但通过标准化或专有技术绑定在一起,从而实现数据和应用程序的可移植性(例如,用于云之间的负荷平衡的云爆发)。

云计算环境是面向服务的,侧重于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点网络的基础设施。

现在参考图1,描绘了说明性云计算环境50。如图所示,云计算环境50包括一个或多个云计算节点10,云消费者使用的本地计算装置,例如,个人数字助理(pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c,和/或汽车计算机系统54n可以与这些云计算节点10进行通信。节点10可以彼此进行通信。它们可以在一个或多个网络中物理地或虚拟地分组(未示出),诸如如上所述的私有云、社区云、公共云或混合云,或其组合。这允许云计算环境50提供基础设施、平台和/或软件作为服务,为此,云消费者不需要在本地计算装置上维护资源。应当理解,图1中示出的计算装置54a-n的类型仅旨在说明,计算节点10和云计算环境50可以通过任何类型的网络和/或网络可寻址连接(例如,使用web浏览器)与任何类型的计算机化装置进行通信。

现在参考图2,示出了由云计算环境50(图1)提供的一组功能抽象层。应该预先理解,图2中所示的组件、层和功能旨在仅是说明性的,并且实施方案不限于此。如图所示,提供了以下层和相应的功能:

硬件和软件层60包括硬件和软件组件。硬件组件的示例包括:大型机61;基于risc(精简指令集计算机)架构的服务器62;服务器63;刀片服务器64;存储装置65;以及网络和联网组件66。在一些实施方案中,软件组件包括网络应用程序服务器软件67和数据库软件68。

虚拟化层70提供抽象层,从该抽象层可以提供以下虚拟实体的示例:虚拟服务器71;虚拟存储装置72;虚拟网络73,包括虚拟私有网络;虚拟应用程序和操作系统74;以及虚拟客户端75。

在一个示例中,管理层80可以提供下面描述的功能。资源供应81提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价82在云计算环境内的资源被利用时提供成本跟踪,并为这些资源的消费开账单或发票。在一个示例中,这些资源可以包括应用程序软件许可证。安全性为云消费者和任务提供身份验证,以及保护数据和其他资源。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务水平管理84提供云计算资源分配和管理,以便满足所需的服务水平。服务水平协议(sla)规划和实现85提供云计算资源的预先安排和采购,根据sla,对于云计算资源的未来需求是可预期的。

工作负荷层90提供可以利用云计算环境的功能的示例。可以从该层提供的工作负荷和功能的示例包括:映射和导航91;软件开发和生命周期管理92;虚拟课堂教育传递93;数据分析处理94;交易处理95;以及跨多个通信系统的消息处理96。

根据本公开的示例性实施方案,提供了用于对跨多个通信系统的消息传递进行优先级排序的方法、系统和计算机程序产品。在示例性实施方案中,消息传递系统被配置为跨个人使用的多个通信系统接收个人的消息。消息传递系统还被配置为基于对消息的分析和个人的用户简档来确定与消息中的每个相关联的优先级。基于所确定的优先级和用户简档,消息传递系统经由期望的消息传递系统将消息传递到期望的通信装置。在示例性实施方案中,在接收到来自个人的反馈时,消息传递系统更新用户简档,其中反馈包括个人的消息传递偏好和消息优先级偏好。

参考图3,示出了用于实现本文中的教导的处理系统100的实施方案。在该实施方案中,系统100具有一个或多个中央处理单元(处理器)101a、101b、101c等(统称为处理器101)。在一个实施方案中,每个处理器101都可以包括精简指令集计算机(risc)微处理器。处理器101经由系统总线113耦合到系统存储器114和各种其他组件。只读存储器(rom)102耦合到系统总线113,并且可以包括控制系统100的某些基本功能的基本输入/输出系统(bios)。

图3还描绘了耦合到系统总线113的输入/输出(i/o)适配器107和网络适配器106。i/o适配器107可以是与硬盘103和/或磁带存储驱动器105或任何其他类似组件进行通信的小型计算机系统接口(scsi)适配器。i/o适配器107、硬盘103和磁带存储装置105在本文中统称为大容量存储装置104。用于在处理系统100上执行的操作系统120可以存储在大容量存储装置104中。网络适配器106将总线113与外部网络116互连,使得数据处理系统100能够与其他这样的系统进行通信。屏幕(例如,显示监视器)115通过显示适配器112连接到系统总线113,该显示适配器112可以包括图形适配器以提高图形密集型应用和视频控制器的性能。在一个实施方案中,适配器107、106和112可以连接到一个或多个i/o总线,这些i/o总线通过中间总线桥(未示出)连接到系统总线113。用于连接诸如硬盘控制器、网络适配器和图形适配器的外围装置的合适的i/o总线通常包括公共协议,诸如外围组件互连(pci)。附加输入/输出装置被示为经由用户接口适配器108和显示适配器112连接到系统总线113。键盘109、鼠标110和扬声器111都经由用户接口适配器108互连到总线113,该用户接口适配器108可以包括例如将多个装置适配器集成到单个集成电路中的超级i/o芯片。

在示例性实施方案中,处理系统100包括图形处理单元130。图形处理单元130是专用电子电路,其被设计为操纵和改变存储器,以加速用于输出到显示器的帧缓冲器中的图像的创建。通常,图形处理单元130在操纵计算机图形和图像处理方面非常有效,并且具有高度并行的结构,这使得它对于完成并行处理大数据块的算法比通用cpu更有效。

因此,如图3中配置的,系统100包括处理器101形式的处理能力、包括系统存储器114和大容量存储装置104的存储能力、诸如键盘109和鼠标110之类的输入装置以及包括扬声器111和显示器115的输出能力。在一个实施方案中,系统存储器114和大容量存储装置104的一部分共同存储操作系统,以协调图3所示的各种组件的功能。

现在转向图4,根据一个或多个实施方案,示出了用于视频分析的基于云的主动调试系统400的方框图。如图所示,系统在客户端和云端之间分开。客户端包括视频捕获装置401,其用于捕获视频序列作为输入视频。视频捕获装置401可以是固定监控摄像机、移动监控摄像机、照相机、安装在移动装置上的摄像机、安装在机动车上的摄像机,或安装在无人驾驶飞行器上的摄像机。视频捕获装置401朝向处理元件输出视频序列。

具体地,客户端还包括视频分析(va)处理器402,其对由视频捕获装置401捕获并提供的视频序列进行va处理。va处理器402通过选择视频序列的子部分来处理视频序列。这些子部分称为事件。视频序列的子部分(或事件)可以是例如未编辑视频片段、未编辑静止图像、已裁剪视频片段、已裁剪静止图像、已编辑视频片段或已编辑静止图像。va处理器402使用从云端从云资源接收到的参数集来执行该处理。因此,这消除了由客户端的元件选择和提供参数的需要,从而减轻了对客户端的处理要求。

然后,va处理器402提供组织成可视化报告403的检测到的事件。可视化报告403可以由客户端计算装置生成,该客户端计算装置可以包括va处理器402或位于va处理器402或操作员404附近的带有处理器的单独计算装置中的任何一个。然后,将可视化报告403提供给操作员404。操作员查看包含检测到的事件的可视化报告。

然后,操作员404用“是”或“否”主动/交互地标记405事件,分别指示检测到的事件是事件405.1,或者不是事件405.2。具体地,当根据操作员404,检测到的事件事实上是事件405.1时,操作员404用“是”标记检测到的事件。或者,当检测到的事件不是事件405.2时,操作员404可以用“否”标记检测到的事件。

另外,基于操作员404对检测到的事件的标记,将生成注释。具体地,将针对具有“是”标记的任何检测到的事件创建注释,根据操作员404,“是”指示检测到的事件事实上是事件405.1。

此外,生成的注释将被传送到整个系统的云端。另外,所有检测到的事件,特别是视频片段,也将与标记为事件的检测到的事件的相应注释一起被传送到整个系统的云端。

在云端,在视频数据库406中接收注释和视频片段(检测到的事件)。视频数据库存储事件及其相应的注释,并且还存储没有相应注释、由操作员标记为“否”的其他事件。换句话说,来自客户端的视频片段与注释一起将被存储在云数据库中。因此,随着来自客户端的任何新视频的添加,云数据库中的视频数量不断增加。

接下来,将带有注释的事件传送到穷举va处理器409,其对事件视频序列进行穷举va处理。例如,可以提供检测和跟踪对象大小、对象形状、对象运动模式、对象加速度、对象速度、对象颜色、对象数量、对象之间的交互、对象在某些位置的时间值、对象在某些地点的时间值、一天中的时间、对象类型、视频背景学习更新率、视频背景学习初始学习时间、对象停止时间和对象闲逛时间的处理。由此,生成在穷举处理期间确定的可行的参数集。可行的参数集是能够检测注释事件同时避免错误检测的参数集。

此外,没有注释的视频片段被传送到进行低级特征提取的低级特征提取器407。例如,在处理接收到以用于处理的没有注释的视频片段期间,提取诸如前景整体特征、纹理特征、特征点,运动流和颜色跟踪之类的特征。从该处理创建了低级特征描述符,该低级特征描述符包含诸如前景整体特征、纹理特征、特征点、运动流和颜色跟踪之类的特征的值。简单地说,根据一个实施方案,处理视频片段以获得特征。

将低级特征描述符提供给生成可能的参数集的特征参数映射模型408。生成的可能的参数集被传送到与穷举va处理器409生成的可行的参数集相同的目的地。

具体地,在主动选择器410处,接收基于已注释的事件生成的可行的参数集和基于低级特征描述符生成的可能的参数集两者,该主动选择器410主动选择提供给客户端的参数集。具体地,由主动选择器410选择的参数集被传送到客户端上的va处理器402,如上所述,va处理器402使用该参数集来处理收集的视频序列。根据一个实施方案,主动选择器410使用可能的参数集来大大减小可行的参数集的集大小,以得到传送给客户端的参数集。

图5示出了根据一个或多个示例性实施方案的用于视频监控的视频分析(va)的主动调试系统的方法500的流程图。该方法包括使用视频捕获装置捕获视频序列(操作505),并在va处理器处接收来自云资源的参数集,其中该参数集用于视频分析(操作510)。方法500还包括使用va处理器,通过选择视频序列的子部分作为事件来处理视频序列,其中基于va处理器使用的参数集来检测事件(操作515),以及使用来自va处理器的事件生成可视化报告并将可视化报告提供给操作员(操作520)。该方法还包括由操作员在可视化报告中的事件上标记是/否(操作525),基于标记来生成事件的注释(操作530),以及将注释和事件传送到云资源以进行处理,其中云资源处理注释和事件并基于该处理来提供参数集(操作535)。

根据一个或多个其他实施方案,视频序列的子部分是未编辑视频片段、未编辑静止图像、已裁剪视频片段、已裁剪静止图像、已编辑视频片段、已编辑静止图像或其组合。此外,根据一个或多个其他实施方案,视频捕获装置是固定监控摄像机、移动监控摄像机、照相机、安装在移动装置上的摄像机、安装在机动车上的摄像机、安装在无人驾驶飞行器上的摄像机或其组合。

根据其他实施方案,参数集包括对象大小、对象形状、对象运动模式、对象加速度、对象速度、对象颜色、对象数量、对象之间的交互、对象在某些位置的时间值、对象在某些地点的时间值、一天中的时间、对象类型、视频背景学习更新率、视频背景学习初始学习时间、对象停止时间、对象闲逛时间或其组合。此外,在一个或多个实施方案中,事件可以被定义为包括检测和/或跟踪参数集中包括的一个或多个参数、一般对象检测、对象闲逛检测和/或对象遗留检测。

图6示出了根据一个或多个示例性实施方案的用于视频监控的视频分析(va)的主动调试系统的方法的附加操作600的流程图。例如,根据一个实施方案,附加操作600可以发生在如图5所示通过‘b’连接的方法500的操作之后。

附加操作600包括接收在云资源的视频数据库中的注释和事件(操作605),用云资源的穷举va处理器来处理带有注释的事件(操作610),以及基于来自穷举va处理器的带有注释的已穷举处理的事件,生成可行的参数集(操作615)。附加操作600还包括用云资源的低级特征提取器来处理没有注释的视频片段并生成视频序列的低级特征描述符(操作620),以及使用特征参数映射模型基于低级特征描述符来生成可能的参数集(操作625)。最后,附加操作600包括基于可行的参数集和可能的参数集来选择参数集(操作630),并将该参数集从云资源传送到va处理器(操作635)。

根据另一实施方案,基于来自穷举va处理器的带有注释的已穷举处理的事件来生成可行的参数集可以包括进一步的子操作以完成可行的参数集的生成。具体地,包括选择能够检测事件为带注释的所有参数集,并避免提供事件的错误检测的参数集。此外,生成可行的参数集包括将来自视频序列的带有注释的所有事件的所有选择的参数集进行组合的操作。

根据另一实施方案,在客户端,视频分析算法(va)使用一个参数集来处理输入视频。此外,在特定实施方案中,检测到的事件将被可视化给操作员,该操作员将注释:“否”用于妨害或错误检测,而“是”用于真实事件检测。另外,错过的事件可以在视频序列中的相关位置处注释为“是”。此外,根据一个或多个实施方案,操作员不需要注释整个视频序列,仅需要部分注释。

此外,根据一个或多个实施方案,将已注释的视频片段和相应的注释发送到云端,并与注释一起存储在视频数据库中。在云端,新的视频片段将由视频分析算法(va)进行穷举处理,以获得能够检测已注释的事件的所有参数集,同时避免错误检测。组合属于相同视频序列的其他已处理的视频片段的结果,根据最佳当前知识,得到视频序列的“可行的参数集”。

此外,根据一个或多个实施方案,基本上同时,也在云端,将从视频片段中提取低级特征(例如,前景整体特征、纹理特征、特征点、运动流和颜色跟踪),以获得整个视频序列的描述符。基于特征参数映射模型(基于历史数据构建),生成视频序列的可能的参数集。这里,可能的参数集中的每个参数集都分配有一种可能性。

根据其他实施方案,特征参数映射模型是一个层级,用于记录一个视频序列的低级特征(例如,前景整体特征、纹理特征、特征点、运动流和颜色跟踪)与后续参数集之间的关系。该模型可以根据历史数据,通过监督学习方法来构建。

根据其他实施方案,基于可行的参数集和可能的参数集,可以为视频序列实施主动选择以预测参数集,这可以大大减小下一次迭代中可行的参数集的集大小。最后,将参数发送到客户端。

有利地,本文中描述的实施方案利用云计算的“共享然后发现”能力来配置视频分析系统。此外,带有注释的基于事件的视频片段是基本处理单元,而不是整个视频序列。这大大降低了注释要求和计算负担。另外,主动选择参数集以运行视频分析算法,以供操作员进行验证,大大减少了操作员的工作量。此外,为了建立视频分析系统,操作员不需要具有计算机视觉知识。还可以独立地计算可行的参数集和可能的参数集。

因此,根据一个或多个实施方案,基于云的主动调试系统从视频分析系统的建立中移除了计算机视觉专业知识的要求,并且操作员不需要大量培训和花费很长时间来实现良好的va性能。这可以降低系统建立的成本,并扩大应用领域。这也可以有助于降低建立视频分析产品的人力成本。

虽然已经结合仅有限数量的实施方案详细地描述了本公开,但是应容易理解的是,本公开并不限于所述公开的实施方案。而是,本公开可被修改以并入有此前未描述但与本公开的范围相称的任何数量的变型、更改、替代、组合、子组合或等效布置。另外,尽管已描述了本公开的各种实施方案,但是应理解,本公开的各方面可以仅包括所描述实施方案中的一些。

本文中使用的术语仅用于描述特定实施方案的目的,而无意为限制性的。如本文中所用,除非上下文另外明确指出,否则单数形式“一个/一种”和“该/所述”也旨在包括复数形式。将进一步理解,当在本说明书中使用时,术语“包括”和/或“包含”规定存在所陈述的特征、整数、步骤、操作、元件和/或组件,但是不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其群组。

在以下权利要求书中,对应的结构、材料、动作和所有手段或步骤加功能元件的等同物意在包括用于结合如具体要求保护的其他要求保护的元件来执行功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了本描述,但是所述描述无意为穷举的或者限于呈所公开的形式的实施方案。在不脱离本公开的范围的情况下,许多修改和变化对于本领域普通技术人员而言将是明显的。选择并描述实施方案来最好地解释本公开的原理和实际应用,并且使本领域其它普通技术人员能够理解各种实施方案以及适于所预期的特定用途的各种修改。

本实施方案可以是在任何可能的技术细节整合层面上的系统、方法和/或计算机程序产品。计算机程序产品可包括计算机可读存储介质(或多个介质),计算机可读存储介质上具有计算机可读程序指令,以用于致使处理器实行本公开的各方面。

计算机可读存储介质可以是可保持并存储指令以供指令执行装置使用的有形装置。计算机可读存储介质可以是例如但不限于电子存储装置、磁性存储装置、光学存储装置、电磁存储装置、半导体存储装置或前述装置的任何合适组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各者:便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能光盘(dvd)、存储棒、软盘、机械编码装置(诸如穿孔卡或槽中的凸起结构,其上记录有指令),以及前述存储介质的任何合适组合。如本文中使用的计算机可读存储介质不应被解释为本身是暂时的信号,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,穿过光纤电缆的光脉冲),或通过导线传输的电信号。

本文中所描述的计算机可读程序指令可从计算机可读存储介质下载至相应的计算/处理装置,或通过例如互联网、局域网、广域网和/或无线网下载至外部计算机或外部存储装置。网络可以包括铜传输电缆、光学传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令,并且转发计算机可读程序指令,以便存储在相应的计算/处理装置内的计算机可读存储介质中。

用于实行本公开的操作的计算机可读程序指令可以是汇编器指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据,或用一个或多个编程语言的任何组合写入的源代码或目标代码,该一个或多个编程语言包括面向对象的编程语言(诸如java、smalltalk、c++等)以及常规的程序编程语言(诸如“c”编程语言或类似的编程语言)。计算机可读程序指令可完全在用户的计算机上执行,部分地在用户的计算机上执行,作为独立的软件包执行,部分地在用户的计算机上且部分地在远程计算机上执行,或完全在远程计算机或服务器上执行。在后一种场景中,远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机,或者可以连接到外部计算机(例如,通过使用互联网服务提供商的互联网)。在一些实施方案中,包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化,以便执行本公开的各方面。

本文中参考根据实施方案的方法、设备(系统)和计算机程序产品的流程图和/或方框图,描述了根据一个或多个实施方案的方面。将理解,流程图图示和/或方框图的每个方框以及流程图图示和/或方框图中的方框的组合可以通过计算机可读程序指令来实施。

可将这些计算机可读程序指令提供至通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器,以使得经由计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现流程图和/或方框图的一个或多个方框中所指定的功能/动作的手段。这些计算机可读程序指令还可存储在计算机可读存储介质中,所述计算机可读存储介质可引导计算机、可编程数据处理设备和/或其他装置以特定方式起作用,以使得存储有指令的计算机可读存储介质包括制品,所述制品包括实现流程图和/或方框图的一个或多个方框中所指定的功能/动作的各方面的指令。

计算机可读程序指令还可被加载到计算机、其他可编程数据处理设备或其他装置上,以致使在计算机、其他可编程设备或其他装置上执行一系列操作步骤,以便产生计算机实现过程,以使得在计算机、其他可编程设备或其他装置上执行的指令实现流程图和/或方框图的一个或多个方框中所指定的功能/动作。

附图中的流程图和方框图示出根据各种实施方案的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。在此方面,流程图或方框图中的每个方框可以表示指令的模块、片段或部分,其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代实现方式中,方框中提到的功能可以不按附图中提到的顺序发生。例如,连续示出的两个方框事实上可以基本上同时执行,或者这些方框有时可以按相反的顺序执行,这取决于所涉及的功能性。还将注意到,方框图和/或流程图图示的每个方框以及方框图和/或流程图图示中的方框的组合可以由执行指定功能或动作的、或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实施。

已经出于说明的目的呈现了对各种实施方案的描述,但是所述描述无意为穷尽的或限于所公开的实施方案。在不脱离所描述实施方案的范围和精神的情况下,许多修改和变化对本领域的普通技术人员来说将是明显的。选择本文中使用的术语来最好地解释实施方案的原理、对市场中发现的技术的实际应用或技术改进,或使本领域其他普通技术人员能够理解本文公开中的实施方案。

因此,本公开不被视为受以上描述的限制,而是仅受所附权利要求书的范围限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1