智能视频分析系统和方法与流程

技术领域

与示例性实施例一致的方法和设备涉及智能视频分析。

背景技术：

通过接收由至少一个相机捕获的视频、分析视频的内容并提取视频的特征来执行视频分析。在现有技术中，当特定事件发生时，在没有任何优先级的情况下，对从所有相机发送的视频进行分析，视频分析的效率低。

技术实现要素：

本发明构思的示例性实施例提供一种仅分析与发生的事件相关的视频的系统和方法，从而减少视频分析所需的资源和时间并提高效率。

实施例的各方面将在下面描述中部分进行阐述，并且部分从该描述将是清楚的，或者可以通过呈现的实施例的实践而获知。

根据示例性实施例，提供一种通过智能视频分析系统分析视频的方法。所述方法可包括：基于关于由多个相机中的相机检测到的事件的信息分别为所述多个相机设置等级，其中，由智能等级设置处理器执行所述设置；基于为所述多个相机设置的等级执行关于从所述多个相机发送的数据的负载平衡，其中，由执行视频分析的视频分析服务器执行负载平衡。

所述方法还可包括：基于关于事件的信息生成与检测到事件的相机相关的至少一个逻辑相机组，其中，所述至少一个逻辑相机组包括所述多个相机中的一个或多个相机。

可通过在设置了等级的所述多个相机中，与具有较低等级的相机相比，为具有较高等级的相机分配更多用于处理数据的资源来执行负载平衡的步 骤。

可基于与事件相关的事件元数据来执行为所述多个相机设置等级的步骤。事件元数据可包括关于以下项中的至少一项的信息：事件的类型、事件发生的时间、事件发生的位置、事件发生的位置的邻近度、事件中对象的运动方向、事件中对象的运动速度、事件中对象的属性。

在上述方法中，与不包括在所述至少一个逻辑相机组中的相机相比，可为所述至少一个逻辑相机组中的所述一个或多个相机设置更高的等级，并且所述一个或多个相机可基于事件元数据分别被给予不同的权重。因此，还可基于所述不同的权重来执行负载平衡。

包括在所述至少一个逻辑相机组中的所述一个或多个相机可被布置在距检测到事件的相机的预定距离内，或者可物理连接到检测到事件的相机。

根据另一示例性实施例，提供一种用于分析视频的智能视频分析系统，所述系统可包括：智能等级设置处理器，被配置为基于关于由多个相机中的相机检测到的事件的信息分别为所述多个相机设置等级；负载平衡处理器，被配置为基于为所述多个相机设置的等级执行关于从所述多个相机发送的数据的负载平衡。

所述系统还可包括：逻辑相机组生成器，被配置为基于关于事件的信息生成与检测到事件的相机相关的至少一个逻辑相机组，其中，所述至少一个逻辑相机组包括所述多个相机中的一个或多个相机。

附图说明

从以下结合附图对示例性实施例进行的描述，这些和/或其它方面将变得明显和更容易理解，在附图中：

图1示出根据示例性实施例的智能视频分析系统；

图2和图3是示出根据示例性实施例的由智能视频分析系统的逻辑相机组生成器执行的逻辑上生成相机组的方法的示图；

图4和图5是示出根据示例性实施例的基于事件元数据逻辑上生成相机组的方法的示图；

图6是示出根据示例性实施例的使用智能视频分析系统以管理建筑物的方法的示图；

图7是根据示例性实施例的使用智能视频分析系统来分析视频的方法的 流程图。

具体实施方式

现在将详细描述示例性实施例，示例性实施例在附图中示出，其中，相同的参考标号始终表示相同的元件。在这点上，呈现的实施例可具有不同形式并且不应该被解释为局限于在此所阐述的描述。因此，以下仅通过参照附图描述实施例以解释本描述的多个方面。在此提供以下描述和附图来更好地理解本发明构思，这里可省略描述和附图的对本领域普通技术人员来说明显的部分。

本说明书和附图不意在限制由附加的权利要求限定的本发明构思的范围。选择在此使用的术语以恰当地解释本发明构思，并因此应基于根据本发明构思的技术构思的含义和概念来解释在此使用的术语。

如在此所使用的，术语“和/或”包括一个或多个相关所列项的任何和所有组合。当诸如“…中的至少一个”的表述在一列元素之后时，其修饰所有列出的元素，而不是修饰列出的单个元素。

图1示出根据示例性实施例的智能视频分析系统100。

智能视频分析系统100包括：安装于特定区域来观察特定区域并检测事件的图2的监控相机S110至S116，用于存储、管理和分析从监控相机S110至S116接收的视频的视频分析服务器110，用于基于监控相机S110至S116与事件之间的关系来将监控相机S110至S116分组的逻辑相机组生成器120，用于设置属于逻辑相机组的相机的等级的智能等级设置处理器130。

监控相机S110至S116被分别安装在用户希望观察或监视的区域中。监控相机S110至S116检测事件。事件包括视频事件和语音事件两者。事件的示例包括用户设置的视频、火灾的检测、被盗车辆的检测、在特定区域中运动的检测、特定对象或人的检测、当对象损坏时产生的声音、噪音、奔跑的声音、尖叫、爆炸的声音、喇叭、打架的声音、音乐的声音、用户设置的声音等。

监控相机S110至S116被配置为以文件或数据库的形式将获得的视频/音频数据存储在本地/远程控制存储装置中。视频分析服务器110分析存储的视频/音频数据。

根据示例性实施例，视频分析服务器110仅分析从属于由逻辑相机组生 成器120生成的逻辑相机组S120的监控相机S110至S116发送的视频和/或音频数据。

视频分析服务器110可为属于逻辑相机组S120的各个监控相机S110至S116设置等级，并分配更多的资源来分析高等级的监控相机的数据。

根据示例性实施例，逻辑相机组生成器120通过逻辑上检测与检测到事件的相机相关的相机来生成逻辑相机组。

图2和图3是示出根据示例性实施例的由智能视频分析系统的逻辑相机组生成器使用的逻辑上生成相机组的方法的示图。

根据示例性实施例，图1的逻辑相机组生成器120可通过将物理连接到检测到事件的监控相机的监控相机分组到逻辑相机组中来生成逻辑相机组，或可通过将在检测到事件的监控相机的预定半径内的监控相机分组到逻辑相机组中来生成逻辑相机组。

根据示例性实施例，参照图2，逻辑相机组生成器120检测物理连接到检测到事件的监控相机S110的监控相机S111、S112、S113、S114、S115和S116，作为与监控相机S110相关的相机，并将检测到的相机分组到逻辑相机组中。

根据示例性实施例，参照图3，逻辑相机组生成器120检测在距检测到事件的监控相机S310的位置的预定半径内的监控相机S311、S312、S313、S314和S315，作为与监控相机S310相关的相机，并将检测到的相机分组到逻辑相机组中。

根据示例性实施例，逻辑相机组生成器120基于事件元数据，通过逻辑上检测与检测到事件的监控相机相关的相机来生成逻辑相机组。

根据示例性实施例，事件元数据是用于检测事件的特征的信息。根据示例性实施例，事件元数据可被用于视频分析服务器以分析从监控相机发送的数据，从而生成逻辑相机组或为属于逻辑相机组的监控相机设置等级。

事件元数据包括关于以下项中的至少一项的信息：事件的类型、事件发生的时间、事件发生的位置、事件发生的位置的邻近度、事件中至少一个对象运动的方向、事件中至少一个对象的运动速度、以及事件中至少一个对象的属性。在这种情况下，事件中至少一个对象的属性信息包括该至少一个对象的颜色、大小、数量等。

根据示例性实施例，事件的类型包括火灾、灾难、紧急情况、事故、盗 窃、犯罪等。在事件发生的日期和时间的信息中，可根据事件发生在工作日还是周末、事件发生在白天还是夜间等分配不同的权重。

在关于事件发生的位置的信息中，可为危险区域、将被监控的主要区域等分配高权重。例如，当检测到与交通事故相关的事件时，可为交叉路口等分配高权重。

关于事件发生的位置的邻近度的信息可被这样设置：将高权重分配给在检测到事件的位置附近的监控相机。

根据示例性实施例，逻辑相机组生成器120可基于检测到事件的监控相机的位置来生成逻辑相机组。根据示例性实施例，参照图6，如果在建筑物的第二层检测到盗窃者，则当检测到盗窃者的监控相机位于出口时，可将安装于第一层出口S171的监控相机和安装于第三层出口S173的监控相机分组到逻辑相机组中。

图4和图5是示出根据示例性实施例的由逻辑相机组生成器执行的生成逻辑相机组的方法和由智能等级设置处理器执行的为属于逻辑相机组的相机设置等级的方法的示图。

图5示出根据另一示例性实施例的当存在多个逻辑相机组时为多个逻辑相机组的每个设置优先级的方法。

图1的智能等级设置处理器130可基于以下等式1，通过为构成表示发生的事件的特征的事件元数据的多条信息分配权重来为属于逻辑相机组的相机分配等级。

[等式1]

等级＝Pc×∑x_iw_i

在等式1中，Pc表示分配给监控相机的优先级，x_i表示构成事件元数据的每条信息，w_i表示分配给构成事件元数据的所述每条信息的权重。表示分配给监控相机的优先级的Pc可根据分配给监控相机所属于的逻辑相机组的优先级来设置或可由用户设置。

根据示例性实施例，参照图4，第三监控相机S413检测到被盗车辆并告知智能视频分析系统对事件的检测。在这种情况下，关于被盗车辆的运动速度(例如，90千米/小时)的信息、关于被盗车辆的运动方向的信息等可被用作事件元数据。

图1的逻辑相机组生成器120可基于检测到事件的监控相机的位置和关 于事件中对象的运动方向的信息来生成逻辑相机组。

参照图4，逻辑相机组生成器120将在最先检测到被盗车辆的第三监控相机S413预定范围内的第一监控相机S411、第二监控相机S412、第四监控相机S414、第五监控相机S415、第六监控相机S416、第七监控相机S417分组到逻辑相机组S400中。

然后，图1的智能等级设置处理器130为属于逻辑相机组S400的监控相机S411至S417设置等级。在这种情况下，智能等级设置处理器130可基于包括在事件元数据中的关于被盗车辆的运动速度(例如，90千米/时)的信息和关于被盗车辆的运动方向的信息，为监控相机S411至S417设置等级。

例如，当被盗车辆向东运动时，无需考虑位于被盗车辆运动方向的反方向的第一监控相机S411、第二监控相机S412和第四监控相机S414。

应该首先考虑位于被盗车辆的运动方向上的第五监控相机S415、第六监控相机S416和第七监控相机S417。由于当考虑被盗车辆的运动速度时，在10秒内被盗车辆可能经过第五监控相机S415和第六监控相机S416，因此可为第五监控相机S415、第六监控相机S416和第七监控相机S417中的第七监控相机S417分配更高的等级。

因此，智能等级设置处理器130可为属于逻辑相机组S400的监控相机S411至S417中的第七监控相机S417分配最高的等级，为第五监控相机S415和第六监控相机S416分配下一等级。此外，可为第五监控相机S415和第六监控相机S416中的更接近于被盗车辆的运动方向的监控相机分配更高的等级。

此外，智能等级设置处理器130可为第一监控相机S411、第二监控相机S412和第四监控相机S414分配较低的等级。在这种情况下，智能等级设置处理器130可通过为构成事件元数据的至少一条信息中的每条分配权重来设置监控相机S411至S417的等级。

智能等级设置处理器130向包括在图1的视频分析服务器110中的队列140提供关于属于逻辑相机组S400的至少一个监控相机的信息和关于所述监控相机的等级的信息。

例如，智能等级设置处理器130向包括在视频分析服务器110中的队列140提供关于第七监控相机S417的信息和第七监控相机S417在逻辑相机组S400中等级排名第一的信息。此后，当第五监控相机S415在逻辑相机组S400 中等级排名第二时，向队列140提供关于第五监控相机S415的信息和第五监控相机S415等级排名第二的信息。当第六监控相机S416在逻辑相机组S400中等级排名第三时，向队列140提供关于第六监控相机S416的信息和第六监控相机S416等级排名第三的信息。

此外，基于预定准则，与第一监控相机S411、第二监控相机S412和第四监控相机S414相关的信息可被设置为被提供给或不被提供给包括在视频分析服务器110中的队列140。

图5示出根据示例性实施例的生成多个逻辑相机组的情况。

图5示出如下情况：第三监控相机S513最先检测到被盗车辆，第七监控相机S617检测到嫌疑被盗车辆，并且第三监控相机S513和第七监控相机S617各自告知智能视频分析系统100对事件的检测。在这种情况下，第三监控相机S513和第七监控相机S617可各自告知图1的视频分析服务器110对事件的检测。

在事件被检测到之后，第三监控相机S513和第七监控相机S617的每个根据检测到的事件提取表示事件的事件元数据。参照图5，第三监控相机S513和第七监控相机S617可提取关于检测到的被盗车辆和检测到的嫌疑被盗车辆的运动速度和运动方向的信息作为事件元数据。

之后，图1的逻辑相机组生成器120可通过检测在距第三监控相机S513和第七监控相机S617的每个的位置预定范围内的相机来生成逻辑相机组。

具体地说，逻辑相机组生成器120通过检测与第三监控相机S513相关的第四监控相机S514、第五监控相机S515和第六监控相机S516来生成第一逻辑相机组S500。

此外，逻辑相机组生成器120通过检测与第七监控相机S617相关的第五监控相机S515、第六监控相机S516、第八监控相机S618和第九监控相机S619来生成第二逻辑相机组S600。

图1的智能等级设置处理器130可被配置为：为第一逻辑相机组S500和第二逻辑相机组S600中的第二逻辑相机组S600分配更高的权重，但图1的智能等级设置处理器130可由用户不同地配置。

例如，智能等级设置处理器130可被配置为：当被盗车辆正在被追捕时，为第二逻辑相机组S600分配更高的权重，当需要调查车辆被盗的情况时，为第一逻辑相机组S500分配更高的权重。

根据示例性实施例，假设被盗车辆正在被追捕并且更高的权重被分配给检测到嫌疑被盗车辆的第七监控相机S617所属于的第二逻辑相机组S600。

在这种情况下，在等式1中，更高的优先级Pc被分配给属于第二逻辑相机组S600的监控相机。即，分配给第五监控相机S515、第六监控相机S516、第八监控相机S618和第九监控相机S619的权重可高于分配给第三监控相机S513和第四监控相机S514的权重。

当设置了每个相机的等级时，可考虑被盗车辆的运动方向。在这种情况下，在属于第二逻辑相机组S600的监控相机中，比分配给第五监控相机S515和第六监控相机S516的权重w_i更高的权重w_i被分配给第八监控相机S618和第九监控相机S619。

智能等级设置处理器130可通过执行以上处理或执行另外考虑事件元数据的处理来为属于第一逻辑相机组S500和第二逻辑相机组S600的监控相机设置等级。

参照图5，第一等级至第七等级可被分别分配给第八监控相机S618、第九监控相机S619、第七监控相机S617、第三监控相机S513、第五监控相机S515、第六监控相机S516和第四监控相机S514。

在这种情况下，智能等级设置处理器130可将关于这些监控相机的信息和等级信息发送到视频分析服务器110。视频分析服务器110可基于这些监控相机的等级的顺序，通过使用负载平衡处理器150来分配资源(例如，插槽)。

根据示例性实施例，智能等级设置处理器130可将关于属于多个逻辑相机组的所有监控相机的信息和等级信息发送到视频分析服务器110。

根据示例性实施例，智能等级设置处理器130可仅将关于属于逻辑相机组的监控相机的信息中的关于特定等级或高于特定等级的监控相机的信息发送到视频分析服务器110。例如，参照图5，智能等级设置处理器130可被配置为发送关于第四等级或高于第四等级的监控相机的信息。在这种情况下，智能等级设置处理器130仅将关于第八监控相机S618、第九监控相机S619、第七监控相机S617和第三监控相机S513的信息以及关于这些监控相机的等级信息发送到视频分析服务器110。

视频分析服务器110的负载平衡处理器150基于从智能等级设置处理器130接收的关于监控相机的信息和等级信息来分配视频插槽。

在这种情况下，负载平衡处理器150可基于监控相机的等级改变将被分 配的视频插槽的数量。

参照图5，当接收到关于第三监控相机S513至第九监控相机S619的所有信息时，视频分析服务器110可为第一等级的第八监控相机S618分配最大数量的视频插槽，并为最低等级的第四监控相机S514分配最小数量的视频插槽。

根据示例性实施例，当接收到第三监控相机S513至第九监控相机S619的所有信息时，视频分析服务器110可被配置为基于由用户确定的设置仅为第五等级或高于第五等级的监控相机分配视频插槽。

根据示例性实施例，视频分析服务器110的负载平衡处理器150可被配置为通过顺序读取在队列140中排序的关于监控相机的信息来分配视频插槽。

在队列140中，以等级递增的顺序对关于监控相机的信息进行排序。参照图5，关于第一等级的第八监控相机S618的信息被最先输入到队列140，负载平衡处理器150最先读取该信息并分配用于分析关于第八监控相机S618的信息的插槽。

图6是示出根据示例性实施例的使用智能视频分析系统以管理建筑物的方法的示图。

智能视频分析系统100在建筑物的将被观察或监视的内部区域中安装监控相机，监控相机检测在所述区域的每个区域中发生的事件并将关于检测到的事件的信息发送到视频分析服务器110或单独的存储服务器。

逻辑相机组生成器120生成与检测到事件的至少一个监控相机相关的至少一个逻辑相机组。为了管理建筑物，逻辑相机组生成器120可将检测到事件的监控相机所安装的建筑物的楼层设置为逻辑相机组。

例如，当在建筑物的第二层的中心位置S170检测到盗窃事件时，逻辑相机组生成器120可生成这样的逻辑相机组，该逻辑相机组包括位于中心位置S170的监控相机的预定半径内的监控相机S180、S181和S182。

在这种情况下，逻辑相机组生成器120可被配置为生成包括安装在建筑物的第二层的所有监控相机的一个逻辑相机组。

智能等级设置处理器130基于事件元数据为属于逻辑相机组的相机设置等级。例如，当在建筑物的第二层的中心位置S170检测到盗窃事件之后盗窃者沿向右的方向运动时，低等级可被分配给位于中心位置S170左侧的监控相 机S180，高等级可被分配给位于中心位置S170右侧的监控相机S181和S182。

根据另一示例性实施例，当在第二层的中心位置S170检测到盗窃事件，并且去往建筑物的第一层或第三层的出口存在于中心位置S170时，第一层的中心位置S171的监控相机和第三层的中心位置S173的监控相机可被分组到一个逻辑相机组中。

当第一层至第三层的中心位置S170、S171和S173的监控相机被分组到一个逻辑相机组中时，智能等级设置处理器130可基于在第二层检测到的盗窃者的运动路径和运动方向来为监控相机分配等级。

例如，当在第二层的中心位置S170检测到盗窃者之后，盗窃者经由出口运动到第三层的中心位置S173时，智能等级设置处理器130可为可发现盗窃者的第三层的中心位置S173的监控相机分配最高等级，为已经检测到盗窃者的第二层的中心位置S170的监控相机分配中间等级，并为第一层的中心位置S171的监控相机分配最低等级。

在这种情况下，从安装在第三层的中心位置S173的监控相机发送的数据最先被输入到视频分析服务器110的队列140。之后，从安装在第二层的中心位置S170的监控相机发送的数据被输入到队列140。最后，从安装在第一层的中心位置S171的监控相机发送的数据被输入到队列140。

在负载平衡处理器150接收到从队列140发送的数据之后，负载平衡处理器150为第一视频分析(VA)服务器151分配用于处理从安装在第三层的中心位置S173的监控相机发送的数据的插槽，为第二VA服务器153分配用于处理从安装在第二层的中心位置S170的监控相机发送的数据的插槽，并为第三VA服务器155分配用于处理从安装在第一层的中心位置S171的监控相机发送的数据的插槽。

负载平衡处理器150可不同地设置将被分配给第一VA服务器151、第二VA服务器153和第三VA服务器155中的每个的插槽的数量。负载平衡处理器150可被配置为：分配最大数量的插槽来分析从安装在三个位置S171、S170和S173中优先级最高的第三层的中心位置S173的监控相机发送的数据。

图7是根据示例性实施例的使用智能视频分析系统来分析视频的方法的流程图。

在智能视频分析系统中，监控相机观察并监视特定区域，并且当在特定 区域中发生事件时检测事件。当监控相机检测到事件(操作S710)时，生成与检测到事件的监控相机相关的逻辑相机组(操作S720)。可通过确定物理上在距检测到事件的监控相机预定半径的距离内的监控相机、与检测到事件的监控相机相关的监控相机并将确定的监控相机分组到逻辑相机组中来生成逻辑相机组。此外，根据检测到的事件的类型，逻辑上与检测到事件的监控相机相关的监控相机可被分组到逻辑相机组中。

如图6的实施例，当在建筑物的第二层的出口发现盗窃者时，安装在盗窃者可能运动的第二层的监控相机可被分组到逻辑相机组中，并且考虑到盗窃者可能运动到出口，建筑物的第一层至第三层各自的出口处的监控相机可被分组到逻辑相机组中。根据示例性实施例，可生成至少一个逻辑相机组(操作S720)。

在生成至少一个逻辑相机组之后，可为至少一个逻辑相机组中的每个分配优先级，并且可为属于至少一个逻辑相机组中的每个的监控相机分配等级(操作S730)。

在等级被分配给监控相机之后，视频分析服务器可根据等级分配诸如插槽的资源(操作S740)。

如上所述，根据上述示例性实施例，智能视频分析系统逻辑上仅选择与事件相关的监控相机。之后，基于表示与事件的关联的事件元数据为逻辑上选择的监控相机分配等级，并且视频分析服务器按照监控相机的等级递增的顺序分配插槽，从而降低将被用于分析视频的监控相机的数量。

此外，可仅选择与事件高度相关的监控相机以减少用于分析视频的资源和成本。此外，可通过为与事件高度相关的监控相机分配等级快速地分析视频。

以上示例性实施例可被实施为计算机可读记录介质中的计算机可读代码。计算机可读记录介质可以是能够存储可由计算机系统读取的数据的任何记录设备。

计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)-ROM、磁带、软盘和光学数据存储装置等。计算机可读介质可被分布在通过网络互连的计算机系统中，并且计算机可读代码可在分布式系统中被存储和实施。

根据示例性实施例，如图1和图6所示的通过框图表示的部件、元件或 单元中的至少一个可被实施为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些部件、元件或单元中的至少一个可使用可通过一个或多个微处理器或其它控制设备的控制来执行各个功能的直接电路结构，诸如，存储器、处理、逻辑、查找表等。此外，这些部件、元件或单元中的至少一个可通过包括一个或多个用于执行专门逻辑功能的可执行指令的模块、程序或部分代码来专门实施。此外，这些部件、元件或单元中的至少一个还可包括执行各个功能的处理器(诸如，中央处理器(CPU))、微处理器等。此外，虽然在上述框图中未示出总线，但所述部件、元件或单元之间的通信可通过总线执行。上述示例性实施例的功能性方面可被实施为在一个或多个处理器上运行的算法。此外，通过框图表示的部件、元件或单元或处理步骤可采用任何数量的用于电子配置、信号处理和/或控制、数据处理等的相关领域的技术。

应该理解，在此描述的示例性实施例应被认为仅是描述性的意义，而不是为了限制的目的。每个实施例内的特征或方面的描述通常应该被认为可用于其他实施例中的其他相似特征或方面。

尽管已参照附图描述了示例性实施例，但本领域普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在此做出形式和细节上的各种改变。