一种基于视频解析的事件预测方法、装置及其介质和系统与流程

本申请涉及区域安全防范领域，特别涉及一种基于视频解析的事件预测方法、装置及其介质和系统。

背景技术：

随着“智能城市”、“平安城市”等主题的不断开展和深入，城市聚集事件在某种程度上威胁着城市安全。城市聚集事件指的是在一段时间内，大量移动物体(行人、或者车辆等)向另一区域汇聚的现象。典型的城市聚集事件有交通拥堵、车站人群聚集。大规模的城市聚集事件对城市交通、城市安全有重要影响。本发明提供一种基于视频解析的事件预测防范，通过提前预测聚集事件的发生和具体位置来应对可能出现的安全事件以保障城市健康运行，提高人们的生活满意度。

技术实现要素：

本申请实施例提供了一种基于视频解析的事件预测方法、装置及其介质和系统。

第一方面，本申请实施例提供了一种基于视频解析的事件预测方法，包括：

通过对第一视频进行视频结构化处理，得到第一视频结构化信息，其中，第一视频中包括多个待监测对象，多个待监测对象具有各自的标签信息，并且第一视频结构化信息包括待监测对象的标签信息，以及与待监测对象的标签信息对应的时间信息、空间信息、事件信息；其中，事件信息是待监测对象在对应时间、空间下所做的行为；获取不同于第一视频的视频作为第二视频，第二视频中包括多个待监测对象中的至少部分待监测对象；根据第二视频确定至少一个监测对象；基于标签信息以及标签信息对应的时间信息和/或空间信息或事件信息确定第二视频中监测对象的事件的预设发生条件；根据监测对象的事件的预设发生条件确定第二视频中的关于监测对象的事件。

在上述第一方面的一种可能的实现中，上述基于视频解析的事件预测方法还包括：

事件的预设发生条件包括第二视频中监测对象的数量大于或者等于预设数量阈值；预设数量阈值是所述第二视频中监测对象的预设数量。

在上述第一方面的一种可能的实现中，上述基于视频解析的事件预测方法还包括：

根据监测对象的事件的预设发生条件确定第二视频中的关于监测对象的事件，还包括：当第二视频中监测对象的数量符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对应的时间信息和/或空间信息，确定第二视频中的所述监测对象发生的事件。

在上述第一方面的一种可能的实现中，上述基于视频解析的事件预测方法还包括：

事件的预设发生条件包括：第二视频中监测对象的行为符合预设行为；预设行为是第二视频中监测对象发生的行为。

在上述第一方面的一种可能的实现中，上述基于视频解析的事件预测方法还包括：

根据监测对象的事件的预设发生条件确定第二视频中的关于监测对象的事件，还包括：

当第二视频中监测对象的行为符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对应的时间信息和/或空间信息，确定第二视频中的监测对象发生的事件。

在上述第一方面的一种可能的实现中，上述基于视频解析的事件预测方法还包括：

标签信息包含待监测对象的至少一个标签；

时间信息和/或空间信息包含待监测对象在不同时间所在的位置。

在上述第一方面的一种可能的实现中，上述基于视频解析的事件预测方法还包括：

根据监测对象的事件的预设发生条件确定第二视频中的关于监测对象的事件，还包括：

当第二视频中监测对象的数量或行为符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的待监测对象在不同时间所在的位置来预测第二视频中监测对象对应的标签下的对象的事件。

在上述第一方面的一种可能的实现中，上述基于视频解析的事件预测方法还包括：

将第一视频通过视频结构化，得到第一视频结构化信息还包括：

第一视频是存储在预设的数据库中的至少一个待监测对象的历史视频。

第二方面，本申请实施里提供了一种基于视频解析的事件预测装置，包括：

视频结构化模块，用于通过对第一视频进行视频结构化处理，得到第一视频结构化信息，其中，第一视频中包括多个待监测对象，多个待监测对象具有各自的标签信息，并且第一视频结构化信息包括待监测对象的标签信息，以及与待监测对象的标签信息对应的时间信息和/或空间信息；

确定事件预设发生条件模块，用于基于标签信息以及对应的时间信息和/或空间信息确定监测对象的事件的预设发生条件；

第二视频获取模块，用于获取不同于第一视频的视频作为第二视频，第二视频中包括多个对象中的至少部分对象；根据第二视频确定至少一个监测对象；

事件确定模块，用于根据待监测对象的事件的预设发生条件确定第二视频中的关于监测对象的事件。

在上述第二方面的一种可能的实现中，上述基于视频解析的事件确定装置还包括：

事件的预设发生条件包括：第二视频中监测对象的数量大于或者等于预设数量阈值；预设数量阈值是第二视频中监测对象的预设数量。

在上述第二方面的一种可能的实现中，上述基于视频解析的事件确定装置还包括：

事件确定模块包括第一事件确定模块，用于当第二视频中监测对象的数量符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对应的时间信息和/或空间信息，确定第二视频中的监测对象发生的事件。

在上述第二方面的一种可能的实现中，上述基于视频解析的事件确定装置还包括：

事件的预设发生条件包括：

第二视频中监测对象的行为符合预设行为；预设行为是第二视频中监测对象发生的行为。

在上述第二方面的一种可能的实现中，上述基于视频解析的事件确定装置还包括：

事件确定模块包括第二事件确定模块，用于当第二视频中监测对象的行为符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对应的时间信息和/或空间信息，确定第二视频中的监测对象发生的事件。

在上述第二方面的一种可能的实现中，上述基于视频解析的事件确定装置还包括：

标签信息包含待监测对象的至少一个标签；

时间信息和/或空间信息包含待监测对象在不同时间所在的位置。

在上述第二方面的一种可能的实现中，上述基于视频解析的事件确定装置还包括：

事件确定模块包括第三事件确定模块：用于当第二视频中监测对象的数量或行为符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的待监测对象在不同时间所在的位置来确定第二视频中监测对象对应的标签下的对象的事件。

在上述第二方面的一种可能的实现中，上述基于视频解析的事件确定装置还包括：

视频结构化模块包括：预设数据库模块，存储至少一个待监测对象的第一视频，第一视频是至少一个待监测对象的历史视频。

第三方面，本申请实施里提供了一种机器可读介质，包括：

机器可读介质上存储有指令，该指令在机器上执行时使机器执行权力要求1至8中任一项的方法。

第四方面，本申请实施里提供了一种系统，包括：

存储器，用于存储由系统的一个或多个处理器执行的指令，以及

处理器，是系统的处理器之一，用于执行权利要求1至8中任一项的方法。

附图说明

图1(a)、(b)根据本申请的一些实施例，分别示出了一种基于视频解析的事件预测方法的流程示意图。

图2根据本申请的一些实施例，示出了构建事件预测模型的流程示意图。

图3根据本申请的一些实施例，示出了一种基于视频解析的事件预测装置的结构图。

图4根据本申请的一些实施例，示出了视频结构化过程示意图。

图5根据本申请的一些实施例，示出了一种系统的框图。

图6根据本申请一些实施例，示出了一种片上系统(soc)的框图。

具体实施例

为使本申请的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施例作进一步地详细描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动性前提下所获得的其他实施例，都属于本发明保护的范围。

如图1a所示，该图为本发明提供的基于视频解析的事件预测方法实施例一的流程图。

本实施例提供的基于视频解析的事件预测方法，包括：

步骤s101：通过对第一视频进行视频结构化处理，得到第一视频结构化信息。其中，第一视频中包括多个待监测对象，多个待监测对象具有各自的标签信息，并且第一视频结构化信息包括待监测对象的标签信息，以及与待监测对象的标签信息对应的时间信息、空间信息、事件信息；其中，事件信息是所述待监测对象在对应时间、空间下所做的行为。

进一步的，上述的标签信息包含有待监测对象的至少一个标签，时间信息和/或空间信息包含有待监测对象在不同时间所在的位置。即监测对象可能有多个标签，具体确定第二视频中监测对象的事件时是根据监测对象多个标签中的一个标签来确定。

进一步的，用于视频结构化的第一视频是存储在预设的数据库中的至少一个待监测对象的历史视频。

即通过对存储在数据库中不同标签下多个对象的第一视频进行视频结构化，得到多个待监测对象的视频结构化信息，并且得到的视频结构化信息中包含着待监测对象所属的标签信息以及该标签信息对应的时间和地点信息或者事件信息，也即不同标签下的待监测对象在不同时空的分布信息或者不同标签对象的行为，然后获取第二视频，将第二视频作为监控视频，从第二视频中确定监测对象，且该监测对象属于前述待监测对象中的一部分。根据前述第一视频结构化信息构建事件预测模型然后根据事件预测模型设定事件的预设发生条件，并根据前述第一视频结构化信息中的监测对象的标签信息和时间地点信息或者事件信息以及事件的预设发生条件来确定第二视频中监测对象对应标签下的所有对象将要发生的事件。

s102：获取不同于第一视频的视频作为第二视频。其中，第二视频中包括多个待监测对象中的至少部分待监测对象；根据第二视频确定至少一个监测对象。

s103：基于标签信息以及标签信息对应的时间信息和/或空间信息确定第二视频中监测对象的事件的预设发生条件。

进一步的，事件的预设发生条件可以为第二视频中所述监测对象的数量大于或者等于预设数量阈值，预设的数量阈值是第二视频中监测对象的预设数量；

事件的预设发生条件还可以为第二视频中监测对象的行为符合预设行为，预设行为是第二视频中监测对象发生的行为。即第二视频中事件可以根据监测对象的行为来确定，也就是监测对象的标签、时间、地点虽然都可以确定，但是监测对象可能并没有实施其在第一视频中的任何行为。那么此时，根据时间地点来确定事件的发生就有可能出现误判。

s104：根据监测对象的事件的预设发生条件确定第二视频中的关于监测对象的事件。

进一步的，当事件的预设发生条件是第二视频中监测对象的数量大于或者等于预设数量阈值时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对象的时间信息和/或空间信息确定第二视频中监测对象发生的事件。

可选的，当事件的预设发生条件是第二视频中监测对象的行为符合预设行为时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对象的时间信息和/或空间信息确定第二视频中监测对象发生的事件。

具体的，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对象的时间信息和/或空间信息确定第二视频监测对象发生的事件是通过根据监测对象在第一视频结构化信息中对应的待监测对象在不同时间所在的位置来确定第二视频中所述监测对象对应的标签下的对象的事件来确定的。

具体的，当对象为p，事件预设发生条件是对象数量大于或者等于预设数量阈值时，如图1b所示，该基于视频解析的事件预测方法包括：

(1)获取第一视频101b。获取不同标签下的多个待监测对象的历史视频，并对历史视频进行结构化处理(参见图4)，得到包括待监测对象(p)的标签信息(label)，以及与待监测对象的标签信息对应的时间信息(t)和空间信息(l)的第一视频结构化信息。其中，对象p可以具有两个标签属性，如对象p1。

(2)设定事件发生的预设条件102b。将上述的第一视频结构化信息201作为训练数据，构建事件预测模型(参见图2)，根据事件预测模型确定事件发生的预设条件。例如，将上述对象(p)的标签(label)和该标签(label)对应的时间(t)和空间(l)或者行为事件(e)进行训练，构建事件预测模型202，然后确定事件的预设发生条件203。其中，事件的预设发生条件可以是对象数量大于或者等于预设数值。

(3)确定监测对象103b。例如，将预监控区域的监控视频作为第二视频，然后从监控视频中确定一个检监测象，比如p1(参见图4)，确定监测对象p1后，即可得到p1的标签信息label1和label2。

(4)确定事件104b。根据上述对象p1对应的标签信息label1和label2确定第二视频中，也就是监控视频中label1标签下对象的数量和label2标签下的数量或者行为，当label1下对象数量不小于3时或者label1标签下的对象做出了行为(e1)，则可以认为在第二视频中对象p1对应的标签label1下的对象可能在(t1，l1)发生对应的事件；当label2下对象的数量不小于2时或者其作出了行为(e2)，则可以认为第二视频中对象p1对应的标签label2下的对象发生了对应的事件。

进一步地，在交通安全管理的场景下，当上述对象p为车辆时，上述基于视频解析的事件预测方法具体为：

首先，获取标签分别为“出租车”和“顺风车”的车辆的历史视频作为第一视频，比如是道路监控视频资料或者是车辆的行车记录仪，然后对这些不同标签下的车辆的历史视频做视频结构化处理，得到标签为“出租车”的车辆白天在城市各道路的分布，比如该类车辆上午8点到9点集中分布在城市a主干道上，然后造成了交通拥堵事件的发生；标签为“顺风车”的车辆晚上11点以后分布在靠近学校或者居民区附近，并且做出了接单的行为，进而威胁到了学生或者居民的人身财产安全。根据前述的标签信息(“出租车”、“顺风车”)以及标签下车辆在特定时间特定地点的分布或者在特定时间地点所做出的行为(“接单”)等信息构建交通安全事件预测模型并确定交通安全事件的预设车辆阈值或者预设车辆的行为。

其次，在终端显示器上，比如交通管理部门的监控指挥中心的屏幕上，工作人员将锁定特定时间特定地点进行视频监控，比如工作人员对上午8点的城市a主干道的道路视频进行监控，确定当前监控视频中“出租车”标签下的车辆的数量，如果超过了100辆，则根据前述得到的有关于“出租车”标签的视频结构化信息就可以预测在上午8点到9点之间城市a主干道将发生严重交通拥堵，则有关部门可以进行车辆分流等相应部署，尽可能避免因车辆堵塞而发生的交通意外；工作人员也可以对晚上11点以后大学城附近或者居民区附近的道路视频进行监控，确定当前监控视频中“顺风车”标签下的车辆的行为，如果标签为“顺风车”的车辆在晚上11点以后还有“接单”的行为，则认为其有可能出现威胁生命财产安全的事件，进而有关部门就可以并采取车辆定位、追踪等相关措施，来避免不幸的发生。

对应上述基于视频解析的事件预测方法，图3示出了一种基于视频解析的事件预测装置的结构示意图，可以理解，上述基于视频解析的事件预测方法中的具体技术细节，在该装置中也适用，为了避免重复，在此不再赘述。

具体地，如图3所示，该装置包括：

视频结构化模块301，用于通过对第一视频进行视频结构化处理，得到第一视频结构化信息，其中，第一视频中包括多个待监测对象，多个待监测对象具有各自的标签信息，并且第一视频结构化信息包括待监测对象的标签信息，以及与待监测对象的标签信息对应的时间信息和/或空间信息。

标签信息包含待监测对象的至少一个标签；

时间信息和/或空间信息所述待监测对象在不同时间所在的位置。

视频结构化模块进一步包括：预设数据库模块，存储至少一个待监测对象的第一视频，第一视频是至少一个待监测对象的历史视频。

确定事件预设发生条件模块302，用于基于标签信息以及对应的时间信息和/或空间信息确定监测对象的事件的预设发生条件。

事件的预设发生条件可以是第二视频中监测对象的数量大于或者等于预设数量阈值；预设数量阈值是第二视频中监测对象的预设数量。

还可以是第二视频中监测对象的行为符合预设行为；预设行为是第二视频中监测对象发生的行为。

第二视频获取模块303，用于获取不同于第一视频的视频作为第二视频，第二视频中包括多个对象中的至少部分对象；根据第二视频确定至少一个监测对象。

事件确定模块304，用于根据待监测对象的事件的预设发生条件确定第二视频中的关于监测对象的事件。

事件确定模块进一步包括第一事件确定模块，用于当第二视频中监测对象的数量符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对应的时间信息和/或空间信息，确定第二视频中的监测对象发生的事件。

事件确定模块还可以包括第二事件确定模块，用于当第二视频中监测对象的行为符合事件的预设发生条件时，根据监测对象在第一视频结构化信息中对应的标签信息和标签信息对应的时间信息和/或空间信息，确定第二视频中的监测对象发生的事件。

事件确定模块还包括第三事件确定模块：用于当第二视频中监测对象的数量或行为符合事件的预设发生条件时，根据监测对象在所述第一视频结构化信息中对应的所监测对象在所述不同时间所在的位置来确定第二视频中监测对象对应的标签下的对象的事件。

现在参考图5，所示为根据本申请的一个实施例的系统500的框图。图5示意性地示出了根据多个实施例的示例系统500。在一个实施例中，系统500可以包括一个或多个处理器504，与处理器504中的至少一个连接的系统控制逻辑508，与系统控制逻辑508连接的系统内存512，与系统控制逻辑508连接的非易失性存储器(nvm)516，以及与系统控制逻辑508连接的网络接口520。

系统内存512和nvm/存储器516可以分别包括：指令524的暂时副本和永久副本。

网络接口520可以包括收发器，用于为系统500提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口520可以集成于系统500的其他组件。例如，网络接口520可以集成于处理器504的，系统内存512，nvm/存储器516，和具有指令的固件设备(未示出)中的至少一种，当处理器504中的至少一个执行所述指令时，系统500实现如图1-3所示的方法。

在一个实施例中，处理器504中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑封装在一起，以形成系统封装(sip)。在一个实施例中，处理器504中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(soc)。

根据本申请的实施例，图6示出了一种soc(systemonchip，片上系统)600的框图。在图6中，相似的部件具有同样的附图标记。另外，虚线框是更先进的soc的可选特征。在图6中，soc600包括：互连单元650，其被耦合至应用处理器66；系统代理单元670；总线控制器单元680；集成存储器控制器单元640；一组或一个或多个协处理器620，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(sram)单元630；直接存储器存取(dma)单元660。在一个实施例中，协处理器620包括专用处理器，诸如例如网络或通信处理器、压缩引擎、gpgpu、高吞吐量mic处理器、或嵌入式处理器等等。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。