基于深度神经网络的视频智能分析平台的制作方法

1.本发明属于数据处理领域，涉及基于深度神经网络的视频分析技术，具体是基于深度神经网络的视频智能分析平台。


背景技术：

2.随着ip(internet protocol，ip)网络视频技术的发展，涌现出大量的以数字视频监控为代表的ip视频应用场景，这些ip视频应用场景会产生大量的视频图像，如何对海量视频图像进行高效分析是一个亟待解决的问题。
3.现有技术(公开号为cn111629120a的发明专利申请)公开了一种基于边缘计算的人工智能视频分析平台，通过嵌入式边缘计算系统及其内部的深度神经网络软件能够提高视频分析的数据传输速度，提高视频设备性能。现有技术在对大量视频分析过程中，通过深度神经网络对分类之后的视频图像逐一分析来识别目标，增加了视频分析的工作量，导致视频分析效率无法满足要求；因此，亟须一种基于深度神经网络的视频智能分析平台。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了基于深度神经网络的视频智能分析平台，用于解决现有技术在对大量视频分析过程中，通过深度神经网络对分类之后的视频图像逐一分析来识别目标，增加了视频分析的工作量，导致视频分析效率无法满足要求的技术问题。
5.本发明对接收的多源视频进行划分和关联获取若干图像划分数据，再根据视频分析需求从若干图像划分数据中确定目标划分数据，基于检测目标在目标划分数据两侧进行数据回溯，并最终确定检测目标的运动轨迹，避免对视频图像进行逐一检测，能够提高视频分析效率。
6.为实现上述目的，本发明的第一方面提供了基于深度神经网络的视频智能分析平台，包括智能分析模块，以及与之相连接的数据存储模块，且所述数据存储模块中存储若干类型深度神经网络函数；
7.数据存储模块：按照设定规则对接收的多源视频进行划分和关联，获取若干图像划分数据；其中，所述设定规则包括帧划分和特征划分；以及
8.接收若干类型所述深度神经网络函数，并建立更新神经网络函数库；
9.智能分析模块：通过视频分析需求提取检测目标，并基于所述检测目标从若干所述图像划分数据选择目标划分数据；以及
10.结合所述神经网络函数库在所述目标划分数据两侧进行数据回溯，基于数据回溯结果确定所述检测目标对应的运动轨迹。
11.优选的，所述智能分析模块分别与智能终端和所述数据存储模块通信和/或电气连接，且所述数据存储模块与视频采集装置或者数据库相连接；
12.所述智能终端用于发送视频分析需求，以及接收所述视频分析需求对应的分析结
果；其中，所述智能终端包括智能手机和电脑。
13.优选的，所述数据存储模块对多源视频进行帧划分或者特征划分；其中，所述帧划分用于对固定背景的多源视频进行划分，所述特征划分用于对非固定背景的多源视频进行划分。
14.优选的，所述数据存储模块基于所述设定规则划分多源视频，包括：
15.对多源视频进行粗检测，分离具有非固定背景的多源视频并标记为第一视频；其中，非固定背景是指对应多源视频中至少包括两种类型视频背景；
16.基于所述特征划分对所述第一视频进行划分，获取若干子视频；
17.基于所述帧划分将若干所述子视频划分成若干图像帧数据，并将具有相同类型视频背景的所述图像帧数据进行关联，获取若干所述图像划分数据。
18.优选的，所述数据存储模块基于接收的若干类型所述深度神经网络函数构建和更新所述神经网络函数库，且所述神经网络函数库包括检测、识别、语义分割、人体姿势估计中任意一种或者多种深度神经网络函数。
19.优选的，所述智能分析模块根据视频分析需求确定所述目标划分数据，包括：
20.提取所述视频分析需求中的检测目标和检测时限；
21.根据所述检测时限从所述图像划分数据中筛选获取图像中间数据；
22.基于所述检测目标在所述图像中间数据中进行匹配，获取目标划分数据。
23.优选的，所述智能分析模块基于神经网络函数库和目标划分数据两侧进行数据回溯，获取回溯目标数据，包括：
24.以所述目标划分数据作为基准，结合所述神经网络函数库对其两侧图像划分数据中是否存在检测目标进行检测；
25.提取所述目标划分数据两侧包含检测目标的图像划分数据，并标记为回溯目标数据。
26.优选的，所述智能分析模块基于所述回溯目标数据计算检测目标对应的运动轨迹，包括：
27.获取所述回溯目标数据对应的地理位置；
28.按照所述回溯目标数据的时间先后顺序串联地理位置，获取运动轨迹。
29.与现有技术相比，本发明的有益效果是：
30.1、本发明按照设定规则对接收到的多源视频进行划分和关联获取若干图像划分数据，同时结合设定原则为若干图像划分数据建立关联关系，保证能够根据视频分析需求快速提取符合要求的数据，降低视频分析的数据处理量。
31.2、本发明根据视频分析需求从若干图像划分数据中确定目标划分数据，同时基于检测目标在目标划分数据两侧进行数据回溯，挑选出符合视频分析需求的回溯目标数据，进而确定检测目标的运动轨迹，能够更加精准的定位检测目标，提高视频分析效率。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
33.图1为本发明的工作步骤示意图；
34.图2为本发明的系统原理示意图。
具体实施方式
35.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
36.现有技术在对大量视频分析过程中，先确定需要识别的目标，然后在粗略筛选之后将目标与多源视频中的视频帧进行匹配来确定目标运动轨迹，显然在大量视频数据中匹配的工作量非常大，因而导致视频分析效率无法满足要求。
37.本发明按照设定规则对多源视频进行划分获取若干图像划分数据，能够根据视频背景对多源数据进行分类，然后通过神经函数库在若干图像划分数据中匹配检测目标，一旦匹配到检测目标则将对应的图像划分数据标记为目标划分数据，再以目标划分数据为基准进行数据回溯，确定检测目标在检测时限中对应的图像划分数据，进而确定检测目标的运动轨迹，能够降低数据处理量，提高视频分析效率。
38.请参阅图1-图2，本发明第一方面实施例提供了基于深度神经网络的视频智能分析平台，包括智能分析模块，以及与之相连接的数据存储模块，且数据存储模块中存储若干类型深度神经网络函数；
39.数据存储模块：按照设定规则对接收的多源视频进行划分和关联，获取若干图像划分数据；以及接收若干类型深度神经网络函数，并建立更新神经网络函数库；
40.智能分析模块：通过视频分析需求提取检测目标，并基于检测目标从若干图像划分数据选择目标划分数据；以及结合神经网络函数库在目标划分数据两侧进行数据回溯，基于数据回溯结果确定检测目标对应的运动轨迹。
41.本发明申请对海量的多源视频进行划分，一方面是便于存储和调用，另一方面则是降低数据处理量。其所包括的智能分析模块分别与智能终端和数据存储模块通信和/或电气连接，且数据存储模块与视频采集装置或者数据库相连接；智能终端用于发送视频分析需求，以及接收视频分析需求对应的分析结果。
42.智能分析模块相当于服务器，主要用于数据处理，而数据存储模块在存储数据的同时也具有一定的数据处理能力。智能终端则与智能分析模块进行交互，如发送视频分析需求或者检测目标的运动轨迹。数据存储模块可以直接存储视频采集装置采集的视频数据，也可以从其他视频数据库中获取需要的视频数据，视频采集装置主要为摄像头。
43.本发明申请能够提高对海量视频数据的处理能力，因此在很多领域具有广泛应用，如通过海量视频数据进行违法人员追踪，或者进行失踪人口追踪等具有明确视频分析需求的应用场景。
44.本发明申请中的数据存储模块对多源视频进行帧划分或者特征划分；其中，帧划分用于对固定背景的多源视频进行划分，特征划分用于对非固定背景的多源视频进行划分。
45.多源视频主要可以分为两种类型，一种是通过摄像头获取的固定背景的视频数据，如十字路口设置的监控摄像头获取的视频数据；另外一种是通过摄像头获取的包括多种类型背景的视频数据，如无人机所携带摄像头在移动中获取的视频数据。
46.当视频数据的背景固定时，则按照正常的视频帧进行划分即可；当视频数据的背景不固定时，考虑到视频背景对应图像数据之间的关联性，先通过特征划分将视频数据中不同类型的视频背景划分开，再通过帧划分获取图像数据。
47.值得注意的是，本发明申请中不同类型的视频背景应该根据视频数据综合分析判定。当视频数据中视频背景很少，则根据每个视频背景对视频数据进行划分；当视频数据中视频背景非常多时，则应该对视频背景进行归类之后再对视频数据进行划分。
48.举例说明何种情况下需要对视频背景进行归类：
49.一段视频拍摄的是学生就餐，则对应的视频背景包括打饭处和就餐处，视频背景较少，则可以通过打饭处和就餐处两个视频背景对视频划分。
50.另一段视频拍摄的是某学生从宿舍到海滩玩耍，则对应的视频背景至少包括宿舍、教学楼、公路、红绿灯、遮阳伞、海浪等，此时可以对视频背景进行归类，如将宿舍、教学楼等划分为学校背景，公路和红绿灯等划分为交通背景，遮阳伞和海浪等划分为海滩背景。
51.本发明申请中的数据存储模块基于设定规则划分多源视频，包括：
52.对多源视频进行粗检测，分离具有非固定背景的多源视频并标记为第一视频；基于特征划分对第一视频进行划分，获取若干子视频；基于帧划分将若干子视频划分成若干图像帧数据，并将具有相同类型视频背景的图像帧数据进行关联，获取若干图像划分数据。
53.针对具有多种视频背景的视频数据，需要结合设定规则中的真划分和特征划分两种方式协作划分。先通过特征划分将视频数据划分成若干子视频，再对子视频进行帧划分获取图像帧数据，此时还要建立图像帧数据之间的关联关系，进而形成图像划分数据。
54.举例说明如何根据设定规则对第一数据进行划分：
55.假设某视频数据中包括两种视频背景，分别为打饭处和就餐处；
56.通过特征划分方式将该视频数据划分成第一视频；其中，第一视频实际包括打饭处为视频背景的视频和就餐处为视频背景的视频；
57.再对第一视频进行帧划分即可获取图像帧数据，将经过同一个第一视频划分出来的图像帧数据关联起来，获取图像划分数据。
58.值得注意的是，图像划分数据就是单帧图像数据，只是各图像划分数据之间存在关联关系。可以联想到，若多段视频数据中均包括同一视频背景时，则多端视频数据中同一视频背景对应的图像帧数据进行关联。
59.本发明申请中特征划分中的特征根据实际情况设定，既可以包括上述的视频背景，也可以是视频数据的地理信息以及图像采集装置的信息等，特征划分主要是为了将具有某一相同属性的视频归为一类。
60.本发明申请中数据存储模块基于接收的若干类型深度神经网络函数构建和更新神经网络函数库，且神经网络函数库包括检测、识别、语义分割、人体姿势估计中任意一种或者多种深度神经网络函数。
61.数据存储模块中的神经网络函数库中包括多种深度神经网络函数，这些深度神经网络函数可以对图像划分数据的特征识别和追踪，且每个深度神经网络函数均是经过合理
设计且及时更新的神经网络模型。
62.本发明申请中的智能分析模块根据视频分析需求确定目标划分数据，包括：
63.提取视频分析需求中的检测目标和检测时限；根据检测时限从图像划分数据中筛选获取图像中间数据；基于检测目标在图像中间数据中进行匹配，获取目标划分数据。
64.基于视频分析需求提取检测目标以及检测时限，根据检测时限来选定需要分析的图像划分数据的范围，再根据检测目标来确定目标划分数据。可以理解的是，目标划分数据实质是从图像中间数据中匹配获取的一张图像划分数据。
65.图像中间数据获取之后，通过检测目标对其进行匹配，当某一图像中间数据中包含检测目标时，则停止匹配过程，将该图像中间数据标记为目标划分数据。需要理解的是，识别图像中间数据是否包含检测目标时，并不需要包含全部的检测目标，包含检测目标的部分特征也可。
66.在获取目标划分数据之后，本发明申请中的智能分析模块基于神经网络函数库和目标划分数据两侧进行数据回溯，获取回溯目标数据，包括：
67.以目标划分数据作为基准，结合神经网络函数库对其两侧图像划分数据中是否存在检测目标进行检测；提取目标划分数据两侧包含检测目标的图像划分数据，并标记为回溯目标数据。
68.以目标划分数据为基准实质主要以其对应的采集时间为基准，对其两侧进行数据回溯则是对其采集时间两侧进行数据回溯。值得注意的是，数据回溯的主体是与目标划分数据具有关联关系的图像划分数据，如同一视频背景的图像划分数据，以目标划分数据为中心向两侧扩展检测，直到与目标划分数据关联的图像划分数据中检测完毕为止。
69.需要理解的是，目标划分数据以及关联的图像划分数据检测之后，还应对剩余的图像划分数据进行分析以重新确定目标划分数据，直到图像中间数据检测完毕为止。
70.本发明申请中智能分析模块基于回溯目标数据计算检测目标对应的运动轨迹，包括：
71.获取回溯目标数据对应的地理位置；按照回溯目标数据的时间先后顺序串联地理位置，获取运动轨迹。
72.回溯目标数据实质就是在检测时限内包含检测目标的图像划分数据，则对其时间关系以及地理位置关系进行分析可以确定对应的运动轨迹。在确定运动轨迹时，可能图像帧数据的缺失无法完整的获取运动轨迹，则可以利用ai算法在已有地理位置的基础上进行拟合预测以获取完整的运动轨迹，最后将运动轨迹与视频分析需求进行关联，并发送至对应的智能终端。
73.以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。