一种基于深度学习的视频分析提取方法及系统与流程

本发明涉及视频图像处理领域，尤其是涉及一种基于深度学习的视频分析提取方法及系统。

背景技术：

1、目前，随着数字信息的普及和视频监控系统的广泛应用，视频数据源的大规模增长使得有效地从视频中提取关键信息面临着挑战。

2、传统视频图像提取方法一般是在视频图像中的文字提取、地理位置信息获取、人员数量统计等方面分别进行单独处理，并且，在视频图像提取目标位置信息时，仅考虑一种计算或提取方式，导致视频分析提取目标位置信息时，准确性以及可靠性不高。

3、针对这种问题，本发明提供了一种基于深度学习的视频分析提取方法及系统，以解决上述问题。

技术实现思路

1、本发明为了解决现有技术中存在的问题，提出了一种基于深度学习的视频分析提取方法及系统，有效解决由于现有技术造成视频信息提取的准确性以及可靠性不高的问题，有效地提高了视频信息提取的准确性以及可靠性。

2、本发明第一方面提供了一种基于深度学习的视频分析提取方法，包括：

3、获取待处理视频图像，对待处理视频图像进行预处理；

4、依次通过卷积神经网络的目标检测算法以及基于siamese网络的目标跟踪算法，连续识别预处理后的待处理视频图像中的检测目标特征，提取待处理连续帧视频图像之间检测目标的特征信息；

5、根据提取的检测目标的特征信息，对待处理连续帧视频图像中的目标进行标注，获取待处理连续帧视频图像之间检测目标的数量统计信息；

6、对已标注的待处理连续帧视频图像中的目标，根据目标的第一类型计算信息，计算待处理连续帧视频图像中的目标的第一实际位置信息；将第一实际位置信息与根据目标中第二类型计算信息得到的第二实际位置信息进行对比，如果第一实际位置信息与第二实际位置信息之间差值范围小于预设差值阈值，输出目标的第一实际位置信息以及数量统计信息，第一类型计算信息为目标中多个预设点在待处理连续帧视频图像中的移动轨迹、摄像机参数，第二类型计算信息为除第一类型计算信息以外的其他信息。

7、可选地，还包括：

8、识别预处理后的待处理视频图像中的文本图表，提取待处理视频图像中的文字信息以及图表信息，将待处理视频图像中的文字信息和/或图表信息作为第二类型计算信息；或，

9、识别预处理后的待处理视频图像中目标所在图像对应的地图点位信息，将目标所在图像对应的地图点位信息作为第二类型计算信息。

10、进一步地，当第二类型计算信息为待处理视频图像中的文字信息和/或图表信息时，所述第二实际位置信息为待处理视频图像中的文字信息和/或图表信息包括目标所对应的实际位置信息；当第二类型计算信息为目标所在图像对应的地图点位信息时，所述第二实际位置信息为目标所在图像对应的地图点位信息。

11、可选地，所述第二类型计算信息为待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息。

12、进一步地，当第二类型计算信息为待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息时，第二位置信息的获取方式具体为：

13、获取待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息；

14、根据待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息进行深度学习训练，得到位置对应关系模型，所述位置对应关系模型用于表征待处理连续帧视频图像中的目标的位置信息与待处理连续帧视频图像中的目标的像素坐标信息之间的对应关系；

15、根据待处理连续帧视频图像中的目标的实际像素坐标信息、位置对应关系模型，得到第二实际位置信息。

16、可选地，所述根据目标中第一类型计算信息，计算待处理连续帧视频图像中的目标的第一实际位置信息具体包括：

17、选取已标注的待处理连续帧视频图像中的目标中第一数量的预设点；

18、根据每个预设点在待处理连续相邻帧视频图像中的位移、摄像机内部参数，得到该预设点所在三维空间点在摄像机坐标系中的坐标；

19、根据该预设点所在三维空间点在摄像机坐标系中的坐标以及摄像机外部参数，得到该预设点所在三维空间位置坐标；

20、根据目标中多个预设点所在三维空间位置坐标，得到待处理连续帧视频图像中的目标的第一实际位置信息。

21、进一步地，根据每个预设点在待处理连续相邻帧视频图像中的位移、摄像机内部参数，得到该预设点所在三维空间点在摄像机坐标系中的坐标具体包括：

22、

23、

24、

25、其中，zci为预设点i所在三维空间点在摄像机坐标系中竖直方向坐标，xci为预设点i所在三维空间点在摄像机坐标系中水平方向坐标，yci为预设点i所在三维空间点在摄像机坐标系中垂直方向坐标，δui为预设点i在待处理连续相邻帧视频图像中的水平方向的位移，δvi为预设点i在待处理连续相邻帧视频图像中的垂直方向的位移，f为摄像机内部参数。

26、进一步地是，ui、vi需要满足以下条件：

27、ix·ui+iy·vi＝-it

28、其中，ix为预设点i在待处理连续相邻帧视频图像的水平方向上的梯度，iy为预设点i在待处理连续相邻帧视频图像的垂直方向上的梯度，ui为预设点i在待处理连续多个帧视频图像的水平方向上的位移，vi为预设点i在待处理连续多个帧视频图像的垂直方向上的位移，it为预设点i在待处理连续相邻帧视频图像随时间变化的梯度。

29、可选地，根据该预设点所在三维空间点在摄像机坐标系中的坐标以及摄像机外部参数，得到该预设点所在三维空间位置坐标具体为：

30、其中，xi为预设点i所在三维空间位置水平方向坐标，yi为预设点i所在三维空间位置垂直方向坐标，zi为预设点i所在三维空间位置竖直方向坐标，[r|t]表示摄像机外部参数矩阵，所述摄像机外部参数矩阵包括旋转矩阵r和平移向量t；

31、且，旋转矩阵r和平移向量t的取值条件为：使得对于三维空间点在摄像机坐标系下，经过摄像机外参矩阵以及内参矩阵的变换后，投影到图像平面上的像素坐标，与已知像素坐标之间的误差最小。

32、本发明第二方面提供了一种基于深度学习的视频分析提取系统，包括：

33、获取及预处理模块，获取待处理视频图像，对待处理视频图像进行预处理；

34、识别及提取模块，依次通过卷积神经网络的目标检测算法以及基于siamese网络的目标跟踪算法，连续识别预处理后的待处理视频图像中的检测目标特征，提取待处理连续帧视频图像之间检测目标的特征信息；

35、标注模块，根据提取的检测目标的特征信息，对待处理连续帧视频图像中的目标进行标注，获取待处理连续帧视频图像之间检测目标的数量统计信息；

36、计算及输出模块，对已标注的待处理连续帧视频图像中的目标，根据目标的第一类型计算信息，计算待处理连续帧视频图像中的目标的第一实际位置信息；将第一实际位置信息与根据目标中第二类型计算信息得到的第二实际位置信息进行对比，如果第一实际位置信息与第二实际位置信息之间差值范围小于预设差值阈值，输出目标的第一实际位置信息以及数量统计信息，第一类型计算信息为目标中多个预设点在待处理连续帧视频图像中的移动轨迹、摄像机参数，第二类型计算信息为除第一类型计算信息以外的其他信息。

37、本发明采用的技术方案包括以下技术效果：

38、1、本发明依次通过卷积神经网络的目标检测算法以及基于siamese网络的目标跟踪算法，连续识别预处理后的待处理视频图像中的检测目标特征，提取待处理连续帧视频图像之间检测目标的特征信息；根据提取的检测目标的特征信息，对待处理连续帧视频图像中的目标进行标注，获取待处理连续帧视频图像之间检测目标的数量统计信息；对已标注的待处理连续帧视频图像中的目标，根据目标的第一类型计算信息，计算待处理连续帧视频图像中的目标的第一实际位置信息；将第一实际位置信息与根据目标中第二类型计算信息得到的第二实际位置信息进行对比，如果第一实际位置信息与第二实际位置信息之间差值范围小于预设差值阈值，输出目标的第一实际位置信息以及数量统计信息，有效解决由于现有技术造成视频信息提取的准确性以及可靠性不高的问题，有效地提高了视频信息提取的准确性以及可靠性。

39、2、本发明技术方案中识别预处理后的待处理视频图像中的文本图表，提取待处理视频图像中的文字信息以及图表信息，将待处理视频图像中的文字信息和/或图表信息作为第二类型计算信息；当第二类型计算信息为待处理视频图像中的文字信息和/或图表信息时，所述第二实际位置信息为待处理视频图像中的文字信息和/或图表信息包括目标所对应的实际位置信息，不仅可以实现对视频图像中文字以及图表信息的提取，而且还可以根据提取的文字以及图表信息，作为目标第二实际位置信息，提高了视频提取信息的领用率。

40、3、本发明技术方案中识别预处理后的待处理视频图像中目标所在图像对应的地图点位信息，将目标所在图像对应的地图点位信息作为第二类型计算信息，当第二类型计算信息为目标所在图像对应的地图点位信息时，所述第二实际位置信息为目标所在图像对应的地图点位信息，不仅可以实现对视频图像中地图点位信息的提取，而且还可以将目标所在图像对应的地图点位信息，作为目标第二实际位置信息，提高了视频提取信息的领用率。

41、4、本发明技术方案中第二类型计算信息还可以为待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息，当第二类型计算信息为待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息时，第二位置信息的获取方式具体为：获取待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息；根据待处理连续帧视频图像中的目标的历史位置信息以及待处理连续帧视频图像中的目标的历史像素坐标信息进行深度学习训练，得到位置对应关系模型；根据待处理连续帧视频图像中的目标的实际像素坐标信息、位置对应关系模型，得到第二实际位置信息，可以根据待处理连续帧视频图像中的目标的像素坐标信息确定目标的第一实际位置信息，提高了视频信息提取的准确性以及可靠性。

42、5、本发明技术方案中基于深度学习，通过对视频中的文字、图表数据、地图点位、轨迹信息、人员数量、实际位置等信息的准确提取、计算，实现了高效、准确和智能化的视频数据处理。

43、应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本发明。