一种快速的视频浓缩生成方法、系统及存储介质与流程

本发明涉及视频传输，尤其是涉及一种快速的视频浓缩生成方法、系统及存储介质。

背景技术：

1、城市公共场所往往有成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频需要监控管理平台处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。

2、首先，需要对所有的视频录像进行诸秒浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。

3、其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。

4、理想情况是一旦有重要事件发生，系统就可在事后能快速查找到线索。针对上述海量监控视频录像的事后分析，传统以人海战术为主的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。

技术实现思路

1、鉴于以上问题，本发明提供了一种快速的视频浓缩生成方法、系统及存储介质，不仅能够减轻专业巡控队伍和系统维护人员的工作负荷，而且这些视频分析功能的实现和应用将大大提高监控效率。

2、为了实现上述目的及其他相关目的，本发明提供的技术方案如下：

3、一种快速的视频浓缩生成方法，所述方法包括：

4、u1.采集图像数据信息，进行图像的裁剪、剔除重复的图片和图像增强处理，输出处理后的图像数据信息；

5、u2.基于所述处理后的图像数据信息，采用opencv图像处理算法进行图像背景的提取和平滑处理，输出平滑处理后的图像背景数据信息；

6、u3.基于所述处理后的图像数据信息，采用yolov5算法对图像中的多个目标进行跟踪，并结合deepsort算法进行检测和id编号，输出多目标图像数据信息和id编号数据信息；

7、u4.基于所述多目标图像数据信息和所述平滑处理后的图像背景数据信息，采用泊松算法按照所述id编号数据信息进行图像融合，输出浓缩后的图像数据信息。

8、进一步的，在步骤u2中，所述采用opencv图像处理算法进行图像背景的提取和平滑处理包括：

9、u21.基于所述处理后的图像数据信息，采用cv.getbackgroundi mage()函数进行图像背景的提取，输出图像背景数据信息；

10、u22.基于所述图像背景数据信息，采用cv2.gaussianblur()函数进行平滑处理，输出平滑处理后的图像背景数据信息。

11、进一步的，所述cv.getbackgroundimage()函数为将所述处理后的图像数据信息进行像素化处理，得到每个像素的三维坐标数据信息，根据预设坐标阈值对每个像素的三维坐标进行选取，从而得到图像背景的数据信息。

12、进一步的，所述cv2.gaussianblur()函数为，

13、

14、其中，(xi,yi,zi)为第i个图像背景像素的坐标，为图像背景像素的横向坐标均值，为图像背景像素的纵向坐标均值，为图像背景像素的z向坐标均值，n为图像背景像素坐标采样总数。

15、进一步的，所述图像背景像素的横向坐标均值x、纵向坐标均值y和z向坐标均值z分别为，

16、

17、其中，(xi,yi,zi)为第i个图像背景像素的坐标，n为图像背景像素坐标采样总数。

18、进一步的，在步骤u3中，所述采用yolov5算法对图像中的多个目标进行跟踪，并结合deepsort算法进行检测和id编号包括：

19、u31.将所述处理后的图像数据信息进行mosaic数据增强，并进行自适应图片锚框计算和自适应图片放缩，输出初步处理后的图像数据信息；

20、u32.将所述初步处理后的图像数据信息输入focus网络模型进行图片特征提取，得到图片特征数据信息，将所述图片特征数据信息输入csp网络模型进行目标检测，输出图像的目标检测数据信息；

21、u33.将所述图像的目标检测数据信息输入fpn_pan网络模型进行目标筛选框的预测，得到多目标的预测筛选框数据信息；

22、u34.基于所述多目标的预测筛选框数据信息，提取多目标的特征数据信息，并计算前后两帧的相似度矩阵数据信息；

23、u35.基于所述前后两帧的相似度矩阵数据信息，根据数据关联，为每个对象分配目标id，输出多目标的id编号数据信息和图像数据信息。

24、进一步的，在步骤u4中，所述采用泊松算法按照所述id编号数据信息进行图像融合包括：

25、u41.基于所述多目标图像数据信息、所述平滑处理后的图像背景数据信息和所述id编号数据信息，建立图像融合数组q(p,x1i,y1i,z1i,x2i,y2i,z2i)，其中，p为id编号，p＝1,2,3,...n,i＝1,2,3,...,n，(x1i,y1i,z1i)为多目标图像数据的坐标信息，(x2i,y2i,z2i)为平滑处理后的图像背景数据信息；

26、u42.基于所述图像融合数组q(p,x1i,y1i,z1i,x2i,y2i,z2i)，建立多目标融合函数v，

27、

28、其中，ɑ1i、ɑ2i、ɑ3i、ɑ4i、ɑ5i和ɑ6i为权重系数；

29、u43.基于所述多目标融合函数v，输出浓缩后的图像数据信息。

30、为了实现上述目的及其他相关目的，本发明还提供了一种用于实现任一项所述的快速的视频浓缩生成方法的系统，所述系统包括：数据获取模块，用于获取图像数据信息，

31、图像背景提取模块，与所述数据获取模块连接，用于提取图像数据信息中的背景图像数据信息；

32、多目标图像检测模块，与所述数据获取模块连接，用于得到多目标图像数据信息和id编号数据信息；

33、图像数据融合模块，与所述图像背景提取模块连接，与所述多目标图像检测模块连接，用于进行图像的融合。

34、进一步的，所述系统还包括显示模块，与所述图像融合模块连接，用于显示图像融合后的图像数据信息。

35、为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述的快速的视频浓缩生成方法的计算机程序。

36、本发明具有以下积极效果：

37、1.本发明采用opencv图像处理算法进行图像背景的提取和平滑处理，与此同时，采用yolov5算法对图像中的多个目标进行跟踪，并结合deepsort算法进行检测和id编号，对图像进行深度检测和识别，不仅能够对图像中的目标进行跟踪检测，而且为后续图像的浓缩提供有效的支撑。

38、2.本发明采用泊松算法按照所述id编号数据信息进行图像融合，得到图像浓缩数据信息，不仅能够减轻专业巡控队伍和系统维护人员的工作负荷，而且这些视频分析功能的实现和应用将大大提高监控效率。