视频浓缩方法、装置、设备及存储介质与流程

本发明涉及视频处理，具体涉及视频浓缩方法、装置、设备及计算机可读存储介质。

背景技术：

1、目前，在合成浓缩视频时，主要采用对基于视频提取的运动目标图片以及背景图片进行融合，以生成浓缩视频，这种方法虽然能在大部分情况下使背景图片与运动目标图片拼接处亮度过渡更加自然。但是，在基于视频浓缩技术处理长视频的过程中，往往会遇到视频中背景亮度变化较大的场景，若背景图片与运动目标图片的亮度差异较大，则会导致合成的视频帧存在较为明显的贴图感，造成视频浓缩效果较差。

技术实现思路

1、有鉴于此，本发明提供了一种视频浓缩方法、装置、设备及存储介质，以解决视频浓缩效果较差的问题。

2、第一方面，本发明提供了一种视频浓缩方法，所述方法包括：

3、获取待浓缩视频，并将所述待浓缩视频划分为多个视频片段；

4、对每个所述视频片段进行目标检测和跟踪，得到每个所述视频片段中各个目标对象在对应视频帧中的前景图片信息以及位置信息；

5、对每个所述视频片段进行背景建模，生成至少一个背景图片，并记录各个所述背景图片对应的帧区间；

6、基于所述背景图片对应的帧区间、所述前景图片信息以及所述位置信息确定融合至各个所述背景图片中的目标前景图片，并在融合过程中，基于所述背景图片与对应的所述目标前景图片的位置信息对应区域的颜色属性值，对所述目标前景图片的颜色属性值进行调整，以得到融合视频。

7、在该方式中，基于背景图片对应的帧区间、前景图片信息以及位置信息确定融合至各个背景图片中的目标前景图片，在融合过程中，基于背景图片与对应的目标前景图片的位置信息对应区域的颜色属性值，对目标前景图片的颜色属性值进行调整，以得到融合视频，由于背景图片是基于对应帧区间内的视频帧建模生成的，而前景图片是从视频帧中直接提取的，且各个视频片段的前景图片和背景图片是统一排序并进行融合处理的，因此，前景图片和背景图片之间的颜色属性值会存在差异，通过对前景图片基于背景图片的融合的区域的颜色属性值进行调整，能够使目标前景图片与背景图片融合得更加自然，以确保视频浓缩效果。

8、在一种可选的实施方式中，所述基于所述背景图片与对应的所述目标前景图片的位置信息对应区域的颜色属性值，对所述目标前景图片的颜色属性值进行调整，包括：

9、若所述目标前景图片对应的视频帧不位于对应的所述背景图片的帧区间内，则基于所述目标前景图片的位置信息确定融合至对应的所述背景图片的目标区域，并基于对应的所述背景图片中所述目标区域的颜色属性值的均值，确定所述目标前景图片对应的目标颜色属性值；

10、将所述目标前景图片的颜色属性值调整为对应的所述目标颜色属性值。

11、在该方式中，在目标前景图片对应的视频帧不位于对应的所述背景图片的帧区间内时，基于目标前景图片的位置信息确定融合至对应的背景图片的目标区域，将目标前景图片的颜色属性值调整为对应的背景图片中目标区域的颜色属性值的均值，因此能够使目标前景图片与背景图片融合时更加平滑，画面过渡自然，由于背景图片是基于对应帧区间内的视频帧建模生成的，因此，相对来说，在该背景图片对应的帧区间内的前景图片和背景图片的差异相对较小，仅针对视频帧未落入对应的背景图片帧区间内的目标前景图片的颜色属性值进行调整，在保证融合效果的同时能够提高融合效率。

12、在一种可选的实施方式中，所述对每个所述视频片段进行背景建模，生成至少一个背景图片，并记录各个所述背景图片对应的帧区间，包括：

13、对于各个所述视频片段，从起始帧开始对所述视频片段的视频帧进行帧差处理，确定所述视频帧中的背景区域以及目标活动区域，所述起始帧为所述视频片段的第一个视频帧或者上一背景图片的结束帧的下一视频帧；

14、构建所述背景区域以及所述目标活动区域分别对应的高斯分布子模型并分别初始化不同模型权重，所述背景区域的高斯分布子模型的模型权重大于所述目标活动区域的高斯分布子模型的模型权重；

15、基于所述视频帧在所述目标活动区域的像素值，对所述目标活动区域对应的所述高斯分布子模型及其模型权重进行更新；

16、当所述视频帧不存在活动目标对象或者所述背景区域以及所述目标活动区域对应的高斯分布子模型的模型权重满足预设稳定条件时，生成所述背景图片并记录所述背景图片对应的帧区间，所述帧区间为所述起始帧到当前视频帧的帧区间。

17、在该方式中，对于各个视频片段，从起始帧开始对视频片段的视频帧进行帧差处理，确定视频片段中的大致背景区域以及活动目标对象的目标活动区域。然后再构建背景区域以及目标活动区域分别对应的高斯分布子模型并分别初始化不同模型权重；先通过帧差处理确定大致背景区域和目标活动区域，然后在此基础上考虑到在时间相对较短的视频片段内，背景区域的像素值变化不大，而目标活动区域的像素值变化较大的特点，对不同区域设置不同的模型权重，并基于视频帧在目标活动区域的像素值，对目标活动区域对应的高斯分布子模型及其模型权重进行更新，能够有效提高背景图片的生成效率，有利于在对待浓缩视频进行切片后，切片视频片段时间较短时也能生成干净的背景图片，以提高视频浓缩效果。

18、在一种可选的实施方式中，所述目标活动区域包括多个像素块，每个所述像素块设有对应的高斯分布子模型以及对应的模型权重；所述基于所述视频帧在所述目标活动区域的像素值，对所述目标活动区域对应的所述高斯分布子模型及其模型权重进行更新，包括：

19、基于所述像素块的像素值，从每个所述像素块对应的高斯分布子模型中，确定匹配的第一目标高斯分布子模型以及不匹配的第二目标高斯分布子模型；

20、基于所述像素块的像素值的均值以及方差，将每个所述像素块对应的所述第一目标高斯分布子模型进行更新并增大所述第一目标高斯分布子模型的模型权重；

21、基于所述像素块的像素值的均值以及方差，构建新的高斯分布子模型，以替换对应的所述第二目标高斯分布子模型并对其模型权重进行初始化。

22、在该方式中，对于与目标活动区域的像素块匹配的第一目标高斯分布子模型，基于目标活动区域的像素块的像素值的均值以及方差，将第一目标高斯分布子模型进行更新并增大第一目标高斯分布子模型的模型权重；对于与目标活动区域的像素块不匹配的第二目标高斯分布子模型，基于目标活动区域的像素块的像素值的均值以及方差，构建新的高斯分布子模型，以替换第二目标高斯分布子模型并对其模型权重进行初始化。针对不同的高斯分布子模型采用不同的更新方式，能够使像素块对应的高斯分布子模型在较短时间内稳定下来，以在较短的时间内生成干净的背景图片，从而进一步确保融合视频的视频效果。

23、在一种可选的实施方式中，所述前景图片信息包括前景图片的时序信息，所述基于所述背景图片对应的帧区间、所述前景图片信息以及所述位置信息确定融合至各个所述背景图片中的目标前景图片，包括：

24、基于各个所述背景图片的帧区间对应的时序信息，依次从所述背景图片中选择用于融合的目标背景图片；

25、基于所述前景图片的时序信息以及位置信息，依次计算待融合的前景图片与所述目标背景图片内其他目标前景图片之间的位置重合度；

26、将所述位置重合度小于或等于预设阈值的所述前景图片作为所述目标背景图片对应的目标前景图片。

27、在该方式中，基于前景图片的时序信息以及位置信息，依次计算待融合的前景图片与目标背景图片内其他目标前景图片之间的位置重合度，将位置重合度小于或等于预设阈值的前景图片作为目标背景图片对应的目标前景图片，因此，能够在尽可能展示目标对象的行为活动的同时，避免融合视频单个视频帧内的目标前景图片过密，影响融合视频的展示效果。

28、在一种可选的实施方式中，所述基于所述前景图片的时序信息以及位置信息，依次计算待融合的前景图片与所述目标背景图片内其他目标前景图片之间的位置重合度，包括：

29、基于所述前景图片的时序信息依次获取当前前景图片，并基于所述当前前景图片对应的位置信息计算所述当前前景图片与所述目标背景图片中其他目标前景图片的位置重叠面积，以及将所述当前前景图片添加至所述目标背景图片后所述目标背景图片内的目标总面积；

30、基于所述位置重叠面积与所述目标总面积的比值，得到所述当前前景图片对应的位置重合度。

31、在该方式中，基于前景图片的时序信息依次获取当前前景图片，并基于当前前景图片对应的位置信息计算当前前景图片与目标背景图片中其他目标前景图片的位置重叠面积，以及将当前前景图片添加至所述目标背景图片后目标背景图片内的目标总面积，以得到当前前景图片对应的位置重合度，因此，能够在融合过程中，基于位置重合度确定是否需要继续将当前前景图片添加至对应的目标前景图片中，以进一步避免融合视频的视频帧内的目标前景图片过密或使得融合视频的视频帧内的前景图片数量符合视频浓缩的实际需求。

32、在一种可选的实施方式中，所述对每个所述视频片段进行目标检测和跟踪，得到每个所述视频片段中各个目标对象在对应视频帧中的前景图片信息以及位置信息，还包括：

33、获取每个所述视频片段进行目标检测和跟踪得到的前景图片和掩码图片；

34、将所有所述视频片段对应的所述前景图片和所述掩码图片存储在同一个目标文件中，并将各个所述前景图片在所述目标文件中的起始地址作为对应的索引偏移；

35、将所述前景图片对应的所述位置信息及所述索引偏移存储至数据库，以便在融合过程中基于所述索引偏移、所述位置信息从所述目标文件中读取所述前景图片。

36、在该方式中，将所有视频片段对应的前景图片和掩码图片均存储在同一个目标文件中，能够提升读写速度，节约存储空间。同时，将前景图片在目标文件中的起始地址作为对应的索引偏移，将前景图片对应的位置信息及索引偏移存储至数据库，因此能够根据位置信息以及索引偏移快速查找感兴趣的目标对象对应的前景图片，提高感兴趣的目标对象对应的视频浓缩效率。

37、第二方面，本发明提供了一种视频浓缩装置，所述装置包括：

38、视频获取模块，用于获取待浓缩视频，并将所述待浓缩视频划分为多个视频片段；

39、目标分析模块，用于对每个所述视频片段进行目标检测和跟踪，得到每个所述视频片段中各个目标对象在对应视频帧中的前景图片信息以及位置信息；

40、背景建模模块，用于对每个所述视频片段进行背景建模，生成至少一个背景图片，并记录各个所述背景图片对应的帧区间；

41、视频融合模块，用于基于所述背景图片对应的帧区间、所述前景图片信息以及所述位置信息确定融合至各个所述背景图片中的目标前景图片，并在融合过程中，基于所述背景图片与对应的所述目标前景图片的位置信息对应区域的颜色属性值，对所述目标前景图片的颜色属性值进行调整，以得到融合视频。

42、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的视频浓缩方法。

43、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的视频浓缩方法。