片段-自适应的监控视频浓缩方法

本申请涉及目标检测跟踪和图像视频处理，具体涉及一种片段-自适应的监控视频浓缩方法。

背景技术：

1、随着智慧城市的不断发展，监控摄像头的数量越来越多，覆盖的范围越来越广，使公民的安全得到进一步的保障。与此同时，大量的摄像头24小时不间断的运转，产生的视频数据越来越庞大，对于数据的保存以及从海量数据中查询到想要的数据变得尤为困难。基于此，大量科研人员在对保证视频主要内容不丢失的情况下压缩视频长度投入较多了研究，视频快进，视频描述，视频摘要和视频浓缩等方法层出不穷。其中，视频浓缩技术能够动态的对视频中的目标轨迹进行移动，在保证用户观感体验的同时压缩视频长度。

2、视频浓缩，又称基于目标的视频摘要技术，该技术首先从输入视频中提取背景图像；其次通过目标检测和跟踪技术提取目标轨迹；然后通过优化重组目标轨迹得到新的时间标签；最后按照新的时间标签将目标轨迹与背景进行融合，进而生成浓缩视频。

3、当前的工作基本是通过构建处理单元和添加约束条件等方法来进行的。处理单元可以分为单目标和多目标两大类。单目标方法不能够保留目标之间的交互性导致丢失原视频交互语义，多目标作为处理单元的方法在保留目标之间的交互行为上能够得到更好的结果，但是现有方法不能准确的提取多目标单元。li等结合空间距离和固定阈值来判断目标之间的交互行为，由于没有考虑到目标的移动方向以及使用固定阈值，当目标的移动方向有较大的变化时判断结果较差。namitha等在此基础上采用最小空间距离的方法来判断交互行为，但是此方法没有考虑交互时长，对一些接触时间短的目标可能会判断错误。因此保留交互行为的视频浓缩方法还有较大的发展空间。

4、为了提升浓缩视频的视觉效果，研究者们会在优化过程中添加各种各样的约束条件。但无论是着重考虑某个约束条件或者综合考虑多个约束条件，多是在场景稀疏下会获得不错的浓缩效果。然而真实场景中，不少监控视频既有拥挤活动，也有稀疏活动，而且拥挤程度是实时变化的。li等提出了群划分算法和基于群的贪心算法用来解决复杂场景的监控视频浓缩，但是该方法的重点在于交互行为的判定，忽略了对视频拥挤程度的判断。当面对复杂场景的监控视频时，目标遮挡以及现有预处理方法的局限，会出现目标轨迹断裂或者丢失的情况。

技术实现思路

1、鉴于此，本发明提供一种片段-自适应的监控视频浓缩方法，能够有效解决浓缩视频在复杂场景下效果不好，目标交互性未保留等问题。

2、本发明的技术方案如下：

3、一种片段-自适应的监控视频浓缩方法，包含以下步骤：

4、s1:逐帧分析输入视频中移动目标个数和空间占比将视频划分为拥挤和稀疏片段；

5、s2:保留目标之间的交互行为；

6、s3:控制碰撞约束、空间占比约束、交互约束和时序约束给片段安排新的时间标签；

7、s4:结合背景和新的标签生成浓缩视频。

8、可选地，逐帧分析输入视频中目标个数，包括：

9、统计每一帧移动目标检测框的个数。

10、可选地，逐帧分析输入视频空间占比，包括：

11、将视频划分为上、中上、中、中下和下5个部分；

12、计算所有目标的平均高度，将其划分到5个部分中的一种；

13、根据目标平均高度设定目标个数阈值以及空间占比阈值；

14、将每一帧的目标个数和空间占比与阈值进行比较，将帧划分为拥挤帧或者稀疏帧；

15、连续的拥挤帧或稀疏帧当作片段处理；

16、保留一些被中断的目标轨迹，延展拥挤片段。

17、可选地，保留目标之间的交互行为，包括：

18、设计交互性判断方法，包括：

19、求目标之间每一帧的空间距离，记做d(ti，tj，f)，将其与两目标的平均高度相除与距离参数1.17进行比较；

20、距离参数小于1.17则距离满足参数g(d(ti，tj，f))记做1，反之记为0；

21、计算目标之间的方向，若目标在移动方向上保持一致，则方向参数fi(ti，tj)记为1，反之记为0；

22、若目标方向参数为0且距离满足参数小于fps，则目标之间无交互性；

23、若目标方向参数为1且大于交互阈值tv(t)则目标间有交互性，其中tv(t)计算公式如下：

24、

25、式中m表示ti管的持续时间；每秒传输帧数(fps)表明视频每秒钟提供的信息量；m代表中目标管的数量。

26、可选地，控制碰撞约束和空间占比约束，包括：

27、设计由碰撞概率模型和密度概率模型组合而成的标记计算模型，碰撞概率模型能减少目标之间的碰撞，密度碰撞模型能控制目标的空间占比。

28、可选地，控制交互约束，包括：

29、使用交互性判断方法保留目标之间的交互性。

30、可选地，控制时序约束，包括：

31、将所有片段按照第一个目标出现顺序进行排序。

32、可选地，结合背景和新的标签生成浓缩视频，包括：

33、提取视频背景图像。

技术特征：

1.一种片段-自适应的监控视频浓缩方法，其特征在于包括如下步骤：

2.如权利要求1所述片段-自适应的监控视频浓缩方法，其特征在于分析输入视频目标数量阈值以及空间占比阈值，公式如下：

3.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于将视频划分为拥挤片段和稀疏片段，公式如下：

4.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于保留中断的轨迹；

5.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于结合目标之间的空间距离和移动方向来综合判断并保留稀疏片段中目标之间的交互行为。

6.如权利要求5所述保留交互行为的方法，其特征在于当目标相对静止时特殊处理，接触时长大于fps时也会判断为具有交互行为。

7.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于综合碰撞约束、交互约束、时序约束和空间占比约束安排片段新的时间标签；

8.如权利要求7所述的碰撞约束，其特征在于平衡碰撞与浓缩视频长度，公式如下：

9.如权利要求7所述的时序约束通过将所有的片段按照片段时间出现顺序进行重排来实现。

10.如权利要求7所述的控制空间占比约束，其特征在于控制目标占视频背景的比例，设定空间占比阈值为0.5。

技术总结
本发明公开了一种片段‑自适应的监控视频浓缩方法，涉及目标检测跟踪和图像视频处理技术领域。发明方法包括以下步骤：检测并跟踪监控视频中的移动目标，获得它们的运动轨迹；采用目标数量和空间占比双参数将视频划分为稀疏和拥挤片段；保留划分片段时被中断的轨迹延展拥挤片段，使得片段划分更加准确；结合方向和空间距离因素判断稀疏片段中目标的交互行为，保留原视频的交互语义信息；为提升视觉效果，综合碰撞、交互、时域和空间占比多种约束对片段进行排列，安排最优时间标签；将视频背景和新时间标签进行融合生成浓缩视频。所述方法能够精准保留目标交互行为并且能够极大缩短浓缩视频长度以及减少产生的碰撞。

技术研发人员：张云佐,朱鹏飞,刘亚猛,康伟丽,郑宇鑫,武存宇,张天,王双双,杨月辉
受保护的技术使用者：石家庄铁道大学
技术研发日：
技术公布日：2024/1/13