基于监控平台的视频智能剪辑方法与流程

本发明属于安防方面的智能视频监控领域，具体来说属于一种基于现有监控平台的视频早期智能处理技术。

背景技术：

传统的安防领域中，相关工作人员需要对视频进行一遍遍的反复查看才能在某个细节中发现一些有利的线索，从而根据这些线索进一步的对视频进行分析和处理，这样的过程对相关工作人员的要求很高，需要工作人员目不转睛的关注屏幕，精神需要高度集中，使得相关人员的工作强度过大；另一方面，人的注意力专注度是有一定的时间周期的，达到一定的时间长度以后，人就会出现精神不集中的情况，这样就很有可能导致视频中含有较高价值信息的关键帧被忽视掉，无法达到最初的目的和需求。

基于这样的现状，如果能通过一些有效的算法对一些较为冗长的监控视频进行初步的剪辑处理，缩短视频长度，再交给相关工作人员做进一步的处理，这样既可以大大减轻工作人员的负担，又可以提高办事效率。

随着图像模式识别，计算机视觉等技术的不断发展，各种智能算法不断被提出，近几年来，机器学习、深度学习也愈加受人关注，并吸引越来越多的人投身其中，相关研究也不断深入。对视频中的人物进行分析，前提是对视频中的人物进行初步检测，而目前存在的一些人员检测算法为解决实际的工程问题提供了有力的理论支持。目前人体检测的常用方法为提取人体关键特征和训练对应分类器，早期的经典传统方法为dalal等人设计的梯度直方图特征和svm分类器的组合，这种方法促进了行人检测领域的突破性进展，类似的，对应的还有lbp、harr等特征，以及adaboost分类器、神经网络等方法设计的分类器。此外，当前对人的检测这一领域大部分为行人检测，而且基本上为处于平行视角的行人，人体轮廓比较完整，但由于实际中单目摄像头的位置固定，从行人进入摄像头的监控领域到走出摄像头的监控领域，行人的轮廓不一定总是完整的，有时候只有部分人体出现在监控视频中，而且，随着距离的变化，视频中的人体图像大小不一，这时候仅仅使用某种单一的分类器恐怕无法满足实际的需求。针对这种情况，如果能设计出可以适应监控视频中多种环境的人体检测分类器，通过达到更高的人员目标检测率而保留更多的关键帧，就可以较好的保证剪辑处理后的视频质量。

同时，我国对于智能安防领域的关注也日益深入，视频监控系统遍布在生产生活中，而对得到的监控视频进行进一步的分析处理就成为了一项重要任务。通过使用一种较为有效的人员检测算法对视频进行早期剪辑处理，可以大大的减轻工作人员的工作负担，并大大缩短视频的分析周期，提高相关部门的办事效率，这对于智能安防领域来说具有一定意义。

技术实现要素：

本发明的目的在于克服现有安防领域中分析处理监控视频的高人力成本的不足，提供一种基于现有的监控平台，可以对视频进行智能剪辑处理的方法，技术方案如下：

一种基于监控平台的视频智能剪辑方法，包括下列的步骤：

1)输入视频，逐帧读取视频，将所有视频帧归一化成统一大小，然后对视频帧进行预处理，以便后续步骤进一步处理；

2)对预处理后的视频帧，提取运动前景，并统计帧中的运动前景点个数；

3)对前景点个数进行阈值处理，保留前景点个数大于阈值的视频帧，排除前景点个数过少的视频帧；

4)对保留下来的符合阈值条件的视频帧提取其运动前景轮廓，对运动前景轮廓进行适当的形态学处理，然后绘制其边界矩形框，根据实际中的检测需求，采取适当放大其边界矩形框的策略，矩形框的宽度放大1.1倍，矩形框的高度放大1.2倍；

5)对得到的运动前景边界矩形框进行进一步处理，计算运动前景边界矩形框的面积和宽高比，如果运动前景边界矩形框面积过小或者形状比例不符合人体的一般特征，则排除该运动前景，进而排除该视频帧；

6)综合以上的判断分析，初步保留了一部分疑似含有人员的视频帧，统计其数量，如果统计后的帧数过少，则不再进行后面的视频剪辑处理，保存为原视频；反之，则继续多尺度扫描输入的每一视频帧图像，运用预训练的人体检测组合分类器对其进行检测并判断，将判断为包含人体的视频帧确定为视频关键帧；

此处，预训练的人体检测组合分类器如下：

对输入的每一视频帧图像先进行多尺度扫描，然后，通过采用可适应监控视频中多种环境的人体检测组合分类器，人体检测组合分类器包括了人体上半身检测级联分类器和人体下半身检测级联分类器，人体上半身检测级联分类器包含了人体的头肩部分以及对应的人体框架结构信息，可以保证较高的人体检测率，当视频图像中仅存在部分人体，尤其是不存在人体头部信息的时候，采用下半身检测级联分类器则可以弥补其不足；

7)考虑到视频帧之间的信息相关性，将前面步骤得到的视频关键帧进行前后扩展多帧处理，然后将这些经过扩帧处理后的视频关键帧的对应帧号全部存储在同一个关键帧号队列中；

8)重新逐帧读取原视频，判断每一视频帧的帧号是否存在于前面得到的关键帧号队列中，若存在，则对应保留该视频关键帧，最终将这些保留下来的视频关键帧重新组合为一个新视频保存下来。

本发明不依赖于视频帧图像的色彩信息，夜间的监控视频也可以处理，通过较为完整的将绝大部分包含人员的视频关键帧保存下来，合理的去除无较大分析价值的视频帧，缩短了视频长度，有效实现了视频的早期剪辑处理，大大减轻了工作人员的工作负担，降低了人力成本，提高了效率。

附图说明

图1为本发明方法所搭载的视频监控系统框图

图2为本发明方法所设计的人体检测系统框图

图3为本发明方法所设计的人体检测系统的部分测试结果图

图4为本发明方法的流程图

具体实施方式

现有的安防领域中对待视频监控系统的一般处理架构为：由模拟摄像机拍摄的画面经过线缆一部分直接传给监视器显示，另一部分传给硬盘录像机。进入硬盘录像机的模拟信号转变为数字码流，一方面进行编码,以文件形式存储在硬盘录像机内；另一方面,可通过网络随时连接硬盘录像机,提取码流进行显示、分析。具体如图1所示。基于本发明提出的方法所形成的视频早期处理软件,是通过提取存储在硬盘录像机中经过转码后的视频文件，然后对该视频进行预处理，输入人体检测系统，通过逐帧的多尺度扫描视频帧图像并使用预训练的人体检测组合分类器进行检测，将判定为包含人员的视频帧保留下来作为关键帧，并对其适当扩帧，将经过扩帧处理后的关键帧重新组合成新视频，通过去除无较大分析价值的视频帧，缩短了视频长度，有效实现了视频的早期智能剪辑处理。

本发明方法具体如图4所示。

下面对各个部分进行详细说明：

1.视频帧预处理

考虑到计算效率的问题，对读取的视频帧进行归一化处理，统一处理成cif格式大小，由于监控视频很多是夜间视频，所以将视频帧由rgb信号转换成灰度图格式，这样便可以不依赖于色彩信息，并进行适当的直方图均衡处理避免因视频帧亮度突变造成的干扰。

2.运动前景提取

本方案中采取的是混合高斯模型的前景提取方法，通过进行背景建模和适时的背景更新，并对提取的运动前景进行适当的形态学滤波处理，包括了膨胀腐蚀等处理，可以得到较为完整的运动前景。

3.前景点统计与处理

统计提取到的运动前景中的前景点个数，并对其进行适当的阈值约束，舍弃包含前景点个数过少的视频帧。

4.运动前景轮廓提取

对保留下来的符合条件的视频帧提取其运动前景轮廓，对其进行适当的形态学处理，然后绘制其边界矩形框，根据实际中的检测需求，采取适当放大其边界矩形框的策略，矩形框的宽度放大约1.1倍，矩形框的高度放大约1.2倍，这样可以使后续的分类器检测步骤检测率更高，提高精度；

5.视频帧预选取

对得到的运动前景边界矩形框进行进一步处理，计算其面积和大小比例，如果运动前景边界矩形框面积过小或者形状比例不符合人体的一般特征，则排除该运动前景，进而排除该视频帧；

6.分类器检测

综合以上的判断分析，初步保留了一部分疑似含有人员的视频帧，统计其数量，如果统计后的帧数过少，则不再进行后面的视频剪辑处理，保存为原视频；反之，则继续将其输入到后面的人体检测系统中，多尺度扫描输入的每一视频帧图像，运用已经训练好的人体检测分类器对其进行检测并判断，将判断为包含人体的视频帧确定为视频关键帧。

此处，预训练好的人体检测分类器设计过程如图2所示。

下面对各个部分进行详细说明：

考虑到实际监控视频中人体的轮廓信息不一定完整且人体的轮廓大小不一，本文采取了以下方案：对输入的每一视频帧图像先进行多尺度扫描，然后，通过采用设计的可适应监控视频中多种环境的人体检测组合分类器，达到较高的人体检测率，将大部分的视频关键帧较为完整的保存下来。

出于对视频处理时间的考虑，本文采取的是级联分类器的策略，具体而言，人体检测组合分类器包括了人体上半身检测级联分类器和人体下半身检测级联分类器。人体上半身检测级联分类器包含了人体的头肩部分以及对应的人体框架结构信息，可以保证较高的人体检测率，不过，当视频图像中仅存在部分人体，尤其是不存在人体头部信息时，采用下半身检测级联分类器则可以弥补其不足。

具体而言，本文采用了梯度直方图特征提取和级联adaboost算法设计组合分类器的方案。级联adaboost算法是将多个强分类器级联，而其中的每个强分类器又是由多个弱分类器组合而成的，本文设计的两种级联分类器均设定为18级。通过训练大量的正负样本初步得到了性能较好的人体上半身检测级联分类器和下半身检测级联分类器，然后将这两种分类器组合后作用于测试集上，分析测试结果。根据测试结果，本文对应的增加与完善了正负样本，包括多种视角的人体上半身正样本和易造成干扰的负样本，比如树木、建筑、电线杆、路障等，提高了样本的多样性，有效的提升了分类器性能，提高了检测率，降低了误报率。

总的来说，通过多尺度扫描视频帧图像并使用人体检测组合分类器，可以将原视频中绝大部分包含人员的关键帧较完整的保存下来，有效的保证了剪辑处理后的视频质量。

7.关键帧存储

考虑到视频帧之间的信息相关性，将前面步骤得到的视频关键帧进行前后扩展15帧处理，然后将这些经过扩帧处理后的视频关键帧的对应帧号全部存储在同一个关键帧号队列中；

8.重组为新视频

重新逐帧读取原视频，判断每一视频帧的帧号是否存在于前面得到的关键帧号队列中，若存在，则对应保留该视频关键帧，最终将这些保留下来的视频关键帧重新组合为一个新视频保存下来。通过较为完整的保留了含有关键信息的视频关键帧，去除了无较大分析价值的视频帧，缩短了视频长度，有效实现了视频的早期智能剪辑处理。