基于对象的监控视频浓缩方法与流程

本发明涉及一种基于对象的监控视频浓缩方法，属于视频图像处理及模式识别技术领域。

背景技术：

随着视频监控技术的发展，为降低监控成本，提高监控效率，监控视频浓缩技术应运而生，视频监控浓缩是通过在时间及空间上压缩原始视频，使浓缩后视频长度远短于原始视频的视频概要，现有的监控视频浓缩方法主要有以下两种：

一种是自适应抽帧法，先通过背景建模分离出监控视频中的活动前景，以限定的浓缩条件丢弃或保留特定的帧，如丢弃活动率低及不感兴趣的帧，保留活动率比较高且用户感兴趣的帧，保留某些视频片段以代表视频内容，浓缩条件例如可以是声音、摄像头的运动、物体的运动、颜色等信息；该方法的问题是：难以满足所有用户的需求，当遇到长时间存在活动前景的视频时浓缩率不高。

第二种是基于关键帧的方法，任意或按照一定标准选取关键帧，例如根据事件或目标行为变化界定关键帧，前者对比当前帧与上一关键帧的全局变化幅度判定当前帧是否为新事件的起始帧，后者根据当前帧活动物体的特征与上一关键帧特征的距离大小决定该帧是否为新关键帧。该方法的问题是：提取的关键帧过少时，浓缩视频会丢失原始视频中很多重要的动态信息，而提取的关键帧过多时，无法达到良好的视频浓缩效果。

技术实现要素：

鉴于上述原因，本发明的目的在于提供一种基于对象的监控视频浓缩方法，通过对处于不同时间、空间的对象进行浓缩处理，提高监控视频的浓缩率。

为实现上述目的，本发明采用以下技术方案：

一种基于对象的监控视频浓缩方法，包括以下步骤：

s1：从监控视频中提取背景图像和包含活动目标的前景掩膜图像，将该背景图像保存于数据库中，并从该前景掩膜图像分离出前景图像；

s2：将前景图像按照对象进行分类，并为不同类的对象分配对应且唯一的对象编号；

s3：针对一前景区间中的若干前景图像，根据对象的位置及颜色信息，计算同一对象的运动方向值、主颜色，并将计算结果及前景图像保存入数据库；该前景区间指示连续的多个前景图像；

s4：根据浓缩策略，从该数据库中获取相应对象的前景图像及背景图像，合成浓缩后的视频。

所述步骤s1中，从所述前景掩膜图像中分离所述前景图像的方法是：

将所述前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，该矩形框确定的区域为所述前景图像，该掩膜图像为所述前景掩膜图像中像素值为255的点所形成的连通域。

所述步骤s2中，包括：

s21：从所述前景图像中提取rgb直方图作为识别特征；

s22：从所述前景图像中提取lbp直方图作为识别特征；

s23：将所述前景图像的rgb直方图和lbp直方图进行串联，得到前景图像的识别特征；

s24：分配前景缓存区，该前景缓存区用于缓存具有对象编号的前景图像、前景图像的识别特征；

s25：利用该前景缓存区，对所有前景图像的对象进行对象编号。

所述步骤s25中，包括

将当前前景图像的识别特征与所述前景缓存中所有前景图像的识别特征，按照公式(4)，依次计算特征距离，

其中，p和q分别为当前前景图像的识别特征和前景缓存中的前景图像的识别特征，n为特征维数，

判定当前前景图像与前景缓存中前景图像的特征距离最小的前景图像为同一对象，将当前前景图像的对象编号设定为该前景图像的对象编号，将编号后的前景图像保存于所述前景缓存区中。

所述步骤s3中，包括：

s31：计算同一对象的运动方向值；

针对对象x、前景图像序列i＝0，1，…n，其运动方向值根据下列公式确 定：

其中，l为设定的前景区间长度，m表示第m个前景区间，为p1点与p2点形成的向量的方向，p1、p2为矩形框中心点，为前景图像外接矩形框的中心点；

s32：计算同一对象的主颜色；

将所述前景图像转至hsv颜色空间，结合一像素值与主颜色的转换对照表，选取出现频率最高的三种颜色作为对象的主颜色。

所述步骤s4中，包括：

s41：从监控视频中，提取包含对象的连续视频帧的有效视频序列，

s42：对所有有效视频序列按序列长度从大到小排序，将所有序列的状态初始化为可用状态；

s43：从排序后的有效视频序列中，选取长度最大的有效视频序列作为母序列，将该母序列的状态置为不可用状态；

s44：将其余有效视频序列作为插入序列依次与该母序列进行比较、融合，得到所述浓缩策略。

所述步骤s44中，

遍历所有可用状态的有效视频序列，从中选取长度最大的有效视频序列作为所述插入序列与所述母序列相比较、融合，

从所述母序列的第h帧开始与所述插入序列的每一帧进行融合，若从所述插入序列的第一帧开始，所述母序列的第h+i帧画面与所述插入序列第i帧画面的掩膜图像叠加后，总掩膜面积满足一定条件时，判定两画面可融合，其中i＝1，…，m，m为插入序列的长度；

如果所述插入序列的m帧遍历完毕，且其每一帧均可与所述母序列的第h帧融合，则标记所述母序列的第h帧与该插入序列可融合的标记位，并记录融合位置，然后将该插入序列的状态置为不可用状态；

如果所述插入序列的m帧遍历完毕，且存在插入序列的任意一帧不可与所述母序列融合，则将所述母序列初始比较位置后移j帧，从所述母序列的第h＝h+j帧开始，将该插入序列与所述母序列进行融合，直到lb-h＜m仍不能实 现插入序列与所述母序列融合时，将该插入序列拼接至所述母序列末尾，形成新的母序列；lb为母序列的长度；

重复上述过程，直至可用状态的有效视频序列与所述母序列比较、融合完毕，得到所述浓缩策略。

所述步骤s21中，从所述前景图像中提取rgb直方图作为识别特征的方法是：

将所述前景图像按照“田”字分为四个区域，对每个区域的r、g、b三个颜色通道，遍历其所有像素点，将所有像素点按其像素值所属区间投影到具有p个区间的rgb直方图hic中，其中，下标i表示rgb直方图所处区域的编号，c表示颜色通道；

将计算得到的四个区域对应的四个rgb直方图串联成一个rgb直方图，并对串联后的rgb直方图进行归一化处理，如公式(2)所示：

其中h(i)为rgb直方图在第i个区域的值，hn(i)为归一化后rgb直方图在第i个区域的值，归一化处理后的rgb直方图hn即为前景图像的rgb直方图。

所述步骤s41中，所述有效视频序列的定义为：

{fi|i∈[s，e]，count(fi)＞tp}(6)

其中，s，e分别为有效视频序列起始及结束帧号，count(fi)表示第fi帧掩膜图像像素值为255的像素点个数，tp为设定的阈值。

所述步骤s25中，若多个前景图像的对象编号存在冲突，将特征距离较大的当前前景图像重新在所述前景缓存中匹配特征距离最小的前景图像，以重新编号，直至当前帧所有前景图像的对象编号无冲突为止。

本发明的优点是：

1、能够对处于不同时间及空间的对象进行浓缩，提高监控视频的浓缩率，提高监控效率；

2.以每个对象的不同特征信息作为浓缩过滤条件，确定浓缩后视频的内容，使得浓缩具有针对性，提高浓缩效率。

附图说明

图1是本发明的方法流程示意图。

图2是本发明的从前景掩膜图像中分离前景图像的过程示意图。

图3是本发明的具体实施例的颜色特征提取区域示意图。

图4是本发明的像素值与主颜色的转换对照表。

图5是本发明的运动方向区间对照示意图。

图6是本发明的将rgb直方图与lbp直方图进行串联的过程示意图。

具体实施方式

以下结合附图和实施例对本发明作进一步详细的说明。

图1是本发明的方法流程示意图，如图所示，本发明公开的基于对象的监控视频浓缩方法，包括以下步骤：

s1：从监控视频中提取前景掩膜图像和背景图像，将背景图像保存于数据库中，并从前景掩膜图像分离出前景图像；

s11：使用lab颜色特征利用混合高斯模型对监控场景进行建模，得到前景掩膜图像和背景图像，

从监控视频的每一视频帧图像中提取出一幅背景图像和若干前景掩膜图像，该前景掩膜图像的描述为：

其中，pmask(x，y)为前景掩膜图像在(x，y)点的像素值，pf(x，y)为视频帧在(x，y)处的像素点，background表示该点为背景点，foreground表示该点为前景点。

如图2所示，根据公式(1)，该前景掩膜图像为黑白图像，其中像素值为255的点(白色区域)所形成的连通域为掩膜图像，表示活动目标(如，人、车、动物等)，像素值为0的点(黑色区域)为固定背景。

由于视频片段中，背景图像的变化有限，因此，将监控视频中每隔一定帧区间的帧的背景图像保存于数据库中，以节省数据库空间、提高浓缩效率，例如，将第1帧、第m+1帧、……第m+k帧的背景图像保存于数据库中，该帧区间为m。

s12：对前景掩膜图像进行预处理；

对前景掩膜图像进行形态学处理，包括先膨胀，后腐蚀，再次膨胀处理。

s13：从预处理后的前景掩膜图像中，分离出前景图像；

如图2所示，将前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，然后利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，彩色前景掩膜图像中由矩形框确定的区域即为前景图像(彩 色)，提取时忽略连通域内的孔洞，以使掩膜图像更加完整连贯。

s2：将前景图像按照对象进行分类，并为不同类的对象分配对象编号；

基于目标跟踪算法将前景图像按照对象进行分类，属于相同目标(如，同一个人、同一辆车等)的前景图像视为相同对象，然后为每一类对象分配相同且唯一的对象编号。具体包括：

s21：从前景图像中提取rgb直方图作为识别特征；

如图3所示，将前景图像按照“田”字分为四个区域，对每个区域的三个颜色通道(r、g、b)，遍历其所有像素点，将所有像素点按其像素值所属区间投影到具有p个区间的rgb直方图hic中，其中，下标i表示该rgb直方图所处区域的编号，c表示颜色通道，于具体实施例中，rgb直方图具有8个区间(p＝8)，结合三个颜色通道，每个区域直方图的维数为24；

将计算得到的四个区域对应的四个rgb直方图串联成一个rgb直方图，串联后的rgb直方图共有24*4＝96维，并对串联后的rgb直方图进行归一化处理，如公式(2)所示：

其中h(i)为rgb直方图在第i个区域的值，hn(i)为归一化后rgb直方图在第i个区域的值，归一化处理后的rgb直方图hn即为前景图像的rgb直方图。

s22：从前景图像中提取lbp直方图作为识别特征；

对前景图像中的所有像素点，当对应掩膜图像中像素点的值为255时，提取lbp(localbinarypatterns，局部二值模式)特征，形成59维的lbp直方图，具体方法是：在3×3的窗口内，以窗口中心像素的灰度值为阈值，将相邻的8个像素的灰度值与其进行比较，对于灰度值大于该阈值的相邻像素，将其位置标记为1，对于灰度值小于等于该阈值的相邻像素，其位置标记为0；如此，3×3邻域内的8个像素点经比较产生8位二进制数，转换为十进制数后即得到该窗口中心像素点的lbp特征值。

之后，对该lbp直方图进行归一化处理(如公式(2))，将处理后的lbp直方图作为前景图像的lbp直方图。

s23：将前景图像的rgb直方图和lbp直方图进行串联，得到前景图像的识别特征；

s24：分配用于缓存编号的前景图像、前景图像识别特征及其对应帧信息 的前景缓存区，

定义前景缓存区：

上式中，表示第x帧的第i个前景图像，s表示前景缓存中保存的起始帧，e为前景缓存中保存的结束帧(例如，前景缓存中保存着第2帧到第n帧，则s＝2，e＝n)；该起始帧与结束帧之差即为缓存上限(固定值)，当加入新的一帧时，若前景缓存大小超过该缓存上限，删除前景缓存中属于起始帧的所有前景图像，保证前景缓存的时效性。

基于目标跟踪算法将前景图像按照对象进行分类，属于相同目标的前景图像视为相同对象，然后为每一类对象分配相同且唯一的对象编号，存储于前景缓存区中。

s25：将当前前景图像的识别特征与前景缓存中所有前景图像的识别特征进行匹配、编号，

对于当前视频帧的每一幅前景图像的识别特征，将其与前景缓存中所有的前景图像的识别特征计算特征距离，如公式(4)，采用巴氏距离作为度量，

其中，p和q分别为当前视频帧的前景图像的识别特征和前景缓存中的前景图像的识别特征，n为特征维数，该特征维数取155维(串联后的rgb直方图的96维加上lbp直方图的59维)；

计算结束后，判定当前前景图像与前景缓存中前景图像的特征距离最小的前景图像为同一对象，将当前前景图像的对象编号设定为该前景图像的对象编号。若多个前景图像的对象编号存在冲突，则将特征距离较大的当前前景图像重新在前景缓存中匹配特征距离最小的前景图像，以重新编号，直至前景缓存中所有的前景图像的对象编号无冲突为止。

例如，对于第p视频帧，从其中提取的若干前景图像，基于目标跟踪算法将这些前景图像按照对象进行按序编号，将前景图像、前景图像的识别特征、所属帧编号等信息存储于前景缓存中，对于第p+1视频帧，从其中提取的若干前景图像，提取前景图像的识别特征，每个前景图像依次作为当前前景图像与前景缓存中的若干前景图像的识别特征按照公式(4)一一进行匹配，选择前 景缓存中最匹配的(特征距离最短)前景图像作为匹配对象，当前前景图像的对象编号设定为该前景缓存中最匹配的前景图像对应的编号，然后将已编号的当前前景图像保存于前景缓存中。

s3：根据同一对象的位置及颜色信息，计算同一对象的运动方向值、主颜色，并将计算结果及前景图像保存入数据库；

在若干前景图像中，根据对象编号，确定同一对象，

s31：计算同一对象的运动方向值；

针对对象x、前景图像序列i＝0，1，…n，其运动方向值根据下列公式确定：

式(5)中，l为设定的前景区间(指示连续的多个前景图像)长度，m表示第m个前景区间，为p1点与p2点形成的向量的方向，p1、p2为矩形框中心点，为前景图像外接矩形框的中心点，运动方向值的取值区间如图5所示，图中示出运动方向值为9。

利用公式(5)，计算得到对象在一定前景区间中的运动方向值(对象的运动方向)

s32：计算同一对象的主颜色；

将前景图像转换到hsv空间，得到每个像素点的色度h、亮度v、饱和度s三个分量，结合图4所示像素值与主颜色的转换对照表，选取出现频率最大的三种颜色作为对象的主颜色。

数据库中保存有用于视频浓缩的属性信息，包括：前景图像所在时间戳、前景图像所属有效视频序列编号、前景图像所属对象编号、前景图像所属帧号、前景掩膜图像的面积与原始视频图像的面积之比(用于后续两幅图像的比较、融合)、前景图像所属矩形框的位置及大小、对象运动方向、对象的三种主颜色。

s4：根据浓缩策略，确定相应对象的前景图像及背景图像，合成浓缩后的视频。

s41：从监控视频中，提取有效视频序列，

有效视频序列是指包含对象的连续视频帧序列，不包含对象的视频帧视为 无效帧，并为有效视频序列分配唯一的序列编号：

{fi|i∈[s，e]，count(fi)＞tp}(6)

式(6)中，s，e分别为有效视频序列起始及结束帧号，count(fi)表示第fi帧掩膜图像像素值为255的像素点个数，tp为设定的阈值。

s42：对所有有效视频序列按序列长度从大到小排序，将所有序列的状态均标记为可用状态；

s43：从排序后的所有有效视频序列中，选取长度最大(设为lb)的有效视频序列作为母序列，将母序列的状态标记为不可用状态；

s44：将其余有效视频序列作为插入序列依次与母序列进行比较、融合；

遍历所有可用状态的有效视频序列，从中选取长度最大的有效视频序列作为插入序列尝试插入母序列，具体的说，

首先从母序列的第h帧开始与插入序列的每一帧进行融合试探(初始h＝1)，若从插入序列的第一帧开始，母序列的第h+i帧画面与插入序列第i帧画面的掩膜图像叠加后，总掩膜面积满足特定条件时(例如特定条件为：若两帧的前景掩膜图像取并集后的总面积小于阈值tu，且两帧的前景掩膜图像取交集后的总面积小于阈值ti，则认为两帧可融合，阈值的取值以浓缩视频中出现在同一画面的前景不超过一定数量为准，以避免影响观感；若两帧可插入，则将插入序列与母序列当前帧前景掩膜图像的并集作为母序列新的当前帧前景掩膜图像)方可将两画面融合，其中i＝1，…，m，m为插入序列长度；如果插入序列的m帧遍历完毕，且其每一帧均可与母序列的第h帧融合，则标记母序列的第h帧与当前插入序列可融合的标记位，同时记录融合位置，然后将该插入序列的状态置为不可用状态，表示该插入序列与母序列融合成功；如果插入序列的m帧遍历完毕，且存在插入序列的任意一帧不可与母序列融合，则将母序列初始比较位置后移j帧(h＝h+j)，(j为整数)从母序列的第h＝h+j帧开始，将插入序列与母序列进行上述融合、比较过程，直到lb-h＜m仍不能实现插入序列与母序列融合时，将该插入序列拼接至母序列末尾，形成新的母序列。

重复上述过程，直至可用状态的有效视频序列与母序列比较、融合完毕，得到最终的浓缩策略，该浓缩策略指示哪些特定的视频帧能够相互融合以得到浓缩后的视频。基于该浓缩策略，根据用户的浓缩要求，从数据库中获取对应该些特定的视频帧的前景图像和背景图像、以及相应的属性信息，将这些前景直接替换背景图像中相应区域(若前景间有重叠则采用平均像素值法处理重叠 区域)，达到视频浓缩的效果。用户的浓缩要求可以设定为：浓缩视频的起止时间戳、关注区(仅对出现在该区域的对象进行浓缩)与排除区(仅对出现在该区域以外的对象进行浓缩)的位置、对象的主颜色、运动方向、大小等。

本发明的基于对象的监控视频浓缩方法，先从监控视频中获取每一视频帧的前景图像和背景图像，将某些背景图像保存于数据库中，提取前景图像的识别特征，借助前景缓存，依次对比前景图像与前景缓存中所有前景图像的识别特征的特征距离，完成对所有前景图像的对象进行编号，使得同一对象对应唯一的同一编号，然后根据同一对象的位置及颜色信息，计算同一对象的运动方向值、主颜色，并将计算结果及前景图像保存入数据库，最后根据浓缩策略，确定相应对象的前景图像及背景图像，合成浓缩后的视频。本发明能够对处于不同时间及空间的对象进行浓缩，提高监控视频的浓缩率，提高监控效率。

以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。