基于运动信息和区域特征的航拍视频运动目标检测方法与流程

本发明涉及一种运动目标检测方法，特别是涉及一种基于运动信息和区域特征的航拍视频运动目标检测方法。

背景技术：

文献“detectionofmovingobjectswithnon-stationarycamerasin5.8ms:bringingmotiondetectiontoyourmobiledevice,proceedingsoftheieeeconferenceoncomputervisionandpatternrecognitionworkshops.2013:27-34.”提出了一种基于双模态高斯背景建模的移动平台运动目标检测方法。该方法在对图像进行分块的基础上，对每个图像块中的多个像素使用同一双模态高斯背景模型进行建模。为了减小运动补偿的误差，通过加权融合前一帧多个图像块的背景模型，对当前图像进行运动补偿。最后，采用背景差分法对当前图像进行运动目标检测。由于对图像块进行背景建模，降低了运算量，较好地解决了移动平台运动目标检测的实时性问题。文献方法通过背景差分仅分割了图像中的运动像素，无法得到完整的运动目标检测框，且存在较多虚警，对后续的运动目标跟踪等工作造成了很大的困难。

技术实现要素：

为了克服现有运动目标检测方法目标检测完整性差的不足，本发明提供一种基于运动信息和区域特征的航拍视频运动目标检测方法。该方法首先使用背景差分方法进行运动像素检测，得到图像中的候选运动区域。接着，采用基于局部极值的分水岭算法对图像进行斑点检测，得到所有的静态候选目标。最后，通过结合运动信息及区域特征进行运动目标提取，得到了完整的运动目标检测框且降低了虚警率。

本发明解决其技术问题所采用的技术方案是：一种基于运动信息和区域特征的航拍视频运动目标检测方法，其特点是包括以下步骤：

步骤一、将输入的图像划分n×n的图像块，对每个图像块中的所有像素使用两个单高斯模型进行背景建模，分别作为现用背景模型和候选背景模型。当满足式(1)时更新现用模型；满足式(2)时更新备用模型。若两公式都不满足，则使用当前观测值初始化备用模型。

式中，分别表示图像块i在t时刻的现用模型的均值，方差和生存期。令表示图像块i在t时刻的候选模型的对应参数。

θs为规定的阈值，取值为2。使用如下公式计算。

经过上述判断后，对满足更新条件的模型进行更新。模型的均值方差及生存周期的更新方法如下：

其中，表示图像块i时刻t的背景模型向t-1时刻模型补偿后的均值、方差和生存期。式(5)中的vi^(t)的含义为，

若候选模型在某时刻的生存周期超过了现用模型，则将两模型的功能交换，激活候选模型作为有效模型。

将输入图像分成h*w大小的块，取分块的角点作为特征点，在每一个图像分块上通过klt算法对特征点进行匹配，使用ransac算法求解出符合大部分特征点匹配情况的变换矩阵。将图像块gi根据变换矩阵变换后，其位置与相邻图像块发生重叠。此时，根据重叠面积大小对相邻图像块前一帧的模型参数加权求和得到图像块gi前一帧的背景模型，实现当前帧图像的运动补偿。

得到当前图像的背景建模结果后，与传统的背景差分方法不同，通过比较图像像素值和背景模型均值差值的平方与背景模型方差之间的差异，确定前景像素。具体使用式(8)计算，

式中，θd为人为设置的阈值，取值为4。通过形态学滤波去除前景中的虚警，检测连通域提取候选运动目标的检测框。

步骤二、将输入的三通道彩色图像转化为灰度图像，在灰度图像上进行斑点检测。阈值步长t设置为10，阈值范围设置为t1＝50，t2＝220。使用阈值集合[t1,t1+t,t1+2t,...,t2]对灰度图进行二值化，得到对应于每个阈值的二值图像。检测二值图像集合中每幅图像的边界，提取该二值图像的连通区域。由边界围成的不同的连通区域即为该二值图像的斑点。然后，对二值图像斑点进行分类，斑点中心坐标间的距离小于阈值tb＝2的二值图像斑点的集合即为灰度图像的斑点。

求得第t帧灰度图像的斑点后，根据每个斑点的面积和圆度对斑点进行筛选。当斑点的面积在阈值范围内时，将其加入候选斑点集合b^(t)中，即：

式中，a_l和a_h分别为面积阈值下限和上限，取值分别为200和1000。使用圆度对面积筛选过后的斑点集合进一步进行筛选。当斑点的圆度满足下述条件时，将该斑点加入该图像最终的候选斑点集合。

式中，c_l和c_h分别为圆度阈值下限和上限，取值分别为0.3和10.0。

对斑点进行筛选后，需要确定每个最终候选斑点的位置和尺寸。斑点位置的计算为构成该斑点的所有二值图像斑点的位置加权和，权值为该二值图像斑点的惯性率的平方。斑点尺寸为组成该灰度图斑点的所有二值图像斑点中，面积大小居中的斑点的半径长度。

步骤三、经过上述步骤，得到了当前图像的两组独立的候选目标集合cano^(t)和canb^(t)。循环遍历候选运动目标集合cano^(t)中的所有的候选目标，计算每个候选目标的置信度对运动检测集合中的候选目标计算其与候选斑点集合中的每个斑点的重叠率

式中，表示两个区域的重叠面积，表示候选目标的面积。对于候选目标选择重叠率中的最大值作为该目标的重叠率若重叠率大于阈值th_r，取值为0.8，则将重叠率作为该候选目标的置信度。若重叠率小于阈值th_r，则将目标加入候选漏检目标集合中。同时，将canb^(t)集合中未与cano^(t)集合的任一元素匹配的元素加入候选漏检目标集合canl^(t)中。计算该集合中目标与前一帧图像每个有效运动目标的重叠率及的置信度

设置置信度阈值下限thre_c，取值为0.8。根据置信度大小选择最终的有效运动目标。若候选目标的置信度为与的重叠率，达到了置信度下限。则运动目标的尺寸(w,h)和位置(x,y)计算如下：

式中，为的矩形框宽度，为的矩形框宽度。目标检测框的最终高度h，横坐标x和纵坐标y的计算方式与宽度w的计算方式相同，为相应属性的加权求和。至此，得到当前图像所有运动目标的完整检测框。

本发明的有益效果是：该方法首先使用背景差分方法进行运动像素检测，得到图像中的候选运动区域。接着，采用基于局部极值的分水岭算法对图像进行斑点检测，得到所有的静态候选目标。最后，通过结合运动信息及区域特征进行运动目标提取，得到了完整的运动目标检测框且降低了虚警率。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于运动信息和区域特征的航拍视频运动目标检测方法具体步骤如下：

步骤一、基于背景建模的运动信息检测。

将输入的图像划分为4×4大小的图像块，对每个图像块中的所有像素使用两个单高斯模型进行背景建模，分别作为现用背景模型和候选背景模型。若当前图像满足下述式(1)或式(2)时，选取对应的背景模型进行更新，即：当满足式(1)时更新现用模型；满足式(2)时更新备用模型。若两公式都不满足，则使用当前观测值初始化备用模型。

式中，分别表示图像块i在t时刻的现用模型的均值，方差和生存期。令表示图像块i在t时刻的候选模型的对应参数。

θs为规定的阈值，本实施例取值为2。使用如下公式计算。

经过上述判断后，对满足更新条件的模型进行更新。模型的均值方差及生存周期的更新策略如下：

其中，表示图像块i时刻t的背景模型向t-1时刻模型补偿后的均值、方差和生存期。上式中的的含义为，

若候选模型在某时刻的生存周期超过了现用模型，则将两模型的功能交换，激活候选模型作为有效模型。

为了减小运动补偿的误差，对前一帧图像中多个图像块的模型参数加权来实现当前帧模型的运动补偿。将输入图像分成32*24大小的块，取分块的角点作为特征点，在每一个图像分块上通过klt算法对特征点进行匹配，使用ransac算法求解出符合大部分特征点匹配情况的变换矩阵。将图像块gi根据变换矩阵变换后，其位置与相邻图像块发生重叠。此时，根据重叠面积大小对相邻图像块前一帧的模型参数加权求和得到图像块gi前一帧的背景模型，从而实现当前帧图像的运动补偿。

得到当前图像的背景建模结果后，与传统的背景差分方法不同，通过比较图像像素值和背景模型均值差值的平方与背景模型方差之间的差异，确定前景像素。具体使用如下公式计算，

式中，θd为人为设置的阈值，本实施例取值为4。最后，通过形态学滤波去除前景中的虚警，检测连通域提取候选运动目标的检测框。

步骤二、图像斑点检测。

将输入的三通道彩色图像转化为灰度图像，在灰度图像上进行斑点检测。阈值步长t设置为10，阈值范围设置为t1＝50，t2＝220。使用阈值集合[t1,t1+t,t1+2t,...,t2]对灰度图进行二值化，得到对应于每个阈值的二值图像。检测二值图像集合中每幅图像的边界，提取该二值图像的连通区域。由边界围成的不同的连通区域即为该二值图像的斑点。然后，对二值图像斑点进行分类，斑点中心坐标间的距离小于阈值tb＝2的二值图像斑点的集合即为灰度图像的斑点。

求得第t帧灰度图像的斑点后，根据每个斑点的面积和圆度对斑点进行筛选。当斑点的面积在阈值范围内时，将其加入候选斑点集合b^(t)中，即：

式中，a_l和a_h分别为面积阈值下限和上限，本实施例取值分别为200和1000。使用圆度对面积筛选过后的斑点集合进一步进行筛选。当斑点的圆度满足下述条件时，将该斑点加入该图像最终的候选斑点集合。

式中，c_l和c_h分别为圆度阈值下限和上限，取值分别为0.3和10.0。

对斑点进行筛选后，需要确定每个最终候选斑点的位置和尺寸。斑点位置的计算为构成该斑点的所有二值图像斑点的位置加权和，权值为该二值图像斑点的惯性率的平方。斑点尺寸为组成该灰度图斑点的所有二值图像斑点中，面积大小居中的斑点的半径长度。

步骤三、有效运动目标提取。

经过上述步骤，得到了当前图像的两组独立的候选目标集合cano^(t)和canb^(t)。循环遍历候选运动目标集合cano^(t)中的所有的候选目标，计算每个候选目标的置信度对运动检测集合中的候选目标计算其与候选斑点集合中的每个斑点的重叠率

式中，表示两个区域的重叠面积，表示候选目标的面积。对于候选目标选择重叠率中的最大值作为该目标的重叠率若重叠率大于阈值th_r，本实施例取值为0.8，则将重叠率作为该候选目标的置信度。若重叠率小于阈值th_r，则将目标加入候选漏检目标集合中。同时，将canb^(t)集合中未与cano^(t)集合的任一元素匹配的元素加入候选漏检目标集合canl^(t)中。计算该集合中目标与前一帧图像每个有效运动目标的重叠率及的置信度计算方法及步骤与上文所述相同。

设置置信度阈值下限thre_c，取值为0.8。根据置信度大小选择最终的有效运动目标。若候选目标的置信度为与的重叠率，达到了置信度下限。则运动目标的尺寸(w,h)和位置(x,y)计算如下：

式中，为的矩形框宽度，为的矩形框宽度。目标检测框的最终高度h，横坐标x和纵坐标y的计算方式与宽度w的计算方式相同，为相应属性的加权求和。至此，得到了当前图像所有运动目标的完整检测框。