本发明涉及一种多目标检测方法，特别是涉及一种基于高层场景信息的地面运动目标检测方法。
背景技术：
多目标检测是计算机视觉领域中一项具有挑战性的任务。传统的运动检测大多基于帧差实现。然而由于场景的实际的三维场景，帧差会有视差，引起大量虚警。文献“Goyal H.Frame Differencing with Simulink model for Moving Object Detection[J].International Journal of Advanced Research in Computer Engineering&Technology,2013,2(1).”公开了一种多目标检测方法(帧间差分法)。该方法假设场景中背景是水平的，通过差分，高出地平面的部分会检测出来。由于该方法没有考虑到仿射变换中场景的三维结构导致的视差，因此伴有大量的虚警，对于实际的三维场景不适用且包含少量噪声。
技术实现要素：
为了克服现有多目标检测方法存在虚警的不足，本发明提供一种基于高层场景信息的地面运动目标检测方法。该方法首先采用帧差法提取初步的检测结果；再计算每个点的光流矢量，将当前帧的目标与其光流矢量叠加后判断它下一帧中的位置，实现对目标的关联，去除了一部分虚警；最后利用场景的高层信息基本矩阵F判断运动点和背景点，去除了大量的虚警。
本发明解决其技术问题所采用的技术方案是：一种基于高层场景信息的地面运动目标检测方法，其特点是包括以下步骤：
步骤一、帧差。
针对不同高度的场景，使用不同的图像配准算法。对于高空拍摄的视频序列由于其满足稀疏光流的三个假设，故使用Lucas-Kanade稀疏光流实现图像特征点匹配；对于低空拍摄的图像由于其不满足光流的假设条件，故使用sobel算子提取图像特征点。通过稀疏光流或sobel算子实现图像匹配，最后采用RANSAC估计两幅图像间的仿射变换，具体如下：
式中，Cp和Cn是前一帧和下一帧的特征点的像素坐标，C'p和C'n是转换后前一帧和下一帧的像素坐标，Ak-1和Ak+1是2*3的仿射变换矩阵。前一帧和下一帧仿射变换的图像分别差分当前帧，得到初步检测结果，如下：
Dk＝||Sk-S'k-1||∪||Sk-S'k+1|| (2)
式中，Dk表示差分后图像，S'k-1和S'k+1是当前帧和下一帧仿射变换后的结果，Sk是当前帧图像。最后对差分图像进行二值化，阈值设为40。
步骤二、光流关联。
光流估计：经典光流法主要基于亮度恒定、像素微小运动和空间一致性的假设。在连续视频中，假设物体对应的像素灰度值不因运动发生变化，故有：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (3)
式中，x和y为横纵坐标，I为图像灰度值。上式泰勒展开有:
Ixdx+Iydy+Itdt＝0 (4)
式中，Ix Iy It分别表示对应方向的梯度。转换为向量形式如下：
式中，u和v分别为对应方向上的光流大小。上式可表示为：
Ad＝b (6)
采用最小二乘法求解的最小值得到光流失量d，如下：
d＝(ATA)-1ATb (7)
预测关联：首先，假设每个点在第k-1帧的坐标是(xk-1,yk-1)，根据步骤一的光流估计策略，获得一个光流矢量V，则目标在下一帧的位置预测如下：
式中，是预测坐标，(Vx,Vy)是光流运动矢量。
其次，对初次帧差获得的所有目标，通过光流预测它在下一帧的位置。对每个目标而言，如果它有足够多的点与下一帧中的某个目标相匹配，则他们为同一目标，决策函数定义如下:
式中，是二次帧差检测的目标，Sk是点的状态方程，接下来计算目标匹配的置信度：
式中，α是属于目标的点的总数，两个目标关联概率为：
αρ＝α/β (11)
式中，β是目标内所有点的数量总和，接受两个目标关联的概率设为ε＝0.8，如果两个目标和互相关联，则它们之间的关联关系定义为:
对每个目标，定义一个关联集合A＝{Am,...,An}，式中Am表示对每个关联集合而言，只有当目标的关联集合的数目大于设定阈值时，将它作为候选目标。
步骤三、基于高层信息的运动检测。
采用sobel算子提取图像的特征点，根据最短距离完成对图像特征点的匹配。x＝(x,y)和x'＝(x',y')是图像中一对匹配点，将其转换为单应向量X＝[x,y,1]和X'＝[x',y',1]T，它们满足：
X'TFX＝0 (13)
式中，F是为3*3的基本矩阵。使用归一化8点算法通过求解线性方程组来得到基本矩阵F。在实际的计算过程中匹配的特征点不会严格满足上式，因此，使用Sampson矫正，通过计算匹配的矫正量判断内外点，Samposon置信度K定义如下：
K＝X'TFX/M (14)
式中，(FX)1＝f11x+f12y+f13，(x,y)是X的像素点的坐标。类比确定(FX)2,(FTX')1,(FTX')2,从而确定了每个点的Sampson置信度。
外点矩阵H和W分别为图像高和宽，其定义如下：
每个候选目标的内外点比率计算如下：
式中，是一个候选目标，是候选者的所有点的数量总和，运动目标决策函数M定义如下：
式中，η是外点的概率阈值，只有当候选者的外点比率大于η时，才能判定其为一个运动的目标。
本发明的有益效果是：该方法首先采用帧差法提取初步的检测结果；再计算每个点的光流矢量，将当前帧的目标与其光流矢量叠加后判断它下一帧中的位置，实现对目标的关联，去除了一部分虚警；最后利用场景的高层信息基本矩阵F判断运动点和背景点，去除了大量的虚警。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明基于高层场景信息的地面运动目标检测方法具体步骤如下：
1、帧差。
针对不同高度的场景，使用不同的图像配准算法。对于高空拍摄的视频序列由于其满足稀疏光流的三个假设，故使用Lucas-Kanade稀疏光流实现图像特征点匹配；对于低空拍摄的图像由于其不满足光流的假设条件，故使用sobel算子提取图像特征点。通过稀疏光流或sobel算子实现图像匹配，最后采用RANSAC估计两幅图像间的仿射变换，具体如下：
式中，Cp和Cn是前一帧和下一帧的特征点的像素坐标，C'p和C'n是转换后的像素坐标，其中Ak-1和Ak+1是2*3的仿射变换矩阵。前一帧和下一帧仿射变换的图像分别差分当前帧，得到初步检测结果，如下：
Dk＝||Sk-S'k-1||∪||Sk-S'k+1|| (20)
式中，Dk表示差分后图像，S'k-1和S'k+1是当前帧和下一帧仿射变换后的结果，Sk是当前帧图像。最后对差分图像进行二值化，阈值设为40。
2、光流关联。
光流关联主要为两部分：光流估计，预测关联。
1)光流估计：经典光流法主要基于亮度恒定、像素微小运动和空间一致性的假设。在连续视频中，假设物体对应的像素灰度值不因运动发生变化，故有：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (21)
式中，x和y为横纵坐标，I为图像灰度值。上式泰勒展开有:
Ixdx+Iydy+Itdt＝0 (22)
式中，Ix Iy It分别表示对应方向的梯度。转换为向量形式如下：
式中，u和v分别为对应方向上的光流大小。上式可表示为：
Ad＝b (24)
采用最小二乘法求解的最小值得到光流失量d，如下：
d＝(ATA)-1ATb (25)
2)预测关联：首先，假设每个点在第k-1帧的坐标是(xk-1,yk-1)，根据步骤一的光流估计策略，获得一个光流矢量V，则目标在下一帧的位置预测如下：
式中，是预测坐标，(Vx,Vy)是光流运动矢量。
其次，对初次帧差获得的所有目标，通过光流预测它在下一帧的位置。对每个目标而言，如果它有足够多的点与下一帧中的某个目标相匹配，则他们为同一目标，决策函数定义如下:
式中，是二次帧差检测的目标，Sk是点的状态方程，接下来计算目标匹配的置信度：
式中，α是属于目标的点的总数，两个目标关联概率为：
αρ＝α/β (29)
式中，β是目标内所有点的数量总和，接受两个目标关联的概率设为ε＝0.8，如果两个目标和互相关联，则它们之间的关联关系定义为:
对每个目标，定义一个关联集合A＝{Am,...,An}，式中Am表示对每个关联集合而言，只有当目标的关联集合的数目大于设定阈值时，将它作为候选目标。
3、基于高层信息的运动检测。
采用sobel算子提取图像的特征点，根据最短距离完成对图像特征点的匹配。x＝(x,y)和x'＝(x',y')是图像中一对匹配点，将其转换为单应向量X＝[x,y,1]和X'＝[x',y',1]T，它们满足：
X'TFX＝0 (31)
式中，F是为3*3的基本矩阵。使用归一化8点算法通过求解线性方程组来得到基本矩阵F。在实际的计算过程中匹配的特征点不会严格满足上式，因此，使用Sampson矫正，通过计算匹配的矫正量判断内外点，Samposon置信度K定义如下：
K＝X'TFX/M (32)
式中，(FX)1＝f11x+f12y+f13，(x,y)是X的像素点的坐标。类比确定(FX)2,(FTX')1,(FTX')2,从而确定了每个点的Sampson置信度，
外点矩阵H和W分别为图像高和宽，其定义如下：
每个候选目标的内外点比率计算如下：
式中，是一个候选目标，是候选者的所有点的数量总和，运动目标决策函数M定义如下：
式中，η是外点的概率阈值，只有当候选者的外点比率大于η时，才能判定其为一个运动的目标。