基于高层场景信息的地面运动目标检测方法与流程

技术特征：

1.一种基于高层场景信息的地面运动目标检测方法，其特征在于包括以下步骤：

步骤一、帧差；

针对不同高度的场景，使用不同的图像配准算法；对于高空拍摄的视频序列由于其满足稀疏光流的三个假设，故使用Lucas-Kanade稀疏光流实现图像特征点匹配；对于低空拍摄的图像由于其不满足光流的假设条件，故使用sobel算子提取图像特征点；通过稀疏光流或sobel算子实现图像匹配，最后采用RANSAC估计两幅图像间的仿射变换，具体如下：

$\left\{\begin{array}{c}{C}_p^{\′}=A_{k-1}*C_p\\ C_n^{\′}=A_{k+1}*C_n\end{array}\right.---\left(1\right)$

式中，C_p和C_n是前一帧和下一帧的特征点的像素坐标，C'_p和C'_n是转换后前一帧和下一帧的像素坐标，A_k-1和A_k+1是2*3的仿射变换矩阵；前一帧和下一帧仿射变换的图像分别差分当前帧，得到初步检测结果，如下：

D_k＝||S_k-S'_k-1||∪||S_k-S'_k+1|| (2)

式中，D_k表示差分后图像，S'_k-1和S'_k+1是当前帧和下一帧仿射变换后的结果，S_k是当前帧图像；最后对差分图像进行二值化，阈值设为40；

步骤二、光流关联；

光流估计：经典光流法主要基于亮度恒定、像素微小运动和空间一致性的假设；在连续视频中，假设物体对应的像素灰度值不因运动发生变化，故有：

I(x,y,t)＝I(x+dx,y+dy,t+dt) (3)

式中，x和y为横纵坐标，I为图像灰度值；上式泰勒展开有:

I_xdx+I_ydy+I_tdt＝0 (4)

式中，I_xI_yI_t分别表示对应方向的梯度；转换为向量形式如下：

$\[\begin{array}{cc}{I}_x& I_y\end{array}\]\left[\begin{array}{c}u\\ v\end{array}\right]=-I_t---\left(5\right)$

式中，u和v分别为对应方向上的光流大小；上式可表示为：

Ad＝b (6)

采用最小二乘法求解的最小值得到光流失量d，如下：

d＝(A^TA)^-1A^Tb (7)

预测关联：首先，假设每个点在第k-1帧的坐标是(x_k-1,y_k-1)，根据步骤一的光流估计策略，获得一个光流矢量V，则目标在下一帧的位置预测如下：

$\left\{\begin{array}{c}{x}_k^e=x_{k-1}+V_x\\ y_k^e=y_{k-1}+V_y\end{array}\right.---\left(8\right)$

式中，是预测坐标，(V_x,V_y)是光流运动矢量；

其次，对初次帧差获得的所有目标，通过光流预测它在下一帧的位置；对每个目标而言，如果它有足够多的点与下一帧中的某个目标相匹配，则他们为同一目标，决策函数定义如下:

$S^k(x,y)=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& (x,y)\∈O_k^l\end{array};\\ 0,& others\end{array}\right.---\left(9\right)$

式中，是二次帧差检测的目标，S^k是点的状态方程，接下来计算目标匹配的置信度：

$\mathrm{\α}=\underset{(x,y)\∈O_k^l}{\Σ}{S}^k(x,y)---\left(10\right)$

式中，α是属于目标的点的总数，两个目标关联概率为：

α_ρ＝α/β (11)

式中，β是目标内所有点的数量总和，接受两个目标关联的概率设为ε＝0.8，如果两个目标和互相关联，则它们之间的关联关系定义为:

$A_{(O_{k-1}^l,O_k^l)}=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& {\mathrm{\α}}_{\mathrm{\ρ}}\>\mathrm{\ϵ}\end{array}\\ 0,& others\end{array}\right.---\left(12\right)$

对每个目标，定义一个关联集合A＝{A_m,...,A_n}，式中A_m表示对每个关联集合而言，只有当目标的关联集合的数目大于设定阈值时，将它作为候选目标；

步骤三、基于高层信息的运动检测；

采用sobel算子提取图像的特征点，根据最短距离完成对图像特征点的匹配；x＝(x,y)和x'＝(x',y')是图像中一对匹配点，将其转换为单应向量X＝[x,y,1]和X'＝[x',y',1]^T，它们满足：

X^'TFX＝0 (13)

式中，F是为3*3的基本矩阵；使用归一化8点算法通过求解线性方程组来得到基本矩阵F；在实际的计算过程中匹配的特征点不会严格满足上式，因此，使用Sampson矫正，通过计算匹配的矫正量判断内外点，Samposon置信度K定义如下：

K＝X'^TFX/M (14)

$M={\left(FX\right)}_1^2+{\left(FX\right)}_2^2+{\left(F^T{X}^{\′}\right)}_1^2+{\left(F^T{X}^{\′}\right)}_2^2---\left(15\right)$

式中，(FX)₁＝f₁₁x+f₁₂y+f₁₃，(x,y)是X的像素点的坐标；类比确定(FX)₂,(F^TX')₁,(F^TX')₂,从而确定了每个点的Sampson置信度；外点矩阵Out_i,j，H和W分别为图像高和宽，其定义如下：

${\mathrm{Out}}_{i,j}=\left\{\begin{array}{cc}1,& outliers\\ 0,& others\end{array}\right.---\left(16\right)$

每个候选目标的内外点比率计算如下：

$\mathrm{\σ}=\underset{(i,j)\∈O_k^l}{\Σ}{\mathrm{Out}}_{i,j}/N_k^l---\left(17\right)$

式中，是一个候选目标，是候选者的所有点的数量总和，运动目标决策函数M定义如下：

$M_{O_k^l}=\left\{\begin{array}{cc}1,& \mathrm{\σ}\>\mathrm{\η}\\ 0,& others\end{array}\right.---\left(18\right)$

式中，η是外点的概率阈值，只有当候选者的外点比率大于η时，才能判定其为一个运动的目标。