指标，对于不 同算法检测出的不同结果，其计算数值越高表示方法的性能越好。
[0104] 如图3和图4中，本发明方法、高斯背景更新法和帧差法作比较。从图3中，可以 看出在同样的分割阈值的情况下，三种方法的探测率较为接近，在89%左右。但是由于高斯 背景更新和帧差法在相邻帧像素对应关系和匹配误差的方面处理存在缺陷，因此从图4中 可以看出本发明方法可以有效提高系统对运动目标检测的准确率（在90%左右），而其他 两种方法的准确率相对就比较低（在70%以下）。
[0105] 图5和图6是使用本发明方法对马路实景进行处理的四幅结果图像。实验条件 是：探测器采用的是黑白CCD ;图像分辨率为640X720 ;转动系统架设高度是30米；系统处 理的帧频是50ΗΖ。图5为选取了处理结果中的第212帧、214帧、216帧、218帧四幅结果图 像；图6为选取了处理结果中的第413帧、416帧、417帧、419帧四幅处理结果图像。从图 5和图6可以有效检测路面上运动目标，并且能够稳定的实现多目标跟踪。
【主权项】
1. 一种基于周视系统实现地面运动目标监测的方法，其特征在于，首先从多视角出发 推导出周视系统中探测器旋转时相邻图像之间的像素对应关系；其次利用相邻图像之间的 像素对应关系，根据多帧目标检测的方法建立目标检测模型，区分出实际场景中的运动区 域与静止区域；最终采用在极坐标系下的航迹关联实现多目标跟踪。2. 如权利要求1所述的基于周视系统实现地面运动目标监测的方法，其特征在于，包 括以下步骤： 步骤一：采集周视系统中连续图像，用特征点检测的方法分别获得相邻图像中的特征 点信息； 步骤二：采用特征点匹配的方法实现相邻的图像中的特征点之间的匹配，获取相邻的 图像中的特征点之间的匹配关系； 步骤三：根据相邻的图像之间的对应关系公式和相邻图像中特征点之间的匹配关系， 利用最小二乘算法和RANSAC算法，求解相邻图像之间的像素变换关系； 步骤四：利用运动目标检测模型和相邻图像之间的像素变换关系实现基于周视系统中 运动目标的分割； 步骤五：利用相邻图像中特征点之间的匹配关系，根据探测器的旋转模型估计探测器 的旋转参数，采用在极坐标系下的卡尔曼滤波器实现运动目标的航迹关联。3. 如权利要求2所述的基于周视系统实现地面运动目标监测的方法，其特征在于，步 骤一中，采用Harris角点作为图像中的特征点，检测到的在时间点t时刻的图像中角点的 位置C, = = 其中(χ丨表示第i个Harris角点在t时刻的图像中的横 坐标和纵坐标的位置，X表示横坐标，y表示纵坐标，η表示特征点的个数。4. 如权利要求2所述的基于周视系统实现地面运动目标监测的方法，其特征在于，步 骤二中，使用KLT特征点匹配方法计算相邻的图像之间Harris角点对应的关系，特征点匹 配关系的集合表示为〈c t，ct+1〉，其中， 心丨=βΟΓ1)I/ = U,···?]，ct+1是在时间点t+1时刻的图像中角点的位置， ('+1:，_.jf1).表示第i个Harris角点在t+Ι时刻的图像中的横坐标和纵坐标的位置，X表示横 坐标，y表示纵坐标，η表示特征点的个数。5. 如权利要求2所述的基于周视系统实现地面运动目标监测的方法，其特征在于，步 骤三中，相邻图像之间的像素对应关系公式如式（1)所示， Pt= Htit+1pt+1 (1) 式⑴中，Ht, t+1 = Ψ t, t+1KRt, t+1K 1为3 X 3像素对应变换矩阵；p ,和p t+1分别表示P ,和 Pt+1在相邻两幅图像中对应的坐标，P t和P t+1分别表示三维空间中静止的点在时刻t和t+1 在探测器坐标系中的坐标；K为相机的内参；参数&和z t+1分别表示P ,和P t+1 在t时刻和t+1时刻的探测器坐标系中的深度坐标；Rtit+1是3X3的旋转矩阵。6. 如权利要求5所述的基于周视系统实现地面运动目标监测的方法，其特征在于，利 用如式（1)所示的相邻图像的像素之间的对应关系公式求解相邻图像之间的像素变换关 系的步骤为： 6. 1将特征点匹配关系集合〈ct，ct i〉中的特征点的坐标变换为齐次坐标，得到变换后 的特征点匹配关系集合〈c/，ct+/〉，其中， ' =(d1，1) K =丄，2,…孜; 6.2将特征点匹配关系集合〈c' t，c' t+1〉带入式（1)中，获得公式（2)， t=Ht，t+l' ct+1 (2) 6. 3采用RANSAC的方法估计式（2)中的像素对应变换矩阵Ht,t+1。7. 如权利要求2所述的基于周视系统实现地面运动目标监测的方法，其特征在于，步 骤四中，运动目标检测模型，如公式（3)所示， |max(〇.//;； if D,;ll(.v, v)< T/i MF[X,Vyt)-< 、 ， ' [255 if Du,x{x,y)>Th < (3) I max (〇, //, ,,,MF (.v, v,H-1) - d) if Di t,, (.v, .v) < Th MAx,v,t) = < v ' " [255 if Dtt+l(x,y)>Th 式⑶中，Dt,t+1(x，y)为在时刻t和t+1的相邻图像在位置（x，y)的图像残差，且 Dt,t+i (X，y) = I It_Ht,t+1It+11 ;MF(x, y, t)表示在图像坐标为（X，y)、t时刻的前向运动目标检 测模型的值;Mb(x，y，t)表示在图像坐标为（X，y)、t时刻的后向运动目标检测模型的值；d 为衰减因子，取值为de [〇, 255] ;Th表示图像残差分割阈值。8. 如权利要求7所述的基于周视系统实现地面运动目标监测的方法，其特征在于，使 用运动目标检测模型和相邻图像之间的像素变换关系实现运动目标分割的步骤为： 8. 1计算式（3)中Dt,t+1 (X，y)的值，并且通过图像残差分割阈值Th进行分割； 8. 2用Ht,t+A表示图像仁和I t+A的像素对应关系，其中仁和I t+A分别表示在时间t和 时间t+Λ的图像，计算Htit+A方法如公式⑷所示， Ht.t+Δ = Htit+1Htit+2Htit+3---Htit+A (4) 8. 3迭代运算前向运动目标检测模型的值仏(1 y，t)和后向运动目标检测模型的值 Mb (x, y, t)； 8. 4如式（5)所示计算运动目标检测模型残差值M (x，y，t)， Μ (χ, y, t) = min (MF (x, y, t), MB (x, y, t)) (5) 8. 5对运动目标检测模型残差值M(x，y，t)进行阈值分割得到二值化图像，对二值化图 像进行形态学形态学滤波得到地面运动目标的位置和运动目标的大小。9. 如权利要求2所述的基于周视系统实现地面运动目标监测的方法，其特征在于，步 骤五的过程为： 9. 1利用图像中在图像位置（x，y)的图像像素p(x，y)的移动矢量（u，v)估计探测旋转 参数，移动矢量（U，v)与探测旋转参数的关系如公式（6)所示， XV J xz 、 u~a--p -+ / + yy v = a\ ^~+f \-β-^--γχ { {/ ) f 式（6)中，探测器的位移参数是（U，V，W)，其中U为横向平移参数，V为纵向平移参数， W为深度平移参数，旋转参数是（α, β, Y)，其中α为横向旋转参数，β为纵向旋转参数， γ为深度旋转参数，图像中位置为（X，y)的像素点P(x，y)对应的三维空间中的静止的点为 P，在连续图像中p(x，y)的移动矢量是（U，v)，其中U为横向矢量，V为纵向矢量； 9. 2利用特征点对应关系集合〈ct，ct i〉计算得到特征点的移动矢量，计算方式如公式 (7)所示， ^(λ-；-χ；+1),ν； =(j；-χ：+1),|-1,2,···?] C7) 9. 3、利用式(6)，采用最小二乘法求解探测器的旋转参数； 9. 4、对目标分割后提供的目标位置和目标大小，利用式（8)和式（9)所示的极坐标下 转动角Θ的卡尔曼滤波方程和预测方程，采用航迹关联的算法实现运动目标在时间域上 的关联， Θ (k|k-l) = Φ Θ (k-l|k-l) (8) Θ (k I k) = Θ (k I k-1) +K(ΖΘ (k) -Θ (k I k-1)) (9) , e(k\k-\') 式（17)和式（18)中，= ^表示角度和角速度的一步预测，其中 e(klk-i)表示角度的一步预测表示角速度的一步预测，和 Θ(1-Ι|Α-1)= 表示角度和角速度的滤波，其中，Θ (k|k)和Θ (k-l|k-l)表 - - 「1 (- 不角度的滤波，和dp-ili-f):表不角速度的滤波和；Φ=σ i表不转移矩阵， ?；表示时间间隔，f表示角与角速度的增益；ΖΘ表示观测值。
【专利摘要】本发明提出一种基于周视系统实现地面运动目标监测的方法。首先从多视角理论出发推导出周视系统中探测器旋转时相邻图像之间的像素对应关系；其次利用相邻图像之间的像素对应关系，根据多帧目标检测的方法建立目标检测模型，区分出实际场景中的运动区域与静止区域，从而减少图像匹配误差和匹配累积误差对目标检测的影响；最终采用在极坐标系下的航迹关联实现多目标跟踪。本发明降低了计算量和检测虚警率。
【IPC分类】G06T7/20, H04N7/18
【公开号】CN105469421
【申请号】CN201410450245
【发明人】顾国华, 徐富元, 陆恺立, 费小亮, 钱惟贤, 任侃, 隋修宝, 陈钱, 路东明
【申请人】南京理工大学
【公开日】2016年4月6日
【申请日】2014年9月4日