专利名称：一种扩展目标稳定跟踪点提取方法
技术领域：
本发明属于图像处理领域，涉及一种目标跟踪点提取方法，特别涉及一种基于弦弧比轮廓平滑的扩展目标稳定跟踪点的提取方法。
背景技术：
随着光学成像跟踪需求的发展，对目标的稳定跟踪，尤其是对扩展目标的稳定跟踪需求越来越迫切。当目标与成像跟踪设备距离较近时，目标呈现为扩展目标的特性，占据了视场的1/3甚至充满视场。就目标跟踪点的提取位置而言，原有的基于形心、质心的跟踪方式不再适合于扩展目标的跟踪，极易导致分割失效而丢失目标。基于相关跟踪的方式此时也存在由于跟踪误差的累积而导致的跟踪点漂移问题，并最终导致跟踪丢失。目前，为了解决跟踪点选取的问题，有文献采用基于目标形状分析的方法，通过分 析目标的轮廓特征，寻找到目标的易损点作为跟踪点，但这些方法都存在着受目标姿态的限制而可能不稳定，或者由于分割的原因导致提取的轮廓特征不稳定而最终影响跟踪点的 提取。另外一类方法是采用提取目标角点的方法，通过角点的匹配来获取跟踪点，但这类方法容易受噪声影响，提取的角点不稳定，当目标轮廓比较平滑，甚至角点不存在时，容易引起跟踪丢失。
发明内容
本发明为了克服现有技术的不足，提供一种基于弦弧比轮廓平滑与目标头部跟踪点稳定提取方法，解决了原有方法中跟踪扩展目标时跟踪点容易滑动或剧烈晃动导致跟踪丢失的问题。为了达到上述目的，本发明提供的一种扩展目标稳定跟踪点的提取方法的提取步骤如下步骤SI :对于经过二值化并成功关联、识别出的视场内的扩展目标，使用标记后的目标线段表将该扩展目标恢复成二值目标图像，使二值化图像内只有扩展目标；步骤S2 :利用轮廓跟踪方法对二值目标图像的轮廓进行跟踪，得到二值目标的按顺序排列的轮廓点数组，轮廓点总数记为IenArcContour ；步骤S3 :利用顺序排列的轮廓点数组，按照指定的方向顺时针或逆时针遍历轮廓数组，记录各轮廓点对应的局部区域内的最小弦弧比点的信息，获得平滑的弧段，并根据阈值判断是否需要滤除尖锐的弧段，如果不滤除弧段，则不连接弧段的端点；如果滤除弧段，则连接弧段的端点，构成新的封闭目标轮廓；步骤S4 :结合二值目标的运动方向和主轴方向，确定二值目标的头部方向；步骤S5 :利用目标头部方向与新的封闭目标轮廓，寻找新的封闭目标轮廓上沿目标头部方向的最前沿点，计算以最前沿点为中心的局部区域的形心，以计算出的该形心为最终跟踪点，当前帧处理结束之后，返回SI，进行下一帧处理。本发明与传统目标跟踪点选取相比具有如下优点
(I)选取的跟踪点位于目标头部，使目标和背景在图像中始终各自占据一定比例，有利于目标的分割，可避免目标充满视场所导致的分割失败。(2)采用基于轮廓平滑的方式删除轮廓上不稳定，尖锐的部分，有利于在分割结果的稳定部位提取跟踪点，可以避免由于分割等原因导致的跟踪提取点剧烈跳变的问题。(3)采用本发明提出的跟踪点进行扩展目标跟踪，降低了跟踪丢失风险，使跟踪更为鲁棒。本发明方法提取的跟踪点与真实值之间的差更小，并且晃动更小，提取点受目标本体变化的影响比原方法小，跟踪点提取的稳定性明显优于原有方法。
图I为本发明扩展目标稳定跟踪点提取的流程图；图2a为实施例中扩展目标线段表恢复的二值图；图2b为本发明的轮廓跟踪结果;图3为本发明的轮廓平滑并连接的示意图；图4为本发明的基于弦弧比的轮廓平滑流程图；图5为对图2b轮廓平滑并连接后结果；图6a、图6b为计算目标头部跟踪点的示意图；图7为计算目标头部方向的流程图；图8为X方向跟踪点真实基准值以及原有不经过轮廓滤波直接取最前沿点方法与本发明方法的跟踪点提取结果；图9为X方向原有不经过轮廓滤波方法直接取最前沿点方法与本发明方法提取的跟踪点结果与基准值之间的差值；图10为Y方向跟踪点真实基准值以及原有不经过轮廓滤波直接取最前沿点方法与本发明方法的跟踪点提取结果；图11为Y方向原有不经过轮廓滤波方法直接取最前沿点方法与本发明方法提取的跟踪点结果与基准值之间的差值；
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。本发明的扩展目标稳定跟踪点的提取可以硬件方式实现，也可以软件方式实现。例如在个人计算机、工控机及服务器上以软件的形式安装并执行，也可本发明的方法做成嵌入式芯片以硬件的形式来体现。下面参照附图对本发明的具体实施方式
进行说明。本发明适用于成像跟踪设备对视场中的扩展目标进行跟踪，尤其是当目标距离成像设备较近时，目标本体在视场中成像较为明显，同时目标具有较强尾焰或尾烟的。具体的，本发明方法扩展目标稳定跟踪点提取的流程如图I所示，包括扩展目标恢复为二值图像，用于进行轮廓跟踪；轮廓跟踪，用于获取顺序排列的轮廓数组；基于弦弧比的轮廓平滑，用于删除弦弧比小于设定阈值门限的尖锐的弧段；目标头部方向确定，通过提取目标运动方向与主轴方向，最终确定目标头部的方向，用于最终在头部区域提取目标跟踪点；跟踪点提取，通过在头部前沿点为中心的局部区域内计算目标点的形心，获取最终跟踪提取占.具体的，本发明包括以下步骤I.扩展目标恢复为二值图像目标在经过预处理与分割标记、并进行关联识别后，得到了当前跟踪的正确目标，为了方便后续轮廓跟踪的实现，通过关联成功的目标线段表，将目标恢复成二值图像。该图像中其余的虚假目标都得到了剔除。2.轮廓跟踪对上述恢复出的二值目标图，利用轮廓跟踪方法得到该目标的按顺序排列的轮廓点数组，同时统计轮廓点总数，记为I enAr cContour。轮廓跟踪的方法参见〈Vi sual C++数字图像处理 >，何斌、马天予、王运坚等，人民邮电出版社，2001，435-444。
3.轮廓平滑利用得到的顺序轮廓点数组，滤除较为尖锐的弧段并对滤除后的弧段用直线进行连接，构成新的封闭轮廓，具体实现方法如下3a :按顺时针或逆时针方向遍历按顺序排列的轮廓点数组，记当前处理的第一轮廓点为P·，若第一轮廓点P·未被标记为已处理，则执行3b，若第一轮廓点P·被标记为已处理，则执行3e ；3b :按与3a中遍历的同一方向搜索轮廓数组中每个落在以第一轮廓点P·为圆心、R为半径的局部圆形区域内的第二轮廓点Pi计算沿同一方向第一轮廓点P·与第二轮廓点 Pi 的弧长 IenArc,如果 IenArc ^ I enAr cContour/2,其中 IenArcContour 为轮廓点总数，则计算第一轮廓点P·与第二轮廓点Pi之间的弦长lenChord,并且计算这两点之间的弦弧比 RatioCAcur [i], RatioCAcur [i] = lenChord/lenArc,计算直到局部圆形内同一方向的第二轮廓点Pi搜索完毕，如果反之IenArc > lenArcContour/2,则说明当前统计的两点间的弧为优弧，不做任何处理，继续计算第一轮廓点与局部圆形区域内下一个轮廓点之间的弦弧比。其中i = I…N ;N为局部圆形区域内与第一轮廓点P·满足IenArc ^ I enAr cContour/2 的轮廓点的个数；3c :计算局部圆形区域内第一轮廓点P·与其余第二轮廓点Pi弦弧比的最小值表示为Ratiomin = min{RatioCAcur[i]},记录取得的Ratiomin与第一轮廓点Peur所对应的第二轮廓点Pi。其中，min为取最小值函数；第一轮廓点与第二轮廓点之间的弦长IenChordth取值为7 10，IenChordth的取值规则为需要滤除弧段的两个端点的弦长。判定弧段是否为尖锐弧段的门限值Ratioth取值为O. 5 O. 7，Ratioth的取值规则为需要滤除弧段的弦弧比的上界。3d :若 Ratiomin < Ratioth 并且对应的弦长 IenChord 满足 lenChord > IenChoth,则将当前第一轮廓点P·标记为应当被连接，并将第一轮廓点P·标记为已经处理，将第二轮廓点Pi设为当前处理点，Pcur — Pi,转3a,反之若Ratiomin彡Ratioth则说明局部圆形区域内没有轮廓点与当前点P·构成比较尖锐的弧段，仅对第一轮廓点P·标记为已经处理，转步骤3a ;其中Ratioth表示判定弧段为尖锐弧段的门限值，实施时设定为O. 5、或O. 64、或
O.7 ;lenChordth表示第一轮廓点与第二轮廓点之间的弦长，实施时取值为7、或9、或10 ；3e :第2次遍历轮廓数组，如果当前遍历第一轮廓点Peur被标记为有效并应当被连接，则从第一轮廓点P·开始一直到第一轮廓点需要连接的第二轮廓点Pi之间的轮廓点标记为无效，其中第一轮廓点P·和第二轮廓点Pi不标记为无效，即删除第一轮廓点P·和第二轮廓点Pi之间的弧段，并采用插值的方法连接第一轮廓点P·和第二轮廓点Pi,将插入的轮廓点加入到轮廓数组中，然后P· — Pi,直到轮廓点遍历结束。4.目标头部方向提取通过计算二值目标的运动方向与主轴方向，获取目标头部的方向，求取二值目标的运动方向与主轴方向具体步骤如下a)计算目标的运动方向，方式如下VAi = Ai-Ap1(I)VEi = Ei-Ep1(2)其中VAi、VEi分别为i时刻目标相对于测站的方位角速度和高低角速度，方位角速度和高低角速度的合成速度为目标当前的运动速度，将运动速度转换到图像的像平面，得 到的合成速度在像平面上投影与X轴正向的夹角θν，其中Ai, Ei分别为i时刻目标相对于测站方位角和高低角的合成值，Ai+ Ei^1为i-Ι时刻对应的合成值。b)用轮廓数组计算目标的惯性矩mn，m20, m02
/V /\ I其中:气/= ΣΣ(χ^χ^(y^yy⑶
(XF)θ = tan-1 (2mn/ (m20-m02)) /2(4)θ 2 = tarT1 (2mn/ (m20-m02) )/2+^/2(5)I " ( Θ ) = [2 (m20-m02) cos2 Θ +4mnsin2 Θ ](6)Hiijj表示iX j阶中心矩,其中i、j为中心矩的阶数，θ ρ Θ 2分别为所求转动惯量
K Θ i)的方向角度、I" ( Θ i)为I(Qi)的二阶导数，$与,分别表示目标质心的X坐标与Y坐标，如果将9工与92分别带入(6)式，当I" (Θ,) >0,i = 1，2时，该Qi即为所求的最小惯性主轴方向，该方向即为目标的延伸方向，设角度最大偏差Δ Θ =10° ,取91与之间的夹角小于Λ Θ的方向为目标的头部方向记为0axi。5.目标跟踪点的提取实现方式如下a)将目标轮廓点按头部方向进行旋转，计算得到沿头部方向的最前沿点Phead是xvalue [i] = PiXXcos Θ ^j+PjyXsin θ axi(7)其中PiX与Piy分别为第i个轮廓点的横坐标与纵坐标值，cos Θ axi与当sin Θ axi分别为角度Qaxi的余弦值与正弦值，xvalue [i]为轮廓坐标点按照Qaxi的角度绕X轴旋转后的X坐标值，当取最大值时的点则为目标轮廓的最前沿点Ptead ;b)以轮廓坐标点按照0axi的角度绕X轴旋转后的X坐标值xvalue [i]取得最大值的点Phead为中心计算二值图中属于目标点的局部圆形区域的形心作为最终跟踪点PtMdi。本发明选取了一个扩展目标图像序列，对其进行跟踪，其中图I为本发明流程图；图2a为实施例中扩展目标线段表恢复的二值图，图2b为本发明的轮廓跟踪结果，轮廓平滑滤波的处理是基于此跟踪结果进行的；图3为本发明的轮廓平滑并连接的示意图，示意图中实心黑点代表当前处理的第一轮廓点P·，空心圆点代表处理的第二轮廓点，圆为处理过程中以第一轮廓点为圆心，R为半径的处理范围；图4为本发明的基于弦弧比的轮廓平滑流程图，具体实现步骤如下步骤4a :轮廓跟踪，形成顺序轮廓数组；步骤4b :轮廓中所有点如果已经处理完毕，转步骤4h，否则如果没有处理完毕，转步骤4c ；步骤4c :按指定方向(顺时针或逆时针)取下一个轮廓点Pcur步骤4d :以步骤4c中取的轮廓点Peur为圆心，R为半径的圆形区域内按同一指定方向，依次取第二轮廓点Pi,计算第一轮廓点与第二轮廓点所购成的劣弧的弧长lenArc，劣弧的判断采用判断公式lenArc ^ lenArcContour/2,其中IenArcContour为轮廓点总数。如果IenArc ( lenArcContour/2,则计算第一轮廓点Peur与第二轮廓点Pi之间的弦长 lenChord,并且计算这两点之间的弦弧比 RatioCAcur [i], RatioCAcur [i] = lenChord/I enAr c ο如果反之IenArc > lenArcContour/2,则说明当前统计的两点间的弧为优弧,不做任何处理，继续计算第一轮廓点与局部圆形区域内下一个轮廓点之间的弦弧比。其中i =I…N ;N为局部圆形区域内与P·满足IenArc < lenArcContour/2的轮廓点的个数。如果圆形区域内的第二轮廓点已经遍历结束，则转步骤4e ；步骤4e Ratiomin = min {RatioCAcur [i]},记录取得的 Ratiomin 与第一轮 廓点 Pcm所对应的第二轮廓点Pi。其中，min为取最小值函数，Ratiomin表示圆形区域内P·与其余Pi弦弧比的最小值，转步骤4f ；步骤4f:判断圆形区域内最小弦弧比值是否小于预先设定的弦弧比门限值，实施例中设定为O. 64，并且如果对应的弦长满足大于设定门限，实施例取值为7，如果是，转步骤4g，否则说明圆形区域内没有尖锐的弧段，转步骤4b;步骤4g :设定取得最小弦弧比值的第一轮廓点与第二轮廓点之间的弧段为无效，即删除该弧段上的所有轮廓点。标记第一轮廓点应当被连接，记录第一轮廓点需要连接的第二轮廓点。转步骤4b;步骤4h :重新遍历所有轮廓点，如果当前处理轮廓点有效且没有被标记为连接，则保留；否则如果当前处理轮廓点有效且标记为连接，则采用插值的方式插入新的轮廓点到当前处理轮廓点与记录的与当前点相连接的第二轮廓点。遍历结束后形成新的封闭轮廓；图5为对图2b轮廓平滑并连接后结果，其中图下方椭圆部分为进行平滑并连接后的新的封闭轮廓，图上斜线部分弧段为被剔除了的比较尖锐且在连续帧间表现得不稳定的目标本体部分；图6a为以利用滤波后新轮廓与目标头部方向计算出的最前沿点为圆心所选取的计算形心区域的示意图，图6b为选取出的用于计算形心的部分；图7为计算目标头部跟踪点的流程示意图，步骤如下步骤7a :计算目标方位与高低方向上的速度，VAi = Ai-Ap1(8)VEi = Ei-Ep1(9)其中VAi、VEi分别为i时刻目标相对于测站的方位角速度和高低角速度，其合成速度即为目标当前的运动速度，其中Ai,Ei分别为i时刻目标相对于测站方位角和高低角的合成值，Ai+ Ei^1为i-Ι时刻对应的合成值。步骤7b 目标方位与高低方向上的合成速度转换为平面像素的运动矢量角度得到的速度方向θν(与X轴正向的夹角)；步骤7c :计算目标的中心矩mn, m20, m02
其中
权利要求
1.一种扩展目标稳定跟踪点的提取方法，其特征在于，该方法包含步骤如下 步骤SI :对于经过二值化并成功关联、识别出的视场内的扩展目标，使用标记后的目标线段表将该扩展目标恢复成二值目标图像，使二值化图像内只有扩展目标； 步骤S2 :利用轮廓跟踪方法对二值目标图像的轮廓进行跟踪，得到二值目标的按顺序排列的轮廓点数组，轮廓点总数记为IenArcContour ； 步骤S3 :利用顺序排列的轮廓点数组，按照指定的方向顺时针或逆时针遍历轮廓数组，记录各轮廓点对应的局部区域内的最小弦弧比点的信息，并根据阈值判断是否 需要滤除尖锐的弧段，如果不滤除弧段，则不连接弧段的端点；如果滤除弧段，则连接弧段的端点，以实现轮廓平滑，构成新的封闭目标轮廓； 步骤S4 :结合二值目标的运动方向和主轴方向，确定二值目标的头部方向； 步骤S5 :利用目标头部方向与新的封闭目标轮廓，寻找新的封闭目标轮廓上沿目标头部方向的最前沿点，计算以最前沿点为中心的局部区域的形心，以计算出的该形心为最终跟踪点，当前帧处理结束之后，返回SI，进行下一帧处理。
2.如权利要求I所述扩展目标跟踪点的提取方法，其特征在于所述轮廓平滑的步骤如下 步骤a:按顺时针或逆时针方向遍历按顺序排列的轮廓点数组，记当前处理的第一轮廓点为P·，若第一轮廓点P·未被标记为已处理，则执行步骤b，若第一轮廓点P·被标记为已处理，则执行步骤e; 步骤b :按与步骤a中遍历的同一方向搜索轮廓数组中每个落在以第一轮廓点P·为圆心、R为半径的局部圆形区域内的第二轮廓点Pi计算沿同一方向第一轮廓点P·与第二轮廓点 Pi 的弧长 IenArc,如果 IenArc ^ IenArcContour/2,其中 IenArcContour 为轮廓点总数，则计算第一轮廓点P·与第二轮廓点Pi之间的弦长lenChord，并且计算第一轮廓点 Pcur 与第二轮廓点 Pi 之间的弦弧比 RatioCAcur [i], RatioCAcur [i] = lenChord/I enAr c,计算直到局部圆形内同一方向的第二轮廓点Pi搜索完毕，如果反之IenArc >lenArcContour/2,则说明当前统计的两点间的弧为优弧，不做任何处理，继续计算第一轮廓点与局部圆形区域内下一个轮廓点之间的弦弧比，其中i = I…N ;N为局部圆形区域内与第一轮廓点Peur满足IenArc ( lenArcContour/2的轮廓点的个数； 步骤c :计算局部圆形区域内第一轮廓点P·与其余第二轮廓点Pi弦弧比的最小值表示为Ratiomin = min{RatioCAcur[i]},记录取得的Ratiomin与第一轮廓点Peur所对应的第二轮廓点Pi,其中，min为取最小值函数； 步骤 d :若 Ratiomin < Ratioth 并且对应的弦长 IenChord 满足 lenChord > IenChordth,则将当前第一轮廓点P·标记为应当被连接，并将第一轮廓点P·标记为已经处理，将第二轮廓点Pi设为当前处理点，Peur — Pi,转步骤a,反之若Ratiomin彡Ratioth则说明局部圆形区域内没有轮廓点与当前第一轮廓点P·构成比较尖锐的弧段，仅对第一轮廓点P·标记为已经处理，转步骤a ;其中Ratioth表示判定弧段是否为尖锐弧段的门限值；16110101'(^表示第一轮廓点与第二轮廓点之间的弦长； 步骤e :第2次遍历轮廓数组，如果当前遍历第一轮廓点P·被标记为有效并应当被连 接，则从第一轮廓点P·开始一直到第一轮廓点需要连接的第二轮廓点Pi之间的轮廓点标记为无效，其中第一轮廓点P·和第二轮廓点Pi不标记为无效，即删除第一轮廓点P·和第二轮廓点Pi之间的弧段，并采用插值的方法连接第一轮廓点P·和第二轮廓点Pi,将插入的轮廓点加入到轮廓数组中，然后P· — Pi,直到轮廓点遍历结束。
3.如权利要求2所述扩展目标跟踪点的提取方法，其特征在于第一轮廓点与第二轮廓点之间的弦长门限IenChordth取值为7 10，IenChordth的取值为需要滤除弧段的两个端点的弦长。
4.如权利要求2所述扩展目标跟踪点的提取方法，其特征在于判定弧段是否为尖锐弧段的门限值Ratioth取值为O. 5 O. 7，Ratioth的取值规则为需要滤除弧段的弦弧比的上界。
5.如权利要求I所述扩展目标跟踪点的提取方法，其特征在于，求取二值目标的运动方向与主轴方向步骤如下 步骤51 :计算目标的运动方向，方式如下 Vm = Ai-Ai-! (I) VEi = Ε「Εη (2) 其中VAi、VEi分别为i时刻目标相对于测站的方位角速度和高低角速度，方位角速度和高低角速度的合成速度为目标当前的运动速度，将运动速度转换到图像的像平面，得到合成速度在像平面上投影与X轴正向的夹角θν，其中ApEi分别为i时刻目标相对于测站方位角和高低角的合成值，Ai^1, Ei^1为i-Ι时刻对应的合成值； 步骤52 :用轮廓数组计算目标的惯性矩mn, m20, Hici2,进一步计算 其中
6.如权利要求I所述扩展目标跟踪点的提取方法，其特征在于所述最前沿点Ph-表示如下xvalue[i] = PiX X cos Θ ^+PiY X sin Θ axi (7)其中 PiX 与 Pj 分别为第 i 个轮廓点的横坐标与纵坐标值，cos Θ axi与当sin Θ axi分别为角度Θ axi的余弦值与正弦值，xvalue[i]为轮廓坐标点按照Θ axi的角度绕X轴旋转后的X坐标值，当取最大值时的点则为目标轮廓的最前沿点Phead。
7.如权利要求6所述扩展目标跟踪点的提取方法，其特征在于以轮廓坐标点按照Θ axi的角度绕X轴旋转后的X坐标值xvalue[i]取得最大值的点Ptead为中心计算二值图像中属于目标点的局部圆形区域的形心作为最终跟踪点PtMdi。
全文摘要
本发明公开了一种扩展目标稳定跟踪点提取方法，首先对前期关联识别成功的扩展目标恢复为二值图；然后进行轮廓跟踪，获取到按顺序排列的轮廓点数组；采用基于弦弧比滤波的方法对目标轮廓进行平滑，去除目标轮廓上尖锐的弧段，对被剔除弧段的两个端点采用直线进行连接，构成滤波后新的封闭轮廓；采用结合目标运动方向与主轴方向计算出目标的头部方向，然后获取沿目标头部方向的最前沿点，以该点为中心，计算局部圆形区域内的形心作为跟踪点。经过该方法处理后，最终计算出来的目标跟踪点稳定可靠，不会再出现剧烈晃动，增加了跟踪的稳定性，降低了跟踪丢失的风险。
文档编号G06T7/20GK102831619SQ20121026851
公开日2012年12月19日 申请日期2012年7月31日 优先权日2012年7月31日
发明者雷涛, 蒋平, 周进, 吴钦章 申请人:中国科学院光电技术研究所