一种基于拓扑结构的雷达光电传感器目标关联融合方法与流程

本发明涉及一种基于拓扑结构的雷达光电传感器目标关联融合方法。

背景技术：

船舶交通管理系统(英文简称vts)由雷达、cctv、ais、无线通讯等子系统组成，利用甚高频(vhf)和雷达，结合电子海图(ecdis)和卫星定位对在港湾或进出港口的船舶实施监控、协调，并为其提供咨询服务的系统。随着人类商业生产活动的增加，各大港口、航道内航行的船舶数量越来越多，需要实时掌握各类船舶信息。为了获得最佳的监管效果，依靠雷达、ais等传感器来提供信息已经无法满足需求，这使监视管理系统发展有了新的思路：从单一传感器监视及探测向多元传感器协同探测方向发展。异构多传感器网是以多部不同频段、不同体制、不同极化方式的传感器进行合理的优化布站，从而形成一个统一的、有机的、整体的新体制监视系统，提高现有监视管理系统的综合能力。

在异构传感器网中，需要将网内不同传感器和信息源的数据加以判断、相关和融合，获取目标精确位置、身份估计以及实时的态势，这就是多传感器信息融合技术。其包括时空对准、互联/相关、滤波、识别态势评估等过程，其中多传感器目标互联是关键技术之一。目前，互联技术有基于假设检验的加权航迹关联方法、k近邻域方法、双门限检测的灰色航迹关联方法，以及基于计算机视觉技术的特征点匹配图谱方法等等。但在异构传感器融合过程中，考虑到各个传感器数据维度信息不同以及传感器本身存在定位偏差、测量误差以及数据处理过程中产生的坐标转换误差、虚假目标和漏报目标等多种因素影响，上述传统改进方法使得多个不同异构传感器平台目标的对应互联关系变得模糊，导致融合系统性能下降。

技术实现要素：

发明目的：本发明采用目标网络拓扑结构的方法进行多源异构传感器目标的互联，实现目标的跟踪、融合、识别。方法以图像像素坐标系为基准坐标系，将vts系统检测的目标空间位置映射到图像像素基准坐标系。在图像像素基准坐标系中，分别以各个传感器的目标为基准目标，通过图像像素坐标位置计算出其余目标相对基准目标的方位距离，构建获得以基准目标为中心的网络拓扑结构。再计算评估各种网络拓扑结构的相似性，得到当前融合处理时刻的互联目标对应关联关系，最终得到目标的融合信息。

本发明具体提供了一种基于拓扑结构的雷达光电传感器目标关联融合方法，包括如下步骤：

步骤1：对vts系统检测和图像检测到的目标进行滤波处理；

步骤2：将vts系统检测的目标经纬度位置转换到图像像素坐标系中，获得vts系统检测的目标像素位置；

步骤3：在图像像素坐标系中，计算目标间相对距离和相对方位，实现目标拓扑结构的构建；这种新方法将目标的绝对位置转化到可信度更高的相对位置空间，可提升多目标重叠等复杂场景下的异构传感器目标关联性能。

步骤4：建立vts目标-图像目标像素距离粗关联矩阵；采用工程中常用的距离最优邻近算法实现vts目标、图像目标的粗关联。

步骤5：在图像像素坐标系中，计算目标拓扑结构的相似性，实现异构传感器目标的关联；

步骤6：根据异构传感器目标关联关系，将vts系统检测到的船舶目标的静态信息自动添加到图像目标属性中，完成目标的综合信息融合。

步骤1包括：采用现有的卡尔曼滤波模型分别对vts系统检测到的目标和图像检测到的目标进行滤波，实现目标航迹的平滑，具体包括：

设目标状态方程为x(k+1)＝f(k)x(k)+γ(k)v(k)，量测方程为z(k+1)＝h(k+1)x(k+1)+w(k+1)，其中f(k)为状态转移矩阵，γ(k)为过程噪声分布矩阵，v(k)为过程噪声向量，h(k+1)为量测矩阵，w(k+1)为具有协方差r(k+1)的零均值白色高斯量测噪声序列，目标状态估计向量xk为目标x像素坐标，为目标x像素速度，为目标x像素加速度，yk为目标y像素坐标，为目标y像素速度，为目标y像素加速度。z(k)＝[zxzy]，zx为目标x像素探测坐标，zy为目标y像素探测坐标。则现有卡尔曼递推滤波计算过程如下所示：

状态的一步预测

量测的预测

新息v(k+1)：

状态更新方程

协方差的一步预测p(k+1|k)：p(k+1|k)＝f(k)p(k|k)f'(k)+q(k)

新息协方差s(k+1)：s(k+1)＝h(k+1)p(k+1|k)h'(k+1)+r(k+1)

增益k(k+1)：k(k+1)＝p(k+1|k)h'(k+1)s^-1(k+1)

更新协方差p(k+1|k+1)：p(k+1|k+1)＝p(k+1|k)-k(k+1)s(k+1)k'(k+1)

k+1时刻，利用卡尔曼递推滤波方程实现vts系统检测目标、图像检测目标的状态估计更新。同时，将vts系统检测目标和图像检测目标的状态保存在对应的vts目标滤波队列vtsdeque和图像目标滤波队列imgdeque中。

步骤2包括：依据摄像机安装位置的经纬度、摄像机安装高度、摄像机俯仰角、摄像机内参(焦距)和vts系统检测的目标的经纬度信息，采用小孔成像技术将vts系统检测的目标的经纬度位置转换到图像像素坐标系中，获得vts系统检测的目标像素位置。具体计算步骤如下：

步骤2-1，建立以相机为中心的二维坐标，相机位置为二维坐标中心点。通过获取相机焦距f、相机ccd宽度w、ccd高度h等计算相机的水平视场角α和垂直视场角β。

α＝2arctan(w/2f)

β＝2arctan(h/2f)

步骤2-2，计算vts系统检测的目标在相机坐标系中的位置。将vts系统检测的目标的经纬度位置转为相对于相机高度的垂直高度角和水平方位角，得出vts系统检测的目标相对于相机视场角的垂直方位角度φ和水平方位角度比例

φ＝fabs(p-c)/a

步骤2-3，计算vts目标在图像中的坐标位置。获取相机当前图像的长宽，通过目标的视场角比例和图像长宽即可得到vts目标所在图像中的坐标位置。

步骤3包括：

步骤3-1，在图像像素坐标系中，依次选取vts系统检测的一个目标为基准目标，计算其余vts系统检测的目标到基准目标的相对方位、相对距离，构建出基准目标的拓扑结构，以此类推，构建完成vts系统检测的所有目标的拓扑结构集合vtstopol；

步骤3-2，在图像像素坐标系中，依次选取图像检测到的一个目标为基准目标，计算其余图像检测到的目标到基准目标的相对方位、相对距离，构建出基准目标的拓扑结构，以此类推，构建完成图像检测到的所有目标的拓扑结构集合imgtopol。

步骤3-1包括：

步骤3-1-1，设vts系统检测的一个目标为基准目标i，计算vts系统检测的目标j与基准目标i的相对方位wij和相对距离dij，j＝1,2,...,n,j≠i，n表示vts系统检测的目标总数，计算公式如下：

x’＝xj-xi，y’＝yj-yi，

xi,yi分别为目标i的x、y像素坐标值，xj,yj分别为目标j的x、y像素坐标值；x'表示目标i和目标j在x方向的误差，y'表示目标i和目标j在y方向的误差；

依据直角坐标系到极坐标系变换关系，将x'和y'转换到极坐标距离dij和方位wij，即实现了目标绝对位置向相对位置空间的转换；

步骤3-1-2，按步骤3-1-1建立vts系统检测的所有目标的拓扑结构集合vtstopol。

步骤3-2包括：

步骤3-2-1，设图像检测到的一个目标为基准目标u，遍历计算图像检测到的目标v与基准目标u的相对方位wuv和相对距离duv，v＝1,2,...,m,v≠u，m表示图像检测到的目标总数，计算过程如下：

x’＝xv-xu，y’＝yv-yu，

xu,yu分别为目标u的x、y像素坐标值，xv,yv分别为目标v的x、y像素坐标值；x'表示目标u和目标v在x方向的误差，y'表示目标u和目标v在y方向的误差；

依据直角坐标系到极坐标系变换关系，将x'和y'转换到极坐标距离duv和方位wuv。即实现了目标绝对位置向相对位置空间的转换；

步骤3-2-2，按步骤3-2-1建立图像检测到的所有目标的拓扑结构集合imgtopol。

步骤4包括：

步骤4-1，建立vts目标-图像目标像素距离粗关联的二维矩阵disenabe[n][m]；

步骤4-2，根据如下公式计算vts系统检测的目标i和图像检测的目标j之间的像素欧式距离dij，

dij＝sqrt((xi-xj)²+(yi-yj)²)

其中，(xi,yi)为vts系统检测的目标i的像素位置，(xj,yj)为图像检测的目标j的像素位置；

步骤4-3，更新disenabe[i][j]状态。如果dij≥maxdis，则disenabe[i][j]＝0，说明vts系统检测的目标和图像检测的目标不关联，否则disenabe[i][j]＝1，执行步骤5。maxdis为目标不关联的最大距离门限。本发明中设置maxdis＝120。

步骤5包括：

步骤5-1，遍历disenabe数组，如果disenabe[i][j]＝1,，i＝1,2,...,n,j＝1,2,...,m，说明vts系统检测到的目标i与图像检测到的目标j可能存在关联关系，则执行步骤5-2；如果disenabe[i][j]＝0，说明vts系统检测到的目标i与图像检测到的目标j不存在关联关系，则继续执行步骤5-1遍历下个图像目标；

步骤5-2，在vtstopol集合和imgtopol集合中，分别查找vts系统检测到的目标i与图像检测到的目标j的拓扑结构tvts(i)和timg(j)；

步骤5-3，依据如下公式计算vts系统检测到的目标i的拓扑结构和图像检测到的目标j的拓扑结构相似性值s：

diserr＝dik-djt

azierr＝wik-wjt

s＝α×diserr+β×azierr

其中，dik是vts系统检测到的目标k相对步骤3-1-1中基准目标i的拓扑距离，djt是图像检测到的目标t相对基准目标j的拓扑距离，diserr是dik和djt的距离差值；wik是vts系统检测到的目标k相对基准目标i的拓扑方位，wjt是图像检测到的目标t相对基准目标j的拓扑方位，azierr是wik和wjt的差值；α为距离误差的权重，β为方位误差的权重。这里，α＝0.7，β＝0.3。由上式可见，s采用了新的计算方法，即通过距离差和方位差两个不同维度的加权累计和得到拓扑结构的相似值。

步骤5-4，如果s≤smin成立，则smin＝s，说明vts系统检测到的目标i和图像检测到的目标j的拓扑结构相似，执行步骤5-1遍历下个图像目标；如果图像目标遍历完毕，则执行步骤5-5；本发明中，初始化smin＝50；

步骤5-5，如果s存在，则说明vts系统检测到的目标i拓扑结构和图像检测到的目标j的拓扑结构最相似，即vts系统检测到的目标i拓扑结构和图像检测到的目标j关联，vts系统检测到的目标i关联处理完毕，遍历执行下一个vts目标；

步骤5-6，重复步骤5-1～步骤5-5直至vts所有检测到的目标关联处理完毕。有益效果：本发明考虑到各个异构传感器平台偏差、测量误差、虚假目标以及漏报目标对航迹关联的影响，构建了目标的拓扑网络结构。通过评估目标拓扑网络结构的相似性，获得最优相似拓扑结构，进而得到目标的对应互联关系。在船舶交通管理系统中，较好的实现了图像系统检测目标、vts系统检测目标的关联融合，自动掌握船舶的信息，提升了船舶交通管理系统的智能化水平。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和或其他方面的优点将会变得更加清楚。

图1基于拓扑结构的雷达光电传感器目标关联处理总体流程图。

图2雷达光电传感器目标关联处理流程图。图3雷达光电传感器目标关联显示示意图。

具体实施方式

本发明提供了一种基于拓扑结构的雷达光电传感器目标关联融合方法。方法处理流程如图1所示，步骤如下：

步骤1，对接收的vts系统检测目标和图像系统检测目标采用卡尔曼滤波模型进行滤波处理。

以vts系统检测某目标i为例。k时刻，vts系统检测目标i的探测位置为z(k)＝(xk,yk)，则卡尔曼滤波器输出目标状态x(k)＝[xk00yk00]。k+1时刻，vts目标i的探测位置为z(k+1)＝(xk+1,yk+1)，则卡尔曼滤波器输出目标状态x(k+1)＝[xk+1vx0yk+1vy0]。其中，

vx＝(xk+1-xk)/t

vy＝(yk+1-yk)/t

k+2时刻起，采用卡尔曼滤波方程对vts系统检测目标i进行迭代滤波处理。同时，将滤波结果存储在数据结构vtsdeque中。卡尔曼滤波方程如下：

状态的一步预测

量测的预测

新息v(k+1)：

状态更新方程

协方差的一步预测p(k+1|k)：p(k+1|k)＝f(k)p(k|k)f'(k)+q(k)

新息协方差s(k+1)：s(k+1)＝h(k+1)p(k+1|k)h'(k+1)+r(k+1)

增益k(k+1)：k(k+1)＝p(k+1|k)h'(k+1)s^-1(k+1)

更新协方差p(k+1|k+1)：p(k+1|k+1)＝p(k+1|k)-k(k+1)s(k+1)k'(k+1)本发明中，vts系统检测目标航迹更新周期t＝3秒，图像目标航迹更新周期t＝1秒，

步骤2，依据摄像机的安装位置经纬度、摄像机高度、摄像机内参和vts目标的经纬度信息，采用成熟的小孔成像技术模型将vts系统检测目标经纬度位置转换到图像像素坐标系中，获得vts系统检测目标像素位置。

a)建立以相机为中心的二维坐标，相机位置为二维坐标中心点。通过获取相机焦距f、相机ccd宽度w、ccd高度h等计算相机的水平视场角α和垂直视场角β。其中，相机焦距、相机ccd可参考相机型号获得。

α＝2arctan(w/2f)

β＝2arctan(h/2f)

b)计算vts系统检测目标在相机坐标系中的位置。将vts系统检测目标经纬度位置转为相对于相机高度的垂直高度角和水平方位角，得出vts系统检测目标相对于相机视场角的垂直方位角度φ和水平方位角度比例其中，h为相机高度，p为vts系统检测目标相对相机水平方位，d为vts系统检测目标相对相机的距离，c为相机中心垂直方位。c可以从相机产品参数中查询。

φ＝fabs(p-c)/a

c)计算vts系统检测目标在图像中的坐标位置。获取相机当前图像的长宽，通过目标的视场角比例和图像长宽即可得到vts系统检测目标所在图像中的坐标位置。

步骤3：在图像像素坐标系中，计算目标间相对距离和相对方位构建vts系统检测目标、图像系统检测目标的拓扑结构集合。

a)设vts系统检测的基准目标i，计算vts系统检测目标j(j＝1,2,...,n,j≠i)与基准目标i的相对方位wij和相对距离dij。计算过程x'＝xj-xi，y'＝yj-yi，(xi,yi)为目标i的x、y滤波处理后的像素坐标值，(xj,yj)为目标j的x、y滤波处理后的像素坐标值。x'表示目标i和目标j在x方向的误差，y'表示目标i和目标j在y方向的误差。再依据直角坐标系与极坐标系转换关系，将x'和y'转换到极坐标距离dij和方位wij。

dij＝sqrt(x'×x'+y'×y')

wij＝arctan(x'/y')

按上述步骤建立vts系统检测所有目标的拓扑结构集合vtstopol。

b)设图像基准目标u，遍历计算图像目标v(v＝1,2,...,m,v≠u)与基准目标u的相对方位wuv和相对距离duv。计算过程x'＝xv-xu，y'＝yv-yu，(xu,yu)为目标u的x、y滤波处理后的像素坐标值，(xv,yv)为目标v的x、y滤波处理后的像素坐标值。x'表示目标u和目标v在x方向的误差，y'表示目标u和目标v在y方向的误差。再依据直角坐标系与极坐标系转换关系，将x'和y'转换到极坐标距离duv和方位wuv；

duv＝sqrt(x'×x'+y'×y')

wuv＝arctan(x'/y')

按上述步骤建立图像所有目标的拓扑结构集合imgtopol。

步骤4，建立vts目标-图像目标像素距离粗关联矩阵。采用工程中常用的距离最优邻近算法实现vts目标、图像目标的粗关联。

a)建立vts目标-图像目标像素距离粗关联矩阵disenabe[n][m]，n为vts系统检测目标总数，m为图像系统检测目标总数。

b)设vts系统检测目标i的像素位置为(xi,yi)，图像系统检测目标j的像素位置为(xj,yj)，根据下式计算vts系统检测目标i和图像系统检测目标j之间的像素距离dij，

dij＝sqrt((xi-xj)²+(yi-yj)²)

c)更新disenabe[i][j]状态。若dij≥maxdis，则disenabe[i][j]＝0，说明目标i和图像目标j不存在关联关系，否则disenabe[i][j]＝1。maxdis为目标不关联的最大距离，本发明中maxdis＝120。

步骤5：在图像像素坐标系中，对vts系统检测目标和图像系统检测目标的位置采用距离、方位加权求和的新方法计算目标拓扑结构的相似性，实现异构传感器目标的关联。

步骤5-1，遍历disenabe数组。若disenabe[i][j]＝1,(i＝1,2,...,n,j＝1,2,...,m)，说明vts系统检测目标i与图像系统检测目标j可能存在关联关系，此时依据步骤5-2计算目标拓扑结构的相似性；若disenabe[i][j]＝0，说明vts系统检测目标i与图像系统检测目标j不存在关联关系，则继续执行步骤5-1遍历下个图像目标。

步骤5-2，在vtstopol集合和imgtopol集合中，分别查找vts系统检测目标i和图像系统检测目标j的拓扑结构tvts(i)和timg(j)。本发明经过上述步骤处理后，计算的vts目标i的某次拓扑结构如tvts(i)＝{(151,348°),(240,53°)}，图像目标j的某次拓扑结构如timg(i)＝{(147,341°),(249,47°)}。

步骤5-3，依据如下公式计算vts系统检测目标i的拓扑结构和图像系统检测目标j的拓扑结构相似性度值s。

diserr＝dik-djt

azierr＝wik-wjt

s＝α×diserr+β×azierr

vts系统检测目标i和图像系统检测目标j的拓扑结构都有2个目标。则diserr和azierr累积求和3次，即

diserr＝abs(151-147)+abs(240-249)＝13

aizerr＝abs(348-341)+abs(53-47)＝13vts系统检测目标i和图像系统检测目标j的拓扑结构相似性s＝0.7×13+0.3×13＝13。本发明中，考虑到传感器测量目标的距离比方位准确，因此距离误差权重α＝0.7，方位误差权重β＝0.3。

步骤5-4，若s≤smin成立，则smin＝s，说明vts系统检测目标i和图像系统检测目标j的拓扑结构相似。执行步骤5-1遍历下个图像目标。如果图像目标遍历完毕，则执行步骤5-5。

本发明中设置smin＝50。经计算s≤smin成立，则smin＝13同时记录vts系统检测目标i和图像系统检测目标j关联。图像系统检测目标t的拓扑结构timg(t)＝{(100,173°),(70,348°)}，经计算vts系统检测目标i和图像系统检测目标t的拓扑结构相似性s＝295.7比smin大。因此，vts系统检测目标i和图像系统检测目标t关联，不更新smin值。重复步骤5-4直至图像目标遍历完毕转步骤5-5。

步骤5-5，本例中smin＝13，说明vts系统检测目标i拓扑结构和图像系统检测目标j的拓扑结构最相似，即vts系统检测目标i和图像系统检测目标j关联。vts系统检测目标i关联处理完毕，遍历执行下一个vts系统检测目标。

步骤5-6，重复步骤5-1～步骤5-5直至vts所有目标关联处理完毕。

步骤5具体处理流程如图2所示。图3是雷达光电传感器目标关联显示示意图。

步骤6：根据异构传感器目标关联关系，将vts系统检测目标的静态信息自动添加到图像目标属性中，完成目标的综合信息融合。

该步骤根据vts系统检测目标和图像系统检测目标关联关系，将vts系统检测目标的mmsi、船名、航向航速等静态属性数据添加到图像目标属性中，在图像上进行显示。

本发明提供了一种基于拓扑结构的雷达光电传感器目标关联融合方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。