无人机视频图像目标定位系统、定位方法及云台控制方法与流程

本发明属于无人机目标定位及视频图像处理领域，尤其涉及一种基于元数据的无人机视频图像目标定位系统、定位方法及无人机云台控制方法。

背景技术：

无人机(unmannedaerialvehicle，uav)，作为一种新兴现代军事装备，以其得天独厚的“无人”优势，完全符合“不见面”和“零伤亡”的现代战争理念。无人机通过携带不同的设备，可以执行侦察监视、激光制导、电子干扰、通信中继、目标定位、战斗评估、精确打击等任务。无人机在民用上也大有可为，它可应用于场区监控、气象探测、公路巡视、勘探测绘、水灾监视、航空摄影、交通管理、电力线路查询、森林火灾防救等。

近年来，随着无人机在局部战场上不断地曝光，以及无人机技术的飞速发展，无人机的军事应用价值，尤其是在低空侦察上的优势已经得到了世界各国的高度重视，在作战武器中的地位正在不断上升。无人侦察机作为信息化战场一种极具发展前景的新型装备，已经成为重要的信息作战前端和灵活的空中打击力量。

可见光传感器作为当今几乎所有无人机必备的传感器之一，能够实时采集和处理战场视频信息，为飞行操控、战场指挥、侦察打击、场区监控提供最基本和最重要的信息。无人机输出视频的目标定位的主要目标是把视频图像中的目标的像素位置与真实场景中的物体坐标，例如gps坐标，一一对应起来，主要方法是根据导航信息和设备参数计算出空间坐标系、无人机载体坐标系和地心坐标系之间的转换矩阵，换算得出目标在地心坐标系中的坐标。

当前，基于无人机视频图像的定位技术主要是讨论如何进行参考图与实时图之间的图像匹配，主要研究内容是提高匹配的精度和速度。基础的图像匹配算法已经很成熟，现阶段的研究关键是如何匹配不同源的图像以及如何提高匹配的可靠性。基于图像匹配，利用一副图像上的多个同名点进行导航参数解算的图像导航算法已经被验证了其有效性。但如果无人机视场有效或一致的地标点数目有限，无法保证图像上同名点数目时，算法将失效。此外该算法对多个同名点进行图像匹配，匹配算法复杂且工作量大，影响实时性。基于图像匹配的定位技术由于需要目标区域范围的历史图像，适用于小范围的定位及巡航导弹的末端制导等应用场景。

通过对无人机实时传回的视频进行目标定位，可以更为精确的掌握传感器的拍摄区域、目标位置及状态；另一方面也可以根据指定的位置信息来反向解算传感器的运动信息，控制传感器对指定区域进行持续性监控。因此，基于无人机视频的目标定位技术对战场监控、态势分析、损毁评估等应用方向具有重要的研究价值。

现有的无人机操作系统，如大疆等，在无人机飞行过程中，通常只能在地图上显示无人机自身的位置坐标及云台的大致方位，并不能获取和显示视频中所拍摄目标的位置；另一方面，在需要对指定区域的目标进行侦察时，现有的无人机操作系统需要人工调整云台，且只能依靠实时回传的视频来人工判断云台控制方向，操作极为不便。

技术实现要素：

发明目的：为了解决现有技术中存在的问题，本发明提供一种基于元数据的无人机视频图像目标定位系统及定位方法，通过结合目标区域位置及无人机的位置及飞行参数，实时解算云台方位及俯仰角参数，对视频中的目标进行定位；以及一种基于元数据的无人机云台控制方法，便于控制云台方向。

技术方案：为了实现对无人机视频中框选目标的实时定位，本发明中基于元数据的无人机视频图像目标定位系统，

该系统包括元数据处理模块、高程数据管理模块、视频定位模块；所述元数据处理模块实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；所述高程数据管理模块根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的dem高程数据，将dem高程数据转换到地心坐标系；所述视频定位模块对接收到的视频帧，根据其时间戳查询该视频帧前后的元数据，并进行插值获得当前视频帧所对应的元数据信息；再利用元数据信息计算视场中心角度，并进行坐标转换，在地心坐标系下计算视轴线与高程数据的交点得到视场中心的经度、纬度及高度，实现对视频帧中框选目标的定位。

进一步地，为了能够通过gis框选目标，对云台进行辅助控制使框选目标出现在视频图像中心区域，该系统还包括云台辅助控制模块；所述云台辅助控制模块获取gis框选目标的经纬度，结合dem高程数据获取目标高程，并根据无人机实时元数据信息获取云台方位角与俯仰角偏差进而控制云台转动。

相应地，本发明还公开了一种基于元数据的无人机视频图像目标定位方法，该方法包括以下步骤：

(1)实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；

(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的dem高程数据，将dem高程数据转换到地心坐标系；

(3)对接收到的视频帧，接收的元数据计算视场中心角度，并进行坐标转换，在地心坐标系下计算视轴线与高程数据的交点，从而得到框选目标的经度、纬度及高度。

步骤(3)中获取视频框选目标的经纬度及高度，包括以下步骤：

(31)根据视频分辨率和传感器水平视场角ψh计算ccd面板到镜头的距离l；

(32)以ccd的一个顶点为原点，以连接该顶点的两条垂直边所在直线分别为x轴和y轴，以垂直于该ccd面板的直线为z轴，构建三维坐标系，得到镜头中心的坐标ωc、ccd中心的坐标dc、视频框选目标的坐标pc；

(33)计算视轴线到目标视线的旋转矩阵

(34)将无人机经纬度及高度转换为地心坐标系坐标，在地心坐标系中，将无人机从初始点旋转到对应经纬高的旋转矩阵记为rα，记旋转矩阵记为过无人机所在点且与水平面垂直的一条直线，为穿越南北极的一条直线；

(35)根据无人机的方位角βy、俯仰角βp及侧滚角βr，计算机身轴线与无人机所在经线之间的旋转矩阵rβ；

(36)根据云台方位角λy和俯仰角λp，计算传感器视轴线与机身轴线之间的旋rλ；

(37)将无人机飞行区域的高程数据其转换到地心坐标系，记高程曲面为s；

(38)设为地心坐标系中与水平面垂直的一条直线，计算根据无人机及云台参数旋转后的直线

(39)计算直线与高程曲面s的交点，利用kalman滤波进行去噪，并转换为经纬高作为视频框选目标的坐标。

进一步地，为了能够通过gis框选目标，对云台进行辅助控制使框选目标出现在视频图像中心区域，本发明中基于元数据的无人机云台控制方法，包括以下步骤：

(1)实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；

(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的dem高程数据，将dem高程数据转换到地心坐标系；

(3)根据gis框选目标的经纬度结合高程数据获取目标高程，再根据无人机实时元数据信息进行解算，获取云台方位角与俯仰角偏差，进而根据计算结果控制云台转动使目标出现在视频图像中心。

其中，步骤(3)中获取云台方位角与俯仰角偏差，包括以下步骤：

(31)根据gis框选目标的经纬度坐标和高程数据获取目标的高度，并将经纬度及高度转换为地心坐标系中的坐标；

(32)将无人机经纬度及高度转换为地心坐标系坐标，在地心坐标系中，将无人机从初始点旋转到对应经纬高的旋转矩阵记为rα，记旋转矩阵记为过无人机所在点且与水平面垂直的一条直线，为穿越南北极的一条直线；

(33)根据无人机的方位角βy、俯仰角βp及侧滚角βr，计算旋转矩阵rβ；

(34)设为地心坐标系中与水平面垂直的一条直线，计算根据无人机参数旋转后的直线

(35)计算gis框选目标与无人机所在点构成的直线与直线的方位角偏差κy和俯仰角偏差κp；

(36)根据方位角偏差κy和俯仰角偏差κp旋转云台，使目标出现在视频图像中心。

有益效果：本发明中基于元数据的无人机视频图像目标定位系统利用了无人机飞行数据、云台及相机的实时参数等信息，结合高程数据，实现了对视频图像中任意目标的实时定位，有利于无人机操作人员、图像情报处理人员等实时掌握无人机拍摄目标的位置坐标，同时也可为目标引导提供坐标；进一步地，本发明基于元数据的无人机视频图像目标定位系统通过设置云台辅助控制模块支持在gis上点选目标，并辅助控制云台转向目标区域，使目标出现在视频图像中心，有效简化了无人机云台的控制策略，使无人机操作人员只需要专注于操作无人机，由本发明中基于元数据的无人机云台控制方法替代操作人员自动控制云台进行旋转，提高了侦察地面目标的工作效率。本发明中基于元数据的无人机视频图像目标定位方法速度快、实现简单、可靠性高，能够对传回的视频及视频中的目标进行实时定位，定位速度快，且不受天气、光照、历史图像等因素的影响。本发明中基于元数据的无人机云台控制方法能够实时显示视频中目标在卫星地图上的位置，且允许用户直接在卫星地图上框选待侦察目标，系统将自动控制云台转向指定角度，使目标出现在视频中，形成了一套视频与卫星地图的互动操作闭环，极大简化了无人机的操作。

附图说明

图1是本发明中基于元数据的无人机视频图像目标定位系统的模块示意图；

图2是本发明中基于元数据的无人机视频图像目标定位方法的流程图；

图3是本发明中基于元数据的无人机云台控制方法的流程图；

图4无人机方位角示意图；

图5是无人机俯仰角示意图；

图6是无人机侧滚角示意图；

图7是云台相对方位角示意图；

图8是云台相对俯仰角示意图；

图9是传感器水平视场角示意图；

图10是传感器垂直视场角示意图；

图11是传感器视轴直线与高程数据相交示意图；

图12是无人机实时视频及目标框选位置截图；

图13是视频框选位置定位效果示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

如图1所示，本发明中基于元数据的无人机视频图像目标定位系统，包括元数据处理模块、高程数据管理模块、视频定位模块以及云台辅助控制模块；元数据处理模块负责实时接收无人机传回的飞行数据及载荷数据，并从中提取无人机的经纬度、高度、俯仰角、方位角、侧滚角及云台的俯仰角、方位角、传感器的水平视场角、垂直视场角、视频分辨率等元数据信息；高程数据管理模块负责对大区域的高程数据进行分块存储及访问，将分块的dem数据转换到地心坐标系，根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的高程数据，从而实现高程数据的快速访问；视频定位模块则根据接收的元数据计算视场中心角度，并进行坐标转换，在地心坐标系下计算其与高程数据的交点，从而得到视场中心的经度、纬度及高度，并利用kalman滤波修正随机误差；云台辅助控制模块通过根据gis框选目标的经纬度，结合高程数据获取目标高程，再根据无人机实时元数据信息进行解算，获取云台方位角与俯仰角偏差，进而根据计算结果控制云台转动。

如图2所示，利用上述基于元数据的无人机视频图像目标定位系统进行目标定位，包括以下步骤：

(1)元数据处理模块实时接收无人机传回的飞行数据及载荷数据，并从中提取无人机的经纬度、高度、俯仰角、方位角、侧滚角及云台的俯仰角、方位角、传感器的水平视场角、垂直视场角、视频分辨率等元数据信息。本发明中采用redis(一种基于内存的高效键值对数据库)缓存接收到的元数据信息，缓存失效时间设置为20秒。

(2)高程数据管理模块负责对大区域的高程数据的分块存储及访问，将分块的dem数据转换到地心坐标系，根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的高程数据，从而实现高程数据的快速访问。

(3)对于接收到的视频帧，视频定位模块根据其时间戳查询该视频帧前后的元数据，并进行插值获得当前帧所对应的元数据信息，利用元数据信息计算视频中心及四角的绝对俯仰角和绝对方位角，然后利用缓存的高程数据求解传感器视轴直线与高程数据交叉点(如图11所示)的经纬度信息和高度信息，实现对视频帧及拍摄区域的定位。

如图3所示，利用上述基于元数据的无人机视频图像目标定位系统进行云台控制，包括以下步骤：

(1)元数据处理模块实时接收无人机传回的飞行数据及载荷数据，并从中提取无人机的经纬度、高度、俯仰角、方位角、侧滚角及云台的俯仰角、方位角、传感器的水平视场角、垂直视场角、视频分辨率等元数据信息。本发明中采用redis(一种基于内存的高效键值对数据库)缓存接收到的元数据信息，缓存失效时间设置为20秒。

(2)高程数据管理模块负责对大区域的高程数据的分块存储及访问，将分块的dem数据转换到地心坐标系，根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的高程数据，从而实现高程数据的快速访问。

(4)云台辅助控制模块根据gis框选目标的经纬度结合高程数据获取目标高程，再根据无人机实时元数据信息进行解算，获取云台方位角与俯仰角偏差，进而根据计算结果控制云台转动。

上述步骤(1)中，所获取的元数据信息列表如表1所示，本发明中基于无人机视频的目标定位技术主要是通过对实时传回的视频信息，结合元数据信息(包括无人机平台、云台、可见光传感器等设备的工作状态等)以及高程数据，对视频的中心、四角及目标区域的坐标进行解算。

表1元数据信息列表

上述步骤(2)中，本发明所使用的dem高程数据，包含北纬60度至南纬56度之间，面积超过1.19亿平方公里的区域，覆盖全球陆地表面的80％以上。原始数据超过90g，为了能够根据在解算过程中快速实时获取指定经纬度的高程信息，本发明中采用高程数据动态加载机制，即通过对dem数据进行分片，加载无人机当前位置对应的dem分片，并根据飞行方向和飞行速度进行估算，动态预加载下一分片的dem数据，最多同时加载4个分片的dem数据，并卸载历史分片数据，从而利用有限的内存空间来保证在指定经纬度的高程信息在限定飞行速度下的100％命中率。

上述步骤(3)中根据元数据信息计算视频中的任意像素的绝对俯仰角和方位角，利用缓存的高程数据求解视轴线与交叉点的经纬度信息和高度信息，最终求得指定像素的经纬度信息，具体步骤如下：

步骤1-1，根据视频分辨率w×h、视频框选目标中心坐标(x,y)，结合传感器水平视场角ψh和垂直视场角ψv，计算ccd面板到镜头的距离

步骤1-2，定义镜头中心三维坐标为ωc＝(w/2,h/2,l)，ccd左上角坐标为dtl＝(0,0,0)，ccd右下角坐标为dbr＝(w,h,0)，ccd中心坐标为dc＝(w/2,h/2,0)，视频框选目标的三维坐标为pc＝(x,y,0)；

步骤1-3，计算视轴线到目标视线的旋转矩阵

步骤1-4，根据无人机经纬度及高度(αlon,αlat,αalt)，转换为地心坐标系坐标α1＝(αx,αy,αz)，另根据(αlon,αlat,αalt-100)计算其在地心坐标系中坐标α0，，从而获取地心坐标系中，将无人机从初始点旋转到对应经纬高的旋转矩阵rα＝r(＜(0,0,0),(0,0,1)＞,＜α0,α1＞)，同时根据经度进行旋转，使无人机在地心坐标系中与水平面平行，其旋转矩阵记为rlon；

步骤1-5，根据无人机的方位角、俯仰角及侧滚角云台参数(βy,βp,βr)，计算机身轴线与无人机所在经线之间的旋转矩阵rβ；

步骤1-6，根据云台参数，包括方位角λy和俯仰角λp，计算传感器视轴线与机身轴线之间的旋rλ；

步骤1-7，获取无人机飞行区域的高程数据，并将其转换到地心坐标系，记高程曲面为s；

步骤1-8，定义地心坐标系中的直线计算根据无人机及云台参数旋转后的直线

步骤1-9，计算直线与高程曲面s的交点ps＝(px,py,pz)，转换为经纬高pα＝(plon,plat,palt)，即为视频框选目标的坐标。

上述步骤(4)中，根据gis框选目标的经纬度结合高程数据获取目标高程，再根据无人机实时元数据信息进行解算，获取云台期望方位角和俯仰角与当前云台位置的偏差，进而根据计算结果控制云台转动，具体步骤如下：

步骤2-1，在gis上点选目标，获取经纬度(plon,plat)；

步骤2-2，根据经纬度，利用高程数据，获取目标对应高度palt，将gis框选目标点的经纬高转换为地心坐标p＝(px,py,pz)；

步骤2-3，根据无人机经纬度及高度(αlon,αlat,αalt)，转换为地心坐标系坐标α1＝(αx,αy,αz)，另根据(αlon,αlat,αalt-100)计算其在地心坐标系中坐标α0，从而获取地心坐标系中，将无人机从初始点旋转到对应经纬高的旋转矩阵rα＝r(＜(0,0,0),(0,0,1)＞,＜α0,α1＞)，其中＜(0,0,0),(0,0,1)＞表示穿越南北极的一条直线，＜β0,βz＞表示过无人机所在点且与水平面垂直的一条直线，同时根据经度进行旋转，使无人机在地心坐标系中与水平面平行，其旋转矩阵记为rlon；

步骤2-4，根据无人机的方位角、俯仰角及侧滚角云台参数(βy,βp,βr)，计算机身轴线与无人机所在经线之间的旋转矩阵rβ；

步骤2-5，定义地心坐标系中的一条过南北极的直线计算根据无人机参数旋转后的直线

步骤2-6，计算目标点与无人机所在点构成的直线＜p,β1＞与直线的方位角偏差κy和俯仰角偏差κp；

步骤2-7，根据方位角偏差κy和俯仰角偏差κp旋转云台，使目标出现在视频图像中心。

文中，<a,b>都表示a、b两点确定的直线。

本发明中定位方法能够在无激光测距的情况下对视频中的任意像素表征的目标进行实时定位，单像素定位耗时小于50ms。为验证该方法的有效性，本发明方法利用无人机的历史元数据信息及视频数据进行定位，并结合卫星地图进行比对，实验结果表明，该方法的定位误差最小可达9米，最大300米左右。定位效果图如图12、图13所示，其中图12为无人机实时视频及目标框选位置截图，图中框选道路交叉口，图13为对应的卫星影像地图，图中白色正方形框选区域为本方法的定位结果。

在无人机飞行过程中，本发明方法能够实时显示视频中目标在卫星地图上的位置，而现有的无人机操作系统，如大疆等，通常只能在地图上显示无人机自身的位置坐标及云台的大致方位，并不能获取和显示视频中所拍摄目标的位置；另一方面，在需要对指定区域的目标进行侦察时，现有的无人机操作系统需要人工调整云台，且只能依靠实时回传的视频来人工判断云台控制方向，操作极为不便，而本发明所述方法允许用户直接在卫星地图上框选待侦察目标，系统将自动控制云台转向指定角度，使目标出现在视频中，极大简化了无人机云台的操作。本发明所述方法将实时视频与卫星影像地图进行了有效的融合，为无人机操作人员提供了便利的辅助操作手段，形成了一套视频与卫星地图的互动操作闭环。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。