基于运动估计和视觉跟踪的云台自动锁定系统和方法与流程

本发明涉及一种云台自动锁定系统和方法，具体涉及一种基于运动估计和视觉跟踪的云台自动锁定系统和方法。

背景技术：

云台相机是监控领域中最常用的监控前端设备之一，借助云台相机可实时观察监控区域的每一个角落。无人机是云台相机的优良载体，其可以将相机的视角带到空中，以较高的角度避开地面遮挡，有效发现、跟踪目标。随着技术的发展，现在的无人机云台普遍向高变焦比、远距离监控发展，其具有较大的图像放大倍数，可以在很远的距离监控较小的目标（人员、车辆等）。但当云台相机变焦比提高时（相当于图像放大倍率提高），会产生以下两点问题，不利于人员操纵云台相机跟踪目标：

（1）云台相机的微小旋转运动会使视野发生较大改变，难以精细调整；

（2）目标的小范围移动也会使其迅速脱离视野，不利于人员搜索、观察目标。

为了解决以上问题，逐渐出现了一些利用机器视觉与伺服系统的自动目标跟踪云台，其使用目标跟踪算法在相机图像中锁定目标位置，进而控制云台电机转动云台，使目标稳定在图像中央。这种技术可以在一定程度上解决了前面提到的问题，但造成了新的缺陷：

（1）使用的目标跟踪算法只能在图像中跟踪目标位置，无法调节目标框的大小。当被跟踪目标朝向或远离无人机移动时，其在图像中的大小会发生改变，跟踪算法无法适应这种变化，容易导致跟踪失败。

（2）当目标与无人机的距离发生改变时，云台无法自动变焦适应这种变化，容易导致远离的目标在图像中的占比太小，或者接近的目标占比太大，不利于操纵人员观测。

鉴于上述问题，有必要对云台锁定系统进行改进，提高目标跟踪精度和正确性。

技术实现要素：

为解决现有技术的不足，本发明的目的在于提供一种基于运动估计和视觉跟踪的无人机云台自动锁定系统和方法，实现对目标的正确跟踪和实时调焦。

为了实现上述目标，本发明采用如下的技术方案：

本发明首先公布了一种基于运动估计和视觉跟踪的云台自动锁定系统，包括：变焦相机、三轴云台、云台电机、控制器、数据链路、编码模块及控制模块，所述变焦相机、三轴云台、云台电机、控制器及编码模块构成天空端，所述控制模块构成地面端，所述天空端与地面端通过数据链路实现通讯，数据链路的通讯方式优选为无线通讯；

所述变焦相机安装于三轴云台上，用于拍摄视频数据；

所述三轴云台由受控制器控制的云台电机驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动；

所述编码模块将拍摄到的视频数据进行编码，经由数据链路传输至控制模块；

所述控制模块对接受到的视频数据进行解码、还原、运动估计和预处理，跟踪寻找用户框选目标并得出目标在图像中的中心坐标和大小，同时计算出云台电机偏移控制量和变焦控制量，分别传输至控制器和变焦相机。

优选地，前述控制模块包括：

解码子模块：将天空端传输的数据进行解码，还原为rgb格式的图像数据；

运动估计子模块：得到预期的目标位置差值；

图像数据预处理子模块：将原始图像变换至合适大小，并消除噪点平滑图像；

视觉跟踪算法子模块：在图像中获取到目标的位置和大小；

云台控制子模块：实现变焦控制，调整变焦镜头。

通过天空端与地面端的信号通讯和反馈互动，即可跟踪寻找用户框选的指定目标，获得目标在图像中的中心坐标和大小，并调整变焦相机给变镜头焦距，使目标在画面中的比例处于最合适。

本发明还公布了利用前述的云台自动锁定系统实现云台自动锁定的方法，包括如下步骤：

s1、变焦相机采集视频数据，编码模块对视频数据进行编码后由数据链路传输至地面端的控制模块；

s2、解码子模块对接收到的数据进行解码，还原为rgb格式的数据图像，显示在人机交互界面上；

s3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理模块对变焦相机传回的图片进行运动估计和图像数据预处理，然后跟踪算法模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；

s4、云台控制子模块计算出云台电机偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机，使变焦相机对准并持续跟踪锁定目标，同时调整变焦相机改变镜头焦距。

优选地，前述步骤s1中，编码模块的编码标准为h265标准。

更优选地，前述解码子模块还包括：解码云台控制信息，分离出偏航和俯仰轴的云台位置信息和转动速度信息。

再优选地，前述运动估计子模块的算法过程为：记图像宽度cols=320像素（px），高度rows=240像素（px），相机在宽度方向上的视场角fov为，高度方向的视场角为，云台在航向角上的角速度为p，俯仰方向上的角速度为q，则云台旋转造成的图像位移为：

其中，和分别表示图像在方向和方向的位移。

更优选地，前述图像预处理子模块包括两个步骤：

（1）将原始图像变换到合适的大小，通常选为320*240像素（px），以降低cpu计算量，提高处理速度，提高算法执行帧率；

（2）进行中值滤波，消除图像中的噪点，平滑图像。

进一步优选地，前述跟踪算法子模块的算法过程如下：

（1）根据上一帧跟踪的目标位置和运动估计模块解出的预期运动，得出新的目标预计位置和大小四元组；

（2）按照自适应尺度系数=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：

，其中=1,2,3,4,5；

（3）针对每个不同尺度的输入，分别按照相应的自适应尺度系数变换滤波器矩阵，得不同尺度的相关性滤波器，并计算响应：

（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小；

（5）利用新的目标位置和尺度更新相关性滤波器矩阵：

其中为滤波器的更新率，和为当前帧滤波器的分子和分母，和为上一帧滤波器的分子和分母，是指使响应最大的那个。

再进一步优选地，前述跟踪算法子模块输出的数值为目标中心位置和大小四元组（x,y,w,h）。

更进一步优选地，前述云台控制子模块采用目标大小占整个图像面积的比值作为输入量，若检测到目标大小超出初始比值的1.1倍，则控制变焦镜头缩短焦距0.1倍；若检测到目标大小小于初始比值的0.9倍，则控制变焦镜头增大焦距0.1倍。

本发明的有益之处在于：

（1）本发明的云台自动锁定系统基于运动估计与视觉跟踪技术，系统包括由数据链路实现通讯的天空端和地面端，其中天空端由变焦相机、三轴云台、云台电机、控制器及编码模块构成，地面端主要包括控制模块，方便操作人员在地面操纵云台相机实现目标跟踪和和精细调整；

（2）基于上述自动锁定系统的锁定方法，通过创新的跟踪算法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。

（3）该锁定方法可以根据目标在图像中的占比自动调节焦距，使其处于合适的大小，既不会造成远距离的目标太小难以观测，也不会造成近距离的目标太大脱出视野范围，方便操纵人员观测。

附图说明

图1是本发明的云台自动锁定系统的天空端产品的结构示意图；

图2是本发明的云台自动锁定系统的结构框图；

图3是本发明的云台自动锁定方法中目标跟踪算法示意图；

图4是本发明的云台自动锁定方法中位置跟踪控制原理图；

图1中附图标记的含义：1、变焦相机，2、云台电机，3、编码模块。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

本实施例的云台自动锁定系统是基于运动估计与视觉跟踪技术研发的，参见图1和图2，该锁定系统主要由变焦相机1、三轴云台、云台电机2和控制器、编码模块3、数据链路和控制模块组成。

其中，变焦相机1安装在三轴云台上，三轴云台由云台电机2驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动。变焦相机1拍摄到的视频数据经编码模块3按照h265标准编码，经数据链路传输到地面的控制模块，该数据链路优选为无线传输模式。

控制模块是锁定算法的核心，其包括以下几个子模块：解码子模块、运动估计子模块、图像数据预处理子模块、视觉跟踪算法子模块和云台控制子模块，其中，视觉跟踪算法子模块为尺度自适应视觉跟踪算法子模块。

为了更好地实施本发明，下面对前面所提到的控制模块的各个子模块的具体功能和实现方式做如下说明：

1、解码子模块：

解码模块接收的是包含视频编码信息和云台位置及控制信息的复合数据流，其主要包含两项功能：

（1）解码h265视频编码信息，从数据流中还原出rgb格式的原始图像数据；

（2）解码云台控制信息，分离出偏航和俯仰轴的云台位置信息和转动速度信息。

2、运动估计子模块：

运动估计模块的功能是综合视觉跟踪模块在前几帧数据中统计出的目标运动速度信息和解码模块计算出的云台转动速度信息，得到预期的目标位置差值。

具体过程为：

记图像宽度cols=320像素（px），高度rows=240像素（px），相机在宽度方向上的视场角fov为，高度方向的视场角为，云台在航向角上的角速度为p，俯仰方向上的角速度为q，则云台旋转造成的图像位移为：

其中，和分别表示图像在方向和方向的位移。

3、图像预处理子模块：

图像预处理模块包括两个步骤：

（1）将原始图像变换到合适的大小，通常选为320*240像素（px），以降低cpu计算量，提高处理速度，提高算法执行帧率；

（2）进行中值滤波，消除图像中的噪点，平滑图像。

4、跟踪算法子模块：

跟踪算法模块采用基于多尺度相关性滤波的视频目标跟踪算法。跟踪算法模块采用samf算法：该算法可以在每帧图像中寻找出目标的位置和大小，并以（x、y、w、h）四元组的形式返回，其中(x、y)为目标外接矩形左上角的坐标，（w、h）为目标框的大小，即长宽数据。

在数字信号处理中，相关性用来描述两个因素之间的联系，其直观解释就是衡量两个信号在某个时刻的相似程度。其公式为：

朴素的相关性滤波视频目标跟踪算法的核心思想就是构造一个适应于指定目标的相关性滤波器，对于输入的目标图像，其在目标中心点处的响应值最高，则针对后来的每一帧图像，都使用这一滤波器探查，其中响应值最高的点就是目标位置。

其响应为：，其中，g为响应值，f为输入图像，h为滤波模板。

由于相关性运算属于卷积运算，其计算耗时较大，因而可通过fft进行加速：

为方便描述，将快速傅里叶变换后的变量采用大写形式记写，即：g=fh^*

对于初始化过程，f为用户框选的输入图像，g可设置为峰值在中心点的二维高斯分布，则初始的相关性滤波器模板为：。

如果对于后来的每一帧，直接使用相关性滤波器得到新的目标位置的话，在目标尺度不发生变化的情况下也能工作，但对于目标尺度可能会发生较大变化的应用场景，因此需要使用尺度池自适应变化的策略来进行优化。

具体的执行步骤如下：

（1）根据上一帧跟踪的目标位置和运动估计模块解出的预期运动，得出新的目标预计位置和大小四元组；

（2）按照自适应尺度系数=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：

，其中

（3）针对每个不同尺度的输入，分别按照相应的自适应尺度系数变换滤波器矩阵，得不同尺度的相关性滤波器，并计算响应：

（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小。

（5）利用新的目标位置和尺度更新相关性滤波器矩阵：

其中为滤波器的更新率，和为当前帧滤波器的分子和分母，和为上一帧滤波器的分子和分母，是指使响应最大的那个。

参见图3，该跟踪算法模块输出的是目标中心位置和大小四元组（x,y,w,h），作为反馈量输入到云台控制模块，云台控制模块采用经典的p调节控制器（即比例控制器）：其误差为目标位置中心点和图像中心点的差值，目标值为0，输出量为云台电机2在x和y方向上的转动量。在计算过程中，生成一系列不同大小的候选框和滤波器，可以灵活适应目标的大小变化。

5、云台控制子模块：

云台的变焦控制采用目标大小占整个图像面积的比值作为输入量，若检测到目标大小超出初始比值的1.1倍，则控制变焦镜头缩短焦距0.1倍；若检测到目标大小小于初始比值的0.9倍，则控制变焦镜头增大焦距0.1倍。

为了更好地理解和实施本发明，下面对应用了上述的云台自动锁定系统实现云台锁定的方法进行说明，该方法主要包括以下步骤：

s1、变焦相机1采集视频数据，编码模块3对视频数据进行编码后由数据链路传输至地面端的控制模块；

s2、解码子模块对接收到的数据进行解码，还原为rgb格式的数据图像，显示在人机交互界面上；

s3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理模块对变焦相机1传回的图片进行运动估计和图像数据预处理，然后跟踪算法模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；

s4、云台控制子模块计算出云台电机2偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机2，使变焦相机1对准并持续跟踪锁定目标，同时调整变焦相机1改变镜头焦距。

在工作过程中，参见图4，云台传回的图像或视频数据首先由解码模块解码，还原成rgb格式的图像数据，然后显示在电脑屏幕上。操作用户可以在屏幕中框选指定的目标，然后算法逻辑进入跟踪模式，首先对相机传回的照片进行运动估计和图像数据预处理，然后由控制模块逐帧跟踪寻找用户框选的目标，并得出目标在图像中的中心坐标和大小。接着，云台控制模块按照跟踪算法的数据，计算出云台电机2偏移控制量和变焦控制量，其中云台电机2偏移控制量通过数据链路将控制量传输到云台电机2控制器，交由控制器驱动云台电机2，进而带动变焦相机1对准并持续跟踪锁定目标；变焦控制量通过数据链路直接传输到变焦相机1，调整变焦相机1改变镜头焦距，保证目标的大小在画面中的比例处在合适的水平。

综上，本发明的云台自动锁定系统和锁定方法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置有尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。该锁定方法还可以根据目标在图像中的占比自动调节焦距，使其处于合适的大小，既不会造成远距离的目标太小难以观测，也不会造成近距离的目标太大脱出视野范围，方便操纵人员观测。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。