一种基于数字图像处理技术的视频目标跟踪方法与流程

本发明涉及一种基于数字图像处理技术的视频目标跟踪方法，属于数字图像处理技术领域。

背景技术：

目标跟踪系统的准确度首先是受摄像系统所获取的图像质量影响的，而摄像机在很多工作环境下，会受到许多不可控的因素所影响，从而使得到的图像出现大幅振荡、模糊的现象。因此，需要通过其他技术手段增加获取图像序列的稳定性，在此基础上目标跟踪系统通过数字处理技术等来实现对目标的有效跟踪。近年来国外在光电稳定及跟踪技术等方面发展很快，光电稳定平台的稳定精度己经达到亚微弧度数量级。国内诸多高校也开展了光电稳定及跟踪等方面的研究工作。

技术实现要素：

本发明所要解决的技术问题是提供一种具备成像稳定功能与目标跟踪功能基于数字图像处理技术的视频目标跟踪方法。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于数字图像处理技术的视频目标跟踪方法，基于设置于电控云台上的图像捕获装置，实时执行如下步骤，针对图像捕获装置所获图像中指定的目标区域实现跟踪；

步骤1)读取当前时刻帧图像，针对当前时刻帧图像中的目标区域，通过camshift算法，提取颜色特征，结合ltp纹理特征，构建目标区域对应当前时刻帧图像的联合直方图，进而获得当前时刻帧图像中目标区域的目标概率模型，以及当前时刻帧图像中目标区域的位置；

步骤2)待时间进入下一帧图像时刻，更新为当前时刻，捕获并读取当前时刻帧图像，基于上一时刻帧图像中目标区域位置的中心位置，通过camshift算法，结合当前时刻帧图像的颜色特征和ltp纹理特征，获得当前时刻帧图像中的初步目标概率模型；

步骤3)基于上一时刻帧图像中目标区域的目标概率模型，以及当前时刻帧图像中的初步目标概率模型，运用加权融合方式进行特征融合，计算获得目标区域预测权值；

步骤4)根据上一时刻帧图像中目标区域位置的中心位置，以及目标区域预测权值，通过kalman滤波算法，预测获得当前时刻帧图像中目标区域的预测位置，作为当前时刻帧图像中目标区域的位置；

步骤5)获得当前时刻帧图像中目标区域位置的中心位置与图像捕获装置的光轴之间的夹角，并据此获得图像捕获装置的伺服电机跟踪控制信号，控制电控云台工作，实现图像捕获装置转动，使得当前时刻帧图像中目标区域预测位置的中心位置位于图像捕获装置的光轴上；

步骤6)针对当前时刻帧图像中目标区域的位置，通过camshift算法，提取颜色特征，结合ltp纹理特征，构建目标区域对应当前时刻帧图像的联合直方图，进而获得当前时刻帧图像中目标区域的目标概率模型，然后返回步骤2)。

作为本发明的一种优选技术方案，还包括设置于所述电控云台上的mems加速度计和mems陀螺仪，还包括如下步骤f至步骤g如下，所述步骤5)执行完后，执行步骤f，步骤g执行完后，执行步骤6)；

步骤f.获得步骤5)电控云台工作过程中，电控云台上mems加速度计和mems陀螺仪采集的采集数据，并据此采集数据，获得所述图像捕获装置的当前姿态；

步骤g.根据图像捕获装置的当前姿态，获得伺服电机的偏转补偿角，生成伺服电机姿态稳定反向补偿控制信号，结合步骤5)中图像捕获装置所获得的伺服电机跟踪控制信号，合成最终的伺服电机控制信号，针对电控云台进行控制。

作为本发明的一种优选技术方案，所述步骤f中，针对所获来自所述mems加速度计和mems陀螺仪的采集数据，首先进行滤波处理，然后采用四元数算法对经过滤波处理的采集数据进行处理，获得欧拉角，由四元数和欧拉角之间的转换关系，解算获得图像捕获装置的姿态角，进而获得所述图像捕获装置的当前姿态。

作为本发明的一种优选技术方案，所述步骤f中，针对所获来自所述mems加速度计和mems陀螺仪的采集数据，首先采用卡尔曼滤波进行滤波处理。

作为本发明的一种优选技术方案，其特征在于，所述mems加速度计和mems陀螺仪为mpu6050运动传感器，mpu6050运动传感器设置于电控云台上。

作为本发明的一种优选技术方案，所述电控云台为二轴框架式云台。

本发明所述一种基于数字图像处理技术的视频目标跟踪方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的基于数字图像处理技术的视频目标跟踪方法，通过结合数字图象处理技术，具备完整的成像稳定与目标跟踪功能，可以基于运动载体实现目标的稳定跟踪，具有成本低、扩展性强的优点；并且基于本发明所设计方法的硬件装置，可应用在机器人自主导航、无人机智能监控等领域，具有较强的应用价值。

附图说明

图1是本发明所设计基于数字图像处理技术的视频目标跟踪方法的框架示意图；

图2是本发明所设计视频目标跟踪方法中机械稳像系统的控制流程图；

图3是本发明所设计视频目标跟踪方法中目标跟踪系统的控制流程图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

考虑到测量精密度要求，目前的光电跟踪平台主要采用挠性陀螺或光纤陀螺作为惯性传感器。虽然mems陀螺测量精度有限，但是它体积小、功耗低、成本易于控制，可通过camshift跟踪算法来保证系统跟踪稳定性。

光电稳定跟踪系统从功能上分为两个子系统：成像稳定系统和目标跟踪系统。成像稳定系统通过陀螺仪等姿态传感器件测量摄像机姿态角，驱动稳定平台各轴上的伺服电机生成反向补偿角度位移，使摄像机的指向保持稳定，以获取所需的观测视场并保障图像序列的稳定。目标跟踪系统则通过图像处理技术获取当前目标与摄像机光轴的夹角，驱动稳定平台各轴上的伺服电机，使摄像机的光轴指向实时跟随目标方位，以实现对目标的有效跟踪。

如图1所示，本发明所设计一种基于数字图像处理技术的视频目标跟踪方法，基于mems传感器与数字图像处理技术实现目标跟踪系统，通过姿态角算法及滤波算法提供摄像机姿态角信息，转换为伺服电机姿态稳定反向补偿控制信号，通过目标跟踪算法实现对目标的跟踪并计算目标与视轴夹角，生成伺服电机跟踪控制信号，对伺服电机姿态稳定反向补偿控制信号和跟踪控制信号进行整合，生成伺服电机控制信号，从而驱动二轴框架式平台进行实现目标稳定跟踪。

并且在实际应用中，系统的控制电机采用伺服电机，用于控制电控云台和图像捕获装置的控制模块，设计采用msp430单片机。使用c语言及keil编译器编写姿态角转换及滤波算法、电机控制算法及串口通讯模块，使用vc++与matlab编写目标跟踪算法。其中，姿态角转换及滤波算法拟采用四元数算法结合卡尔曼滤波算法进行设计；目踪算法拟采用camshift算法，该算法适用于非刚体运动目标跟踪，易于工程实现，可以实时计算当前帧目标偏离视场中心程度；串口通讯模块基于485串口通信技术开展设计，主要实现mems传感器数据与电机控制信号的传输；系统控制界面采用mfc进行设计。

本发明设计了一种基于数字图像处理技术的视频目标跟踪方法，实际应用当中，基于设置于电控云台上的图像捕获装置，具体实时执行如下步骤，针对图像捕获装置所获图像中指定的目标区域实现跟踪，其中，电控云台上设置mpu6050运动传感器，mpu6050运动传感器具体包括mems加速度计和mems陀螺仪，并且在实际应用中，采用二轴框架式云台作为电控云台。

如图3所示，执行如下步骤：

步骤1)读取当前时刻帧图像，针对当前时刻帧图像中的目标区域，通过camshift算法，提取颜色特征，结合ltp纹理特征，构建目标区域对应当前时刻帧图像的联合直方图，进而获得当前时刻帧图像中目标区域的目标概率模型qu，以及当前时刻帧图像中目标区域的位置y0，如下式(5)所示，其中，迭代次数0→k。

其中，α为色度级别的划分级，chue和cltp可由和推导得到。

步骤2)待时间进入下一帧图像时刻，更新为当前时刻，捕获并读取当前时刻帧图像，基于上一时刻帧图像中目标区域位置的中心位置yj，通过camshift算法，结合当前时刻帧图像的颜色特征和ltp纹理特征，获得当前时刻帧图像中的初步目标概率模型。其中，在当前时刻帧图像中，将上一时刻帧图像中目标区域位置的中心位置yj作为中心，搜索窗口宽度为目标区域最小外接矩形长宽的一半，然后结合当前时刻帧图像的颜色特征和ltp纹理特征所构建的联合直方图，根据式(6)得到初步目标概率模型pu(yj)；

步骤3)基于上一时刻帧图像中目标区域的目标概率模型qu，以及当前时刻帧图像中的初步目标概率模型pu(yj)，按如下公式(7)、公式(8)，运用加权融合方式进行特征融合，计算获得目标区域预测权值wi。

其中，λ为加权系数，取值在0～1之间；为颜色的权值，为纹理特征的权值公式。

步骤4)根据上一时刻帧图像中目标区域位置的中心位置yj，以及目标区域预测权值wi，通过kalman滤波算法，按如下公式(9)：

预测获得当前时刻帧图像中目标区域的预测位置yj+1，作为当前时刻帧图像中目标区域的位置。其中，g(x)＝-k'(x)，迭代次数为k+1→k。

步骤5)获得当前时刻帧图像中目标区域位置的中心位置与图像捕获装置的光轴之间的夹角，并据此获得图像捕获装置的伺服电机跟踪控制信号，控制电控云台工作，实现图像捕获装置转动，使得当前时刻帧图像中目标区域预测位置的中心位置位于图像捕获装置的光轴上。

如图2所示，执行如下步骤：

步骤f.获得步骤5)电控云台工作过程中，针对来自电控云台上mems加速度计和mems陀螺仪采集的采集数据，首先采用卡尔曼滤波进行滤波处理，然后采用四元数算法对经过滤波处理的采集数据进行处理，获得欧拉角，由四元数和欧拉角之间的转换关系，解算获得图像捕获装置的姿态角，进而获得所述图像捕获装置的当前姿态。具体如下：

定义四元数q为一四维向量：

式(2)中，α为旋转欧拉角，ex、ey、ez分别为x、y、z欧拉轴。

按照z→x→y的转动顺序，由欧拉角和四元数表示的姿态矩阵可以得到：

式(3)中，为横滚角，θ为俯仰角，ψ为航向角。

当欧拉角θ，ψ时，四元数与欧拉角之间的转换关系为：

步骤g.根据图像捕获装置的当前姿态，获得伺服电机的偏转补偿角，生成伺服电机姿态稳定反向补偿控制信号，结合步骤5)中图像捕获装置所获得的伺服电机跟踪控制信号，合成最终的伺服电机控制信号，针对电控云台进行控制。

步骤6)针对当前时刻帧图像中目标区域的位置，通过camshift算法，提取颜色特征，结合ltp纹理特征，构建目标区域对应当前时刻帧图像的联合直方图，进而获得当前时刻帧图像中目标区域的目标概率模型，然后返回步骤2)。

上述技术方案所设计的基于数字图像处理技术的视频目标跟踪方法，通过结合数字图象处理技术，具备完整的成像稳定与目标跟踪功能，可以基于运动载体实现目标的稳定跟踪，具有成本低、扩展性强的优点；并且基于本发明所设计方法的硬件装置，可应用在机器人自主导航、无人机智能监控等领域，具有较强的应用价值。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。