一种基于无人机平台的图像动目标实时检测方法与流程

本发明涉及一种基于无人机平台的图像动目标实时检测方法。

背景技术：

无人机现有的动目标检测有三种方法以及存在的优缺点：

背景减法：考虑当前帧与背景进行前景分割。主要用于静态或平移变焦相机或已知背景。这类方法是使前景和背景具有合理的分界，针对的场景多事背景已知或者可以建模的，且对多目标分割研究较少。如运动结构(sfm)方法通过对相机参数、稀疏三维点和深度图进行估计。虽然使用这种方法可以使得到的前景掩模和运动目标边界准确，但是它们仅限于前景和背景深度差异较大的场景，因此不够鲁棒。由于算法的迭代和相机的自标定，使得算法过于复杂和耗时，不能实时应用；

时空滤波法：根据三维空间(二维平面和时间维)的运动规律检测动目标，但对噪声和运动规律的变化敏感。这类方法通常需要精确估计前景运动，因此不适用于检测多个目标。如通过计算图像序列上的像素位移和稀疏误差矩阵方法。其稀疏误差矩阵表示运动物体的关节运动。然而这种方法主要适用于背景为平面且只有单一运动对象的场景。此外容易将慢速运动的物体误分类为背景，而将具有明显整体运动特征的背景部分作为前景，因此采用简单的固定阈值比进行前场分割不够鲁棒和有效。为了检测多个运动目标，一些文献也采用时空变换方法对运动前景进行分割。但所提出的方法仍然缺乏通过自由运动的摄像机实时应用所需要的特性。一种采用多摄像机连续跟踪运动目标的方法，是基于自适应背景模型，通过仿射变换估计摄像机的运动。但这种转换不适用于无人机上自由移动的摄像机，因为它缺乏对场景几何形状的一般性估计。这种方法的另一个限制是计算滑动窗口上每个像素的统计值导致计算量巨大。近来使用单应性来估计相机的转换，并使用条件随机场(crf)模型来获得移动的前置掩模的方法，结合了一个椭球形状的相机投影模型。然而，被检测到的运动目标掩模不够紧凑，其方法仅限于前进运动车辆上的摄像机，而不是无人机上不同方向上自由移动的相机；

光流法：考虑相机和场景之间的相对运动，对相机和目标同时运动具有鲁棒性。分类方法普遍缺乏无人机实时运动目标检测所需的速度和精度，计算量大，不适合实时处理。光流法仅在第一帧中提取每个网格像素的密集粒子轨迹，同时应用多帧极外约束。虽然该约束在运动目标和静态目标之间提供了一致的分类，但是由于对相邻背景像素的错误标记，使得运动目标的边界并不准确。此外，由于相机的运动，所有视图之间一致的参考平面的假设是相当无效的。该技术对无人机运动的场景不够鲁棒，精确的结果仅限于悬停运动。背景运动减法的主要思想是将集成运动分解为背景运动和前景运动。该算法首先对前景区域进行粗分割，然后应用自适应阈值进行精细分割。尽管有自适应阈值，背景运动减法在复杂场景中容易将低速移动的目标与背景混合在一起。此外，应用均值漂移算法对前景分割进行优化，既不能保证分割的实时性，也不能保证分割边界的一致性。其他的运动分割方法(如分层有向无环图或最大权团)，它们不一定是用来检测多个独立运动的对象，当目标突然运动时，它们的性能会下降。

技术实现要素：

本发明的目的是提供一种基于无人机平台的图像动目标实时检测方法。

为解决上述技术问题，本发明采用如下技术方案：

一种基于无人机平台的图像动目标实时检测方法，包括如下步骤：

s1、背景估计

背景估计的基础是图像拼接，将连续图像映射到同一尺度、同一坐标系下，进行背景估计；

为了降低运算量，对输入图像的行列两个方向各采用1/4降采样，按映射方程将输入图像像素位置映射到拼接图像位置上，各自累计输入图像与预设到拼接图像位置的±1的范围9点的误差绝对值，寻找误差绝对和最小位置点，则此位置是最佳偏差匹配位置；

寻找到最佳偏差匹配位置后，对映射方程按最佳偏差匹配位置进行修正，再逐一对输入图像每个像素映射到最佳位置进行背景估计和计算差分图像；

s2、动目标图像的阈值分割

获得的动目标图像包含噪声和动目标，由于无人机平台观测图像中动目标所占面积小于10％，因此对动目标图像进行直方图统计；取图像分割阈值为直方图为90％像素值为图像分割阈值，假设像素值差大于一定值，才是动目标，若图像分割阈值小于一定值，则阈值等于一定值，确保分割出的动目标像素的虚警率少；

s3、动目标图像的形态滤波

由于分割出的动目标图像变换噪声和干扰，因此需对该图像进行形态滤波，进一步降低干扰和噪声。形态滤波器结构元为进行开闭运算；

s4、区域扩展

通过图像分割获得像素点是噪声、点、斑点或面目标，因此需对其进行位置相关处理，位置相关像素点进行合并处理，得到孤点、斑点及面目标，以得到其特征值：像素均值、像素值统计分布、面积、矩；

s5、目标识别

在目标识别中关键的是目标特征的提取，目标特征往往处于一个高维空间,目标自动识别需要将这些特性量化，并根据一定原则加以选择，通过映射的方法用低维空间来表示样本，形成一个特征空间矢量，包括目标的形状特征、纹理特征、灰度分布特征、运动特征；

s6、目标轨迹链的建立

目标链的建立可以随时观测潜在目标的运动变化，移入或移出视场；目标链为每一个分割区开辟了一个记录单元，各记录单元记录各区域的特征参数；

当首次发现该目标，则清帧号逐帧计算；若该目标在当前动目标图像与前一帧可以匹配，则d＝d+1，否则d＝d-1；当d≤0时，该目标在目标链中被删除；

s7、目标数据的刷新

由于目标在不断的运动，背景也在不断的变化，噪声或干扰也会成为潜在目标，这就需要对每个区域的记录不断更新；

对于匹配成功的目标记录，用新区域参数代替原有的目标记录，对于置信度降为0的区域，则从目标链中剔除它的记录，对于新出现的区域，则在目标链中建立新的记录；该刷新过程在目标尚未确认或处于多目标跟踪时将继续下去，以保证不丢失任一目标，同时也便于目标暂时消失后的再进行捕获；

s8、目标跟踪

为消除目标以外其它区域对跟踪的影响，采用跟踪窗的办法，将目标附近的区域用窗口套住，所有的计算都在窗口内进行；在跟踪窗内，由特征序列匹配算法抽取图像中足以表示目标信息的一组特征序列，与标准特征序列相配准，以确定目标及其在图像中的位置；

s9、目标预测

当跟踪目标没有匹配轨迹，则采用kalman滤波方法进行跟踪目标当前位置，并减小跟踪目标的置信度，当连续3秒跟踪目标都没有匹配轨迹，则表示丢失目标，当3秒内跟踪目标与潜在目标匹配，则重新捕获并跟踪目标。

进一步的，所述步骤s1中，由于图像拼接的映射方程可能存在一个像素的位置误差，因此在背景估计和输入图像与背景图像差分时，应在±1的范围内选择最佳匹配位置进行。

进一步的，所述步骤s5中，由于分割出的图像可能包含背景和干扰，采用统计模式识别或结构模式识别方法可以有效地识别目标与背景、干扰，当潜在目标特征值与设定值绝对差大于30％时，为噪声或干扰。

进一步的，所述步骤s6中，特征参数至少包括形状特征、纹理特征、灰度分布特征、运动特征。

进一步的，动态目标识别还包括对速度进行识别，如潜在目标仿射到拼接图像坐标系上的适度低，则不是动目标。

与现有技术相比，本发明的有益技术效果：

应无人机不同方向自由运动的搭载平台，场景是运动状态；动目标不同运动状态下检测性能不发生大的变化；优化算法，减少运算量，适应实时应用；

本发明的方法使无人机无论在运动还是静止状态、相机的镜头是否变焦、目标是否突然运动，都能实时、有效的检测出场景中的运动目标。

附图说明

下面结合附图说明对本发明作进一步说明。

图1为进行背景估计和计算差分图像的流程图；

图2为基于背景估计法的视频运动目标检测算法的流程图。

具体实施方式

一种基于无人机平台的图像动目标实时检测方法，包括：

s1、背景估计

背景估计的基础是图像拼接。只有将连续图像映射到同一尺度、同一坐标系下才能进行背景估计。

由于图像拼接的映射方程可能存在一个像素的位置误差，因此在背景估计和输入图像与背景图像差分时，应在±1的范围内选择最佳匹配位置进行。

为了降低运算量，对输入图像的行列两个方向各采用1/4降采样，按映射方程将输入图像像素位置映射到拼接图像位置上。各自累计输入图像与预设到拼接图像位置的±1的范围9点的误差绝对值，寻找误差绝对和最小位置点，则此位置是最佳偏差匹配位置。

寻找到最佳偏差匹配位置后，对映射方程按最佳偏差匹配位置进行修正，再逐一对输入图像每个像素映射到最佳位置进行背景估计和计算差分图像。流程图如图1所示。

采用基于背景估计法的进行动目标检测。关键是根据一定的准则从连续视频图像中估计出背景。

设b(x,y)表示视频序列的完整背景，从第i帧开始，一直到第i+k帧估计出完整背景，即：

b(x,y)＝ob[i(x,y,i),i(x,y,i+1),.....,i(x,y,i+k)]

其中ob[.]表示背景估计算子。

对于视频序列图像中估计出完整背景后的各帧图像响的条件下，可以表示为：

i(x,y,i+k)＝mi+k(x,y)+bi+k(x,y)

即表示为第i+k帧中的背景区域和运动目标区域两部分，其中mi+k(x,y)是动目标，bi+k(x,y)背景图像。

将第i+k帧图像i(x,y,i+k)与完整背景bi+k(x,y)进行差分运算，得到

mi+k(x,y)＝i(x,y,i+k)-bi+k(x,y)

上式表明，第i+k帧视频图像和估计背景的差分图像是运动目标。

基于背景估计法的视频运动目标检测算法的流程图如图2所示：

渐消记忆递归最小二乘法背景估计：kalman器退化公式即渐消记忆递归最小二乘法来更新和重建背景。得到最佳滤波方程组：

其中：是k+1时刻的输入图像某个像素值；分别是k时刻和k+1时刻的估计值，即背景图像像素值；是k+1时刻的时变增益因子，取值介于0和1之间；和k时刻和k+1时刻的方差矩阵；α是渐消因子，w是观测矩阵。

若认为图像中每一个时空点在空间独立，则方程中的变量均退化为标量，且w＝1。

s2、动目标图像的阈值分割

获得的动目标图像包含噪声和动目标。由于无人机平台观测图像中动目标所占面积小于10％，因此对动目标图像进行直方图统计。取图像分割阈值为直方图为90％像素值为图像分割阈值。假设像素值差大于一定值，才是动目标。若图像分割阈值小于一定值，则阈值等于一定值。确保分割出的动目标像素的虚警率少。

s3、动目标图像的形态滤波

由于分割出的动目标图像变换噪声和干扰，因此需对该图像进行形态滤波，进一步降低干扰和噪声。形态滤波器结构元为进行开闭运算。

s4、区域扩展

通过图像分割获得像素点可能是噪声、点、斑点或面目标，因此需对其进行位置相关处理，位置相关像素点进行合并处理，得到可能的孤点、斑点及面目标，可以得到其像素均值、像素值统计分布、面积、矩等特征值。

质心：

质心跟踪算法需要确定目标的质心坐标，然后进行跟踪。输入图像经过图像预处理和红外图像分割后，通过目标区域f(x，y)及其行、列坐标计算目标质心坐标的公式为：

不变矩：

式中s为积分区域，i、k为非负数。

灰度均值：

灰度直方图的三阶矩：

假设合并所得目标共有n个，分别对这些目标存储和标记，以便下一步进行目标识别。

s5、目标识别

在目标识别算法，关键的是目标特征的提取。目标特征往往处于一个高维空间,目标自动识别必须将这些特性量化，并根据一定原则加以选择，通过映射的方法用低维空间来表示样本，形成一个特征空间矢量。包括目标的形状特征、纹理特征、灰度分布特征、运动特征等。由于分割出的图像可能包含背景和干扰，采用统计模式识别或结构模式识别方法可以有效地识别目标与背景、干扰。当潜在目标特征值与设定值绝对差大于30％时，可能是噪声或干扰。

s6、目标轨迹链的建立

目标链的建立可以随时观测潜在目标的运动变化，移入或移出视场。目标链为每一个分割区开辟了一个记录单元。这些单元记录了各区域的特征参数，如形状特征、纹理特征、灰度分布特征、运动特征等。

当首次发现该目标，则清帧号逐帧计算。若该目标在当前动目标图像与前一帧可以匹配，则d＝d+1，否则d＝d-1。当d≤0时，该目标在目标链中被删除。

动态目标识别不仅对形状特征进行识别，且需对速度进行识别。如潜在目标仿射到拼接图像坐标系上的适度低，则不是动目标。

s7、目标数据的刷新

由于目标在不断的运动，背景也在不断的变化，噪声或干扰也会成为潜在目标，这就需要对每个区域的记录不断更新。对于匹配成功的目标记录，用新区域参数代替原有的目标记录。对于置信度降为0的区域，则从目标链中剔除它的记录。对于新出现的区域(不能与目标链中的任一记录相匹配)，则在目标链中建立新的记录。这种刷新过程在目标尚未确认或处于多目标跟踪时将继续下去，以保证不丢失任一目标，同时也为目标暂时消失后的再捕获提供了可能。

s8、目标跟踪

为消除目标以外其它区域对跟踪的影响，采用跟踪窗的办法，将目标附近的区域用窗口套住，所有的计算都在窗口内进行。在跟踪窗内，由特征序列匹配算法抽取图像中足以表示目标信息的一组特征序列，与标准特征序列相配准，以确定目标及其在图像中的位置。

s9、目标预测

当跟踪目标没有匹配轨迹，则采用kalman滤波方法进行跟踪目标当前位置，并减小跟踪目标的置信度，当连续3秒跟踪目标都没有匹配轨迹，则表示丢失目标。当3秒内跟踪目标与潜在目标匹配，则重新捕获并跟踪目标。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。