一种视频卫星图像空间目标检测方法与流程

本发明属于图像处理技术领域，涉及航天航空领域的图像识别方法，特指一种基于先验信息的视频卫星图像空间目标检测方法。

背景技术：

视频卫星是一种采用视频成像、视频数据实时传输、人在回路交互式操作工作方式的新型天基信息获取类微小卫星。目前世界各国已投入大量资金和科技人员对视频卫星进行了广泛研究，并发射了多颗可以进行对地凝视成像的卫星。不断增加的空间目标对人类航天活动产生越来越大的影响，对其监视日益成为空间环境领域的热点问题。相比地基观测，天基观测不受气象条件和地理位置等限制，且避免了大气对目标信号的影响，有着得天独厚的优势。利用视频卫星图像进行动目标检测与跟踪，是对空间运动目标监视的有效方法。

对于视频中目标检测与跟踪的一般问题，已有光流法、块匹配、基于模板的检测等多种算法。但是这些算法大多都是基于目标的形状特征，需要足够的纹理信息，并不适用于视频卫星图像中的空间弱目标检测。在星空背景下开展光学图像弱目标识别，主要有以下困难：(1)由于目标在成像图像中仅占据一个或几个像素，无结构形状，可供利用的特征信息很少；(2)由于空间探测环境和探测设备引入的噪声等因素的影响，使得目标几乎淹没在复杂的背景噪声中，大大增加了弱小运动目标检测的难度；(3)目标的姿态运动使得其亮度不断变化，甚至会在数帧图像中丢失目标。

针对这些难点，许多学者提出了多种算法，主要包括检测前跟踪(trackbeforedetection,tbd)和跟踪前检测(detectbeforetracking,dbt)两大类。多假设检测(multistagehypothesizingtesting,mht)和基于动态规划的算法可以归为tbd，这些算法在目标信噪比很低时也非常有效，但是过高的计算复杂度与阈值选取问题成了其弱点。实践中，卫星图像中的目标检测更多使用dbt类算法。专利201510507109.9提供了一种基于运动信息的空间目标检测方法，解决了第一和第二个难点，但是第三个难点还没有得到解决并会导致目标的丢失。

技术实现要素：

针对视频卫星图像上空间目标亮度发生变化从而无法检测目标的问题，本发明提出了一种视频卫星图像空间目标检测方法。

本发明的技术方案是：

一种视频卫星图像空间目标检测方法，包括以下步骤：

s1，对输入的视频卫星图像进行降噪处理；

具体的，采用双边滤波法(tomasic,manduchir.bilateralfilteringforgrayandcolorimages；proceedingsoftheinternationalconferenceoncomputervision,bombay,india,f,1998[c].)，该方法简单、非迭代，可以达到保边去噪的目的；

视频图像中的噪声主要包括空间辐射噪声、星空背景噪声和ccd暗电流噪声等，

滤波器的权重包含两部分：第一部分与高斯滤波器相同，第二部分考虑了像素灰度相似性；滤波器的直径设为5像素，权重w由下式给出：

其中k是标准化常数，(xc,yc)是滤波器中心对应的图像坐标，(xi,yi)是滤波器(i,j)位置对应的图像坐标，f(x,y)是输入的视频卫星图像在坐标(x,y)的灰度值，σs设为10，σr设为75；

s2，分割单帧图像；

进一步的，通过引入基于图像局部特性和上一帧检测结果先验信息及卡尔曼滤波结果的自适应阈值，并利用该自适应阈值分割单帧图像；

具体的，无论是恒星还是目标，其灰度值都要大于其邻域中的像素点，考虑采用基于局部统计的可变阈值来分割图像，对输入的视频卫星图像中每一点(x,y)的7×7邻域计算标准差σxy和均值mxy，它们是局部对比度和平均灰度的描述子，之后得到基于局部均值和标准差的阈值：

txy＝aσxy+bmxy(2)

其中txy是判断阈值，b是大于0的常数；

对空间运动目标而言，它们的亮度常常随着姿态的变化而变化；如果a设为常数，目标就会在一些帧里丢失，考虑到目标运动的连续性，如果在第k帧(x,y)被检测为可能的目标坐标，那么在(k+1)帧里，在(x,y)的7×7邻域里的检测到目标的概率就大大增加；综合目标亮度变化的连续性，如果在(k+1)帧(x,y)的7×7邻域里没有检测到目标，ak就可以乘以一个衰减系数，即akρ(ρ为衰减系数且ρ<1)，这里ak即第k帧中的a的取值；从而基于图像局部特性和上一帧检测结果先验信息及卡尔曼滤波结果的自适应阈值可以由下式给出：

其中p(x,y,k|k-1)是指第k帧点(x,y)是否在由第(k-1)帧检测到的目标通过卡尔曼滤波得到第k帧预测坐标的7×7邻域内，在邻域内等于1，不在邻域内等于0；预测坐标由卡尔曼滤波得到，将在s3步中获得；

公式(2)与公式(3)的区别就在于基于图像局部特性和上一帧检测结果先验信息及卡尔曼滤波结果的自适应系数；a的初值设为大于1，并且在(x,y)的灰度值重新变大之后重置为初值；优选的，灰度值大于150之后重置为初值；

分割图像算法如下：

其中f(x,y)是输入的视频卫星原图像在(x,y)处的灰度值，g(x,y)是分割处理后的图像在(x,y)处的灰度值；

通过引入基于图像局部特性和上一帧检测结果先验信息及卡尔曼滤波结果的自适应阈值，并利用该自适应阈值分割单帧图像，解决了视频卫星图像上空间目标亮度变化而导致的目标丢失问题；

s3，计算预测坐标；

具体的，在理想光学系统中点目标在ccd焦平面上成像要占据一个像素，但在实际成像条件下，受圆孔衍射的影响，导致目标在焦平面的成像由点成像扩散为多像元，这时，目标在焦平面的坐标由其灰度中心所在位置确定，这里采用简单有效的灰度重心法计算像点坐标，定位精度可达0.1～0.3个像素；

对图像二值化分割，识别出目标区域s，目标区域s其灰度重心坐标计算公式为：

其中f(x,y)是输入的视频卫星原始图像在(x,y)处的灰度值，(xs,ys)即为区域s的灰度重心坐标；

s4，检测目标；

优选的，采用卡尔曼滤波法检测目标；

进一步的，包括以下步骤：

s401，第一帧图像得到n1个点(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x⁽ⁿ¹⁾,y⁽ⁿ¹⁾)，作为n1个点类的坐标，为每一个点类建立一个卡尔曼滤波器；卡尔曼滤波是一种高效的递归滤波器，它能够从一系列含有噪声的测量中，估计线性动态系统的状态，可以用来预测下一帧中目标的坐标；

假设目标在第k帧的状态向量为xk＝(xk,yk,vxk,vyk)^t，即目标在像素坐标系的坐标(xk,yk)和速度(vxk,vyk)(单位：像素/δt)，则系统方程为：

其中f是状态转移矩阵，h是测量矩阵，zk测量向量，即在第k帧检测得到的坐标,w是过程噪声，假设为协方差矩阵为q的零均值高斯白噪声，记作v是测量噪声，假设为协方差矩阵为r的零均值高斯白噪声，记作

令为卡尔曼滤波器在第k帧的状态估计，pk|k为后验估计误差协方差矩阵，体现了度量估计值的精确程度，于是和pk|k代表滤波器的状态，卡尔曼滤波器的过程如下：

初始化：初始化与p0|0，对于x0|0,y0|0为第一帧通过单帧分割和灰度重心法得到的初始坐标，vx0|0,vy0|0设为0；

预测：在预测阶段，滤波器使用上一帧的状态估计，做出对当前帧的状态估计，预测得到的坐标将用于单帧图像分割和轨迹关联：

更新：在更新阶段，滤波器利用对当前帧的测量值优化在预测阶段获得的预测值：

其中kk是一个中间变量，称为最优卡尔曼增益；

因此，采用灰度重心法和卡尔曼滤波法结合的方法，能够准确的计算预测坐标并进一步增加了轨迹关联的准确性；

s402，第二帧图像得到n2个点(u⁽¹⁾,v⁽¹⁾),(u⁽²⁾,v⁽²⁾),…,(u⁽ⁿ²⁾,v⁽ⁿ²⁾)，将第二帧图像中得到的每个点依次与步骤s401中第一帧图像中得到的已有的点类卡尔曼滤波器预测的坐标(公式(7)得到)比较，当两点距离小于阈值ε1时，认为是一类，不再与其他点类坐标比较，并由新的坐标代替旧的坐标作为点类的坐标，并将新的坐标作为测量值更新各自的卡尔曼滤波器的状态；如果两点距离大于阈值，则作为新的点类，并为该点类建立一个卡尔曼滤波器；按照这种方法对获得的每一帧图像进行处理；

s403，当某个点类有l个点时，即开始判断其是否为目标，计算l个点的速度模长之和与阈值ε2比较，小于ε2认为是恒星背景或噪点，大于ε2则认为是空间运动目标；

这里的阈值ε2主要是用来消除由卫星平台的不稳定和其他噪声引起的图像运动，阈值优选的取为2；这样，基于目标成像在多帧间运动的连续性，即可在图像中检测出目标，并更新了目标的运动轨迹；

由此实现了对空间目标检测识别。

本发明的有益效果是：

1)采用自适应阈值解决了视频卫星图像上空间目标亮度变化导致的目标丢失问题；

2)卡尔曼滤波的使用增加了轨迹关联的准确性；

3)算法简单，易于工程实现。

附图说明

图1为本发明的流程图

图2为实施例中第9帧图像分割后得到的结果

图3为实施例中第30帧图像分割后得到的结果

图4、图5为实施例中1000帧图像的叠加

图6为实施例中目标运动轨迹

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下属的实施例。

实施例

基于卫星在轨拍摄的视频，对本发明进行验证。相机焦距为1000mm，像元大小为8.33微米，视频图像每秒25帧，分辨率为960×576，共1000帧图像。

s1，对输入的视频卫星图像进行降噪处理；

双边滤波器的权重包含两部分：第一部分与高斯滤波器相同，第二部分考虑了像素灰度相似性；滤波器的直径设为5，权重w由下式给出：

其中k是标准化常数，(xc,yc)是滤波器中心，(xi,yi)是图像中具体坐标，f(x,y)是输入的视频卫星图像在点(x,y)的灰度值，σs设为10，σr设为75；

s2，分割单帧图像；

基于图像局部特性和上一帧检测结果先验信息及卡尔曼滤波结果的自适应阈值可以由下式给出：

其中p(x,y,k|k-1)是指第k帧点(x,y)出现在由第(k-1)帧检测到目标通过卡尔曼滤波得到第k帧预测坐标7×7邻域内的概率，等于0或1；

公式中，a(x,y)初值设为1.1，b设为1，衰减系数ρ设为0.8，分割时所基于的邻域使用5乘5邻域；

分割图像算法如下：

其中f(x,y)是原图像在(x,y)处的灰度值，g(x,y)是分割处理后的图像在(x,y)处的灰度值。

s3，计算预测坐标；

对图像二值化分割，识别出目标区域s，其灰度重心坐标计算公式为：

其中f(x,y)是输入的视频卫星原图像在(x,y)处的灰度值，(xs,ys)即为区域s的灰度重心坐标；

优选的，对第9帧图像分割后可得到3个目标区域(附图2)，对第30帧图像分割后可得到5个目标区域(附图3)。这些区域包括目标、恒星与噪点，在单帧中无法区分，需要通过多帧中包含的运动信息来检测出目标。附图2和附图3也表现出了目标亮度的变化。

s4，检测目标；

s401，第一帧图像得到9个点(373.5,62),(116.5,179),(325,252),(347,285),(39,542),(370.5,605),(499,639),(68,753),(426.5,770)，作为9个点类的坐标，并为每一个点类建立一个卡尔曼滤波器；

假设目标在第k帧的状态向量为xk＝(xk,yk,vxk,vyk)^t，即它在像素坐标系的坐标(xk,yk)和速度(vxk,vyk)(单位：像素/δt)，则系统方程为：

公式(6)中，q设为10^-4i4，r设为0.2i2，其中in是n×n的单位阵；

令为卡尔曼滤波器在第k帧的状态估计，pk|k为后验估计误差协方差矩阵，体现度量估计值的精确程度，于是和pk|k代表滤波器的状态，卡尔曼滤波器的过程如下：

初始化：初始化与p0|0，对于x0|0,y0|0为第一帧通过单帧分割和灰度重心法得到的初始坐标，vx0|0,vy0|0设为0；

预测：在预测阶段，滤波器使用上一帧的状态估计，做出对当前帧的状态估计，预测得到的坐标将用于单帧图像分割和轨迹关联：

更新：在更新阶段，滤波器利用对当前帧的测量值优化在预测阶段获得的预测值：

其中kk是一个中间变量，称为最优卡尔曼增益；

在本实施例的卡尔曼滤波器初始化中，p0|0统一设为diag(0.2,0.2,0,0)，初始速度统一设为0，则9个点类分别预测得到下一帧的坐标为(373.5,62),(116.5,179),(325,252),(347,285),(39,542),(370.5,605),(499,639),(68,753),(426.5,770)。

s402，第二帧图像得到8个点(373.5,62),(116.5,179),(325,252),(348,285),(40,543),(370,605),(68,753),(426.5,770),将每个点依次与已有的点类卡尔曼滤波器预测的坐标两两比较，当距离小于ε1＝5时，认为是一类，并由新的坐标代替旧的坐标作为点类的坐标，如果两个点的距离都大于阈值ε1，则作为新的点类。从而可得现在的9个点类的坐标为(373.5,62),(116.5,179),(325,252),(348,285),(40,543),(370,605),(499,639),(68,753),(426.5,770)，第7个点类只有1个点，为该点类建立一个新的卡尔曼滤波器，其余点类有2个点，并将新的坐标作为测量值更新各自的卡尔曼滤波器的状态。

如此对获得的每一帧进行处理。

s403，当某个点类有20个点时，即开始判断其是否为目标，计算20个点的速度模长之和与阈值ε2＝2比较，小于认为是恒星背景或噪点，大于则认为是空间运动目标。

由此即可检测出图像中的目标。

为了直观展示目标，将1000帧图像叠加得到附图4，可以看到一个目标的运动轨迹，亮度变化非常显著，自适应空间目标检测器检测到了该目标，如附图5所示。因为960×576分辨率过大，这里只显示了图片局部，每50帧用一个白框标出目标。附图6给出了目标运动的轨迹。

此外，对这1000帧图像，如果公式中的axy取为常数，仅在共579帧里检测到目标，然而本发明提出的算法可以在共947帧里内检测到目标，检测概率得到了大大地提高。