卫星视频运动目标检测方法及系统与流程

本发明属于移动背景建模和运动目标检测技术领域，特别是一种卫星视频运动目标检测方法及系统。

背景技术：

随着遥感应用的深入,应用需求已从定期的静态普查向实时动态监测方向发展,利用卫星对全球热点区域和目标进行持续监测,获取动态信息已经成为迫切需求。除了经典光学遥感卫星影像包含的静态信息外，视频卫星还可以获取一定时空范围内的实时动态信息，使得遥感观测有更广阔的应用前景。在视频应用中，运动目标的检测是动态信息提取的重要一步，同时也是后期高级应用和处理的基础和前提。因此实现运动目标的准确、鲁棒检测和分割显得尤为重要。目前的卫星视频运动目标检测中，存在由场景全局运动和局部“伪运动”引起的严重误检问题。

技术实现要素：

针对现有技术存在的问题，本发明提出了一种可避免“伪运动”误检的卫星视频运动目标检测方法及系统。

本发明的技术方案如下：

一、卫星视频运动目标检测方法，包括：

s1选择视频的中间帧为基准帧，视频中基准帧外的其他帧为补偿帧；对基准帧进行分块获得影像块，提取各影像块的goodfeatures特征点；

s2从视频第1帧开始，在基准帧和补偿帧之间采用前后lk光流的点跟踪法对各影像块的goodfeatures特征点进行跟踪匹配，获得匹配同名点集；

s3利用匹配同名点集估计基准帧各影像块的帧间2d仿射模型参数，并建立帧间2d仿射模型转换关系；创建一与基准帧大小相同的空图像作为新补偿帧，根据帧间2d仿射模型转换关系，将原始补偿帧中与基准帧各影像块相对应的区域重采到新补偿帧，完成原始补偿帧的运动补偿；

s4对运动补偿后的第一帧中每一个像素v，从像素v及其邻域中随机选取n个像素作为像素v的样本像素，建立像素v的背景模型model(x)＝{v1，v2，...vn，a}，其中，vx表示第x个样本像素，x＝1,2...n；a为像素v的更新因子；

s5通过新补偿帧与背景模型比对提取运动目标，并获得二值图像，对二值图像提取连通域，连通域即候选目标；所述的提取运动目标具体为：对新补偿帧中每一个像素v(x)，构建以v(x)为中心、r为半径的欧氏距离空间sr(v(x))，获取sr(v(x))与像素v(x)对应的背景模型中样本像素集合的交集，若交集中像素数大于等于数量阈值，则v(x)为背景像素，灰度记为0；否则，v(x)为运动像素，灰度记为255；r为经验值，在18～22范围取值；数量阈值为经验值；

s6从候选目标中分离出可能的局部视差伪运动目标和可能的鬼影目标；

所述的从候选目标中分离出可能的局部视差伪运动目标，具体为：

(1)提取候选目标的最小外接矩形，计算最小外接矩形的长宽比ratio，若ratio>3.5，则该候选目标判断为可能的局部视差伪运动目标；

(2)提取候选目标邻域的边缘线，判断边缘线与候选目标轮廓线是否相交，若相交，则该候选目标判断为可能的局部视差伪运动目标；

所述的从候选目标中分离出可能的鬼影目标，具体为：

记录候选目标在视频帧的位置，若候选目标在连续10帧的位置相同，则判断为可能的鬼影目标；

s7对新补偿帧中各背景像素，从范围[1,a]的自然数中随机选取数s，若s＝1，则从该背景像素对应的背景模型中随机选择一个样本像素，用该背景像素替换该样本像素进行背景更新，a为该背景像素的更新因子；若s≠1，则不进行背景更新；

新补偿帧中各像素的更新因子a采用如下方法设定：

①将新补偿帧中可能的局部视差伪运动目标的最小外接矩形向帧间2d仿射模型的平移向量方向外扩b个像素，得到更新因子矩形a，b根据经验在10～12范围内取值；

②逐一统计新补偿帧中各候选目标包含的像素数，对包含的像素数不大于3的候选目标，将其内像素的更新因子a设为1；对包含的像素数大于3但不大于20的候选目标，属于该候选目标同时又属于更新因子矩形a的像素，其更新因子a设为5；对包含的像素数大于20的候选目标，属于该候选目标同时又属于更新因子矩形a的像素，其更新因子a设为1；

③对新补偿帧中可能的鬼影目标包含的像素，其更新因子a设为1；

④新补偿帧中其他像素的更新因子设为10。

s4中，估计基准帧各影像块的帧间2d仿射模型参数前，利用msac法剔除匹配同名点集中的误差匹配同名点。

s5中，采用像素间的灰度差表示欧式距离。

二、卫星视频运动目标检测系统，包括：

特征点提取模块，用来选择视频的中间帧为基准帧，视频中基准帧外的其他帧为补偿帧；对基准帧进行分块获得影像块，提取各影像块的goodfeatures特征点；

跟踪匹配模块，用来从视频第1帧开始，在基准帧和补偿帧之间采用前后lk光流的点跟踪法对各影像块的goodfeatures特征点进行跟踪匹配，获得匹配同名点集；

运动补偿模块，用来利用匹配同名点集估计基准帧各影像块的帧间2d仿射模型参数，并建立帧间2d仿射模型转换关系；创建一与基准帧大小相同的空图像作为新补偿帧，根据帧间2d仿射模型转换关系，将原始补偿帧中与基准帧中各影像块相对应的区域重采到新补偿帧，完成原始补偿帧的运动补偿；

背景模型构建模块，用来对运动补偿后的第一帧中每一个像素v，从像素v及其邻域中随机选取n个像素作为像素v的样本像素，建立像素v的背景模型model(x)＝{v1，v2，...vn，a}，其中，vx表示第x个样本像素，x＝1,2...n；a为像素v的更新因子；

运动目标提取模块，用来通过新补偿帧与背景模型比对提取运动目标，并获得二值图像，对二值图像提取连通域，连通域即候选目标；所述的提取运动目标具体为：对新补偿帧中每一个像素v(x)，构建以v(x)为中心、r为半径的欧氏距离空间sr(v(x))，获取sr(v(x))与像素v(x)对应的背景模型中样本像素集合的交集，若交集中像素数大于等于数量阈值，则v(x)为背景像素，灰度记为0；否则，v(x)为运动像素，灰度记为255；r为经验值，在18～22范围取值；数量阈值为经验值；

伪运动目标提取模块，用来从候选目标中分离出可能的局部视差伪运动目标和可能的鬼影目标；

所述的伪运动目标提取模块进一步包括局部视差伪运动目标分离模块和可能的鬼影目标分离模块，其中：

局部视差伪运动目标分离模块，用来从候选目标中分离出可能的局部视差伪运动目标，具体为：

(1)提取候选目标的最小外接矩形，计算最小外接矩形的长宽比ratio，若ratio>3.5，则该候选目标判断为可能的局部视差伪运动目标；

(2)提取候选目标邻域的边缘线，判断边缘线与候选目标轮廓线是否相交，若相交，则该候选目标判断为可能的局部视差伪运动目标；

可能的鬼影目标分离模块，从候选目标中分离出可能的鬼影目标，具体为：

记录候选目标在视频帧的位置，若候选目标在连续10帧的位置相同，则判断为可能的鬼影目标；

背景补偿模块，用来对新补偿帧中各背景像素，从范围[1,a]的自然数中随机选取数s，若s＝1，则从该背景像素对应的背景模型中随机选择一个样本像素，用该背景像素替换该样本像素进行背景更新，a为该背景像素的更新因子；若s≠1，则不进行背景更新；

新补偿帧中各像素的更新因子a采用如下方法设定：

①将新补偿帧中可能的局部视差伪运动目标的最小外接矩形向帧间2d仿射模型的平移向量方向外扩b个像素，得到更新因子矩形a，b根据经验在10～12范围内取值；

②逐一统计新补偿帧中各候选目标包含的像素数，对包含的像素数不大于3的候选目标，将其内像素的更新因子a设为1；对包含的像素数大于3但不大于20的候选目标，属于该候选目标同时又属于更新因子矩形a的像素，其更新因子a设为5；对包含的像素数大于20的候选目标，属于该候选目标同时又属于更新因子矩形a的像素，其更新因子a设为1；

③对新补偿帧中可能的鬼影目标包含的像素，其更新因子a设为1；

④新补偿帧中其他像素的更新因子设为10。

和现有技术相比，本发明具有如下特点和有益效果：

(1)通过一帧影像即可建立背景模型，用于目标检测分割。

(2)均匀分块的前后光流匹配构建帧间运动模型，能够准确的进行全局运动补偿。

(3)通过潜在的“伪运动”判断和对应更新因子的动态修正，能够很好的剔除视差和鬼影导致的“伪运动”误检测，有效提高检测精度。

(4)本发明可以广泛适用于卫星视频的运动分析与应用。

附图说明

图1是本发明的具体流程图；

图2是实施例中基准帧的分块及特征提取示意图；

图3是实施例中前后光流点的匹配示意图；

图4是实施例中运动补偿的结果图；

图5是实施例中建筑物的伪运动示意图；

图6是实施例中运动飞机的鬼影示意图。

具体实施方式

本发明首先，利用改进的vibe建模法，在运动补偿后的第一帧建立包含动态更新因子的背景模型。从第二帧开始，利用补偿帧与背景模型比对和连通域分析检测分割出运动目标，进而通过“伪运动”判断，动态修正背景更新因子，完成局部自适应的背景模型更新。在处理的过程中，采用均匀分块的前后lk光流的方法估计帧间场景全局运动模型，进行帧间的运动补偿。最后，本发明方法可满足卫星视频运动的分析和应用需求。

下面将结合附图对本发明技术方案进行详细描述，见图1，本发明的具体步骤：

步骤1，从视频中选择基准帧，对基准帧进行分块，并提取各影像块的特征。

本具体实施方式中，将视频中间帧设置为基准帧，视频中基准站以外的其他帧为补偿帧。将基准帧分割成大小相等的m×n个影像块，基准帧可看作由m行n列的影像块组成的新影像。每一影像块记为bmn，bmn表示第m行第n列的影像块，m＝1,2,...m，n＝1,2,...n。提取影像块的特征点时，采用goodfeatures方法。具体实施方式中，设置滤波窗口大小为3×3，最小距离在[3,5]范围取值，使得低频、弱特征区域可提取到足够多、且分布均匀的goodfeatures特征点，见图2，其所示为吉林一号卫星视频中一帧，该帧被分成10×10个影像块，该图右下角方框内为从影像块b10,1提取的goodfeatures点。

步骤2，从视频第1帧开始，在基准帧和补偿帧之间采用前后lk光流的点跟踪法对各影像块的goodfeatures特征点进行跟踪匹配，获得匹配同名点集。

点追踪法应该具有正反向一致性，在时间上无论是正序追踪还是反序追踪，产生的轨迹应该是一样的。首先，对帧影像序列进行向前正向跟踪：对t帧的xt点，采用lk光流跟踪到t+1帧的xt+1点，继续跟踪到t+k帧的xt+k点。然后，进行向后反向跟踪：利用lk光流从t+k帧的xt+k点跟踪到t帧的^xt点，如此就产生了向前向后两个轨迹。最后，比较xt点和^xt点的欧式距离，如果欧式距离小于指定阈值，则xt点和^xt点互为匹配同名点。本发明中，k取1，即在帧间进行向前向后跟踪。

以影像块b10,1为例，按照上述方法，在影像块b10,1中对提取的goodfeatures点进行跟踪匹配，即将两相邻帧影像叠加显示，并标注匹配点集，见图3，这样可屏蔽掉大量误差较大的匹配点，同时也能保证点的均匀分布。

步骤3，利用匹配同名点集估计基准帧各影像块的帧间2d仿射模型参数，并建立帧间2d仿射模型转换关系。作为优选，估计帧间2d仿射模型参数前，利用msac(m-estimatorsampleconsensus)法剔除匹配同名点集中的误差匹配同名点，进一步提升帧间变换精度。

帧间2d仿射模型见式(1)：

式(1)中，a1、a2、a3、a4、a5、a6为帧间2d仿射模型参数。

利用“反解法”的微分纠正方法，创建一个与基准帧大小相同的空图像作为新补偿帧。根据帧间2d仿射模型转换关系，将原始补偿帧中与基准帧各影像块相对应的区域重采到新补偿帧，完成运动补偿。图4所示为运动补偿后相邻帧的叠加显示，包括参数优化后的高精度goodfeatures匹配点集。

步骤4，利于运动补偿后的视频第一帧建立背景模型。

本发明基于vibe建模法的背景模型思想，只利用第一帧完成背景模型的建模。vibe建模法采用单帧像素级的随机邻域采样建模方式，对帧图像中每一个像素v，从像素v及其8邻域中随机选取n个像素作为像素v的样本像素，建立背景模型。背景模型记为：model(x)＝{v1，v2，...vn}，x＝1,2...n，vx表示第x个样本像素，n在15～25范围内取值。

这种随机采样模式，确保每一个像素都有同等的随机概率被选中，使得构造出的背景模型客观真实可靠，避免主观因素干扰。同时，由于背景模型只保存8邻域的像素采样，可以保证小尺寸目标的正常检测，又能够抵抗背景晃动引起的误检测。考虑到卫星视频中的局部“伪运动”问题，本发明对vibe建模法进行了改进，在背景模型中加入更新因子a，更新因子a表示背景的更新频率，背景模型修正为：model(x)＝{v1，v2，...vn，a}。

步骤5，通过新补偿帧与背景模型比对提取运动目标。

针对新补偿帧中每一个像素，比较该像素与其对应背景模型中样本像素的相似度。如果满足指定相似度的样本像素数大于数量阈值，则判断该像素为背景像素，否则为运动像素。

该相似度的判断过程可通过数学上2d空间的欧氏距离加以说明。记v(x)为待判断像素，sr(v(x))表示以v(x)为中心、r为半径的欧氏距离空间，采用{v1，v2，...vn}表示背景模型中的样本像素集合。如果sr(v(x))与{v1，v2，...vn}的交集中像素数num大于等于数量阈值t，则认为v(x)为背景像素，灰度记为0；否则为前景像素，即运动像素，灰度记为255。r为经验值，在18～22范围取值；数量阈值t为经验值。

用公式(2)表示v(x)为背景像素的情况：

判断时，采用像素间的灰度差表示欧式距离。当新补偿帧中所有像素检测完成后，得到前景和背景的二值图像，在此基础上进行连通域分析和提取，将每个连通域视作一个候选目标，完成目标分割。

步骤6，伪运动判断。

分割出的候选目标主要包含三部分：真实的运动目标、视差“伪运动”目标和“鬼影”目标，“伪运动”目标包括视差“伪运动”目标和“鬼影”目标。本步骤是要判断出可能的局部视差“伪运动”目标和可能的“鬼影”目标。

6.1根据局部视差“伪运动”的3个特点，对所有候选目标做进一步的处理，分离出可能的局部视差“伪运动”目标。

可能的局部视差“伪运动”目标的判断条件为：

(1)通过连通域节点坐标，提取连通域的最小外接矩形，计算最小外接矩形的长宽比ratio，若ratio>3.5，则该连通域所代表的候选目标为可能的局部视差“伪运动”目标；

(2)候选目标邻域进行边缘提取，判断边缘线(无需闭合)与候选目标轮廓线是否相交，如果相交，则该候选目标为可能的局部视差“伪运动”目标。

将可能的局部视差“伪运动”目标的最小外接矩形外扩1个像素，同时，将最小外接矩形向帧间2d仿射模型的平移向量方向外扩b个像素得到更新因子矩形a，b在10～12范围内取值。见图5，所示为某一帧图像的检测结果，实线框表示一候选目标的最小外接矩形，根据判断，该候选目标为可能的局部视差“伪运动”目标；虚线框表示更新因子矩形a。外扩10个像素主要是考虑候选目标运动方向的变化。值得说明的是，视频卫星轨道一般为太阳同步轨道，因此平移向量方向一般朝上。

6.2从候选目标中分离出可能的“鬼影”目标。

背景模型建立时，在运动目标的初始位置将运动目标作为样本像素进行采样，运动目标离开初始位置后，该位置的真实背景像素就会被判断为目标像素。见图6所示，为飞机目标(运动目标)的检测结果。在目标初始位置出现了飞机的重影，即“鬼影”。根据“鬼影”目标的特点，判断方法为：在某一位置第一次出现运动目标时，记录该位置，若该运动目标在连续c帧静止不动，则认为是可能的“鬼影”目标。c在10～15范围取值。

步骤7，背景更新。

真实的运动目标和“伪运动”目标所在区域及邻域产生变化。为了适应场景的动态变化、降低误检率，在“伪运动”目标分割后，需要对背景模型进行自适应更新。更新策略为：各像素的背景模型均包含一更新因子a，对新补偿帧中每个被检测为背景的像素，记为背景像素，从1到a的自然数中，随机选取1个数s。若s＝1，则从该背景像素对应的背景模型中随机选择一个样本像素，用该背景像素替换该样本像素。若s≠1，则按照概率对该背景像素的邻域进行概率更新，概率为1/a。因此，每个像素背景模型的更新频率约为1/a，更新时每个背景模型样本被替换的概率约为1/n。若s≠1，则不进行背景更新。

背景更新可采用如下公式表示：

按照上述方法处理后，可能的局部视差“伪运动”区域时时更新，即按a＝1进行更新；新补偿帧中其他区域根据概率更新，得到的背景模型能够更加准确的描述当前时刻场景，可以适应局部视差“伪运动”变化，在不降低检测率的前提下，可以有效降低“伪运动”的误检测，有效提高检测精度。

更新因子a设定方法为：

式(4)中：

a∈a表示更新因子a所对应的像素包含于更新因子矩形a内；

num(obj)表示候选目标所包含的像素数，如果像素数不大于3，直接将该候选目标归为背景，将该候选目标所包含像素的更新因子a设为1；如果像素数大于3但不大于20，对属于候选目标同时又属于更新因子矩形a的像素，其更新因子a设为5；如果像素数大于20，对属于候选目标同时又属于更新因子矩形a的像素，其更新因子a设为1；

ghost表示“鬼影”目标，对新补偿帧中可能的“鬼影”目标所包含的像素，令其更新因子a＝1；

其他像素，更新因子设为10。