一种基于背景反投影的移动平台运动目标检测方法与流程

本发明属于运动目标检测技术领域，具体涉及一种基于背景反投影的移动平台运动目标检测方法。

背景技术：

运动目标检测的前景检测是基于计算机视觉监控的一项基础而重要的任务，准确有效的检测结果是后续的目标跟踪、目标识别、视觉导引等高级应用的前提与铺垫。移动平台下的运动目标检测除了受到环境因素、复杂场景、光照变化等影响外，摄像机的运动进一步增加了该问题的挑战性。传统的静止相机运动目标检测方法在移动平台下并不能区分目标运动和相机运动，因而会出现大量的误检测；现有的用于移动平台的摄像机运动下的运动目标检测方法主要可以分为三大类：一是基于初始背景拼接的方法；二是基于帧间背景补偿的方法；三是基于运动信息的方法。

初始背景模型拼接法根据多帧视频序列拼接出原始的大范围全景背景模型图像，在检测运动目标时从该全景背景图中搜索到属于当前帧的背景区域，再将当前帧图像与背景区域做差分处理检测出前景目标，同时利用当前结果对全景背景模型的局部区域进行更新，以此类推，实现对所有视频序列的前景目标检测。该方法的检测结果的准确性极大地依赖于拼接的初始全景背景图是否真实可靠，而构造一幅完整清晰的全景背景图是相当困难的，需要在许多严格的假设前提下才能得以实现，比如用于构造原始背景模型的多帧视频序列中不能包含运动目标，背景初始化过程中场景中各要素不能发生较大变化，背景模型需要人工辅助构建等。

基于帧间背景补偿方法的基本思想是对邻近帧图像之间发生的背景运动进行全局运动估计，得到前一帧图像经过运动补偿后的图像，再将该补偿帧与当前帧进行帧差处理来分割前背景信息，这种方法依赖于运动估计的准确性，检测结果存在大量的空洞，需要进行大量的后续处理。

上述两类方法的本质均是首先找到实际三维空间中某个实体在两帧图像(相邻帧、当前帧和背景帧)的像素对应，进而利用静态背景下运动目标检测的方法进行处理。一方面，这两类方法均依赖于运动模型的真实逼近和模型参数的鲁棒求解，因此在摄像机运动的情况下较难实现同一像素在时域上的准确建模；另一方面，上述方法主要利用颜色变化来区分背景和运动目标，背景和前景在多帧积累的运动信息未被利用。

运动信息方法从视频图像序列中提取出长时间的运动轨迹，进而根据前背景在运动轨迹上的差异类区分目标和背景，然后再进行过分割等处理过程得到完整的运动目标区域。这种方法需要对视频进行缓存，不能实时的处理视频序列，同时该方法的准确性依赖于运动轨迹的提取，对场景的要求较高，依赖于运动估计或者运动轨迹提取，对场景变化与摄像机平台移动的自适应能力较差，且准确性与实时性都有待进一步提高。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于背景反投影的移动平台运动目标检测方法，不需要对场景和目标作任何假设，不需要训练样本，无需缓存视频序列或估计运动补偿参数，同时具备实时性与准确性优势，既适用于移动平台条件，也可以用于静态摄像机下的运动目标检测，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是：一种基于背景反投影的移动平台运动目标检测方法，其特征在于，该方法包括以下步骤：

步骤一、连续采集视频图像序列：采用图像采集装置连续采集运动目标的图像序列fk(x,y)，并将所述图像序列fk(x,y)传输至图像处理装置中，其中，k取整数且k不小于4，x为所述图像序列fk(x,y)中的像素点的横坐标，y为所述图像序列fk(x,y)中的像素点的纵坐标；

图像采集装置为具有移动平台的图像采集装置，所述具有移动平台的图像采集装置采集的图像均为三通道图像；

步骤二、利用三帧差法获取初始运动目标区域，过程如下：

步骤201、根据公式得到第1帧图像序列f1与第2帧图像序列f2的帧差二值图像d12，根据公式得到第2帧图像序列f2与第3帧图像序列f3的帧差二值图像d23，其中，v1^c为第1帧图像序列f1中所有像素点的像素值集合，v2^c为第2帧图像序列f2中所有像素点的像素值集合，v3^c为第3帧图像序列f3中所有像素点的像素值集合，th为像素阈值；

步骤202、对帧差二值图像d12和帧差二值图像d23进行逻辑与操作得到前三帧图像序列的帧差二值区域d13；然后，根据公式得到初始运动目标区域其中，morph(·)表示形态学滤波函数；

步骤三、提取初始背景区域直方图统计特征：首先，根据获取初始背景区域掩码dmask，所述初始背景区域掩码dmask的取值为0或255；然后，根据公式在第3帧图像序列f3上提取初始背景区域直方图统计特征其中，hist(·)表示直方图函数，xij表示第3帧图像序列f3中的像素点的颜色特征，i和j取所述初始背景区域掩码dmask的取值为255时对应的第3帧图像序列f3中的像素点的空间位置参数；

步骤四、判断是否还有图像序列输入：通过图像处理装置接收图像采集装置输入的图像序列，当图像处理装置中还有图像序列输入时，执行步骤五；当图像处理装置中没有图像序列输入时，结束运动目标的检测；

步骤五、对第n帧图像序列fn进行反投影：首先，根据公式对第n-1帧图像序列fn-1的背景区域直方图特征进行更新得到更新的背景区域直方图特征其中，表示第n-1帧图像序列fn-1的背景区域直方图特征，表示第n-2帧图像序列fn-2的背景区域直方图特征且n取整数且n＝4,5，…，k；然后，根据公式计算第n帧图像序列fn的反投影图binⁿ(x,y)表示第n帧图像序列fn中(x,y)处像素所对应的直方图区间号；

步骤六、获取前景区域分割图fgn-1：根据公式对反投影图进行图像分割得到前景区域分割图fgn-1，其中，th1为概率阈值；

步骤七、获取校准的运动目标区域首先，根据公式获取相邻帧差运动目标区域d(n-1)n；然后，根据公式得到校准的运动目标区域

步骤八、提取当前背景区域直方图统计特征：首先，对前景区域分割图fgn-1和校准的运动目标区域进行逻辑与操作得到实际的运动目标区域fgn；然后，根据fgmark＝255-fgn，获取实际背景区域掩码fgmark，所述实际背景区域掩码fgmark的取值为0或255；最后，根据公式在第n帧图像序列fn上提取当前背景区域直方图特征后循环步骤四，其中，表示第n帧图像序列fn中的像素点的颜色特征，p和q取所述实际背景区域掩码fgmark的取值为255时对应的第n帧图像序列fn中的像素点的空间位置参数。

上述的一种基于背景反投影的移动平台运动目标检测方法，其特征在于：所述th取值满足：30≤th≤40。

上述的一种基于背景反投影的移动平台运动目标检测方法，其特征在于：所述th1取值满足：0.45≤th1≤0.55。

上述的一种基于背景反投影的移动平台运动目标检测方法，其特征在于：所述η取值满足：0≤η≤1。

本发明与现有技术相比具有以下优点：

1、本发明利用三帧差法和形态学处理得到初始运动目标区域，并获取初始背景区域掩码，建立初始背景区域直方图统计特征，再利用初始背景区域直方图统计特征对后续图像序列进行反投影与阈值分割，先得到背景区域，后得到前景区域，便于推广使用。

2、本发明利用帧差法与前景区域进行逻辑与得到实际的运动目标区域，获取实际背景区域掩码，更新背景区域直方图特征，进而得到运动前景，可靠稳定，使用效果好。

3、本发明设计新颖合理，不需要对场景和目标作任何假设，不需要训练样本，无需缓存视频序列或估计运动补偿参数，步骤简单有效，有良好的适应性。

综上所述，本发明设计新颖合理，不需要对场景和目标作任何假设，不需要训练样本，无需缓存视频序列或估计运动补偿参数，同时具备实时性与准确性优势，既适用于移动平台条件，也可以用于静态摄像机下的运动目标检测，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明采用的移动平台运动目标检测设备的电路原理框图。

图2为本发明的方法流程框图。

附图标记说明:

1—图像采集装置；2—图像处理装置。

具体实施方式

如图1和图2所示，本发明包括一种基于背景反投影的移动平台运动目标检测方法，包括以下步骤：

步骤一、连续采集视频图像序列：采用图像采集装置1连续采集运动目标的图像序列fk(x,y)，并将所述图像序列fk(x,y)传输至图像处理装置2中，其中，k取整数且k不小于4，x为所述图像序列fk(x,y)中的像素点的横坐标，y为所述图像序列fk(x,y)中的像素点的纵坐标；

图像采集装置1为具有移动平台的图像采集装置，所述具有移动平台的图像采集装置采集的图像均为三通道图像；

需要说明的是，优选的具有移动平台的图像采集装置为安装有滑轨的摄像机或安装在飞行器上的摄像机，用于连续跟踪运动目标，保证运动目标在摄像机拍摄的视野内，图像处理装置2采用计算机或具有嵌入式系统的控制器，满足连续处理视频图像的需求，图像采集装置1连续采集运动目标的图像序列fk(x,y)，其中，k取整数且k不小于4的目的是便于后续利用三帧差法获取初始运动目标区域。

步骤二、利用三帧差法获取初始运动目标区域，过程如下：

步骤201、根据公式得到第1帧图像序列f1与第2帧图像序列f2的帧差二值图像d12，根据公式得到第2帧图像序列f2与第3帧图像序列f3的帧差二值图像d23，其中，v1^c为第1帧图像序列f1中所有像素点的像素值集合，v2^c为第2帧图像序列f2中所有像素点的像素值集合，v3^c为第3帧图像序列f3中所有像素点的像素值集合，th为像素阈值；

需要说明的是，图像采集装置1采集的图像序列大小均相等，v1^c包括第1帧图像序列f1中每一个像素的像素值，v2^c包括第2帧图像序列f2中每一个像素的像素值，v3^c包括第3帧图像序列f3中每一个像素的像素值，|v1^c-v2^c|和|v2^c-v3^c|均为各图像序列对应位置处像素值做减法，依次完成图像序列中每一个像素位置的差值，优选的th的像素阈值取35。

步骤202、对帧差二值图像d12和帧差二值图像d23进行逻辑与操作得到前三帧图像序列的帧差二值区域d13；然后，根据公式得到初始运动目标区域其中，morph(·)表示形态学滤波函数；

实际操作中，首先对帧差二值图像d12和帧差二值图像d23进行逻辑与操作前三帧图像序列的帧差二值区域d13的目的是过滤掉初始运动目标区域中大部分的干扰，然后，采用形态学滤波降低噪声或降低图像获取过程中由于采用量化、传递及时环境干扰而带来的寄生效应，以便有效地提取运动目标的图像信息；步骤二获取初始运动目标区域是采用三帧差法与形态滤波得到，实际使用中也可以通过背景差法、显著性检测法得到粗略的运动目标区域。

步骤三、提取初始背景区域直方图统计特征：首先，根据获取初始背景区域掩码dmask，所述初始背景区域掩码dmask的取值为0或255；然后，根据公式在第3帧图像序列f3上提取初始背景区域直方图统计特征其中，hist(·)表示直方图函数，xij表示第3帧图像序列f3中的像素点的颜色特征，i和j取所述初始背景区域掩码dmask的取值为255时对应的第3帧图像序列f3中的像素点的空间位置参数；

实际操作中，根据获取初始背景区域掩码dmask，在第3帧图像序列f3上提取初始背景区域直方图特征的目的是提取不包含可能的运动区域，因此该初始背景区域直方图能够较好的反应背景区域的特征。

xij表示第3帧图像序列f3中的像素点的颜色特征，其值可以是rgb三通道颜色值，也可以是多通道的复合特征，即rgb加上边缘特征。

步骤四、判断是否还有图像序列输入：通过图像处理装置2接收图像采集装置1输入的图像序列，当图像处理装置2中还有图像序列输入时，执行步骤五；当图像处理装置2中没有图像序列输入时，结束运动目标的检测；

步骤五、对第n帧图像序列fn进行反投影：首先，根据公式对第n-1帧图像序列fn-1的背景区域直方图特征进行更新得到更新的背景区域直方图特征其中，表示第n-1帧图像序列fn-1的背景区域直方图特征，表示第n-2帧图像序列fn-2的背景区域直方图特征且n取整数且n＝4,5，…，k；然后，根据公式计算第n帧图像序列fn的反投影图binⁿ(x,y)表示第n帧图像序列fn中(x,y)处像素所对应的直方图区间号；

当n取4时，实际中表示第2帧图像序列f2的背景区域直方图特征且此时，优选的η取0，利用步骤三中的对第4帧图像f4进行反投影，得到反投影图反投影图的值为概率值，其值的大小反应了像素为背景区域的可能性。

实际操作中，也可对反投影图进行归一化，将反投影图的概率值转换为(0，255)的像素值，显示效果更好。

本实施例中，所述η取值满足：0≤η≤1。

步骤六、获取前景区域分割图fgn-1：根据公式对反投影图进行图像分割得到前景区域分割图fgn-1，其中，th1为概率阈值；

当n取4时，对反投影图进行图像分割得到第一幅前景区域分割图fg3，优选的概率阈值th1取0.5，采用先得到背景区域，后得到前景区域的方式反演得到运动目标区域。

步骤七、获取校准的运动目标区域首先，根据公式获取相邻帧差运动目标区域d(n-1)n；然后，根据公式得到校准的运动目标区域

当n取4时，采用相邻帧做减法的方式获取相邻帧差运动目标区域d34，采用形态学滤波的目的是为了提升目标区域精度，得到校准的运动目标区域

步骤八、提取当前背景区域直方图统计特征：首先，对前景区域分割图fgn-1和校准的运动目标区域进行逻辑与操作得到实际的运动目标区域fgn；然后，根据fgmark＝255-fgn，获取实际背景区域掩码fgmark，所述实际背景区域掩码fgmark的取值为0或255；最后，根据公式在第n帧图像序列fn上提取当前背景区域直方图特征后循环步骤四，其中，表示第n帧图像序列fn中的像素点的颜色特征，p和q取所述实际背景区域掩码fgmark的取值为255时对应的第n帧图像序列fn中的像素点的空间位置参数。

当n取4时，对前景区域分割图fgn-1和校准的运动目标区域进行逻辑与操作操作得到实际的运动目标区域fgn的目的是过滤掉干扰，从而进一步的确定运动目标区域，根据fgmark＝255-fgn，获取实际背景区域掩码fgmark的目的是提取不包含可能的运动目标区域，在第4帧图像序列f4上提取当前背景区域直方图特征为后续图像序列更新背景区域直方图特征做准备，并循环步骤四。

本实施例中，所述th取值满足：30≤th≤40。

本实施例中，所述th1取值满足：0.45≤th1≤0.55。

本发明使用时，步骤四为判断后续是否还有图像序列输入，当图像处理装置2中没有图像序列输入时，结束运动目标的检测，图像处理装置2显示对反投影图进行图像分割得到第一幅前景区域分割图fg3；当图像处理装置2中还有图像序列输入时，即有第5帧图像序列f5输入，根据公式对第4帧图像序列f4的背景区域直方图特征进行更新得到更新的背景区域直方图特征利用对第5帧图像f5进行反投影，得到反投影图对反投影图进行图像分割得到第二幅前景区域分割图fg4，以此类推，对后续图像序列进行反投影与阈值分割，先得到背景区域，后得到前景区域，进而得到运动前景，该方法不需要对监控场景和目标作任何假定，在检测过程中也不用缓存视频序列、估计运动补偿参数或提取光流，且同时具备检测精度高与实时好的优势，既适用于移动平台条件，也可以用于静态摄像机下的运动目标检测，可以有效融合多种特征，且在多种特征的融合中不需要训练样本，对场景变化与摄像机平台运动有良好的适应性。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。