基于粒子滤波视觉注意力模型的运动目标检测方法
【专利摘要】本发明公开了一种基于粒子滤波视觉注意力模型的运动目标检测方法，首先依据贝叶斯估计原理，构建粒子滤波双向融合注意力模型；然后以粒子滤波双向融合注意力模型框架为基础，以运动注意力和目标颜色注意力分别为B-U和T-D注意力输入，通过粒子权值计算改变粒子分布状态，形成注意力显著图，并最终确定运动目标位置。本发明的方法，融合时间和空间注意力，使得运动注意力计算更为准确；融合自底向上和自顶向下注意力，简单有效的模拟了人类视觉注意形成过程；针对复杂全局运动场景，提高了运动目标检测的有效性和准确性。
【专利说明】基于粒子滤波视觉注意力模型的运动目标检测方法
【技术领域】
[0001] 本发明属于视频图像检测【技术领域】，涉及一种基于粒子滤波视觉注意力模型的运 动目标检测方法。
【背景技术】
[0002] 运动目标检测是机器视觉领域的重要问题之一，是目标跟踪、识别的前提，但在复 杂运动场景中，现有运动目标检测方法仍存在较大局限和不足。近些年，视觉感知研究逐渐 融入了人类生理和心理的研究成果，其主要思路是采用计算机模拟人类生理的局部功能用 于解决视觉领域中存在的难题，视觉注意力就是这类研究的典型，其研究成果对目标检测、 分割等视觉问题具有重要的推动作用。
[0003] 传统的运动目标检测方法有帧间差分法、背景差分法和全局运动补偿法，其中背 景差分法和帧间差分法只局限于局部运动场景，全局运动补偿法适用范围广，但准确性受 到目标大小和运动强度影响，当目标体较大或运动较强烈时，全局运动估算准确性下降，不 能进行全局有效补偿，导致运动目标检测存在较大误差。
[0004] 人类视觉注意力是由自底向上（Bottom-Up,简称B-υ)和自顶向下（Top-Down,简 称T-D)两种注意力共同作用产生形成的。2002年，Itti和Koch建立了亮度、颜色和方向 等特征为主的B-U视觉注意力模型，随后的研究衍生出多种视觉注意力计算方法及应用。 目前，视觉注意力模型大致可分为自底向上型和双向型两种类型。自底向上型描述B-U注 意力计算方法；双向型描述B-U和T-D共同作用的注意力计算方法。
[0005] 注意力属于人类视觉系统对外部观察的初期反应，一些学者从注意力的角度对目 标检测问题进行了初步研究。其中有些采用双向注意力方法进行静态目标检测。Sang-Woo Ban等对特定静态目标颜色特征进行自组织神经网络学习，生成权重矩阵，并将其作为T-D 的影响因素调节B-U注意力计算过程，形成目标注意力显著图。Yuming Fang等提取目 标的方向特征作为T-D注意力，并与B-U注意力进行比例加权融合，最终确定目标位置。 YuanlongYu等建立目标特征长期记忆（LTM)单元，通过与低级特征的对比计算位置概率分 布偏置，并进行双向加权融合，确定目标位置。
[0006] 另外，也有文献建立了运动注意力模型用于运动目标检测，主要思路是根据运动 反差定义运动注意力模型，使运动显著性区域逼近目标区域。Yu-Fei Ma根据从MPEG码流 中解压所得到的运动矢量场的运动矢量能量、空间相关性和时间相关性综合定义了运动注 意力模型，通过该模型可以得到运动显著性区域。Junwei Han将注意力分为静态注意力和 动态注意力两种，静态注意力主要由图像的亮度、颜色等信息引起，动态注意力是在全局运 动补偿的基础上计算区域的变化像素的比例进行定义的，注意力模型最终由静态注意力和 动态注意力融合得到主要应用于运动目标检测。
[0007] 综上所述，从视觉注意力角度对目标检测进行研究具有积极意义，但目前的研究 多数针对静止目标检测，缺乏运动目标检测的研究；另外，运动注意力模型限于自底向上的 数据驱模型方法，没有融合颜色、运动等多个特征的双向注意力模型。
【发明内容】
[0008] 本发明的目的是提供一种基于粒子滤波视觉注意力模型的运动目标检测方法，解 决了现有技术运动注意力模型限于自底向上的数据驱模型方法，没有融合颜色、运动等多 个特征，不能够适应复杂运动场景，难以有效、准确地检测运动目标的问题。
[0009] 本发明所采用的技术方案是，一种基于粒子滤波视觉注意力模型的运动目标检测 方法，首先依据贝叶斯估计原理，构建粒子滤波双向融合注意力模型；然后以粒子滤波双向 融合注意力模型框架为基础，以运动注意力和目标颜色注意力分别为B-U和T-D注意力输 入，通过粒子权值计算改变粒子分布状态，形成注意力显著图，并最终确定运动目标位置。 [0010] 本发明的有益效果是：
[0011] 1)对视频图像进行高斯多尺度分解，更符合人类的视觉特性，对运动矢量场进行 叠加和滤波预处理，减少估计误差和噪声的影响。
[0012] 2)融合时间和空间注意力，使得运动注意力计算更为准确。
[0013] 3)依据贝叶斯估计原理引入粒子滤波机制，融合自底向上和自顶向下注意力，构 建双向融合注意力模型，简单有效的模拟了人类视觉注意形成过程。
[0014] 4)运用双向融合注意力模型进行运动目标检测，针对复杂全局运动场景，提高了 运动目标检测的有效性和准确性。
【专利附图】
【附图说明】
[0015] 图1是本发明方法的流程框图；
[0016] 图2是本发明实施例视频图像三层高斯金字塔，其中的（a)为原始尺度，（b)为次 低尺度，（c)为低尺度；
[0017] 图3是本发明实施对应运动矢量场及其预处理结果，其中的（a)为运动矢量场， (b)叠加滤波后运动矢量场，（c)为中值滤波后运动矢量场；
[0018] 图4是本发明实施B-υ注意力显著图，其中的（a)为注意力显著图，（b)为注意力 显著热图；
[0019] 图5是本发明实施粒子滤波融合双向注意力结果，其中的（a)为重要性采样结果， (b)为重采样后粒子分布图；
[0020] 图6是本发明实施粒子注意力显著图和目标定位，其中的（a)为粒子空间分布生 成注意力显著值的示意图，（b)为根据重采样后的粒子得到注意力显著图，（c)为目标定位 结果。
[0021] 图7是本发明实施例1 "飞行器"视频序列的实验结果，第一至四行分别为第5、 28、40、60巾贞，其中的（a)为原始巾贞，（b)为Yu-FeiMa运动注意力模型结果，（c)为基于全局 运动补偿的视觉注意力（GMC-VA)模型结果，（d)为YumingFang双向加权融合视觉注意力 结果，（e)为本发明双向注意力模型结果，（f)为本发明方法的运动目标检测定位结果；
[0022] 图8是本发明实施例2 "马"视频序列的实验结果，第一至四行分别为第4、15、38、 100中贞。
【具体实施方式】
[0023] 以下结合附图和【具体实施方式】对本发明进行详细说明。
[0024] 本发明基于粒子滤波视觉注意力模型的运动目标检测方法，首先依据贝叶斯估计 原理，构建粒子滤波双向融合注意力模型；然后以粒子滤波双向融合注意力模型框架为基 础，以运动注意力和目标颜色注意力分别为B-U和T-D注意力输入，通过粒子权值计算改变 粒子分布状态，形成注意力显著图（通过滤波后的粒子分布状态计算注意力显著度），并最 终确定运动目标位置。
[0025] 本发明方法的具体实施步骤是：
[0026] 步骤1、计算当前t时刻运动注意力作为B-U注意力，显著度记作
【权利要求】
1. 一种基于粒子滤波视觉注意力模型的运动目标检测方法，其特征在于，首先依据贝 叶斯估计原理，构建粒子滤波双向融合注意力模型；然后以粒子滤波双向融合注意力模型 框架为基础，以运动注意力和目标颜色注意力分别为B-υ和T-D注意力输入，通过粒子权值 计算改变粒子分布状态，形成注意力显著图，并最终确定运动目标位置。
2. 根据权利要求1所述的基于粒子滤波视觉注意力模型的运动目标检测方法，其特征 在于，该方法具体包括以下步骤： 步骤1、计算当前t时刻运动注意力作为B-U注意力，显著度记作
，通过，
控制粒子初始重要性采样； 步骤2、根据目标特征计算T-D颜色注意力； 步骤3、采用粒子滤波融合双向注意力，计算粒子权值，重采样后形成新的粒子分布； 步骤4、根据此时粒子分布状态计算注意力显著图
并确定目标位置。
3. 根据权利要求2所述的基于粒子滤波视觉注意力模型的运动目标检测方法，其特征 在于，所述步骤1按以下具体步骤进行， 1. 1)图像的高斯多尺度分解 多尺度分析采用高斯图像金字塔法； 1. 2)采用光流法估算运动矢量场，并对运动矢量场进行叠加和滤波两个预处理 运动矢量叠加过程为：设当前帧运动矢量场为MVF t，宏块的中心坐标为（k，1)， 与之对应的运动矢量表示为
》与前后帧的运动矢量叠加按公式
计算， 运动矢量在叠加后采用中值滤波进行处理，即对于每一个非零运动矢量，用相邻的运 动矢量中值代替其值； 1. 3)计算运动注意力作为B-U注意力
计算运动注意力，定义时间和空间两方面注意力，设
和
分别表示时间和空 间注意力，分别定义为：
其中
和
分别代表在t和t-Ι时刻运动矢量场中坐标位置为（i，j)的运动矢 量，
代表
邻域Λ范围内的运动矢量均值， 运动注意力由时间和空间注意力线性融合得到，即
式中，α、β为正值的系数； 1. 4)通过
控制粒子重要性采样 采用运动显著性特征来调节高斯随机粒子采样的密度，获得随运动显著性变化的随机 采样结果，采用高斯随机采样，获得粒子初始分布状态，设
i = 1，2,…，N独立同分布，令：
其中，μχ、μγ、
和
分别是
伪随机序列的均值和方差，通过上述公式在以 (μ χ，μ y)为坐标中心的区域内产生随机的高斯采样结果，区域内采样粒子密度受运动显著 度调控，假定
是t时刻的显著图在（x，y)坐标上的显著值，定义采样密度函数如 下：
其中，i和j分别表示显著图中的横纵坐标，均值
和方差
若为初始时刻，按照上述方法采样粒子，形成初始粒子分布状态；否则，此刻运动注意 力与前一时刻运动注意力的差异位置采样一部分粒子，替换掉前一时刻相同数量的权值较 低的粒子，以此作为此时刻的初始粒子状态。
4.根据权利要求3所述的基于粒子滤波视觉注意力模型的运动目标检测方法，其特征 在于，所述步骤2具体步骤是： T-D颜色注意力显著度记作
T-D注意力的大小采用目标特征与图像特征的相 似性程度衡量， 2. 1)设定颜色直方图作为目标特征量化表示方式，记作为
m为分量 个数，则粒子目标区域的颜色分布定义为
其中δ (□)为Delta函数，
，为归一化因子，使得
K ( □)为Epanechnikov核函数，定义为
2. 2)T-D注意力显著性计算定义为：
，其中，P为巴查理亚系 数。
5.根据权利要求4所述的基于粒子滤波视觉注意力模型的运动目标检测方法，其特征 在于，所述步骤3具体包括以下步骤： 3. 1)重要性采样 分别定义B-U和T-D注意力的观测似然概率，通过贝叶斯融合B-U和T-D的观测似然 概率，更新粒子权值， 重要性采样方法如上述步骤1. 4)中所述，采用运动显著性特征来调节高斯随机粒子 采样的密度； 3. 2)权值计算 利用重采样淘汰权值较低的粒子，使粒子向权值高的粒子周围聚集，设 粒子状态为
观测值为Zk,则k时刻的后验概率密度函数近似为：
其中，
i = 1，2，···，Ν，假设双向融合注意力显著图状态为xQ:t，B-U和T-D 注意力观测值分别为
和
，则后验概率Ρ(Χτ|Ζτ)表示为
假设条件：⑴时间动态过程符合马尔科夫过程；（ii)不同时间的观测值相互独立，观 测值只与当前状态相关，则双向注意力的后验 概率求解简单推导如下：
根据重要性采样定理，粒子权重λ (i)正比
表示如下：
则有：
其中，
代表在当前粒子注意力状态下的B-U注意力观测的条件概率，而
是在B-U观测和当前粒子注意力状态下的T-D注意力观测的条件概率，
直接决定了更新粒子的权值大小，对其分别定义如下：
3. 3)重采样 粒子权值重新计算后，加入重采样以淘汰权值较低的粒子，使粒子向权值高的粒子周 围聚集。
6.根据权利要求5所述的基于粒子滤波视觉注意力模型的运动目标检测方法，其特征 在于，所述步骤4具体包括以下步骤： 4. 1)粒子显著图SM' t 根据粒子分布状态，在二维空间上，定义注意力显著大小如下：
其中，（X，y)为粒子分布的空间位置，η为粒子个数，为窗口宽度，窗函数采 用二维高斯窗函数，则上式变换为：
根据计算得到的注意力显著值与运动注意力叠加并归一化后，作为当前注意力显著 值； 4.2)目标定位 经过上述处理后，得到每一帧图像中所有粒子的分布状态，通过计算粒子群位置均值 估计出目标位置信息，计算公式为：
【文档编号】G06T7/20GK104050685SQ201410255267
【公开日】2014年9月17日 申请日期:2014年6月10日 优先权日:2014年6月10日
【发明者】刘龙, 樊波阳, 刘金星 申请人:西安理工大学