基于改进视觉注意模型的序列图像显著区域检测方法
【专利摘要】本发明公开了一种基于改进视觉注意模型的序列图像显著区域检测方法，主要解决现有基于视觉注意力模型显著区域检测过程复杂、实时性差的问题，其实现步骤是：(1)生成学习图像显著区域的注视图，并生成学习图像的特征显著度图和特征显著度图权值向量，记录显著点坐标；(2)生成测试图像的显著度图，利用学习图像的显著点坐标递推预测出测试图像显著度图的显著点坐标，建立抑制核心函数凸显显著点所在区域；(3)更新显著点坐标，利用显著点坐标递推关系和抑制核心函数，预测下一帧测试图像显著区域；(5)通过循环(3)-(4)，完成序列图像显著区域的检测。本发明能实时地检测序列图像中的显著区域，模型简单有效，可用于目标识别。
【专利说明】基于改进视觉注意模型的序列图像显著区域检测方法
【技术领域】
[0001] 本发明属于图像处理【技术领域】，特别涉及一种图像区域检索方法，可用于目标识 别。
【背景技术】
[0002] 视觉选择性注意机制是一个心理学和计算机学的交叉学科。"注意"是人类感知外 界环境过程中的一项重要机制，正是由于"注意"机制的作用，人类才能迅速将注意力集中 于少数感兴趣的信息源上，提高自身的信息处理效率。
[0003] 如今随着信息科技的飞速发展，数字图像应用技术越来越受到人们的重视。数字 图像所包含的数据量和信息量越来越大，而传统的图像处理算法对图像中的每个像元都赋 予了同等优先级，这使得图像的时间复杂度和空间复杂度都居高不下。
[0004] 心理学领域已经提出了不同的视觉注意模型，但这些模型大都仅仅适用于解释某 些心理物理学实验的结果，并不能直接用于感兴趣信息源的检测。因此，如何利用计算机视 觉和图像处理等理论和知识将传统图像处理算法与视觉选择性注意机制结合起来，让计算 机更加主动地、有针对性地检测出视觉注意中心已经成为世界各国亟待解决的热门课题。
[0005] 从所处理的信息源图像上来看，视觉注意模型可以分为空域视觉注意模型和空时 视觉注意模型两大类。空域视觉注意模型是指输入图像数据是单幅图像的视觉注意模型， 空时视觉注意模型是指输入图像数据是一组相同场景连续图像的视觉注意模型。
[0006] 现有最著名的空域视觉注意计算模型就是视觉显著性计算模型，视觉注意是与 周围环境完全与众不同的目标物会自动的从视野环境中"跳出"并且吸引注意力的关注。 选择性注意力机制可以将人们的视觉关注引导到在场景中称之为"显著性区域"的那一 部分。视觉的显著性计算模型提供了关于这些可能吸引观测者注意力的预测区域。这 些模型在图像本身能够提供少许语义信息以及人们不需要执行特定观测任务时，能够达 到良好的检测效果。Fisher 在文章中"A Object-based visual attention for computer vision，Artificial Intelligence，2003，vl46(l) :77-123.，'利用 "groupings"来针对基于 目标和基于位置视觉注意的通用模型。对于这种手工的预处理的图像上，他们的模型可以 整个复制出人类对于人工以及自然场景的注视行为。Koch和Ullman在其文章中"Shifts in selective visual attention:Towards the underlying neural circuitry,Hum. Neurobiol. 1985, 4:219 - 297. "根据已有的视觉生理和心理物理实验结果基础上提出了 一个计算模型，用于模拟生物体"自底向上"选择性注意机制。随后Itti和Koch在文章 uk model of saliency-based visual attention for rapid scene analysis, IEEE Trans. Pattern Anal. Mach. Intell. 1998, 20:1254 - 1259."中进一步完善了这个模型，并将它用于 包含自然物、交通及军事目标的检测。Koch和Itti的模型将多尺度拓扑"特征图"在亮度、 色度以及方向空间上检测到的图像局部空间的不连续性来作为早期基本的视觉注意特征， 最后对带有不同动态范围且来自不同视觉形态的特征进行整合，得到最后的"显著性图"。 该模型不需要任何先验知识，处理结果完全由输入图像的初级视觉特征决定。现在很多的 基于视觉注意力模型的目标检测中，其中视觉注意力模型都是在Itti这个模型的基础之 上改进的。这些模型在对目标检测的过程中，它将所有的特征等同对待，而很多时候，图像 某些区域，如边界处的物体并不能引起人脑真正的视觉关注，但是由于其具有非常显著的 颜色等单一特征值，因此，在最终得到的显著性图中其显著性区域是最为明显的。这和人 脑真正的视觉关注是不相吻合的，且对目标的检测造成很大的误差。进一步地，有证据显 示特征越多并不一定会增强显著性区域的显著性，有时候反而会导致更多的误检。因此， 有必要去确定哪些特征对最后的显著图的生成起主要作用。文献"Feature combination strategies for saliency-based visual attention systems. Journal of Electronic Imaging, 2001，10⑴：161 - 169, "中，Itti等已比较了四种不同的特征整合策略。在这四 种策略中，简单线性加和的方法给所有特征都赋予了正权值，这种线性加和的方法并不适 合人眼的视觉习惯；学习权值的线性合成方法是无监督的学习方法，它需要关于训练图像 的显著区域的先验知识；而另一个迭代的非线性局部竞争策略可以用来克服全局非线性标 准化方法的缺陷。
[0007] 空时视觉注意模型是对空域视觉注意模型在空间上的扩展，并且相较于空域视 觉注意模型，空时视觉注意模型在视频监控、物体识别、物体追踪等领域中有着更加广泛 的应用。其主要思想就是将视频或者序列图像中相邻两帧的连续性信息整合到空域视 觉注意模型中，实现视觉注意机制。Y.Liu等人在文章中"ASpatiotemporal Saliency Framework. Image Processing, IEEE International Conference, 2006.，' 提出了 一 种基 于特征探测和特征追踪的视觉注意模型。该模型首先对各幅静止图像计算出显著度图， 再对视频中相邻两帧进行特征探测和特征追踪，最后生成运动特征的特征图，将其整合 进显著度图中。文献"A Spatiotemporal Saliency Model for Video Surveillance. Cogn Comput，2011，3:241-263. "中，T.Yubing等人同样先对各幅静止图像计算出显著度图，将图 像中的前景与背景相减，得到图像中的前景，再对前景中的运动物体建立运动向量，将运动 向量的特征图整合进显著度图中。但是，这些方法都是对静态图像先做处理得到特征图，再 将特征图整合到显著图中，效率不高，并未实现对序列图像的直接处理。
【发明内容】
[0008] 本发明的目的在于克服上述方法的不足，提出一种基于改进视觉注意模型的序列 图像显著区域检测方法，以实现对序列图像直接进行实时处理，提高检测效率。
[0009] 实现本发明目的技术思路是：将整个技术方案分为学习和显著区域预测两部分； 将序列图像按时序分为学习图像和测试图像，在学习过程对学习图像进行处理得到特征显 著度图权值和显著点的坐标；在显著区域预测过程中，利用学习过程所求得的显著点递推 预测出测试图像显著点的坐标，并建立抑制核心函数使显著点所在区域在测试图像显著度 图中得到进一步凸显，从而得到测试图像的最终显著度图，即实现了序列图像显著区域的 检测。其具体步骤如下：
[0010] A.将序列图像按时间的先后顺序分为学习图像α和测试图像β两部分，然后按 照先验知识，生成学习图像显著区域的注视图Μ ;
[0011] Β.利用改进的Itti视觉注意模型，生成每一帧学习图像α的特征显著度图Υ和 特征显著度图权值向量wl，并将注视图Μ与特征显著度图γ进行点对点相乘，得到排除非 显著物体运动干扰的特征显著度图X1，同时记录该特征显著度图X1中对应注视区域的显 著点坐标；去掉显著度图权值向量中方差大于0. 005的权值向量，对剩余的多组权值向量 取平均，作为最终的特征显著度图的权值向量W ;
[0012] C.读入一帧测试图像β，令其特征显著度图权值向量等于学习图像α的特征显 著度图权值向量w，并利用改进的Itti视觉注意模型生成该帧测试图像的显著度图X 2 ;读 入记录的学习图像α的显著点坐标，递推预测出显著度图X2的显著点坐标；根据预测出 的显著点坐标建立抑制核心函数，并将该函数与显著度图X 2进行点对点相乘以凸显显著 点周围的区域，并抑制其余区域，得到测试图像β最终的显著度图X ;
[0013] D.将该帧测试图像显著点的实际坐标反馈到显著点坐标读入处，更新显著点坐标 值，利用已建立的显著点坐标递推关系和抑制核心函数，实现对下一帧测试图像显著区域 的预测；
[0014] Ε.重复上述步骤C-D，得到每一帧测试图像的最终显著度图，实现序列图像显著 区域的检测。
[0015] 本发明与现有技术相比具有如下优点：
[0016] 本发明在显著点预测过程中利用相邻帧图像间显著点坐标的递推关系，并将用以 预测图像显著点位置的坐标实时更新，实现对序列图像的实时处理，模型结构简单，能够达 到实时检测的要求，提高了检测效率。
【专利附图】
【附图说明】
[0017] 图1是本发明的实现流程图；
[0018] 图2是本发明仿真实验采用的测试图像；
[0019] 图3是本发明序列图像中一个视觉注意点显著区域检测的实验结果图；
[0020] 图4是本发明序列图像中另一视觉注意点显著区域的实验结果图。
【具体实施方式】
[0021] 参照图1，本发明基于改进视觉注意模型的序列图像显著区域检测方法，包括如下 步骤：
[0022] 步骤一，将序列图像按时间的先后顺序分为学习图像α和测试图像β两部分，按 照先验知识，生成学习图像显著区域的注视图Μ。
[0023] 1. 1)用人眼确定注视点在图像中的区域，将注视点集中的区域用白色标记，背景 部分用黑色标记；
[0024] 1. 2)将标记后的图像与二维高斯核函数进行卷积运算，得到注视图Μ。
[0025] 步骤二，生成学习图像的特征显著度图X1和特征显著度图权值向量w，得到注视 区域的显著点坐标。
[0026] 2. 1)利用Itti的视觉注意模型对学习图像提取初始的颜色、亮度和方向的特征 图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色7,亮度乙和方向孑三 个通道特征的显著度图I、C、0和I、C、0融合后的特征显著度图γ ;
[0027] 2. 2)将Itti模型中各个特征通道生成的特征显著度图I、C、0以及注视图Μ分别 进行向量化操作，得到对应的向量Iv，C v，0V，Μν ;
[0028] 2. 3)根据线性方差最小准则求出特征显著度图权值向量wl :
[0029]
【权利要求】
1. 一种基于改进视觉注意模型的序列图像显著区域检测方法，包括如下过程： A.将序列图像按时间的先后顺序分为学习图像α和测试图像β两部分，然后按照先 验知识，生成学习图像显著区域的注视图Μ ; Β.利用改进的Itti视觉注意模型，生成每一帧学习图像α的特征显著度图γ和特征 显著度图权值向量wl，并将注视图Μ与特征显著度图γ进行点对点相乘，得到排除非显著 物体运动干扰的特征显著度图X1，同时记录该特征显著度图X 1中对应注视区域的显著点 坐标；去掉显著度图权值向量wl中方差大于0. 005的权值向量，对剩余的多组权值向量取 平均，作为最终的特征显著度图的权值向量w ; C. 读入一帧测试图像β，令其特征显著度图权值向量等于学习图像α的特征显著度 图权值向量w，并利用改进的Itti视觉注意模型生成该帧测试图像的显著度图X2 ;读入记 录的学习图像α的显著点坐标，递推预测出显著度图X2的显著点坐标；根据预测出的显 著点坐标建立抑制核心函数，并将该函数与显著度图X 2进行点对点相乘以凸显显著点周 围的区域，并抑制其余区域，得到测试图像β最终的显著度图X ; D. 将该帧测试图像显著点的实际坐标反馈到显著点坐标读入处，更新显著点坐标值， 利用已建立的显著点坐标递推关系和抑制核心函数，实现对下一帧测试图像显著区域的预 测； Ε.重复上述步骤C-D，得到每一帧测试图像的最终显著度图，实现序列图像显著区域 的检测。
2. 根据权利要求1所述的序列图像显著区域检测方法，其中步骤Α所述的按照先验知 识生成学习图像显著区域的注视图M，按如下步骤进行： A1.用人眼确定注视点在图像中的区域，将注视点集中的区域用白色标记，背景部分用 黑色标记； A2.将标记后的图像与二维高斯核函数进行卷积运算，得到注视图M。
3. 根据权利要求1所述的序列图像显著区域检测方法，其中步骤B所述的利用改进的 Itti视觉注意模型生成特征显著度图γ和特征显著度图权值向量w，按如下步骤进行： B1.利用Itti的视觉注意模型对学习图像α提取初始的颜色、亮度和方向的特征图， 并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色了、亮度Ρ和方向&三个通 道的特征显著度图I、C、0和I、C、0融合后的特征显著度图γ ; B2.将所述三个通道生成的特征显著度图I、C、0以及注视图Μ分别进行向量化操作， 得到对应的向量Iv，Cv，Ov，Mv; B3.根据线性方差最小准则求出特征显著度图权值向量wl :
其中，V = [Iv，Cv，Ov]，wl = [11，^，1(/且胃1彡0, Wp Wc，WQ分别是颜色7、亮度E和 方向3三个通道的特征显著度权值。
4. 根据权利要求1所述的序列图像显著区域检测方法，其中步骤C所述的递推预测出 显著度图X 2的显著点坐标，按如下步骤进行： C1.假设在第n-1帧测试图像的显著度图中，显著点的坐标为Ln_1= (x^yj，在第η 帧测试图像的显著度图中，对应的显著点坐标为Ln = (xn，yn)，按如下公式预测第n+1帧测 试图像的显著度图中对应显著点的坐标： 对于运动轨迹单一场景中的运动物体，其显著点的坐标为： Ln+1 = 21^-1^， 对于运动轨迹复杂场景中的运动物体，其显著点的坐标为： Ln+1 - 式中Ln_2 = (xn_2, yn_2)，是第n-2帧测试图像的显著度图对应的显著点坐标。
5.根据权利要求1所述的序列图像显著区域检测方法，其中步骤C所述的根据预测出 的显著点坐标建立抑制核心函数，按如下步骤进行： C2.定义第n+1帧测试图像所对应的抑制核心函数为：
其中，（xn+1，yn+1)是显著点坐标转移方程预测出的第n+1帧测试图像的显著度图中显著 点出现的位置，且〇 >〇。
【文档编号】G06T7/00GK104063872SQ201410317739
【公开日】2014年9月24日 申请日期:2014年7月4日 优先权日:2014年7月4日
【发明者】胡艳艳, 韩冰, 黄帅, 李 瑞, 沙露露, 仇文亮, 王韵彤, 柳畅 申请人:西安电子科技大学