专利名称：一种基于背侧通路引导的视觉注意计算模型及其处理方法
技术领域：
本发明属于视觉信息处理领域，涉及一种基于背侧通路引导的视觉注意计算模型及其处理方法。
背景技术：
视觉选择性注意机制是大脑有意识地选择某种感兴趣的视觉信息进行加工并阻止其他无用信息进入意识加工的一种机制。这种机制是人类信息处理过程中的一种重要的心理调节机制，它能使人们将有限的视觉处理资源集中于自身感兴趣的场景信息处理。由于选择性注意的重要作用，使其不仅在认知科学研究中获得了较多关注，而且在计算机视觉领域的应用也日益受到人们的重视。视觉选择性注意的计算模型是对人类视觉注意机制的借用而提出的并发展起来的一种计算模型。由于注意机制的引入，一定程度上使得在图像中检测选择感兴趣区域，对最有可能受到关注的目标进行加工处理成为可能。这不仅可以大大降低视觉计算处理的信息量，而且可以提高检测目标的效果，具有很高的应用价值。现有的视觉选择性注意的计算模型可以分为自底向上(bottom-up)和自顶向下 (top-down)两类。自底向上的注意计算模型是基于图像的初级视觉特征分析形成的，由数据驱动的计算模型；自顶向下的注意计算模型是基于高层知识与视觉任务指引的计算模型。目前自底向上的注意计算研究取得的成果较多，也较成熟；而自顶向下的注意计算研究较为困难，其主要方法还是使用一些简化的高层信息或某些线索进行注意的引导计算。自底向上的视觉选择性注意计算模型的心理学理论基础是Treisman关于注意的特征整合理论。它的策略主要是模拟人类视觉系统在前注意阶段对视觉特征的并行处理， 采用刺激驱动的方式，获得突显目标。它可以通过大规模并行处理来选择突现的刺激，因此速度较快。大多数自底向上的视觉选择性注意计算模型都有类似于
图1所示的架构，这类模型首先对输入图像在多个尺度上提取各种视觉特征，并将提取到的视觉特征以一定的权重合并生成一张显著图，最后采用某种机制从显著图中选择出注意焦点。最早的视觉选择性注意模型是Koch等人在1985年提出的，但是这个模型只提出了一个视觉选择性注意模型的计算框架，它并未真正实现。尽管如此，Koch的模型对其后各种模型的影响很大，该模型中的许多计算方法，特别是采用WTA(Winner Take All)神经网络产生注意焦点的机制被其后的许多模型所借鉴。Clark等人在1988第一次真正实现了一个视觉选择性注意计算模型，并将其用于一个双目机器人系统。Milanese在1993提出的自底向上选择性注意模型中首次提出了特征显著图(conspicuity maps)的概念并利用中央-周边差分算子实现特征的提取。Itti在1998年提出了一个视觉选择性注意计算模型， 该模型基于Treisman的特征整合理论和Koch视觉选择性注意计算框架实现了一个视觉选择性注意计算工具包iNVT(iLab Neuromorphic Vision C++Toolkit)，它采用高斯金字塔结构，在非均勻采样的基础上通过中央-周边差分算子得到特征的显著度，其架构如图2所示。Itti的模型是目前为止最出名，影响最大的一个视觉选择性注意模型，许多学者的相关研究均是在这个模型基础上进行的。Itti模型模拟了生物视觉系统对观察到的各个物体的颜色、亮度和方向等初级视觉特征进行并行加工，及对各个视觉目标相互竞争获得注意的选择性过程。它根据Treisman特征整合理论将视觉注意分为特征登记和特征整合两个阶段的假设，首先模拟特征登记阶段快速并行地从图像数据中抽取视觉场景中各物体的物理特征，形成各个视觉特征独立编码的心理表征过程，采用线性滤波器和中心-周边差分算子从输入图像提取多个空间尺度的各种视觉特征数据，并采用侧抑制机制实现每个同类特征在各空间位置的竞争，形成表征各个视觉特征独立编码的特征图(Feature Map)；接着该模型模拟特征整合阶段通过竞争选择，将注意窗口仅集中在一个物体的位置上，同时将所有其他物体的特征抑制排除在知觉水平之外的过程，将所有的特征图融合形成一张显著图 (Saliency Map)，并通过WTA(Winner Take All)神经网络互相竞争，选出显著度最高的物体位置，作为注意选择的目标，同时它利用返回抑制机制实现注意目标的选择和切换。Draper等人2005年在Itti模型的基础上提出了一种视觉选择性注意计算模型， 该模型不合并多个尺度的特征，而是将它们保留，形成多个尺度的显著图金字塔，从而使模型对二维的变换有更好的适应能力。Frintrop在2005年提出了另一种视觉选择性注意模型，它将亮度分为on-off和off-on两个通道，使得模型对某些情况下的注意选择更为合理。Walther等人则在模型中引入图像分割的方法，当WTA神经网络从显著图中选出获胜区域时，采用图像分割方法得到注意选择的目标，使得注意计算选择的区域与实际目标区域更为一致。Tsotsos等人提出的选择性调制(STjelective Tuning)视觉注意模型基于神经网络实现，它采用了金字塔结构，实现了基于运动和深度视觉的注意选择。尽管自底向上的视觉选择性注意计算方法取得了一定的效果，但是由于该方法仅分析图像底层信息，对于复杂场景难以达到令人满意的效果，而且这种计算方法也与人类主动性的、有目的选择性注意不一致，无法完成指定任务情况下的注意搜索。此外，目前的模型大多只考虑了视觉信息中的亮度、颜色和局部方向信息，但是在实际的视觉场景中包含的信息要丰富得多，仅使用亮度、颜色和方向信息不能完全表达生物视觉系统对实际场景的注意处理机制。正如Wolfe指出的那样，影响注意的视觉特征包括颜色、方向、曲率、尺寸、运动、微小间距、深度线索、光泽和形状外观等，这其中运动特征尤为敏感。近年来，有许多研究人员注意到了运动信息在视觉注意中的作用，提出了一些包含运动特征的视觉注意模型，例如Ma等人利用运动信息实现了动态场景的注意计算； Lopez等人结合亮度、运动和形状特征实现了运动场景的注意计算；Hang等人将运动与颜色、亮度和方向等特征结合提出的动态场景注意计算模型；Jeong等人则通过计算前后两帧图像显著信息的差别，将运动信息加入现有的注意计算模型。尽管这些模型都利用运动信息改善了 Itti模型在某些运动场景对注意焦点分析的缺陷，但它们并不完善，对一些复杂的运动情况无法取得较好的效果，而且这些模型也未充分考虑生物视觉系统在形成注意过程中对运动特征的处理方式。从神经生物学的研究可以发现，视觉感知的背侧通路(Where通路)负责运动特征等空间信息的处理。它的处理速度较快，视觉场景的空间信息可能在前额叶被处理后形成初始的反馈信号，并将此信号传给腹侧通路。这就意味着视觉感知的背侧通路能利用运动等空间信息进行前注意性质的初步目标定位，从而使背侧通路对腹侧通路形成导向作用。 此外，研究人员也发现视觉信息从视网膜向视皮层的传输过程中有部分神经纤维离开视束
6直接通往上丘(视顶盖)形成视网膜-顶盖投射。视网膜-顶盖投射形成视拓朴图，它直接参与视觉的前注意调制。由此可见，在人类的视觉系统中，空间信息不仅同颜色、亮度等非空间特征一样参与注意的特征整合，同时空间特征也参于前注意的调制。从上述的分析可以看出各种自底向上计算策略的主要差别在于模型所提取特征不同，以及对特征的处理方式的不同。从提取的特征上看，较常用的特征主要有亮度、颜色和方向纹理等。但这些模型对自底向上注意的计算大多都是将不同特征简单叠加，这种方式与视觉系统的神经机制不完全一致，在生物视觉系统中各种特征之间的关系更为复杂，例如现有的简单策略均未考虑到视觉中枢背腹侧通路之间的交互关系。上述现有的视觉注意计算模型与人类的视觉注意机制偏差较大。
发明内容
本发明的目的在于提供一种能模拟生物视觉系统背腹侧通路之间的交互关系，与人类的视觉注意机制较为一致，且其计算结果和处理图像的效果与人的主观视觉感受更为接近的基于背侧通路引导的视觉注意计算模型及其处理方法。为达到上述目的，本发明一种基于背侧通路引导的视觉注意计算模型，主要包括图像输入单元、背侧通路空间特征分量显著图生成单元、腹侧通路非空间特征分量显著图生成单元和注意信息提取单元；所述的图像输入单元用于输出视频图像至背侧通路空间特征分量显著图生成单元和腹侧通路非空间特征分量显著图生成单元；所述的背侧通路空间特征分量显著图生成单元用于提取视频图像中的空间特征并生成空间特征分量显著图输出到注意信息提取单元；同时该背侧通路空间特征分量显著图生成单元还根据其生成的空间特征分量显著图计算生成调制信号，作用于腹侧通路非空间特征分量显著图生成单元提取非空间特征并生成非空间特征分量显著图的过程；所述的腹侧通路非空间特征分量显著图生成单元提取视频图像中包括颜色、亮度或方向的非空间特征，然后利用这些特征，在背侧通路空间特征分量显著图生成单元生成的调制信号的作用下，生成非空间特征分量显著图输出到注意信息提取单元；所述的注意信息提取单元用于将非空间特征分量显著图和空间特征分量显著图合并生成注意显著图，并生成注意信息。本发明一种基于背侧通路引导的视觉注意计算模型的处理方法，具体包括如下步骤步骤1、图像输入单元输出视频图像至背侧通路空间特征分量显著图生成单元和腹侧通路非空间特征分量显著图生成单元；步骤2、所述的背侧通路空间特征分量显著图生成单元提取视频图像中的空间特征并生成空间特征分量显著图输出到注意信息提取单元；同时该背侧通路空间特征分量显著图生成单元还根据其生成的空间特征分量显著图计算生成调制信号，作用于腹侧通路非空间特征分量显著图生成单元提取非空间特征并生成非空间特征分量显著图的过程；步骤3、所述的腹侧通路非空间特征分量显著图生成单元提取视频图像中包括颜色、亮度或方向的非空间特征，然后利用这些特征，在背侧通路空间特征分量显著图生成单元生成的调制信号的作用下，生成非空间特征分量显著图输出到注意信息提取单元；
7
步骤4、所述的注意信息提取单元将非空间特征分量显著图和空间特征分量显著图合并生成注意显著图，并生成注意信息。所述的生成空间特征分量显著图包括如下步骤(1)、若某一空间特征由一组子特征构成，则对该组各子特征的灰度图像分别采用高斯金字塔进行多尺度图像分解，得到一个包括0-8层总共9个尺度的多层图像，其中第0 层为原始图像，数字越大的层，其图像尺度越小，所述的高斯金字塔的图像分解包括平滑和降采样两个运算，对于一幅描述特征的灰度图像I (x，y) = 1(1&，7)，其第1层图像11&，7) 与第i-Ι层图像Ih (X，y)之间的关系为
权利要求
1.一种基于背侧通路引导的视觉注意计算模型，其特征在于主要包括图像输入单元、背侧通路空间特征分量显著图生成单元、腹侧通路非空间特征分量显著图生成单元和注意信息提取单元；所述的图像输入单元用于输出视频图像至背侧通路空间特征分量显著图生成单元和腹侧通路非空间特征分量显著图生成单元；所述的背侧通路空间特征分量显著图生成单元用于提取视频图像中的空间特征并生成空间特征分量显著图输出到注意信息提取单元；同时该背侧通路空间特征分量显著图生成单元还根据其生成的空间特征分量显著图计算生成调制信号，作用于腹侧通路非空间特征分量显著图生成单元提取非空间特征并生成非空间特征分量显著图的过程；所述的腹侧通路非空间特征分量显著图生成单元提取视频图像中包括颜色、亮度或方向的非空间特征，然后利用这些特征，在背侧通路空间特征分量显著图生成单元生成的调制信号的作用下，生成非空间特征分量显著图输出到注意信息提取单元；所述的注意信息提取单元用于将非空间特征分量显著图和空间特征分量显著图合并生成注意显著图，并生成注意信息。
2.一种基于背侧通路引导的视觉注意计算模型的处理方法，其特征在于具体包括如下步骤步骤1、图像输入单元输出视频图像至背侧通路空间特征分量显著图生成单元和腹侧通路非空间特征分量显著图生成单元；步骤2、所述的背侧通路空间特征分量显著图生成单元提取视频图像中的空间特征并生成空间特征分量显著图输出到注意信息提取单元；同时该背侧通路空间特征分量显著图生成单元还根据其生成的空间特征分量显著图计算生成调制信号，作用于腹侧通路非空间特征分量显著图生成单元提取非空间特征并生成非空间特征分量显著图的过程；步骤3、所述的腹侧通路非空间特征分量显著图生成单元提取视频图像中包括颜色、亮度或方向的非空间特征，然后利用这些特征，在背侧通路空间特征分量显著图生成单元生成的调制信号的作用下，生成非空间特征分量显著图输出到注意信息提取单元；步骤4、所述的注意信息提取单元将非空间特征分量显著图和空间特征分量显著图合并生成注意显著图，并生成注意信息。
3.根据权利要求2所述的一种基于背侧通路引导的视觉注意计算模型的处理方法，其特征在于所述生成空间特征分量显著图包括如下步骤(1)、若某一空间特征由一组子特征构成，则对该组各子特征的灰度图像分别采用高斯金字塔进行多尺度图像分解，得到一个包括0-8层总共9个尺度的多层图像，其中第0层为原始图像，数字越大的层，其图像尺度越小，所述的高斯金字塔的图像分解包括平滑和降采样两个运算，对于一幅描述特征的灰度图像I (x，y) =ItlO^y),其第i层图像Ii(x，y)与第 i-1层图像Ih (χ，y)之间的关系为
4.根据权利要求2所述的一种基于背侧通路引导的视觉注意计算模型的处理方法，其特征在于所述的步骤2中根据空间特征在空间特征分量显著图中的强度大小生成背侧通路对腹侧通路的调制信号G (x，y)的公式为G(x，y) = 1+ff ( Γ Ν (χ, y)),其中，rN(x，y)为空间特征分量显著图，函数W(_)为权重函数，它是一种值域为
区间的单调函数，该函数用于调节调制信号的强度。
5.根据权利要求2所述的一种基于背侧通路引导的视觉注意计算模型的处理方法，其特征在于步骤3中在背侧通路空间特征分量显著图生成单元生成的调制信号G(x，y)的作用下，生成非空间特征分量显著图F(x，y)的公式为F(x，y) =H(G(x,y),F' (x，y))其中，H( ■)为神经细胞受到调制信号影响后的响应函数，F’ (x, y)为未受调制信号作用下提取的原始特征图，在处理过程中，若调制信号G(x，y)所对应的图像尺寸与原始特征图F’ (x,y)不一致则需先将其调整为原始特征图F’(x，y)的尺寸。
全文摘要
本发明一种基于背侧通路引导的视觉注意计算模型及其处理方法，背侧通路空间特征分量显著图生成单元根据空间特征分量显著图计算生成调制信号，作用于腹侧通路非空间特征分量显著图生成单元提取非空间特征并生成非空间特征分量显著图的过程；并将非空间特征分量显著图和空间特征分量显著图合并生成注意显著图，生成注意信息，由于本发明先对生物视觉背侧通路的视觉信号处理进行建模，该模型的计算结果用于引导整个视觉注意的计算过程，其计算结果和处理图像的效果与人的主观视觉感受更为接近。
文档编号G06K9/62GK102222231SQ20111013946
公开日2011年10月19日 申请日期2011年5月26日 优先权日2011年5月26日
发明者周昌乐, 郑灵翔 申请人:厦门大学