一种基于注意力td-bu机制的图像分割方法
【专利摘要】本发明公开了一种基于注意力TD-BU机制的图像分割方法，包括：S1采集目标图像；S2将输入的场景图像和目标图像使用二进高斯金字塔产生9尺度图；S3根据场景图像和目标图像生成场景特征图；S4根据场景特征生成场景显著图，将场景显著图跨尺度融合生成最终注意力显著图S；S5对最终注意力显著图S双线性插值到0尺度，然后二值化；S6将二值化的最终注意力显著图S与原输入场景图按位相与，分割出目标物体。本文提出的方法是一种多尺度多特征分析方法，即由数据驱动的物体空间关联关系显著特征确定的自下而上注意力机制，由任务驱动的目标特征确定的自上而下注意力机制,在多尺度空间内，共同提取视觉场景的亮度-颜色-方向图像特征和目标色彩特征，进而生成场景显著特征图。
【专利说明】—种基于注意力TD-BU机制的图像分割方法
【技术领域】
[0001]本发明属于图像处理领域，具体涉及一种结合目标色彩特征的基于注意力的图像分割方法。
【背景技术】
[0002]视觉注意力机制主要包括两个类型:自下而上注意力(bottom-up attention,简写为“BU注意力”)机制和自上而下注意力(top-down attention，简写为“TD注意力”)机制。BU注意力机制即由底层数据到上层注意力的过程，注意目标的取得完全来源于场景图像。TD注意力机制遵循自上而下的过程，即依据任务目标来决定下层场景图像中吸引注意力的区域。
[0003]单纯的TD注意力机制有高度的自主性和复杂性，主要体现在任务目标的不确定性和随意性，故很难较精确的建立其模型机制，导致运用上的局限性。另一方面，BU注意力过程依据输入场景图像的诸如亮度、颜色和方向等特征来选择注意力显著区域，该过程可以看作是人类早期视觉系统的注意力选择机制，因此其建模相对容易，受到很多研究者的关注，其中的代表是Itti模型。它利用从图像中提取亮度、颜色和方向等低级特征构造视觉注意力显著图，由视觉显著图吸引注意力，分割目标物体。该方法模型简单，对噪声的鲁棒性好，特别是当噪声的特性不直接破坏目标的主要特征的时候。缺点是当干扰物与目标有部分特征类似时，干扰物也会有不同程度的显著度，从而对目标的注意产生一定影响。Amudha.J.与Soman.K.P.提出了 一种新的基于注意力的感知方法，该方法使用任务并行和合并的选择调谐模型来进行注意区域检测。该模型作为目标识别方法包含预处理过程时，有效减少搜索的计算复杂度，在视频序列上进行标记运用的测试也取得较理想的结果。L.1tti与P.Baldi提出一种新的贝叶斯惊奇模型，模型把贝叶斯理论运用到人类视觉注意力惊奇模型，以此衡量数据对观测者的吸引程度。尽管这个惊奇模型只是在场景时间和空间上的低水平量化，没有丰富的语义规则，但也较准确的检测到人类感兴趣区域，只是与其他方法相比，检测到的感兴趣目标相对比较多。Wen.G等人提出了一种基于小物体的视觉注意力感知模型，该模型以Itti注意力模型为基础，在生成显著图之后运用高斯混合模型(GMM)对显著图进行进一步精确化得到感兴趣区域。该方法能更精确的检测到目标，尤其对小目标的感知有较好的效果。
[0004]以上几种基于注意力的感知模型在特定运用场景中都能较好的取得预期的感知结果，但是经过仔细研究发现，当场景中目标的显著程度低于背景或其他物体时，注意力往往不被目标吸引，从而不能得到满意的结果。
【发明内容】
[0005]鉴于此，本发明提出一种改进的基于注意力的图像分割方法，使得当目标显著度低于背景或其他物体时也能被较准确的分割。
[0006]本发明的目的是通过这样的技术方案实现的，基于注意力的图像分割方法，其特征在于:包括以下步骤:S1采集目标图像；S2将输入的场景图像和目标图像使用二进高斯金字塔产生9尺度图；S3根据场景图像和目标图像生成场景特征图；S4根据场景特征生成场景显著图，将场景显著图跨尺度融合生成最终注意力显著图S ;S5对最终注意力显著图S双线性插值到O尺度，然后二值化；S6将二值化的最终注意力显著图S与原输入场景图按位相与，分割出目标物体。
[0007]进一步，所述场景特征图包括由数据驱动提取到的颜色特征图、亮度特征图、方向特征图和根据目标任务提取到的目标色彩特征图。
[0008]进一步，通过式(2)计算亮度特征图1 (c，s)，
[0009]I (c, s) = 11 (C) Θ I (s) | (2)
[0010]其中，C为中心尺度，s为周围尺度；
[0011]将r，g，b三通道扩展为R，G，B，Y四个通道，定义如下，
【权利要求】
1.一种基于注意力TD-BU机制的图像分割方法，其特征在于:包括以下步骤: SI米集目标图像； S2将输入的场景图像和目标图像使用二进高斯金字塔产生9尺度图； S3根据场景图像和目标图像生成场景特征图； S4根据场景特征生成场景显著图，将场景显著图跨尺度融合生成最终注意力显著图S ； S5对最终注意力显著图S双线性插值到O尺度，然后二值化； S6将二值化的最终注意力显著图S与原输入场景图按位相与，分割出目标物体。
2.根据权利要求1所述的图像分割方法，其特征在于:所述场景特征图包括由数据驱动提取到的颜色特征图、亮度特征图、方向特征图和根据目标任务提取到的目标色彩特征图。
3.根据权利要求2所述的图像分割方法，其特征在于: 通过式(2)计算亮度特征图1 (c，s)，
I(c, s) = 11 (c) Θ I (s) I (2) 其中，c为中心尺度，c e {2, 3,4}中的像素，s为周围尺度，s = c+d，其中d e {3,4}； 将r，g, b三通道扩展为R，G, B, Y四个通道，定义如下，
4.根据权利要求3所述的图像分割方法，其特征在于:生成场景显著图S的方法为， 首先将S3中生成的场景特征图用归一化和跨尺度融合为四张显著图；再将这四幅显著图集成为最终显著图S，所述的四幅显著图分别为亮度显著图/、颜色显著图G方向显著图O和目标色彩显著图P; 归一化的计算方法:首先将图像取值规范化为[0，M];其次计算图像中最大值M和其他所有局部极大值的平均值G，然后再整幅图像乘以(M -m)2; 跨尺度融合是将每一个归一化的特征图压缩到尺度4再对应点相加； 最终注意力显著图S的计算公式如下:
【文档编号】G06K9/46GK103996185SQ201410177377
【公开日】2014年8月20日 申请日期:2014年4月29日 优先权日:2014年4月29日
【发明者】李军, 张建兴, 石庆龙, 王斌 申请人:重庆大学