专利名称：一种检测彩色图像的感兴趣区域的方法
技术领域：
本发明涉及一种彩色图像中感兴趣区域的自动检测方法，该方法针对彩色的图像 自动检测出人们在第一眼看到图像所注意的那部分区域，具体涉及一种检测彩色图像的感 兴趣区域的方法。
背景技术：
近年来，随着第三代移动通信技术和多媒体处理技术的迅速发展，便携式移动多 媒体终端也越来越流行。但由于携带的便利性、费用原因，便携式多媒体终端的屏幕一般都 不大。这样，便需要对所要显示的图像、视频等内容进行自适应的处理，以适应尺寸不大的 各种显示屏幕的要求。其中一个重要的课题便是找到所要显示内容的最关键区域，这个最 关键的区域便要求是图像或视频最具有代表性的部分，同时也应该是用户最关注最感兴趣 的区域。视频也可以看成是一帧帧图像的组合，所以我们把自动检测图像的感兴趣区域作 为本发明所针对的课题。图像的感兴趣区域的检测从理论上讲便是找到图像所突出的部分，从实际操作上 来说也便是找到图像的前景部分。理论研究中，把吸引用户注意的图像区域称为视觉注意 力部分VA(Visual Attention)，一般通过对仿生学生物神经系统、计算机视觉和模式识别 等方面的研究来确定VA。如上所述，VA是一幅图像上人在第一眼会自动注意到的部分，这一部分的图像 在某些特性上(颜色，形状，纹理或者其他)与周围不同而显得突出，是图像的前景部 分。传统的检测VA的方法是自底向上的，在“Itti，L.，C.Koch，in IEEE Tran. Pattern Analysis and Machine Intelligence, vol. 20, no. 11,pp.1254-1259, Aug. 1998, A model of saliency-based visual attention for rapid scene analysis. ” 中 Itti Treisman的特征整合理论FIT (Feature Integration Theory)提出了一种详尽的基于显著 图SM(SalienCy Map)的检测VA的理论。在文中，Itti利用高斯金字塔和Gabor滤波来获 得图像上每个位置的某种特征与周围区域的差异，把图像所有像素点上的差异进行归一化 便可以得到这个图像在此特征下的特征图FM(Feature Map)。Itti选取了 2个颜色特征，1 个亮度特征和4个方向特征，再把这些特征图进行有侧重的加权相加，最后得到显著图，在 此显著图上检测VA。在这个检测VA的经典理论的基础上，专家们又提出了各种具体实现的 方法，但基本都是自底向上的、基于中心环境差异的。这类经典方法的运算量很大，还有一 个不足之处在于这个检测的结果对各种参数的设定很敏感。近来，Hou在“X· Hou，L. Zhang，Proc. of CVPR,vol. 1—8，pp. 2280—2287. June，2007， Saliency detection :A spectral residual approach，，中提出了一禾中新的检IlJ VA 的方 法，这种方法认为一般的图像都会有某种共性，每幅图像都是在这个共性上加入一定的特 性，而这个特性便是人视觉所特别关注的部分。在实现上，这个SR(SpeCtral Residual)方 法用目标图像的幅度谱的对数减去自然图像共有属性的幅度谱的对数，得到的残余幅度谱 结合目标图像的相位谱，从而得到图像时域的特征图，这个特征图能突出图像的VA部分。而这个方法认为，自然图像共有属性的幅度谱能用对目标图像幅度谱平滑滤波的方法近似 得至丨J。之后，Guo 在“C. Guo, Q. Ma and L. Zhang, Proc. CVPR2008, vol. pp. 1-8, June 2008， Spatio-temporal Saliency detection using phase spectrum ofquaternion Fourier transform"中认为，上述方法中VA能在特征图上显现出来的关键因素并不是残余幅度谱， 而是相位谱，只利用相位谱便能到检测到图像的I后来，又有专家指出，这种利用图像频 域信息的方法只能检测出简单图像的前景(VA)和背景部分，如图(Ι-a)所示，是适用于当 图像前景部分比较复杂而背景比较简单的情况。经过一个简单的反转也能检测出前景简单 背景复杂的情况，如图(1-b)中所示。而对于较复杂的图像，如图(1-c)和图(1-d)这种方 法的准确率就不高了。
发明内容
本发明的目的在于，为克服现有的图像频域信息的检测方法受限于彩色图像种类 的缺陷即现有的频域信息检测方法只能比较准确的检测出背景简单前景复杂或背景复杂 背景简单这两种类型的彩色图像中感兴趣的部分，从而提供一种检测彩色图像的感兴趣区 域的方法。本发明提供的一种检测彩色图像的感兴趣区域的方法，该检测方法能够很好的检 测出各种图像(图1-c和图Ι-d))的感兴趣区域，也具有很好的稳定性，从而可以应用在小 尺寸屏幕图片的自适应浏览等方面。为了实现上述目的，本检测方法首先对图像进行模糊处理来减少图像上多余的细 节部分，然后利用图像的频谱得到图像在不同的颜色通道上的特征图，之后再在各个特征 图上检测图像的候选VA区域，综合这些区域信息得到图像最终的显著图，最后在这个显著 图上确定最终的感兴趣区域。本发明的一种检测彩色图像的感兴趣区域的方法，该方法用于检测彩色图像得到 一个矩形的感兴趣区域，具体包括以下步骤1)对图像采用基于区域的模糊方法去除多余的细节部分同时保留前景和背景区 域的边界，其中模糊过程中采用HSV颜色模型；2)对模糊处理之后的图像，采用HSV颜色模型和CIELUV颜色模型选取6个不同的 颜色通道，分别根据其相位谱得到6个特征图；3)对于每个特征图分别检测对应的候选感兴趣区域，从而在6个特征图上得到6 个候选的矩形感兴趣区域；4)基于步骤3)中的6个候选矩形感兴趣区域，建立原始图像的显著图，并在显著 图上检测最终得到一个矩形感兴趣区域；其中，对于每个特征图，保留其感兴趣区域内的像素点值，将特征图上感兴趣区域
外的像素点值设定为0 ；更新每个特征图为I' i(i = 1，2... 6)，再加权相加得到最终的显
著图；具体公式如下 6SM = ∑σiωiIi i=1SM便是最终的显著图；(Oi是每个特征图对应的权值；
上述技术方案所述的检测彩色图像的感兴趣区域的方法，其特征在于，所述的参 数(Oi为对应特征图上感兴趣区域面积的倒数。所述的感兴趣区域面积过大或者过小时， 设定Si = 0，否则Si = 1。上述技术方案所述的得到矩形感兴趣区域的方法具体包含如下子步骤首先，对于特征图或显著图，进行直方图均衡；然后，计算特征图的空间累计图；最后，在每个特征图或显著图的空间累计图上，找到一个矩形区域作为此特征图 的感兴趣区域。作为本发明的一个改进，所述的空间累计图的重心为矩形感兴趣区域的中心，将 这个矩形区域不断向四周等距离扩张，每次扩张只向一个方向，且每次都等距，直到这个区 域上所有像素点值的和达到空间累计图上所有像素点和值的95%，找到最终的感兴趣区 域。本发明的自动检测彩色图像的感兴趣区域的方法先对图像进行模糊处理，去除多 余的细节部分的同时也保留了前景和背景区域的边界，然后选用HSV颜色模型和CIELUV颜 色模型共6个颜色通道，对每个通道利用其幅度谱得到其特征图，再在每个特征图上检测 对应的候选感兴趣区域，将这6个候选感兴趣区域进行加权相加得到图像的显著图，在这 个显著图上检测最终的感兴趣区域。本发明的检测方法有点在于，综合了各个颜色通道的信息从而使检测具有稳健 性；而预先进行的图像模糊处理去除了多余细节对检测的干扰，保证了检测的准确性；最 终得到的矩形感兴趣区域有利于在各种矩形的小屏幕上进行浏览，符合实用性的要求；本 发明提供的方法具有较大的应用价值。
图Ι-a是复杂前景简单背景的彩色图像的原始图像；图Ι-a'是复杂前景简单背景的彩色图像的基于传统的频谱监测方法得到的感兴 趣区域的图像；图Ι-b是复杂背景简单前景的彩色图像的原始图像；图Ι-b'是复杂背景简单前景的彩色图像的基于传统的频谱监测方法得到的感兴 趣区域的图像；图1-c是简单前景简单背景的彩色图像的原始图像；图1-c'是简单前景简单背景的彩色图像的基于传统的频谱监测方法得到的感兴 趣区域的图像；图Ι-d是复杂前景复杂背景的彩色图像的原始图像；图Ι-d'是复杂前景复杂背景的彩色图像的基于传统的频谱监测方法得到的感兴 趣区域的图像；图2是本发明中对每个颜色通道由相位谱直接得到的显著图进行直方图均衡的 示意图；图3_a是复杂前景复杂背景的原始的彩色图像；图3-b是基于HSV颜色模型的H通道的特征图得到的矩形候选感兴趣区域结果示意图；图3-c是基于HSV颜色模型的S通道的特征图得到的矩形候选感兴趣区域结果示 意图；图3-d是基于HSV颜色模型的V通道的特征图得到的矩形候选感兴趣区域结果示 意图；图3-e是基于LUV颜色模型的L通道的特征图得到的矩形候选感兴趣区域结果示 意图；图3-f是基于LUV颜色模型的U通道的特征图得到的矩形候选感兴趣区域结果示 意图；图3-g是基于LUV颜色模型的V通道的特征图得到的矩形候选感兴趣区域结果示 意图；图3_h是基于6个候选区域图得到的显著图的示意图；图3_i是从显著图检测得到的最终的矩形感兴趣区域结果示意图；图4是本发明的检测流程示意图。
具体实施例方式下面结合附图和具体的实施方式对本发明的对彩色图像上感兴趣区域的检测方 法作进一步详细描述。图Ι-a，图Ι-a'，图l_b，图l_b'，图l_c，图l_c'和图l_d，图l_d'是本发明中 所列举的四组不同的彩色图像的样式，传统的各种基于频谱的检测彩色图像感兴趣区域的 方法只能检测到比较简单的图像，如(Ι-a)和(l-a')中所示的复杂前景简单背景的情况， 或者(1-b)和(l_b')中所示的前景简单背景复杂的情况。但如果前景和背景部分都比较 简单或者都比较复杂的情况，如(1-c) (1-d)中所示，依靠其特征图是没有办法确定原图的 感兴趣区域的，即利用传统方法得到的检测结果如图(l-c' ) (l-d')，这些图并不能比较 准确反应彩色图像的感兴趣区域。图2是本发明中对每个颜色通道由相位谱直接得到的显著图进行直方图均衡的 示意图。图3-a是一幅是复杂前景复杂背景的原始的彩色图像；图3-b，图3_c，图3_d，图 3-e,图3-f和图3-g是本发明中各个颜色通道的特征图对候选感兴趣区域(ROI)检测结果 示意图；图3-h是基于6个候选区域图得到的显著图的示意图；图3-i从显著图检测得到的 最终的矩形感兴趣区域结果示意图，从显著图上我们便可以看出图上哪个部分最突出，而 最后的检测结果也说明本发明的检测方法对于复杂前景和复杂背景的彩色图像的感兴趣 区域的检测是有效的。图4是本发明整个检测过程的示意图。首先对图像进行模糊处理来减少图像上多 余的细节部分，然后利用图像的频谱得到图像在不同的颜色通道上的特征图，之后再在各 个特征图上检测图像的候选VA区域，综合这些区域信息得到图像最终的显著图，最后在这 个显著图上确定最终的感兴趣区域。具体包括如下步骤1)对图像进行模糊处理我们为了去除图像上多余的细节，从而更好的检测图像上的前景部分，我们提出
6首先对图像进行模糊处理。在这个模糊处理的过程中，多余的细节被除去，同时前景和 背景的边界部分还保留着，因此本发明采用基于区域的模糊方法Density-basedSpatial Clustering of Applications with Noise (DBSCAN)。为 了适应本方面模糊处理的要求，对 DBSCAN进行一些改进和限定。(a)相邻区域的半径应该设定为一个较小的数，本发明中将其设定为1。另外，邻域的距离用棋盘距离来计算。(b)在模糊的过程中采用Mimsell (HSV)颜色模型。(c)由于这里进行DBSCAN的目的是对图像进行模糊而不是聚类，在除去图像多余 细节的同时不能也消去了图像前景和背景的边界，因此聚合的次数需要预先加以限定。本 发明中，基于实验数据，将聚合的次数设定为使聚合之后图像区域的数量为50。这里需要指 出的是，模糊所达到的效果和对聚合次数的敏感度并不是很高，比如聚合之后区域的数量 设定为40至80，对模糊后检测的效果影响不大。2)利用图像的频谱得到其几个不同颜色通道的特征图选用HSV颜色模型和CIELUV颜色模型共六个颜色通道，对图像每个颜色通道上的 分量I (χ)，利用其相位谱P (f)，得到对应的特征图S (χ)。
权利要求
1.一种检测彩色图像的感兴趣区域的方法，该方法用于检测彩色图像得到一个矩形的 感兴趣区域，具体包括以下步骤1)对图像采用基于区域的模糊方法去除多余的细节部分同时保留前景和背景区域的 边界，其中模糊过程中采用HSV颜色模型；2)对模糊处理之后的图像，采用HSV颜色模型和CIELUV颜色模型选取6个不同的颜色 通道，分别根据其相位谱得到6个特征图；3)对于每个特征图分别检测对应的候选感兴趣区域，在6个特征图上分别得到6个候 选的矩形感兴趣区域；4)基于步骤3)中的6个候选矩形感兴趣区域，建立原始图像的显著图，并在显著图上 检测最终得到一个矩形感兴趣区域；其中，对于每个特征图，保留其感兴趣区域内的像素点值，将特征图上感兴趣区域外的 像素点值设定为0 ；更新每个特征图为I' ^1 = 1,2... 6)，再加权相加得到最终的显著图； 具体公式如下SM =知0>工/=1其中，SM是最终的显著图；ω i是每个特征图对应的权值。
2.根据权利要求1所述的检测彩色图像的感兴趣区域的方法，其特征在于，所述的参 数(Oi为对应特征图上感兴趣区域面积的倒数。
3.根据权利要求1所述的检测彩色图像的感兴趣区域的方法，其特征在于，所述的感 兴趣区域面积大于整个画面面积的85%或小于画面面积的10%时，设定δ i = 0，否则δ i =1。
4.根据权利要求1中所述的检测彩色图像感兴趣区域的检测方法，其特征在于，所述 的得到矩形感兴趣区域的方法具体包含如下子步骤首先，对于特征图或显著图，进行直方图均衡；然后，计算特征图或显著图的空间累计图；最后，在每个特征图或显著图的空间累计图上，找到一个矩形区域作为此特征图的感 兴趣区域。
5.根据权利要求4中所述的检测彩色图像感兴趣区域的检测方法，其特征在于，所述 的找矩形感兴趣区域的步骤为，选空间累计图的重心为矩形感兴趣区域的中心，将这个矩 形区域不断向四周扩张，直到这个区域上所有像素点值的和达到空间累计图上所有像素点 和值的95%。
全文摘要
本发明提供一种检测彩色图像的感兴趣区域的方法，该方法用于检测彩色图像得到一个矩形的感兴趣区域，具体包括以下步骤1)对图像采用基于区域的模糊方法去除多余的细节部分同时保留前景和背景区域的边界，其中模糊过程中采用HSV颜色模型；2)对模糊处理之后的图像，采用HSV颜色模型和CIELUV颜色模型选取6个不同的颜色通道，分别根据其相位谱得到6个特征图；3)对于每个特征图分别检测对应的候选感兴趣区域，从而在6个特征图上得到6个候选的矩形感兴趣区域；4)基于步骤3)中的6个候选矩形感兴趣区域，建立原始图像的显著图，并在显著图上检测最终得到一个矩形感兴趣区域；本发明对感兴趣区域检测的准确性和鲁棒性都很高，有很好的应用价值。
文档编号G06T7/60GK102005057SQ201010548679
公开日2011年4月6日 申请日期2010年11月17日 优先权日2010年11月17日
发明者侯朝焕, 杨树元, 洪缨, 王东辉, 裴朝科, 高丽 申请人:中国科学院声学研究所