一种基于局部均匀缩放的图像目标重定位方法
【专利摘要】本发明公开了一种基于局部均匀缩放的图像目标重定位方法，首先将源图像I分解为卡通部分u和纹理部分v；然后计算卡通部分u上每个像素的高阶统计量HOS，检测显著性边，得到源图像的能量地图，并根据所述能量地图上显著性目标的位置，将源图像分为I1、I2和I3三块，其中I1和I3为背景部分，I2为显著性区域；最后将背景部分I1、I3和显著性区域I2按照不同的缩放比例进行缩放，最终得到目标图像。本发明能够准确地检测图像的显著性目标以及大尺度结构，而且缩放速度相较于其他的基于内容的缩放算法要更快，可以很好地保护图像的大尺度结构不被破坏，保持大尺度结构的光滑性和连续性。
【专利说明】-种基于局部均匀缩放的图像目标重定位方法
【技术领域】
[0001] 本发明涉及一种图像处理技术，具体涉及一种图像目标重定位方法。
【背景技术】
[0002] 近几年，数字图像越来越广泛的分布在媒体领域的各个方面，而手机、平板电脑 等移动多媒体的发展丰富了我们浏览图像、视频的形式。要使图像可以在这些设备上正常 显示，通常需要改变图像的大小以适应这些设备的屏幕分辨率，这种为了某种需要而改变 图像大小或分辨率的过程通常称为图像目标重定位或图像缩放。目前最常用的图像缩放方 式是均匀缩放，即通过下采样或图像插值达到缩小或放大图像的目的，但由于它在改变图 像大小的同时未能考虑到图像内容，因此经常会造成扭曲失真使得图像变得过宽或过瘦。 基于内容的图像目标重定位称为当前研究的一个热点，因为基于内容的图像目标重定位算 法利用人们对图像内容的感知差异对图像进行非均匀的图像缩放，以适应新的显示需求。
[0003] 基于内容的图像目标重定位算法是图像视觉研究领域的一个巨大挑战，它要求 我们在改变图像大小同时顾及到图像的整体美观性。Shamir A, SorkineO. Visual media retargeting[C]//ACM SIGGRAPH ASIA 2009 Courses. ACM, 2009:11 定义了三条图像目标 重定位目标：
[0004] 1.目标图像应保留源图像的重要内容；
[0005] 2.目标图像应保留源图像的重要结构；
[0006] 3.目标图像应没有明显的视觉扭曲或失真现象。
[0007] 根据上面提出的三条标准，Vaquero D, Turk M, Pulli K, et al. A survey of image retargeting techniques[C]//SPIE Opt ical Engineering+ Applications. International Society for Optics and Photonics, 2010:779814-779814-15 认为大多数 的图像缩放方法都遵循一个相似的流程：首先，输入源图像和目标图像的尺寸，然后，计算 源图像的重要性地图，最后根据重要性地图，应用缩放算子变更图像大小。
[0008] 图像目标重定位算法的成功运行需要准确的重要性检测和快速有效的缩放算子 两个不可或缺的条件。重要性检测又称显著性检测，是给每个像素标记一个介于[0, 1]之 间的值，值越高意味着该点越重要。Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2012, 34(10) :1915-1926详细介绍了现有的重要性检测方法并根据人 类视觉的四条基本原则提出了一种基于上下文的显著性检测方法，该方法可以准确的检测 重要性目标，但是计算复杂，耗时较长。Vaquero D，Turk M，Pulli K，et al.A survey of image retargeting techniques[C]//SPIE Optical Engineering+ Applications. International Society for Optics and Photonics,2010:779814-779814-15 将 重要性检测分为从上而下和从下而上两类，并详细介绍了几种常用于图像目标重定 位的重要性检测方法。为了在复杂背景下准确的检测重要性目标，Kim W，Kim C. A texture-aware salient edge model for image retargeting[J]. Signal Processing Letters, IEEE, 2011，18(11) :631-634提出了一种显著性边检测模型（TASE算法），通过计 算图像在扩散空间的高阶统计量（HOS)检测显著性边。这种方法的确可以克服复杂背景和 噪声的影响，但该方法的缩放算子却不能很好的保护图像的大尺度结构。
[0009]目前图像目标重定位技术所用的缩放算子主要可分为两类。一类是连续算子，即 将图像看作连续函数，然后试图建立源图像到目标图像的最优映射，映射过程中加入一些 约束来保护图像内容，代表有基于翘曲的方法和基于网格的缩放和拉伸的方法。这类方法 通过约束限制重要性区域的局部变形尽可能小而非局部区域的变形尽可能大，得到比较 光滑的缩放结果。但这类方法在不同程度的翘曲或拉伸下会出现一些特征重叠现象还可能 破坏图像的全局结构。另一类是离散算子，即将图像看作一个二维矩阵。这类方法的代表 是缝雕刻算法，其基本思想是根据图像的重要性地图设计一个动态规划算法，计算图像的 缝（seam)，通过移除或插入缝改变图像大小，每条缝都是一条从左到右或从上到下的8连 通的最小能量路径。缝雕刻算法是一种有效的内容敏感的图像目标重定位方法，但是由于 缝的过量雕刻和添加，它容易破坏大尺度结构，产生严重的视觉变形。后续的研究者为了 克服缝雕刻算法存在的问题将缝雕刻算法与均匀缩放技术结合使用，首先对图像做缝雕 亥IJ，每雕刻掉一条缝就将其均匀缩放到目标大小一次，然后根据特定的距离公式计算缩放 图像和源图像的距离，最后选择使此距离最小的缝移除方案为最佳图像缩放方案。这种方 法虽然提高了缩放图像的质量但是因为计算量大存在计算耗时的问题。
[0010] 图像的局部均匀缩放是指先对背景部分做一定比例的均匀缩放，然后再根据目 标图像大小对显著性区域做缩放。均匀缩放作为最早的、最普遍的图像缩放方法，存在速 度快与源图像匹配率高等诸多优点，其最大的缺陷是不能照顾到图像内容使得在缩放过程 中造成图像失真。随后提出且被广泛研究的缝雕刻算法虽然对显著性目标很敏感但却由于 缝的过度移除容易造成对大尺度结构的破坏。后续的研究者又对缝雕刻算法做了一些改 进，提出了前向能量算法，令图像移除缝后新引入的能量最小，使图像处理引发的形变相 对不易察觉° Cho S, Choi H, Matsushita Y, et al. Image retargeting using importance diffusion[C]//Image Processing (ICIP), 200916th IEEE International Conference on. IEEE, 2009:977-980提出了一种能量扩散算法，将移除的像素的能量按距离权函数扩 散给其邻域像素，这种扩散减少了对低能量部分的过分移除，得到了相对较美观的图像。 比较原始缝雕刻算法以及上述两种改进算法，不难发现，两种改进都是在一定程度上稀疏 缝的分布。当细缝分布较均匀时，图像结构保存相对较完整，基于以上分析，在缝雕刻算 法中，缝分布越均匀对大尺度结构的破坏越轻微。因此，本发明采用基于内容的均匀缩放 来保护显著性结构。
【发明内容】
[0011] 针对现有技术的不足，本发明旨在提供一种基于局部均匀缩放的图像目标重定位 方法，准确地检测图像的显著性目标以及大尺度结构，从而在显著性检测过程中减少了背 景部分的影响，并且更好地保护源图像的大尺度结构不被破坏，保持大尺度结构的光滑性 和连续性。
[0012] 为了实现上述目的，本发明采用如下技术方案：
[0013] 一种基于局部均匀缩放的图像目标重定位方法包括如下步骤：
[0014] 步骤1，将源图像分解为卡通部分U和纹理部分v ;
[0015] 步骤2,计算卡通部分u上每个像素的高阶统计量，并据此检测显著性边，得到源 图像的能量地图，并根据所述能量地图上显著性目标的位置，将源图像分为I:、I 2和I3三 块，其中I1和I3为背景部分，I 2为显著性区域；
[0016] 步骤3,将背景部分Ip I3和显著性区域I2按照不同的缩放比例进行缩放，先将背 景部分按一定的比例预先缩放，然后用目标图像大小减去缩放后的背景部分大小得到显著 性区域应该缩放的大小；最终得到目标图像。
[0017] 需要说明的是，所述步骤1是根据所述源图像上的每一像素局部总变差LTV的相 对衰减率，确定每一像素属于卡通部分u还是纹理部分V，具体步骤如下：
[0018] 步骤1. 1，定义LTV如下：
[0019] LTV。⑴（X) : = L0*| ▽ 11 (X)，；
[0020] 则其相对衰减率定义如下：
【权利要求】
1. 一种基于局部均匀缩放的图像目标重定位方法，其特征在于，所述方法包括如下步 骤： 步骤1，将源图像分解为卡通部分U和纹理部分V; 步骤2,计算卡通部分u上每个像素的高阶统计量，并据此检测显著性边，得到源图像 的能量地图，并根据所述能量地图上显著性目标的位置，将源图像分为Ip12和I3三块，其 中I1和I3为背景部分，I2为显著性区域； 步骤3,将背景部分IpI3和显著性区域I2按照不同的缩放比例进行缩放，先将背景部 分按一定的比例预先缩放，然后用目标图像大小减去缩放后的背景部分大小得到显著性区 域应该缩放的大小；最终得到目标图像。
2. 根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在 于，所述步骤1是根据所述源图像上的每一像素局部总变差LTV的相对衰减率，确定每一像 素属于卡通部分u还是纹理部分V，具体步骤如下： 步骤1. 1，定义LTV如下： LTV0 (I) (X) : =L0*! ▽ 11 (X)，； _相对衰M率宙义如下：
其中，L。表示低通滤波，在傅里叶域有L⑷:=1+p二'其中〇表示标准差，ζ 表示频率；I表示源图像，有I=u+v;I▽ 11表示源图像I梯度的模；X表示像素，LTV的相 对衰减率λ。（X)表示图像的局部震荡，λ。（X)介于[〇,1]之间，对于像素X来说，λ。（X) 的值越小，X越可能属于卡通部分； 步骤1. 2,卡通部分u(X)和纹理部分V(X)的定义为：u(x) = w( λ 0 (x))L0*I+(l-w( λ 0 (χ))) I ν(X)= I(X)-u(X)； 其中，w(x): [0，1] - [0，1]是一个非减的分段函数，定义为：
3. 根据权利要求2所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在 于，步骤1. 2中和a2分别固定设为0. 25和0. 5。
4. 根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在 于，所述步骤2的具体步骤如下： 步骤2.1，计算卡通部分u在每个像素位置X= (Xl，X2)的高阶统计量：
其中，B(x)代表X的邻域像素集，u(y)表示B(x)中属于卡通部分u的像素，N为B(x) 内包含元素的个数；μ (X) = (1/N) SyeB(x)u(y)表示样本集B(X)的均值； 步骤2.2,计算源图像第k列的高阶统计量为：
则HOS(k)越大，第k列越显著，m表示源图像第k列的像素个数，HOS(x，k)表示第k列的每个像素X的HOS; 步骤2. 3,取前1个高阶统计量最大的列作为显著列，1具体根据源图像内容人为设 置； 步骤2. 4,根据显著性区域是一个局部连接整体的性质，确定属于显著性区域的显著 列：假设前L列已经确定的属于显著性区域的显著列的中心为Iitl，则对第L+1个显著列来 说，倘若它的位置坐标与Iitl的差小于等于w，则认为第L+1个显著列属于显著性区域，w具 体根据源图像内容人为设置；其中，Iitl初始化设置为最显著列，即HOS最大的列的坐标； 步骤2. 5,在确定了属于显著性区域的显著列后，取这些列的最小、最大列坐标分别为m和M，则源图像中的显著性区域I2为源图像中的[m，M]列，背景部分I1和I3分别为图像 中列[〇，m-l]列和[M+1，W]列，W为源图像的宽度。
5. 根据权利要求4所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在 于，步骤2.1中设置邻域半径为11。
6. 根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在 于，步骤3中，背景部分的缩放比例一般为1/4。
7. 根据权利要求1所述的一种基于局部均匀缩放的图像目标重定位方法，其特征在 于，为了达到图像缩放的目的，保证I2的缩放，只缩放背景区域后的图像大小应当大于或 等于目标图像的大小，即有： bff1+ff2+bff3 ^a(!!+W^ff3)； 其中，Wi、W2、W3分别为I。12、I3的大小，a为源图像的缩放比例，b为背景部分的缩放 比例； 整理后得
如果所述显著性区域的大小不满足该条件时，则规定显著性区域为源图像的1/2。
【文档编号】G06T3/40GK104463873SQ201410755693
【公开日】2015年3月25日 申请日期:2014年12月10日 优先权日:2014年12月10日
【发明者】王卫卫, 翟栋, 李涛, 冯象初 申请人:西安电子科技大学