专利名称：一种基于条带和相邻度的快速细缝裁剪方法
技术领域：
本发明涉及图像处理技术领域中基于内容感知的图像缩放技术，具体涉及一种基于条带和相邻度的快速细缝裁剪方法的研究及实现。
背景技术：
随着互联网技术的快速发展以及数字设备硬件水平的不断提高，适用于不同网络的终端设备不断更新换代，例如电视、笔记本电脑、PDA、手机等，它们具有不同类型的显示尺寸，然而大多数图像都是以某一固定尺寸和宽高比制作而成，当在不同类型的数字设备上去显示它们时，通常需要改变它们的尺寸和宽高比，来适应各种显示设备。传统的图像缩放方法主要分为3种，其中一种是将原始图像通过插值或下采样得到目标尺寸的图像，这就是所谓的均匀缩放Scaling技术，然而当需要改变图像宽高比来进行均匀缩放时，它往往会造成图像主要内容的拉伸变形。另一种方法就是简单的裁切Cropping技术，它通过裁掉图像边缘内容来得到目标尺寸，这会带来较多内容信息的丢失。第三种方法就是选择图像宽度或高度的最小缩放比例作为整体缩放比例来对原始图像进行等比缩放，这种做法也被称作“信箱”letterb0Xing技术，它的问题在于经常会在设备上下或左右两边产生黑色边框，不能充分的利用移动设备有限的屏幕资源。上述3种传统的缩放方法都没有考虑图像的内容。为了使用户能够在终端设备上更舒适地观看图像，需要根据图像内容的重要程度对其进行缩放处理，来自适应于不同网络类型、不同尺寸、不同比例的终端显示设备。那么基于内容感知的图像缩放技术就是用来解决如何将图像更好的显示在多样化的数字设备上的问题。2007年以后基于内容感知的图像缩放技术得到很大的发展，可通过三种途径来改变图像的大小:根据图像像素的重要度删除或复制像素、聚合或扩张像素以及两种方法相结合的方式，因此可将其大致分为三类方法。一类是以细缝裁剪Seam Carving为代表的离散方法，另一类是以非均匀映射Warping为代表的连续方法，还有一种就是多种操作相结合的方法。基于内容感知的缩放技术最大的优点就是通处理图像中不引人注意的像素内容来改变图像的尺寸，最大限度的保护重要区域不发生形变，同时尽可能的保留原始图像的全局信息。基于细缝裁减的离散方法是对图像进行像素级的离散操作，在保留重要区域的同时不断的删除或复制不重要的像素细缝来改变图像的尺寸。其特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。但是当图像中的不重要信息去除到一定程度后，继续采用细缝裁减方法势必会带来重要信息的损失和对象变形，从而导致图像视觉质量快速下降。虽然该类算法的离散性更能体现处理过程的灵活性，但是也更容易破坏图像中的结构信息而且会产生锯齿现象即得到不平滑的结果图像。而且由于每次计算完累积能量代价矩阵后都只处理一条像素细缝，需要重复的迭代计算出若干条细缝才能实现图像的缩放，这将直接导致该类算法普遍存在时间计算复杂度比较高的问题。非均匀映射方法主要思想是建立源图像到目标图像的最优映射，映射过程中加入一些约束条件来保护图像内容。首先根据图像内容自动确定各像素点的重要性，然后根据像素的重要性对图像进行非均匀缩放，重要区域基本上采取相似变换，而不重要区域则采取非线性变换，使得图像重要区域形变和缩放比例较小，而将形变扩散在非重要区域。以以非均匀映射Warping为代表的连续方法多数都是通过求解带有约束条件的最优化问题来得到最优的网格变形，约束重要区域网格的形变较小并将网格变形分散在不重要区域，最后利用纹理映射技术得到结果图像.因为该方法是根据图像内容的重要度采用不同的缩放策略，利用非重要区域来“隐藏”形变，然而非重要区域的过度扭曲可能会改变图像的语义信息。另外，如果图像中没有足够的非重要区域来隐藏形变，连续方法可能会引起重要内容的严重变形。由于连续的方法的实质相当于对图像进行重采样，这样的操作势必会导致结果图像出现模糊的效果。考虑到不同方法固有的互补的特性，一些研究者提出将几种方法相结合来对图像进行缩放处理，简称混合方法。该问题的关键是如何确定各种操作方法的量及其操作顺序。然而在确定了多操作方法的数量及顺序后，它的难点在于如何设计出一种有效的评价度量机制来衡量目标结果图像与源图像的相似度。这种评价准则实际上也是不同混合方法的主要差别之所在。因为该类算法综合了多种方法的优点，但同时它也引入各种方法的缺点，那么如何最优结合各种方法即决定最佳的操作顺序以及操作量，需要一种有效的质量评价方法去计算源图像与目标图像的相似度来决定不同缩放方法之间的切换点。然而大多多操作方法的时间复杂度较高，那么如何去加快多操作方法的处理速度也是需要认真考虑的问题。
发明内容
本发明提供一种基于内容感知的适用于不同用户终端的快速图像缩放技术，使固定尺寸的图像能够自适应地显示在不同类型的终端设备上，同时能够尽可能的保持原始图像中重要内容，保持关键对象无畸变，保持图像中的重要结构即空间位置关系相对不变，以保证最佳图像观赏质量。由于目前图像缩放方法都有各自的优缺点和局限性，本发明针对细缝裁剪方法速度慢的问题，以及由于细缝的集中去除而导致结果图像出现断层或者不连续的问题，提供一种快速的基于条带和相邻度的图像缩放技术。为了实现上述问题，本发明提供了一种有效的基于条带和相邻度的快速细缝裁剪图像缩放方法。不失一般性，以改变图像高度为例(改变图像宽度的方法与其类似)，该方法具体包括:I)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*HT，W为图像宽度，H为原始图像的闻度，Ht为目标图像的闻度；2)将原始图像分成N条等间距水平条带Strips ；3)根据原图对应的显著性图Saliency计算每一个条带的重要性Si ；4)根据每个条带的重要性值Si以及目标图像的高度HT去计算每个条带的目标高度hi’。原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度h/ ={h/，h2’...hN’ }T, i = I, 2,...N通过求解最优化问题来获得,该最优化问题中，F(hi，)为其目标函数，定义了目标条带的形变量，公式(2)为其约束条件:
权利要求
1.一种基于条带和相邻度的快速细缝裁剪方法，其特征在于:该方法具体包括: 1)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*HT，W为图像宽度，H为原始图像的闻度，Ht为目标图像的闻度； 2)将原始图像分成N条等间距水平条带； 3)根据原图对应的显著性图计算每一个条带的重要性Si； 4)根据每个条带的重要性值Si以及目标图像的高度Ht去计算每个条带的目标高度V ; 5)根据每个条带的原始高度h和目标高度h/，能够确定每个条带需要去除的细缝数量Nun^h/ -h ;然后在每个条带中根据相邻度和累加能量搜索要处理的细缝。
2.如权利要求1所述的方法，其特征在于，所述步骤I)具体为:原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度h/ = Ih1'，h2’...hN’ }T，i = 1，2，...N通过求解最优化问题来获得，该最优化问题中，FQ1/ )为其目标函数，定义了目标条带的形变量，公式(2)为其约束条件:
3.如权利要求1所述的方法，其特征在于，所述步骤5)具体为:通过删除这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下: ①计算像素之间的最优匹配关系: 采用现有技术黄华提出的快速细缝裁剪方法通过在相邻列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优匹配关系；在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带的最优匹配关系矩阵ARwxh ； ②根据像素最优匹配关系计算细缝之间的邻域关系: 对于一个高度为h的水平条带，我们需要搜索h条细缝；定义细缝在第k列第m行的像素元素用其细缝标号Ek(m)标记；另外，我们定义累积邻域关系矩阵ANhxh，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新；重要区域则通过图像的显著图取平均值作为阈值再进行二值化得到；建立细缝邻域关系矩阵AN的过程从右至左来进行，在最右面一列即k=W,像素的细缝标号参量初始化为:Ew (m) = m, m = I, 2,...h(3) 邻域关系矩阵AN初始化为:AN(x, y) = O, X = I, 2,...hy = I, 2,...h(4) 进一步根据像素间的最优匹配关系AR按照如下规则更新细缝标号参量E(m)以及邻域关系矩阵AN: Ek (m+AR (m, k+1)) = Ek+1 (m), m = I, 2,...h, k = I, 2,...W (5)
全文摘要
一种基于条带和相邻度的快速细缝裁剪方法属于图像领域。它是对快速细缝裁剪方法进行改进，结合相邻度和条带的思想加以约束，使得细缝能够更均匀的分布在图像各个区域，进而得到更令人满意的缩放结果。该方法首先把图像划分若干等间隔条带，然后利用该图像对应的显著性图计算每个条带的平均重要性，根据条带的重要性和整幅图像的目标尺寸通过求解一个带约束条件的最优化问题来得到每个条带的目标尺寸，最后在每个条带中采用结合相邻度的快速细缝裁剪方法去获得目标尺寸图像。本方法在计算速度上要远远优于其他基于细缝裁剪的方法，同时得到的结果图像质量要好于快速细缝裁剪方法，因此，具有一定的应用价值和意义。
文档编号G06T3/40GK103208095SQ20131014222
公开日2013年7月17日 申请日期2013年4月22日 优先权日2013年4月22日
发明者毋立芳, 曹连超, 郑庆阳 申请人:北京工业大学