专利名称：一种基于内容的图像自适应缩放方法
技术领域：
本发明涉及图像处理技术领域，具体涉及一种基于内容的图像自适应缩放方法的研究及实现。具体是一种细缝裁减和网格映射最优化结合进行内容自适应的方法。
背景技术：
随着移动多媒体技术的迅速发展，如移动电话和高清电视的不断换代更新，不同类型不同尺寸的显示终端不断涌现以适应各种不用的用户需求。为了保证不同设备的用户都能够舒适地观看同样的图像内容，这就要求图像重定位系统，使图像内容能够自适应于不同尺寸、不同比例的用户终端，研究保持图像主要内容的自适应技术具有重要的应用意义。现在已经提出了很多的内容自适应方法主要有基于细缝裁减(seam carving) 的方法，基于网格的重定位(mesh-based retargetig)的方法和二者混合(hybrid approaches) StJ77 °基于细缝裁减方法特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。但是当图像中的不重要信息全部去除后，继续采用细缝裁减方法势必会带来重要信息的损失和对象变形，从而导致图像视觉质量快速下降。基于网格的重定位的方法首先由用户设定一些需要保持形状的感兴趣的重要区域，在进行图像缩放时，感兴趣区基本上采取相似变换，而其它区域则采取非线性变换，这种方法的代价是其它非重要的背景区域发生大的变形来保护重要区域。但这种方法只能压缩而不是去除非重要区域，当图像/视频中有大量非重要区域时，处理效果不理想。现有的二者混合的方法有两种细缝裁减的方法和尺度缩放的方法的结合，先进行细缝裁减，然后用尺度缩放至目标尺寸，这样容易造成信息区域的丢失；细缝裁减的方法和网格映射的方法结合，每抽取一条细缝后，计算当前图像的变形，通过尽量缩减非重要区域来保持重要区域信息。
发明内容
本发明是针对连续的细缝裁减导致的信息丢失等问题，提出了一种适应于不同尺寸用户终端的图像自适应技术，尽可能的保持图像中的重要内容，压缩非重要内容，以保证最佳的视觉效果。由于目前图像自适应技术方法对内容相似度的识别有各自的优缺点和局限性，本发明提供了一种新的方法，将加权的细缝裁剪方法和网格映射方法进行最优化结合。本方法首先提出了一种改善的细缝裁减方法，在对参考图像进行裁减的过程中对能量函数进行加权，当抽取的细缝落入重要区域时，将相邻像素能量增值，这样就降低了相邻像素被抽取的可能性，从而减少了信息的损失；其次通过网格映射将参考图像进行缩放，以到达最佳的视觉效果。发明的方法具体包括如下步骤
1)输入大小为M*N的原始图像，并设定输出图像的目标尺寸为M' 。2)用显著度图提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1，并参考这些信息进一步对重要信息内容进行评价。进一步的所述步骤2、具体包括2. 1)将参考图像转化为灰度图像2. 2)计算阈值Α，r0为各像素点的灰度值g(x，y)之和的平均值。2. 3)用显著度图提取图像中的重要像素信息，并用如下阈值法得到二值图像函数
1 χ v~) < r
b(x, 7),^^)=1() g(x；其中值为0的像素为重要像素，并得到每一个像素点的坐标3)用改进的细缝裁减方法对灰度图像进行裁减，首先尽量多的对非重要信息部分进行细缝裁减，如果细缝穿过重要区域，需对细缝的邻近的像素值进行加权，从而使过重要区域的细缝的数量减少，来有效的保持重要区域的形状，具体包括3. 1)细缝裁减的初始化。先计算原始图像中每个像素的灰度值，作为初始灰度值；然后从第二行像素开始计算每一个像素的灰度加权函数；其灰度加权函数是这个像素与其紧邻的左上方、上方、 右上方的三个像素分别加权，取其最小值；在第二行像素的第一个像素由于没有左上方的像素，第二行像素的第一个像素加权后的灰度值为第二行像素的第一个像素分别与其正上方、右上方像素加权，加权和较小的那个像素为此像素点的灰度值；在第二行像素的最后一个像素由于没有右上方的像素，加权后的灰度值为第二行像素的最后一个像素与其正上方以及左上方像素二者之中较小的那个像素灰度值之和；其余的第二行像素的加权后的灰度值为该像素与其右上方、正上方以及左上方像素三者之中较小的那个像素灰度值加权之和；依次类推得到第三行的像素的灰度加权函数，然后再得到第四行的像素的灰度加权函数，直到整个图像计算完毕得到最终的图像所有的累积后的前向能量累积矩阵；每一行得到的最小的灰度加权值是上面一行邻近的最小的加权值和本像素点的像素值加权得到的。 计算完毕后，从最后一行开始向上一行遍历邻近的最小的灰度权值，然后这些最小的灰度权值所经过的像素点的连线即为要裁减的细缝；假设一副图像I (X，y)，对其进行垂直细缝裁减，可得到三种不同的像素值在对以(X，y)为中心的图像左上方部分、上方，右上方部分裁减时的累积矩阵函数分别为在对以(X，y)为中心的图像左上方、上方，右上方像素点裁减时的累积矩阵函数
分别为
权利要求
1.一种基于内容的图像自适应缩放方法，其特征在于步骤如下(1)输入原始图像，并设定输出图像的目标尺寸；(2)用显著度图提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1，并参考这些信息进一步对重要信息内容进行评价；所述步骤2~)具体包括·2.1)将参考图像转化为灰度图像(2. 2)计算阈值A，r0为各像素点的灰度值g(x，y)之和的平均值；(2.3)用显著度图提取图像中的重要像素信息，并用如下阈值法得到二值图像函数 b(x, Y),b(x,y) = \ '·"； °，其中值为0的像素为重要像素，并得到每一个像素点的坐 [0 g(x,y)>r0标值；(3)用改进的细缝裁减方法对灰度图像进行裁减，首先尽量多的对非重要信息部分进行细缝裁减，如果细缝穿过重要区域，需对细缝的邻近的像素值进行加权，从而使过重要区域的细缝的数量减少，来有效的保持重要区域的形状，具体包括(3.1)细缝裁减的初始化先计算原始图像中每个像素的灰度值，作为初始灰度值；然后从第二行像素开始计算每一个像素的灰度加权函数；其灰度加权函数是这个像素与其紧邻的左上方、上方、右上方的三个像素分别加权，取其最小值；在第二行像素的第一个像素由于没有左上方的像素，第二行像素的第一个像素加权后的灰度值为第二行像素的第一个像素分别与其正上方、右上方像素加权，加权和较小的那个像素为此像素点的灰度值；在第二行像素的最后一个像素像素由于没有右上方的像素，加权后的灰度值为第二行像素的最后一个像素与其正上方以及左上方像素二者之中较小的那个像素灰度值之和；其余的第二行像素的加权后的灰度值为该像素与其右上方、正上方以及左上方像素三者之中较小的那个像素灰度值加权之和； 依次类推得到第三行的像素的灰度加权函数，然后再得到第四行的像素的灰度加权函数， 直到整个图像计算完毕得到最终的图像所有的累积后的前向能量累积矩阵；每一行得到的最小的灰度加权值是上面一行邻近的最小的加权值和本像素点的像素值加权得到的。计算完毕后，从最后一行开始向上一行遍历邻近的最小的灰度权值，然后这些最小的灰度权值所经过的像素点的连线即为要裁减的细缝；(3. 2)去除一条细缝，更新加权函数；如果一条细缝落入一副图像的重要信息区域，应该对其邻近的像素点进行能量加权；假设是沿垂直方向进行细缝裁减，裁减掉一条细缝后，，沿^所对应的细缝对垂直方向坐标y进行遍历，即对坐标(χο，y)进行遍历，根据二值图像的坐标矩阵判断细缝是否落入重要区域，其中y是细缝对应的垂直方向的所有的坐标值，^是对应y的横坐标；( ，y)的邻近像素点的集合是C= {(x0+P,y),P = 士 1，士2L 士 Bandwidth}，其中Bandwidth是要加权的带宽的一半，取Bandwidth为6-8之间的整数值，对像素点(X(1+p，y)进行加权后的加权函数是wK + p, y ) = w(x0 +P,y) + do -^J-^ Μχο,γ)^(3. 3)测量重要区域的能量损失和判断细缝裁减何时终止；用Ca_SSim的评价方法来测量全部重要区域的能量损失和判断细缝裁减何时终止，具体包括首先进行结构相似度的测量(ssim)，ssim只适用于局部相似度的统计；假设f和g是两个非负的图像信号， f的均值和标准差分别为
全文摘要
一种基于内容的图像自适应缩放方法属于图像处理领域。本发明通过将现有的细缝裁减进行加权并和网格映射结合在一起。本方法首先采用细缝裁减的方法对图像进行裁减，当细缝落入重要区域，对其邻近细缝的能量进行加权，以减少重要区域的细缝裁减，增加非重要区域的细缝裁减；对于细缝裁减后的图像进行网格映射，使图像达到目标尺寸。本发明不仅缩放了非重要区域的图像信息，并且有效的保持了缩放后重要图像信息的比例和细节，实现了图像内容自适应的最优化。
文档编号G06T3/40GK102254300SQ20111018593
公开日2011年11月23日 申请日期2011年7月4日 优先权日2011年7月4日
发明者刘书琴, 刘桤, 宫玉, 曹连超, 毋立芳, 邓亚丽, 颜凤辉, 高美琴 申请人:北京工业大学