一种基于内容感知的图像缩放方法
【技术领域】
[0001] 本发明的技术方案涉及在图像平面内的图形图像转换，具体地说是一种基于内容 感知的图像缩放方法。
【背景技术】
[0002] 随着计算机科学技术的快速发展，信息家电给我们的生活带来了极大的便利，由 于不同的信息家电产品没有统一的尺寸规格，导致所需显示图像的尺寸与信息家电显示设 备的尺寸存在差别，从而图像在显示设备中出现显示异常，图像缩放技术的研究有助于解 决上述问题。
[0003] 传统的图像缩放方法之一是通过插值和下采样得到目标尺寸的图像，该算法原理 虽然简单且易实现，但是存在以下缺陷:一是当需要改变图像宽高比来进行缩放时，容易造 成主要图像内容的拉伸变形;二是简单的剪切技术，即通过裁剪图像边缘内容来得到目标 图像，往往造成较多图像内容信息的丢失。传统的图像缩放方法之二是选择图像宽度或者 高度最小缩放比例作为整体的缩放比例来对原始图像进行等比缩放，这种方法存在的缺陷 是容易在显示设备的上下或者左右产生黑色的边框。相对于传统的图像缩放算法，近些年 来研发的基于内容感知的图像缩放技术能够在一定程度上克服传统方法的缺陷。基于内容 感知的图像缩放技术是根据图像内容重要程度来对图像进行缩放，尽量保证重要区域的内 容不发生过多形变，对非重要区域进行压缩处理，以此来得到最佳的图像视觉感知效果。 1998年，Itti和Koch提出了一种自底向上的显著性计算模型，在多尺度下提取图像的颜色、 亮度和方向特征的显著图，进行线性融合，最终生成图像的显著图，显著图反映了图像的重 要区域，是基于内容感知的研究基础。在2003年，Suh提出了基于重要区域的图像缩略图提 取方法的Suh算法，利用Itti提出的显著性算法与人脸识别算法提取目标图像的重要区域， 对目标图像进行相关的裁剪得到缩略图，该算法过于依赖显著性算法提取的目标，而且该 算法采用传统的裁剪方法对图像进行缩放，往往会造成较多图像内容信息的丢失，使图像 完整性遭到了严重的破坏。Liu和Gleiche在Suh算法的基础上，利用非线性的鱼眼视角变形 算法(Fisheye-view Warp)尽可能地保留原图中重要区域的大小，同时会对非显著部分进 行压缩处理，该Liu和Gleiche提出的算法在图像主体目标被过分强调的时候，由于采用缩 小背景以突出重要区域的方法，以至于原始图像中的图像结构被破坏了，造成了图像边缘 内容的严重失真。针对以上不足，在2007年的SLGGRAPH会议上Avidan和Shamir提出了线裁 剪算法，通过不断的寻找当前图像中水平或垂直方向能量最小的联通路径并进行删除或者 复制操作来达到图像裁剪目地的，图像中不重要的区域被移除，能更好地保留图像中的重 要部分，在长宽比变化剧烈的情况下仍然能保持图像中的重要内容不发生变形失真。但是 该算法由于仅考虑能量最小，没有充分考虑实际图像的结构信息，因此当图像结构分布稀 疏而且占据大部分位置时会破坏图像的局部和整体的视觉效果，另外在重要内容能量较低 的时候会破坏重要物体结构，导致出现人为鬼影。CN102568443B公开了 一种图像缩放算法， 该算法根据原图像的尺寸与目标图像的尺寸，以像素点为单位进行复制和移除操作，由于 没有从整体上考虑图像中的主体目标，因此会造成图像的主体目标发生形变和扭曲。
[0004] 总之，现有的基于内容感知的图像缩放技术虽然能够克服传统的图像缩放方法中 图像裁剪的缺点，尤其是现有的基于内容感知的图像缩放技术中的线裁剪方法能够保持图 像中的感兴趣区域尽量不发生形变，相比传统的图像缩放方法取得了较好的图像缩放效 果，但是现有的线裁剪方法采用图像的梯度图定义能量函数，在图像缩放时仍然存在失真 和部分图像信息丢失的缺陷，影响人们的图像视觉审美。
【发明内容】
[0005] 本发明所要解决的技术问题是:提供一种基于内容感知的图像缩放方法，采用融 合显著图、边缘直线图和梯度图的混合特征模型（以下简称HFPM)得到能量函数，依据该能 量函数进行线裁剪操作完成图像的缩放，克服了现有的线裁剪方法采用图像的梯度图定义 能量函数，在图像缩放时仍然存在失真和部分图像信息丢失的缺陷。
[0006] 本发明解决该技术问题所采用的技术方案是：一种基于内容感知的图像缩放方 法，采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，依据该能量函数 进行线裁剪操作完成图像的缩放，步骤如下：
[0007] 第一步，输入彩色图像预处理：
[0008] 通过USB接口向计算机输入原始彩色图像，并输入目标图像的大小，将得到的原始 彩色图像〇由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：
[0009] I = 0.299R+0.587G+0.114B (1)，
[0010] 其中R、G、B分别是RGB空间图像的红色、绿色和蓝色通道，同时保留原始输入RGB空 间的原始彩色图像〇，供第二步中Context-Aware算法计算使用，所输入原始彩色图像0的大 小为ΜX N像素，所输入目标图像的大小为,X Μ像素；
[0011]第二步，提取原始彩色图像的显著图和显著目标图像：
[0012] (1)通过Context-Aware算法提取原始彩色图像显著图：
[0013]对第一步保留的原始输入的RGB空间的原始彩色图像0,通过Context-Aware算法 计算显著图，并将由此计算得到的该显著图输出为原始输入的RGB空间的原始彩色图像0图 像的尺寸，提取到原始彩色图像的显著图Sal;
[0014] (2)使用分水岭分割算法加强显著图：
[0015] 使用分水岭分割算法对上述步骤（1)得到的原始彩色图像的显著图Sal进一步加 强，分割出原始彩色图像显著图中的目标，先对图像的每个像素的灰度级进行从低到高排 序，然后再从低到高实现淹没过程，对每一个局部极小值采用先进先出结构进行判断及标 注，由此通过分水岭算法分割得到原始彩色图像的显著目标图像Is;
[0016] 第三步，提取灰度图像的融合直线信息的边缘图：
[0017] 提取第一步得到的灰度图像I中的直线信息，并对图像I进行模糊处理，提取边缘 图，将直线信息与边缘图进行叠加融合，得到融合直线信息的边缘图，具体步骤如下；
[0018] (1)检测灰度图像中的直线信息：
[0019] 对第一步中获得的灰度图像I运用霍夫变换检测其中的直线信息，设置霍夫变换 算法中所能检测到的最小长度为「o.lxd个像素以及直线间的最小间隔为「O.Olxd个像 素，其中q为图像对角线的长度，将检测得到直线信息的图像进行二值化处理，设置阈值为
[0020] (2)， Tw，得到户古古妹栏白的一估ra τ阳兴用的公式（2)如下：
[0021]上述参数中w为标有直线线段的图像，w(x，y)为(x，y)处的像素值；
[0022] (2)对原始彩色图像进行模糊处理：
[0023]利用基于总变差模型的纹理结构提取算法对原始输入的RGB空间的原始彩色图像 〇进行模糊处理，模糊原图中不重要的纹理部分，突出主结构，得到去除纹理的图像，达到模 糊的效果；
[0024] (3)提取图像的边缘特征：
[0025] 利用Canny边缘检测算法对上述步骤(2)模糊处理后得到的图像提取边缘信息，增 强图像的边缘，得到边缘图，其中Canny算子模板如下公式(3)所示，其中，D x为水平方向的 算子，Dy为乘官方向的筧子，
[0026]
(3);
[0027] (4)将直线信息融合到边缘图中：
[0028] 将上述步骤（1)中得到的直线特征图与上述步骤(3)得到的边缘图采用的公式(4) 进行融合，
[0029] IC=IW+I canny ⑷，
[0030] 其中，Iw为含有直线信息的二值图，Icanny为使用Canny边缘检测算法得到的边缘 图，I。为融合直线信息的边缘图；
[0031] 第四步，提取灰度图像的梯度图：
[0032] 对第一步得到的灰度图像I通过Sobel梯度算子来提取梯度信息，即以图像像素点 I (X，y)为中心计算其3 X 3邻域的X方向偏导数Gjp y方向的偏导数Gy如下：
[0033] Gx={I(x-1,y+l)+2I(x,y+l)+I(x+l,y+l)}
[0034] (5)， -{I(x-1,y-l)+21(x,y-l)+1(x+1,y-l)}
[0035] Gy={I(x+1,y-l)+2I(x+l,y)+I(x+l,y+l)}
[0036] (6)， -{I(x-1,y-l)+21(x-1,y)+1(x-1,y+l)}
[0037] 梯度大小为：
[0038]
(7).，
[0039] 根据公式(7)求出每个像素的梯度值，即可得到灰度图像的梯度图Ig;
[0040] 第五步，利用HFPM算法对三种特征图融合得到能量函数：
[0041]将上述第二步得到的原始彩色图像的显著目标图像Is、第三步得到的融合直线信 息的边缘图I。以及第四步得到的灰度图像的梯度图IgfflHFPM算法进行融合，采用公式如下：
[0042] EHFPM(x,y)=aIs(x,y)+PIc(x,y)+ γ Ig(x,y) (8)，
[0043] 其中Ehfpm为最终得到的能量函数，a、β、γ分别为Is、Ic、18三种图像不同的权重系 数，
[0044] α是原始彩色图像的显著目标图像Is的权重系数，其定义如下：
[0045]
(())，
[0046]其中Areat为缩放后图像的面积，Μ和N分别是第一步得到的图像的长度值和宽度 值，单位为像素；
[0047] β是融合直线信息的边缘图I。的权重系数，其定义为：
[0048] (丨())，
[0049] (11>， ν 'Λ-'
[0050] 其中num为图像中通过Hough