图像进行线裁剪：
[0182]根据上述步(3)和(6)分别得到的列裁剪线与行裁剪线，根据第五步得到的能量函 数，通过上述步(3)和(6)找出当前图像中累计能量最小的裁剪线进行复制或者删除操作， 原始彩色图像0的大小为MXN像素，目标图像大小为,XP/像素，线裁剪是提取IMHV^ |条行 像素线和I N-Y I条列像素线，如果目标图像尺寸小于原始彩色图像尺寸，则删除该像素线 使原始彩色图像尺寸缩小一行或一列，如果目标图像尺寸大于原始彩色图像尺寸，则复制 该像素线插入到原始彩色图像相应位置，循环处理IM-M' I次或|N-g I次使得原始彩色图像 尺寸达到目标图像大小。
[0183] 上述实施例中，所述Context-Aware算法、分水岭分割算法、Canny边缘检测算法、 Sobel梯度算子和线裁剪算法都是公知的。
【主权项】
1. 一种基于内容感知的图像缩放方法，其特征在于采用融合显著图、边缘直线图和梯 度图的混合特征模型得到能量函数，步骤如下： 第一步，输入彩色图像预处理： 通过USB接口向计算机输入原始彩色图像，并输入目标图像的大小，将得到的原始彩色 图像O由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下： I = 0.299R+0.587G+0.114B (1)， 其中R、G、B分别是RGB空间图像的红色、绿色和蓝色通道，同时保留原始输入RGB空间的 原始彩色图像〇，供第二步中Context-Aware算法计算使用，所输入原始彩色图像O的大小为 MXN像素，所输入目标图像的大小为，XM像素； 第二步，提取原始彩色图像的显著图和显著目标图像： (1) 通过Context-Aware算法提取原始彩色图像显著图： 对第一步保留的原始输入的RGB空间的原始彩色图像0,通过Context-Aware算法计算 显著图，并将由此计算得到的该显著图输出为原始输入的RGB空间的原始彩色图像0图片的 尺寸，提取到原始彩色图像的显著图Sal; (2) 使用分水岭分割算法加强显著图： 使用分水岭分割算法对上述步骤(1)得到的原始彩色图像的显著图Sal进一步加强，分 割出原始彩色图像显著图中的目标，先对图像的每个像素的灰度级进行从低到高排序，然 后再从低到高实现淹没过程，对每一个局部极小值采用先进先出结构进行判断及标注，由 此通过分水岭算法分割得到原始彩色图像的显著目标图像I s; 第三步，提取灰度图像的融合直线信息的边缘图： 提取第一步得到的灰度图像I中的直线信息，并对图像I进行模糊处理，提取边缘图，将 直线信息与边缘图进行叠加融合，得到融合直线信息的边缘图，具体步骤如下； (1) 检测灰度图像中的直线信息： 对第一步中获得的灰度图像I运用霍夫变换检测其中的直线信息，设置霍夫变换算法 中所能检测到的最小长度为「O.lxfl个像素以及直线间的最小间隔为「O.Olxd个像素，其 中q为图像对角线的长度，将检测得到直线信息的图片进行二值化处理，设置阈值为Tw，得 到具有直线信息的二值图Iw，所采用的公式(2)如下：上述参数中w为标有直线线段的图片，w(x，y)为(x，y)处的像素值； (2) 对原始彩色图像进行模糊处理： 利用基于总变差模型的纹理结构提取算法对原始输入的RGB空间的原始彩色图像0进 行模糊处理，模糊原图中不重要的纹理部分，突出主结构，得到去除纹理的图像，达到模糊 的效果； (3) 提取图像的边缘特征： 利用Canny边缘检测算法对上述步骤(2)模糊处理后得到的图像提取边缘信息，增强图 像的边缘，得到边缘图，其中Canny算子模板如下公式(3)所示，其中，Dx为水平方向的算子， D y为垂直方向的算子，(4)将直线信息融合到边缘图中： 将上述步骤（1)中得到的直线特征图与上述步骤(3)得到的边缘图采用的公式(4)进行 融合， Ic-Iw+1 canny (4)， 其中，Iw为含有直线信息的二值图，1。_为使用Canny边缘检测算法得到的边缘图，I。为 融合直线信息的边缘图； 第四步，提取灰度图像的梯度图： 对第一步得到的灰度图像I通过Sobel梯度算子来提取梯度信息，即以图像像素点I(x， y)为中心计算其3 X 3邻域的X方向偏导数GjP y方向的偏导数Gy如下：梯度大小为：根据公式(7)求出每个像素的梯度值，即可得到灰度图像的梯度图Ig; 第五步，利用HFPM算法对三种特征图融合得到能量函数： 将上述第二步得到的原始彩色图像的显著目标图像Is、第三步得到的融合直线信息的 边缘图I。以及第四步得到的灰度图像的梯度图算法进行融合，采用公式如下： EHFPM(x,y)=aIs(x,y)+PIc(x,y)+y Ig(x,y) (8)， 其中Ehfpm为最终得到的能量函数，α、β、γ分别为Is、Ic、Ig三种图像不同的权重系数， a是原始彩色图像的显著目标图像Is的权重系数，其定义如下：其中Areat为缩放后图像的面积，M和N分别是第一步得到的图像的长度值和宽度值，单 位为像素； β是融合直线信息的边缘图I。的权重系数，其定义为：其中num为图像中通过Hough变换算法检测出的直线的条数，Len(I)即为第1条直线的 长度，Lmx为所有直线中最长直线的长度，Uin为所有直线中最短直线的长度； γ是灰度图像的梯度图Ig的权重系数，由上述第二步得到的原始彩色图像的显著图Sal 的面积决定，显著目标面积大的图像，γ值应越大，可以更好地保护图像中不同显著目标之 间的边缘信息，其定义为：其中，原始彩色图像的显著图Sal的尺寸为MXN像素，Sal(mc，nc)为在原始彩色图像的 显著图中(me, nc)处的像素值，Ts为设定的阈值； 第六步，使用线裁剪算法对原始图像进行裁剪： 原始彩色图像〇的大小为MXN像素，目标图像大小为,像素，线裁剪是提取ImhvT 条行像素线和I N-Y I条列像素线，如果目标图像尺寸小于原始图像尺寸，则删除该像素线 使原始图像尺寸缩小一行或一列，如果目标图像尺寸大于原始图像，则复制该像素线插入 到原始图像相应位置，循环处理Im-M' I或IN-Y I次使得原始图像尺寸达到目标图像大小， 通过动态规划找出合适的裁剪线，并进行裁剪操作，具体步骤如下： (1) 计算列裁剪线中由非相邻像素点成为相邻像素产生的能量： 利用下式(14)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：其中，I是第一步得到的灰度图像，Cf表示移除灰度图像I中像素（i，j)与（i-l，j-l)时 所产生的能量，表示移除灰度图像I中像素（i，j)与时所产生的能量，表示移 除灰度图像I中像素(i，j)与（i-i，j+i)时所产生的能量； (2) 计算当前最小列裁剪线能量： 计算当前最小能量列裁剪线能量的公式如下所示：ey(i，j)为当前最小能量列裁剪线能量，也即最小能量列裁剪线中像素点（i，j)处累积 能量； (3) 寻找累计能量最小的列裁剪线： 在ey计算灰度图像I最后一行中最小能量值的像素即为列裁剪线最后一个像素，以ey (i，j)像素为起点，从最后一行回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一 直找到灰度图像I的第一行，所有联通的像素所组成的像素线即为累计能量最小的列裁剪 线； (4) 计算行裁剪线中由非相邻像素点成为相邻像素产生的能量： 利用下式(16)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：其中，I是第一步得到的灰度图像，Cf表示移除灰度图像I中像素（i，j)与（i+l，j-l)时 所产生的能量，表示移除灰度图像I中像素（i，j)与时所产生的能量，Cf:表示移 除灰度图像I中像素(i，j)与时所产生的能量； (5) 计算当前最小行裁剪线能量： 计算当前最小能量行裁剪线能量的公式如下所示：ex(i，j)为当前最小行裁剪线能量，也即最小能量列裁剪线中像素点（i，j)处累积能量； (6) 寻找累计能量最小的行裁剪线： 在ex计算灰度图像I最后一列中最小能量值的像素即为行裁剪线最后一个像素，以ex (i，j)像素为起点，从最后一列回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一 直找到灰度图像I的第一列，所有联通的像素所组成的像素线即为累计能量最小的行裁剪 线； (7) 对输入的原始彩色图像O的图像进行线裁剪： 根据上述步（3)和(6)分别得到的列裁剪线与行裁剪线，根据第五步得到的能量函数， 通过上述步(3)和(6)找出当前图像中累计能量最小的裁剪线进行复制或者删除操作，原始 彩色图像〇的大小为MXN像素，目标图像大小为,像素，线裁剪是提取Imhv^ I条行像素 线和IN-Y I条列像素线，如果目标图像尺寸小于原始彩色图像尺寸，则删除该像素线使原 始彩色图像尺寸缩小一行或一列，如果目标图像尺寸大于原始彩色图像尺寸，则复制该像 素线插入到原始彩色图像相应位置，循环处理IM-M' I次或IN-Y I次使得原始彩色图像尺寸 达到目标图像大小。2. 根据权利要求1所述一种基于内容感知的图像缩放方法，其特征在于:所述第三步中 的设定的阈值Tw取值为240。3. 根据权利要求1所述一种基于内容感知的图像缩放方法，其特征在于:所述第五步中 的设定的阈值Ts取值为200。
【专利摘要】本发明一种基于内容感知的图像缩放方法，涉及在图像平面内的图形图像转换，采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，依据该能量函数进行线裁剪操作完成图像的缩放，步骤是：输入彩色图像预处理；同时进行：提取原始彩色图像的显著图和显著目标图像、提取灰度图像的融合直线信息的边缘图和提取灰度图像的梯度图；利用HFPM算法对三种特征图融合得到能量函数；使用线裁剪算法对原始图像进行裁剪。本发明方法克服了现有的线裁剪方法采用图像的梯度图定义能量函数，在图像缩放时仍然存在失真和部分图像信息丢失的缺陷。
【IPC分类】G06T7/00, G06T3/40
【公开号】CN105488758
【申请号】CN201510865907
【发明人】张婷婷, 刘依, 于明, 于洋, 师硕, 翟艳东, 李航
【申请人】河北工业大学
【公开日】2016年4月13日
【申请日】2015年11月30日