一种保持重要内容区域宽高比的多算子图像重定向方法与流程

本发明属于图像处理领域，更具体地，涉及一种基于内容感知的图像重定向方法，特别涉及基于内容感知的保持重要内容区域宽高比的多算子图像重定向算法。
背景技术：
：基于内容感知的图像重定向方法——线裁剪方法与传统的重定向方法如最邻近插值、双线性插值以及裁剪等相比，能够随意改变图像的纵横比而不会让内容变扭曲，非常适用于现在显示尺寸日益多样化的移动终端设备。以下简单介绍现有的几类基于线裁剪的图像重定向方法。第一类方法，单独采用线裁剪技术进行图像重定向，其重定向方法是在图像能量图上查找优化裁剪缝隙，然后通过插入或移除裁剪缝隙来改变图像大小。然而这种方法的缺点是：仅依靠删除裁剪缝隙改变图像大小，图像内容容易产生锯齿形失真，进而影响视觉内容的完整性。第二类方法，采用线裁剪、缩放和传统裁剪等多个操作进行图像重定向，这类方法中存在两种方法。第一种方法是简单结合线裁剪和比例缩放，通过不同数量的线剪裁和比例缩放进行图像重定向，具体是利用图像欧氏距离的双向相似度函数、占主导地位的颜色描述相似性以及线能量变化来确定线裁剪的最佳数目。第二种是有规律的结合线剪裁与比例缩放，通过一定程度的反向运用线剪裁减少图像重定向过程中内容的丢失。具体的剪裁数量仍然通过利用图像欧式距离的双向相似度函数来确认。这两种方法的性能优于仅采用线裁剪技术的性能，但是它们的缺陷是：没有对图像中视觉显著区域进行检测和保护，容易引起重要信息的丢失，从而导致图像的失真。综上，现有的图像重定向方法未能体现高质量的视觉效果，现有算法的性能有待提升。技术实现要素：本发明的目的在于克服现有图像重定向方法未能体现高质量的视觉效果的缺点，提供了一种保持重要内容区域宽高比的多算子图像重定向方法，能够获得更高质量的视觉体验效果，从而提高图像重定向技术的性能。为了实现上述目的，本发明提供了一种保持重要内容区域宽高比的多算子图像重定向方法，包括：(1)对原始图像进行显著度检测得到显著度图，利用所述显著度图以及归一化后的灰度图生成能量图谱；(2)对所述能量图谱进行二值化分割得到重要内容区域和背景区域；(3)根据目标图像的尺寸，以及重要内容区域和背景区域的尺寸大小，计算重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸；(4)根据重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸，采用均匀放大方法对重要内容区域做非重定向维度的拉伸，采用反向线剪裁方法对图像背景区域做非重定向维度的拉伸，并采用均匀放大方法对拉伸后的图像做重定向维度的拉伸；其中，重定向维度是指需要缩放的维度，非重定向维度是指另一维度；(5)对步骤(4)得到的拉伸后的图像做相似性变换，将图像均匀缩放至非重定向维度大小与原始图像相同；(6)利用添加梯度矢量流的反向线剪裁方法将步骤(5)中得到的缩放后图像缩放至目标尺寸。本发明的一个实施例中，所述步骤(3)具体为：(3.1)计算原始图像在非重定向维度的尺寸增量：其中，所述h代表原始图像在非重定向维度的尺寸，所述w1代表重要内容区域在重定向维度的尺寸，所述wf代表目标图像在重定向维度的尺寸，且满足wf＜w1，所述δh代表原始图像在非重定向维度的尺寸增量；(3.2)根据原始图像的重要内容区域与背景区域的比例分配不同的增量值，其中，重要内容区域拉伸的增量为：其中，所述h1代表重要内容区域在非重定向维度的尺寸，所述β代表自适应参数，所述δh1代表重要内容区域拉伸的尺寸增量；上背景区域和下背景区域拉伸的尺寸增量分别为：其中，所述h2代表上背景区域尺寸，所述h3代表下背景区域尺寸，所述δh2代表上背景区域拉伸的尺寸增量，所述δh3代表下背景区域拉伸的尺寸增量。本发明的一个实施例中，所述步骤(4)中采用反向线剪裁方法对背景信息部分进行尺寸拉伸，具体为：(4.1.1)对背景信息部分图像每个像素点赋能量值；定义图像的梯度值作为能量值：其中，x代表原图像，代表卷积，e代表图像的梯度图。(4.1.2)运用动态规划方法寻找能量值最小的裁剪线；(4.1.3)复制该裁剪线的每个像素点并将其插入在原像素点下方。本发明的一个实施例中，所述动态规划方法为：(4.1.2.1)计算图像中每个像素点对应的前向累积能量值图，计算过程如下：m(i，j)＝e(i，j)+min(m(i-1，j-1)，m(i-1，j)，m(i-1，j+1))其中，所述e(i，j)代表该像素点的能量，所述m(i，j)代表计算的该像素点的前向累积能量；(4.1.2.2)从前向累积能量图m最后一行中找出最小能量值的位置点(i，j)，并以此点为入口，每次取上一行中相邻的三点中累积能量最小的那个点作为该条线裁剪路线在该行的点，即：seam(i-1)＝min{(i-1，j-1)，(i-1，j)，(i-1，j+1)}其中，所述seam(i-1)代表裁剪线第(i-1)行所选取的点；(4.1.2.3)按此规则重复往上搜索至第一行即可得到裁剪线。本发明的一个实施例中，所述步骤(4)中均匀放大的方法为双线性差值法，双线性插值法利用图像的灰度值作为能量值进行计算，双线性差值法图像均匀缩放步骤如下：(4.2.1)根据缩放目标尺寸计算缩放后图像像素点与原图像像素点对应关系：其中，所述if，jf分别代表缩放后图像的横纵坐标，所述ki，kj分别代表横纵向的缩放比例，i，j分别代表原始图像的横纵坐标；(4.2.2)则像素点(if，jf)所对应的四邻域点能量值分别为：其中，所述和分别代表if和jf的上整；(4.2.3)双线性差值的计算：其中，所述ef(i，j)代表缩放后图像中的像素点能量值；(4.2.4)计算缩放后图像的每个像素点的能量值，即可得到缩放图像。本发明的一个实施例中，所述步骤(6)具体为：(6.1)计算图像中每个像素点的gvf向量gvf(i，j)，gvf(i，j)包含大小和方向；(6.2)以图像第一行像素点(1，j)为初始点，向下逐行规划得出n条线缝，n为图像在重定向维度的尺寸；(6.3)计算n条线缝的累加能量值，这里的能量取gvf向量的大小；(6.4)删除能量值最小的线缝，并重复步骤(6.1)至(6.4)，直到缩放到目标图像的尺寸，完成图像压缩。本发明的一个实施例中，所述步骤(6.2)具体为：依据图像中每个像素点的gvf向量方向规划得出候选裁剪线，假设当前像素点为(i，j)，则向下规划，第(i+1)行的像素点在像素点(i+1，j-1)、(i+1，j)、(i+1，j+1)中选取，选取规则如下：其中，所述θ[gvf(i，j)]代表点(i，j)的gvf向量的方向。本发明的一个实施例中，所述自适应参数β根据重要内容区域与背景区域部分的比例选取：本发明的一个实施例中，所述步骤(4)中采用均匀放大方法对重定向维度方向进行拉伸以平衡重要内容区域的尺寸拉伸，其拉伸后的尺寸为：其中，所述w代表原始图像的原始尺寸，所述wenl代表拉伸后的图像尺寸。本发明的一个实施例中，所述能量图谱通过下式计算：e＝s×gm其中所述s表示原始图像的显著度图，所述gm表示归一化后的灰度图，其中：其中，所述g表示原始图像的灰度值，其取值范围为(0,255)，所述gmax和gmin分别为图像灰度值的最大值和最小值。本发明的一个实施例中，所述步骤(2)具体为：(2.1)选取自适应阈值，根据所述自适应阈值对能量图谱进行二值化分割，得到二值化能量图谱；包括：(2.1.1)选取自适应阈值，所述二值化阈值是使得目标函数最大化的t0值，能量大于t0的点称为前景点，能量小于t0的点称为背景点，目标函数为：g(t0)＝ω0(u0-u)2+ω1(u1-u)2其中，所述ω0、ω1分别代表前景点和背景点的个数占整个图谱总点数的比例，所述u0、u1分别代表前景点和背景点的能量平均值，所述u代表整幅图谱能量的平均值；(2.1.2)根据所述自适应阈值进行二值化分割，分割原则为：其中，所述e(x，y)和em(x，y)分别表示输入的能量图谱和输出的二值化能量图谱；(2.2)检测二值化能量图谱中值为1的点，选取最上方(i1，j1)、最下方(i2，j2)、最左方(i3，j3)和最右方(i4，j4)四个边界点；(2.3)则四边形[(j1-j2)×(i4-i3)]即重要内容区域，其余则为背景信息部分。本发明的有益效果是：能够克服现有图像重定位方法未能体现高质量的视觉效果的缺点，通过调整重要对象的全局比例来达到重定向过程中保护重要对象的目的，提高图像重定向的质量，使图像重定向技术获得更高质量的视觉体验效果。附图说明图1为本发明实施例中一种保持重要内容区域宽高比的多算子图像重定向方法的流程示意图；图2为本发明实施例中一种保持重要内容区域宽高比的多算子图像重定向过程的图像变化示意图；图3为本发明实施例中对图像宽度方向进行重定向方法的流程示意图；图4为原始分辨率为400×344，目标分辨率为280×344的图像缩放效果比较示意图；图5为原始分辨率为267×400，目标分辨率为134×400的图像缩放效果比较示意图；图6为原始分辨率为400×300，目标分辨率为200×300的图像缩放效果比较示意图；图7为原始分辨率为300×400，目标分辨率为210×300的图像缩放效果比较示意图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1和图2所示，本发明提供了一种保持重要内容区域宽高比的多算子图像重定向方法，包括：(1)对原始图像进行显著度检测得到显著度图，利用所述显著度图以及归一化后的灰度图生成能量图谱；具体地，所述能量图谱可通过下式计算：e＝s×gm其中，所述s表示原始图像的显著度图，所述gm表示归一化后的灰度图，其中：其中，所述g表示原始图像的灰度值，其值为(0～255)，所述gmax和gmin分别为图像灰度值的最大值和最小值。(2)对所述能量图谱进行二值化分割得到重要内容区域和背景区域；具体包括：(2.1)选取自适应阈值，根据所述自适应阈值对能量图谱进行二值化分割，得到二值化能量图谱；包括：(2.1.1)选取自适应阈值，所述二值化阈值是使得目标函数最大化的t0值，能量大于t0的点称为前景点，能量小于t0的点称为背景点。目标函数可以表示为：g(t0)＝ω0(u0-u)2+ω1(u1-u)2其中，所述ω0、ω1分别代表前景点和背景点的个数占整个图谱总点数的比例，所述u0、u1分别代表前景点和背景点的能量平均值，所述u代表整幅图谱能量的平均值；(2.1.2)根据所述自适应阈值进行二值化分割，分割原则可以表示为：其中，所述e(x，y)和em(x，y)分别表示输入的能量图谱和输出的二值化能量图谱；(2.2)检测二值化能量图谱中值为1的点，选取最上方(i1，j1)、最下方(i2，j2)、最左方(i3，j3)和最右方(i4，j4)四个边界点；(2.3)则四边形[(j1-j2)×(i4-i3)]即重要内容区域，其余则为背景信息部分；(3)根据目标图像的尺寸，以及重要内容区域和背景区域的尺寸大小，计算重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸；通过非重定向维度的拉伸降低重要内容所占的比例从而在重定向过程中保护重要内容的宽高比，为方便起见，本发明中以宽度缩小为例，其拉伸步骤如下：(3.1)计算非重定向维度(纵向高度)的增量，可以表示为：其中，所述h代表原始图像的高度，所述w1代表重要内容区域的宽度，所述wf代表目标图像的宽度，所述δh代表纵向高度的增量；(3.2)根据原始图像的重要内容区域与背景区域的比例分配不同的高度增量值，其中，重要内容区域拉伸的高度增量为：其中，所述h1代表重要内容区域的高度，所述β代表自适应参数，所述δh1代表重要内容区域拉伸的高度增量；通常地，所述自适应参数β根据重要内容区域与背景区域部分的比例选取，可以表示为：上背景区域和下背景区域拉伸的高度增量分别为：其中，所述h2代表上背景区域高度，所述h3代表下背景区域高度，所述δh2代表上背景区域拉伸的高度增量，所述δh3代表下背景区域拉伸的高度增量；(4)根据重要内容区域和背景区域在非重定向维度应分别拉伸的尺寸，采用均匀放大方法对重要内容区域做非重定向维度的拉伸，采用反向线剪裁方法对图像背景区域做非重定向维度的拉伸，并采用均匀放大方法对拉伸后的图像做重定向维度的拉伸；其中，重定向维度是指需要缩放的维度，非重定向维度是指另一维度；(4.1)采用反向线剪裁方法对背景信息部分进行高度拉伸；其步骤如下：(4.1.1)对背景信息部分图像每个像素点赋能量值；在反向线剪裁过程中我们定义图像的梯度值作为能量值，梯度定义如下：则应用于数字图像中其中，x代表原图像，代表卷积，e代表图像的梯度图。(4.1.2)运用动态规划方法寻找能量值最小的裁剪线；具体地，所述动态规划方法为：(4.1.2.1)计算图像中每个像素点对应的前向累积能量值图，计算过程如下：m(i，j)＝e(i，j)+min(m(i-1，j-1)，m(i-1，j)，m(i-1，j+1))其中，所述e(i，j)代表该像素点的能量，所述m(i，j)代表计算的该像素点的前向累积能量；(4.1.2.2)从前向累积能量图m最后一行中找出最小能量值的位置点(i，j)，并以此点为入口，每次取上一行中相邻的三点中累积能量最小的那个点作为该条线裁剪路线在该行的点，即：seam(i-1)＝min{(i-1，j-1)，(i-1，j)，(i-1，j+1)}其中，所述seam(i-1)代表裁剪线第(i-1)行所选取的点；(4.1.2.3)按此规则重复往上搜索至第一行即可得到裁剪线。(4.1.3)复制该裁剪线的每个像素点并将其插入在原像素点下方。(4.2)采用均匀放大的方法对重要内容区域进行高度拉伸；(4.3)采用均匀放大方法对宽度进行拉伸以平衡重要内容区域的高度拉伸，其拉伸后的宽度可以表示为：其中，所述w代表原始图像的原始宽度，所述wenl代表拉伸后的图像宽度；进一步地，所述(4.2)和(4.3)中均匀放大的方法为双线性差值法，双线性插值法利用图像的灰度值作为能量值进行计算，双线性差值法图像均匀缩放步骤如下：(4.2.1)根据缩放目标尺寸计算缩放后图像像素点与原图像像素点对应关系：其中，所述if，jf分别代表缩放后图像的横纵坐标，所述ki，kj分别代表横纵向的缩放比例，i，j分别代表原始图像的横纵坐标；(4.2.2)则像素点(if，jf)所对应的四邻域点能量值分别为：其中，所述和分别代表if和jf的上整；(4.2.3)双线性差值的计算：其中，所述ef(i，j)代表缩放后图像中的像素点能量值；(4.2.4)计算缩放后图像的每个像素点的能量值，即可得到缩放图像。(5)对步骤(4)得到的拉伸后的图像做相似性变换，将图像均匀缩放至非重定向维度大小与原始图像相同；(6)利用添加梯度矢量流的反向线剪裁方法将步骤(5)中得到的缩放后图像缩放至目标尺寸，具体地：(6.1)计算图像中每个像素点的gvf向量gvf(i，j)，gvf(i，j)包含大小和方向；(6.2)以图像第一行像素点(1，j)为初始点，向下逐行规划得出n条线缝，n为图像宽度；具体地，依据图像中每个像素点的gvf向量方向规划得出候选裁剪线，假设当前像素点为(i，j)，则向下规划，第(i+1)行的像素点在像素点(i+1，j-1)、(i+1，j)、(i+1，j+1)中选取，选取规则如下：其中，所述θ[gvf(i，j)]代表点(i，j)的gvf向量的方向。(6.3)计算n条线缝的累加能量值，这里的能量取gvf向量的大小；(6.4)删除能量值最小的线缝，并重复步骤(6.1)至(6.4)，直到缩放到目标图像的尺寸，完成图像压缩。下面结合一具体实例说明发明方法，在下面的实施例中，仅以一幅图像宽度缩小为例，对本发明的保持重要内容区域宽高比的多算子图像重定向方法进行描述。如图3所示，该方法包括以下步骤：步骤100：读入原始图像。步骤101：对输入图像进行图像视觉显著度检测得到显著度图。步骤102：对输入图像进行归一化的灰度变换得到灰度图。步骤103：将显著度图和灰度图对应相乘得到输入图像的能量图谱。步骤104：对能量图谱进行最大类间方差法(otsu)阈值分割得到重要内容：(1041)自动选取二值化阈值，阈值是使得目标函数最大化的t0值，能量大于t0的点称为前景点，能量小于t0的点称为背景点。目标函数可以表示为：g(t0)＝ω0(uo-u)2+ω1(u1-u)2其中，所述ω0、ω1分别代表前景点和背景点的个数占整个图谱总点数的比例，所述u0、u1分别代表前景点和背景点的能量平均值，所述u代表整幅图谱能量的平均值。(1042)根据阈值进行二值化分割，分割原则可以表示为：其中，所述e(x，y)和em(x，y)分别表示输入的能量图谱和输出的二值化能量图谱。(1043)检测二值化图像中值为1的点，选取最上方(i1，j1)、最下方(i2，j2)、最左方(i3，j3)和最右方(i4，j4)四个边界点,则四边形[(j1-j2)×(i4-i3)]即重要内容区域。步骤105：根据划分的重要内容的尺寸、原始图像尺寸与目标图像尺寸计算重要内容区域与背景区域的拉伸程度。(1051)纵向高度的增量，可以表示为：其中，所述h代表图像的高度，所述w1代表图像重要内容区域的宽度，所述wf代表图像的目标宽度，所述δh代表纵向高度的增量；(1052)根据图像重要内容区域与背景信息部分的比例分配不同的增量值，其中，重要内容区域拉伸的高度增量为：其中，所述h1代表图像重要内容的高度，所述β代表自适应参数，所述δh1代表重要内容拉伸的高度增量。上背景和下背景区域拉伸的高度增量分别为：其中，所述h2代表上背景区域高度，所述h3代表下背景区域高度，所述δh2代表上背景区域拉伸的高度增量，所述δh3代表下背景区域拉伸的高度增量；(1053)进行宽度拉伸平衡重要内容区域的高度拉伸，其拉伸后的宽度可以表示为：其中，所述w代表图像的原始宽度，所述wenl代表拉伸后的图像宽度；(1054)根据重要内容区域与背景区域比例自适应的选取参数β值，可以表示为：步骤106：根据步骤105计算出来的尺寸，对重要内容区域进行均匀放大，对背景信息部分利用反向线剪裁增加高度、利用均匀放大增加宽度。步骤107：对放大后的图像进行相似性变换至与原图像等高度。步骤108：利用添加了梯度矢量流的改进的线剪裁算法对图像进行微调至目标尺寸。(1081)计算图像中每个像素点的gvf向量gvf(i，j)，包含大小和方向；(1082)以图像第一行像素点(1，j)为初始点，向下逐行规划得出n条线缝，n为图像宽度，逐行规划规则为：假设当前像素点为(i,j),则向下规划，第(i+1)行的像素点在点(i+1,j-1)、(i+1,j)、(i+1,j+1)中选取，选取规则为：其中，所诉的θ[gvf(i，j)]代表点(i,j)的gvf向量的方向。(1083)计算n条线缝的累加能量值，这里的能量取gvf向量的大小；(1084)删除能量值最小的线缝并重复步骤(1081)至(1084)，直到缩放到目标图像的尺寸，完成图像压缩。步骤109：输出目标图像。至此完成了整个自适应图像重定向过程，通过执行该过程，能够克服现有图像重定向方法未能体现高质量的视觉效果的缺点，通过调整重要对象的全局比例来达到重定向过程中保护重要对象的目的，从而提高图像重定向的质量，使图像重定向技术获得更高质量的视觉体验效果。为了测试本发明的图像重定向方法的性能，采用专门针对图像重定向的公共图像数据库进行实验测试。为了衡量算法的性能，从图像主观效果和图像客观缩放质量两方面分别对本发明的方法和其他四种图像重定向算法进行了性能的比较。如图4、5、6、7所示，分别是原始分辨率和目标分辨率均不相同的四幅图像的缩放结果比较。图4～图7中采用其他方法缩放后的图像均出现程度不同的失真，失真内容已在各个图中用红色方框标注出来。这主要是因为其他方法只在于单一的缩小图像的宽度或者高度，当图像中包含的视觉显著对象过大时，势必会在缩放过程中影响视觉显著对象而产生失真。而本发明方法由于是全局性的保护视觉显著对象，通过对宽度和高度的拉伸改变视觉显著对象的整体尺寸来使其适应目标尺寸，从而完整地保存视觉显著对象，因此就不会产生其他方法的失真现象。上述分析表明，采用本发明方法重建图像的主观效果比其他方法更好。采用图像缩放质量评价标准对本发明方法的性能进行客观评价，该评价标准通过遍历原始图像和缩放图像在不同尺度空间的相关性得到图像质量评价的质量指数，该质量指数的范围是[0,1]，数值越大说明两幅图像的匹配度越高，即缩放图像的质量越好。分析比较15幅相关图像的图像质量指数如下表1所示。表1图像质量指数比较scgvfmoour图20.09700.13580.15830.1594图30.40290.36020.38400.4469图40.31240.44180.26940.5478图50.14980.17830.03540.1858上述结果表明，采用本发明方法缩放后的图像质量明显优于采用其他方法获得的图像，这主要是由于本发明方法加强视觉显著内容的保护，并确保了视觉显著内容的完整性，使得缩放之后的图像与原始图像在空间上的相关性很高，匹配度也随之明显提高。由此说明，在客观评价结果上本发明方法同样具有更好的性能。本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12