基于内容感知的交互式网格约束变形图像自适应缩放方法

文档序号:9668102阅读:505来源:国知局
基于内容感知的交互式网格约束变形图像自适应缩放方法
【技术领域】
[0001] 本发明涉及图像、多媒体信号处理领域,尤其涉及一种基于内容感知的交互式网 格约束变形图像自适应缩放方法。
【背景技术】
[0002] 随着电子科技的发展,信息的采集、显示也基本数字化了,图像、视频的采集与显 示给我们的生活带来了很多便利,由于显示设备的显示大小与显示比例的不同,对于同一 采样数据的显示,需要进行处理后才能在显示设备上完美显示。例如电视的传播信号为 4:3,电影的画幅是20:9,而手机的显示比例为16:9。所以在这些设备上显示这些内容时, 传统的等比缩放往往不能充分利用屏幕的显示面积,如果直接拉伸又会造成显示内容的失 真变形。为了使图像在不同的显示设备中,充分利用显示面积,同时不造成明显的失真,这 一问题被称为2维图像重构,重构方法可以分为离散和连续两类,下面以图6-a为例说明:
[0003] 第一类离散处理方法如图6-b所示,将图像划分为不同的处理单元,对具备不同 特征的处理单元进行删除或者复制的操作使得满足最终的显示大小。这里面包括裁剪、细 缝裁剪、移位映射、块匹配等。这些方法采用的不同的离散实体,如细缝裁剪中是单个像素, 移位映射是不规则的块区域。通过增加或者删除部分实体,并最终获得指定大小的图像。生 成图6-b的移位映射可以看做图像为了将源图像的宽度变小,通过去除图像中网的部分, 在通过图割算法解决拼接产生的接缝,最终的处理结果自然,主体清晰。该类方法的特点是 结果不可控,处理结果过于依赖图像本身的内容分布,针对某些背景简单的图像,通过直接 去除或者增加背景区域就可以取得较好的结果。然而对于复杂背景,往往很难运算得出符 合显示效果的图像,如果将图6-b的宽度在缩减一半,背景部分的信息就很难做出调整来 适应主体的两只鸟这部分。算法实用性一般,运算时间不稳定。离散方法本质上相当于图 像重组,该类方法易于设计交互来控制最终的编辑结果,如块匹配算法中利用一个新的随 机最近邻域搜索算法,找到每个块对应于图像中最相似的部分,通过交互工具,对图像进行 指定尺寸合成,合成结果连续。
[0004] 第二类连续的方法采用的连续或者分段连续的映射函数,将目标图像中的像素所 处的位置对应到源图像中某个位置,常见的有鱼眼变形和卷曲,鱼眼变形可以看做是一种 连续映射函数,而卷曲的实现看以看做是不同区域采用不同的映射函数,也就是分段连续。 以后不断发展的基于图像内容的卷曲的方法通常采用矩形网格,或者三角形网格。上述方 法大体可以分为三个步骤,首先选取特征点,然后根据特征点所具备的特征及目标显示大 小计算出特征定的新位置,最后对对应网格区域分别进行仿射变化。该方法简单快速,处理 复杂度与处理结果不变。图6-C就是采用卷曲方法的处理结果。图像中除了鸟部分的区域 都进行较大范围的形变以适应目标显示大小,连续的方法对图像中的线条的连续性保护较 好,不过对于图像中出现在不同网格中的同一线条,可能会因为出现在不同区域而造成失 真不连续,因此很多算法的网格选取都尽可能的选取图像的边缘。
[0005] 不过对于处理边缘较少的图像,卷曲的方法不仅计算速度快而且取得的效果好。 这类方法试图将尺寸变化带来的几何变化尽可能的传递给非显著区域,使得显著区域的形 变不明显。这类方法可以通过控制各个区域的形变参数来控制最终的显示结果,不过对于 边缘信息较多的图像会产生较为明显的不连续。
[0006] 由于图像的内容不同,针对某些特定的情况,单一离散或者连续方法就可以取得 良好的结果,因此通过对这两类方法进行适当的结合,就可以处理更大宽容度内的图像重 构问题。

【发明内容】

[0007] 本发明所要解决的技术问题是针对【背景技术】中所涉及到的缺陷,提供一种基于内 容感知的交互式网格约束变形图像自适应缩放方法,更好的满足用户浏览体验以及图像的 理解。
[0008] 本发明为解决上述技术问题采用以下技术方案:
[0009] 基于内容感知的交互式网格约束变形图像自适应缩放方法,具体包括以下步骤:
[0010] 步骤1),确定图像的视觉显著区域,得到视觉显著图;
[0011] 步骤2),确定输入图像的能量分布图;
[0012] 步骤3),确定输入图像的纹理区域分布;
[0013] 步骤4),确定输入图像的特征点分布图;
[0014] 步骤5),确定中间图像的大小;
[0015] 步骤6),计算特征点分布图中每个特征点的位置变化值,进而求出每个特征点的 新位置;
[0016] 步骤7),根据输入图像的特征点分布图对输入图像进行三角剖分,并根据步骤6) 求出的每个特征点的新位置,通过反射变换求出与输出图像纵横比相同的中间图像;
[0017] 步骤8),根据输入图像的纹理区域分布对步骤7)中生成的中间图像中对应的纹 理部分进行纹理合成替换,生成经过纹理处理过的中间图像;
[0018] 步骤9),对经过纹理处理过的中间图像采用双线性插值变换,缩放至符合目标输 出大小的图像。
[0019] 作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的 优化方案,所述步骤1)的详细步骤如下:
[0020] 基于输入图像所具备的低级特征,通过计算具有相似低级特征的像素区域与图像 全局特征的对比确定显著区域像素的分布,为弥补视觉显著模型的输出结果不理想,加入 交互画刷增加或者减少视觉显著区域;所述低级特征包括梯度和亮度特征值。
[0021] 作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的 优化方案,所述步骤2)的详细步骤如下:
[0022] 计算输入图像中每个像素点四个方向的梯度值的和,加上视觉显著图获得输入图 像的能量分布图。
[0023] 作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的 优化方案,所述步骤3)的详细步骤如下:
[0024] 通过对输入图像进行平滑滤波,滤除纹理区域的细节信息,从而使具有相似纹理 区域的像素具有相近的颜色特征,将平滑滤波处理过的图像中具有相似颜色特征的像素联 通,且大于图像显示面积的四分之一的区域标记为图像的纹理区域。
[0025] 作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的 优化方案,所述步骤4)的详细步骤如下:
[0026] 对输入图像进行超像素分割,对超像素分割图中在视觉显著区域的像素区域进行 遍历,检测遍历处像素点与遍历处8邻域像素的距离值的数量,如果求出的距离值数量大 于等于3,就认为该点为特征点,标记该特征点的种类为1;边缘辅助点的选取依据每条边 上包括每条边的顶点在内,一共8个点,这些边缘特征点的种类值标记为0,得到种类值为1 的视觉显著区域的特征点及种类值为〇的边缘辅助点的特征点分布图。
[0027] 作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的 优化方案,所述步骤5)的中间图像大小计算的详细步骤如下:
[0028]步骤5. 1),以视觉显著图为基础,建立以显著区域的质心为原点、通过原点且平行 于长和宽方向射线为坐标X轴Y轴的坐标系;
[0029]步骤5. 2),根据以下能量变化函数计算能量分布图在步骤5. 1)中所建坐标系中 四个象限的能量值,进而得到中间图像四个顶点的新坐标值。
[0030]E(zl,z2,z3,z4) =αΦΕ(zl,z2) +β*E(z3,z4)
[0031] 其中,El、E2、E3、E4分别为四个象限的能量值,Al、A2、A3、A4分别为输入图像的 四个顶点坐标,Bl、B2、B3、B4分别为中间图像的四个顶点坐标,Cl、C2、C3、C4分别为视觉 显著图的四个顶点坐标,n、m、r分别为输入图像的长、高、纵横比,N、M、R分别为目标显示大 小的长、高、纵横比,zl、z2、z3、z4分别为坐标点的变化量;
[0032]E(zl,z2,)=m*[zl2*(El+E
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1