基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法

基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法
【专利摘要】基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法涉及图像处理领域。它融合了细缝裁剪方法和非均匀映射方法的优点，而且解决了二者结合时的速度和效果不佳的问题。首先采取基于条带和相邻度的快速细缝裁剪方法，同时采用一种快速地质量评价方法，监测重要信息变形，当变形超过设定指标时，终止细缝裁剪方法，切换为非均匀映射方法，不仅能够快速实现图像的自适应，同时能够更好的保持图像的语义内容。本发明从图像是否产生变形失真，是否丢失重要信息作为评判标准，有效的保护了重要区域信息，使重要区域等比例缩放不变形，对非重要区域进行压缩保证了全局信息。
【专利说明】基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法
【技术领域】
[0001]本发明涉及图像处理【技术领域】中基于内容的图像自适应技术，具体涉及一种快速细缝裁剪与非均匀映射相结合的图像自适应方法的研究及实现。
【背景技术】
[0002]随着移动多媒体技术的迅速发展，如移动电话和高清电视的不断换代更新，不同类型不同尺寸的显示终端不断涌现以适应各种不用的用户需求。为了保证不同设备的用户都能够舒适地观看同样的图像内容，这就要求图像重定位系统，使图像内容能够自适应于不同尺寸、不同比例的用户终端，研究保持图像主要内容的自适应技术具有重要的应用意义。
[0003]传统的图像自适应方法主要分为3种，第一种方法是均匀缩放Scaling技术，它将原始图像通过插值或下采样得到目标尺寸的图像，然而当需要改变图像宽高比来进行均匀缩放时，它往往会造成图像主要内容的拉伸变形。第二种方法是简单的裁切Cropping技术，它通过裁掉图像边缘内容来得到目标尺寸，这会带来较多内容信息的丢失。第三种方法是“信箱”Ietterboxing技术，选择图像宽度或高度的最小缩放比例作为整体缩放比例来对原始图像进行等比缩放，它的问题在于经常会在设备上下或左右两边产生黑色边框，不能充分的利用移动设备有限的屏幕资源。
[0004]基于内容感知的图像自适应技术就是用来解决如何将图像更好的显示在多样化的数字设备上的问题。由于传统的图像自适应方法都没有考虑图像的内容，为了使用户能够在终端设备上更舒适地观看图像，基于内容感知的图像自适应技术需要根据图像内容的重要程度对其进行处理，来自适应于不同网络类型、不同尺寸、不同比例的终端显示设备。基于内容感知的图像自适应方法可分为三种:一类是以细缝裁剪(Seam Carving)为代表的离散方法，另一类是以非均匀映射(Warping)为代表的连续方法，还有一种就是多种操作相结合的方法。基于内容感知的自适应技术最大的优点就是通处理图像中不引人注意的像素内容来改变图像的尺寸，最大限度的保护重要区域不发生形变，同时尽可能的保留原始图像的全局信息。
[0005]基于细缝裁剪的离散方法主要思想是对图像进行像素级的离散操作，在保留重要区域的同时不断的删除或复制不重要的像素细缝来改变图像的尺寸。它通过自动寻找图像中的水平或垂直方向单调、连通的最低能量线，从而去除/增加最低能量线来压缩/放大图像，这一方法的特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。但此类算法普遍存在时间计算复杂度比较高的问题。
[0006]基于非均匀映射的连续方法主要思想是建立源图像到目标图像的最优映射，映射过程中加入一些约束条件来保护图像内容。首先根据图像内容自动确定各像素点的重要性，然后根据像素的重要性对图像进行非均匀缩放，重要区域基本上采取相似变换，而不重要区域则采取非线性变换，使得图像重要区域形变和缩放比例较小，而将形变扩散在非重要区域。但由于连续的方法的实质相当于对图像进行重采样，这样的操作势必会导致结果图像出现模糊的效果。
[0007] 考虑到不同方法固有的互补的特性，一些研究者提出将几种方法相结合来对图像进行自适应处理，简称混合方法。该问题的关键是如何确定各种操作方法的量及其操作顺序。然而在确定了多操作方法的数量及顺序后，它的难点在于如何设计出一种有效的评价度量机制来衡量目标结果图像与源图像的相似度。这种评价准则实际上也是不同混合方法的主要差别之所在。因为该类算法综合了多种方法的优点，但同时它也引入各种方法的缺点，那么如何最优结合各种方法即决定最佳的操作顺序以及操作量，需要一种有效的质量评价方法去计算源图像与目标图像的相似度来决定不同缩放方法之间的切换点。然而大多多操作方法的时间复杂度较高，那么如何去加快多操作方法的处理速度也是需要认真考虑的问题。

【发明内容】

[0008]本发明提供一种基于内容感知的快速图像自适应技术，使固定尺寸的图像能够快速自适应地显示在不同类型的终端设备上，同时能够尽可能的保持原始图像中重要内容，保持关键对象无畸变，保持图像中的重要结构即空间位置关系相对不变，以保证最佳图像视觉效果。
[0009]本发明发明一种快速地图像自适应方法，它融合了细缝裁剪方法和非均匀映射方法的优点，而且解决了二者结合时的速度和效果不佳的问题。首先采取基于条带和相邻度的快速细缝裁剪方法，同时采用一种快速地质量评价方法，监测重要信息变形，当变形超过设定指标时，终止细缝裁剪方法，切换为非均匀映射方法，不仅能够快速实现图像的自适应，同时能够更好的保持图像的语义内容。
[0010]基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于:
[0011]I)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*HT ；
[0012]2)提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为I ;
[0013]3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括:
[0014]a.将原始图像分成N条等间距水平条带；
[0015]b.根据原图对应的显著性图计算每一个条带的重要性Si ；
[0016]c.根据每个条带的重要性值Si以及目标图像的高度Ht去计算每个条带的目标高度h/ ;原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度h/ =Ih1'，h2’...h； }T, i=l，2，...N可以通过求解最优化问题来获得，该最优化为题中，公式(2)为其目标函数，定义了目标条带的形变量，公式(3)为其约束条件:
[0017]
【权利要求】
1.基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于: 1)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*HT； 2)提取参考图像的重要信息，并用阈值将重要区域像素置为O，非重要区域像素置为I ; 3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括: a.将原始图像分成N条等间距水平条带； b.根据原图对应的显著性图计算每一个条带的重要性Si； c.根据每个条带的重要性值Si以及目标图像的高度Ht去计算每个条带的目标高度h/ ;原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度h/ =Ih1'，h2’...h； }T, i=l，2，...N可以通过求解最优化问题来获得，该最优化为题中，公式(2)为其目标函数，定义了目标条带的形变量，公式(3)为其约束条件:
【文档编号】G06T3/40GK103955887SQ201410143954
【公开日】2014年7月30日 申请日期:2014年4月11日 优先权日:2014年4月11日
【发明者】毋立芳, 王丽娟, 荆羽晨, 郑庆阳, 刘爽, 王清 申请人:北京工业大学