专利名称：用于基于内插增强式接缝操作的图像大小调整的方法和系统的制作方法
技术领域：
本原理总地涉及图像大小调整，更具体而言涉及用于通过采用接缝(seam)操作来对图像进行大小调整的方法和系统。
背景技术：
图像大小调整的传统方法涉及在不考虑图像内容的情况下缩放图像。利用这种方法减小图像的大小经常会致使图像中的对象无法辨别。因此，已经开发了技术，用于在大小调整期间保持图像的情境上重要的特征，同时不考虑图像的不那么重要的特征。一个这种技术利用接缝操作来在大小调整操作期间识别图像中的情境上不那么重要的特征。Avidan, Shai 禾口 Shamir，Ariel 所著的 Seam Carving for Content-Axare Image Resizing, SIGGRAPHr 07 Session Image Slicing & Stretching，2007 描述了缝合操作，其中定义并去除低能量接缝以减小图像大小。在Avidan中，接缝被定义为从图像的顶部到底部垂直延伸或者从左侧到右侧水平延伸的8连接曲线。预先计算按像素能量地图，其中能量被定义为梯度强度或定义为其他能量度量。通过动态编程确定水平和/或垂直方向上的最低能量曲线。为了减小图像的大小，去除最低能量曲线，因为关键图像内容不太可能呈现于图像的低能量部分中。通过接缝插入可类似地执行对图像大小的放大。Avidan中描述的接缝操作实现了内容知晓性，因为在对图像进行大小调整的同时将维持关键对象或场景。另外，因为接缝延伸过图像的整个高度和/或宽度，所以图像大小在大小调整操作期间被统一地改变。然而，虽然已知的接缝操作维持了内容知晓性，但随着为了图像大小调整而越来越多地去除或添加接缝，这些接缝操作却引入了不连续或突变。不可避免地，在图像被逐渐减小的同时，更高能量的接缝被去除，从而导致内容细节的丢失。类似地，在图像被放大的同时，添加的接缝不充分包括有效地与周围图像特征相关的内容细节。
发明内容
根据本原理的各种实施例的方法、装置和系统至少部分涉及通过提供包括内插方案的方法和系统以确保在对图像进行大小调整时保持连续性和平滑性，从而来解决现有技术的缺陷。在本原理的一个实施例，一种用于对图像进行大小调整的方法包括定义图像中的低能量接缝，确定邻近低能量接缝的接缝，将邻近接缝内插成新接缝，以及将新接缝与图像相组合以对图像进行大小调整。在本原理的替换实施例中，一种用于对图像进行大小调整的方法包括定义图像中的低能量接缝，确定低能量接缝中的每个像素周围的像素的邻域，对图像进行大小调整， 以及通过内插与要再生成的像素毗邻的像素来再生成每个邻域中的至少一个像素。在本原理的替换实施例中，一种用于对图像进行大小调整的系统包括低能量接缝检测模块，被配置为定义图像中的低能量接缝并且确定邻近低能量接缝的接缝；内插器， 被配置为将邻近接缝内插成新接缝；图像再生成器，被配置为将新接缝组合到图像以对图像进行大小调整。
通过结合附图考虑以下详细描述可容易地理解本原理的教导，附图中图1示出了根据本原理的实施例的用于通过内插邻近低能量接缝的接缝来对图像进行大小调整的方法的高级别流程图；图2示出了按像素能量地图，其图示了根据本原理的实施例的基于一维流形的针对水平接缝的接缝操作和内插；图3示出了按像素能量地图，其图示了根据本原理的实施例的针对水平接缝带的接缝操作和内插；图4示出了根据本原理的实施例的用于通过内插与低能量接缝中的像素周围的邻域中的像素毗邻的像素来对图像进行大小调整的方法的高级别流程图；并且图5示出了根据本原理的实施例的用于对图像进行大小调整的系统的高级框图。应当理解，附图用于图示本原理的概念，而不一定是用于图示本原理的唯一可能配置。为了帮助理解，在可能时使用了相同的标号来标示各图共有的相同元件。
具体实施例方式本原理的实施例有利地提供了根据本发明各种实施例的用于通过利用内插增强式接缝操作来对图像进行大小调整的系统和方法。虽然将主要在图像大小调整系统的情境内描述本原理，但不应认为本原理的具体实现方式限制本原理的范围。本领域的技术人员将会明白，并且本原理的教导将会告知，本原理的概念可被有利地应用在其他类型的数据表示中。例如，本原理的概念可实现在视频文件中包括的图像中。图中所示的各种元件的功能可通过使用专用硬件以及能够结合适当的软件来执行软件的硬件来提供。当由处理器提供时，这些功能可由单个专用处理器提供、由单个共享处理器提供、或者由多个独立的处理器(其中一些可能被共享)提供。另外，对术语“处理器”或“控制器”的明确使用不应当被解释为只指能够执行软件的硬件，而是可以隐含地包括(但不限于)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储设备。另外，这里的所有记载本原理的原理、方面和实施例及其具体示例的陈述，都意图包括其结构和功能等同物。此外，希望这种等同物既包括当前已知的等同物，也包括将来开发出的等同物(即所开发出的任何执行相同功能的元件，不论其结构如何)。因此，例如，本领域的技术人员将会明白，这里给出的框图表示了实现本原理的示例性系统组件和/或电路的概念性视图。类似地，将会明白，任何流程图、状态转换图、伪代码等等都表示实质上可以表示在计算机可读介质中并可以由计算机或处理器来如此执行的各种过程，不论这种计算机或处理器是否被明确地示出。现在将具体参考附图，其中相似的标号在若干视图中始终标识相似或相同的元件，首先参考图ι和2，示出了根据本发明实施例的用于利用内插增强式接缝操作来对图像进行大小调整的示例性方法100。这里针对由方块阵列表示的图像来描述本原理的方面，该方块阵列中的每个方块对应于一个像素。然而，应当注意，在本原理的各种实施例中可以采用其他图像部分大小和配置。从而，这里对术语“像素”的使用包含了其他适当的图像部分大小和配置。根据本原理的一个实施例，方法100可被实现来减小图像的大小。方法100开始于步骤102，其中如上所述定义图像中的低能量接缝。即，接缝被定义为从图像的顶部到底部垂直延伸或者从左侧到右侧水平延伸的8连接曲线。根据本发明，预先计算按像素能量地图(pixel-wise energy map)，其中能量被定义为梯度强度或定义为其他能量度量。低能量接缝可包括被调整大小的图像的接缝之中的具有最低能量的接缝。例如，在一个实施例中，低能量接缝可以是图像上的满足8连接属性的最低能量水平一维流形。在先前的接缝操作大小调整方法中，低能量接缝被简单地去除，并且其下方的像素被向上移动一个像素， 从而导致了突变和不连续。为了确保在根据本发明对图像进行大小调整时保持连续性和平滑性，根据本原理的一个或多个方面可以内插邻近接缝或像素。例如，该方法随后可进行到步骤104。在步骤104，确定邻近低能量接缝的接缝。例如，对于水平接缝，在步骤102中确定的低能量接缝可被定义为根据以下的式一(1)的数字化曲线4= Iti :(Xi，yi) |1 彡 i 彡 w，|Χ「Χη| 彡 1，IyiIiJ 彡 1}， (1)其中，&是水平接缝，t是该接缝上的点的集合，(xi; Yi)是点、的坐标，并且w是图像的以像素为单位的宽度。如式(1)中所示，低能量接缝可由W个像素构成。低能量接缝的一个像素在图2的打点部分202中作为较浅阴影的部分示出。邻近该低能量接缝的接缝可通过以下的式二 O)中示出的以下关系来确定Slfc = {tni (xni, yni) 1 ^ i ^ w, | ^i-Xi | = 0，| yni_yi | = 1}， (2)其中，SHn是邻近水平接缝，tn是邻近接缝上的像素的集合，(xni, yni)是点tni的坐标，(Xi，yi)是低能量接缝上的像素的坐标，并且w是图像的以像素为单位的宽度。从而，两个邻近接缝满足式O)的关系，其中一个邻近接缝是与低能量接缝像素在相同列中并且紧挨在低能量接缝像素上方的像素的集合，而另一邻近接缝是与低能量接缝像素在相同列中并且紧挨在低能量接缝像素下方的像素的第二集合。如图2中所示，接缝204和206对应于邻近水平接缝。类似地，在步骤104中可以确定邻近低能量垂直接缝的垂直接缝。例如，对于垂直接缝，在步骤102中确定的低能量接缝可被定义为根据以下的式三(3)的数字化曲线Sv = Irj (xj; Yj) 1 ^ j ^ h, | Xj-Xj^1 | ^ 1，| YrYj^1 ^ 1}, (3)其中，Sv是垂直接缝，r是该接缝上的点的集合，(xi; Yi)是点A的坐标，并且h是图像的以像素为单位的高度。邻近该垂直低能量接缝的接缝可根据以下的式四(4)来确定Svn = Irnj (xnJ, ynJ) | 1 彡 j 彡 h，| | = 1，| ynj-yj | = 0}， (4)其中，Svn是邻近接缝，rn是邻近接缝上的像素的集合，Unj，ynJ)是点的坐标， (Xpyi)是低能量接缝上的像素的坐标，并且h是图像的以像素为单位的高度。与水平接缝示例类似，两个接缝满足式，其中一个邻近接缝是与低能量接缝像素在相同行中并且紧挨在低能量接缝像素右方的像素的集合，而另一邻近接缝是与低能量接缝像素在相同行中
6并且紧挨在低能量接缝像素左方的像素的第二集合。方法100随后可进行到步骤106。在步骤106，可内插邻近接缝以形成新的接缝。与专在均勻网格上形成内插的已知内插方法不同，根据本原理的一个或多个实施例的内插方法是基于二维图像平面中的一维流形的。这样，内插可基于由接缝曲线定义的网格。例如，对于水平邻近接缝，可根据以下的式五(5)内插邻近接缝以形成新的接缝
权利要求
1.一种用于对图像进行大小调整的方法(100)，包括 定义(10 所述图像中的低能量接缝；确定(104)邻近所述低能量接缝的接缝； 将邻近接缝内插(106)成新接缝；以及将所述新接缝与所述图像相组合(108)以对所述图像进行大小调整。
2.如权利要求1所述的方法，其中，所述组合(108)包括用所述新接缝替换所述低能量接缝。
3.如权利要求2所述的方法，还包括去除(110)具有比所有其他邻近接缝的能量值更低的能量值的邻近接缝以减小所述图像的大小。
4.如权利要求1所述的方法，其中，所述组合(108)增大所述图像的大小。
5.如权利要求1所述的方法，其中，所述低能量接缝包括接缝带。
6.如权利要求5所述的方法，其中，所述组合(108)包括用所述新接缝替换所述低能量接缝。
7.如权利要求6所述的方法，还包括去除(110)具有比所有其他邻近接缝的能量值更低的能量值的邻近接缝以减小所述图像的大小。
8.如权利要求1所述的方法，其中，所述组合(108)减小所述图像的大小。
9.一种用于对图像进行大小调整的方法G00)，包括 定义(40 所述图像中的低能量接缝；确定(404)所述低能量接缝中的每个像素周围的像素的邻域； 对所述图像进行大小调整G06)；以及通过内插与要再生成的像素毗邻的像素来再生成(408)每个邻域中的至少一个像素。
10.如权利要求9所述的方法，其中，所述大小调整(406)包括去除所述低能量接缝以减小所述图像的大小。
11.如权利要求9所述的方法，其中，所述大小调整(406)包括通过在与所述低能量接缝毗邻的位置中添加所述低能量接缝的复制来增大所述图像的大小。
12.如权利要求9所述的方法，其中，所述确定(404)包括生成用于水平接缝的二进制地图和用于垂直接缝的二进制地图。
13.如权利要求9所述的方法，其中，所述低能量接缝是接缝带。
14.一种用于对图像进行大小调整的系统(500)，包括低能量接缝检测模块(504)，被配置为定义所述图像中的低能量接缝并且确定邻近所述低能量接缝的接缝；内插器(508)，被配置为将邻近接缝内插成新接缝；图像再生成器(510)，被配置为将所述新接缝组合到所述图像以对所述图像进行大小调整。
15.如权利要求14所述的系统，其中，所述图像再生成器(510)还被配置为在将所述新接缝组合到所述图像时用所述新接缝替换所述低能量接缝。
16.如权利要求15所述的系统，其中，所述图像再生成器(510)还被配置为去除具有比所有其他邻近接缝的能量值更低的能量值的邻近接缝以减小所述图像的大小。
17.如权利要求14所述的系统，其中，所述图像再生成器(510)还被配置为通过将所述新接缝添加到所述图像来增大所述图像的大小。
18.如权利要求14所述的系统，其中，所述低能量接缝包括接缝带。
19.如权利要求18所述的系统，其中，所述图像再生成器(510)还被配置为用所述新接缝替换所述低能量接缝。
20.如权利要求18所述的系统，其中，所述图像再生成器(510)还被配置为去除具有比所有其他邻近接缝的能量值更低的能量值的邻近接缝以减小所述图像的大小。
全文摘要
用于利用内容知晓接缝操作对图像进行大小调整的方法和系统包括定义低能量接缝，低能量接缝定义了情境上不那么重要的信息(102)，并且将这种信息用于基于一维流形的内插(106)。内插可形成新的接缝和/或再生成的像素，它们可与图像组合(108)以提供表现出平滑和连续的特征的内容知晓大小调整图像。
文档编号G06T3/40GK102203825SQ200880131822
公开日2011年9月28日 申请日期2008年10月29日 优先权日2008年10月29日
发明者罗英, 郭菊 申请人:汤姆逊许可证公司