专利名称：对图像序列重设尺寸的制作方法
技术领域：
本发明涉及以根据图像内容的方式对相关图像的有序序列进行重设尺寸。本发明 的一个应用是电影或视频资料的横纵比变换。
背景技术：
经常需要改变含图像序列的一组图像的整体形状。一个实例是修改以16 9的 横纵比(宽高比)创建的视频资料，以使其显示在具有4 3的横纵比的显示设备上。在 这样的处理中，通常不期望改变图像中描绘的对象的比例。已知的方法包括从图像的部分 中去除(剪切)资料，以及应用改变整个图像区域的空间缩放，从而只有接近图像边缘的对
象失真。更复杂的技术包括这样的系统，该系统分析图像内容以识别其空间比例必须被保 留的被描绘对象，并且只缩放图像的其他部分，以获得符合要求的图像的整个形状的改变。Avidan和Shamir于2007年8月在SIGGRAPH会议的会议录中发表的文章“Seam Carving for Content-Aware Image Resizing”中描述了一种用于对单一图像重设尺寸的 特别有趣的技术。在该技术中，经由相邻像素组(其具有累积的高空间频率能量的最小测 量值)来连接图像的相对边缘的路径被认为是“接缝(seam)”。然后，从图像中去除包含这 种接缝的像素，从而在与接缝正交的方向上将图像尺寸减小一个像素间距。在被处理的图 像上重复该处理以识别也要去除的第二接缝；并且该处理一直持续到获得期望的尺寸减小 量。通过使用最小高空间频率能量的测量值来识别接缝位置，去除位于更有可能表示 被描绘对象之间的空间的相对不详细的区域中的像素，从而使被描绘对象的形状失真最小 化。本文还描述了可以如何在纵向和横向方向上应用不同程度的尺寸减小以及该技 术可以如何扩展到处理图像尺寸的放大。然而，这些技术对相关图像的序列(诸如，在时间或视点序列中捕获的相同场景 的视图)的应用将导致令人不快的缺陷。
发明内容
在一个方面中，本发明包括一种改变第一图像的尺寸、形成部分图像序列的方法 和装置，其中，将低空间频率能量区从第一图像中去除或者在第一图像中放大，其中，第一 图像中要去除或放大的区域的选择偏向序列中的第二图像中的低空间频率能量区的位置。优选地，第一图像中要去除或放大的区域的选择偏向序列中的第二图像中的低空 间频率能量区的运动补偿位置，并且运动补偿用于补偿第一和第二图像之间的移动。对于实现图像尺寸减小，去除低空间频率能量像素并将剩余像素移动得更加接 近，而无需改变它们各自的值，从而恢复像素位置的规则序列。对于实现图像尺寸放大，复制低空间频率能量像素并在邻近该低空间频率能量像素处插入复制的像素，以将初始像素移动得更加分离，而无需改变它们各自的值，从而恢复 像素位置的规则序列。在本发明的第二方面，对序列中的一个或多个图像的像素推导出取决于一个或多 个低空间频率能量区的位置的一组像素位移值，从而由各自的像素位移值定义产生各自改 变尺寸的输出图像所需要的输入像素的平移(translation)，并通过将各自的像素位移值 应用到它们的像素而在尺寸上改变各自的图像。在另一方面中，可以通过在识别低空间频率能量区之前内插新图像来增加序列中 的图像的数量。优选地，通过运动补偿内插生成附加的图像。在另一方面中，可以通过分析要改变尺寸的图像的下采样版本来识别低空间频率
能量区。优选地，该下采样是各向异性的。优选地，下采样的间距在与图像尺寸减小的方向正交的方向上更长。在另一方面中，通过分析要改变尺寸的图像的空间低通滤波版本来识别低空间频
率能量区。优选地，该空间低通滤波器是各向异性的。优选地，该各向异性的空间滤波器的截止频率在与图像尺寸减小的方向正交的方 向上更低。在第二方面中，该像素位移值可以在用于形成减小尺寸的图像之前进行空间滤 波。优选地，该空间滤波是各向异性的。优选地，该各向异性空间滤波的截止频率在与图像尺寸减小的方向正交的方向上 更低。在第二方面的某些实施例中，该像素位移值在用于形成减小尺寸的图像之前进行 时间滤波。优选地，时间滤波器是运动补偿的。在第三方面中，本发明由基于像素序列的图像的处理方法组成，该方法包括以下 步骤在每个像素上或每个像素附近提供图像能量的测量值；并对每个图像识别延伸穿过 该图像的相邻像素的低能量路径，其中，关于一个图像中的路径的位置的信息用于识别序 列的下一图像中的路径，其中，对每个图像识别相邻像素的低能量路径的步骤包括识别其 上测量能量的总和最小的路径，其中识别其上测量能量的总和最小的路径的步骤包括如下 重复步骤选择路径中的下一像素以最小化沿该路径的累积测量能量；以及其中，以等级 次序识别在穿过图像的公共方向上延伸的多个路径，并将关于一个图像中的路径的位置的 信息用于识别序列的下一图像中具有相同等级次序的路径。
现将参照附图描述本发明的实例，其中图1示出了减小图像序列宽度的现有技术方法的流程图。图2示出了能量偏置相对于像素位置的曲线图。减小图像序列宽度的方法的流程图。图4示出了根据本发明的实施例的减小图像序列宽度的方法的框图。图5示出了输入像素坐标系相对于等效输出像素坐标系的曲线图。
具体实施例方式为了解释本发明的各个实施例，有益地，首先描述图像序列中的第一图像的分析 以找出一个或多个接缝。假设需要横向缩小一幅画面。重复应用接缝切割(seam carving)，一次将画面缩 小一个像素宽度。该过程的每个阶段操作如下。计算画面中的每个像素的能量或活动函 数。通常情况下，这是当前像素的亮度值与其四个相邻像素的每一个的亮度值的绝对差的 总和。然后，找出从画面的顶端延伸到底端的最小能量接缝。接缝是一组相连接的像素，每 行一个像素，连接准则通常是纵向或对角线邻接。接缝的能量是接缝中的像素的能量值的总和。使用递归技术可以找出最小能量 接缝，在该递归技术中，计算使每个像素位于画面的连续行上的最优部分接缝，直到发现 使每个像素位于底端行的最小能量接缝。然后，最小值通过沿着接缝到画面的顶端的回溯 (back-tracking)来采用全部底端行结果。已经发现最小能量接缝之后，将其所有像素(在一种排列中)从画面中简单地去 除，将画面的剩余部分移动到间隙中，以使新画面比之前的画面窄一个像素。这是从画面中 “切割”接缝的过程。图1示出了这样一种系统，用于发现基本上纵向的接缝，作为减少图像宽度的第 一步骤。如介绍中所述，该系统是基于评估一组相邻像素的累积高空间频率能量。当位于 笛卡尔坐标系(x，y)的像素的亮度是Y(x,y)时，其中X和y分别以横向和纵向像素间距为单 位，其高空间频率能量的测量值是相对于相邻像素的亮度差的幅度之和
Υ(χ Υ(χ
-γ -γ -γ -γ -γ -γ -γ
(x-l, y+l)
(χ, y+l)
(x+1, y+l)
(x-l>y)
(x+1, y)
(x-l, y-1)
+ +
(x>y-l)Y(x,y) "Y这是对于正交采样网格(lattice)的最简单的测量，可以使用给出(x，y)处像素 的高空间频率能量的测量值的像素值的其他组合；例如，空间高通滤波器的整流输出。参照图1，在步骤(1)中，评估图像的顶端线中的每个像素的高空间频率能量。需 要指出的是，由于在顶端线之上没有像素，因此将需要适当地加权(如果使用以上测量值， 则加权因子为6/9)能量级别，以给出直接等效于由相邻像素完全包围的那些像素的值。在步骤(2)中，评估图像的下一条(即，从顶端开始的第二条)线的像素中的每一 个的高空间频率能量。在步骤(3)中，对于从顶端线开始的第二条线的每个像素，形成三个 能量总和
6
a)该像素和直接在其之上的相邻像素的能量总和。b)该像素以及直接在其之上和在其左侧的相邻像素的能量总和。c)该像素以及直接在其之上和在其右侧的相邻像素的能量总和。分别存储第二条线的每个像素的这三个能量总和的最小值。相对于对总和有影响 的空间更低像素的位置，还存储对总和有影响的空间更高像素的位置。存在三个可能的相 对位置纵向，情况(a)；左对角线，情况(b)；或右对角线，情况(C)。在步骤(4)中，进行测试以确定图像的所有线都已经被处理。如果不是这种情况， 则以将第三条线像素能量值与合适的第一和第二条线能量总和相加的类似方式处理从图 像顶端开始的第三条线。通过这种方式，确定从图像的顶端线开始的最小累积能量路径。过程继续，直到图像的底端线已经被处理，然后步骤(4)将处理指向步骤(5)。在 步骤(5)中，确定具有最小累积能量的底端线像素；识别其能量值对其累积能量有影响的 一组像素；以及，将其定位的组存储为接缝。该接缝将跟踪从图像的顶部边缘上的一点到图 像的底部边缘上的一点的一个像素宽度路径。其可以包含纵向和或对角线部分并且将在图 像的高能量区之间传递。在步骤(6)中，从图像中去除这个接缝的像素，从而减小其宽度。在步骤(7)中， 减小的图像宽度与要求宽度相比较，如果需要进一步的缩小，则处理返回到步骤(1)，然后 以与以上所述相同的方式处理该局部减小的图像以识别第二接缝；第二接缝的像素也被去 除。重复该过程，直到达到要求的宽度减小量，步骤(7)使过程结束。在本发明的第一实施例中，通过从每个图像中连续去除接缝来在宽度上缩小图像 序列的图像。通过将递归偏置应用到像素能量值来避免由于后续图像中的接缝位置的不一 致导致的缺陷。从用于确定当前图像中的接缝位置的像素能量值中减去取决于先前图像中 的接缝位置的偏置值，从而在位置上与序列的先前图像中的接缝对应的像素使其对累积能 量测量值的能量影响减小。由于接缝确定过程寻找通过图像的低能量路径，因此其由于偏 置而降低的能量影响的像素更可能被包含在新确定的接缝中。优选地，递归将是运动补偿递归，从而偏置偏向于将接缝置于上一画面中的相应 接缝期望移动到的位置。如上所述，在序列中识别接缝，在确定下一接缝之前去除每个接缝的像素。接缝确 定的序列(对于具体图像)给出了每个接缝的等级次序。从上一图像中的相同等级的接缝 位置推出用于确定接缝位置的偏置值。图2中示出了合适的偏置函数，其示出了要从接近先前图像中的接缝位置的像素 减去的偏置值。参照图2，上一图像中的相关接缝(即，与正在识别的接缝相同等级的接缝) 与正在像素坐标系S中处理的线相交。坐标系范围S-4至S+4中的当前图像像素具有从它 们影响各自累积能量总和的能量值中减去的1和20之间的能量值，最高偏置用于最接近坐 标系值S的像素。图3中示出了根据本发明的使用递归能量偏置的宽度减小过程。与图1中的步骤 相似的步骤具有前缀为3的等效参考标号。现将参照图3来描述与图1的系统不同的步骤。在步骤(31)确定顶端线的像素能量值并在步骤(33)确定下一条线的像素能量值 之后，各自的像素能量值具有从其减去的各自的能量偏置值。根据相对于序列的上一图像 的相同线中的相同等级(即，发现等级)的接缝位置而正在处理的像素位置来确定偏置值。从最接近上一图像的相同线中的等效接缝的位置的像素中减去更高的偏置值。为了发现偏置值，当每个接缝的位置和等级被发现时，需要存储每个接缝的位置 和等级。在步骤(39)示出了该步骤。其他因素可以对偏置值有影响以改进该过程。例如，如果已经确定感兴趣的区域， 则可以对这个区域内的像素给出附加偏置，以防止接缝穿过感兴趣的区域。并且，从图像中 描绘的线性特征去除像素可能在主观上会令人厌烦，这样的特征可以被检测到，并且将偏 置应用于接近该线性特征的像素，从而形成这样的线性特征的一部分。与减去偏置值不同的是，依赖于偏置的乘法或非线性加权可以应用于对累计能量 总和有影响的像素能量值，根据该累计能量总和可以确定接缝位置。用于发现接缝的上述过程需要处理每个图像的所有像素。然而，还有可能确定空 间下采样图像上的接缝位置；即，更少的像素用于表示每个图像的内容。这具有的优点是， 需要处理的像素更少，但是当然，通常需要其他处理，以对图像进行下采样。特别有帮助的 是，在与图像尺寸减小所要求的方向正交的方向上应用下采样。处理的像素更少，而没有减 小接缝位置的(在尺寸减小方向上的)位置分辨率。在使用这样的各向异性下采样时，还有 利于修改用于确定函数的像素能量，以补偿下采样中出现的高空间频率能量的损失。例如， 在需要宽度减小并且在纵向方向应用更严格的下采样时，可以向垂直像素值差给出更大的 加权，以确定像素能量值。在下采样图像中计算接缝位置时，需要合适的子像素内插以确定完全分辨率图像 中的对应的接缝位置。上一图像的接缝位置的使用明显不适用于后续图像不相关的情况。可以通过“镜 头改变检测(shot-change detection) ”的任一种已知方法来检测这种情况，并且来自不相 关的后续图像的接缝信息不用于确定接缝位置。接缝位置的时间滤波可以用于提高后续图像之间的接缝位置的一致性，从而多于 一个的先前图像对当前图像的接缝位置有影响。还可以使用运动补偿，从而分析由像素描 绘的对象的移动，以及在移动区域中发现接缝的情况下，可以从那个图像区域的移动(运 动矢量)的速度和方向的测量结果中推出后续图像中该接缝的位置。可以通过在相邻输入图像之间内插一个或多个附加图像并且对生成的时间上变 换(up-converted)序列执行接缝定位处理来提高从一个图像到下一图像的确定的接缝位 置的一致性。运动补偿内插可以用于产生附加的中间图像。接缝定位的过程可以用于图像放大。与去除接缝像素不同的是，可以复制接缝像 素，从而使每个图像的尺寸相对于每个接缝增加一个像素。可以以与所述用于图像减小类 似的方式迭代接缝定位的过程，直到已经定位足够的接缝，以达到要求的放大程度。在本发明的备选实施例中，通过像素移动处理而不是通过直接去除或复制接缝像 素来实现对图像进行重设尺寸的过程。从与上述实施例相同的方式计算的接缝位置中推出 像素移动过程的控制。然后，接缝切割可以被认为是生成链接输入和输出像素位置的映射 函数的过程，有效地，生成用于一种绘制引擎的一组指令。然后，可以通过滤波、缩放或混合 来处理该映射函数，以使接缝切割过程更加平滑并且还使接缝切割分析在下采样画面上执 行以节省计算资源。图4中示出了备选实施例的框图。
参照图(4)，将定义图像序列的像素值流(40)输入到数字视频特技(DVE，digital video effect)处理器(41)，DVE处理器的输出(42)包括减小了尺寸的图像序列。DVE处 理器使用已知的数字视频特技技术(包括可变空间内插和抽取)以从由像素移动控制信号 (43)定义的各个输入像素中产生输出像素。像素移动控制信号(43)可以在图像的不同像 素之间以及在序列的后续图像之间改变。根据各个输入图像的移动的输入像素，由像素移 动控制信号(43)定义每个输出图像的每个输出像素的值；以及，存在比输入像素(40)更少 的输出像素(42)。接缝发现过程(44)根据输入像素值流(40)确定序列中的每个图像的接缝位置。 可选地，在下变换块(45)中，输入像素可以被空间下采样，从而简化第一实施例的上述接 缝发现过程。接缝发现过程(44)按照以上所述进行操作，而除了(由于一旦已经识别接缝 就不去除接缝像素)必须提供一些手段以防止来自已经定位的接缝(低等级接缝)的像素 影响用于定位后续(高等级)接缝的能量总和的情况之外。对于序列中的每个图像，接缝发现过程(44)的输出(46)是将每个输出像素位置 链接到输入像素位置的表格。通过考虑相关图像中发现的所有接缝(根据要求的宽度减小 而要发现的接缝数量)以及计算横向像素位移值来推导该表格，当被应用于像素时，具有 与从图像中去除接缝像素相同的效果。该表格的备选格式是矢量字段，其中为每个输出像 素分配一个指示到相应的输入像素的距离和方向的矢量。对于宽度减小，这些矢量的所有 纵向分量将为零。来自于接缝发现过程(44)的输出(46)的空间分辨率可以比输出像素分辨率更 低。这与在可选择的下采样块(45)中对输入图像进行下采样的情况十分相似。如果如此， 则在使用空间内插的任何已知方法的上变换处理(47)中，位移值表格(46)被上采样，以获 得每个输出像素位置的位移值。如上所述，当后续图像的重设尺寸不一致时将导致令人厌烦的缺陷。在平滑处理 (48)中，可以通过滤波位移值减少这些缺陷。该处理可以是空间和/或时间低通滤波。图 4的系统的特定优点是，通过平滑处理(48)可以补偿接缝发现过程中的更低的分辨率。这 就实现了对于等效输出质量的处理资源的减小。可以通过处理像素位移表格值(46)获得附加的任意放大或缩小因子，现将参照 图5说明该过程。该图示出了以输入像素坐标i相对于对应的输出像素坐标χ的曲线(50) 的形式的示例性的一组像素位移表格值。通过移动一子组的I输入像素获得一组Xc输出 像素。在图示中，将对应于接缝的那些输入像素标记为Sl至S11，并且这些像素没有对应的 输出像素。从曲线(50)中可见，合适的位移值被用于影响像素，以提供规则间隔的一组输 出像素。(需要指出的是，为方便起见已经对接缝从坐标原点以升序进行编号。)这些接缝 编号不对应于上述接缝等级；如上所述，接缝等级涉及接缝识别的序列并且与接缝的坐标 不相关。由曲线(50)表示的该组像素位移值可以用于产生可以应用于要放大的图像的备 选的一组位移值。通过曲线(51)示出了这样的一组图像放大位移值，其中已经复制了每个 接缝像素，以便从完整的一组I输入像素中产生一组Xe输出像素。在曲线(50)中，每个接缝已经去除一个像素；以及，在曲线(51)中，每个接缝已经增加一个像素。例如，三个相邻输入像素P、Q和R包括接缝像素Q(接缝S6的像素中的一 个)。在曲线(50)的位移值产生的减小尺寸的图像中，丢弃像素Q并移动像素P和R使彼 此紧邻。在由曲线(51)的位移值产生的放大图像中，复制像素Q以形成像素Q1和Q2;并且 将这些复制的像素插入在像素P和R之间。如果将曲线(50)和(51)分别由以下函数表示i = C(X)以及i = E (χ)则可见这些函数在χ方向上关于线i = χ是相互影响的。如果我们分别定义等效反函数(即，表示用输入像素坐标的形式表示输出像素坐 标的函数)χ = C—1 (i)以及χ = E-1 ⑴则我们可以将该镜像对称表示为E—1 (i)-χ = X-(T1G)其中，以上等式的左侧表示图5中的线(52)的长度；而以上等式的右侧表示线 (53)的长度。比曲线(51)提供的图像放大因子更大的图像放大因子可以由函数E(X)获得χ-σΗ ) > E_1(i)-x更一般地，像素位移值所要求的变换应满足等式α X [χ-Γ1 (i) ] = (1- α ) X [Ε-1 (i) -χ]其中，α为确定放大程度的参数。小于单位一的α的正值将给出每个接缝小于一个像素的尺寸增大值。α的负值定义给出图像尺寸减小的像素位移函数；在这种情况下，位移值E(X)的 曲线位于图5中的线i = χ的左侧。对应于以上等式的适当变换可以应用于每个接缝尺寸减小情况C(X)的一个像素 的像素位移值，以获得独立于定位的接缝数量的任意图像放大或减小的像素位移值。来自接缝定位过程的像素位移数据的变换不需要提高到整数位移值。子像素内插 可以用于DVE处理器(41)，其中在(非整数)要求的输入像素坐标的其中一侧上定位的像 素的值用于计算输出像素值。来自接缝定位过程的像素位移数据的变换可以根据图像内的位置而改变。例如， 可以将空间失真限制到图像边缘区域。完成该过程时，需要保证将足够且相等的放大或减 小值应用于每个图像的每条线。已经描述的过程同样可用于图像高度修改。在这种情况中，对应于图像的左边缘 和右边缘上的点之间的低累积高空间频率能量路径识别基本横向的接缝。通过识别横向和纵向接缝可以使高度和宽度修改相结合。可以按阶段地进行横向 和纵向接缝发现过程，从而可以发现在一个方向上的接缝的整体要求数量的比例，以及在 另一方向上的要求的接缝的比例，而分析方向的这种交替可以继续，直到发现每个方向上 的所要求的接缝数量。如果横向和纵向接缝位置都已知，则图像可以在一个方向上放大而 在另一方向上减小。
可以处理非矩形图像。在这种情况下，需要根据包含每个接缝的像素的数量对累 积能量测量值进行加权，从而根据每个像素的累积高空间频率能量来对接缝进行识别和排 列。通过改变在接缝定位过程中增加累积能量的准许方向可以获得图像放大或减小 的其他方向。例如，如果需要对角线方向上的尺寸修改，则像素能量总和的选择可以是a)该像素和直接在其之上的相邻像素的能量总和。b)该像素和直接在其之上以及在其左侧的相邻像素的能量总和。c)该像素和在其左侧的横向相邻像素的能量总和。基于序列中的图像的位置来表示时间是十分常见的理解，在本说明书中使用了术 语“运动补偿”。然而，可将模拟处理应用于序列中的位置表示一些其他维度的情况，诸如相 机位置。因此，参考运动补偿应包括由于定义序列中的图像位置的非时间参数导致的图像 之间的描绘对象的位置移动的补偿。在上述过程中，所有接缝均具有相同效果；即，它们都使画面高度或宽度产生相同 改变。备选的方法是考虑到在初始分析阶段中由每个接缝从图像中去除的能量的量。然后， 该能量值确定实际被去除的画面资料的宽度。第一少量接缝将“切割通过”画面中的最清 晰、能量最小的区域，因此我们会从这些区域中去除更多的图像资料。例如，可以在非线性 函数中处理与每个接缝相关联的能量值，以获得将应用于该接缝的位置上的图像的宽度改 变值。低能量值接缝将对应于大宽度改变，而高能量值接缝将对应于较小的宽度改变。可 以缩放所有处理的接缝的宽度改变组，从而通过增加宽度改变组获得的整体宽度改变等于 要求的宽度改变。在前述的第一个宽度改变过程中，宽度改变对应于像素的整数值(每个接缝一个 像素)；并且一旦已经达到期望的尺寸改变，则停止接缝定位的处理。然而，如果每个接缝 的效果均取决于该接缝的整体能量，则可以发现选择的任意数量的接缝，并可以缩放生成 的图像位移值，以获得要求的图像尺寸改变。可以发现固定数量的接缝，以限制需要的处理的量，或者可能存在与每个图像宽 度(对于宽度改变)或图像高度(对于高度改变)的像素数量一样多的接缝。如上所述，在接缝发现过程中，发现最小能量接缝并在迭代过程中将其去除。要去 除的第一接缝具有低能量，然后，由于已经去除了更低的能量像素而导致能量升高。升高不 总是严格单调的，这是由于一旦接缝被去除，则在整个图像中重新计算能量。问题在于，对 于接缝切割过程的结束，一些接缝将被去除而其他几乎类似的能量的接缝将保留。这就导 致序列中的后续图像的不一致的结果，当查看序列时随之而来的是运动抖动。这种问题的 解决方案是从反比于接缝能量的输出画面中真正去除图像资料的宽度，然后缩放生成的像 素位移值，以实现期望的尺寸改变。这可以数学表示如下Wi=^i = L-N
Ei其中Wi为沿接缝i的路径去除的资料的宽度；Ei为接缝i的能量;
A为常数；以及N为像素间距单元中的画面的宽度。可以选择常数A以保证去除的资料的期望的整体宽度。例如，如果我们希望将画 面的宽度从N缩小到M，则A由下式给出 需要指出的是，使用不等于零的能量函数是重要的。实际上，我们期望限制由单个接缝去除的图像资料的最大宽度。这可以通过在能 量函数中增加一个常数来实现 不幸的是，该函数不允许常数A的封闭形式的解决方案。可以使用以下函数获得 期望活动的近似值 根据经验确定新常数B的值，然后A由下式给出 , N-M 该函数的进一步的改进是减去常数并截取到0，从而具有大于一些最大值的能量 值的接缝将不会在宽度上缩小 然后，A由下式给出 使用该函数的一个优点是，当能量达到Emax时，由于在Emax处或高于Emax的能量值将升高到宽度缩小值0，因此可以停止接缝切割过程。备选地，互反函数(reciprocal function)及其上述改进用于使用能量的递减线性函数 如果Emax固定，则Wmax由下式给出 虽然以上实例是基于16 9到4 3的变换，但是本发明的思想同样可以应用于 其他方向和其他比例之间的变换。我们对于视频序列的接缝切割进行的改进允许很大的灵活性。我们可以在横向和 纵向两个维度上独立地执行接缝切割，并结合生成的映射。我们可以使用接缝切割以在两 个维度中的一个或两个中对图像进行放大或缩小。例如，图A12示出了横向和纵向两者的 接缝切割的结果，这次目的是保持16 9的横纵比，但是产生较小的画面，在该较小的画面 中感兴趣的对象保持其初始尺寸和形状。在这个实例中，没有使用平滑接缝切割方法，因此 第一画面示出了从画面中去除的“严格的”横向和纵向接缝。
权利要求
一种改变第一图像的尺寸的方法，所述第一图像形成图像序列的一部分，其中，将低空间频率能量区从所述第一图像中去除或者在所述第一图像中放大，其中，所述第一图像中要去除或放大的区域的选择偏向所述序列中的第二图像中的低空间频率能量区的位置。
2.根据权利要求1所述的方法，其中，所述第一图像中要去除或放大的区域的选择偏 向所述序列中的第二图像中的低空间频率能量区的运动补偿位置，并且所述运动补偿用于 补偿所述第一图像和所述第二图像之间的移动。
3.根据权利要求1或权利要求2所述的图像尺寸减小的方法，其中，删除低空间频率能 量像素并将剩余像素移动得更加接近，而不改变它们各自的值，从而恢复像素位置的规则 序列。
4.根据权利要求1或权利要求2所述的图像尺寸放大的方法，其中，复制低空间频率能 量像素并在邻近所述低空间频率能量像素处插入所复制的像素，以将初始像素移动得更加 分离，而不改变它们各自的值，从而恢复像素位置的规则序列。
5.根据权利要求1或权利要求2所述的方法，其中，对所述序列中的一个或多个图像的 像素推导出取决于一个或多个低空间频率能量区的位置的一组像素位移值，从而由各个像 素位移值定义产生各个尺寸改变的输出图像所需要的输入像素的平移，并通过将各个像素 位移值应用到它们的像素而在尺寸上改变各个图像。
6.根据权利要求5所述的方法，其中，根据要被移动的各个像素的图像内的位置变换 所述像素位移值。
7.根据权利要求1至6中任一项所述的方法，其中，通过在识别低空间频率能量区之前 内插新图像来增加所述序列中的图像的数量。
8.根据权利要求7所述的方法，其中，通过运动补偿内插生成附加的图像。
9.根据权利要求1至8中任一项所述的方法，其中，通过分析要改变尺寸的图像的下采 样版本来识别低空间频率能量区。
10.根据权利要求9所述的方法，其中，所述下采样是各向异性的。
11.根据权利要求10所述的方法，其中，所述下采样的间距在与图像尺寸减小的方向 正交的方向上更长。
12.根据权利要求1至11中任一项所述的方法，其中，通过分析要改变尺寸的图像的空 间低通滤波版本来识别低空间频率能量区。
13.根据权利要求12所述的方法，其中，所述空间低通滤波器是各向异性的。
14.根据权利要求13所述的方法，其中，所述各向异性的空间滤波器的截止频率在与 图像尺寸减小的方向正交的方向上更低。
15.根据权利要求5所述的方法，其中，所述像素位移值在用于形成减小尺寸的图像之 前进行空间滤波。
16.根据权利要求15所述的方法，其中，所述空间滤波是各向异性的。
17.根据权利要求16所述的方法，其中，所述各向异性的所述空间滤波的截止频率在 与图像尺寸减小的方向正交的方向上更低。
18.根据权利要求5所述的方法，其中，所述像素位移值在用于形成减小尺寸的图像之 前进行时间滤波。
19.根据权利要求18所述的方法，其中，所述时间滤波器是运动补偿的。
20.一种改变图像的尺寸的方法，其中，对表示所述图像的一组像素进行处理，以找出 包括所述一组像素的子组的、处于所述图像的相对边缘上的点之间的低空间频率能量路 径，所述子组的像素的整体空间频率能量被评估并用于确定应用到位于所述路径上的所述 图像的那些部分的一维放大或缩小的幅度。
21.根据权利要求20所述的方法，其中，所述整体空间频率能量值用于推导应用于表 示所述图像的像素的一组像素位移值。
22.根据权利要求21所述的方法，其中，在所述整体空间频率能量值被用于推导所述 一组像素位移值之前，由非线性函数修改所述整体空间频率能量值。
23.—种对基于像素序列的图像进行处理以修改所述图像的横纵比的方法，所述方法 包括以下步骤在每个像素上或附近提供图像能量的测量值；对每个图像识别从所述图像 的一个边缘到所述图像的不同边缘延伸穿过所述图像的相邻像素的低能量路径，其中，关 于一条路径在一个图像中的位置的信息被用于识别所述序列的下一图像中的路径；并且通 过去除或通过复制相邻像素的所述低能量路径修改每个图像的横纵比。
24.根据权利要求23所述的方法，其中，对每个像素识别相邻像素的低能量路径的步 骤包括识别其上测量的能量的总和最小的路径。
25.根据权利要求23所述的方法，其中，识别其上测量的能量的总和最小的路径的步 骤包括如下重复步骤选择所述路径中的下一像素以最小化沿所述路径的累积测量的能 量。
26.根据权利要求23所述的方法，其中，以等级次序识别在穿过所述图像的公共方向 上延伸的多个路径，并将关于一条路径在一个图像中的位置的信息用于识别所述序列的下 一图像中具有相同等级次序的路径。
27.一种装置，被配置并用于执行根据前述权利要求中任一项所述的方法。
28.一种计算机软件产品，包括用于实现根据权利要求1至26中任一项所述的方法的 指令。
全文摘要
为了修改视频序列中的图像的横纵比(aspect ratio)，例如通过采用相邻像素之间的差在每个像素上或附近提供一种图像能量的测量。然后，识别延伸穿过图像的一个边缘到另一边缘的相邻像素的最小能量路径，例如，如果要修改画面的宽度则纵向识别。例如通过偏置路径的能量测量将关于一个图像中的路径的位置信息用于下一图像中的路径的识别。然后，通过去除或通过复制相邻像素的最小能量路径来修改每个图像的横纵比。
文档编号G06T3/40GK101911113SQ200880124956
公开日2010年12月8日 申请日期2008年11月17日 优先权日2007年11月16日
发明者迈克尔·詹姆斯·尼 申请人:史诺伟思有限公司