基于移动矢量缩放图像的制作方法

专利名称：基于移动矢量缩放图像的制作方法
基于移动矢量缩放图像
本发明涉及图像处理方法，尤其涉及缩放属于图像视频序列的图 像的方法。
图像的宽高比(aspect ratio)为其显示的宽度除以其高度(通 常表示为"X: Y")。当前，各种电视标准采用不同的宽高比。相对于 现有的采用4: 3宽高比的TV广播，宽高比为16: 9的宽屏正在获得 流行。这导致了对宽高比转换的需求。用于宽高比转换的一些通常方 法为，在侧边增加黑色条、仅仅水平地缩放图像、以及水平和垂直地 缩放图像。缩放涉及改变视频数据的图像帧的分辨率。以非均匀缩放 函数水平地缩放图像的方法称为"全景缩放"。非均匀缩放导致在侧边 的对象比在中央的那些具有更大的失真。 一般地，全景缩放对于静止 图像是可接受的，但在例如由相机摇摄导致的图像移动的情况下，对 象会显示出具有变化的尺寸，这是因为它们在不同空间位置上经受不 同的缩放。这导致了可能很讨厌的对象可视失真。
期望有一种对属于图像视频序列的图像进行缩放的改进方法。
因此，这里公开了一种对属于图像视频序列的图像进行缩放的改 进方法，该方法包括基于移动矢量缩放图像，该移动矢量描述了在 对象在第一图像中的第一位置和该对象在第二图像中的第二位置之 间的对象位置改变，所述图像属于图像视频序列。
在一个优选实施例中，对图像进行缩放包括基于移动矢量生成缩 放函数；以及通过将该缩放函数应用到图像的一个或更多个像素上而 获得经缩放的图像的一个或更多个像素。
还期望的是有一种用于对属于图像视频序列的图像进行改进缩 ;改的装置。
相应地，在这里公开的一种用于对图像进行改进缩放的装置中， 该装置包括第一接收器，能够接收移动矢量，所述移动矢量描述在 对象在第一图像中的第一位置和所述对象在第二图像中的第二位置 之间的所述对象的位置改变，所述图像属于图像视频序列；第一生成器，能够基于所述移动矢量生成缩放函数；以及图像缩放器，能够通 过将所述缩放函数应用到所述图像的一个或更多个像素上而获得经 缩放图像的一个或更多个像素。
还期望的是有一种用于对图像进行改进的缩放的图像处理设备， 其中该缩放基于预定义的宽高比。
相应地，在这里公开的一种用于对图像进行的改进的缩放的图像 处理设备中，该图像处理设备包括用于接收图像序列的第二接收器； 能够估算移动矢量的移动估算单元，所述移动矢量描述在对象在第一 图像中的第一位置和所述对象在第二图像中的第二位置之间的所述 对象的位置改变，所述图像属于图像视频序列；以及能够对属于图像 视频序列的图像进行缩放的装置，其中所述缩放基于预定义的宽高 比。
还期望的是有一种用于对图像进行改进缩放并显示该图像的图 像显示设备。
相应地，在这里公开的一种图像显示设备中，该设备包括图像处 理设备和显示装置。图像处理设备设置成用于对属于图像视频序列的 图像进行改进缩放，而显示器设置成用于显示经缩放的图像。
还期望的是有一种用于执行基于移动矢量对图像进行缩放的方 法的步骤的计算机程序以及计算机程序产品。
相应地，这里公开了一种计算机程序和计算机程序产品，计算机 程序和计算机程序产品包括用于基于移动矢量生成缩放函数的指令， 以及用于通过将所述缩放函数应用到属于图像视频序列的图像的一 个或更多个像素上而获得经缩放图像的一个或更多个像素的指令。
这些和其他方面将在此后通过例子、在以下实施例的基础上并参
考附图进行详细描述，其中
图l说明了基于移动矢量的图像缩放方法的示例。
图2说明了根据基本函数生成缩放函数的方法的示例。
图3说明了通过限制至少一个参数值而生成缩放函数的方法的示例。
图4说明了基于可靠性值选择缩放函数的方法的示例。
图5说明了基于场景变化信号选择缩放函数的方法的示例。
7图6说明了生成定时函数的方法的示例。
图7说明了通过限制至少一个参数值来生成定时函数的方法的 示例。
图8说明了基于可靠性值选择定时函数的方法的示例。
图9说明了基于场景变化信号选择定时函数的方法的示例。

图10示意性地示出了包括MxvV像素块的图像。
图11示意性地示出了用于缩放图像的装置的实施例。
图12示意性地示出了图像处理设备的实施例。
图13示意性地示出了图像显示设备的实施例。
图14示意性地示出了用于缩放图像的可靠装置的实施例。
用于各图的相应图号表示图中的相应元件。
视频数据包括由以行和列布置的像素组成的图像序列。图像可称 为帧。例如，视频数据可每秒具有30帧或者具有30幅单独图像构成 一秒视频数据。随着数字电视和流媒体的到来，已经开发了若干新技 术以便能够实现各种媒体格式和显示格式的兼容性和互通性。通过缩 放图像进行图像宽高比的转换是一种重要技术。例如，包含640x480 个像素(NTSC分辨率)、宽高比为4: 3的图像可以被缩放至包含 1920x1080个像素(HDTV分辨率)的宽高比16: 9。当图像被缩放时， 在缩放图像中的每个新像素的值基于一个或更多个在原始图像中的 像素。每个新像素的计算可通过缩放函数来公式化。最简单的缩放函 数是线性方程。通过应用线性方程，图像根据固定的水平缩放比和垂 直缩放比均匀地在水平和垂直方向二者上拉伸以获得所需要的像素 数目。更加通常的是，水平缩放比率不等于垂直缩放比率，例如当将 NTSC分辨率转换为HDTV分辨率时就是如此。用不相等的水平和垂直 缩放比率缩放图像可导致可视失真，这是因为在缩放图像中的对象要 么在水平方向要么在垂直方向显示为被拉长了。非均匀全景缩放一般 用于降低这种失真。根据该技术，图像中的行像素根据取决于空间位 置而变化的缩放比率进行缩放。例如，水平缩放比率从全景图像的水 平中央至各边渐渐增加。但是，该技术也导致了特别是在正在移动场 景中的可视失真。当对象跨场景移动或当相机跨场景摇摄时，因为对 象显示为不断改变其宽度，所以可视失真变得更加明显。期望有一种降低可视失真、特别是在正移动场景中降低可视失真的全景缩放。
图1说明了基于移动矢量101缩放图像102的方法100的一种可 能实现。在步骤120生成缩放函数121，在步骤130通过在图像102 的一个或更多个像素应用缩放函数121而获得缩放图像131。
移动矢量101 —般根据移动估算方法获得。移动矢量描述了在对 象在第一图像中的第一位置和对象在第二图像中的第二位置之间的 对象的位置改变，所述图像属于图像视频序列。第一和第二图像随时 间而移位并描述了正在移动的场景。
为了降低可视失真，可根据对象在场景中的移动速度进行非均匀 缩放。根据移动矢量，获得了与在图像中的移动相适应的自适应缩放 函数。换句话说，将非均匀缩放应用于静态场景、将近似均匀的缩放 应用于正在快速移动的场景、而将中度的非均匀缩放应用于取决于移 动幅度的图像。随着场景中的对象速度接近预定速度，非均匀缩放趋 于均匀缩i文。
对于图像序列中的每个图像，计算基于移动矢量的新缩放函数。 可以将不同缩放比率应用于每个图像。在每个图像中，缩放比率根据 位置可以是非均匀的。对缩放函数的非线性进行调整以使得在不同空 间位置获得不同缩放比率。例如对于因对象在场景中的快速运动而导 致的较大幅度的移动矢量，生成了基本上线性的缩放函数，并应用该 函数以使得观看者察觉不出强烈的"谐波"效应("harmonica" effect)。因此，将基本上均匀的缩放比率应用于图像中的像素。另 一方面，对于较小幅度的移动矢量，例如从基本静态的场景获得的移 动矢量，则生成了产生基本上非均匀缩放比率的缩放函数。这例如对 于其中一些人出现在部分图像中而对四周区域进行缩放的要求不很 迫切的场景是有用的。结果，基本上非均匀的缩放比率用于缩放基本 上静态的场景的图像。因此，根据移动矢量的幅度对缩放进行调整并 将缩放应用于不同的空间位置。缩放根据空间和时间进行分配，因而 基本上降低了可视失真。
用于本公开装置的有用的移动矢量估算器包括，但不限于，块匹 配和递归类型的移动矢量估算器，如G. de Haan在"Progress in Motion Estimation for Consumer Video Format Conversion", IEEE Transactions on Consumer Electronics, vole. 46， no. 3，第449—459页，(2000年8月)中描述的那样。本领域技术人员可通过若干已知 技术从图像序列中获得至少一部分图像的移动矢量。另外，用于当前 装置的有用的移动估算器包括如上描述的移动矢量估算单元，它不仅 可在块上进行操作还可在包括块和像素的任何种类形状的区域进行 操作。
在方法100的另一个实现中，使用了描述在图像102和第二图像 之间的全局变化的全局移动矢量101。全局移动矢量可根据移动模型 确定。全局移动估算是在整个图像中的移动的度量值，即带有或多或 少相同移动的大的或多个对象的平均或主要移动。移动模型可用于对 对象或相机的摇动(即平移)进行检测。移动模型有时称为"摇摄-变焦 距模型"。为了最优化缩放要求，也可推导出用于不同模型(例如旋 转场景)的缩放函数，从而最小化可视伪影。基于全局移动矢量的缩 放函数可有利地用于生成可有利地用于缩放整个图像的缩放函数。
估算图像的全局移动矢量的技术是本领域周知的。例如，在文章 "An efficient true-motion estimator using candidate vectors f rom a panoramic mot ion model"中(作者G. de Haan等人，in IEEE circuits and systems for video technology, vol8， no. 1，第85-91 页，1998年3月)，描述了根据移动模型估算全局移动矢量的方案。 使用这种方法，在本装置的一个实施例中，可大体上估算出来并使用 全局移动矢量。
在方法100的另一个实现中，通过基于移动矢量101的一个分量 改变缩放函数120的至少一个参数来生成缩放函数120。缩放函数120 被设计成在图像102的各种空间位置产生不同的缩放比率。可将随空 间改变的非-线性变换函数选为缩放函数。例如，考虑方程(l)所示的 二次函数
/(x) = ox2 + foe + c ， {o # 0} (i)
二次函数(l)为抛物线形而抛物线的顶点出现在x坐标为〃2"的 曲线点上。将二次函数应用到要变换的像素行上以使得在中央的像素 采用均匀缩放比率进行变换，而侧边处的像素利用递增的非均匀缩放 比率进行变换。作为这个变换的结果，中央的对象将显示为正常而侧 边的对象将显示为被拉长和变形。可通过改变参数"的值获得不同形状的抛物线，而参数"可由从移动矢量导出的值来控制。导出的值可 以是移动矢量的分量中的水平分量或垂直分量或移动矢量的分量的
均方根值。为了增加稳定性，导出的值可在Q到1的范围内进行正规 化。这样控制变量以使得对于越大幅度的移动矢量，抛物线具有越小 的深度，从而获得均匀的缩放比率。另一方面，越小幅度的移动矢量 导致了具有相对越大深度的抛物线。根据不同形状的抛物线，可以控 制缩放比率的非均匀性。
在方法100的另一个实现中，可使用例如基于几个函数组合的多 模型函数。 一个示例可以是在不同位置处产生重叠的抛物线形状的二 次函数的组合。例如，可能描述某些动作的图像中央区域和包含某些 背景的图像周围区域可利用从不同二次函数获得的不同形状的抛物 线进行缩放。
在经缩放的图像中，典型地当水平缩放比率不等于垂直缩放比率 时，对象显示出形状失真。存在两种可能性第一种可能性是水平缩 放比率大于垂直缩放比率；而第二种可能性是垂直缩放比率大于水平 缩放比率。在第一种情况下，水平缩放函数一般地可基于移动矢量的 水平分量生成；而在第二种情况下，垂直缩放函数一般地可基于移动 矢量的垂直分量生成。水平缩放函数应用于^f象素行而垂直缩ii函数应 用于像素列。当显示画面的高度大于宽度时，例如为手持装置中的显 示器时，可应用垂直缩放函数。这样可根据应用生成垂直或水平缩放 函数，并选择性地应用该缩》丈函数。
现在更加详细地描述根据本方法的一个可能实现的使用水平缩 放函数执行的水平缩放。考虑宽高比为4: 3的、每行包括640个像 素且每列包括480个像素的输入图像。要对该输入图像进行缩放以获 得符合宽高比16: 9的1920xl080像素的输出图像。在该示例中，水 平缩放比率大于垂直缩放比率。根据本方法的一个实现，将非均匀水 平缩放函数和均匀垂直缩放函数应用于输入图像。这种情况下，通过 应用非均匀的水平缩放函数，在属于输入图像的行的特别部分中的尺 个像素用于在属于输出图像的行的相应部分中生成丄个像素，尺-丄。 丄个输出像素可通过一种众所周知的插值方法生成。而非均匀性根据 非线性函数获得，该函数的参数由移动矢量的水平分量所控制。这样 就提供了一种通过应用与移动相关的非均匀缩放函数来缩放图像从
ii而转换图像宽高比的方法。
在该方法的另一个实现中，图像102可被划分为一般是矩形的像 素块。具有适当非线性的缩放函数可用于包含连续移动的图像的每个 部分，因而导致了较少的可视失真。
图2说明了设置成根据基本函数生成缩放函数的方法200的一个 可能实现。在步骤120生成缩放函数121，并且在步骤130通过在图 像102的一个或更多个像素上应用缩放函数121而获得缩放图像131。 在步骤120中，可从两个可能的函数组270和280中选择和使用函数 260。提供了非-线性函数集合270和分段线性函数集合280。所选择 的非-线性函数的至少一个参数可根据从移动矢量101导出的值而改 变。例如，考虑方程(l)所示的函数。非-线性函数集合可通过改变参 数"生成。另外，基本上线性的函数/") = ^ + ^也可通过选择"=0而获
得。非-线性函数的一些例子为二次函数、指数函数和对数函数。这 些函数的任何一个可选择为基本函数。在数字计算装置中，为了更加 容易地进行操作和运算，将非-线性函数表示为分段线性函数通常是 很方便的。例如，通常采用查找表形式的输入-输出变换来表示非-线性变换。分段线性函数对于表示可能不符合方程的输入-输出值也 是有用的。
图3说明了通过限制至少一个参数值来生成缩放函数321的方法 300的示例。除了用于生成缩放函数的步骤320之外，还包括限制步 骤325。移动矢量101的动态范围通常大于缩放函数321的允许参数 范围。因此，有利地是将缩放函数的至少一个参数限制在许可范围之 内。在步骤325中，将所生成的缩放函数的至少一个参数基本上限制 在参数的预定范围之内，由此增加了装置300的总体稳定性。限制参 数是有利的，这是因为在用于获得缩放图像的步骤330中，该设置通 过避免饱和或逸出(runaway )状态增加了可靠性。缩放函数321的 参数范围可以是设计参数，或者它可在获得缩放图像331的步骤330 中根据允许输入范围而决定。
图4说明了基于可靠性值403选择缩放函数的方法400的示例。 每个移动矢量101可以可选地与可靠性值403相关联。方法400包括 用于基于可靠性值403选择要么通过步骤120生成的缩放函数121要 么预定义的缩放函数426的选择步骤425。预定义缩放函数的示例是简单的线性函数。在图1说明中描述的摇摄-变焦距模型中，可得到所估算的移动矢量的可靠性值。当场景具有正在不同方向上移动的多个对象(例如无秩序场景)时，可靠性值可能是低的。仅当由可靠性值所指示的所估算的移动矢量为可靠时，才应用基于移动矢量的缩
放。在步骤130中使用所选择的缩放函数427以获取缩放图像131。
图5说明了基于场景变化信号503选择缩放函数的方法500的示例。场景变化信号503可以可选地通过用于估算移动矢量101的方法或装置生成。其他几种获取场景变化信号的方法是本领域已知的。方法500包括基于场景变化信号503选择通过步骤120生成的缩放函数121或预定义缩放函数526的步骤525。只要没有场景变化，就在生成缩放图像的步骤130中应用所生成的缩放函数525。当有场景变化时，先前场景的缩放函数121的继续应用可导致可视失真。当新图像序列变得稳定时，在过渡期间可有利地应用可重新设定缩放函数的参数的预定缩放函数526。例如，具有预定参数集的二次函数可用于新场景。在步骤130应用所选择的缩放函数527以生成缩放图像131。由于这个设置，相对减少了场景变化造成的可视伪影而增加了方法500的鲁棒性。
图6说明了生成定时函数641的方法600的示例。除了用于生成缩放函数121的步骤120之外，该方法还包括用于根据移动矢量101生成定时函数的步骤640。定时函数641在用于获得缩放图像631的步骤630中使用。定时函数641决定了将缩放函数121应用于图像102的速率。猛然间改变缩放比率可导致输出图像331中的冲击(jerk)和可视伪影。在缩放函数121控制了缩放比率的改变量的同时，定时函数641 —次一个图像帧地控制将该改变量应用于该图像序列的速率。因此，在额外的维度即时间上控制该缩放。在移动矢量幅度方面的快速而频繁的变化可导致在缩放函数121上的相应变化，当瞬时应用缩放函数121时，可能导致在输出图像631中不期望的沖击和失真。在实现缩放函数121的渐变上，定时函数641是有用的。例如，可选择线性时间函数用于放慢缩放函数的应用。结果，在输出图像631中的对象显示为经过更加平滑的转变。缩放比率的变化在空间-时间上分散，这导致了更少的可视失真。
图7说明了通过限制至少一个参数值生成定时函数751的方法700的示例。限制步骤750包含在定时函数生成步骤740中。移动矢量101的动态范围通常大大大于定时函数的预定义参数范围。因此有利的是将由定时函数生成的值限制在许可范围之内。所生成的定时函数751的参数基本上限制在预定范围之内，因而增加了总体方法700的稳定性。限制定时函数的参数是有利的，这是因为该设置通过在步骤700中避免饱和或逸出状态而增加了可靠性。用于定时函数的参数的预定范围可以是设计特征。该范围可通过在缩放图像102的步骤630中的允许输入来决定。
图8说明了基于可靠性值803选择定时函数的方法800的示例。可以可选地接收每个具有可靠性值803的移动矢量101。方法800包括选择步骤850，该步骤用于基于可靠性值803选择由步骤640生成的定时函数641或者预定义定时函数860。仅当可靠性值803超出预定义阈值时，所生成的定时函数641才在生成缩放图像631的步骤630中使用。当发现所估算的移动矢量803不可靠时，就选择预定义的定时函数860 (如固定时间值或线性时间函数)，且在图像102的缩放中使用所选择的时间函数851。
图9说明了基于场景变化信号903选择定时函数的方法900的示例。场景变化信号903可以可选地由用于估算移动矢量101的方法或装置生成。其他几个获得场景变化信号的方法是本领域已知的。方法900包括基于场景变化信号903选择由步骤640生成的定时函数641或预定义定时函数960的步骤950。只要没有场景变化，在生成缩放图像631的步骤630中就使用所生成的定时函数641。如前面解释过的，在以期望的速率应用缩放函数121方面，所选择的定时函数951是有用的。当有场景变化时，先前场景的缩放函数的持续应用可导致可视失真。预定定时函数960可在过渡阶段中应用，直至新图像序列变得稳定为止。由于该布置，场景变化造成的失真相对降低了 ，而方法900的鲁棒性增强了。
图10示意性地示出了包括MxiV个像素块的图像102。在图像102中，每个块可包括wx"个像素。在图像中有M行和iV列的块。在每个块中有m行和"列的像素。 一般地m^"且M-iV，但在所提供的装置中也不排除似=#以及附="的特殊情况。在众所周知的视频压缩方案例如MPEG中，为每个块估算移动矢量并将该移动矢量指定给属于该块
14的每个像素。可利用MxW个块来根据移动模型确定全局移动矢量。
全局移动矢量可用于生成图像的缩放函数。在另一个实现中，可估算分别与Mxl块或lx7V块相对应的M或^个移动矢量并分别用于生成M
或W个缩放函数。M个缩放函数可应用于缩放分别属于每个有w个像素宽的M个水平条的像素。类似地，^个缩放函数可应用于缩放分别属于每个有〃个像素宽的^个条的像素。这样，可用不同缩放函数缩放图像的每个条或部分，由此为图像的每个部分独立地控制缩放比率。在其中一个或更多个水平条可包含连续移动例如行情显示
(ticker tape)的应用中，该方案特别地有用。
图11示意性地说明了用于对属于图像序列的图像102进行缩放的装置1100。该缩放基于描述对象在图像102中的位置改变的移动矢量101。可选地，移动矢量101可描述背景区的变化。装置1100包括用于接收移动矢量101的第一接收器1110,用于生成缩放函数121的第一生成器1120和用于通过在图像102的一个或更多个像素上应用缩放函数121而获得缩放图像131的图像缩放器1130。
当装置1100在操作中时，第一接收器1110典型地从移动估算单元接收移动矢量101。移动矢量101描述对象的移动或描述第一图像的至少一部分和第二图像的对应部分的变化，第一和第二图像随时间移位并属于描述正在移动的场景的图像序列。移动矢量101的导出值111耦合至第一生成器1120。导出值111可以是分量之一，如移动矢量的垂直或水平分量或从移动矢量的均方根值导出的结果幅度。导出值111可以是在某个范围例如0到1内标准化的值。第一生成器1120基于导出值111生成缩放函数121。图像缩放器1130将缩放函数121应用于图像102的一个或更多个像素上。图像缩放器1130能够将缩放函数121应用于属于图像102的至少一部分或整个图像102的一个或更多个像素上。图像缩放器例如能够只缩放包含行情显示文本的图像的子区域，而让图像的其余部分不受影响。图像缩放器可配置成用黑色条或从时间相邻的图像中获得的'填充物，来填充图像的未受影响部分。
图12示意性地说明了图像处理设备1200的实施例。设备1200包括第二接收器1210、移动矢量估算单元1220和图像缩放器1230。在操作中，第二接收器1210接收属于图像序列的图像1201。移动矢量估算单元1220估算图像1201的至少一部分的移动矢量l"l。移动矢量估算单元1220使用本领域已知方法之一估算图像至少一部分的移动矢量1221。在一个实施例中，移动矢量估算单元1220被设置成估算图像1201的全局移动矢量。通常，对于移动矢量的估算，采用两个随时间位移并属于图像序列的图像。在一个实施例中，移动矢量单元1220可使用三个属于图像序列的连续图像。移动矢量估算单元1220可选地包括用于估算全局移动矢量的另外的移动模型单元，该全局移动矢量描述了在图像和先前图像之间或图像和后续图像之间的全局变化。提供了用于图像的宽高比转换的自适应缩放函数及相应缩放比率。图像处理设备可以是例如PC,机顶盒，VCR/VCP(盒式磁带录象机/播放器)，卫星调谐器，或DVD(数字化多用途盘)播放器/记录器或在摄影棚里的专业视频处理站或网络操作者的链接站的转换装置。
图13示意性地示出了图像显示设备1300的实施例。图像显示设备1300包括图像处理设备1200和显示装置1320。图像显示设备能够接收图像视频序列1202并显示它们。显示设备1320可具有宽屏的宽高比如16: 9。总的来说，可从所公开的图像处理设备1200获得用于宽屏显示设备的任何宽高比。在某些手持装置如卫星导航系统和移动电话中，图像的显示高度可等于其宽度。显示设备1300对于显示宽高比小于或大于4: 3的图像也是有用的。显示设备1300可以是具有显示宽度大于高度的宽屏TV、具有宽屏显示器的PC、媒体中心、或具有显示高度大于宽度的手持装置。
图14示意性地示出了用于基于移动矢量缩放图像的装置1400的实施例。装置1400包括第一接收器1410、第一生成器1420,第二生成器1440、第一可靠性单元1450、第二可靠性单元1460和图像缩放器1430。在操作中，第一接收器1410接收图像102的至少一部分的移动矢量101、与移动矢量101相关联的可靠性值1403和场景变化值1405。可靠性值1403和场景变化值1405可以可选地由移动矢量估算单元生成。独立地或者从移动矢量估算单元获得来自图像序列的场景变化值的技术是本领域已知的。输入IOI、 1403和1405可由第一接收器1410独立处理。第一接收器1410的输出包括移动矢量101的导出值111、从可靠性值1403导出的可靠性信号1413和从场景变化值1405导出的场景变化信号1415。在装置1400的一个实施例中， 可在第一接收器1410中应用用于获得可靠性信号和场景变化信号的 预定义阈值。在装置1400的另一个实施例中，可在相应的可靠性单 元145 0和1460中应用预定义阈值。
在操作中，第一可靠性单元1450选择两个缩放函数即第一预定 缩放函数1445或所生成的缩放函数121之一，该选择受可靠性信号 1413的影响。如果移动矢量的可靠性值1403超出预定义阈值，则由 图像缩放单元1430使用所生成的缩放函数121。第一可靠性单元1450 也被设置成以类似方式切换所生成的定时函数341或第一预定定时 函数1447。在一个实施例中，第一预定缩放函数1445可以是当可靠 性值1403小于预定义阈值时的时刻应用的函数。类似地，第一预定 定时函数1447可以是当可靠性值1403变成小于预定义阈值时的时刻 应用的函数。
当场景变化值1405超出预定义阈值时，在接收器1410中生成场 景变化信号1415。可能的是直接从外部源接收场景变化检测信号 1415。第二可靠性单元1460的功能是选择第二预定缩放函数1455或 者可在第一可靠性单元1450的输出处得到的缩放函数1451，该选择 由场景变化检测信号1415控制。只要没有场景变化，就将在第一可 靠性单元1450的输出可得到的缩放函数1451和定时函数1453耦合 到图像缩放单元1430。因此，使所选择的缩放函数1461和所选择的 定时函数1463可用于图像缩放器1430。当有场景变化信号时，指定 给先前场景的缩放函数和定时函数可导致可视失真。因此第二可靠性 单元被设置成切换至第二预定缩放函数1455和第二预定定时函数 1457。在装置1400的一个实施例中，将第二预定缩放函数1455和第 二预定定时函数1457都重新设定为初始设定值。由于该布置，场景 变化造成的失真相对降低了而装置1400的鲁棒性增加了 。
用于对图像的一个或更多个像素进行基于移动矢量的缩放的装 置1100和图像处理设备1200和图像显示设备1300可通过数字硬件 或通过由数字信号处理器或通用计算机执行的软件来实现。
除了仅识别诸如全局相机摇摄之类的全局移动的简单实施例之 外，可以分析独立对象，通常为前景对象的移动，而且缩放可考虑这 些对象。例如，为了跟随单个人或前景对象的运动，可细调单个缩放
17函数。可根据移动矢量本身容易地分割前景对象。然而，可执行对前 景对象的进一步分析如紋理分析或面部检测，以对对象进行分类并选 择合适的缩放函数。
在一次拍摄中，可考虑该拍摄中的所有相关移动来选择并修改最 优缩放函数。因此通过考虑正在移动的人的变形和背景的变形的各种 严格条件，可达到最优平衡。例如，如果伪影出现在人像周围，则一 些变形可能还不是太不好，而对于较大的摇摄速度，变形可能就更为 不好了 。可选择合适的背景缩放函数如部分地用来自周边画面的适合 外插数据进行补充的第二二次函数。
虽然移动矢量可实时确定，但是移动矢量可以是已经嵌于图像序 列中，或可选地作为补充图像序列的元数据。通过在离线情况下为序 列计算移动矢量一次，处理要求降低了。另外，为了提高最后得到的 移动矢量的质量，可使用采用先进的分段技术的高质量算法。
移动矢量信息还可包括其它离线确定的、提供移动矢量生成的质
量的系数。该信息可包括例如拍摄边界、拍摄类型，并包括例如描 述摇摄或变焦距序列的参数。
可选地，元数据可包括用于生成缩放函数本身的实际系数。专业 从事内容创作的艺术家可将至少一个缩放函数的系数或其他数据规
定为电视信号的保留数据部分(如作为压缩电视信号的辅助增强信 息，或在电视文本线中的数据部分等。)，以使得显示器将创造最优 效果，而艺术家甚至可为若干个显示器上这样做(如从小到大的投影 仪)，显示器识别哪种缩放类型是最合适的。
也可能的是使用几个缩放函数(如抛物线)的级联，例如在场景中 围绕中心动作的第一抛物线，以及用于接近图像边界的背景区域的第 二抛物线。可选地，这样的缩放函数可实现为分段线性缩放函数。
也可能的是在图像的各部分例如潜台词区域上应用几个缩放函 数，而保持图像的其余部分不被缩放，且在不受影响的部分还有额外 的画面如时钟、标识，商业信息、滚动栏文本，或黑色条。
本发明的范围不限于明确公开的实施例。本发明包含在每个新特 征和这些特征的每个组合中。任何参考符号不限制权利要求的范围。
件:者步骤的、存在Y在一个部件前的^单词"二"或(二个"的使用不;;多个这样的部件的存在。所描述的所有装置单元和方法步骤可组合并 实现为一个或几个硬件单元或软件单元实现，而且这样分布于网络、 指令等。
权利要求
1、一种对属于图像视频序列的图像进行处理的方法，包括基于移动矢量缩放图像，所述移动矢量描述了对象在第一图像中的第一位置和该对象在第二图像中的第二位置之间的对象位置改变，所述图像属于图像视频序列。
2、 如权利要求1所述的方法(IOO)，其中缩放所述图像(102)包括基于所述移动矢量(101)生成(120)缩放函数(121);以及 通过将所述缩放函数(121)应用到所述图像(102)的一个或更多 个像素上来获得(130)经缩放图像(131)的一个或更多个像素。
3、 如权利要求1所述的方法，包括基于全局移动矢量缩放所述 图像，所述全局移动矢量描述在所述第一图像和所述第二图像之间的 全局变化。
4、 如权利要求2所述的方法(IOO),其中生成(120)所述缩放函 数(121)包括基于所述移动矢量(101)的水平分量改变所述缩放函数 (121)的至少一个参数值，而获得(130)所述缩放图像(131)的一个或 更多个像素包括通过将所述缩放函数应用到属于所述图像(102)的像 素行的一个或更多个像素上来获得属于所述缩放图像的相应像素行 的一个或更多个像素。
5、 如权利要求2所述的方法(IOO)，其中生成(120)所述缩放函 数(121)包括基于所述移动矢量(101)的垂直分量改变所述缩放函数 (121)的至少一个参数值，而获得(130)所述缩放图像(131)的一个或 更多个像素包括通过将所述缩放函数应用到属于所迷图像(102)的像 素列的一个或更多个像素上来获得属于所述缩放图像的相应像素列 的一个或更多个像素。
6、 如权利要求2所述的方法(100)，其中生成所述缩放函数(131) 包括从包含非-线性函数(270)和分段线性函数(280)的组中选择基本 函数(260),以及使用所述基本函数(260)生成所述缩放函数(121)。
7、 如权利要求2所述的方法(IOO)，其中生成所述缩放函数包括 选择二次函数以及基于从所述移动矢量计算的幅度值改变所述二次 函数的参数。
8、 如权利要求4或5所述的方法(300),其中生成(320)所述缩 放函数(321)进一步包括将所述缩放函数(321)的至少一个参数值限 制(325)在参数值的基本预定义范围之内。
9、 如权利要求2所述的方法(400),进一步包括在将所述缩放函 数(427)应用到所述图像(102)的一个或更多个像素上之前，基于与所 述移动矢量(IOI)相关联的可靠性值(403)选择(425)第一预定缩放函 数(426)或所生成的缩放函数(121)。
10、 如权利要求2所述的方法(500)，进一步包括在将所述缩放 函数(527)应用到所述图像的一个或更多个像素之前，基于场景变化 信号(503)选择(525)第二预定缩放函数(526)或所生成的缩放函数 (121)。
11、 如权利要求2所述的方法(600)，进一步包括基于所述移动 矢量(101)生成(640)定时函数(641)以控制用于不同时刻的缩放，而 获得(630)所述缩放图像(631)的一个或更多个像素包括根据所述定 时函数(641)将所述缩放函数(121)应用到所述图像的一个或更多个 像素上。
12、 如权利要求11所述的方法(600)，其中生成(640)所述定时 函数(641)包括基于从所述移动矢量(IOI)计算的幅度值来控制所述 定时函数(641)的至少一个参数值。
13、 如权利要求12所述的方法(700)，其中生成(740)所述定时 函数(751)进一步包括将所述定时函数(751)的至少一个参数值限制 (750)在参数值的基本预定义范围之内。
14、 如权利要求11所述的方法(800)，进一步包括在根据所选择 的定时函数(851)将所述缩放函数(121)应用到所述图像(102)的一个 或更多个像素上之前，基于与所述移动矢量(101)相关联的可靠性值 (803)选择(850)第一预定定时函数(860)或所生成的定时函数(641)。
15、 如权利要求11所述的方法(900)，进一步包括在根据所选择 的定时函数(951)将所述缩放函数应用到所述图像的一个或更多个像 素上之前，基于场景变化信号(903)选择(950)第二预定定时函数(960) 或所生成的定时函数(641)。
16、 如权利要求l所述的方法，其中所述图像(102)包括MxW个像素块而其中对所述图像的一个或更多个像素进行缩放包括基于与所述MxW块相关联的相应的一个或更多个移动矢量(lOl)生成一个或更多个缩放函数(121);以及通过将所述一个或更多个缩放函数(121)应用到所述图像(102)的相应MxiV块中的一个或更多个像素上来获的所述经缩放图像(131)的一个或更多个像素。
17、如以上权利要求中任何一项所述的方法，其中通过相干移动 或其他图像特性来检测至少一个前景对象，而所述缩放考虑了所述至 少一个前景对象的时空位置。
18 、 一种用于对属于图像视频序列的图像(102)进行缩放的装置 (1110)，包括第一接收器(1110)，能够接收移动矢量(101)，所述移动矢量(101) 描述在对象在第一图像中的第一位置和所述对象在第二图像中的第 二位置之间的所述对象的位置改变，所述图像属于所述图像视频序 列；第一生成器(1120)，能够基于所述移动矢量(101)生成缩放函数 (121);以及图像缩放器(1130)，能够通过将所述缩放函数(121)应用到所述 图像(102)的一个或更多个像素上而获得经缩放的图像(131)的一个 或更多个像素。
19、 一种图像处理设备(1200)，包括 第二接收器(1210)，能够接收图像视频序列(1201); 移动估算单元(1220)，能够估算移动矢量(1201)，所述移动矢量(1201)描述在对象在第一图像中的第一位置和所述对象在第二图像 中的第二位置之间的所述对象的位置改变，所述图像属于所述图像视 频序列(1202);如权利要求18所述的装置(1230)，能够缩放属于所述图像视频 序列的图像(1202),其中所述缩放基于预定义宽高比。
20、 一种图像显示设备(1300)，包括如权利要求19所述的图像处理设备(1200)，能够基于预定义宽 高比获得所述缩放图像(1231);以及显示装置(1320)，能够显示所述缩放图像(1231)。
21、 如权利要求20所述的图像显示设备(1300)，其中所述显示设备包括在从以下组中选择的设备中，该组包括宽屏电视、手持装 置、移动电话、导航接收器、画中画电视、具有多屏幕的计算机显示 器和媒体中心。
22、 一种用于处理属于图像视频序列的图像的计算机程序，包括用于基于移动矢量生成缩放函数的指令，所述移动矢量描述了在 对象在第一图像中的第一位置和所述对象在第二图像中的第二位置 之间的所述对象的位置改变，所述图像属于所述图像视频序列；以及用于通过将所述缩放函数应用到属于所述图像视频序列的图像 的一个或更多个像素上而获得经缩放的图像的一个或更多个像素的 指令。
23、 一种包含用于处理属于图像视频序列的图像的计算机程序的 介质，包括用于基于移动矢量生成缩放函数的指令，所述移动矢量描述了在 对象在第一图像中的第一位置和所述对象在第二图像中的第二位置 之间的所述对象的位置改变，所述图像属于图像视频序列；以及用于通过将所述缩放函数应用到属于所述图像视频序列的所述 图像的一个或更多个像素上而获得缩放图像的一个或更多个像素的 指令。
全文摘要
目前，各种电视标准采用不同宽高比。例如，与现有的使用4∶3宽高比的TV广播相比，16∶9的宽屏宽高比正在流行。以均匀或非均匀缩放比率水平地缩放图像的方法称为“全景缩放”。公开了通过基于所述图像102的至少一部分的移动矢量101生成的缩放函数121来缩放图像102的装置100和方法800。所述装置100可用于将具有第一宽高比的第一图像转换为第二宽高比的第二图像的图像处理设备或图像显示设备中。所公开的装置100在降低由全景缩放引起的可视失真方面，特别是在正在场景中移动对象的情况下是有用的。
文档编号G06T3/40GK101467178SQ200780021177
公开日2009年6月24日 申请日期2007年5月23日 优先权日2006年6月6日
发明者P·G·梅维森 申请人:皇家飞利浦电子股份有限公司