专利名称：图像信号的运动补偿处理的制作方法
技术领域：
本发明涉及用于图像信号的运动补偿处理的方法和装置。
背景技术：
US-20020093588 Al公开了 一种有成本效益的用于高清晰度电 视的电影到视频转换器。由视频转换器系统将高清晰度视频信号预滤 波并下采样为标准清晰度画面尺寸。用于场频上变换的标准清晰度运 .动估算器随后被利用来估算用于标准清晰度画面的运动向量。对所得 运动向量进行縮放和用于运动平滑的后处理，以用于针对高清晰度画 面对场频进行的运动补偿上变换中。
发明内容
在众多目的中，本发明的一个目的是提供一种改进了的图像信 号的运动补偿处理。本发明由独立权利要求来限定。在从属权利要求 中限定了优选实施例。
本发明是基于所观察到的特别是在平板显示器上针对快速运动 发生细节丢失的现象而做出的。因此，在本发明的一个方面中， 一种 方法是在低空间分辨率处使用有效的运动补偿上变换操作，并把针对 慢速运动图像部分的未补偿精确细节加回到按比例放大了的结果上。 以此方式，可以减少在HDTV信号的运动补偿处理方面的硬件和/或软 件上的投资。与US-20020093588最大的不同在于在该参考文献中仍 是在高清晰度信号上执行运动补偿处理(除了计算运动向量以外)， 而现在本发明提出在下变换信号上执行运动补偿内插。本发明一个实 施例提供了优选方式来根据速度对按比例放大的内插图像与原始图 像进行混合，从而保持静止图像的全分辨率/锐度，并使用运动图像 的运动补偿图像；在高速时输出由运动补偿图像支配。通过参考下述实施例，本发明的这些和其他方面将变得清楚并 得到说明。
图1示出了本发明的第一实施例；
图2示出了本发明的第二实施例；以及
图3示出了其向量被用于确定一致性的时空相邻的块。
具体实施例方式
图1示出了本发明的第一实施例。由比例縮小器scl来对一个 具有1080逐行(即，非隔行)和1920像素/行的高分辨率输入图像 信号进行按比例縮小，以获得具有720行和1.280像素/行的低分辨率 图像lpf。运动向量估算器ME基于低分辨率图像计算运动向量，该 低分辨率图像随后还要被进行运动补偿上变换UPC，此后由比例放大 器sc2来将运动补偿上变换后的图像按比例放大到原始1080/1920 格式。
低分辨率图像lpf还被比例放大器sc3按比例放大到原始 1080/1920格式，随后将其从输入信号中减去，以得到高通滤波信号 hpf。于是，比例缩小器scl、比例放大器sc3和减法器的组合形成 了一个高通滤波器H。在可选实施例中使用了一个真正的高通滤波 器。通过形成了组合电路C的乘法器和加法器，将高通滤波信号hpf 乘以一个系数k，随后将其加到比例放大了的运动补偿信号。高通滤 波器H和组合电路C一起形成了混合器M，该混合器将(高通滤波形 式的)输入信号与来自比例放大器sc2的按比例放大了的运动补偿信 号结合在一起。
图2示出了本发明的第二实施例，其比图1的实施例在硬件方 面更加有益，因为其只使用了两个比例变换器scl、 sc2而不是三个。 同样，由比例縮小器scl来对一个具有1080行和1920像素/行的高 分辨率输入图像信号进行按比例縮小，以获得具有720行和1280像 素/行的低分辨率图像lpf。运动向量估算器ME基于低分辨率图像来计算运动向量，该低分辨率图像随后还要被进行运动补偿上变换
UPC，此后由比例放大器sc2来将运动补偿上变换后的图像按比例放 大到原始1080/1920格式。随后由一起形成了混合器M的两个乘法器 和一个加法器将比例放大了的运动补偿信号与输入信号按(l-k) :k 的比例混合。
在图1和图2所示的实施例中，为了计算混合系数，优选地使 用了以下要素先前向量场和当前向量场、当前向量长度、以及亮度 值。在图2的实施例中，输出是由下式定义的
输出=k*0rig+(l-k)*NM—result
其中k为混合系数，0rig为原始输入图像，NM—result为运动 补偿上变换的输出。
' 关于使用先前向量场和当前向量场，计算时空一致性。对当前 块的向量与时空孔(spatio-temporal aperture)内的所有其他向量 间的最大向量长度差进行确定，其中所述时空孔包括来自如图3所示 的当前向量场CVF和来自先前向量场PVF的块。基本思想在不一致 区内不进行混合。在一个示例中，对于8位视频，如果最大向量长度 差为0则k—inconsistency为1，如果该最大向量长度差为8或更大 则k—inconsistency为0,对于0到8之间的向量长度差， k—inconsistency在0至U 1之间线性变化。
l关于使用当前向量长度，计算当前块的运动向量长度。基本思 想对于0和小的运动允许混合，而对于大的运动则不允许(因为其 将产生严重的伪影(artifact))。结果针对静止图像部分的(10 位)全分辨率，以及针对运动图像部分的(8位)低分辨率。在一个 示例中，对于8位视频，如果向量长度为0则k—vectorlength=l， 而如果向量长度为4或更大则k—vectorlength = 0，对于0到4之间 的向量长度，k—vectorlength在0到1之间线性变化。
关于使用亮度值，基本思想是由于自身变换变得更容易可视， 因此对非常暗的画面区域不施加变换，而只依靠MC低分辨率。在一 个示例中，对于8位视频，如果像素值小于25则k—luma=0，而如 果像素值为32或更大则k—luma=l，对于25到32之间的像素值，kjuma在0到1之间线性变化。
最终的混合系数k由下式定义 k=k—inconsistency*k—vectorlength *k—luma。 更具体地，基本概念被定义为 F0UT (7，" 一 a) = /^〖(7，" — ") + 6F0^g (7,")
其中0《k《1，空间坐标3^0c，力、其中T表示转置，05a5l， n 为画面号，F^为低通运动补偿(时间内插)画面，F:e为高通原始输 入画面。
低通画面和高通画面显然具有相同的空间分辨率，尽管能够以相 当低的分辨率实施低通画面的时间内插，随后进行空间縮放以达到输 出分辨率。
在静止画面部分中，k系数可被设置为l，由此可保存完整频谱。 基本上没有分辨率损失(除非内插器引入了误差)。对于快速运动图 像部分，k值可被设置为0，由此输出只具有较低频谱中的频谱成分。 无论如何高频谱成分很难被观察到，尤其是在LCD面板上。最后，对 于低速运动图像部分，k被设置为中间值，因此输出频谱包含所有的低 频谱成分和一些较高频谱成分。如果k被设置得过高，则有引入抖动 的风险，因为不对运动进行高频成分补偿。如果k被局部设置得过低， 会发生空间分辨率损失。
虽然根据以上描述存在多种方式来控制这个k，但在优选实施例 中，控制信号k取决于本地运动向量的一致性、运动向量长度以及像 素电平，艮P:
一致性由当前块的运动向量(下部画面中的蓝色)与所选相邻
运动向量(空间相邻(绿色)和时间相邻(灰色))间的最大差值("MVD") 来确定。像素块典型地为8X8像素。
由运动向量的x分量与y分量的绝对差值来计算上述差值。随
后由下式石角定是ci5"nc;y:
&画加町=1 —"/尸(,#吗0， 1)
其中CLIP(a， b， c)被定义为如果b《a《c则CLIP(a, b， c)=a，并且如 果a<b则CLIP(a， b， c)二b，并且如果a〉c则CLIP(a， b， c) =c。另外 ^为固定增益/縮放系数。
与向量长度的从属关系被定义为
U-"/尸("，0, 1)
其中L为向量长度(它是绝对水平向量分量与垂直向量分量的 和，并且r为可编程增益系数。
另外，发现黑色附近的改变比其他灰度级部分中的要更容易可
视。因此，加入了对像素值的从属关系
fc—=6Z7i°( n (尸(3e， /7) - O ， 0， 1)
其中n为增益系数而K为偏移量。因此，该增益系数对于暗像 素趋于零，并且对于较亮像素趋于i。
本发明的一个实施例可以总结如下。 一种用于对经过运动补偿 的画面速率进行转换的装置，该装置包括对输入图像进行按比例缩小
的装置scl、使用按比例縮小的图像来估算运动的装置ME、使用估算
出的运动和按比例縮小的图像来对中间的按比例縮小的图像进行插
值的装置UPC、对已插值的图像进行按比例放大的装置sc2、以及将 中间的按比例縮小的图像经比例放大后得到的图像与((高通)滤波形 式的)输入图像结合起来进行输出的装置M。本发明优选地用在显示 装置(如电视机)中，所述显示装置包括图l或图2所示的用来获取 输出图像的装置和用来显示输出图像的装置。
应注意上述实施例图解说明了本发明而非限制本发明，本领域 技术人员在不超出所附权利要求范围的情况下能够设计出许多可选 实施例。在权利要求中，"将信号A与信号B结合"的表述包括将从 信号A导出的第一信号与从信号B导出的第二信号结合的实施例，如 在结合中只使用了信号的高频部分。在权利要求中，括号内的任何参 考符号都不构成对权利要求的限制。动词"包括"并不排除没有在权 利要求中列出的部件或步骤的存在。部件前的冠词"一个"或"一种" 并不排除多个这种部件的存在。本发明可通过包括几个不同部件的硬 件实现，和/或通过适当编程的处理器实现。在列举了几个装置的装置权利要求中，几个这些装置可由同一硬件项来实施。在相互不同的 从属权利要求中陈述特定措施的简单事实并不表示不能结合这些措 施来得到好处。
权利要求
1.一种对图像进行运动补偿处理的方法，该方法包括下列步骤对输入图像进行按比例缩小(sc1)以获得按比例缩小的图像；对按比例缩小的图像进行运动补偿处理(ME UPC)以获得运动补偿图像；对运动补偿图像进行按比例放大(sc2)以获得按比例放大的运动补偿图像；以及将按比例放大的运动补偿图像与输入图像结合(M)以获得输出图像。
2. —种用来对图像进行运动补偿处理的装置，该装置包括 比例縮小器(scl)，用于对输入图像进行按比例縮小以获得按比例縮小的图像；运动补偿处理器(ME UPC)，用于对按比例縮小的图像进行运 动补偿处理以获得运动补偿图像；比例放大器(sc2)，用于对运动补偿图像进行按比例放大以获 得按比例放大的运动补偿图像；以及混合器(M),用于将按比例放大的运动补偿图像与输入图像结 合以获得输出图像。
3. 如权利要求2所述的装置，其中耦接混合器(M)以接收控 制信号(k)，该控制信号(k)用于根据按比例縮小的图像中运动物 体的速度来将按比例放大的运动补偿图像与输入图像进行结合以获 得输出图像。
4. 如权利要求3所述的装置，其中控制信号(k)还取决于在 运动补偿处理中所使用的运动向量的一致性。
5. 如权利要求3所述的装置，其中控制信号(k)还取决于按比例縮小的图像的亮度。
6. 如权利要求2所述的装置，其中混合器包括 高通滤波器(H),用于对输入图像信号滤波以获得高通滤波图像信号；和结合电路(c)，用于将高通滤波图像信号与按比例放大的运动补偿图像进行结合以获得输出图像。
7. —种显示装置，包括如权利要求2所述的装置，用以获得输出图像；以及 显示器，用于显示输出图像。
全文摘要
在对图像的运动补偿处理中，对输入图像进行按比例缩小(sc1)以获得按比例缩小的图像，对按比例缩小的图像进行运动补偿处理(ME UPC)以获得运动补偿图像，对运动补偿图像进行按比例放大(sc2)以获得按比例放大的运动补偿图像，并且将按比例放大的运动补偿图像与输入图像结合(M)以获得输出图像。
文档编号H04N7/015GK101606385SQ200780031096
公开日2009年12月16日 申请日期2007年8月20日 优先权日2006年8月21日
发明者埃尔文·B·贝列斯, 约翰·G·W·M·扬森, 赫拉德·德哈恩 申请人:Nxp股份有限公司