专利名称：数字视频中估算运动并补偿所感知运动模糊的方法及系统的制作方法
技术领域：
本发明一般地涉及图像处理，更具体地说，涉及估算数字视频中的运动的方法及系统和补偿保持型显示的数字视频中感知模糊的方法和系统。
背景技术：
众所周知，在例如液晶显示(LCD)的保持型显示器件上显示的数字视频中运动物体可能在观看者看来会有些模糊。据知，感知模糊部分地是由液晶显示单元较慢的LC响应引起的。与例如阴极射线管(CRT)的脉冲型器件相比，LCD显示器具有慢得多的亮度变化响应时间。感知模糊还部分地由在LCD显示器中普遍使用的取样保持技术中固有的延长的发光引起，这造成在人的视网膜上图像余辉的形成。当观看该视频序列时这些图像余辉就产生模糊的视觉感。
有人提出，通过调整LCD显示器来以与灰度转变成比例的量对加于各器件像素上的驱动电压进行调节，从而补偿LCD显示器较慢的响应时间。这种方法通常称为“过驱动”技术，已由H.Okurama、M.Akiyama、K.Takotoh和Y.Uematsu在文章“用于大尺寸LCTV的新的低图像滞后的驱动方法”(“A New Low Image-Lag Drive Methodfor Large-size LCTV”，SID’02 Digest，PP.1284-1287，2002)中描述。
有人提出，通过使用黑帧插入来调整LCD显示器，从而补偿在取样保持驱动技术中固有的延长发光，这种方法已由T.Kurita在文章“有关运动图像保持型显示的所感觉MTF的几点考虑”(“Consideration on Perceived MTF of Hold Type Display For MovingImages”，IDW’98 Digest，pp.823-826，1998)中描述。Park等人的美国专利申请出版物No.2003/0122772中也涉及黑帧插入，并且公开了通过调节给LCD显示器的信号来控制实际数据与所插入的黑数据之比的运行LCD显示器的方法。该比率根据视频流中运动的速度进行控制。据说，增加黑数据与视频数据之比尤其可防止出现运动模糊(motion blur)。
用于补偿延长发光的另一种技术涉及背光闪烁，正如T.Furuhashi、K.Kawabe、J.Hirkata、Y.Tanaka和T.Sato在文章“用于运动画面的高质量的TFT-LCD系统”(“High quality TFT-LCDSystem For Moving Picture”，SID’02 Digest，PP.1284-1287，2002)中所描述的。
为了避免改变保持型显示本身，公知的方法是对数字视频序列的各帧在保持型器件上显示之前施加视频预处理，从而补偿运动模糊。例如，正如K.Sekiya和H.Nakamura在文章“对运动画面的人眼跟踪积分效应和减小模糊的新的可能性”(“Eye-Trace Integration Effecton the Perception of Moving Pictures and a New Possibility For ReducingBlur”，SID’02 Digest，PP.930-933，2002)中所描述的，分析了对阶跃函数的LCD的低通滤波效应，并被用于引入波形调制，从而减小矩形波形中的运动模糊。
用于运动模糊补偿的另一种视频预处理技术是由M.Klompenhouwer和L.J.Velthoven在文章“液晶显示的运动模糊的减小补偿运动的反向过滤”(“Motion Blur Reduction for Liquid CristalDisplaysMotion Compensated Inverse Filtering”，VisualCommunications and Image Processing，pp690-698，2004)中详细描述的。按照这种技术，通过运用适应运动局部方向的一维高通过滤器处理每个像素，减小模糊。然而，正如运用其它已知的反向过滤方法一样，噪音可能是个问题。
De Haan等人的美国专利申请No.2003/0006991公开了抑制因沿轨迹运动积分(motion integration)而造成的运动模糊的方法，该方法使用对视频信号的逆积分过滤(inverse integration filtering)。视频信号的高空间频率特性确定成使得在图像无深浅反差的区域中过滤可被避免。该方法的宗旨在于减小其它反向过滤方法典型的噪音调制。
还考虑了其它预处理方法。例如，Nishimura的美国专利申请No.2002/0154088公开的一种在LCD显示器上显示图像的方法，所述LCD显示根据所确定的运动矢量，在构成输入图像的图像信号和消隐信号之间切换。该方法旨在减小现有技术中为补偿与CRT显示器相比的LCD显示器的物理特性而作的种种尝试所引起闪烁、拖尾和图像滞留。该方法考虑图像运动速度的因素来改变非图像信号的显示速率。更具体地说，当图像运动很快时，在一帧期间的非图像信号的显示速率就增加，尽力这样地控制，使得非图像信号的电平更接近白色信号电平而不是黑色信号电平。当图像运动很慢时则相反。如此，显示亮度和清晰度一般会增加。
本发明的对象目的在于提出在数字视频中用于估算运动和补偿所感知运动模糊的方法及系统。
发明内容
按照本发明的一个方面，提出了数字视频序列中当前帧和上一帧之间的像素运动的估算方法，所述方法包括如下步骤对所述当前帧和上一帧的多个像素块中的各像素块，估算所述帧间的运动矢量；根据在各群中的一个运动矢量和邻接群中的运动矢量对多个运动矢量群中的各群估算群运动矢量；
将其对应群的群运动矢量分配给当前帧中的各像素。
运动矢量估算的操作可包含将当前帧和上一帧分为多个像素块，并且所述运动矢量估算包含对于各像素块，从运动矢量候选列表中选择在当前帧中像素块和上一帧对应的像素块之间提供最小差值的运动矢量。
群运动矢量估算的操作可包含对各群中具有基本相同方向和至少阈值平均范围的运动矢量的比例已达到第一阈值比例的对应的群赋值群运动矢量；在具有基本相同方向的已赋值的群运动矢量小于第二阈值比例时，迭代地将已赋值群的运动矢量赋予邻接的未赋值群。
按照本发明的另一方面，提出了用所述帧之间像素的运动方向和运动范围的估算值来补偿因数字视频序列的当前帧和上一帧之间的运动引起的感知模糊的方法，所述方法包括如下步骤根据当前帧产生初始猜测帧；作为其对应的所估算的模糊方向和模糊范围的函数，使猜测帧中的像素变模糊；将各变模糊的像素与当前帧中的对应像素比较，产生各对应像素的误差像素；将各误差像素变模糊并加权；以及将各误差像素和其在初始猜测帧中的对应像素合并，从而刷新猜测帧并补偿模糊。
权重可以是对应像素运动(范围和方向)的函数。
按照本发明的另一方面，提出补偿由于数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的方法，所述方法包括如下步骤对所述帧中的多个像素块中各像素块，估算在所述帧之间的运动矢量；根据各群中的一个运动矢量和邻接群中的运动矢量，对多个运动矢量群中的各群估算群运动矢量；将对应群的群运动矢量分配给当前帧中各像素。
根据当前帧产生初始猜测帧；作为其对应的所分配的群运动矢量的函数，使猜测帧中的像素变模糊；将各变模糊的像素与当前帧中对应像素比较，产生各对应像素的误差像素；使误差像素变模糊并加权；以及将各误差像素和其在初始猜测帧中对应像素合并，从而刷新猜测帧并补偿模糊。
按照本发明的另一方面，提出了估算在数字视频序列中在当前帧和上一帧之间像素运动的系统，所述系统包括如下块矢量计算机，对所述当前帧和上一帧的多个像素块中各像素块确定所述帧之间的运动矢量；群矢量计算机，根据各群中的一个运动矢量和邻接群中的运动矢量，对多个运动矢量群中的各群确定群运动矢量；以及像素矢量分配器，将其对应群的群运动矢量分配给当前帧中的各像素。
按照本发明的另一方面，提出使用所述帧之间像素的运动方向和运动范围的估算值来补偿由于在数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的系统，所述系统包括运动模糊过滤器阵列，作为其对应的所估算的模糊方向和模糊范围的函数，使根据当前帧的初始猜测帧中的像素变模糊；比较器，将各变模糊的像素与当前帧中的对应像素比较，产生各对应像素的误差像素，所述运动模糊过滤器阵列还使各误差像素变模糊并加权；以及加法器，将各误差像素和其在初始猜测帧中对应像素合并，从而刷新猜测帧并补偿模糊。
按照本发明的另一方面，提出补偿由于在数字视频序列中当前帧和上一帧之间运动引起的感知模糊的系统，所述系统包括块矢量计算机，对所述帧的多个像素块中各像素块估算在所述帧之间的运动矢量；群矢量计算机，根据各群中的一个运动矢量和邻接群中的运动矢量，对多个运动矢量群中的各群估算群运动矢量；像素矢量分配器，将其对应的群的群运动矢量分配给当前帧中的各像素。
运动模糊过滤器阵列，作为其对应的所估算的模糊方向和模糊范围的函数，使根据当前帧的初始猜测图像中的像素变模糊；比较器，将各个变模糊的像素与当前帧中对应像素比较，产生各对应像素的误差像素，所述运动模糊过滤器阵列还使各误差像素变模糊并加权；以及加法器，将各误差像素和初始猜测帧中其对应的像素合并，从而刷新猜测帧并补偿模糊。
按照本发明的另一方面，提出了包括估算在数字视频序列中当前帧和上一帧之间像素运动的计算机程序的计算机可读介质，所述计算机程序包含对所述当前帧和上一帧的多个像素块中各像素块估算所述帧之间的运动矢量的计算机程序代码；根据各群中的一个运动矢量和邻接群中的运动矢量，对多个运动矢量群中的各群估算群运动矢量的计算机程序代码；以及将其对应的群的群运动矢量分配给当前帧中各像素的计算机程序代码。
按照本发明的另一方面，提出了包括使用估算在所述帧之间像素的运动方向和运动范围、补偿由于在数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的计算机程序的计算机可读介质，所述计算机程序包括
根据当前帧产生初始猜测帧的计算机程序代码；作为其对应的所估算的模糊方向和模糊范围的函数，使猜测帧中的像素变模糊的计算机程序代码；将各个变模糊的像素与当前帧中对应像素比较，产生各对应像素的误差像素的计算机程序代码；使各误差像素变模糊并加权的计算机程序代码；以及将各误差像素和其在初始猜测帧中其对应像素合并，从而刷新猜测帧并补偿模糊的计算机程序代码。
按照本发明的另一方面，提出了包括补偿由于在数字视频序列中在当前帧和上一帧之间运动引起的感知模糊的计算机程序的计算机可读介质，所述计算机程序包括对运动模糊帧中的多个像素块中各像素块，估算在所述帧之间运动矢量的计算机程序代码；根据各群中的一个运动矢量和邻接群中的运动矢量，对多个运动矢量群中的各群估算群运动矢量的计算机程序代码；将对应群的群运动矢量分配给当前帧中各像素的计算机程序代码。
根据当前帧产生初始猜测帧的计算机程序代码；作为对应的所分配群运动矢量的函数，使猜测帧中的像素变模糊的计算机程序代码；将各变模糊的像素与当前帧中对应像素比较，产生各对应像素的误差像素的计算机程序代码；使各误差像素变模糊并加权的计算机程序代码；以及将各误差像素和初始猜测帧中其对应像素合并，从而刷新猜测帧并补偿模糊的计算机程序代码。
本文所述的方法及系统具有增加保持型显示器(例如，LCD显示器)上显示的数字视频清晰度的优点，而不再有在许多已知的反向过滤方法中普遍存在的噪声放大问题，也不再需要对保持型显示硬件本身进行改动。而且，通过将像素分组并将运动矢量分群，可以很快地找到帧中显著的总体和局部对象运动，以供在预补偿所感知运动模糊时使用。
以下结合附图详细说明各实施例，附图如下
图1是表示由于保持型显示器件和人的视觉系统的运动感觉机理所形成的数字视频图像帧中感知模糊的示意图；图2a至2d是表示造成数字视频帧中感知模糊的人的视觉系统的跟踪行为的帧和定时图；图3是表示由于保持型显示器件和人的视觉系统的跟踪行为的综合效应形成的空间低通过滤效应的示意图；图4a是以空间域表示由于保持型显示器件和人的视觉系统的跟踪行为的综合效应引起的空间低通过滤效应的曲线图；图4b是以频率域表示由于保持型显示器件和人的视觉系统的跟踪行为的综合效应引起的空间低通过滤效应的曲线图；图5是表示在一个帧间运动估算值条件下，对空间低通过滤效应进行运动模糊预补偿的示意图；图6是表示对空间低通过滤效应进行运动模糊预补偿的示意图；图7是表示根据帧间像素运动对数字视频序列中感知模糊预补偿方法的流程图；图8是表示在运动矢量估算时所执行步骤的流程图；图9是说明在数字视频序列中两帧表示为逐步经处理以检测角部的两组图像；图10是表示在图9的两帧间像素块的运动矢量的运动矢量场；图11是表示将在两帧间各像素块的运动矢量分群从而获得在帧间像素的运动矢量的步骤的流程图；图12表示根据将群运动矢量赋予靠近的邻近群的方法，将群运动矢量迭代地赋予各群；图13是表示用与帧中各像素对应的估算运动矢量来预补偿帧中所感知运动模糊的步骤的流程图；图14a至14d是实验的数字视频序列，它们各具有独特的运动特性；图15a表示根据图14c的测试序列模拟的作了所感知运动模糊和运动预补偿的帧；图15b表示根据图14d的测试序列模拟的作了所感知运动模糊和运动预补偿的帧；图16表示用数码相机摄取并在LCD显示器上没有运动地显示的三幅测试图像；图17表示图16的用数码相机有运动地摄取的三幅测试图像中的第一幅图像并在LCD显示器上在没有和有运动预补偿的情况下有运动地显示；图18表示图16的用数码相机摄取的三幅测试图像的第二幅图像，在LCD显示器和CRT显示器上没有运动地显示，以及在有和没有运动预补偿的情况下在运动中拍摄的图像；以及图19表示图16的用数码相机摄取的三幅测试图像的第三幅图像，并在LCD显示器上和CRT显示器上没有运动地显示，以及在有和没有运动预补偿的情况下在运动中摄取的图像。
具体实施例方式
为便于理解，首先讨论由使用取样保持显示格式的保持型显示(例如LCD显示器)引起的数字视频图像中感知模糊。参阅图1，图1的示意图表示由于LCD显示器和人的视觉系统的运动感觉机理形成的在数字视频图像帧中的感知模糊。以下假定LCD显示器的帧速率足够地高，从而容许在一帧间隔内在人的视觉系统内完整的时间积分。在文章“人的视觉系统对运动图像的时间累加”(“Temporal Summationof Moving Images by the Human Visual System”，Proceedings of theRoyal Society of London B，221(1184)，pp.321-339，1981)中这种情况表示为D.C.模糊，对于帧速率60Hz或更高些满足这种条件。以下还假定人眼可以完全跟踪在LCD显示器上的区域运动(regionmovement)。这已经由S.Daly在文章““Engineering Observations FromSpatiovelocity and Saptiotemporal Visual Models”根据空间速度和空间时间的视觉模型的工程观察”(SPIE Conference on Human Vision andElectronic Imaging III，SPIE.Vol.3299，pp.180-191，1981)中报道，人眼可以可靠地跟踪速度为每秒80度的对象。这等同于(例如)在观看距离二倍于显示宽度时在60Hz扩展的图形矩阵(XGA)LCD显示器上每帧48像素(48ppf)的运动速率。
在输入视频序列被输入至LCD显示器时，来自输入视频序列的各数字视频图像或帧在LCD显示器上显示并且保持一帧间隔。当观看运动画面时，人眼运用平滑追寻的眼球移动来积极跟踪画面，从而在人的视网膜上产生稳定的图像，这正如M.J.Hawken和K.R.Gegenfurtner在文章“对二阶运动对象的追寻的眼球移动”(“Pursuit Eye Movements to Second Order Motion Targets”，Journal ofthe Optical Society of America A，18(9)，pp2292-2296，2001)中所描述的。因而，人的视觉系统采取视觉时间低通过滤来感觉到无闪烁的图像。
图2a至2d是表示在数字视频图像中形成感知模糊的人眼跟踪行为的帧和定时图。图2a表示一个典型的二维帧。图2b表示图2a所示的帧中一条扫描线的水平位置与时间的关系。图2c表示在人眼跟踪该扫描线的运动以后该扫描线的运动补偿位置。可以看到相同的光图案周期地成像在视网膜上，形成稍微稳定状态的视感觉。图2d表示由人的视觉系统所感觉的处于运动中的帧，犹如在一帧间隔内积分的结果。由此可以看到该帧在感觉上是模糊的。
因此，可以看到LCD显示器和人的视觉系统跟踪行为的综合形成空间低通过滤效应。在图3中示意地画出这种效应，这种效应运用数学模型可用下列方程(1)和(2)表示为降级(degradation)函数。
h(x)=1vT,0≤x≤T0,otherwise---(1)]]>H(f)＝sinc(πfvt) (2)式中v是以每秒像素数表示的帧移动；以及T是以秒表示的显示器刷新率。
方程(1)是定在运动方向的一维模糊函数，而方程(2)是对应的频率域函数。方程(1)和(2)分别表示为图(4a)和(4b)的曲线。
为了处理上述讨论的感知模糊问题，已经开发了运动模糊预补偿技术，现在结合附图5-13说明这种预补偿技术。参阅图5，该图是给出估算帧间运动，对空间低通过滤效应进行运动模糊预补偿的系统的示意图。已经提出使用估算图像的运动方向和运动范围，对数字摄像机摄取的数字图像的运动模糊预补偿的方法，这正如未决的美国专利申请No.10/827394“运动模糊校正”(“Motion BlurCorrection”，2004年4月19日提交)所描述的，该专利的内容通过引用而结合于本文。已经发现为补偿静止图像中模糊所设计的方法所使用的一些概念对于预补偿由于在数字视频序列中帧间像素运动引起的感知模糊可能是有效的。
图6是对空间低通过滤效应进行运动模糊预补偿的另一示意图。在图6中，数字视频序列中每帧通过运动处理过滤器，所述过滤器执行帧运动估算和帧运动补偿。运动处理过滤器的输出送至LCD显示器。还有一个二帧存储缓冲器(未图示)用于使数字视频序列能被实时地处理。
图7是根据在帧间像素运动预补偿数字视频序列中感知模糊所执行的步骤的流程图。在接收到两个接连的或者依次的数字视频帧(当前帧Fn和上一帧Fn-1)后(步骤100)，对当前帧中各像素块估算所述二帧之间的运动矢量(步骤200)。得到估算的运动矢量群，并且对所述群估算群运动矢量，再将群运动矢量分配给当前帧中的各个像素(步骤300)。使用分配的群运动矢量，当前帧的像素被过滤，从而预补偿感知模糊(步骤400)。
进行对像素块估算运动矢量，并接着将估算的运动矢量群集，从而很快找到当前帧中显著的整体和局部的运动。这种方法与公知的用来(以牺牲性能为代价)精确寻找个别像素运动的光学流方法相反。
图8还说明估算运动矢量的方式。首先，对当前帧Fn和上一帧Fn-1进行预处理和特征检测(步骤210)。预处理先开始从当前帧Fn和上一帧Fn-1各取出Y-通道亮度图像In和In-1。然后用3*3箱式过滤器(box filter)处理图像In和In-1，使得其平滑，产生预处理图像帧Gn和Gn-1，用方程(3)和(4)表示如下Gn-1＝In-1H (3)Gn＝InH (4)式中H是过滤器输入响应。
特征检测包括使用Harris角检测器检测在帧中各角，正如C.G.Harris和M.Stephens在文章“综合的角和边缘检测器”(“ACombined Corner And Edge Detector”4thAlvey Vision Conference，pp.147-151，1998)中所描述的。更具体地说，使用下列方程(5)对经预处理的图像帧Gn和Gn-1(分别表示为G1)的每一帧计算测量值R1Rl=(Dl,x)2(Dl,y)2-(Dl,xDl,y)2(Dl,x)2+(Dl,y)2+∈---(5)]]>式中x和y是图像G1中像素坐标；
D1，，x和D1，y是图像G1在坐标(x，y)的水平和垂直方向导数；以及ε是防止溢出的小数。
通过使用一个7×7最大过滤器来执行松弛，消除在小邻近区域内的双角(duplicate corners)。然后以递减的次序将测量值R1，分类，第一k对应像素被认为是角像素c(x，y)，如下列方程(6)所示k＝min{检测到的角的总数，512} (6)图9是说明在数字视频序列中两帧表示为逐步经处理以检测角的两组图像。两行中每一行表示对应的输入帧(a，e)、亮度图像(b，f)、箱式过滤(平滑或者模糊地)的亮度图像(c，g)和具有检测到的角(d，h)(表示为小点)的图像。
返回图8，一旦预处理和特征检测(步骤210)完成，将两个相邻帧Fn和Fn-1(具有高度h和宽度w)的每一帧划分为8×8像素块(步骤212)，从而建立像素块运动矢量场的图像Vn(步骤214)。图像Vn的尺寸为(h/8)×(w/8)，而各个运动矢量的位置为Vn(i，j)。
那末，通过从候选运动矢量L(m)的列表L中选择运动矢量，以光栅扫描次序确定在像素块运动矢量场图像Vn中在位置Vn(i，j)处的各运动矢量(步骤216)。更具体地说，从候选运动矢量列表L选择提供在数字视频序列中当前帧Fn的像素块和上一帧Fn-1的对应像素块之间最小差值的运动矢量，正如在本文还要叙述的。这种称为“真实运动估算”处理方案的原理由Ralph Braspenning和Gerard de Haan在文章“使用特征一致性的真实运动估算”(“True-Motion EstimationUsing Feature Correspondences”，SPIE Proceedings of VisualCommunications and Image Processing，pp.396-407，Jan.2004)中所描述的。
按照下列方程(7)，对由图像Vn中位置Vn(i，j)表示的各像素块建立候选运动矢量的列表L
式中Vn-1是前两帧的运动矢量场；以及η是零平均值，具有方差σ2的高斯随机变量。
真实运动估算部分地依据于假定在相邻帧Fn和Fn-1之间对象运动大于该像素块。同样地，在当前帧Fn中已经估算的邻近块的运动矢量被用作预测的空间候选值。根据运动矢量是以一定的扫描次序从候选列表中选择的，空间候选值Vn(i-1，j)，Vn(i，j-1)是可供使用的。即，在选择Vn(i，j)之前通过从对应候选列表中选择时Vn(i-1，j)，各Vn(i，j-1)须已经被建立。
以与空间候选值类似的方式，时间候选值Vn-1(i+2，j+2)根据运动矢量的上一选择而设置，在此例中，为从上一对相邻帧建立的运动矢量场Vn-1而设置。对于数字视频序列，在随后的相邻帧之间运动矢量非常可能具有高相关性，因此在许多情况下时间候选值能快速地收敛于为运动作的精确选择。
根据对象具有惯性的假定，随机侯选值Vn(i-1，j)+η，Vn(i，j-1)+η为正确跟踪变化的对象运动而设置。
根据在预处理和特征检测(步骤210)检测的角，获得角候选列表Cn(i，j)。对当前帧Fn中块的每一角c，做出在上一帧中在25×25窗口内所有角c’的相关性。将正规化互相关NCC用于计算当前帧Fn中的角c(u，v)和在上一帧中的角c’(u’，v’)之间的相关系数(correlationscore)。正规化互相关NCC表示如下
式中I(u，v)和I’(u’，v’)是在两个已处理帧图像中的像素。
具有NCC值＞0.90的角对之间的运动矢量被加入角候选值列表Cn(i，j)。
因为帧间像素块的零移动可能频繁地发生(这决定于数字视频序列中的主题)，在，给出零矢量以能快速地收敛并确实为零矢量。
在候选列表L中各候选运动矢量L(m)被赋予对应的罚值P(m)用于块差值计算，如下所示 赋予罚值是为了给更可能的真实运动矢量候选值增加优先。惩罚机理确保对空间候选值的优先选择，以提供平滑的矢量场。另一方面，随机候选值最少可能成为真实运动矢量，因为它们是为得到各像素块之间最佳匹配还没被找到的新矢量。
然后，按照方程(9)，对在当前图像帧Gn的运动偏移像素块和上一图像帧Gn-1的对应块之间的各候选矢量L(m)＝(u，v)计算差值绝对值的惩罚和(SAD)S(m)S(m)=p(m)+Σy=0b-1Σx=0b-1|Gn-1(bi+x,bj+y)-Gn(b(i+u)+x,b(j+v)+y)---(9)]]>式中b是像素块高度和宽度。
列表L的所有候选运动矢量L(m)中产生最低S(m)的候选矢量Lmin(m)被选为该像素块的运动矢量Vn(i，j)，并且被用于刷新运动矢量场图像Vn(步骤218)，正如下列方程(10)所示Vn(i，j)＝Lmin(m)(10)图10表示在图9的二帧之间像素块的运动矢量的运动矢量场图像。
图11是进一步说明图7的步骤300的流程图，用于为了获得各像素的帧间运动矢量，将运动矢量场图像Vn中的运动矢量Vn(i，j)分群。最初，将运动矢量场图像Vn划分为6×6块运动矢量Vn(i，j)的群(步骤310)，再将各群中运动矢量Vn(i，j)量化为四个离散方向中的一个(步骤312)。假如在一个群中经量化方向的运动矢量中超过75％具有相同方向dn(步骤314)，那末该群被赋予具有该运动方向dn的群运动矢量(步骤316)。否则，该群不被赋予群运动矢量(步骤318)。
假如该群被赋予具有运动方向dn的群运动矢量，倘若属于该群的块运动矢量的平均范围小于2个像素(步骤320)，那末该群所赋予的群运动矢量被清除(步骤318)。
假如属于该群的块运动矢量的平均范围大于或者等于2个像素，就要进行检查来确定是否所有被赋值的群运动矢量的至少75％具有相同运动方向Dn(步骤322)。假如是，则该帧中所有像素被分配具有方向Dn和其范围为具有方向Dn的所有被赋值群运动矢量的平均值的运动矢量(步骤326)。这是通过建立施加在该帧中所有像素的全局帧运动矢量来实现的。
假如所有被赋值的群运动矢量不到75％具有相同运动方向dn，那末还没有被赋予群运动矢量的各群被赋予与它们邻接(靠近连接)的邻近群被赋予的相同的群运动矢量(步骤324)。邻近群是那些满足4-连通性原理的群。群运动矢量的这种赋予是基于这样的假定邻接像素块很可能是相同对象上的部分，因此可以假定在帧间具有相同的运动。这个过程继续迭代地进行，直至所有还没有被赋予群运动矢量且其邻接具有已被赋予群运动矢量的群的各群都被赋予了群运动矢量(步骤328)，此时已被赋值的群运动矢量被分配给当前帧中对应的那部分像素(步骤330)。
图12表示根据将群运动矢量赋予靠近的邻近群的方法、将群运动矢量迭代地赋予各群，从而快速地估算各帧中显著的局部对象运动。
图13是进一步说明图7的步骤400的流程图，用所分配的运动矢量来补偿帧Fn中的所感知运动模糊，以产生输出帧On供LCD显示器显示。在下文叙述的预补偿是对上述未决的美国专利申请No.10/827394“运动模糊的校正”中公开的技术的修改。
在步骤300中，从分配给当前帧Fn中对应像素的群运动矢量获得K个运动矢量的阵列。在没有任何运动矢量时，就无需预补偿，输出帧On等于帧Fn。
然而，在帧间存在运动的场合，就构造一个过滤器组(步骤410)，并且为阵列中各运动矢量创立一个线性模糊过滤器fk，它具有与有关的运动矢量对应的尺寸sk和方向θk，并被加到过滤器组上。例如，当K＝2时，基于具有方向θ1＝0°和范围s1＝5个像素的运动矢量的两个模糊过滤器中的第一个f1表示为 基于具有方向θ2＝90°和范围s2＝3个像素的运动矢量，两个模糊过滤器中的第二个f2表示为 通过设定帧Fn为输出帧On的初始猜测图像，建立初始猜测帧(步骤412)。从该猜测图像中选择一个猜测像素(步骤414)，并且从过滤器组中提取与该猜测像素对应的模糊过滤器(步骤416)。假如该模糊过滤器不具有至少一个像素的范围(步骤418)，那末该方法返回到步骤414，以选择下一个像素。否则，使用Sobel边缘过滤器，估算在模糊过滤器运动方向上的猜测像素的边缘宽窄(步骤420)，并且作为在Wn(x，y)中的权重系数存储。按照下列的方程(11)、(12)和(13)进行Sobel边缘过滤器操作和加权 Wn(x，y)＝cos·dx(x，y)+sin·dy(x，y) (13)然后，通过将On(x，y)与过滤器fk卷积用模糊过滤器使猜测像素变模糊(步骤422)，以获得被模糊的像素Bn(x，y)。通过从Fn(x，y)减去Bn(x，y)获得误差En(x，y)，确定在帧Fn的像素和被模糊的猜测像素之间的误差(步骤424)。再用模糊过滤器fk模糊误差En(x，y)，并用在步骤420获得的边缘宽窄作为权重系数加权(步骤426)。然后按照下列方程(14)用经加权和模糊的误差刷新该猜测像素(步骤428)On(x，y)＝On(x，y)+βx En(x，y)x Wn(x，y) (14)式中β是恒定步长。
假如在猜测图像中还有更多的像素要被选择(步骤430)，那末该方法回到步骤414选择下一个像素。否则，计算输出帧On的总调节，以确定按下式(15)在所有像素上计算的猜测图像和猜测图像之间的总差值ΔEΔE=ΣyΣx[β×En(x,y)×Wn(x,y)]---(15)]]>如ΔE小于预定的误差阈值，那末对于帧Fn的预补偿完成，用调在各像素位置运动方向上的方向清晰过滤器使输出帧On清晰，并将输出帧On提供给LCD显示器显示(步骤436)。否则，通过选择经刷新的猜测图像中的一个像素后回到步骤416，进行重复迭代。
图14a至14d是各具有独特的运动特性的实验数字视频序列，。用实施上述方法的软件对实验序列进行测试，所述软件是在2.26Ghz处理速度的Intel Pentium 4、256Mb的RAM、存储器总线速度266Mhz和Microsoft Windows 2000 Professional操作系统上用MicrosoftVisual Studio C++6.0构造和汇编的。
对于图14a的序列，使用具有320×240像素分辨率的摄像机从左向右摇动摄取构成该序列的两幅图像帧。该两帧的比较得到总体帧运动的估算θ＝0°和范围为13个像素，正如在第三幅图像帧上箭头所示。
对于图14b的序列，使用具有640×480像素分辨率的摄像机摄取构成该序列的两幅图像帧。在这个例子中，该图像序列表示朝向不同方向跑动的两只狗。该两帧的比较得到对象运动的估算是其中一只狗为θ＝90°和范围为10个像素，正如在第三幅图像帧中由多个连成一体的群所描绘的标识单个运动对象的这只狗身上箭头所示。第二只狗的运动由于运动范围小于范围阈值而忽略不计。
对于图14c的序列，使用具有176×144像素分辨率的摄像机摄取构成该序列的两幅图像帧。在这个例子中，该图像序列表示静态的背景和运动的人。该两帧的比较得到对象运动的估算θ＝0°和范围为3个像素，正如在第三幅图像帧中由多个群所描绘的该运动对象上箭头所示。
对于图14d的序列，使用具有320×240像素分辨率的摄像机摄取构成该序列的两幅图像帧。在这个例子中，该图像序列表示在场景中几个足球运动员在跑动。该两帧的比较得到多个对象运动的估算。两个对象估算为θ＝0°和范围为7个像素，一个对象估算为θ＝180°和范围为4个像素，而另一个对象估算为θ＝270°和范围为11个像素。这些对象运动由在对象上箭头所示，各对象由第三幅图像帧中多个群所描绘。
图15a表示模拟的基于图14c的测试序列的所感知运动模糊和被运动预补偿的帧。按照图2a至2d的帧和定时图在估算的运动方向上积分来形成模拟的所感知运动模糊的帧。左上图像是原有帧，右上图像是预处理图像，左下图像是模拟的所感知运动模糊帧和右下图像是所感觉的运动预补偿图像。可以看到右下图像的清晰度要比左下图像好得多。
图15b表示模拟的基于图14d的测试序列的所感知运动模糊和运动预补偿的帧。同样地，按照图2a至2d的帧和定时图在估算的运动方向积分来形成模拟所感知运动模糊帧。左上图像是原有帧，右上图像是预处理图像，左下图像是模拟所感知运动模糊的帧和右下图像是所感觉的运动预补偿图像。由此可以看到右下图像的清晰度要比左下图像好得多。
已经发现上述运动预补偿方法的性能部分地取决于原有帧中运动的复杂性。也已经发现角检测是在运动预补偿方法中最耗费计算能力的操作。下列的表格1列出在预补偿所感知运动模糊时的平均帧处理时间。时间由Standard C library提供的内部计时器测定。
表格1在表格1中标准处理时间是在执行上述方法时收集的，优化处理时间是在执行改进的方法(其中，角检测施加在该帧的子样本上)时收集的。
图16表示在实验时用数码相机摄取的并且没有运动地显示在LCD显示器上的三幅测试图像。摄像机是具有ISO800的CanonEOS20D，光圈F1.4-F1.6。使用2ms的曝光时间，摄像机分辨率是2336×3504。LCD显示器是具有亮度100％和对比度75％的DellE193FP监视器。为了使所感觉的输出可视化，在摄像机以高于视网膜正常积分时间的高帧率摄取图像的时间平均。各幅图像中的帧对准是用摄像机的快门时间标志执行的。
图17表示在没有和有上述运动预补偿的情况下用摄像机摄取的并且有运动地显示在LCD显示器上的图16的三幅测试图像的第一幅图像(灰条)。对于图17上图(未预处理图像)，在帧运动为每帧8个像素(8ppf)时评估灰条的模糊边缘宽度(BEW)，灰条的模糊边缘宽度(BEW)在上升时为11.93个像素，在下落时为13.69个像素。对图17下图(已经预处理图像)测量上升BEW为7.03个像素，下落BEW为10.06个像素，表示由摄像机感测的预处理图像更为清晰。
图18表示在有和没有上述运动预补偿的情况下用摄像机摄取的并且没有运动地显示在LCD显示器(左上图)上和CRT显示器(右上图)上的图16的三幅测试图像的第二幅图像(脸)。也是表示用移动中的摄像机从LCD摄取的“脸”测试图像，左中图(没有运动预补偿)和右中图(具有过运动预补偿)。在最下面一行表示用移动中的摄像机从LCD摄取的“脸”测试图像，左下图(在运动预补偿后)和右下图(作为边缘运动图像)。运动速率是8ppf。由此可见经清晰化和边缘运动预处理图像得到了更清晰的特征外貌，例如脸上的眼睛和嘴唇部位。
图19表示在有和没有运动预补偿的情况下用摄像机摄取的并且没有运动地显示在LCD显示器(左上图)上和CRT显示器(右上图)上的图16的三幅测试图像的第三幅图像(饮料箱)。也是表示用移动中的摄像机从LCD摄取的“饮料箱”测试图像，左中图(没有运动预补偿)和右中图(具有过运动预补偿)。最下面一行表示用移动中的摄像机从LCD摄取的“饮料箱”测试图像，左下图为在运动预补偿后，右下图为边缘运动图像。运动速率是8ppf。由此可见经清晰化和边缘运动预处理图像得到了更清晰的文本字符。
尽管在上面已经结合附图阐述了特定的实施例，但应明白其它选择也是可能的。例如，虽然在步骤212在预处理和特征检测时使用3种过滤器规格，若需要的话可以使用其它过滤器规格，从而达到适合特定实施的效果。而且，虽然在确定特征配合的角时谈到使用Harris角检测器，其它角检测算法也可以使用，例如由S.Smith和J.Brady在文章“Susan--对低程度的图像处理的新方案”(“Susan-a new approach to low level image processing”，International Journal ofComputer Vision 23，pp.45-78，May 1997)中所介绍的SUSAN算法。
虽然在步骤212中使用8×8像素块尺寸，应当理解，考虑处理时间与性能之间的平衡效果，也可以选择更大或更小的块尺寸。
虽然在步骤216中特征匹配时计算正规化互相关时使用了25×25像素邻群，应当理解，也可以选择其它邻群尺寸。而且，虽然所有正规化互相关计算选择大于0.90作为候选运动矢量列表的候选值，但是这个阈值可以按要求增加或者减小，以适合特定的实施方式。
虽然用具有6×6块运动矢量的群来为群运动矢量提供数据，应当理解，也可以使用具有更多或者更少的块运动矢量的群，取决于特定的实施的需要。而且，虽然具有相同方向dn的运动矢量或者具有相同方向Dn的群运动矢量的百分比阈值被选定为至少75％，应当理解，这些阈值可以按要求更大些或者更小些，以适合特定的实施方式。
虽然已经谈到误差之和的变化不大于阈值量作为确定迭代预补偿已完成所使用的准则，应当理解，使像素模糊、比较、使误差像素模糊并加权以及合并可按要求迭代地执行预定的次数，以适合特定的实施方式。
所述方法和系统可由软件应用程序实施，该程序包括由处理单元(例如个人计算机或者其它计算机系统环境)执行的计算机可执行指令。该软件应用程序可以作为单独的数字图像/视频编辑工具运行或者可以组合在其它可供使用的数字图像/视频编辑应用程序中，以对这些数字图像/视频编辑应用程序提供增强的功能。该软件应用程序可以由包括例行程序、程序、对象组件和数据结构等程序模块组成，以存储在计算机可读介质中的计算机可读程序代码的形式实现。该计算机可读介质是可由计算机系统读出的、可存储数据的任何数据存储装置。计算机可读介质例如可包括只读存储器、随机存取存储器、CD-ROM、磁带和光学数据存储装置。计算机可读程序代码也可在包括连接的计算机系统的网络上分发，使计算机可读程序代码能以分布方式存储和执行。
尽管已经说明了各个实施例，但是本专业技术人员应当明白在不脱离由所附的权利要求所限定的本发明的精神和范围的条件下可以实现各种变化和修改。
权利要求
1.补偿因数字视频序列中当前帧和上一帧之间的运动引起的感知模糊的方法，该方法估算在所述帧之间像素的运动方向和运动范围，所述方法包括如下步骤根据当前帧产生初始猜测帧；作为对应的所估计模糊方向和模糊范围的函数，使猜测帧中的像素模糊；将各模糊像素与当前帧中的一对应像素比较，产生各对应像素的误差像素；使各误差像素模糊并加权；以及合并各误差像素和其在初始猜测帧中的对应像素，以刷新猜测帧并补偿模糊。
2.按照权利要求1所述的方法，其中所述权重是对应像素运动的函数。
3.按照权利要求2所述的方法，其中所述权重是猜测图像中对应像素在像素运动方向边缘宽窄的估算值。
4.按照权利要求3所述的方法，其中用高通过滤器估算所述边缘宽窄。
5.按照权利要求2所述的方法，其中迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并。
6.按照权利要求5所述的方法，其中迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并，直至误差之和落在一阈值以下。
7.按照权利要求5所述的方法，其中以预定的次数迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并。
8.按照权利要求5所述的方法，其中迭代地进行使像素模糊、比较、使误差像素模糊并加权以及合并，直至误差之和的改变不大于连续迭代之间的阈值量。
9.计算机可读介质，载有实施权利要求1所述方法的计算机可执行指令的程序。
10.补偿因数字视频序列中当前帧和上一帧之间的运动引起的感知模糊的方法，所述方法包括如下步骤对所述帧中的多个像素块中的各像素块，估算所述帧之间的运动矢量；根据各群中的一个运动矢量和邻接群中的运动矢量，为多个运动矢量群中的各群估算一个群运动矢量；将其所对应的群的群运动矢量分配给当前帧中的各像素；根据当前帧产生初始猜测帧；作为所分配的对应群运动矢量的函数，使猜测帧中的像素模糊；将各模糊像素与当前帧中的一对应像素比较，产生各对应像素的误差像素；使各误差像素模糊并加权；以及合并各误差像素和其在初始猜测帧中的对应像素，以刷新猜测帧并补偿模糊。
11.补偿因数字视频序列中当前帧和上一帧之间的运动引起的感知模糊的系统，该系统估算在所述帧之间像素的运动方向和运动范围，所述系统包括运动模糊过滤器阵列，作为相应的所估计模糊方向和模糊范围的函数，根据当前帧使猜测帧中的像素模糊；比较器，将各模糊像素与当前帧中一对应像素比较，产生各对应像素的误差像素，所述运动模糊过滤器阵列还使各误差像素模糊并加权；以及加法器，合并各误差像素和其在初始猜测帧中的对应像素，以刷新猜测帧并补偿模糊。
12.按照权利要求11所述的系统，其中所述权重是对应像素运动的函数。
13.按照权利要求12所述的系统，其中所述权重是猜测图像中对应像素在像素运动方向边缘宽窄的估算值。
14.按照权利要求13所述的系统，其中用高通过滤器估算所述边缘宽窄。
15.按照权利要求11所述的系统，其中所述初始猜测帧是当前帧。
16.按照权利要求15所述的系统，其中所述运动模糊过滤器阵列根据所述猜测图像中对应像素在像素运动方向边缘宽窄的估算值来提供权重。
17.按照权利要求12所述的系统，其中所述运动模糊过滤器阵列、比较器和加法器迭代地进行使模糊、比较、使模糊并加权以及合并。
18.按照权利要求17所述的系统，其中所述运动模糊过滤器阵列、比较器和加法器迭代地进行使模糊、比较、使模糊并加权以及合并，直至误差之和落在一阈值以下。
19.按照权利要求17所述的系统，其中所述运动模糊过滤器阵列、比较器和加法器以预定的次数迭代地进行使模糊、比较、使模糊并加权以及合并。
20.按照权利要求17所述的系统，其中所述运动模糊过滤器阵列、比较器和加法器迭代地进行使模糊、比较、使模糊并加权以及合并，直至误差之和的改变不大于连续迭代之间的阈值量。
全文摘要
补偿在数字视频序列中因当前帧和上一帧之间运动所引起的感知模糊的方法，所述方法包括对当前帧和上一帧中多个像素块中各像素块，估算在所述帧之间的运动矢量；根据各群中的一个运动矢量和邻接群中的运动矢量，对多个运动矢量群的各群估算群运动矢量；将所对应群的群运动矢量分配给当前帧中的各像素；根据当前帧产生初始猜测帧，并作为所分配的对应群运动矢量的函数使猜测帧中的对应像素模糊；将各模糊像素与当前帧中的对应像素比较，产生各对应像素的误差像素；使各误差像素模糊并加权；以及合并各误差像素和其在初始猜测帧中的对应像素，以刷新猜测帧并补偿模糊。还提供了补偿感知模糊的系统及计算机程序。
文档编号G06T5/00GK1913585SQ20061009133
公开日2007年2月14日 申请日期2006年6月13日 优先权日2005年6月13日
发明者潘思齐 申请人:精工爱普生株式会社