高帧速运动补偿的彩色序列系统和方法

专利名称：高帧速运动补偿的彩色序列系统和方法
技术领域：
本发明一般地涉及彩色序列显示系统，并且更加具体地涉及用于为这样的系统产生高帧速运动补偿的彩色序列数据的系统和方法。
背景技术：
彩色图像显示器一般分为两类。在第一类中，例如典型的直视型阴极射线管彩色显示器，所有的色彩图像分量同时被显示。因此，一个图像模型，例如一个CCIR-601信号，定义特别时刻每一个像素的亮度和色度。运动图像因此被表示为彩色图像帧的时间序列。
在第二类彩色图像显示器中，彩色图像平面被顺序地显示。彩色序列显示器在一个帧周期中交替地显示红、绿、兰(RGB)色。例如，在特定单面板图像投影系统中，采用此种系统，其中不同色彩的光顺序地照亮公用的空间光调节器。此空间光调节器因此顺序地并且独立地调节像素的每个相应色彩分量的强度，其被感知为彩色运动图像。
当目标图像的不同色彩被在视网膜的不同部位接收时，在彩色序列投影器中会发生一种称为“色乱”或“色彩闪烁效应”的假象。视觉结果是在高对比度边界会有红、绿、兰条纹。这个效应的两个原因是(1)对象在图像中的运动；和(2)观察者的眼睛的移动。众所周知，在显示帧速增加时色乱的可见性减少。因此，诸如LCoS(商业化产品为CINEOSTM)的显示器使用180Hz的显示帧速，这是通过将每个输入帧重复3遍而得到的。在图1中显示一个用于RGB输入和输出的此种显示方案的例子。在此例中，显示帧速是输入帧速的3倍(也就是说在每个输入帧间隔T内每个色彩R，G和B被显示3次)，而显示色彩场速是输入帧速的9倍(也就是在每个输入帧间隔T中有9个显示间隔)。
尽管上述高帧速技术在处理色乱时有用，但不能够彻底解决此问题。因此，存在对能够进一步减少由序列彩色显示引入的假象和运动抖动的系统和方法的需求。

发明内容
本发明通过提供为彩色序列显示器产生高帧速运动补偿的彩色序列数据的系统、方法和显示器解决了上述问题和其它问题。在第一个方面，本发明提供一种高帧速运动补偿彩色序列系统，包含用于接收第一输入帧和第二输入帧，和接收与所述输入帧相关的运动向量的系统；插值系统，用于处理所述运动向量和输入帧，并且产生高帧速运动补偿的彩色序列数据，该彩色序列数据具有由值大于1的上转换因子定义的输出帧速。
在第二个方面，本发明提供一种用于产生高帧速运动补偿的彩色序列数据的方法，包含接收第一输入帧、第二输入帧和与所述输入帧相关的运动向量；使用所述运动向量来对第一和第二输入帧进行插值，以产生在定义的输出时间周期内的高帧速运动补偿的彩色序列数据，其中，用于所定义的输出时间周期的帧速由一个上转换因子指定。
在第三个方面，本发明提供一种具有用于产生高帧速运动补偿的彩色序列的系统的彩色序列显示器，包含基于上转换因子计算运动相位以决定输出的彩色序列数据的时间位置的装置；用于接收第一输入帧、第二输入帧和与输入帧相关的运动向量的装置；和使用所述运动向量在计算出的运动相位定位地对第一和第二输入帧进行插值的装置。


参考下面结合附图对本发明各个方面的详细描述，可以更容易地理解本发明的这些和其他特点。
图1示出了已经通过帧重复上转换为更高帧速的彩色数据的输出图。
图2示出了依照本发明包含高帧速运动补偿彩色序列系统的彩色序列显示器系统。
图3示出了依照本发明其中每个帧被进行了运动补偿的上转换彩色数据的输出图。
图4示出了依照本发明其中每个色彩场被进行了运动补偿的上转换色彩数据的输出图。
图5示出了依照本发明具有非整数的上转换因子的高帧速运动补偿数据的输出图。
图6示出了依照本发明利用非整数的上转换因子并且进行减少的运动相位计算的高帧速运动补偿数据的输出图。
图7描述显示三种色彩的显示面板。
图8描述图7的显示面板的面板驱动方案。
图9示出了依照本发明采用了不均匀的时间间隔的输出图。
具体实施例方式
如上所示，高帧速彩色序列显示系统，例如，CINEOSTM在输出中重复输入帧数据(如图1所示)来提高图像质量。本发明进一步使用运动补偿技术改善高帧速彩色序列显示器系统的效果。该结果，此处称为“高帧速运动补偿的彩色序列”，利于减少运动抖动，并且减少色乱。
图2显示一种高帧速运动补偿彩色序列系统10的示意图，它包含插值系统12，该插值系统用于借助于运动向量18上转换输入帧数据16，来产生高帧速运动补偿的彩色序列数据20(“输出数据20”)。插值是通过检查两个输入帧(例如，F1和F2)和用来指定这些帧之间的目标运动的运动向量，以及计算在两个原始输入帧之间时间位置处的新帧而完成的。因此，对于每一个输入帧，将生成一组输出帧，该输出帧在等于输入帧周期T除以上转换因子26的时间段内显示。新生成的输出帧的数目由上转换因子26所指定，被提供给运动相位计算系统14。
输入帧中的至少一个可以被存储在存储器中(例如RAM)以便上述插值处理能够完成。在某些应用中，在产生新的输出帧时，可能希望在多于两个输入帧之间进行插值。在这些例子中，可以在存储器中存储所需数量的帧。
可以使用考虑来自两个连续帧的帧数据16和它们对应的运动向量18的任何已知插值技术来实现插值系统12。例如，使用如下方程，可以在两个帧n-1和n之间的一个时间位置Δ，插入在空间位置x＝(x，y)T的位置像素pixn+Δ(x)，方程是pixn+Δ(x)＝bilinn-1(x-(pixn+Δ(x)+1)vn)+bilinn(x-Δvn)
其中，在n-1时，Δ＝-1，在n时，Δ＝0。例如，上转换因子为3时，需要计算两个新的帧，一个在Δ＝-1/3，另一个在Δ＝-2/3。使用双线性插值法(bilin)从两个输入帧之间获取数据，需要该方法是因为运动向量vn通常将不具有整数分量。在2001年2月8日公布的PCT公开号为WO01/10131 A1的专利“一种用于彩色序列显示器中的图像平面的运动补偿的系统和方法”也描述了相关技术，该专利在此引入作为参考。
高帧速运动补偿彩色序列系统10可以以任意方式实现，包括单独的系统和集成到完全彩色序列显示系统11中的程序产品，该完全彩色序列显示系统11包含例如色彩空间转换、运动估计、彩色序列显示面板等。输入帧数据16可以存在于任意的色彩空间(例如，RGB，YUV等)，并且输出数据20将一般包含诸如RGB的基色。此外，输入帧16和运动向量18可以从任意源得出，例如，从彩色序列显示系统11的其他元件，诸如色彩空间转换，运动估计等。最终由彩色序列显示面板(未示出)显示的输出数据20，同样可以在彩色序列显示系统11中进一步进行处理，例如通过色彩空间转换处理等。
注意，高帧速运动补偿彩色序列系统10描述的元件提供若干(互斥的)实现可能性。因此，应当理解，此处描述的所有元件并不需要被包含在每一个实现方式中，也就是说，所需的元件将基于设计者所需的特定实现方式。并且，应当理解，图2中的部件的布局只是为了说明目的，并且在不偏离本发明范围的情况下这些部件可以任意的方式(例如，集成到一起或者分散开)实现。
应当注意，插值系统12采用输入帧数据16，将其上转换到基于上转换因子26“M”的更高的输出帧速，提供给运动相位计算系统14。因此，M指的是为每一个输入帧产生的输出帧的数目，也就是输出帧速除以输入帧速。例如，如果上转换因子被设置为M＝3，输出在与输入帧相关的时间间隔T内将包含3个帧。(注意，通常M＞1，但是，本发明也能够在M＜1时被实现)。如下所述，在图3和图4中，插值系统12可以被实现来产生基于帧的或者基于场的插值。
上转换因子26被运动相位计算系统14翻译为指示帧周期中要计算新帧的时间位置，例如n+1/3，n+2/3。要计算新帧的时刻还依赖于其它因素，诸如所述上转换因子是基于帧还是基于场的，这将在下文进行讨论。如果需要，这些时刻可以是非均匀间隔的(例如，n+4/9，n+7/9)。时间位置随后被送给插值系统12来控制上转换过程。
如图所示，本发明提供整数和非整数的上转换因子26。下面描述的第一个例子(图3)以整数上转换因子26使用基于帧的插值方法22，第二个例子(图4)以整数上转换因子26使用基于场的插值方法24，第三个例子(图5)以非整数上转换因子26使用基于场的插值方法24，第四个例子(图6)通过使用减少运动相位计算的系统32来降低成本，并且第五个例子(图7-9)使用非均匀的时间间隔系统34。
在图3所示的第一个例子中，以整数上转换因子26使用基于帧的插值方法22。在此例子中，为每一个输入帧计算M个输出帧。对于输入帧n，这些M个输出帧的色彩场的运动在时刻nT，nT+T/M，nT+2T/M，...，nT+(M-1)T/M是有效的。图3示出了通过这个方案对M＝3、Nout＝3和RGB的色彩顺序产生的输出数据20，其中，Nout是指在每一个帧中色彩场的数目，GRB代表绿、红、兰。每个帧中的Nout个色彩场(原始的或者插值过的)由色彩定序器(未示出)按照时间顺序输出；并且显示色彩场速率为M·Nout。注意，每一个原始输入帧可以被用作一个输出帧，这样只有M-1个帧需要被插值。有利的是，最亮的颜色可以被用作时间基准并且第一个被显示。
如图3中可以看出，由Gout(nT)、Rout(nT+T/9)和Bout(nT+2T/9)构成的第一个输出帧包含原始输入Gin(nT)，Rin(nT)和Bin(nT)。第二个输出帧被按照nT+T/3进行插值，由黑体的Gin(nT+T/3)，Rin(nT+T/3)和Bin(nT+T/3)指示；并且，第三个输出帧相似的被按照nT+2T/3进行插值，由黑体的Gin(nT+2T/3)，Rin(nT+2T/3)和Bin(nT+2T/3)指示。因此，在此实施例中，相应输出帧中的每一个色彩场在相同的时间点计算。因此，三个色彩场中的两个在其运动无效的时刻显示；但是，这样实现了运动模糊的显著降低。
在图4中所示的第二个例子中，使用了利用整数上转换因子26的基于场的插值24。在此例子中，每一个输出色彩场利用正确的运动相位来计算(即，插值)，这减少了色乱。图4显示了当M＝3和Nout＝3并且色彩顺序为GRB时该方案所产生的输出数据20。可以看出，利用运动补偿对每一个色彩场进行了位置的调节。例如，由Gout(nT+T/3)，Rout(nT+4T/9)和Bout(nT+5T/9)构成的第二个输出帧中的场是根据这些相同时刻的输入(示为黑体的Gin(nT+T/3)，Rin(nT+4T/9)和Bin(nT+5T/9))进行插值的。显示色彩场速率还是M-Nout。注意，只有一个原始色彩分量Gin(nT)可以被直接显示输出，有利地该分量可以包括“最亮的”分量(例如，绿色)。为了实现该实施方式，需要插值M·Nout-1个场。
在上述实施例中，显示帧速和显示色彩场速都是输入帧速的整数倍数，也就是M是整数。通过允许M是一个非整数(典型的为一个分数)，可以在上转换因子的选择上提供更多的自由度。图5示出了M＝4/3、Nout＝3、色彩顺序为GBR并且利用基于场的插值对每一个色彩场进行运动补偿的实施方案的输出数据20的例子。注意，尽管4/3不是一个很高的帧速，它显示了本实施例的原理。
如图5中可以看到，在从nT到(n+1)T的时间段内，输出了四种色彩场G，B，R和G；在从(n+1)T到(n+2)T的第二个时间段内，输出了四个色彩场，B，R，G和B等。重要的是，这样的实施例使得输出显示带宽能够被完全利用。例如，如果输入速率为60Hz，并且显示带宽是140Hz，可以选择为7/3的上转换因子来最大化可用的输出带宽。注意，当M不是整数时，不再存在可以作为时间基准的单个色彩分量，因为这种情况下能够直接显示的输入色彩分量将交替转换。
可以使用不同的方法来降低高帧速运动补偿彩色序列的消耗。通常的原则是对那些对感知亮度贡献最大的分量进行运动补偿，并且在输入帧周期T中均匀的分布插值的运动相位。
图6示出了M＝4/3、Nout＝3、色彩顺序为GBR并且利用减少运动相位计算的系统32来实现消耗降低的实施方案的数据输出20。这个系统32实质上是通过执行更少的插值来实现的。当减少了要进行计算的运动相位(也就是时间位置)的数目，可以在给定的运动相位显示色彩分量的交替组合。结果就是在对那些对感知亮度贡献最大的色彩分量进行补偿和在输入帧周期T内均匀地分布插值运动相位之间进行折中。如图6中所示，运动补偿被应用到每个第二色彩场。显然，用于减少运动相位计算的系统32可以被扩展为通过只对每第n个色彩场进行运动补偿来实现进一步的消耗降低，其中n是任意整数。
最后，可以实现一种非均匀时间间隔系统34。LCoS显示器，诸如那些在例如CINEOSTM生产线上可以见到的显示器，采用被称为滚动色彩的特殊格式的彩色序列。在该技术中，LCoS面板由循环滚动的基色(例如RGB)条照亮。当驱动显示器的视频数据与照亮它的滚动色彩条完全同步时，只要该过程被重复的足够快，就可以获得彩色图像。在图7中以具有红42、绿44、兰46的色彩顺序的面板40来举例说明的所述方案的优点在于，在所有时候面板40上都存在所有颜色，这有益于显示器的光输出。
前面讨论的运动补偿的帧速上转换技术均可用于滚动色彩显示。但是，如果照亮色彩条对于不同基色具有不同高度，则是有利的。这点在图8中的面板驱动方案中给予阐明，该图示出了如何在面板上为每一个基色寻址像素行(此例中为GRB；M＝3)。时间段TGR52表示在开始显示红色之前绿色被显示的时间长度，它表示了绿色条纹的高度；TRB54和TBG56具有相似的解释。注意在此例中，TGR+TRB+TBG＝T/M。在图7中，红色和绿色条纹被显示为等宽，也就是TGR＝TRB。但是，兰色条纹比绿色和红色条纹高。因此，如图8中所示，TGR＝TRB＜TBG。
这意味着，对于运动补偿上转换，要对非均匀分布的时间段计算所述基色。图9示出了该系统在TGR＝TRB＝TBG/2＝T/12、M＝3并且色彩顺序为GRB的情况下的输出数据20。这个方案可以被应用于任何M，包含M＝1。如同上面结合图6所述，可以通过将选择的色彩组合到单个运动相位中来再次实现消耗降低。
应当理解，此处描述的实施例可以由任何数目的色彩场(即，基色)来实现，这些基色可以按照任意所需顺序进行显示，并且运动估计和上转换可以在任意色彩空间中进行。因此，尽管描述的是在RGB色彩空间内执行运动估计和上转换，本发明也可以通过在诸如YUV的色彩空间中应用运动补偿和上转换来获益。
还应当理解，此处描述的系统、功能、机制、方法、引擎和模块可以被实现在硬件、软件或者硬件与软件的合成体中。它们可以采用任意种类的计算机或者其他适于实施此处所描述的方法的设备来实现。典型的硬件与软件的合成体可以是具有计算机程序的通用计算机，所述程序在加载和执行时控制计算机系统执行这里所述的方法。或者，可以使用包含用于执行本发明的一个或多个功能性任务的特殊硬件的特定用途计算机。在一个进一步的实施例中，本发明的部分或全部可以分布式方式实现，例如通过诸如Internet的网络。
本发明还可以嵌入到计算机程序产品中，这个产品包含能够实现此处描述的方法和函数的所有功能部件，并且当载入到一个计算机系统中时能够执行这些方法和函数。诸如计算机程序、软件程序、程序、程序产品、软件等的术语，在本上下文中意味着任何语言的一组指令的代码或注释，该指令用于使系统具有能够直接或在以下一个或两个处理之后执行特定功能的信息处理能力(a)转换到另外一种语言、代码或者注释；和/或(b)以不同的材料形式进行复制。
已经为了举例说明和描述的目的给出了本发明的前述说明。前述说明并非穷举或者限制本发明为这里公开的精确形式，并且显然其许多修改和变型都是可行的。这些修改和变型对于本领域中的技术人员可能是显而易见的，将被包含在所附权利要求所定义的本发明的范围内。
权利要求
1.一种高帧速运动补偿彩色序列系统(10)，包含用于接收第一输入帧和第二输入帧并且用于接收与所述输入帧(16)相关的运动向量(18)的系统；插值系统(12)，处理所述运动向量和输入帧并且产生具有由值大于1的上转换因子(26)定义的输出帧速的高帧速运动补偿的彩色序列数据(20)。
2.权利要求1所述的系统，其中所述上转换因子是整数。
3.权利要求2所述的系统，其中，所述插值系统包含用于上转换色彩数据帧的基于帧的插值。
4.权利要求1所述的系统，其中，所述插值系统包含用于上转换色彩数据场的基于场的插值。
5.权利要求4所述的系统，其中，所述上转换因子是非整数。
6.权利要求4所述的系统，进一步包含用于减少运动相位计算的系统，其只为每第n个色彩数据场计算运动相位。
7.权利要求1所述的系统，进一步包含非均匀时间间隔系统。
8.权利要求1所述的系统，其中所述输入帧和高帧速运动补偿的彩色序列数据包含从由RBG和YUV构成组中所选择的格式的色彩数据。
9.权利要求1所述的系统，其中每一个输入帧中的最亮色彩场被作为时间基准，这样该场在输出中直接显示而不用进行插值。
10.一种用于产生高帧速运动补偿的彩色序列数据(20)的方法，包括接收第一输入帧、第二输入帧和与所述输入帧(16)相关的运动向量(18)；使用运动向量(18)对所述第一和第二输入帧进行插值，以产生定义的输出时段内的高帧速运动补偿彩色序列数据(20)，其中用于所定义输出时段的帧速由上转换因子(26)指定。
11.权利要求10所述的方法，其中，所述上转换因子是整数。
12.权利要求11所述的方法，其中所述插值步骤对色彩数据帧进行上转换。
13.权利要求10所述的方法，其中所述插值步骤对色彩数据场进行上转换。
14.权利要求13所述的方法，进一步包括通过只对每第n个色彩数据场计算运动相位来减少运动相位的计算的步骤。
15.权利要求13所述的方法，其中所述上转换因子是非整数。
16.权利要求10所述的方法，进一步包含非均匀时间间隔色彩场数据的步骤。
17.一种具有产生高帧速运动补偿的彩色序列数据的系统的彩色序列显示器(11)，包含用于基于上转换因子计算运动相位(14)以决定输出的彩色序列数据的时间位置的装置；用于接收第一输入帧、第二输入帧和与所述输入帧(16)相关的运动向量(18)的装置；和用于使用所述运动向量在计算得出的运动相位对第一和第二输入帧(12)进行位置插值的装置。
18.权利要求17所述的显示器，其中，所述上转换因子是非整数。
19.权利要求17所述的显示器，其中，所述插值装置对色彩数据帧进行上转换。
20.权利要求17所述的显示器，其中，所述插值装置对色彩数据场进行上转换。
21.权利要求17所述的显示器，进一步包含通过只对每第n个色彩数据场进行运动相位计算来减少运动相位计算的装置。
22.权利要求17所述的显示器，进一步包含用于非均匀地时间间隔色彩场数据的装置。
23.权利要求17所述的显示器，其中每个输入帧中的最亮色彩场被作为时间基准，使得该场不用进行插值而直接在输出中显示。
全文摘要
一种用于为彩色序列显示系统产生高帧速运动补偿的彩色序列数据的系统和方法。提供了一种高帧速运动补偿彩色序列系统(10)，其包含用于接收第一输入帧和第二输入帧以及与所述输入帧(16)相关的运动向量(18)的系统；和处理所述运动向量和输入帧并且产生具有由上转换因子(26)定义的输出帧速的高帧速运动补偿的彩色序列数据(20)的插值系统(12)。
文档编号H04N7/46GK1965589SQ200580014506
公开日2007年5月16日 申请日期2005年5月3日 优先权日2004年5月6日
发明者C·C·A·M·范宗, L·L·博罗茨基, S·M·达拉尔 申请人:皇家飞利浦电子股份有限公司