高质量、高性价比的用于高清晰度电视的影片－视频转换器的制作方法

专利名称：高质量、高性价比的用于高清晰度电视的影片－视频转换器的制作方法
技术领域：
本发明总体上涉及视频信号转换，更具体地涉及对用于高清晰度显示的电影素材的运动补偿的场速率上转换。
随着按照先进电视系统委员会(ATSC)数字电视(DTV)标准的广播的到来，特别是高清晰电视(HDTV)的到来，出现了在高清晰度电视接收机上显示影片素材的需要。高清晰度电视所用的场速率(即每秒钟内全场图象数或帧数)通常至少是50-60Hz并且可高达100-120Hz。但是，由于历史上的机械-电学的原因，在创制影片素材中所用的电影摄影机传统上是以每秒24帧的拍摄速率操作的。尽管新型的电影摄影机已经作了改进，但现有的许多影片是以从前标准的拍摄速率摄制的。而且，以24Hz拍摄的影片在转换到高清晰度的分辨率时提供了与高清晰度的摄象机可相比拟的质量，因而消除了制片公司不再使用传统摄影机而去购买高分辨率的摄影机的任何积极性。
将影片素材转换成更高的显示场速率通常是由简单的场重复实现的，它利用已知的3∶2下拉或2∶2下拉技术。但是，这样的由简单的场重复的场速率上变换会导致每个动作或运动状态(即帧)被多次显示，使得运动物体在重复的运动状态中出现在与它们预期的空间-时间位置稍微偏离的地方。对于慢速物体的动作这会导致运动的模糊，而对快速物体的动作则导致运动的跳变。
为了改善上转换的影片素材的运动图象，必须增加运动的状态(phase)的数量。在将影片素材上转换到标准清晰度(SD)的电视中已为此总体目标开发了经运动补偿的上转换技术。例如，见G.de Haan等人的《用于经运动补偿的去隔行扫描、减少噪声、和画面速率转换的IC》，消费者电子学国际会议(ICEE)，1999，212-213页，和O.A.Ojo和G.de Huan的《牢固的运动补偿视频上转换》，IEEE Tr.On ConsumerElectronics，vol.43，No.4，1045-1056页，(1997年11月)。
除了更高的帧速率外，高清晰度电视还使用了比影片或标准清晰度电视的素材大4到6倍的图象尺寸。因此，对于高清晰度电视，运动估算的存储器大小和存储器带宽要求由于更高的象素分辨率而要比标准清晰度素材的相应要求高出4到6倍。这些要求向消费者的解决方案提出了可行性的问题。
因此，在本技术领域中具有这样的需要，即提供一种改进的影片到视频的运动补偿技术以用于将影片素材上转换到高清晰度电视。
为了解决上面讨论的已有技术的缺点，本发明的第一个主要目的是提供一个用于视频接收机中的视频转换器系统，其中高清晰度的视频信号被预滤波和欠采样成标准的清晰度的画面尺寸。然后把用于场速率上转换的标准清晰度运动估算器用来估算标准清晰度画面的运动矢量。所得的运动矢量被进行定标以及为了获得运动的平滑性而进行后处理，以便用于高清晰度画面的场速率运动补偿的上变换。相关的存储器大小和带宽要求以及总成本，使得在保持画面质量的同时，将影片素材经过运动补偿的场速率上转换成为高清晰度视频的消费电子学的实施在商业上是可行的。
上面所述较为广泛地概括了本发明的特点和技术优点，这使得熟悉本技术的人们可以更好地理解下面的对本发明的详细说明。本发明的另外的特点和优点将在此后说明，它们形成了本发明的权利要求的主题。熟悉本技术的人们将会理解，他们可以方便地利用所公开的概念和特定的实施例作为基础来修改或设计其他的结构以便实现本发明的同样目标。熟悉本技术的人们同样会认识到，这样的等价的构造并不背离本发明在最广泛形式上的精神和范围。
在下面进行本发明的详细说明之前，对在整个专利文件中所使用的某些单词或词组提出它们的定义可能是有益的术语“包含”和“包括”以及它们的衍生词指的是没有限制的包含，术语“或”是内含的，指的是和/或，词组“相关联”和“与其相关的”以及它们的衍生词可以指包括、被包括在内、与之相连、包含、被包含在内、连接到或与之连接、耦合到和与之耦合、与之相联系、与之相合作、相交错、并置、邻近于、结合到或与之相结合、具有、具有什么性质、或其类似意义，术语“控制器”指的是任何设备、系统或其一部分，它控制至少一种操作而不论这样一个设备是用硬件、固件、软件或它们中的至少两个的某种组合所实现的。应该注意，与任何特定的控制器相关联的功能可以是集中的或分散的而不论是本地的还是远程的。某些单词和词组的定义在整个本专利文件中将会提供，对本技术有一般了解的人们将理解这样的定义适用于即使不是绝大多数也是许多使用这些已经定义过的单词和词组的已有的以及将来的例子中。
通过结合附图来阅读下面的说明，可以达到对本发明以及它的优点的更完整的理解，在这些图中同样的数字指相同的对象，其中

图1表明按照本发明的一种实施例的视频系统，它使用了改进的影片素材运动补偿并经上转换以用于高清晰度电视显示；图2表明更加详细的按照本发明一种实施例的影片-高清晰视频转换器系统；以及图3图示了按照本发明一种实施例的用于影片-高清晰视频转换器系统的使用邻近相关性的运动补偿；和图4是按照本发明的一种实施例的从影片到高清晰视频转换过程的高级别流程图。
下面(从图1到图4)所讨论的以及用来说明在本专利文件中的本发明的原理的各种实施例仅仅是作为解释之用的并且不应以任何方式理解为对本发明范围的限制。熟悉本技术的人们将理解，本发明的原理可以用任何合适地设计的器件来实施。
图1表明按照本发明的一种实施例的视频系统，它使用了改进的影片素材运动补偿并经上转换以用于高清晰度电视显示。系统100包括视频接收机101，它在示范的实施例中是一台接收地面的、卫星的或电缆广播的高清晰度数字电视(HDTV)接收机。不过，接收机101也可以替换地是一台中间的收发器或者任何别的用来接收或收发视频信号的设备，例如，重新发送视频信息以便由高清晰度电视接收的收发器。在任何一种实施例中，接收机101包括如下面要更详细说明的运动补偿机理。
接收机101包括用于接收视频信号的输入端102，并且可任选地包括用于将视频信号发送到另一设备的输出端103。在示范实施例中，接收机包括一个高清晰度电视显示器104，在其上显示按照本发明的改进的运动补偿技术所生成的或以别的方法产生的图象。
熟悉本技术的人们会观察到图1并没有清楚地显示示范实施例的高清晰度电视接收机内部的所有部件。只有高清晰度电视机中那些公知的结构和操作以及对本发明是独特的和/或为了理解本发明所必需的那些部件才在这里显示和说明。
图2更详细地表明按照本发明的一个实施例的影片-高清晰度视频转换器系统。视频转换器系统200是在视频接收机101之内实施的，并包括输入端102a和102b，它们用于分别接收标准清晰度和高清晰度视频信号。从输入端102b接收的高清晰度视频信号，虽然具有高清晰度显示所要求的增加了的图象分辨率，但仍然需要对场速率进行上转换以用于高清晰度显示。视频转换器系统200还分别包括标准清晰度和高清淅度输出103a和103b。
在本发明中，运动补偿处理是在缩小了的图象上实现的而不是在全尺寸的高清晰图象上实施运动估算的。这减少了复杂性和对存储器的要求，同时增大了运动的范围，这可能适合于利用标准清晰度分辨率信号所使用的现有运动估算器。
在视频转换器系统200中的复用器201允许从输入端102a-102b根据可利用性和输出的需要来选择标准清晰度或高清晰度的视频信号。视频接收机101的另一部分(未示出)可实现空间分辨率的上转换以产生高分辨率的场。当选择高清晰度视频信号时，各个帧首先经下转换或次采样以转换成标准清晰度的分辨率，这是由预滤波器和欠采样单元202实施的。
由单元202所实施的欠采样可使用一个欠采样因子，它随不同的高清晰度尺寸序列而变化(例如，对于1440×1080大小画面的垂直和水平方向的欠采样因子都是2，或对于1920×1080大小画面的垂直和水平方向的欠采样因子都是3或者在水平方向是3而垂直方向是2)。预滤波在单元202中是在欠采样之前实施的，以防止起混淆作用的人为因素(aliasing artifacts)。这样，可以根据下式来实施在两个方向都用因子2或3来对预滤波的内容进行欠采样If(H_size＞1440 and H_size＜＝2160)or(V_size＞1152and v_size＜＝1728)downsample factor＝3else if(H_size＞720)or(V_size＞576)downsample factor＝2else downsample factor＝1{不需要欠采样，标准分辨率画面}这里H_size是每行象素数而V_size是每帧行数。大于2160×1728的画面需要欠采样因子为4或更大，不在本示范实施例中实现。
然后利用一种现有的标准清晰度运动估算器203例如PhilipsSemiconductor IC SAA 4992(它还为标准清晰度视频信号提供运动补偿过的去隔行扫描、噪声抑制、以及画面速率转换)来产生对欠采样的标准清晰度尺寸的帧的运动矢量，最好是以运动矢量覆盖方式，这里的运动矢量是作为色度数据覆盖在画面上的以便不要附加功能而可被提取。运动补偿的去隔行扫描、噪声抑制、以及画面速率转换也可以由运动估算器203来实现。
然后，由运动估算器203所产生的标准清晰度运动矢量由下式定标成高清晰度速度mvxHD[(downsample factor)xi，(downsample factor)xj]＝(downsample factor)x mvx(Ij)mvyHD[(downsample factor)xi，(downsample factor)xj]＝(downsample factor)x mvy(Ij).可以看出，运动矢量的速度(大小)和位置都被加以定标，这使得在标准清晰度画面中使用于2×2象素块的运动矢量将能应用到(下采样因子×2)×(下采样因子×2)象素的块上。这样，如果欠采样因子是2，则2×2象素的块所用的标准清晰度运动矢量当被应用到高清晰度象素时，就被定标成标准清晰度画面尺寸的4倍，从而使同样的运动矢量与4×4象素块相关。
定标导致运动矢量的准确度的损失。例如，由SAA4992集成电路运动估算器产生的运动矢量是精确到0.25个象素。在用因子2定标后，运动矢量公称的精度为0.5个象素，然而在预滤波和欠采样期间的平滑会使真正的精度变得不那么精确。因此，定标后的运动矢量并不非常可靠，尤其是在边缘。
因此，定标后的运动矢量要由单元204进行后处理。为了使定标的运动矢量适合于高清晰度的分辨率，需要进行后处理。例如上面所说明的大的量化因子(用于4×4的块的2×2块的运动矢量)会引起烦人的人为产物，尤其是在画面中的物体边缘。因此，为了运动的平滑性需要进行后处理，以便在块内将各象素的标准清晰度总体速度细化成局部速度。
在对定标的标准清晰度运度矢量细化之后，在上转换单元205内实施高清晰度运动补偿。上转换的一个普遍的方法是取平均值，其中，给定一帧、一场、以及相关联的运动矢量，来自帧和场的运动补偿的象素被取平均值。如果运动矢量是精确的，即对于帧和对于场的运动补偿的象素值是相同的，那么这个方法是简单而有效的。不然的话，对于帧和对于场的运动补偿的象素值之间的差异会在进行平均时引起画面的模糊。
在例如大的运动区域的情况下取平均是有用的，因为如果不能实现良好的运动补偿，由于对错误的补偿取平均值，取平均值将掩盖在画面之内的错误的运动矢量并且同时会使画面模糊。由于对象区域是快速移动的，眼睛不能观察到任何情况下的微小细节。但是，这种模糊在慢速移动的区域将成为不能接受的。因此，在下列情况使用取平均值如果来自帧的运动补偿的象素接近于来自场的运动补偿的象素，在这种情况下可以假定运动矢量是精确的；或者如果运动矢量在给定区域内有高的速度，这时在连续的帧中有快速移动的特定区域。
图3图示了按照本发明的一个实施例的用于影片-高清晰视频转换器系统的使用邻近相关性的运动补偿。为了在不需要另外的运动估算的情况下避免画面的模糊，将邻近相关性应用到运动补偿中。根据标准清晰度画面而产生的合适地定标的运动矢量(即，在时间T的(前一个)高分辨率帧A、在时间T+1的(后一个)高分辨率帧B、以及运动补偿过的场中的因果区域(象素A1-A5和相应的象素B1-B5))都是可以得到的，从而可以实施当产生在时间T+1/2处的中间插入的运动补偿的高清晰度场C中的运动补偿。
如前面所指出的，定标的运动矢量在全局上是准确的，但不能准确到0.5个象素或更小，相反，定标的运动矢量只能准确到一个或两个象素，这意味着当运动补偿是用取均值来实现时，边缘将会模糊。不过，通过利用(a)帧A运动补偿象素和(b)场B运动补偿象素这两者中的仅仅一种而不是把这两者都取均值，则可以避免模糊。
考虑场C中的象素C4，以及为该象素寻找合适的值的问题。帧A中的象素A4是对应于适动补偿的象素C4的象素，而象素B4是对应于象素C4的场B中运动补偿的象素。如果象素A4和B4取平均值C4=A4+B42]]>如果A4和B4差别很大，则意味着不是运动矢量不准确就是在该象素上有一个区域被运动所覆盖或未被覆盖，这时应避免取平均值而只有两个象素A4和B4中的一个(而不是同时两个)应该被用来作运动补偿，这就是说，C4＝A4或C4＝B4。对A4或B4的选择是在象素C4的邻近象素和A4和B4象素相应的邻近象素之间的相关性的基础上作出的。如果象素C4的有因果关系的相邻象素和A4象素的相对应的邻近象素区域匹配，则象素A4的值被选作象素C4的值；如果不匹配，则象素B4的相邻象素和象素C4的相邻象素是可以相比较的，如果在一定范围内匹配，则象素B4的值被选作象素C4的值if(A_correlation＜threshold)C4＝A4else if(B_correlation＜threshold)C4＝B4where A_correlation＝|(A1-C1)|+|A2-C2)|+|(A3-C3)|+|A5-C5)|，and B_correlation＝|(B1-C1)|+|B2-C2)|+|(B3-C3)|+|B5-C5)|.
使用来自场C的已经作了运动补偿的相邻象素有助于验证这一情况，即来自正确的帧/场的象素值已被利用。许多由于取平均值而引起的模糊被消除，从而给出一个鲜明的经过运动补偿的图象。在区域被覆盖或未被覆盖的情况下，这个运动补偿的方法允许在两个可用的象素值中选择更好的一个，从而改善了覆盖或未覆盖的区域。
图4是按照本发明的一个实施例的从影片到高清晰视频转换过程的高级别流程图。该过程400从接收到要作场速率上转换的视频信号(401步)开始。如果收到的视频信号是属于高清晰度的空间分辨率或其尺寸大小的，则接收到的场首先要经过预滤波和欠采样到标准清晰度的空间分辨率(402步)。
然后实施按照已知技术的对欠采样的标准分辨率视频场的运动估算(403步)，然后将所得的运动矢量经过定标和后处理以用于高清晰度视频场的场速率上转换(404步)。其后再利用经过定标和后处理的运动矢量对高清晰度视频场的场速率进行带有运动补偿的上转换(405步)。这一过程重复进行直到视频信号消失或因其它原因终止为止。
本发明对为高清晰度显示而上转换的电影素材的运动画面提供了高性价比的改进。在对欠采样的标准清晰度场上估算的用于高清晰度场的场速率上转换的运动矢量的细分，可以提供更好的画面质量，尤其是保持了更多的鲜明度，这比传统方法所得到的更好。
重要的是要指出，虽然本发明是在一个完整功能的视频接收机的环境下说明的，但熟悉本技术的人们将理解，本发明的至少部分机理是可以用含有各种形式的指令的机器可用的介质的形式来传播的，同时本发明对于在实际进行传播时所使用的不论何种具体的信号载体都同样适用。机器可用的介质的例子包括非易失性硬编码类型的介质，例如只读存储器(ROM)或可擦除电可编程只读存储器(EEPROM)，可记录类型的介质，例如软盘、硬盘驱动器、光盘只读存储器(CD-ROM)或数字多用盘(DVD)，以及传输型的介质，例如数字或模拟通信链路。
虽然本发明已作了详细说明，熟悉本技术的人们将会懂得，在不违背最广义形式上的本发明的精神和范围的情况下，可以对在这里公开的发明实现各种改变、替代、变化、提高、微小差异、分级、缩减形式、变形、修正、改进以及拆散。
权利要求
1.一种用于高性价比地将影片素材经过运动补偿的场速率上转换成为高清晰度视频的视频转换器系统100，包括-标准清晰度运动估算器203，它产生运动矢量以便用于标准清晰度大小的场的运动补偿的场速率上转换；-定标单元204，它为运动矢量定标以便用于高清晰度场速率上转换；以及-场速率转换器205，它利用定标的运动矢量来进行高清晰度大小的场的运动补偿的场速率上转换。
2.如权利要求1提出的视频转换器系统100，还包括欠采样单元202，它将接收到的高清晰度大小的场欠采样成标准清晰度大小的场，根据该标准清晰度大小的场，标准清晰度运动估算器203产生运动矢量。
3.如权利要求2提出的视频转换器系统100，其中定标单元204对定标的运动矢量进行后处理，以便在场速率上转换过的高清晰度大小的场内使运动平滑。
4.如权利要求2提出的视频转换器系统100，其中如果来自前一帧A的经运动补偿的象素值与来自相继一场B的经运动补偿的象素值的差是在一个阈值之内，场速率转换器205就对中间场C的运动补偿取平均值。
5.如权利要求2提出的视频转换器系统100，其中场速率转换器205在对中间场C实施运动补偿时，选择来自前一帧A的经运动补偿的象素值和来自相继一场B的经运动补偿的象素值中的一个作为中间场C的经运动补偿的象素值。
6.如权利要求5提出的视频转换器系统，其中如果来自前一帧A的经运动补偿的象素值和在中间场C中预测的运动补偿的象素值之间的差小于一个阈值时，则场速率转换器205选择来自前一帧A的经运动补偿的象数值作为中间场C的经运动补偿的象素值。
7.如权利要求6提出的视频转换器系统100，其中如果来自前一帧A的经运动补偿的象素值和在中间场C中预测的运动补偿的象素值之间的差不小于该阈值，则如果来自相继的场B的经运动补偿的象素值和在中间场C中的预测的运动补偿的象素值之间的差小于该阈值，于是场速率转换器205选择来自相继场B的经运动补偿的象素值作为中间场C的经运动补偿的象素值。
8.一种视频接收机，包括一输入端102，用于接收视频信号；以及-视频转换器系统200，用于高性价比地将影片素材经运动补偿的场速率上转换成高清晰度视频，包括-标准清晰度运动估算器203，它产生运动矢量以便用于标准清晰度大小的场的经运动补偿的场速率上转换；-定标单元204，它为运动矢量定标，以便用于高清晰度场速率上转换；以及-场速率转换器205，它利用定标的运动矢量来进行高清晰度大小的场的经运动补偿的场速率上转换。
9.如权利要求8提出的视频接收机101，其中视频转换器系统200还包括欠采样单元202，它将接收到的高清晰度大小的场欠采样成标准清晰度大小的场，根据该标准清晰度大小的场，标准清晰度运动估算器203产生运动矢量。
10.如权利要求9提出的视频接收机101，其中定标单元204对定标的运动矢量进行后处理，以便在场速率上转换过的高清晰度大小的场内使运动平滑。
11.如权利要求9提出的视频接收机101，其中在来自前一帧A中的经运动补偿的象素值与来自相继一场B中的经运动补偿的象素值的差是在一个阈值之内时，场速率转换器205就对中间场C的运动补偿取平均值。
12.如权利要求9提出的视频接收机101，其中场速率转换器205在为中间场C实施运动补偿时，选择来自前一帧A的经运动补偿的象素值和来自相继一场B的经运动补偿的象素值中的一个作为中间场C的经运动补偿的象素值。
13.如权利要求12提出的视频接收机101，其中如果来自前一帧A的经运动补偿的象素值和在中间场C中预测的运动补偿的象素值之间的差小于一个阈值时，则场速率转换器205选择来自前一帧A的经运动补偿的象素值作为中间场C的经运动补偿的象素值。
14.如权利要求13提出的视频接收机101，其中如果来自前一帧A的经运动补偿的象素值和在中间场C的预测的运动补偿的象素值之间差不小于阈值，则如果来自相继的场B的经运动补偿的象素值和在中间场C中预测的运动补偿的象素值之间的差小于该阈值，于是场速率转换器205选择来自后继场B的经运动补偿的象素值作为中间值C的经运动补偿的象素值。
15.一种高性价比地将影片素材经运动补偿的场速率上变换成高清晰度视频的方法400，包括-产生运动矢量以便用于标准清晰度大小的场经运动补偿的场速率上变换；-对运动矢量进行定标以便用于高清晰度场速率上转换；以及-利用定标的运动矢量来进行高清晰度大小的场的经运动补偿的场速率上转换。
16.如权利要求15提出的方法400，还包括将接收到的高清晰度大小的场欠采样成标准清晰度大小的场，以便用于产生运动矢量。
17.如权利要求16提出的方法400，还包括对定标的运动矢量进行后处理，以便在场速率上转换后的高清晰度大小的场内使运动平滑。
18.如权利要求16提出的方法400，还包括如果来自前一帧A的经运动补偿的象素值和来自相继的场B的经运动补偿的象素值之差在一阈值以内，则对中间场C的运动补偿取平均值。
全文摘要
高清晰度视频信号由视频转换器系预滤波和欠采样成标准清晰度的画面大小。然后利用供场速率上转换用的标准清晰度运动估算器来估算标准清晰度画面的运动矢量。所得到的运动矢量进行定标和后处理，以用于高清晰度画面的经运动补偿的场速率上转换使运动平滑。相关的存储器大小和带宽要求使得用来将影片素材经运动补偿的场速率上转换成高清晰度视频的消费电子产品实施成为在保持画面的质量的同时在商业上是可行的。
文档编号H04N7/46GK1451235SQ01804575
公开日2003年10月22日 申请日期2001年11月23日 优先权日2000年12月6日
发明者N·R·丹特瓦拉, O·A·奥乔 申请人:皇家菲利浦电子有限公司