专利名称：用于帧率转换的低延迟节奏探测的制作方法
技术领域：
本发明涉及视频处理技术，更具体地说，涉及帧率转换技术。
背景技术：
运动画面(moving picture)视频通常以预定帧率进行录制或编码。例如， 影院电影通常以24帧/秒(Q)s )的固定帧率进行录制。而另 一方面，基于NTSC 标准的电视广播类视频则以30&s进行编码。基于欧洲PAL标准或SECAM标 准的广插4见频则以25Q)S进行编码。
帧率转换带来了挑战。用于进行帧率转换的一种常见4支术包括在帧序列中 丟弃或重播帧。例如，电视电影转换(通常称为3:2下拉(pull down))用于 将24Q)s的运动画面^L频转换为60场/秒(30&s)。每秒帧扩展3个4见频场， 而每另一秒帧扩展2个视频场。电视电影转换在例如Charles Poynton撰写的 "Digital Video and HDTV Algorithms and Interface (数字^L频和HDTV算法和 接口) ，， ( San Francisco: Morgan Kaufinann出版社，2003 )中进行了详细的描 述，本发明参考了其中的全部内容。
在John Watkinson撰写的"The Engineer's Guide to Standards Conversion (转换标准工程师导读)"(Snell和Wilcox手册系列)和"The Engieer，s Guide to Motion Compensation"(运动补偿工程师导读)中还描述了用于进行帧率转换的 多种其它技术。
最近，帧率转换不仅用来在标准之间进行转换，也用来增强整体4见频质量。 例如，为了降低传统PAL电视的可感觉得到的闪烁，已经研制出高帧率100 场/秒(50&S)的电^L。
将来，更高的帧率将成为用来提供更高质量家庭视频的重要组成。然而， 现有的视频还不能在更高的帧率下使用。因此，帧率转换变得非常必要。在实时状态下，这种转换会带来很多挑战。
例如，如果帧率转换引入内容(material)延迟，相关的音频将无法再与 视频同步。类似的，这种转换也有可能被应用在已经进行过电影电视或其他帧 率转换的视频源上。
因此，需要一种改进的帧率转换技术。
发明内容
在本发明的示范性实施例中，帧率转换后的视频是这样提供的，将视频帧 序列中的^f见频帧连续地緩冲存储在緩沖器中，并且基于至少一个插值参数在多 个视频帧中的至少两个中进行插值，以此来构建输出帧。为便于实现，插值参 数依据每个新近緩沖的帧进行调整，这取决于帧序列节奏的当前值。通过这种
方式，与节奏#:测相关的延迟将得以降低。
依据本发明的另一方面，提供了一种视频设备，包括用于緩冲视频帧序列 的緩冲器；节奏探测器，其与緩沖器通信，以分析每个新近緩存到緩沖器中的 緩冲帧，以此来确定视频帧序列的节奏，并用于构建节奏指示符以反映这种节 奏；帧率转换器，用于依据取决于节奏指示符当前值的插值参数通过緩冲器中 存储的多个视频帧中的至少两个构建插值后的^L频帧。
在阅读完下列本发明具体实施例的详细描述并参考相关附图之后，本发明 的其它方面和特征对于本领域的技术人员来说将变得更加清晰。
下面将结合附图及实施例对本发明作进一步说明，附图中 图1是依据本发明一较佳实施例的包含帧率转换器的视频设备的筒化结 构示意图2是构成图1中设备一部分的帧率转换器的简化结构示意图； 图3是帧率转换后的输出帧、解码后的输出帧和原始视频源的帧的对比示 意图4是用来展示3:2下拉方式的视频帧序列中的运动的运动图；频專命出的运动图6是用来展示图5中帧率转换后的视频输出中的运动的运动图，以展示 解码延迟；
图7是用来描述在生成图5和图6中展示的视频输出的过程中緩沖器中内 容的示意图8是描述图1中设备所执行的步骤的流程图9是用来展示从3:2下拉方式进行变化的来自于解码后的帧序列的帧率 转换后的视频输出的运动图IO是用来描述在生成图9中展示的视频输出的过程中緩冲器中内容的 示意图。
具体实施例方式
图1展示了依据本发明一较佳实施例的包括帧率转换器16的视频设备 10。如图所示，设备10包括视频解码器12,其接收视频信号，该—见频信号采 用数字视频流的形式，例如MPEG2、 MPEG4、 H264或者其他数字流，模拟 视频解码器、视频接口 (例如DVI、 HDMI、 VGA或者类似的)。视频解码器 12还可包括解交错器，用于从收到的场中生成帧。视频解码器12依次解码视 频流，并将用来构建解码视频帧的解码像素流发往緩冲器14。类似地，视频 解码器12输出解码后的/解复用后的音频流，用于进行进一步的处理。音频流 通常与输出视频帧同步。此处未详细描述对解码后的/解复用后的音频流的进 一步处理。
视频设备10可采用机顶盒、卫星接收器、地面广播接收器、媒体播放器 (例如DVD播放器)、媒体接收器的形式或者类似的形式。设备IO可选择 性地集成在显示设备中，例如平板电视机、计算机显示器、便携式电视机或者 类似的设备。
设备10可采用定制硬件的方式实现，或者采用由软件控制的定制硬件和 通用计算初^更件的组合的方式实现。緩冲器14为先进先出(FIFO)緩沖器，其中存储有几个视频帧。在描述 的实施例中，緩冲器14存储有至少4个连续的^L频帧-Fi, Fi+1, &+2和&+3。 帧率转换器16与緩沖器14通信，并从中提取帧以便生成最终展示在互联的显 示器22上的帧fj。在描述的实施例中，帧率转换器16将用于在显示器22上 展示的帧存储在帧緩冲器20中。显示器接口 (未示出)对帧緩沖器20进行采 样，以便将帧展示在显示器上。显示器接口可采用传统的随机访问存储器数模 转换器(RAMDAC)的形式、遵循HDMI或DVI标准的单端或差分发射器的 形式，或者为其他合适的接口，用于对帧緩冲器20中的数据进行转换，以便 以模拟或数字的形式显示在显示器22上。应明白，帧緩冲器20是可选的，视 频可由帧率转换器16直接输出。
节奏探测器18分析緩冲器14中相邻的帧，以确定解码的视频中是否包含 以已知方式重复出现的帧。例如节奏探测器30确定生成的视频帧是否是从 3:2/2:2或者类似的下拉方式的源中生成的。节奏指示符将提供给帧率转换器 16。
设备10中的功能才莫块(包括视频解码器12、节奏4果测器18、帧率转换器 16 )可使用本领域技术人员熟知的传统的VLSI设计技术和工具来构建。
更为详细的帧率转换器16结构在图2中做了描述。帧率转换器16包括插 值器30，其在緩冲器14中插帧，以进行帧率转换。可选的内部緩冲器32和 34可对帧进行存储，这些帧将由插值器30合并。插值器30还将收到节奏信 息，该信息与当前解码的帧序列中的帧有关。此外，用于生成最终帧率的频率 缩放因子SCALE—FREQU和时钟信号(CLK)也将提供给插值器30。
为便于表述，本文将緩冲帧(例如视频解码器12输出的解码帧)表示为
帧Fo、 Fp F2.......Fn，而^L频源中的彼此不同的帧表示为帧So、 S!、 S2.......。
因此，例如，24$s源将具有源帧So、 Sp S2、 S3.......，并转换为电^L电影
格式，其将由视频解码器12解码和/或重建为对应于源帧(So、 So、 So、 S!、 S!、
S2、 S2、 S2、 S3、 S3.......〉的帧(F。、 F!、 F2、 F3、 F4、 F5、 F6、 F7、 F8、 F9.......}(60^s)。
电视电影转换帧Fo、 .......将存储在存储介质上，例如DVD或者类似的介
质，或者使用地面、卫星或CATV广播技术以模 (例如 )格式或数字格式(MPEG流或类似的格式)进行广播，或者以其它方式进行提供。具有转
换后的帧率的输出帧可表示为帧fG、 f。 f2.......fn,如本文所述，其可从帧
F0、 .......中构建。这在图3中进行了描述。
在本文中，也可将插值帧表示为I{Sj、 Sj + 1、 I/m}。这种表示形式表示最
终的运动插值帧，该帧表示原始帧Sj、 SjM之间的中间帧，插入该帧以表示从
Sj到SjM的部分I/M运动。例如插入的帧I(Sj、 Sj"、 1/2}用来表示Sj和Sj + 1 之间的运动中途的运动效果。这种运动插值由帧率转换器16使用从緩冲器32 和34中读取的两个输入帧来进行。可由插值器30执行的运动补偿/插值技术 在2005年出版的由Keith Jack撰写的第4期视频(数字工程师手册)中和John Watkinson撰写的"运动补偿工程师导读"(Snell和Wilcox手册系列，
http:〃www.snellwilcox.com/conimunitv/knowledge center/engineering guides/emotion.pdf )以及John
Watkinson撰写的"转换标准工程师导读"(Snell和Wilcox手册系列，
http:〃www.snellwilcox-com/communitv/knowledge center/engineering/estandard.pdf ) 中做了描述，
本文引用了其中的全部内容。
图4描述了由视频解码器12解码的示范性帧序列中的运动。具体来说，
图4描述了视频解码器12所解码的示范性帧序列Fo、 F。 F2、 F3......的运动。
所描述的帧序列源自3:2下拉源，通常是24帧/秒(表示为源帧Sq、 S!、 S2、 S3......)到60交错场/秒转换产生的结果，转换为60$s的帧。如此一来，初
始源(影院)中的每一秒帧被采样两次，而初始源中每另一秒帧被采样三次。 最终的帧Fo、 F。 F2、 F3显示出3:2下拉效果，因为他们是通过对交错场进行 解交错来生成的。
最终的帧序列将显示出急动运动(通常称为颤动)，只在第3、第5、第8、 第10等解码帧之后才会出现运动。这种颤动在帧率转换后仍然存在，其无法 解决视频源的节奏问题。
为了消除或降低可以感觉到的颤动，设备10的帧率转换器16插入相邻的 源帧，以构建帧率转换后的帧序列。为实现此目的，节奏^1测器18首先探测 是否存在下拉方式。具体来说，节奏探测器18可通过比较緩冲器14中两相邻 帧的内容来为^L频解码器12所解码的帧序列确定是否存在下拉方式。例如，在多个解码帧中将緩沖器14中最新緩沖的帧(也就是Fw)与其最直接相邻 的帧(也就是F"2)进行比较，以揭示相邻帧之间的相似性/差异性。例如，将 帧差异性标记为H，相似性标记为L，节奏纟笨测器18可通过识别相邻帧中的 HLHLLHLHLLHLH..差异图样来确定3:2下拉方式。用于存储多个解码后的帧 F0......F 的緩沖器14中的内容在图7中做了描述。
节奏探测器18向帧率转换器16提供下拉方式标识符以执行插值，从而从 原始源帧中产生运动补偿的插入的帧。为了实现精确的插值，可使用节奏指示 符来在源中插入不同的帧(相对于重复的帧)，并调整插值参数(例如所需的 从插入帧到插入帧的部分运动)。
图5和图6描述了帧率转换器16从解码帧序列F0、 F,、 F2......输出的所
需的输出帧序列fo、 A、 f2、 f3......。在图5中，运动表示为帧数的一个函数。
相同的运动在图6描述为时间的函数，其中包含了緩冲进站视频导致的延迟， 以及决定哪些帧应进行合并而引入的延迟。在描述的例子中，帧率转换器16 将帧率(也就是SCALE_FREQU=2 )加倍。随着帧率转换器16输出比视频解 码器12原始生成的帧更多的帧，帧率转换器16中的插值器30 (图2)使用传 统运动补偿技术来生成帧以便以更高的速率显示。在描述的实施例中，每个插 入的帧fj或者与视频解码器12输出的帧Fi相同，或者由解码帧序列(例如Si 、 Si+1)中两个相邻的源帧构成。当然，也可使用两个以上的相邻源帧来生成插 入帧。
在描述的例子中，执行运动补偿来生成相对平滑的运动，以及P争低颤动。 在描述的实施例中，运动是线性插值的，帧fo、 f，、 f2、 f3等中每个帧之间的运 动是相同的。由于连续的源帧S并不是在相等的时间间隔内解码的，在这些帧 由视频解码器12进行解码的同时，任意线性插入的序列fo、 f。 f2、 f3......通
常将不包括对应于源中帧So、 S,......的帧。
应注意，fo-F!，而&、 f2、 f3和f4是对F。(或者等效的帧F!或F2)和F3
(也就是源帧S。或SJ进行插值而生成的。每个插入的帧f。 f2、 6和&提高 (advance)从F。到F3 (也就是从原始源的帧S。到帧S！)的运动。输出帧fs是原 始源帧SJ也就是帧F3/F4)。类似的，输出帧f6和f7是从解码帧F3/F4和Fs(对应于源帧S!和S2)中生成的。
在采用3:2下拉方式时，帧率转换器16依赖于緩冲的帧，这些帧之间间 隔多达两个帧(也就是Fo和F3; F3和Fs)，帧率转换器16将在处理至少这些 帧时引入处理延迟。因此，5不会在F3解码完成之前生成。类似的，f6不会在 Fs解码完成之前生成，fn不会在Fg解码完成之前生成。这一点可在图6中反 映出来，图6按照时间顺序描述了源帧f和最终的帧F，其中计入了由源帧无 法立即可用而导致的延迟。通过对比可以发现，图5按照帧顺序描述了源帧f 和最终的帧F，其中忽略了源帧f到达时引入的延迟(也就是假设在构建输出 帧F之前，所有源帧都是可用的)。
现在，在使用3:2下拉方式且频率扩展因子为2时，在理想情况下，将为 每5 (3 + 2)个緩冲帧生成IO个输出帧。这一点在图5和困6中也可以很清 楚的看到。最终的帧f,、 f2、 f3、 f4、 f5......fn)对应于So， I{So、 S,、 1/5}， I{S0、
S!、 2/5}, I{S0、 S!、 3/5}、 I{S0、 S,、 4/5}、 S，I{S!、 S2、 1/5}, I{ S2、 2/5}， I{S、S2、 3/5}， I{S,、 S2、 4/5}, S2。
通过对比，2:2下拉源的最终的帧困样&、f2、f3......f,。将对应于帧S。，I{S0、
S。 1/4}， I{S0、 1/2}， I{S0、 S!、 3/4}、 S!、 I(S!、 S2、 1/4}、 I{ S!、 S2、
1/2} 、 I{S!、 S2、 3/4}、 S2、 I{S2、 S3、 1/4}、 I{S2、 S3、 1/2}......也就是说，
为每个緩沖帧生成4个输出帧。
类似的，没有使用下拉方式的最终帧图样(也就是从隔行视频中生成的) 将对应于帧So， I{S0、 S。 1/2}， S!， I(S" S2、 1/2}， S2， I{S2、 S3、 1/2}......
为每个緩冲帧生成2个输出帧。
当然，取决于解码帧F的节奏，源帧在緩冲器14中的位置会发生变化。 为显示这种情况，用来构建图5和图6中的输出帧的》爰沖器14中的源帧在图 7中特别做了标记。
由上文可知，应当明白，为了能够平滑的插帧，下列应当是可用的
1、 源图片帧(源中的至少两个相邻帧)；
2、 所需输出帧和源帧之间(例如两个源帧之间的位置)的关系。 该信息可以从例如在插值后的帧序列中从帧到帧进行的所需的运动(也就是运动的倾斜程度/图5中描述的帧图样)的量来生成；解码帧序列(也就是 F0, F,，......)；緩冲器14的结构；解码序列的节奏。
帧F将不断写入到緩沖器14中。每个帧所需的时间可能会发生变化，这 取决帧源。其可能例如花费原始帧率的整个周期来緩冲帧F。只有在整个帧出 现时才分析帧的节奏。这意味着新的插值参数只有在帧的末端接收完成之后的 一些处理时间之后才是可用的，因此只适用于下一个帧。在另一方面，插值操 作不需要整个帧都进行了緩冲。具体来说，当新的緩沖帧的第一部分已经緩沖 存储到緩冲器14之中时，插值操作就可以开始。
插值操作自身会引入一些处理延迟。从帧开始直到插值开始时的一些小的 延迟，并且处理过程自身的延迟也可出于本文所述的目的而忽略不计，但事实 上该处理过程将花费两个帧之间时间的1/3或者更多的时间，这取决于具体的 实现方法。尽管如此，就算处理延迟可以忽略不计，新的节奏信息也只能对下 一帧才可用，这是因为緩沖新收到的帧会存在实际的延迟。
现在，为了确切的4企测m:n下拉方式，下拉方式可在m + n+ 1解码帧后 得以确切地检测。然而，这需要一些延迟，并可能需要緩冲m + n+l个帧。 然而，生成任何当前帧fi只需要fi前后的两个源帧。
如图5和图6所示，在3:2下拉且频率缩放因子为2时，帧率转换过程只 需要引入大概1.5个緩冲帧的延迟。在本发明的一个示范性实施例中，也可无 需分析m + n+l个解码帧，取而代之的是，緩沖足够多的帧，以此来生成当 前输出帧，并且为此后插入帧，节奏探测器18将每个新收到的帧与至少一个 此前緩冲的帧进行比较，以确定是否存在期望的下拉方式。
对于2:2下拉方式，帧率转换可在只引入1个緩冲帧延迟的情况下实现； 对于未使用下拉方式的情况，只需引入0.5个緩沖帧的延迟。当然，随着缩放 频率增加，引入的延迟也随之增加。
具体来说，视频设备10为緩沖器14中每一个新的缓沖存储的视频帧执行 的步骤在图8中做了描述。如图所示，在收到新的帧之后，在步骤S802将该 帧緩冲存储。先入先出的緩沖器14可以采用传统緩沖器。緩冲新的帧意味着 需要构建新的输出帧，以及确定/确认帧序列的节奏。作为选择，也可在新帧到达緩沖器14后产生一个信号，例如由时序生成器(未示出)产生一个信号 来作为提示。
具体地，在步骤S804,节奏探测器18分析新收到的緩冲帧，以评估:现频 帧序列的节奏。特别地，节奏探测器18通过将新近緩沖的帧与一个或多个先 前緩冲的帧进行比较，和/或已经在收到的帧中探测到节奏，来确定新近緩沖 的帧是否具有已知的节奏(例如3:2下拉；2:2下拉等等)。例如，如图7所 示，可通过将新近緩冲的帧与緩冲器14中前一緩冲的帧进行比较，来确定二 者的相似性或者差异性(例如绝对差值)，相关的技术在美国专利申请 No.10/837835或者美国专利申请No.11/381234中做了详细的描述，本发明参 考并引用其全部内容。在步骤S806，将生成一节奏指示符，其将从节奏探测 器18发送给帧率转换器16。节奏指示符可以是任意的数值。例如，节奏指示 符可指示3:2下拉；2:2下拉或者未知的节奏。
帧率转换器16基于步骤S808中提供的一见频帧序列的节奏来构建一个或 多个参数。该参数可以例如指出緩沖器14中的哪些緩沖帧需要进行合并，并 指出插值参数(例如o/。MOTION)，以指示输出帧相对于緩冲帧的位置(例如扩 展的緩沖帧应当插入到哪里以构建输出帧(也就是构建I{Sa, Sb, %MOTION}))。例如，在使用3:2下拉方式的情况下，插值参数将控制在五 分之一帧的倍数之前出现运动；在采用2:2下拉方式的情况下，在四分之一帧 的倍数之前出现运动；在不使用下拉的情况下，在半个帧的倍数之前出现运动。 插值参数可应用到帧率转换器16输出的下一帧中。
同时，通过分析新到达的帧，帧率转换器16可使用緩冲器14中的至少两 个视频帧来插入输出帧，这两个帧的选择过程是基于步骤S810中节奏探测器 18提供的节奏指示符中的当前参数值来进行的。
帧率转换器16将緩冲帧进行合并，以便构建输出帧。通常，由于插值参 数仅在新的緩沖帧完全緩沖存储之后才进行更新，因此将在前面的緩冲帧中插 入插值参数，这些插值参数是使用前面收到的帧来确定的(如上文描述的实施 例所述)。可选的，新的緩沖帧可在其完全緩沖存储之后用于插值。
例如，若新的緩沖帧无法确认存在此前假设的下拉方式(例如3:2下拉等)，则不存在下拉方式的情况将通知帧率转换器16，并且将帧F视为不存在下拉 方式，而后的帧将进行插值。
在步骤S812中，插值后的输出帧将输出给例如帧緩冲器20。
通过这种方法，帧率转换器16进行的插值操作可依据探测到的节奏为每 一新帧进行调整。帧率转换器16构建的下一输出帧将基于节奏的变化来构建。
当节奏发生变化时，解码器IO的操作参考图9和困IO做了最佳的描述。 具体地，在探测到3:2下拉方式之后，三个解码帧Fj， FjM和Fj+2将緩沖存储 到緩冲器14中，以便构建当前插入帧。如图9所示，对于3:2下拉方式，零 帧f。可使用帧F,来构建，帧f,， f2， 6和&可使用帧F!和F3等来构建，这与 图5中描述的构建输出帧的方法类似。很明显，任意输出帧都可使用当前帧 Fj，或当前帧Fj和Fj+2来构建。如此一来，在3:2下拉方式下构建插入帧将引 入至少1.5个解码帧的延迟(也就是1.5帧加上处理延迟等)。
緩沖器14(图1)相应的存储4个帧，包括代表原始源中至少两个连续帧 Sk， SkH的帧Fj, Fj+1， Fj+2和Fj + 3，如图IO所示。节秦探测器18将监视当前 到达帧和前一帧之l可的差异，如上文结合图5和图6所述。探测到的节奏可用 来为后续插入的输出帧fi调整插值参数。
在操作过程中，在探测到3:2下拉方式后，帧率转换器16的插值器30开 始插入相邻的帧以构建I(So、 S,、 1/5}， I{S0、 Sp 2/5}、 I{S0、 S" 3/5}、 I{ S0、 4/5}、 —旦插值器30输出f5,緩冲器14中将包含S!和S2。如此一来， f6， f7, fg和f9可很容易的从帧S,和S2中生成，如I(S。 S2、 1/5}， I{S。 S2、 2/5}， I{Sp S2、 3/5}， I{S,、 S2、 4/5}。
现在，如果下拉方式突然发生变化(例如帧Fg到达緩沖器14),基于3:2 下拉方式的插值操作将无法产生合适的结果。应注意，节奏上的变化只能在收 到帧F9之后探测到。如此一来，节奏探测器18将在收到帧F9之后提供一个节
奏变化指示符，该指示符将用在f!2之后。
为了准确:探测到3:2下4立方式，至少需要比4交5个帧以纟果测HLLHLHLL 方式，如上文所述。 一旦未探测到期望的LL或HL图样时，节奏探测器立即 在两个帧中通知不存在3:2下拉方式。因此，插值器30使用的插值参数可进行调整，以便后续的帧将进行插值，尽管他们是从隔行场中生成的。也就是说，
下一帧f13 (在图9中标记为f13b)将生成为I{S2,S3,l/2}，而不是I(S2,S3,3/5〉。
类似的，fU将生成为S3， &5将生成为I{S3,S4,l/2}。如图IO所示，将依此确定
应选择緩冲器14中的哪个帧。
此外，帧fl3将生成为I{S2，S3，3/4}，在图9中标记为f13a。
再一次的，依赖于视频帧F的序列的节奏，源帧S在緩冲器14中的位置
将可能会变化。为说明这一点，用来构建图9中的输出帧的源帧在图10中做
了突出显示。
在另一实施例中，节奏信息可从上行一见频处理器件传送到帧率转换器，例 如，有关的具体技术在标题为"用于进行帧率转换的视频处理器结构和方法 (Video Processor Architecture and Method for Frame Rate Conversion)"的美国专 利申请no.xx/xxx,xxx中做了描述，该申请的发明人与本申请相同，且该申请 与本申请同时提交，本申请引用了其中的全部内容。通过这种方式，可在整个 帧都緩沖存储到緩沖器18中之前，为每个帧提供节奏信息。通过提供节奏信 息，可更快地指示插值参数。
处理在探测到下拉方式时，可基于该下拉方式将插值参数调整为线性插值； 一旦探测到节奏发生变化，将3见为没有采用下拉方式进来处理帧。
类似的，在下拉方式未知的情况下，在对多个帧进行分析之后，将检测到 3:2, 2:2或者类似的已知下拉方式，插值参数也将进行相应的修改。
当然，上文所述的例子是以3:2和2:2下^i方式为例进4亍描述的，并且缩 放频率SCALE—FREQU=2。但是，其他的下拉方式和缩放频率也可采用类似 方式使用。
当然，上述实施例仅仅用于描述，并非用于限定本发明的范围。上文所述 的实施本发明的实施例可以进行许多修改，包括构成、各部分的排列、操作的 细节和顺序等。如本发明权利要求所述，所有上述修改都应划归到本发明的范 围之内。
权利要求
1、一种提供帧率转换后的视频的方法，其特征在于，包括将视频帧序列中的视频帧连续缓冲存储在缓冲器中；使用每个新近缓冲的帧来调整至少一个插值参数，该插值参数取决于所述序列的节奏的当前值；基于所述至少一个插值参数在所述缓冲器中插入所述多个视频帧中的至少两个，以构建输出帧。
2、 根据权利要求1所述的方法，其特征在于，还包括分析所述緩沖器中 每个新近緩冲的帧，以确定所述^L频帧序列的节奏。
3、 根据权利要求1所述的方法，其特征在于，还包括从上行视频处理器 接收节奏指示符。
4、 根据权利要求2所述的方法，其特征在于，所述插值在所述分析完成 之前执行。
5、 根据权利要求1所述的方法，其特征在于，所述多个所述^f见频帧中的 至少两个基于所述节奏指示符的当前值来选择。
6、 根据权利要求1所述的方法，其特征在于，所述插值参数用于指示每 个所述输出帧相对于所述緩沖器中两个^f见频帧的位置。
7、 根据权利要求1所述的方法，其特征在于，所述緩沖器为先进先出緩 冲器，其存储至少四个所述纟见频帧。
8、 根据权利要求5所述的方法，其特征在于，所述緩沖器为先进先出緩 冲器，其存储四个所述^L频帧。
9、 根据权利要求1所述的方法，其特征在于，所述分析包括将所述新近 緩冲的帧与緩沖器中前一緩冲的帧进行比较。
10、 根据权利要求6所述的方法，其特征在于，所述插值以所述视频帧连 续緩沖存储的速度的两倍速度生成所述输出帧。
11、 根据权利要求IO所述的方法，其特征在于，当所述节奏指示符指示 使用了 3:2下拉方式，所述插值参数指出相对于所述緩沖器中的二个所述帧的五分之一倍数的位置。
12、 根据权利要求IO所述的方法，其特征在于，当所述节奏指示符指示 节奏从3:2下拉方式发生了变化，所述参数指示所述帧之间二分之一倍数处的 运动。
13、 根据权利要求IO所述的方法，其特征在于，当所述节奏指示符指示 2:2下拉方式时，所述插值参数指出相对于所述緩沖器中的二个所述帧的四分 之一倍数的位置。
14、 根据权利要求1所述的方法，其特征在于，还包括在将所述^L频帧存 储在所述緩冲器中之前，对每一个所述视频帧进行解码。
15、 根据权利要求14所述的方法，其特征在于，所述节奏反映在所述序 列中存在3:2下拉方式，在所述序列中新近緩冲视频帧和从中构建所述输出帧 中的一个之间，所述插值生成1.5个所述緩冲帧的延迟。
16、 一种一见频设备，包括 緩冲器，用于緩沖视频帧序列；节奏探测器，与所述緩沖器通信，用于分析所述緩冲器中每个新近緩冲的 帧，以此来确定所述视频帧序列的节奏，并构建节奏指示符以反映这种节奏；帧率转换器，用于依据插值^t从所述緩沖器中所述多个视频帧中的至少 两个帧中构建插值视频帧，该插值参数取决于所述节奏探测器的当前值。
17、 根据权利要求16所述的视频设备，其特征在于，所述緩冲器为先进 先出緩冲器。
18、 根据权利要求16所述的视频设备，其特征在于，所述緩冲器中存储 有至少四个^L频帧。
19、 根据权利要求16所述的视频设备，其特征在于，所述緩冲器中存储 有四个纟见频帧。
20、 根据权利要求16所述的视频设备，其特征在于，还包括视频解码器， 用于对所述3见频帧序列进行解码。
21、 根据权利要求16所述的视频设备，其特征在于，所述节奏探测器将 所述緩冲器中每个新近緩冲的视频帧与所述緩沖器中前一视频帧进行比较，以确定所述节奏。
22、 根据权利要求16所述的视频设备，其特征在于，所述插值参数指出 所述插值视频帧中每个帧相对于所述緩冲器中二个帧的位置。
23、 根据权利要求22所述的视频设备，其特征在于，所述帧率转换器以 所述视频帧序列緩冲存储速度的两倍速度生成所述插值视频帧。
24、 根据权利要求23所述的视频设备，其特征在于，当所述节奏指示符 指示3:2下拉方式时，所述插值参数指示相对于所述緩冲器中二个所述帧的五 分之一倍数的位置。
25、 根据权利要求24所述的视频设备，其特征在于，当所述节奏指示符 指示从3:2下拉方式发生变化时，所述参数指示所述緩冲器中所述帧之间二分 之一倍数处的运动。
26、 根据权利要求23所述的视频设备，其特征在于，当所述节奏指示符 指示2:2下拉方式，所述插值参数指出相对于所述緩冲器中二个所述帧的四分 之一倍数的位置。
27、 一种显示器，其特征在于，包括权利要求16所述的视频设备。
全文摘要
一种帧率转换器，连续缓冲视频帧序列中的视频帧至缓冲器中，并基于至少一个插值参数在缓冲器中插入多个视频帧中的至少两个帧，以构建插值输出帧。该插值参数将依据每个新近缓冲的帧进行调整，这取决于所述帧序列的节奏的当前值。通过这种方式，节奏探测引入的延迟将得以降低。
文档编号H04N7/01GK101627624SQ200780043705
公开日2010年1月13日 申请日期2007年12月26日 优先权日2006年12月26日
发明者丹尼尔·多斯沃尔德 申请人:美国博通公司