选择性视频帧速率向上转换的制作方法

专利名称：选择性视频帧速率向上转换的制作方法
技术领域：
本发明涉及数字视频编码和解码，且更特定来说涉及用于视频帧速率向上转换的技术。
背景技术：
已经建立许多不同的视频编码标准用于对数字视频序列进行编码。例如运动图片专 家组(MPEG)已开发出若干标准，包含MPEG-1、 MPEG-2禾B MPEG-4。其它实例包含 国际电信联合会(ITU) -TH.263标准、以及出现的ITU-T H.264标准及其副本、ISO/IEC MPEG-4第10部分，即高级视频编码(AVC)。这些视频编码标准通过以压缩方式编码 数据而支持视频序列的改进的传输效率。
压縮减少了需要传输的数据总量。典型的数字视频编码技术利用连续视频帧之间的 相似性，称为时间或帧间相关性，来提供帧间压縮。帧间压縮技术通过将视频帧的基于 像素的表示转换为运动表示而幵发了帧上的数据冗余。使用帧间技术编码的帧称为P("预 测")帧或B ("双向")帧。其它帧使用空间压縮进行帧内编码。
为满足低带宽要求， 一些视频应用使用帧跳过以降低的帧速率来编码视频。然而， 低帧速率视频可产生呈运动急跳(jerkiness)形式的假象。可在解码器侧采用帧内插或外 插以近似跳过的帧的内容，且事实上，向上转换实际帧速率以提供较平稳运动的感觉。 帧内插或外插可用于支持帧速率向上转换(FRUC)。尽管FRUC可通过内插或外插跳过 的帧而增强时间质量，但某些帧的内插或外插也可能引入损害视频序列的视觉质量的不 合意的空间假象。

发明内容
本发明是针对用于视频解码器中选择性地启用和停用FRUC的技术。根据本发明， 视频解码器基于一个或一个以上适应性标准选择性地启用和停用FRUC。可选择所述适 应性标准以指示特定帧的内插或外插是否可能引入显著空间假象。帧内插或外插技术可 作为FRUC方案的一部分来使用，以增强视频序列的时间质量。当FRUC停用时，解码 器可应用帧重复，即前一帧的重复来替代跳过帧。FRUC的选择性启用的适应性标准可包含运动活动性阈值、模式决策阈值或两者。 在每一情况下，相关标准是适应性的而不是同定的。特定来说，标准可适应于跳过帧附 近的一个或一个以上帧的内容。当所述标准指示前一帧的内容包含过量运动或新内容时， 所述视频解码器临时停用FRUC。因此，基于适应性标准，视频解码器选择FRUC或帧 重复。
在一个实施例中，本发明提供一种方法，其包括基于一个或一个以上标准选择性 地启用和停用视频解码器中的视频帧速率向上转换；以及基于跳过帧附近的至少一个先 前视频帧的一个或一个以上特征来调整所述标准。
在另一实施例中，本发明提供一种视频解码器，其包括帧速率向上转换模块以 及控制模块，其基于一个或一个以上标准选择性地启用和停用所述帧速率向上转换模块， 并基于跳过帧附近的至少一个先前视频帧的一个或一个以上特征来调整所述标准。
本发明中描述的技术可实施于硬件、软件、固件或其任意组合中。如果实施于软件 中，那么软件可在例如数字信号处理器(DSP)的处理器中执行。执行所述技术的软件 可初始存储在计算机可读媒体中并在处理器中装载且执行。因此，本发明还预期一种计 算机可读媒体，其包括促使处理器执行用于适应性视频帧内插的技术的指令。
下文在附图和描述内容中陈述本发明的一个或一个以上实施例的细节。从描述内容 和图式以及从权利要求书中将了解本发明的其它特征、冃的和优点。


图1是说明根据本发明的经配置以采用选择性FRUC技术的视频编码与解码系统的 框图。
图2是说明支持视频解码器中的FRUC技术的用于内插跳过帧的简单技术的实例的图。
图3是更详细说明图1的视频解码器的框图。
图4是进一步详细说明图3的FRUC失败预测(FFP)模块的框图。 图5是说明其中视频解码器适应性地确定是否启用或停用FRUC的示范性技术的流 程图。
图6是说明其中视频解码器适应性地确定是否启用或停用FRUC的另一示范性技术 的流程图。
图7A-7D是说明前一帧的宏块(MB)的示范性分布及相关联运动向量(MV)直方 图的图表。图8A说明划分为宏块(MB)的视频帧。
图8B是指示用于分析运动活动性的分配到图8A的视频帧中的每一 MB的编码位的 数目的图。
图9是说明用于分析运动活动性的视频帧中近似邻接对象大小的确定的图。
具体实施例方式
图1是说明经配置以采用选择性FRUC技术的视频编码与解码系统IO的框图，其中 基于一个或一个以上适应性标准而选择性地启用或停用FRUC。如图1所示，系统10包 含通过传输信道15连接的视频编码器12和视频解码器14。传输信道15可以是能够在 位流内传递帧的有线或无线媒体。信道15可支持双向或单向视频传输。
系统IO可经配置以用于视频电话、视频串流或视频广播。因此，往复编码、解码、 多路传输(MUX)和多路分解(DEMUX)组件可提供于信道15的相对末端上。在一些 实施例中，编码器12和解码器14可实施在例如无线移动终端的视频通信装置内，所述 装置经配备以用于视频串流、视频广播接收和/或视频电话，例如所谓的无线视频电话或 相机电话。
系统10可支持根据会话起始协议(SIP)、 ITU-TH.323标准、ITU-T H.324标准或其 它标准的视频电话。视频编码器12根据例如MPEG-2 、 MPEG-4 、 ITU-T H.263 、 ITU-T H.264 或MPEG-4第IO部分的视频压縮标准来产生经编码视频数据。尽管图1未图示，但视频 编码器12和视频解码器14可分别与音频编码器和解码器集成，且包含适当的硬件和软 件组件以处理数据流的音频以及视频部分。
编码器12编码视频帧16，其可包含帧内帧(I帧)、预测帧(P帧)以及双向预测帧 (B帧)。I帧是使用空间编码技术完全编码所有视频信息的帧。经编码帧可包括描述形成 一帧的一系列视频块的信息。有时称为宏块(MB)的视频块包含界定例如亮度(Y)、红 色度(Cr)和蓝色度(Cb)颜色信道中的像素值的编码位。
编码器12可实施帧跳过以减小经由传输信道15传输的数据的帧速率。特定来说， 编码器12可经配置以例如通过不编码选定的帧或不传输选定的经编码帧而有意跳过选 定的帧。帧跳过允许编码器12遵循信道15的减小的传输速率要求。可以固定速率跳过 帧，使得跳过发生于交替的帧或每第n个帧发生。或者，可以变化的速率跳过帧，例如 基于智能帧跳过标准。在任一情况下，为了增加有效帧速率，且进而改进时间质量，解 码器14执行FRUC过程以使用视频帧内插或外插来近似跳过帧中的至少一些帧。尽管 FRUC过程可采用视频帧外插，但为了说明的目的在本发明中将一般性地描述视频帧内插。
解码器14可使用FRUC来替换跳过的帧。另外，在一些实施方案中，FRUC可用于 在传输期间丢弃或丢失的帧。编码器12跳过的帧以及在传输期间丢弃或丢失的帧在本发 明中将一般称为跳过的帧。尽管FRUC过程可通过内插或外插跳过的帧而增强时间质量， 但此类技术可能引入损害视频序列的主观视觉质量的不合意的空间假象。根据本发明， 解码器14应用用于向跳过的视频帧选择性地应用FRUC的技术。根据本发明，解码器 14基于指示FRUC是否可能引入显著空间假象的一个或一个以上适应性标准来选择性地 启用和停用FRUC。
大体上，解码器14应用以选择性地启用和停用FRUC的适应性标准可包含运动活动 性阈值、模式决策阈值或两者。在每一情况下，相关标准是适应性的，且适合于一跳过 帧附近的一个或一个以上帧的内容，例如在将内插的帧附近。举例来说，当标准指示前 一帧的内容包含过量运动或新内容时，解码器14临时停用FRUC。当标准指示较少的运 动活动性时，解码器14启用FRUC。
当FRUC停用时，解码器14激活帧重复，即代替跳过帧的前一帧的重复。在此情况 下，解码器14避免了可能例如由于内插而由FRUC引入的不合意的空间假象。然而，帧 重复降低了视频的感觉到的时间质量。因此，适应性标准允许解码器14通过选择性地应 用帧内插(或外插)或帧重复而平衡时间质量与空间质量。
在图1的实例中，视频编码器12包含帧处理单元20，其经配置以处理传入的视频 信息帧F,、 F2、 F3。帧处理单元20将传入的帧F,和F3编码为上述I、 P或B帧16中的 一者。F2表示将跳过的帧。视频编码器12经由传输信道15将包含经处理帧F,和&但不 包含跳过帧F2的帧16传输到视频解码器14。通常，编码器12按预定义序列(例如 IBBPBBPBBPBBI)传输这些帧，其中I、 B和P分别指代I帧、B帧和P帧。
帧F" F2、 F3表示含有许多帧的视频序列中的三个帧，且用于描述驻留于两个所传 输帧之间的跳过帧F2的内插(F,、 F2、 F3)。在一些实施例中，可跳过多个帧，在此情况 下驻留于两个所传输帧之间的一个以上帧可能需要内插。为了便于说明，本发明将涉及 跳过并选择性地内插单个帧F2的实例情况。
视频解码器14经由传输信道15接收依序传输的帧16。视频解码器14可例如根据 MPEG-1、 MPEG-2、 MPEG-4、 H.263、 H.264、 MPEG-4第10部分标准之一来应用标准 解码技术，对所接收帧16中的每一者(F!和F3)进行解码。根据本发明，解码器14进 一步包含选择性FRUC模块24，其应用于帧16以便选择性地内插跳过帧F2。再次，尽管FRUC过程可采用帧外插，但为实例的目的本发明中将描述帧内插。
选择性FRUC模块24接收视频序列中的连续帧。对于将内插的每一跳过帧(F2)， 存在前一帧(F,)和当前帧(F3)。将内插的帧驻留于前一帧与当前帧之间。内插可通过 多种技术中的任一种来执行，例如运动补偿内插(MCI)、线性内插、双线性内插、双三 次内插、样条内插、最近相邻者内插等。选择性FRUC模块24使用适应性标准(例如， 适应性运动活动性阈值、适应性模式决策阈值或两者)确定所接收的帧是否指示过量的 运动或新内容。
如果前一帧F,和当前帧F3指示过量运动或新内容，那么将跳过帧F2视为内插的不 良候选者。特定来说，过量的运动活动性或新内容指示内插将产生不合意的空间假象的 很大可能性。不合意的空间假象的可能产生在针对FRUC的内插应用将产生不合意结果 的意义上可称为FRUC失败。因此，选择性FRUC模块24依赖于FRUC失败预测(FFP) 来确定是启用还是停用内插。
选择性FRUC模块24基于运动活动性阈值、模式决策阈值或两者预测FRUC失败。 请注意，此类阈值不是固定的。而是，所述阈值在帧序列的过程中动态适合于视频帧内 容。当预测到FRUC失败时，基于来自前一帧的信息，选择性FRUC模块24停用内插。 当内插停用时，解码器14可简单地重复前一帧而不是在前一帧与当前帧之间内插一帧。 在此情况下，解码器14使用前一帧的复制版本来代替跳过帧。
选择性FRUC减少了内插帧将产生明显空间假象的可能性。相反，选择性FRUC避 免了当跳过帧的内插可能产生可接受的视觉结果时对前一帧的重复。因此，不同于依赖 于基于任意或经验确定的固定阈值的技术，本发明中描述的技术提供稳健且基于内容的 选择性技术，解码器14通过此技术可重复当内插时具有高度空间假象可能性的那些帧。
图2是说明支持视频解码器14中的FRUC技术的用于内插跳过帧的简单技术的实 例。大体上，为了在前一帧F,与当前帧&之间的跳过帧F2中内插MB，视频解码器14 可依赖于在帧F,中的MB 25与帧F3中的相应块27之间延伸的向量V。。帧F,和F3分别 是需要内插的时间上超前(t-l)和落后(t+l)于跳过帧F2的帧。通常将向量V,3除以2 (获得1:2帧速率转换)以产生运动向量V, 3/2和-V, 3/2 ，且识别跳过帧F2中的相应MB 29 。 对于1:N转换，将相应地縮放运动向量。
图3是更详细说明图1的视频解码器14的框图。如图3所示，视频解码器14包含 选择性FRUC模块24。选择性FRUC模块24包含FRUC失败预测(FFP)模块26和FRUC 模块28。在图2的实例中，FFP模块26形成用于FRUC模块28的控制模块，且包含运动活动性分析模块30和帧内宏块(MB)分析模块32。在其它实施例中，FFP模块26 可仅包含运动活动性分析模块30，仅包含帧内MB分析模块32，或包含运动活动性分析 模块30和帧内MB分析模块32两者。
运动活动性分析模块30分析当前帧&和前一帧F,的运动活动性信息以确定是否应 内插位于前一帧与当前帧之间的跳过帧F2。帧内MB分析模块32相对于模式决策阈值来 分析当前帧中的帧内编码MB位，以确定是否应内插跳过帧。FFP模块26可独立地或组 合地利用运动活动性分析模块30和帧内MB分析模块32以识别应当重复而不是例如通 过内插或外插而使用FRUC过程再现的帧。FRUC模块28可应用常规内插技术以支持 FRUC过程，其响应于FFP模块26而选择性地启用或停用，所述FFP模块26充当用于 FRUC模块的控制模块。
FFP模块26采用运动活动性分析模块30来适应性地确定指示过量运动或新内容的 运动活动性阈值。新内容可指代在一系列视频帧中快速进入或离开一视频场景的新对象。 运动活动性分析模块30接收并分析帧序列中的前一视频帧，并产生运动活动性值。在一 些实施例中，运动活动性值可以是从运动向量直方图获得的运动向量值。前一视频帧可 以是仅接在跳过帧之前的帧，或在跳过帧附近的一个或一个以上先前帧。运动向量直方 图指示在前一视频帧中的MB之间运动向量的分布，且可用于例如依据前一视频帧中所 有MB上的平均或中间运动向量值表征前一视频帧中内容的运动活动性。
通过使用前一帧或运动向量可用的最近过去帧的运动向量直方图，运动活动性分析 模块30适应性地调节运动活动性阈值。运动活动性阈值可从直方图的整个范围内选择。 举例来说，运动活动性分析模块30可将运动活动性阈值建立为前一帧的平均或中间运动 向量与一差值的和。以此方式，在接收到每一新的帧时适应性地更新运动活动性阈值。 特定来说，在运动活动性分析模块30接收到视频序列中的额外帧时，其接收新的"前一" 帧并基于所述帧的平均运动向量更新运动活动性阈值。因此，随着视频序列前进，跳过 帧的内插根据与所述跳过帧相关联的新的前一帧和当前帧而变。
运动活动性分析模块30通常要求前一帧包含描述可称为宏块(MB)的多个视频块 的信息，其中每一MB含有运动向量信息。因此，运动活动性分析模块30通常可用于视 频序列的P帧。P帧通常含有具有相关联运动向量的帧内编码MB的优势。运动活动性 分析模块30从可用的运动向量信息中计算运动向量直方图。在此实例中，基于运动向量 直方图，运动活动性分析模块30适应性地确定运动活动性阈值。
运动活动性分析模块30比较当前视频帧的运动向量信息与基于当前"前一"帧而调节的运动活动性阈值，以确定是否应启用FRUC且因此是否应内插一帧。如果当前帧的 运动活动性信息(例如，平均运动向量)超过运动活动性阈值，指示过量的运动或新内 容，那么FFP模块26停用FRUC模块28进行的内插。在此情况下，解码器14重复前一 帧。或者，如果运动活动性信息没有超过运动活动性阈值，那么FFP模块26启用FRUC 模块28以应用内插。
在一些实施例中，运动活动性分析模块30可操作以分析视频帧的X (水平)方向和 Y (垂直)方向两个方向上的运动向量信息。如果当前帧的X方向上的平均运动向量值 超过X方向的适应性运动活动性阈值，那么FFP模块26停用内插。同样地，如果当前 帧的Y方向上的平均运动向量值超过Y方向的适应性运动活动性阈值，那么FFP模块 26停用内插。或者，可使用角度信息来评估向量量值与方向两者。也可使用更高级的适 应性阈值策略。举例来说，可使用滑动MB窗口来公式化运动向量直方图。
或者或另外，FFP模块26可采用帧内MB分析模块32来适应性地确定是否应内插 一帧。帧内MB分析模块32使用当前帧的模式决策信息。当运动估计失败或当对MB进 行帧内编码更经济(即，较少编码位)而不是对MB进行帧间编码更经济时，使用帧内 MB。在两种情况下，合理的是假定帧中帧内MB的存在是大量新内容或运动的指示。大 体上，帧内MB分析模块28比较当前帧中帧内MB的数目与适应性模式决策阈值，以确 定是否应内插跳过帧。可使用两种不同技术中的任一者或两者来确定模式决策阈值，如 将描述。
根据一种技术，帧内MB分析模块32在位流等级根据当前帧中的帧内MB计数适应 性地调节模式决策阈值。特定来说，帧内MB分析模块32接收并分析帧序列的前一帧， 以便对具有若干MB位的前一帧中的MB进行计数，所述MB位的数目比所述帧的平均 值高一个标准偏差。如果一MB与其它MB相比具有高一个标准偏差的若干MB位，那 么可推断MB的帧内编码或高运动。前一帧中的帧内编码MB的数目指示前一帧中的运 动或改变的程度。而且，较高数目的MB位表示从前一帧发生较大改变的区域。
帧内MB分析模块32从此MB信息中适应性地确定模式决策闳值。特定来说，帧内 MB分析模块32可将模式决策阈值建立为按前一帧中帧内MB计数的MB数目与一差值 的和。如果当前帧中的帧内MB数目高于模式决策阈值，那么在前一帧与当前帧之间已 存在实质运动或改变。在此情况下，FFP模块26停用FRUC模块28，且视频解码器14 重复前一帧而不是内插跳过帧。请注意，对帧内MB位的分析允许使用位流等级信息获 得模式决策阈值。或者或另外，帧内MB分析模块32可通过估计前一帧中的近似邻接对象大小来使用 帧内MB计数的模式决策阈值。此方法依赖于前一经解码帧的强度信息，并预测所述帧 内的主要对象的大小。因此，模式决策阈值可基于一帧中的邻接对象大小、所述帧中的 帧内MB数目或两者。通过使用强度信息，帧内MB分析模块32估计由前一帧中主要对 象覆盖的MB的数目，并将模式决策阈值设定为等于估计值或估计值加上一差值。特定 来说，强度信息用于识别共享一实质上共同的强度范围的MB，所述范围指示一邻接对 象。
可比较当前帧中的邻接帧内MB的数目与模式决策阈值以确定是否应启用或停用跳 过帧的内插。如果当前帧中的帧内MB计数超过此模式决策阈值，即由前一帧中主要对 象覆盖的MB的所估计数目，那么可能对象已实质上移动或已引入新的对象。在此情况 下，FFP模块26停用FRUC模块28。以此方式，FFP模块26充当控制模块，其针对由 于场景中的突然运动或引入新对象而含有过量数冃的帧内MB的帧停用FRUC。
上述两种不同的模式决策阈值技术，即帧内MB计数和邻接对象大小，可单独使用 或彼此组合使用，以选择性地启用和停用内插。同样地，上述运动活动性阔值技术可单 独使用或与模式决策阈值技术中的一者或两者组合使用。对于模式决策阈值技术，适应 性阈值根据前一帧中识别为帧内编码的MB的数目而变。对于运动活动性阈值技术，适 应性阈值根据前一帧中的运动向量信息而变。在每一情况下，适应性阈值的使用支持更 有效地应用帧内插和帧重复来促进时间与空间质量两者。下文参看图4另外论述运动活 动性阈值和模式决策阈值的确定和使用。
图4是进一步详细说明图2的FFP模块26的框图。如图4所示，FFP模块26的运 动活动性分析模块30处理前一帧34A和当前帧34B。 FFP模块26的帧内MB分析模块 32也处理前一帧34A和当前帧34B。前一帧34A和当前帧34B每一者可包括图1和2 中分别表示为F,和F3的帧，所述帧由视频编码器12编码并经由传输信道15传输到视频 解码器14。下文描述的操作可在FFP模块26接收到帧34A、 34B之后进行，且可由能 够执行支持这些操作的指令的处理器来执行。
在接收到帧34A、 34B之后，运动活动性分析模块30可分析前一帧34A以计算运动 向量(MV)直方图38 ("MV直方图38")，其在下文更详细地展示于图7B和7D中。 特定来说，运动活动性分析模块30通过分析前一帧34A内的每一 MB并编译相应MV 以产生MV直方图来确定MV直方图38。运动活动性分析模块30以多种方式中的一种 从MV直方图38中适应性地确定运动向量(MV)闳值40A ("MV—前一 阈值40A")。在一些实施例中，运动活动性分析模块30从MV直方图38中确定中间或平均运动 向量，并将MV一前一 阈值40A设定为此中间或平均运动向量加上一差值。在其它实施 例中，运动活动性分析模块30采用更高级的策略，其使用滑动MB窗口来计算MV直方 图38，借此其根据使用这些高级策略计算的值而设定MV一前一 阈值40A。在每一情况 下，MV—前一 阈值40A适合于随着视频序列前进每一新的"前一"帧。
在适应性地确定MV一前一 阈值40A之后，运动活动性分析模块30分析当前帧34B 以确定平均运动向量(MV平均)42，假定MV—前一设定为中间或平均运动向量。特定来 说，运动活动性分析模块30从由当前帧34B承载的指示当前帧34B的MB的MV的信 息中确定MV ， 42。运动活动性分析模块30比较MV ，与MV—前一 阈值40A。
如果MV^高于MV一前一 阈值40A，那么其可能是由于当前帧34B相对于前一帧 34A的运动活动性的显著改变。因此，前一帧34A与当前帧34B之间的内插可导致不合 意的空间假象，且最佳的策略将是帧重复而不是FRUC。在此情况下，运动活动性分析 模块30向FFP模块26指示FRUC模块28不应执行常规FRUC技术来内插或外插跳过 帧，而是应重复前一巾贞34A。
而且，在接收到帧34A、 34B之后，帧内MB分析模块32可分析前一帧34A以确定 前一帧内MB计数阈值(N—前一)40B。特定来说，帧内MB分析模块32可基于具有若 千编码位的MB的数目而产生前一帧的帧内MB计数阈值，所述编码位的数目比所述帧 中所有MB的平均值高一个标准偏差。因此，前一MB计数阈值40B提供前一帧中帧内 编码MB的所估计数目的指示，其与前一帧中运动活动性的程度相关。前一MV计数阈 值(N—前一)可等于具有比前一帧的平均值高一个标准偏差的位的MB的数目，或等于 所述数目加上一差值。
在适应性地确定前一 MB计数阈值40B之后，帧内MB分析模块32分析当前帧34B 以确定帧内MB计数(N—喊内)44，即当前帧中帧内编码MB的数目。特定来说，帧内 MB分析模块32可大体上以上文参考确定前一帧的前一 MB计数阚值40B而论述的方式 来确定当前帧的帧内MB计数44。接着，帧内MB分析模块32比较前一帧的前一帧内 MB计数阈值40B与当前帧的帧内MB计数44。如果当前帧中帧内MB的数目(即帧内 MB计数44)超过前一 MB计数阈值N—前一 40B,那么从前一帧34A到当前帧34B存 在显著改变。在此情况下，帧内MB分析模块32停用FRUC模块28以使得其不内插跳 过帧。而是，解码器14重复前一帧34A来替代跳过帧。
结合帧内MB计数技术或作为替代，帧内MB分析模块32可基于前一帧和当前帧内的邻接对象大小阈值(邻接—阈值(ContigJh)) 40C的估计值而产生模式决策阈值。特 定来说，帧内MB分析模块32可分析前一帧34A的MB信息以使得其确定前一帧34A 内存在的对象的近似大小，其表达为邻接MB的数目。为了确定邻接对象人小阈值40C， 帧内MB分析模块32可依赖丁-MB信息内存在的信息的像素强度，例如亮度(Y)值。
在示范性实施例中，帧内MB分析模块32通过界定前一帧34A的若干垂直和水平横 截面并分析沿着这些横截面的像素强度分布曲线来估计最大邻接对象的大小。基于强度， 帧内MB分析模块32估计沿着横截面所穿过的任一对象的一个维度的近似大小。接着， 帧内MB分析模块32组合来自X和Y维度横截面的横截面信息，并识别所获得的对象 大小中的最大值。帧内MB分析模块32估计由最大对象大小界定的邻接对象所覆盖的 MB的数目，并将邻接对象大小阈值40C设定为此数目或此数目加上一差值的和。
在一些实施例中，帧内MB分析模块32可利用前一帧34A的空间子取样版本，以便 减少计算复杂性，同时考虑强度分布曲线。在其它实施例中，帧内MB分析模块32可能 不考虑强度分布曲线，而是考虑前一帧34A内界定的MB的DC值，其在位流中可容易 获得。在此类实施例中，帧内MB分析模块32可通过找到DC值分布曲线中的尖锐变化 来估计邻接对象大小阈值40C。
一旦邻接对象大小阈值40C已确定，帧内MB分析模块32就分析当前帧34B以确 定邻接帧内MB计数(N—邻接麵)46。帧内MB分析模块32可以大体上类似于上文参 考确定邻接对象大小阈值40C描述的方式来确定当前帧34B的邻接帧内MB计数46。接 着，帧内MB分析模块32比较邻接对象大小阈值40C与邻接帧内MB计数46。如果当 前帧中的帧内MB数目，即邻接帧内MB计数46超过邻接对象大小阈值40C，那么从前 一帧34A到当前帧34B己存在显著改变。举例来说，对象可能在前一帧与当前帧之间已 移动、旋转、后退、前进或转动。在此情况下，帧内MB分析模块32停用FRUC模块 28以使得其不内插跳过帧。而是，解码器14重复前一帧34A来替代跳过帧。
图5是说明示范性技术的流程图，通过所述技术，视频解码器(例如图3的视频解 码器14)适应性地确定是否采用FRUC技术来内插跳过帧。在图4的实例中，视频解码 器14的FFP模块26适应性地确定如上所述的三个不同阈值，并以级联配置应用阈值。 举例来说，FFP模块26可应用运动活动性阈值、基于帧内MB计数的第一模式决策阈值 以及基于邻接对象大小的第二模式决策阈值。在图5中，在FFP模块26为了启用FRUC 模块28进行的内插而检验当前帧没有超过三个适用阈值中任一者的意义上，所述闳值是 "级联"的。尽管下文参考图4描述，但所述技术可应用于能够通过内插或外插跳过帧而应用FRUC的任何视频解码器，且不应限于图4说明的实施例。
初始地，FFP模块26经由传输信道15接收前一帧34A和当前帧34B两者(48)。 在接收到帧34A、 34B之后，运动活动性分析模块30确定前一帧的MV直方图38，且基 于MV直方图38适应性地确定运动活动性阈值MV—前一 阈值40A，如上所述(50)。 接着，运动活动性分析模块30分析当前帧34B以确定当前帧中MB中的平均运动向量 (MV￥ ) 42 (52)。 一旦阈值40A和平均运动向量42确定，运动活动性分析模块30就 比较MV—前一 阈值40A与平均运动向量(MV平均)42 (54)。如果MV平均42超过MV— 前一 阈值40A，那么FFP模块26向FRUC模块28指示其应重复前一帧34A而不是内 插跳过帧(56)。然而，如果MV， 42没有超过MV—前一 阈值40A，那么运动活动性 分析模块30不向FRUC模块28做出指示，且将控制传递到帧内MB分析模块32。
帧内MB分析模块32也接收前一帧34A和当前帧34B。如上所述，帧内MB分析模 块32可基于前一帧34A的帧内MB计数适应性地确定前一 MB计数阈值(N—前一)40B 并确定当前帧34B的帧内MB计数(N喊内)44 (58、 60)。接着，帧内MB分析模块32 比较N帧内44与N—前一 阈值40B (62)。如果N帧内44超过N—前一 阈值40B,那么帧 内MB分析模块32向FRUC模块28指示其应重复前一帧34A而不是内插跳过帧(56)。
然而，如果N咖44没有超过N—前一 阈值40B，那么帧内MB分析模块32适应性 地确定第三阈值，即邻接对象大小阈值(邻接—阈值)40C,如上所述(64)。帧内MB分 析模块32还以上文所述方式确定当前帧34B的邻接帧内MB计数(N—邻接咖)46 (66)。 在确定两者之后，帧内MB分析模块32比较N—邻接麵46与邻接J,值阈值40C (68)。 如果N—邻接,46超过邻接_阈值阈值40C，那么帧内MB分析模块32向FRUC模块28 指示其应重复前一帧34A。如果N—邻接翻46没有超过邻接」竭值阈值40C,那么帧内 MB分析模块32向FRUC模块28指示其应例如通过内插跳过帧而执行FRUC (70)。
因此，FFP模块26为FRUC模块28提供FRUC或帧重复决策。如果由于过量运动 或内容改变而可建议重复，那么FFP模块26针对特定跳过帧停用FRUC模块28。 FFP 模块26接着接收下一对前一帧与当前帧，且做出另一FRUC或重复决策。所述过程连续 地进行通过视频序列的末尾，针对每一跳过帧选择运动活动性阈值和/或模式决策阔值。 在图5所示的级联方法中，FFP模块26适应性地确定并应用三个不同阈值40A-40C。在 其它实施例中，FFP模块26可应用所述阈值中的仅一者或两者来支持内插决策。
图6是说明另一示范性技术的流程图，其中视频解码器(例如图2的视频解码器14) 适应性地确定是否启用或停用FRUC。在图6的实例中，视频解码器14的FFP模块26适应性地确定上述二个不同阈值，即运动活动性阈值、基于帧内MB计数的模式决策阈 值以及基于邻接对象大小的模式决策阈值，并以加权配置应用这些阈值。在FFP模块26 适应性地确定图4所示的阈值40A-40C、比较阈值40A-40C与例如从当前帧34B获得的 信息、并对每一比较进行加权以确定是否内插跳过帧的意义上，图6所示的过程是"加 权"的。
对阈值比较的加权分析产生决策融合。可调节每一比较的权值以便将阈值比较相对 于彼此排列优先，且进而修改适应性内插技术。在一些实施例中，可在视频解码器14的 操作期间手动或自动调节权值。在其它实施例中，权值可静态设定，例如在工厂设定。 尽管下文参看图4描述，但所述技术可应用于能够内插跳过帧的任何视频解码器，且不 应限于图4说明的实施例。
初始地，FFP模块26经由传输信道15接收前一帧34A和当前帧34B两者(72)。 在接收到帧34A、 34B之后，运动活动性分析模块30确定MV直方图38，且基于MV 直方图38适应性地确定前一帧34A的MV—前一 阈值40A，如上所述(74)。接着，运 动活动性分析模块30分析当前帧34B以确定平均运动向量(MVt.均)42 (76)。 一旦阈 值40A和平均运动向量42确定，运动活动性分析模块30就比较MV—前一 阈值40A与 平均运动向量(MV平均)42，并对比较的结果进行加权(78)，从而产生经加权的差值。
接着，帧内MB分析模块32适应性地确定前一帧34A的前一 MB计数阈值(N—前 —)40B并确定当前帧34B的帧内MB计数(N翻)44，如上所述(80、 82)。在这些确 定之后，帧内MB分析模块32比较N, 44与N—前一 阈值40B，并对比较的差结果进 行加权(84)。帧内MB分析模块32进一步从前一帧34A中适应性地确定第三阈值，即 邻接对象大小阈值(邻接—阈值)40C,如上所述(86)。帧内MB分析模块32还以上文 所述方式确定当前帧34B的邻接帧内MB计数(N—邻接翻)46 (88)。在确定两者之后， 帧内MB分析模块32比较N—邻接,46与邻接_阈值阈值40C，并对比较的差结果进行 加权(90)。
在进行上述二个比较并对每个比较进行加权之后，FFP模块26通过例如执行一个或 一个以上数学运算而融合经加权的比较(92)。举例来说，可将经加权的差结果简单求和 并与复合阈值进行比较。如果经加权的差之和超过复合阈值，那么FFP模块26停用FRUC 模块28进行的内插，从而引起前一帧的重复(96)。如果经加权的差结果之和没有超过 复合阈值，那么FFP模块26启用FRUC模块28 (98)。经加权的比较的融合可经受广泛 多种数学运算，例如标准化和縮放。图7A-7D是说明前一帧(例如图4的前一帧34A)的宏块(MB)的示范性分布及 其相关联MV直方图的图表，所述MV直方图可大体上类似于MV直方图38。图7A展 示说明运动向量量值的直方图分布的图表100。图7B展示说明运动向量量值的标准化直 方图的图表102。图7C展示说明运动向量方向的分布的图表104。图7D展示说明运动 向量方向的直方图的图表106。
图表100-106说明在本文所述的选择性FRUC技术中可使用的信息。参看图7A,图 表100的x轴指示运动向量量值，且图表100的y轴指示具有每一运动向量量值的MB 的数目。因此，灰色条指示具有由x轴界定的特定运动向量量值的MB的数目。
参看图7B,图表102的x轴指示运动向量量值，且图表102的y轴指示MB具有小 于或等于沿着y轴的给定值的运动向量量值的概率。因此，灰色条指示MB将具有小于 或等于由x轴指示的量值的运动向量的可能性。举例来说，右边最后一个灰色条指示存 在MB将具有小于或等于19的量值的100% (或1.0)可能性。
通过使用图表IOO或102所示的数据，运动活动性分析模块30可确定前一帧的平均 运动向量量值。在所说明的直方表102中，运动活动性分析模块30确定平均运动向 量量值为大约6.8。参看图7C，图表104的x轴以度为单位指示运动向量方向，且图表 104的y轴指示具有每一运动方向的MB的数目。因此，灰色条指示具有由x轴界定的 特定运动向量方向的MB的数目。图表104是基于前一帧34A的MB信息。图表104依 据方向来排列MB，且针对25旋转度数的每个方向范围对MB数目进行计数。
参看图7D，图表106的x轴以度为单位指示运动向量方向，且图表106的y轴指示 MB具有小于或等于沿着y轴的给定值的运动向量方向的概率。因此，灰色条指示MB 将具有小于或等于由x轴指示的方向的方向的运动向量的可能性。举例来说，右边最后 一个灰色条指示存在MB将具有小于或等于350度的方向的100% (或l.O)可能性。通 过使用直方表106中的信息，运动活动性分析模块30可确定前一帧的平均运动向量 方向。所说明的直方表106展示平均运动向量方向为138.50。
通过使用所得的从直方表102、 106确定的平均值，运动活动性分析模块30确 定平均运动向量，因为向量需要量值与方向两者。运动活动性分析模块30将1/[丫_前一 闳 值40A设定为基于从直方表102、 106分别推导出的平均量值和平均方向的向量值。 以此方式，运动活动性分析模块30从MV直方图38中的数据中适应性地确定MV—前一 阈值40A，所述MV直方图38可大体上类似于直方表102、 106。
作为一实例，运动活动性分析模块30可比较X (水平)方向、Y (垂直)方向或两者上的向量分量量值，如先前所述。或者，运动活动性分析模块30可比较向量量值和角 度与各自的阈值。在每一情况下，运动活动性分析模块30可依赖于量值与方向两者来识 别过量的运动或场景改变。
尽管为了便于说明而展示为图表100-106,但运动活动性分析模块30不需要以图表 形式实际构造直方表102、 106。而是，在一些实施例中，运动活动性分析模块30 可存储表、链接列表、树或含有与图表102、 106所表示的信息类似的信息的任何其它类 型的数据结构。对这些数据结构的分析可类似地产生平均运动向量，可如上所述对所述 平均运动向量执行比较。
图8A和8B说明由MB形成的示范性前一帧108以及指示帧108的MB的MB位的 经分析前一帧110。帧内MB分析模块32接收可在形式上大体类似于前一帧34A的前一 帧108，并对前一帧108执行分析以产生经分析的前一帧110。经分析前一帧110的个别 灰色标度瓦片表示MB，且包含指定分配到相应MB的编码位的数目的数字。较浅灰色 标度的瓦片指示较少数目的编码位己被分配到的MB,其指示较低运动。较深灰色标度 的瓦片指示较大数目的编码位已被分配到的MB,其指示较高运动或场景改变。帧内MB 分析模块32首先例如通过将编码位的总数除以MB的数目来确定每一 MB的编码位的平 均数目。
在计算平均位值之后，帧内MB分析模块32识别具有比平均值高一个标准偏差的若 干编码位的那些MB,并基于此数目调节前一 MB计数阈值(N一前一)40B。将所识别 MB视为帧内编码MB，因为相对较高数目的编码位被分配到MB。 N一前一可以是前一帧 中具有比平均强度值高一个标准偏差的若干编码位的MB的数目与一差值的和。帧内MB 分析模块32可执行类似的操作以计算当前帧34B的帧内MB计数(N一帧内)44。
在经由此操作计算N—前一和Nj贞内之后，帧内MB分析模块32比较所述值以确定 是否应启用或停用FRUC模块28对跳过帧的内插。如果当前帧中帧内编码MB的数目 N—帧内大于前一帧的阈值N一前一，那么FFP模块26停用FRUC模块28对跳过帧的内 插。而是，解码器14重复前一帧来替代跳过帧。或者，如果当前帧中帧内编码MB的数 目N—帧内小于或等于前一帧的阔值N—前一，那么FFP模块26启用FRUC。
尽管为了便于说明而经由图8A和8B以图形表示，仍解码器14中实施的适应性内 插技术不需要以图形方式执行任何此类操作，而是可改为执行这些操作并将结果存储在 表、链接列表、树或用于执行比较的任何其它数据结构中。因此，图8A和8B的图形表 示仅用于说明性目的。图9说明示范性前一帧112，图4的帧内MB分析模块32可分析所述前一帧112以 便确定邻接对象大小阈值(邻接—阈值)40C。前一帧112可大体上类似于前一帧34B。 帧内MB分析模块32以上述方式分析前一帧112，即通过计算各个对象的强度横截面并 经由强度横截面识别最大对象。在分析前一帧112之后，帧内MB分析模块32通过估计 最大对象占据的MB的数目来确定邻接对象大小阈值40C。
例如在前一帧112中，帧内MB分析模块32经由横截面强度分析将对象114识别为 最大对象。接着，帧内MB分析模块32通过对形成近似对象大小116的MB的数目进行 计数来确定邻接对象大小阈值40C。帧内MB分析模块32可根据以下等式(也在图9中 展示)计算近似对象大小116:
近似对象大小=(Vy * Vx) / (MB—大小y * MB—大小x)
其中Vy和Vx分别表示对象114的最大邻接的相应y轴和x轴强度横截面。MB一大 小y和MB—大小x分别表示沿着y轴和x轴的宏块(MB)尺寸。通过使用此等式，帧内 MB分析模块32可确定近似对象大小116,且因此确定邻接对象大小阈值40C。
前一帧与当前帧中邻接帧内MB的比较充当FFP模块26作出的内插决策的基础。如 果当前帧中最大邻接对象的所估计MB计数超过基于前一帧中最大邻接对象的MB计数 计算的模式决策阈值，那么可能所述对象已实质上移动。在此情况下，FFP模块26停用 FRUC模块28进行的内插。以此方式，FFP模块26停用含有过量运动或新内容的帧的内 插。
对运动活动性或模式决策阈值的适应性确定可使视频解码器14能够提供更稳健且 适应性方式来预先放映帧以用于跳过帧的内插。通过适应性内插，视频解码器14可使观 看者看到的空间假象最小化。另外，解码器14可通过避免一些帧的内插而减少计算的额 外开销和功率消耗。适应性技术也可能不是难以实施的，因为做出重复或内插一给定帧 的决策所需的大部分信息可在位流等级获得。
本发明描述的技术可实施于硬件、软件、固件或其任意组合中。特定来说，如本文 描述的解码器可通过多种硬件、软件和固件组件中的任一者来实现。术语模块、单元或 类似术语同样可指代硬件模块、软件模块、固件模块或其组合。
所述技术的各方面可实施于一个或一个以上微处理器、数字信号处理器(DSP)、专 用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效集成或离散逻辑电路， 以及此类组件的任何组合中。术语"处理器"或"处理电路"可通常指代上述逻辑电路 中的任一者、单独或与其它逻辑电路组合、或任何其它等效电路。在一些实施例中，本文描述的功能性可提供于经配置以用于编码和解码的专用软件模块或硬件单元内，或并 入在组合的视频编码器-解码器(CODEC)中。
当实施在硬件中时，所述技术可部分通过包括程序代码或指令的计算机可读媒体来 实现，所述程序代码或指令当由处理器执行时，执行上述功能中的一者或一者以上。存 储此类程序代码或指令的计算机可读媒体可包括随机存取存储器(RAM)(例如同步动态 随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、 电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体，或此 类存储器或存储媒体的任意组合。
己描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。
权利要求
1. 一种方法，其包括基于一个或一个以上标准选择性地启用和停用视频解码器中的视频帧速率向上转换；以及基于跳过帧附近的至少一个先前视频帧的一个或一个以上特征来调整所述标准。
2. 根据权利要求1所述的方法，其中所述标准包含运动活动性阈值，所述方法进一步 包括当当前帧的运动活动性值超过所述运动活动性阈值时选择性地停用帧速率向 上转换。
3. 根据权利要求2所述的方法，其中所述运动活动性值包含所述当前帧的平均运动向 量值，且其中所述运动活动性阈值是从所述至少一个先前帧的运动向量值的直方图 推导出的。
4. 根据权利要求3所述的方法，其中调整所述标准包含基于所述至少一个先前帧的所 述运动向量值来调节所述运动活动性阈值。
5. 根据权利要求l所述的方法，其中所述标准包含模式决策阈值，所述方法进一步包 括当当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择性地停用帧速率 向上转换。
6. 根据权利要求5所述的方法，其进一步包括基于所述前一帧中具有高于阈值的编码 位数目的宏块的数目来确定所述模式决策阈值。
7. 根据权利要求5所述的方法，其进一步包括基于至少一个先前帧中的邻接对象的近 似大小来确定所述模式决策阈值。
8. 根据权利要求l所述的方法，其进一步包括当所述帧速率向上转换模块停用时重复 所述前一帧来替代所述跳过帧。
9. 根据权利要求l所述的方法，其中所述标准包含运动活动性阈值和指定宏块计数的 模式决策阈值，所述方法进一步包括当当前帧的运动活动性值超过所述运动活动性 阈值时或当所述当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择性地 停用帧速率向上转换。
10. 根据权利要求l所述的方法，其中所述标准包含运动活动性阈值和指定邻接对象大 小的模式决策阈值，所述方法进一步包括当当前帧的运动活动性值超过所述运动活 动性阈值时或当所述当前帧中的邻接的帧内编码宏块的数目超过所述模式决策阈值时选择性地停用帧速率向上转换。
11. 根据权利要求l所述的方法，其中所述标准包含运动活动性阈值、宏块计数阈值以 及邻接对象大小阈值，所述方法进一步包括比较当前帧的所述运动活动性值与所述运动活动性阈值以产生第一差值； 比较所述当前帧中帧内编码宏块数目与所述模式决策阈值以产生第二差值； 比较所述当前帧中的邻接的帧内编码宏块数目与所述邻接对象大小阈值以产生 第三差值；对所述差值加权； 将所述经加权差值求和；以及当所述和超过阈值时选择性地停用帧速率向上转换。
12. 根据权利要求l所述的方法，其中所述帧速率向上转换包含视频帧内插，且所述一 个或一个以上标准指示所述视频帧内插是否可能产生显著假象。
13. —种视频解码器，其包括帧速率向上转换模块；以及控制模块，其基于一个或一个以上标准选择性地启用和停用所述帧速率向上转换 模块，并基于跳过帧附近的至少一个先前视频帧的一个或一个以上特征来调整所述 标准。
14. 根据权利要求12所述的视频解码器，其中所述标准包含运动活动性阈值，且所述 控制模块当当前帧的运动活动性值超过所述运动活动性阈值时选择性地停用所述 帧速率向上转换模块。
15. 根据权利要求14所述的视频解码器，其中所述运动活动性值包含所述当前帧的平 均运动向量值，且其中所述运动活动性阈值是从所述至少一个先前帧的运动向量值 的直方图推导出的。
16. 根据权利要求15所述的视频解码器，其中所述控制模块基于所述至少一个先前帧 的所述运动向量值来调节所述运动活动性阈值以调整所述标准。
17. 根据权利要求13所述的视频解码器，其中所述标准包含模式决策阈值，且所述控 制模块当当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择性地停用所 述帧速率向上转换模块。
18. 根据权利要求17所述的视频解码器，其中所述控制模块基T所述前一帧中具有高 于阚值的编码位数目的宏块的数目来确定所述模式决策阈值。
19. 根据权利要求17所述的视频解码器，其中所述控制模块基于至少一个先前帧中的 邻接对象的近似大小来确定所述模式决策阈值。
20. 根据权利要求13所述的视频解码器，其中所述解码器当所述帧速率向上转换模块 停用时重复所述前一帧来替代所述跳过帧。
21. 根据权利要求13所述的视频解码器，其中所述标准包含运动活动性阈值和指定宏 块计数的模式决策阈值，且所述控制模块当当前帧的运动活动性值超过所述运动活 动性阈值时或当所述当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择 性地停用所述视频帧速率向上转换模块。
22. 根据权利要求13所述的视频解码器，其中所述标准包含运动活动性阈值和指定邻 接对象大小的模式决策阈值，且所述控制模块当当前帧的运动活动性值超过所述运 动活动性阈值时或当所述当前帧中的邻接的帧内编码宏块的数目超过所述模式决 策阈值时选择性地停用所述视频帧速率向上转换模块。
23. 根据权利要求13所述的视频解码器，其中所述标准包含运动活动性阈值、宏块计 数阈值以及邻接对象大小阈值，且所述控制模块比较当前帧的所述运动活动性值与 所述运动活动性阈值以产生第一差值，比较所述当前帧中帧内编码宏块数目与所述 模式决策阈值以产生第二差值，比较所述当前帧中的邻接的帧内编码宏块数目与所 述邻接对象大小阈值以产生第三差值，对所述差值加权，将所述经加权差值求和， 以及当所述和超过阈值时选择性地停用所述视频帧速率向上转换模块。
24. 根据权利要求13所述的视频解码器，其中帧速率向上转换模块内插所述跳过的视 频帧，且所述一个或一个以上标准指示所述视频帧内插是否可能产生显著假象。
25. 根据权利要求13所述的视频解码器，其中所述帧速率向上转换应用视频帧内插， 且所述一个或一个以上标准指示所述视频帧内插是否可能产生显著假象。
26. —种计算机可读媒体，其包括促使处理器执行以下操作的指令基于一个或一个以上标准选择性地启用和停用视频解码器中的视频帧速率向上 转换；以及基于跳过帧附近的至少一个先前视频帧的一个或一个以上特征来调整所述标准。
27. 根据权利要求26所述的计算机可读媒体，其中所述标准包含运动活动性阚值，且 所述指令促使所述处理器当当前帧的运动活动性值超过所述运动活动性阈值时选 择性地停用视频帧速率向上转换。
28. 根据权利要求27所述的计算机可读媒体，其中所述运动活动性值包含所述当前帧的平均运动向量值，且其中所述运动活动性阈值是从所述至少一个先前帧的运动向 量值的直方图推导出的。
29. 根据权利要求28所述的计算机可读媒体，其中所述指令促使所述处理器基于所述 至少一个先前帧的所述运动向量值来调节所述运动活动性阈值。
30. 根据权利要求26所述的计算机可读媒体，其中所述标准包含模式决策阈值，且其 中所述指令促使所述处理器当当前帧中帧内编码宏块的数目超过所述模式决策阈 值时选择性地停用视频帧速率向上转换。
31. 根据权利要求30所述的计算机可读媒体，其中所述指令促使所述处理器基于所述 前一帧中具有高于阈值的编码位数目的宏块的数目来确定所述模式决策阈值。
32. 根据权利要求30所述的计算机可读媒体，其中所述指令促使所述处理器基于至少 一个先前帧中的邻接对象的近似大小来确定所述模式决策阈值。
33. 根据权利要求26所述的计算机可读媒体，其中所述指令促使所述处理器当帧速率 向上转换停用时重复所述前一帧来替代所述跳过帧。
34. 根据权利要求26所述的计算机可读媒体，其中所述标准包含运动活动性阈值和指 定宏块计数的模式决策阈值，其中所述指令促使所述处理器当当前帧的运动活动性 值超过所述运动活动性阈值时或当所述当前帧中帧内编码宏块的数目超过所述模 式决策阈值时选择性地停用视频帧速率向上转换。
35. 根据权利要求26所述的计算机可读媒体，其中所述标准包含运动活动性阈值和指 定邻接对象大小的模式决策阈值，其中所述指令促使所述处理器当当前帧的运动活 动性值超过所述运动活动性阈值时或当所述当前帧中的邻接的帧内编码宏块的数 目超过所述邻接对象大小阈值时选择性地停用视频帧速率向上转换。
36. 根据权利要求26所述的计算机可读媒体，其中所述标准包含运动活动性阈值、宏 块计数阈值以及邻接对象大小阈值，其中所述指令促使所述处理器比较当前帧的所述运动活动性值与所述运动活动性阈值以产生第一差值； 比较所述当前帧中帧内编码宏块数目与所述模式决策阈值以产生第二差值； 比较所述当前帧中的邻接的帧内编码宏块数目与所述邻接对象大小阈值以产生 第三差值；对所述差值加权； 将所述经加权差值求和以及当所述和超过阈值时选择性地停用视频帧速率向上转换。
37. 根据权利要求26所述的计算机可读媒体，其中帧速率向上转换包含视频帧内插， 且所述一个或一个以上标准指示所述视频帧内插是否可能产生显著假象。
38. —种视频解码器，其包括用于基于一个或一个以上标准选择性地启用和停用视频帧速率向上转换的装置； 以及用于基于跳过帧附近的至少一个先前视频帧的一个或一个以上特征来调整所述 标准的装置。
39. 根据权利要求38所述的视频解码器，其中所述标准包含运动活动性阈值，所述解 码器进一步包括用于当当前帧的运动活动性值超过所述运动活动性阈值时选择性 地停用视频帧速率向上转换的装置。
40. 根据权利要求39所述的视频解码器，其中所述运动活动性值包含所述当前帧的平 均运动向量值，且其中所述运动活动性阈值是从所述至少一个先前帧的运动向量值 的直方图推导出的。
41. 根据权利要求36所述的视频解码器，其中所述用于调整所述标准的装置包含用于 基于所述至少一个先前帧的所述运动向量值来调节所述运动活动性阈值的装置。
42. 根据权利要求36所述的视频解码器，其中所述标准包含模式决策阈值，所述解码 器进一步包括用于当当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择 性地停用视频帧速率向上转换的装置。
43. 根据权利要求42所述的视频解码器，其进一步包括用于基于所述前一帧中具有高 于阈值的编码位数目的宏块的数目来确定所述模式决策阈值的装置。
44. 根据权利要求42所述的视频解码器，其进一步包括用于基于至少一个先前帧中邻 接对象的近似大小来确定所述模式决策阈值的装置。
45. 根据权利要求l所述的视频解码器，其中所述帧速率向上转换包含视频帧内插，且 所述一个或一个以上标准指示所述视频帧内插是否可能产生显著假象。
全文摘要
本发明是针对用于视频解码器中的选择性视频帧速率向上转换(FRUC)的技术。视频解码器基于一个或一个以上适应性标准选择性地启用或停用FRUC。可选择所述适应性标准以指示FRUC是否可能引入空间假象。适应性标准可包含运动活动性阈值、模式决策阈值或两者。所述标准是适应性的而不是固定的。当所述标准指示一帧包含过量运动或新内容时，所述解码器停用FRUC。
文档编号H04N7/01GK101444093SQ200780012584
公开日2009年5月27日 申请日期2007年4月13日 优先权日2006年4月13日
发明者哈立德·希勒米·厄勒-马列, 布里杰什·皮莱, 维贾伊·马哈德万 申请人:高通股份有限公司