专利名称：提升帧速率的方法与装置的制作方法
技术领域：
本发明是有关一种数字图像处理技术，特别是提升帧速率(frame rate up convers ion)的方法与装置。
背景技术：
视频(video)及视觉通讯的应用通常需要处理大量的视频数据。描绘 (rendering)装置在产生视频时，需要连续显示许多数字图像(或帧(frame)), 用以模拟出动作。帧速率是度量描绘装置制造这些连续帧的频率。帧速率这 个用语也使用于计算机绘图、摄影机、照相机及动态捕捉(motion capture) 系纟克。巾贞速率通常以每秒、巾贞(f rames per second, fps)或者简单以赫兹(hertz, Hz)来表示。以高帧速率模式来显示视频的能力已逐渐成为现代图像显示应用 的所需。
为了提升帧显示的速率，需要于视频显示的两个参考帧之间产生中间 (intermediate)帧。帧速率提升方法通常运用动态补偿(motion compensated) 内插(interpo 1 at ion)技术，其使用相邻帧之间的动态测量信息以进行中间帧 的内插。
因此，高帧速率视频显示的应用亟需一个好的帧速率提升方法。
发明内容
根据一较佳实施例，本发明提供一种帧速率提升方法，其包含下列步骤 接收第一参考帧及第二参考帧；及决定新视频帧的第一部分，其决定是根据 第一参考帧、第二参考帧及新视频帧的第二部分，其中上述的第一部分为新 视频帧的目前像素区块，而第二部分则包含新视频帧内已产生的像素区域， 且目前像素区块的决定是根据第 一参考帧内的第 一像素区块群组、第二参考 帧内的第二像素区块群组及已产生像素区域。
上述的决定步骤包含针对多个像素区块对(pa ir)计算多个相似度测量 指标(SMI)，其中每一像素区块对包含第 一像素群组所选出的一个像素区块，以及第二像素群组所选出的一个像素区块；根据多个相似度测量指标，于多 个像素区块对中决定出 一 个最佳像素区块对；及平均最佳像素区块对的两个 像素区块以得到新视频帧的目前超像素区块，其中目前像素区块为目前超像 素区块内的子区块。
根据本发明一实施例，本发明提供一种帧速率提升装置，其包含像素区
块对产生单元、SMI计算单元、最佳像素区块对选择单元、像素区块内插单
元及已产生区块缓沖器。
图1A至图1E显示本发明实施例的像素区块产生方法的相关概念。
图2显示本发明实施例的帧速率提升方法的主要步骤。
图3显示本发明实施例的帧速率提升装置的方块图。
21 0-250 帧速率提升方法的步骤
300 帧速率提升装置
310 ^^素区块对产生单元
320 SMI计算单元
3 3 0 最佳像素区块对选择单元
340 像素区块内插单元
350 已产生区块緩沖器
具体实施例方式
以下的实施例描述参酌对应至相关的图式，这些图式形成本发明揭露的 一部分，其用以说明本发明的各种实施作法。然而，也可以使用其它的实施 例，只要其结构上或运算上的变化没有超出本发明的范围。
图1A至图lE显示本发明实施例的像素区块(pixel bLock)产生方法的相 关概念。于图1A中，新视频帧Fe是根据第一参考帧Fp及第二参考帧R所产 生出来的。在此实施例中，第一参考帧Fp及第二参考帧F,分别为新视频帧Fc 于时间顺序上的前一个及下一个视频帧。另外，第一参考帧Fp与新视频帧Fc 之间的时间间隔相同于第二参考帧FN与新视频帧Fe之间的时间间隔。于以下 的描述中，此时间间隔表示为T。如图1A所示，第一参考帧Fp、新视频帧Fc及第二参考帧F、可分别以时间函数表示为F(t-2T) 、 F(t-T)、 F(t)。
于新视频帧Fc中，像素区块Bc是目前所需产生的区块。于本实施例中， 像素区块Bc;为一个8x8的像素区域，亦即， 一个含有64卜8x8)个像素的区域。 在本实施例中，像素区块Bc又位于另一含有16x16像素的超(super)像素区块 Bs内。
像素区块产生方法首先要决定超像素区块Bs是否属于一个同时位于第一 参考帧Fp及第二参考帧h的对象上面。为此，需要适当决定第一参考帧Fp的 第一搜寻范围(search range) WP内的第一像素区块群组(group) GP，以及第二 参考帧Fh.的第二搜寻范围Wk内的第二像素区决群組Gn。位于第一群组Gf'内的 像素区块彼此可以重迭；同样地，位于第二群组C^内的像素区块彼此也可以 重迭。第一群组GP内的每一像素区块都有可能被判定相同于第二群组G卜内的 某一像素区块。图1B显示第一搜寻范围Wp及第二搜寻范围Ww内的多个像素 区块，其中，第一搜寻范围Wp内的像素区块Bn及Bp2彼此重迭；同样地，第 二搜寻范围Ww内的像素区块B^及Bw2也彼此重迭。为了说明起见，于图1B中 仅显示出 一部分的像素区块。
接着，适当地决定出多个像素区块对(pair),使得每一像素区块对包含 第一群组Gp的一个像素区块，以及第二群组Gr的一个像素区块。图IB中的 箭号V,、 V2、 Vw分别代表像素区块对。箭号V!-Vw代表类似于图像编码技术中 的动态向量(motion vector)概念，其表示不同帧的像素区块间的位移测量 (displacement measurement)。于以下的描述中，该箭号4夸4皮称为动态向量。
适当地选择每一个像素区块对，使其所对应的动态向量可用以找出上述 的超像素区块Bs。以图1C为例，以V代表像素区块Bp与B、,之间的动态向量、 亦即，像素区块Bp的每一个像素x(注像素x的位置或坐标将以像素x来表 示)移动至像素区块Bk的像素x+V。像素区块B',的像素x即假设其移动至超像 素区块Bs的像素x+V/2,在此，假设在帧间的时间间隔T内是作均匀(imi f oi-m) 移动。虽然图式中的像素区块Bp、 Bs、 lh是显示于同一平面，然而实际上这些 像素区块则是分别位于第一参考帧FP、新视频帧Fe、第二参考帧F、。
使用适当的方法(例如完整(f ii 11)搜寻或三步骤搜寻)以决定第 一群组GP 和第二群组GN,及其多个像素区块对。例如，如果是使用完整搜寻方法，则 可以完整地搜寻第一搜寻范围Wp及第二搜寻范围WN。
接下来，针对每一个像素区块对作计算，以得到其相似度测量指标(similar Uy measurement indicator, SMI)。 像素区块对(BP, BN)的相似度测 量指标SMI可以下式定义.
SMI (BP, BN) =SAD (BP, B》+SAD (BP[)， BSD) *r+SAD (BND， BSD) *r
其中，SAD(Bi,B.i)表示像素区域Bi和Bj之间的绝对差值的和(sum of absolute difference, SAD), 而r为比例系凄丈(seal ing factor)， 通常,i、于 0和1之间。
像素区域Bs。包含超像素区块Bs于之前运算时已经产生的像素。图ID例 示超像素区块Bs中的先前产生像素区域BSD。 一般来说，位于目前像素区块 Bc (其是目前待产生的区块)的上方及左方的像素为之前运算时即已产生的。 图ID中的斜线区域即表示已产生的像素区域BsD。
像素区块BP、 BK中的子区域(subirea)Bn,、 B^相对应于已产生的像素区 域Bsd。如图1E所示，子区域Bpd、 Bw,相对应于图ID中已产生的像素区域Bsn, 其中，斜线区域代表子区域B, BND。
接着，于多个像素区块对中决定出一个最佳(opH肌mi)像素区块对，使得 该最佳像素区块对的相似度测量指标SMI为最小。于决定出最佳像素区块对 之后，超像素区块Bs的内容可通过平均(average)最佳像素区块对的两个像素 区块而得到。如图1A所示，由于目前像素区块Bc;是位于超像素区块Bs的内 部，因此，当得到超像素区块Bs之后，则目前像素区块Bc即可以同时得到。
于其它实施例中，所处理的像素区块的大小不一定要16x16或8x8。所 处理的像素区域的长度与宽度可以是不同的。例如，所处理的像素区块可以 是一个MxN像素区域，其中的M不等于N。再者，SAD(Bi,Bj)函数也可以使用 其它测量像素区块差值的函数来替代。
上述的像素区块产生方法可用于帧速率的提升方法中。图2显示本发明 实施例的帧速率提升方法的主要步骤。于步骤210，接收第一参考帧及第二 参考帧。接着，启动步骤220至250,用于帧速率提升方法中以产生新视频 帧。于步骤220,决定第一参考帧的第一搜寻范围内的第一像素区块群组， 以及第二参考帧的第二搜寻范围内的第二像素区块群组。于步骤230,决定 多个像素区块对，使得每一像素区块对包含第 一群组所选出的 一个像素区块， 以及第二群组所选出的一个像素区块。步骤240针对每一个像素区块对，计算其相似度测量指标。于步骤245中，于多个像素区块对中决定出一个最佳
像素区块对，使其相似度测量指标为最小。最后，步骤250通过平均最佳像 素区块对的两个像素区块而得到新视频帧的目前超像素区块。
上述的本发明方法可以实施于一装置中。图3显示本发明实施例的帧速 率提升装置300的方块图。 一般来说，帧速率提升装置300可以是一个独立 的芯片，或者为数字图像处理芯片的一部分。帧速率提升装置30()包含像素 区块对产生单元310、 SMI(相似度测量指针)计算单元320、最佳像素区块对 选择单元330、像素区块内插单元340及已产生区块緩沖器350。
请同时参阅图2及图3。像素区块对产生单元310执行步骤210至步骤 230以接收第一参考帧及第二参考帧；决定第一参考帧的第一搜寻范围内的 第 一像素区块群组，以及第二参考帧的第二搜寻范围内的第二像素区块群组； 及决定多个像素区块对，使得每一像素区块对包含第 一群组所选出的一个像 素区块，以及第二群组所选出的一个像素区块。SMI计算单元320执行步骤 240以针对每一个像素区块对，计算其相似度测量指标。最佳像素区块对选 择单元330执行步骤245，于多个像素区块对中决定出一个最佳像素区块对， 使其相似度测量指标为最小。像素区块内插单元340执行步骤250,通过平 均最佳像素区块对的两个像素区块而得到新视频帧的目前超像素区块。已产 生区块緩冲器350为一个特定存储器，用以暂存目前像素区块，其为像素区 块内插单元340所产生的超像素区块内的子区块。
在本发明的较佳实施例中，图3所示的所有单元(但緩沖器3:50例外)是 以专用集成电路(ASIC)的逻辑元件来实施。根据本发明其它实施例，这些单 元也可以使用数字信号处理(DSP)系统或微处理器系统的软件或硬件模块来 实施。另外，已产生区块緩冲器350通常包含动态随机存取存储器(DRAM)或
其它易失性存储器。
以上所述仅为本发明的较佳实施例而已，其是用以阐明本发明，而非用 以限定本发明的范围。凡其它未脱离发明所揭示的精神下所完成的等效改变 或修饰，均应包含在上述的权利要求范围内。
权利要求
1. 一种帧速率提升方法，包含接收第一参考帧及第二参考帧；及决定新视频帧的第一部分，其决定是根据该第一参考帧、该第二参考帧及该新视频帧的第二部分，其中上述的第一部分及第二部分为该新视频帧的二像素区域。
2. 根据权利要求1所述的帧速率提升方法，其中上述的第一部分是位于 该新视频帧内的目前像素区块，上述的第二部分包含该新视频帧内先前已产 生的像素区域，且上述目前像素帧的决定是根据该第 一参考帧内的第 一像素 区块群组、该第二参考帧内的第二像素区块群组、该已产生像素区域。
3. 根据权利要求2所述的帧速率提升方法，其中上述的决定步骤包含 针对多个像素区块对计算多个相似度测量指标，其中每一该像素区块对包含该第 一像素群组所选出的一个像素区块，以及该第二像素群组所选出的 一个像素区块；根据该多个相似度测量指标，于该多个像素区块对中决定出 一个最佳像 素区块对；及平均该最佳像素区块对的两个像素区块以得到该新视频帧的目前超像素 区块，其中该目前像素区块为该目前超像素区块内的子区块。
4. 根据权利要求3所述的帧速率提升方法，其中上述的最佳像素区块对 所产生的相似度测量指标为该多个相似度测量指标中最小者。
5. 根据权利要求3所述的帕速率提升方法，其中上述的相似度测量指标 包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一区 块差值为该第 一像素区块群组的第 一像素区块与该第二像素区块群组的第二 像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该第 一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已产 生像素区域与该第二像素区块的相对应子区域之间的差值测量。
6. 根据权利要求5所述的帧速率提升方法，其中上述的差值测量为像素 区块之间或者像素区块的相对应子区域的绝对差值和。
7. 根据权利要求5所述的帧速率提升方法，其中上述的权重和等于该第一差值、乘以比例系数的该第二差值、乘以比例系数的该第三差值的总和， 其中该比例系数介于0与1之间。
8. 根据权利要求1所述的帧速率提升方法，其中上述的第一及第二参考 帧分别为该新视频帧于时间顺序上的前一个及下 一个视频帧。
9. 一种帧速率提升装置，包含像素区块对产生单元，用以接收第一参考帧及第二参考帧；决定该第一 参考帧的第一像素区块群组，及该第二参考帧的第二像素区块群组；及决定 多个像素区块对，使得每一像素区块对包含该第 一像素区块群组所选出的一 个像素区块，以及该第二像素区块群组所选出的一个像素区块；相似度测量指标计算单元，其针对该多个像素区块对，计算其多个相似 度测量指标；最佳像素区块对选择单元，根据该多个相似度测量指标，于该多个像素 区块对中决定出 一个最佳像素区块对；像素区块内插单元，通过平均该最佳像素区块对的两个像素区块以得到 该新视频帧的目前超像素区块；及已产生区块緩沖器，用以暂存该目前超像素区块内的子区块，其为该像 素区块内插单元所产生。
10. 根据权利要求9所述的帧速率提升装置，其中上述的最佳像素区块 对所产生的相似度测量指标为该多个相似度测量指标中最小者。
11. 根据权利要求9所述的帧速率提升装置，其中上述的相似度测量指 标包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一 区块差值为该第 一像素区块群组的第 一像素区块与该第二像素区块群组的第 二像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该 第 一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已 产生像素区域与该第二像素区块的相对应子区域之间的差值测量；其中该已 产生像素区域为储存于该已产生区块緩沖器的数据。
12. 根据权利要求11所述的帕速率提升装置，其中上述的差值测量为像 素区块之间或者像素区块的相对应子区域的绝对差值和。
13. 根据权利要求11所述的帧速率提升装置，其中上述的权重和等于该 第一差值、乘以比例系数的该第二差值、乘以比例系数的该第三差值的总和， 其中该比例系数介于Q与1之间。
全文摘要
一种帧速率提升方法。其方法包含接收第一参考帧及第二参考帧；及决定新视频帧的第一部分，其决定是根据第一参考帧、第二参考帧及新视频帧的第二部分。上述的第二部分包含新视频帧内已产生的像素区域。本发明亦揭露执行该方法的装置。
文档编号H04N7/26GK101483771SQ200810146120
公开日2009年7月15日 申请日期2008年8月6日 优先权日2008年1月11日
发明者张芳甄 申请人:奇景光电股份有限公司