专利名称：用于视觉信号外插或内插的系统和方法
技术领域：
本发明总体涉及用于视觉信号外插或内插的系统和方法。更具体地，本 发明使用统计学相似性估计用于改进的视觉信号外插或内插。
背景技术：
诸如图像、视频和图形的视觉信号的外插和内插已经被广泛地用于各种 情境中，所述情境包括但不局限于视频编码、代码转换、错误隐藏、预处理 和交互渲染。
1"歹'H口, Aaron等的7bwaraf /Vac"ca/吵"er-Zz'v CoA'"g o/K'Gfeo， Proc. IEEE INT. CONF ON IMAGE PROCESSING,第869到872页，巴塞罗那，西班牙， 9月(2003)、 Pur等的尸i ZS7k/:, ^ 7Vewi o6MW Kcfeo Coc z>7g Jrc/7"e"M/^ 6ased
COAfMWV/C47Y(9;v; CCW77 (9丄^VD COM尸LT/iVG, (2002)、以及Yaman等的 j Z/CW-Comp/ex/(y P cieo五"cocfer vv"/z Decoder M f/ow五W顧？Zow, Proc. ICASSP，蒙特利尔,加拿大，(2004)描述了在视频编码应用中外插和内插的技 术。2000年5月2日授权给Golin的美国专利No.6058143 "Motion Vector Extrapolation for Transcoding Video Sequences" 已纟至4^述了在寿争4奐^f戈石马应用 中夕卜插和内插的技术。另夕卜，Peng等的5/ocA:-Ba"(i re7"pora/五rrar Ccwceo/me/^ybr 尸acA:ef t/w."g factor Ex:^v3p0/a"0"' /",ema"owa/
Cow/ ow Cowmwm'ca"om1, C7rcw扭5y他ms 恥W 5Vwo ￡!x_po, 10-14页，6月 29曰到7月1日，(2002 )和2001年9月4日授权给Ozcelik的美国专利 No.6285715 "Methods and Apparatus for Error Goncealment While Decoding a Coded Video Bit Stream"描述了用于视频解码或后期处理(post-processing ) 应用的错误隐藏中的外插和内插的技术。在视频编码、转换代码、错误隐藏、 视频解码和后期处理应用中使用的视觉信号外插和内插方法典型地基于运 动信息，且因此分别被称为基于运动的外插和内插方法。
不基于运动的外插/内插方法一一其典型地用在其他应用中一一包括用
于虛拟现实渲染(rendering)的基于模型的视图外插方法、用于预压缩的特 征外插方法和视频衰减场景预测方法。例如，在2002年4月23日授柏J会 Acres的美国专利No.6375567 "Model-Based View Extrapolation for Interactive Virtual Reality Systems"描述了基于模型的视图外插方法。在1999年9月7 曰发布给Chen的美国专利No,5949919 "Precompression Extrapolation Method"描述了特征外插方法。Koto等的」^zp"ve 5/-7Ve^'c"ve KV/eo Cod/wg 7fempora/￡xZra/ o/a"o", ICIP (2003)描述了视频衰减场景预测。
基于运动的外插/内插方法的一个例子是Wyner-Ziv ^L频编码技术。典型 的Wyner-Ziv视频编码系统包括视频编码器和视频解码器。该视频编码器是 低复杂度和低功率编码器，因此改为由解码器来执行诸如运动估计的大计算 量的信号处理任务。为了实现高效率，Wyner-Ziv解码器需要采用仅解码器 知道的源和侧面信息之间的相关性，以便解码接收到的视频信号并重构该视 频。源信息是要在编码器处被编码且被传输到解码器用于解码的视频信号 (例如画面)，且侧面信息本质上是要被解码的画面的估计。由于Wyner-Ziv 系统的性能很大程度上取决于侧面信息的可靠性，因此由解码器使用用于生 成侧面信息的机制在Wyner-Ziv视频编码系统中扮演至关重要的角色。典型 地，解码器首先在先前重构的画面上进行运动估计，以生成一组运动向量， 然后使用该运动向量由外插或内插来生成当前解码的画面的估计。该估计作 为侧面信息被解码器使用来解码和重构当前画面。
图1是图示公知的基于运动的时间外插处理的图。具体地，为了外插当 前画面N，首先对至少两个先前重构的画面、即画面N-2和N-l进行运动估 计，以生成针对画面N-1中的每个像素或像素块的一组运动向量，运动向量 指示画面N-l和画面N-2之间的像素或像素块的运动(即，"相反的(reverse)" 运动)。然后，根据在底层运动模型或假设上建立的预定功能来操纵运动向 量。例如，如果假设恒定线性位移(displacement)运动模型，则反转运动 向量，且与运动向量相关的像素或像素块从画面N-1中的其位置被外插(即， 映射)到在当前画面N的估计中由反转后的运动向量所定义的位置，如图1 所示。注意，还可以对于画面N-2中的每个像素或像素块来构造运动向量， 以指示画面N-2到画面N-l之间的运动。在这种情况下，然后该运动向量应 该被平移(shift),与该运动向量有关的像素或像素块应该从在画面N-l中的 其位置被外插或映射到由在当前画面N的估计中的缩放(scale)的运动向量所定义的位置。因此，在映射了画面N-1 (或画面N-2)中的所有像素或像素 块之后，如上所述的基于运动的时间外插处理创建当前画面N的估计。
图2进一步图示了公知的基于运动的时间内插处理。首先对至少两个先 前重构的画面、即画面N-l和N+l进行运动估计，以获得在画面N-l中的 每个像素或像素块的一组运动向量，其指示从画面N-l到画面N+l的^f象素 或像素块的运动。然后，基于恒定线性位移运动模型的底层假设缩小运动向 量(例如通过因子2)，且与该运动向量有关的像素或〗象素块从画面N-l和/ 或N+l中的其位置被内插到在当前画面N的估计中的由缩放的运动向量所 定义的位置，如图2所示。注意，还可以对于在画面N+1中的每个1"象素或 像素块重构运动向量，以指示在画面N+l和画面N-l之间的运动。在这种 情况下，也应该缩小运动向量(例如通过因子2),且与运动向量有关的像 素或像素块应该从在画面N-l和/或画面N+l中的其位置被内插到在当前画 面N的估计中的由缩放的运动向量所定义的位置。在映射了画面N+1中的 所有像素或像素块之后，如上所述的基于运动的时间内插处理也创建了当前 画面N的估计。
图3是描述用于实现公知的基于运动的外插和内插的处理步骤的流程 图。具体地，首先对从先前重构的画面获得的画面信号进行运动估计，以生 成一組运动向量。然后根据底层运动模型或假设，来操纵该运动向量通过内 插或外插生成要解码的画面的估计，外插或内插依赖于要被解码的画面和先 前重构的画面之间的时间关系。
上述传统的基于运动的外插和内插方法具有许多严重的缺点，包括
1. 物体在画面间遵循恒定运动模型(通常地，线性位移模型)的底层 假设对真实的视觉信号经常不成立；以及
2. 外插或内插可能不能得到在先前重构的(多个)画面和估计画面之 间的——映射。在被外插或内插的画面(即，估计)中的某些4象素 位置可能得不到来自先前重构的(多个)画面的任何映射，即留下 空洞，而在被外插或内插的(多个)画面中的其他像素位置可能具 有来自先前重构的(多个)画面的多个映射，即留下重叠的点。
因此期望提供用于视觉信号外插和内插的改进的系统和方法，而没有传 统的基于运动的外插和内插方法的缺点。
发明内容
本发明涉及一种用于视觉信号外插或内插的基于计算机的方法，包括 提供至少第一和第二参考画面；
在所述第一和第二参考画面上进行运动估计，以生成指示所述第一和第 二参考画面的至少一个相对于另一个的运动的运动向量；以及
使用所述运动向量通过外插或内插来从该第一或第二参考画面生成估计 画面；以及
细^^斤述^古i十画面，
其中在运动估计中或在细化所述估计画面中、或在两者的组合中，^f吏用 统计相似性估计。
在本发明中使用的参考画面是可以用于经由外插或内插来构造估计画面 的、先前重构的画面。
当在运动估计中使用统计相似性估计时，在所述第一参考画面上的^f象素 块的统计特征被计算并与所述第二参考画面上的一个或多个像素块的统计特 征相比较。在所述第二参考画面上的最佳匹配像素块至少部分地基于其与在 所述第一参考画面上的像素块的统计相似性来确定，且对于在所述第一参考 画面上的像素块来生成运动向量，指示其相对于在所述第二参考画面上的最 佳匹配像素块的运动。
当在细化所述估计画面中使用统计相似性估计时，其可以用于填充在所 述估计画面上的空像素位置或解决对所述估计画面上的相同像素位置的多个 映射。
优选地，但并非必须，采取下列步骤来填充在所述估计画面上的空像素 位置
计算围绕所述估计画面上的空像素位置的相邻块的统计特征；
标识从其生成所述估计画面的参考画面上的搜索区域；
在所述搜索区域内搜索最佳匹配块，其中所述最佳匹配块围绕所述参考
画面上的具体像素，且具有与围绕所述估计画面上的所述空像素位置的相邻
块的最高统计相似性；以及
利用由所述参考画面上的所述最佳匹配块围绕的具体像素来填充所述空
像素位置。
在多个映射的情况下，即存在从其生成估计画面的参考画面上的多个像 素，所有像素外插或内插到估计画面上的具体像素位置，以下步骤是可选但_
并非必须的，用于选择对于在估计画面上的具体像素位置的最佳匹配像素 计算围绕所述估计画面上的具体像素位置的相邻块的统计特征； 计算每个都围绕所述参考画面上的该多个像素之一的多个像素块的统计
特征；
标识围绕所述参考画面上的多个像素的多个块中的最佳匹配块，其中所 述最佳匹配块具有与围绕所述估计画面上的具体像素位置的相邻块的最高统 计相似性；以及
选择由在所述参考画面上的最佳匹配块所围绕的像素，作为在所述估计 画面上的具体像素位置的最佳匹配像素。
可以在本发明中使用的统计特征包括但不局限于块采样平均、块采样 方差和相邻参数等等。
在本发明的优选但并非必须的实施例中，通过根据下式计算统计相似性 指标来确定两个像素块之间的统计相似性
其中P是一个像素块，Q是另一个像素块，SSI(P, Q)是指示块P和Q之 间的统计相似性的统计相似性指标，M(P)是块P的块采样平均，M(Q)是块Q 的块采样平均，Var(P)是块P的块采样方差，Var(Q)是块Q的块采样方差， Cov(P,Q)是块P和Q之间的协方差，且a和卩是加权因子。
可以使用上述统计相似性指标用于运动估计，用于填充估计画面上的空 像素，和/或用于解决多个映射问题。
本发明的另 一方面涉及一种用于视觉信号外插或内插的基于计算机的系 统，包括
用于获得和存储至少第一和第二参考画面的装置； 用于在所述第一和第二参考画面上进行运动估计，以生成指示所述第一 和第二参考画面的至少一个相对于另一个的运动的运动向量的装置；
用于使用所述运动向量通过从所述第 一或所述第二参考画面的外插或内 插来生成估计画面的装置；以及 用于细化所述估计画面的装置，
其中在运动估计中或在细化所述估计画面中、或在两者的组合中，使用 统计相似性估计。
从所附公开和附图将完全更清楚本发明的其他方面、特征和优点。
现在将通过参考附图，仅用示例的方式来描述本发明，在附图中 图1是图示传统的基于运动的时间外插方法的图； 图2是图示传统的基于运动的时间内插方法的图3是描述在传统的基于运动的外插和内插方法中使用的处理步骤的流 程图4是描述根据本发明的一个实施例、通过使用统计相似性估计的改进 的视觉信号外插或内插的系统和方法的流程图5是图示根据本发明的一个实施例、在运动估计中使用统计相似性度 量来生成用于通过外插或内插来构建估计画面的运动向量的示范处理步骤的 流程图6是图示根据本发明的一个实施例、用于计算两个像素块P和Q的统 计相似性指标的示范处理步骤的流程图7是图示根据本发明的一个实施例、用于通过使用统计相似性估计来 填充在估计画面上的空像素位置的方法的图；以及
图8是图示根据本发明的一个实施例、用于通过使用统计相似性估计来 解决(resolve)在估计画面上的像素位置的多个映射。
具体实施例方式
本发明提供用于通过使用统计相似性估计的外插和内插的改进的方法和 系统。
具体地，首先对从先前重构的画面、即参考画面获得的画面信号进行运 动估计，以生成一组运动向量，该组运动向量然后被用于通过从参考画面之 一外插或内插来生成估计画面，同时使用统计相似性估计来用于进行运动估 计或用于细化估计画面，或用于进行两者的组合，如图4所示。更具体地， 通过比较两个或更多像素块的统计特征一一包括但不限于块采样平均、块采 样方差、诸如围绕该块的近邻的同质性(homogeneity)的相邻参数、和在两个 或更多像素块之间的协方差一 一来进行统计相似性估计。
图5图示根据本发明的一个实施例、在运动估计中使用统计相似性估计
来生成用于通过外插或内插来构建估计画面的运动向量的示范处理步骤的流 程图。
首先，由解码器获得并存储此后被称为参考画面的至少两个先前解石马和
重构的画面。这两个参考画面被称为N-l和N-2，用于基于外插的估计(或 N-1和N+1，用于基于内插的估计)。
对于参考画面N-1中的每个像素块，进行搜索处理以找到在另一参考画 面N-2(或N+1)中的其最佳匹配。为了找到参考画面N-1中的具体块Bi在 参考画面N-2 (或N+1)中的最佳匹配块B气搜索处理从参考画面N-2 (或 N+l )挑选相同尺寸的像素块Bp,并计算统计相似性指标SSI—一其指示在 Bi和Bp之间的统计相似性一 一 以及可选地计算预测误差E，其是在Bi和Bp 之间的像素值中的差。统计相似性指标SSI和预测误差E可以被组合以确定 在参考画面N-1 (或N+1)中的最佳匹配块B气如图5所示。替换地，可以 仅基于统计相似性指标SSI来选择在参考画面N-2 (或N+l )中的最佳匹配 块B承。
一旦确定了在参考画面N+2 (或N+l )中的最佳匹配块B^可以对于在 参考画面N-1中的块Bi生成一组运动向量，其指示块Bi相对于B+的运动。 可以从与块Bi和B^目关联的各种参数生成运动向量。优选地，但并非必须， 通过采用块Bi和BW々空间差(即水平和垂直坐标)来生成它们。然后^喿纵 (例如反转、缩放、平移或变更)运动向量，用于外插或内插该块Bi的估计 所在的要被解码和重构的画面(此后被称为估计画面N)中的位置。从块Bi 和B*的像素值— 一 例如通过对这些块的像素值进行平均或其它操纵这些像 素值一一来导出估计块的像素值。
对于在参考画面N-1中的每个像素块来重复上述处理步骤，以便在参考 画面N-1中的每个像素块的估计^皮映射，由此形成完整的估计画面N。
图6进一步描述的用于确定在两个像素块P和Q之间的统计相似性的示 范处理步骤。首先，获得与块P和Q直接相关的信息，包括但不局限于像 素值、亮度、对比度、结构等等。优选地，但并非必须，还获得与块P和Q 所在处的近邻有关的信息(即相邻信息)。
然后基于这些与块P和Q直接相关的信息和可选的相邻信息来计算块P 和Q的各种统计特征，然后将它们进行比较以确定在块P和Q之间的统计相 似性。例如，可以使用诸如块采样平均、块采样方差、相邻参数以及块P和
Q之间的协方差之类的统计特征来确定统计相似性。还可以使用其他公知的 统计特征。
更具体地，假设块P和Q都有的特征是块尺寸n x m,块p中的像素值可
以被称为P小且块Q中的像素值可以被称为Qij,其中i=l、 2.......n,且j = l、
2....... m。 P的块采样平均被定义为
p(尸)-丄tg《 且Q的块采样平均被定义为 Mm产i ,=i
w0二丄zSa。 p的块采样方差被定义为
nm 乂=1 ,=i
)^吖尸)=~^~￡￡^,-^)2,且Q的块采样方差^皮定义为 KaK0 =t-zO2 。块P和Q的协方差被估计为
C《0 = "^7过(化-^)(& - A)。
顧一l "i mi j'j -
另外，还可以使用块P和Q的相邻参数，诸如围绕块P和Q的相邻的同 质性，来确定块P和Q之间的统计相似性。可以基于例如块P或Q的运动向 量和围绕块P或Q的一个或多个已有相邻块的运动向量之间的差，来确定相 邻同质性。
基于块P和Q的统计特征来计算统计相似性指标，以提供块P和Q之间的统 计相似性的定量度量，如图6所示。可以以各种方式加^l和组合统计特4正， 用于计算统计相似性指标。
在优选但并非必须的本发明的实施例中，可以通过使用下列公式来对块 p和Q计算统计相似性指标SSI:
m/(p, g) = "V[c。v(尸必2 _ x 一0]2 + P[a(尸)- Mg)]2
其中，如上所述，m (p)是块p的块采样平均，m (q)是块q的块采 样平均，Var(P)是块P的块采样方差，Var(Q)是块Q的块采样方差，Cov(P,Q) 是块P和Q之间的协方差，且a和f3是加权因子。统计相似性指标的值越小， 两个块越相似。
更具体地，当确定多个像素块的统计相似性以生成多个统计相似性指标 时，归一化这些指标，以便每个指标值落在O和l之间。
如上所述，由于外插和内插不生成对于估计画面的——映射，在估计位
置之中可能存在得不到任何映射的像素位置，即留下空洞。另一方面，在估
计位置中还可能存在得到多个映射的像素位置，即留下重叠点(spot)。空洞或
重叠点的存在负面影响估计画面的质量。
因此，本发明通过使用统计相似性估计来细化估计画面，即填充空j象素 位置和/或解决多个映射，而提供对于这些问题的解决方案。
图7示出了如何使用统计相似性估计来填充估计画面N上的空像素位置。
首先，计算围绕估计画面N上的空像素位置的相邻像素块的统计特征。 可以使用在相邻块中的像素的运动向量来确定参考画面N-l上的初始点，从 参考画面N-l上的初始点，通过外插或内插来生成估计画面。然后标识围绕 初始点的适当的搜索窗。在该搜索窗中，进行搜索处理来找到最匹配估计画 面N上的相邻块的块。最佳匹配块的特征在于，对于估计画面N上的相邻块 的最高统计相似性和可选的最低像素值差。然后使用如图7所示的在参考画 面N-l上的该最佳匹配块所围绕的具体像素，来填充估计画面N中的空^象素 位置。
另外，图8示出在参考画面N-l上的多个像素都映射到(即，通过外插 或内插)估计画面N上的相同像素位置的情况下，可以如何使用统计相似性 估计来选择对于估计画面N上的具体像素位置的最佳匹配像素。
首先，计算围绕估计画面N上的具体像素位置的相邻像素块的统计特征。 接下来，计算每个都围绕参考画面N-l上的多个像素之一的多个像素块的统 计特征。在参考画面N-l上的这多个块之中，标识最匹配估计画面N上的相 邻块的一个块。如上所述，最佳匹配块的特征在于对于估计画面N上的相邻 块的最高统计相似性和可选的最低像素值差。然后选择参考画面N-l上的该 最佳匹配块所围绕的具体像素，作为对于在估计画面N中的具体像素位置的 最佳匹配像素。
通过基于计算机的视觉信号分析器可以容易地进行如上所述的各种计算 步骤，该基于计算机的视觉信号分析器可以包括被布置并构造以收集和处理 视觉信号数据的通用计算机、专用计算机、中央处理器单元(CPU)、微处理 器、或集成电路。根据本发明，这种视觉信号分析器优选地包括视觉信号外 插或内插协议，用于计算地进行上述视觉信号外插或内插方法，以生成并细 化估计画面。可以以任何适当的形式、诸如在通用计算才几、专用计算才几或中
央处理器单元(CPU)中可操作的软件来实现视觉信号外插或内插协议。^齐 换地，该协议可以在被实现为固件的微电子计算模块的电路中硬件配线
(hard-wire),或该协议作为在因特网站点上的可操作小程序用于阶段分析可在 线获得。
虽然在此已经参考所示实施例和特征公开了本发明，但要理解，上述实 施例和特征不意图局限本发明，且本领域技术人员将容易地得到其他变化、 修改和替换实施例。因此，在所附权利要求的精神和范围
权利要求
1.一种用于视觉信号外插或内插的基于计算机的方法，包括提供至少第一和第二参考画面；在所述第一和第二参考画面上进行运动估计，以生成指示所述第一和第二参考画面的至少一个相对于另一个的运动的运动向量；以及使用所述运动向量通过外插或内插来生成估计画面；以及细化所述估计画面，其中在运动估计中或在细化所述估计画面中、或在两者的组合中，使用统计相似性估计。
2. 根据权利要求1所述的基于计算机的方法，其中在运动估计中使用统 计相似性估计。
3. 根据权利要求1所述的基于计算机的方法，其中在所述第一参考画面 上的像素块的统计特征被计算并与所述第二参考画面上的一个或多个像素块 的统计特征相比较，其中在所述第二参考画面上的最佳匹配像素块至少部分 地基于其与在所述第一参考画面上的像素块的统计相似性来确定，且其中对 于在所述第一参考画面上的像素块来生成运动向量，指示其相对于在所述第 二参考画面上的最佳匹配像素块的运动。
4. 根据权利要求3所述的基于计算机的方法，其中所述像素块的统计特 征包括块采样平均、块采样方差和相邻参数。
5. 根据权利要求3所述的基于计算机的方法，其中通过根据下式计算统 计相似性指标来确定在所述第一参考画面上的像素块和在所述第二参考画面 上的 一个或多个^f象素块之间的统计相似性<formula>formula see original document page 2</formula>其中，P是在所述第一参考画面上的像素块，Q是在所述第二参考画面 上的像素块，SSI(P， Q)是指示块P和块Q之间的统计相似性的统计相似性指 标，y (P)是块P的块采样平均，M (Q)是块Q的块采样平均，Var(P)是块P的 块采样方差，Var(Q)是块Q的块采样方差，Cov(P, Q)是块P和Q之间的协方 差，且a和卩是加权因子。
6. 根据权利要求5所述的基于计算机的方法，其中归一化所述统计相似 性指标。
7. 根据权利要求1所述的基于计算机的方法，其中在细化所述估计画面 中使用统计相似性估计。
8. 根据权利要求7所述的基于计算机的方法，其中使用统计相似性估计用于填充在所述估计画面上的空像素位置，包括计算所述估计画面上围绕该空像素位置的相邻块的统计特征；标识从其生成所述估计画面的参考画面上的搜索区域；在所述搜索区域内搜索最佳匹配块，其中所述最佳匹配块围绕所述参考画面上的具体像素，且具有与所述估计画面上围绕所述空像素位置的相邻块的最高统计相似性；以及利用所述参考画面上由所述最佳匹配块围绕的具体像素来填充所述空像素位置。
9. 根据权利要求8所述的基于计算机的方法，其中所述相邻块的统计特 征包括块采样平均、块采样方差和相邻参数。
10. 根据权利要求8所述的基于计算机的方法，其中通过根据下式计算 统计相似性指标来确定所述估计画面上围绕所述空像素位置的相邻块和所述 搜索区域内的一个或多个像素块之间的统计相似性其中P是所述估计画面上围绕所述空像素位置的相邻块，Q是所述搜索 区域内的像素块，SSI(P， Q)是指示块P和Q之间的统计相似性的统计相似性 指标，M(P)是块P的块采样平均，M(Q)是块Q的块采样平均，Var(P)是块P 的块采样方差，Var(Q)是块Q的块采样方差，Cov(P， Q)是块P和Q之间的协 方差，且a和(3是加权因子。
11. 根据权利要求7所述的方法，其中使用统计相似性估计，用于从由 其生成所述估计画面的参考画面上的多个像素之中选择针对所述估计画面上 的具体像素位置的最佳匹配象素，所述多个像素都外插或内插到所述估计画 面上的具体像素位置，包括计算所述估计画面上围绕该具体像素位置的相邻块的统计特征；计算所述参考画面上每个都围绕该多个像素之一的多个像素块的统计特征；标识在所述参考画面上围绕该多个像素的多个块中的最佳匹配块，其中 所述最佳匹配块具有与所述估计画面上围绕该具体像素位置的相邻块的最高统计相似性；以及选择在所述参考画面上由该最佳匹配块所围绕的像素，作为在所述估计 画面上的该具体像素位置的最佳匹配像素。
12. 根据权利要求11所述的基于计算机的方法，其中所述相邻块的统计 特征包括块采样平均、块采样方差和相邻参数。
13. 根据权利要求11所述的基于计算机的方法，其中通过根据下式计算统计相似性指标来确定所述估计画面上围绕该具体像素位置的相邻块和所述参考画面上围绕该多个像素的多个块之间的统计相似性W/(尸,Q) = aV[C。v(尸，2)2 -呵尸)x呵0]2 +-//(0]2, 其中P是所述估计画面上围绕该具体像素位置的相邻块，Q是所述参考 画面上围绕该多个像素的多个块之一，SSI(P, Q)是指示块P和Q之间的统计 相似性的统计相似性指标，m (p)是块p的块采样平均，m (q)是块q的块采 样平均，Var(P)是块P的块釆样方差，Var(Q)是块Q的块采样方差，Cov(P, Q) 是块P和Q之间的协方差，且a和(3是加权因子。
14. 根据权利要求1所述的基于计算机的方法，其中在运动估计和细化 所述估计画面中都使用统计相似性估计。
15. —种用于视觉信号外插或内插的基于计算机的系统，包括 用于获得和存储至少第一和第二参考画面的装置；用于在所述第一和第二参考画面上进行运动估计，以生成指示所述第一 和第二参考画面的至少一个相对于另一个的运动的运动向量的装置；用于使用所述运动向量通过从所述第一或所述第二参考画面的外插或内 插来生成估计画面的装置；以及 用于细化所述估计画面的装置，其中在运动估计中或在细化所述估计画面中、或在两者的组合中，使用 统计相似性估计。
16. 根据权利要求15所述的基于计算机的系统，其中在运动估计中使用 统计相似性估计，其中在所述第一参考画面上的像素块的统计特征被计算并 与所述第二参考画面上的一个或多个像素块的统计特征相比较，其中在所述 第二参考画面上的最佳匹配像素块基于其与在所述第一参考画面上的像素块的统计相似性来确定，且其中对于在所述第一参考画面上的像素块来生成运 动向量，指示其相对于在所述第二参考画面上的最佳匹配像素块的运动。
17. 根据权利要求15所述的基于计算机的系统，其中使用统计相似性估 计用于细化所述估计画面。
18. 根据权利要求17所述的基于计算机的系统，其中使用统计相似性估计用于填充在所述估计画面上的空像素位置，且其中所述系统进一步包括 用于计算所述估计画面上的围绕该空像素位置的相邻块的统计特征的装置；用于在所述搜索区域内搜索最佳匹配块的装置，其中所述最佳匹配块围 绕所述参考画面上的具体像素，且具有与所述估计画面上围绕所述空像素位 置的相邻块的最高统计相似性；以及用于利用所述参考画面上由所述最佳匹配块围绕的具体像素来填充所述 空像素位置的装置。
19. 根据权利要求17所述的基于计算机的系统，其中使用统计相似性估 计，用于从由其生成所述估计画面的参考画面上的多个像素之中选择针对所 述估计画面上的具体像素位置的最佳匹配象素，所述多个像素都外插或内插 到所述估计画面上的具体像素位置，且其中所述系统进一步包括用于计算所述估计画面上围绕该具体像素位置的相邻块的统计特征的装置； '用于计算所述参考画面上每个都围绕该多个像素之一的多个像素块的统计特征的装置；用于标识所述参考画面上围绕该多个像素的多个块中的最佳匹配块的装 置，其中所述最佳匹配块具有与所述估计画面上围绕该具体像素位置的相邻 块的最高统计相似性；以及用于选择在所述参考画面上由该最佳匹配块所围绕的像素、作为在所述 估计画面上的该具体像素位置的最佳匹配像素的装置。
20. 根据权利要求15所述的基于计算机的系统，其中在运动估计和细化 所述估计画面中都使用统计相似性估计。
全文摘要
本发明涉及一种用于基于统计相似性估计的视觉信号外插或内插的基于计算机的系统和方法。具体地，提供至少第一和第二参考画面，且在第一和第二参考画面上进行运动估计，以生成指示第一和第二参考画面的至少一个相对于另一个的运动的运动向量。然后使用运动向量通过从第一和/或第二参考画面的外插或内插来生成估计画面，然后可选地细化估计画面。在运动估计或在细化估计画面、或在两者的组合中，使用统计相似性估计，以便提供改进的视觉信号。
文档编号H04N7/46GK101361369SQ200780001774
公开日2009年2月4日 申请日期2007年1月3日 优先权日2006年1月6日
发明者瓦迪姆·希宁, 陆立纲 申请人:国际商业机器公司