专利名称：用于稳健视频时间配准的系统和方法
用于稳#^见频时间配准的系统和方法 相关申请的交叉引用 本发明的实施例涉及视频测试和测量设备，且更具体地涉及用于 视频的图像质量测量。
背景技术：
如通过引用结合到本文的Jiuhuai Lu的题为"Fast Video Temporal Misalignment Estimation"的美国专利No. 6,751,360中所给出的那样，现有 技术的示例表现不好，即使除了一个是另一个的帧重复版本之外视频是相同的。使用帧差的相关性作为帧提取(distillation)的主要或唯一手段的方 法遭受"斩波器(chopper)"效应(其中帧差对于重复则为0，但对于非 重复则不为0)，结果得到对应于图3的相关性。在图3中，帧重复引起 每隔一个帧的零差(zero difference )(对应于暗水平线)和针对甚至最佳 匹配的弱相关性。 图5是图2中所示的序列的测试和参考平均帧概要提取的 LPCCC图像的示图。
具体实施例方式
本发明的实施例基于由本发明人Kevin Ferguson开发的视频测试 中的最新改进，其在2007年11月21日提交的题为"Measurement Apparatus and Method of Measurement of Video Spatial Scale, Offset and Cropping" 的 美国专利申请序号11/944,050 ( '050申请)中有所描述，并且该美国专 利申请通过引用结合到本文中。'050申请要求也通过引用结合到本文中 的、于2006年11月22日提交的美国临时专利申请序号60/867,087( '087 申请)的优先权。-开根号(取平均值 ((帧像素[x， y，第n帧]-帧像素[x， y， 第(n-l)帧])) 帧概要测量是在整个帧上而不是仅仅在块子图像上进行的相同测量。0018步骤2:线性校准测量
在某些实施例中，执行根据'050申请中所述的方法的线性校准测量。 例如，如果对于每个前面的测量(经由根据'050申请中所述的方法的局 部皮尔森互相关系数(LPCCC)图像的最大霍夫变换的连续线性校准测 量)而言总相关系数过低，则可以执行此操作。
[0019首先，使用平均帧概要阵列对作为两个(1高度x帧计数宽)图
像输入， 一个图像用于整个测试视频序列，而另一图像用于整个参考视频
序列，这两个图像被输入到'050申请中给出的方法。
0020如果沿着所选最亮线的结果得到的LPCCC值的平均值根据下式
小于给定阈值
CxyWorthUsing = 0.8F*crossCorThreshold(croppedRefDiffLineParams.width)
其中
crossCorThreshoId(resolution) = squareRoot( 240.0/(240.0 + resolution))
则使用下一个提取帧概要阵列/图像对、RMS帧差提取图像(再次地，一 个用于整个测试序列且一个用于整个参考序列)作为到'050申请中提供 的校准测量方法的输入。再次地，相对于CxyWorthUsing阈值来检查并计 算沿着LPCCC最大线的平均值。如果在阈值以下，则使用下一个提取图 像对一一标准偏差帧概要提取。如果这些中没有一个在阈值以上，则可以 进行用户控制选择一一对于速度而言使用具有最高系数的测量或者对于 精确度而言进行到下一步骤。对于甚至更高的精确度而言，在下一步骤中 可以执行扩展时间映射而不是最佳线性拟合。
[0021对于同一视频的CIF60帧每秒(使用帧重复)对(vs) SD30帧每秒(标准定义)的版本，在图2至4中给出了三次帧概要提取的LPCCC 图像的示例。通过比较这三幅附图
来示出使用帧差的现有技术的稳健性缺 陷。而且，请注意图2的亮线。这是对应于使用'050申请中所述方法的 视频序列之间的最佳线性匹配的线。步骤3、 4和5重新使用此信息。 [0022
如在图2中一样，在图3中显示了垂直偏移的测试帧对(vs)水 平方向上的参考帧数之间的相关系数理想地具有对应于视频序列之间的 最佳线性映射的明确定义的亮线。然而，在图3中，帧重复引起每隔一个 帧的零差(对应于暗水平线)和针对甚至最佳匹配的弱相关性，诸如不是 那么亮的最亮线。 [0023步骤3:扩展时间映射
如所示，对于LPCCC的每个水平位置，当在最佳线性校准线(最 亮线)上的像素值(其为皮尔森互相关系数)在阈值以下时，对与帧 的较好局部匹配对应的更高相关系数垂直地执行搜索。此垂直搜索局 限于仅在可以假设帧计数的单调性的情况下向前查看(look forward) (一般约束)。
0024步骤4:检查帧相关性以选通子图像的空间校准
当基于精确度、速度控制、或两者的组合允许进一步的搜索时 对于步骤3的每个帧匹配搜索，当用于给定帧的先前步骤的最佳 互相关系数在阔值以下时，空间地校准提取图像，并对每个帧使用相 应的最高相关系数；或者使用'050申请中所述的方法来空间地校准提 取图像。
[0025步骤5:检查帧相关性以选通概要行和概要列的空间校准
当基于精确度、速度控制、或两者的组合允许进一步的搜索时 对于步骤4的每个帧匹配搜索，当用于给定帧的所有先前步骤的 最佳互相关系数在阈值以下时，空间地校准概要行和概要列 一维图像， 并对每个帧使用对应于最高相关系数的映射；或者使用'050申请中所 述的方法来空间地校准概要行和概要列 一 维图像。所确定的是最高相 关系数，其被认为是概要行结果和概要列结果的平方和的平方根。0026除解决与现有技术方法相关的问题之外，上述处理还可以提供 灵活地将速度和精确度控制到期望水平的能力，同时提供处理中每个连 续阶段处的诸如相关系数之类的品质因数。
[0027因此，本发明在没有测试和参考视频序列的先验知识的情况下
8通过将序列提取成使用LPCCC图像线性地校准以获得最佳校准线的帧
提取测量、然后通过在LPCCC图像中垂直地搜索最佳相关系数来在时 间上映射由最佳校准线的像素表示的每个帧来提供稳健的视频时间配 准。
权利要求
1.一种校准测试和参考视频序列之间的帧的方法，包括步骤将所述测试和参考视频序列的每个帧提取成帧提取测量；根据所述帧提取测量，使用用于测试和参考视频序列之间的帧的空间校准的局部皮尔森互相关系数(LPCCC)图像的线性霍夫变换来执行线性校准测量，以找到穿过LPCCC图像的最佳拟合线；以及对于沿着最佳拟合线的LPCCC图像的每个像素，当所述像素具有小于阈值的值时，垂直地搜索更高的相关系数以找到用于测试和参考视频序列之间的帧的时间校准的更好的帧匹配。
2. 如权利要求l所述的方法，其中，所述帧提取测量包括测试和参 考视频序列的相应帧之间的平均值、标准偏差和RMS差的概要。
3. 如权利要求1所述的方法，其中，所述帧提取测量包括测试和参 考视频序列之间的每对相应帧的子图像之间的平均值、标准偏差和RMS 差的概要。
4. 如权利要求1所述的方法，其中，所述帧提取测量包括所述 LPCCC图像的概要行和概要列一维图像。
5. 如权利要求2所述的方法，其中，执行步骤包括步骤使用平均帧概要阵列对作为用于测试和参考视频序列的两个一乘 帧计数宽的图像输入来根据帧概要平均差确定最佳线拟合平均值；以及 将所述最佳线拟合平均值与所述阈值相比较。
6. 如权利要求5所述的方法，其中，执行步骤还包括步骤 如果所述最佳线拟合平均值小于阈值，则使用RMS帧概要阵列对作为用于测试和参考视频序列的两个一乘帧计数宽的图像输入来根据 帧概要RMS差确定最佳线拟合RMS值；以及 将所述最佳线拟合RMS值与所述阈值相比较。
7. 如权利要求6所述的方法，其中，执行步骤还包括步骤 如果所述最佳线拟合RMS值小于阈值，则使用标准偏差概要阵列对作为用于测试和参考视频序列的两个一乘帧计数宽的图像输入来根 据帧概要标准偏差差来确定最佳线拟合标准偏差值；以及 将所述最佳线拟合标准偏差值与所述阈值相比较。
8. 如权利要求7所述的方法，其中，执行步骤还包括步骤如果所述最佳线拟合标准偏差值小于所述阈值，则用户从具有最高相关系数的最佳线拟合平均值、RMS和标准偏差值之中选择最佳线拟合测量。
9. 如权利要求3所述的方法，其中，所述提取步骤包括步骤 将每个帧划分成图像块；以及计算每个图像块的相应的平均值、标准偏差和RMS差以提供子图 像概要。
10. 如权利要求9所述的方法，还包括步骤如果所述最佳相关系 数小于所述阈值，则如在执行步骤中那样空间地校准子图像以找到每个 帧的最高相关系数作为新的帧匹配。
11. 如权利要求4所述的方法，还包括步骤如果所述最佳相关系 数小于所述阈值，则空间地校准概要行和概要列 一维图像以找到每个帧 的最高相关系数作为新的帧匹配。
全文摘要
一种在没有各信号参数的先验知识的情况下用于测试和参考视频序列之间的配准的稳健视频时间方法最初根据视频和参考视频序列产生帧和子图像提取测量。使用局部皮尔森互相关系数(LPCCC)图像来线性地校准所述帧提取测量以获得最佳校准线，该最佳校准线的每个像素表示测试和参考视频序列的帧之间的LPCCC互相关系数。对于在阈值以下的最佳校准线的每个像素，在LPCCC图像中执行对更高互相关系数的垂直搜索作为最佳互相关系数以实现测试和参考视频序列的帧之间的时间映射。
文档编号H04N17/00GK101682797SQ200880020175
公开日2010年3月24日 申请日期2008年4月16日 优先权日2007年4月16日
发明者K·费尔古森 申请人:特克特朗尼克公司