使用图像纹理模板的运动跟踪的制作方法

专利名称：使用图像纹理模板的运动跟踪的制作方法
本申请涉及1996年11月27日提交的标题为“使用固定的经选择的具有图像纹理(texture)的模板进行摄像机跟踪”的美国临时专利申请No.60/031,883，并要求其优先权。
本发明还涉及下述正在审理中的我们所拥有的普通申请1996年11月27日提交的序列号为No.60/038143，标题为“使用物理传感器和模型识别的组合在视频流中的图像插入”的美国临时专利申请；1995年11月28日提交的序列号为No.08/563,598，标题为“用于在现场视频广播中插入静态和动态图像的系统和方法”的申请；1995年12月29日提交的序列号为No.08/580,892，标题为“用于现场视频插入系统的跟踪场景运动的方法”的申请；以及1996年6月12日提交的序列号为No.08/662,089，标题为“使用具有合成通用参考图像的自适应闭锁向视频实时插入的系统和方法”的申请。
本发明涉及在向现场视频广播中插入所选标记的系统中所进行的改进。
已经研制出在现场视频广播中插入标记的电子设备，并且已经用于在例如体育竞赛的节目中插入广告。这类设备的适应能力直接取决于它们进行无间隙插入并看起来尽可能逼真地成为实际场景的一部分的性能。该插入还必须具有足够强大的功能从而在不降低广播的完整性的情况下，能够处理诸如摇摄全景、倾斜摄影、改变焦距等典型的摄影操作。
在所有此类的标记插入系统中的一个关键部分是在广播中跟踪从图像到图像的场景运动和背景运动的性能。需要可靠的跟踪数据以计算转换模型，该模型用于在每个新图像帧中插入一幅图像之前将所预定的插入调整到合适的尺寸形状。
Rosser的美国专利No.5,264,933认为模型识别和图像处理的标准方法可以用于跟踪背景和场景的运动。模型识别和图像处理的标准方法指的是使用预先存储的图像模板的标准化相关性进行特征跟踪。但这些方法并不能在所有条件下都能有效地使用。
在以后的方法中加入称为“自适应区域分级跟踪”的技术，在该技术中使用一种弹性模型用于扩展可以被紧密跟踪的图像帧的范围。该被扩展的范围包括包含有大量闭锁的干扰场景。闭锁指的是在当前图像中模糊几个或大多数预先选定的界标的操作，该界标由插入系统使用以计算在现场直播中插入的位置和图形。该扩展的范围还包括包含在所有照明条件下快速变化的图像。自适应区域分级跟踪在跟踪图像时至少需要三个在该图像中一直可见的独立的界标。因为在称为“非标准化相关”的块匹配技术被经常使用之前，无法推算出精确的图像条件。
本发明进一步扩展可以被跟踪的图像帧范围，其中包括不含有预先选定的可见界标的帧。与推荐使用预定义的合成模板的自适应区域分级跟踪不同，本发明使用从正在广播的图像流中提取的模板。
还有其它关于运动估计方案的现有技术。使用运动估计进行数字压缩的数字视频编码器从视频图像中提取图像模板并计算运动向量。当前图像和一组模板一起被平铺显示，并使用先前被传输的图像为每块模板计算运动向量。与传输完整的图像块不同，通过只传输运动向量和可选的校准因子，从而减少编码一个图像块时所需的位数。在编码图像后，丢弃这些模板。
用于该方案的典型的图像块匹配标准包括L1norm、L2norm和标准化相关。L1norm被定义为D=∑d,L2norm被定义为∑d2，其中d是图像和模板的像素值之差。该求和针对每块模板中的所有像素进行计算。标准化相关被定义为N=ΣITΣI2ΣT2]]>其中T表示模板中的值，I表示图像中的值。
在本说明书中，将定义图像块匹配技术以使最佳匹配相应于所选匹配标准的最小值。因而，如果使用标准化相关作为图像块匹配标准，失配将被定义为M=1-N=1-ΣITΣI2ΣT2]]>当模板在当前图像的上面运动时，使用所选图像块匹配标准计算出的值的结果矩阵被称作误差面，当该误差面的值最小时获得最佳匹配。
BRIAN ASTLE认为既然当前图像中的平均照明标准可能类似于先前被传输的图像中的匹配块，块匹配与使用具有平均照明信息的方法相比更加可靠。
本发明在许多方面明显不同于在视频编码中所用的运动估计。在本发明中模板是一个经认真选择的全部可用块的子集，而并不是所有可用的位置。区域和模板的认真选择是必需的，因为与压缩算法中的运动估计不同，该计算的结果并不是一组用于块而是用于单个转换模型的运动向量。从“最小平方误差”意义上说，该单个的转换模型是模板群运动的最好的描述信息。而且，模板被放在图像中的所选位置而不是平铺该图像。而且，模板被存储在存储器中而不在每幅图像被处理后丢弃。
在本发明中，模板的当前位置相对于前一位置确定，但在运动估计中前一位置相对于当前平铺的位置确定。在视频编码中的运动估计是要发现从先前被传输的图像到当前图像的最优位移匹配，即具有最小编码误差的匹配。相反，本发明的位置定位的目的是图像运动在视觉上的正确性(观众对该图像的感觉)。在不清楚的情况下，视频编码中的运动估计如何消除该模糊并不重要，但是对于本发明的位置定位方法如何消除该模糊去是很关键的。对模糊的消除可能包括验证从其它邻近图像块确定出的模型。因为和增加精确度相关的计算量和所需要的编码的缘故，运动估计限制其精确度，一般是1/2像素。然而在位置定位中，在精确度上并没有类似的限制。
本发明使用直接从广播视频流中提取的图像模板。根据所要的应用，即棒球、足球、英式足球等等，使用具体的捕捉标准从当前图像中选择模板。为了长期的空间上的稳定性，这些模板被存储在存储器中，并且只要这些模板继续符合所确定的保留标准则始终是有效地。保留标准包括与所广播的当前图像之间良好的匹配以及和其它模板之间的空间一致性。空间一致性表示被保留的模板在位置上和其它的模板保持一致但曲率相反。模板被定期更新以删除那些不再给出良好的定位数据的模板。从当前图像中选择新模板，然后用于替换被丢弃的模板。通过比较模板与当前图像以确定每块模板的位置。所推荐的比较方法使用整数位置搜索并继之以二维插值方法，从而获得精确到像素的分数部分的定位信息。然后使用和匹配位置附近的误差面形状相关的附加数据，从所获得的位置数据中计算出转换模型。转换模型提供一个当前图像的描述，从而标记可以在预定的位置和正确的图形中被插入到当前图像。对于该转换模型可能有多种形式。例如，最简单的模型定义记录比赛的摄像机的摇摄、倾斜和移动。较复杂的模型可以包括诸如滚动、支架偏移和其它摄像机运动的摄像机参数。该转换模型可以通过检查预定义的合成模板被确认，如果需要还可以调整该模板。在时间上失配值的变化能够检测出诸如场景剪接和淡出的视频转变，最后，只要在当前图像中存在纹理结构，本发明的系统和方法就是可用的。纹理结构虽然不需要是稳定的，但无论如何平稳周期也必须超过几个帧即群。
通过参考以下附图将可以更好地理解本发明，其中同一标号在不同附图中表示同一单元。


图1显示本发明的纹理结构跟踪系统的方框图。
图2(a)和2(b)显示两个不同的图像模板。
图3是说明位置定位器功能的程序框图。
图4说明在本发明中所使用的二维插值方法。
图5显示相对于定位位置叠加的三个图像块失配函数。
图6(a)-(c)显示用于定位误差平面最小值的二维最优化方法。
图7显示在一幅图像中图像块的空间位置选择，具体地说是一场足球赛。
图8显示典型的图像和摄像机轨迹A-B-C-D-E-F。
图9(a)-(c)显示垂直模板、水平模板和用于定位一个足球球门柱的这些模板的组合。
图10(a)-(c)显示一台摄像机配置的摇摄、倾斜和滚动的角度，焦距长度图像尺寸，以及光轴偏移。
插入目标区域的检测只是完整的插入系统的一个方面。作为背景技术，在我们所拥有的于1995年11月28日提交的序列号为No08/563,598，标题为“用于在现场视频直播中插入静态和动态图像的系统和方法”的专利申请中描述了一种LVIS即现场视频插入系统。LVIS是一种在实时的基础上以逼真的方式向现场视频直播中插入静态或动态图像的系统和方法。首先，在一幅场景中选择适合以后检测和跟踪的自然界标。在场景中该界标最好具有当视频摄像机摇摄或变焦时可以看见的明显、突出和清楚的垂直、水平、倾斜或者拐角的特征。一般地，至少要选择三个或更多的自然界标。当然这些界标分布在整个场景中，例如棒球场或者足球场，而且在任何时候摄像机的摄像区域一般明显小于可以被摇摄的全部场景。因为插入区域一般很小而无法容纳很多可以识别的界标，并且因为插入图像可能是一幅动态图像，因此界标经常位于将要进行插入的目的点或者目的区之外，所以没有单独的、固定不变的目的区。
该系统在可变形的二维网格上建立可识别的自然界标的模型。在场景中任选一个非界标的参考点。该参考点和自然界标数学相关并在以后用于定位插入区域。
在插入进行之前，调整将被插入的图像的原图以便于观看，即整形。因为系统知道场景中界标之间的数学关系，因此它可以自动确定必须被使用的变焦因子和X、Y位置调整。此后，当摄像机推摄和拉摄以及摇摄改变其摄像区域时，插入图像相对于摄像区域的其它特征保持合适的尺度和比例，从而使在家中的观众看起来很自然。该系统可以摇入或摇出场景并使插入图像自然地出现在场景中，而不象一些现有技术系统所具有的情况是“弹出(pop up)”的。该系统可以很容易地在任何位置放置一幅插入的图像。
本发明涉及现场视频插入系统的跟踪方面的技术问题。图1显示本发明的图像结构跟踪系统的方框图。跟踪控制器跟踪控制器1控制四个模块位置定位器2、转换模型计算器3、转换模型确认器4和块更新器5的操作和先后顺序。位置定位器2读取块数据6并确定在当前图像中模板的位置。块包括模板和相关的数据。一旦位置定位器2顺利定位一模板，则在块数据6中存储该模板的当前位置和附加数据。附加数据包括关于模板和当前图像匹配的程度以及随位置变化的失配情况的数据。转换模型计算器3使用块数据6计算一个转换模型。该转换模型定义如何必须改变一参考模型从而使其良好地对应于当前图像。参考模型是场景在独立于当前图像坐标的在坐标系统中的表示。摄像机模型是只用摄像机参数即摇摄、变焦及滚动表示的一种特殊形式转换模型。转换模型确认器4通过查找跟踪误差以及场景剪接和其它数字视频效果的证据，确认该转换模型是当前图像在视觉上的正确描述。块更新器5检查这些块，删除那些不再有用的存储，并选择和存储替换的或新的块。图1的每个模块一般在隔行扫描视频的每个扫描场激活一次。
当第一次检测到插入目标区域时，跟踪控制器1激活块更新器5以选择并存储这些块。从检测得出的转换模型用于将被存储的块和参考模型联系起来。然后这些块在以后的场中由位置定位器2、模型计算器3以及模型确认器4使用。位置定位器位置定位器2确定存储的模板相对于当前图像的位置。模板一般由像素矩阵组成。已经从8×8到16×16像素矩阵获得很好的效果。如果运动较简单，较大的矩阵可以给出较好的结果，但对于复杂的运动较小的矩阵可以给出较好的结果。
有两种类型的模板，从图像提取出的图像模板和预先定义并非从任何特定图像提取出的合成模板。合成模板一般是零均值模板。零均值模板的平均照度为零。它们可以通过从模板中的每个像素上减去平均照度而获得。图2a显示要用于垂直边缘检测的零均值模板，图2b显示所设计的表示8×8矩阵的像素照度集的图像模板。块由一个或多个模板相关数据组成。有两种类型的块，包括图像模板的图像块和包括合成模板的合成块。合成块一般涉及参考模型中的线条，而图像块一般涉及参考模型中的点。
在时间上允许通过搜索确定所有存储的模板相对于当前图像的位置。除了在预定义的区域上进行彻底地搜索之外，用于搜索的时间通常无法被预先确定，跟踪控制器一般设定一个时间限制，在该时间内所有的检索必须完成。这个时间限制将为块的更新留出充裕的时间。一般地，所设定的时间限制应当使在更新块后所保留的有效块的个数在以后的扫描场中能够被充分地搜索。随着视频的改变，块的个数可能不同。有效块是那些和当前图像相匹配的块。
一般通过在当前图像的一个限定区域上执行搜索从而发现每个模板的位置。一种搜索的有效的方式是使用预先选定的块匹配标准在整数像素位置上执行比较。为了获得图像运动的精确估计，希望获得次像素精确度的模板位置的估计值。为了转换模型的稳定性和精确度，次像素的精确度是必需的，尤其在只由少数几个模板产生可靠的定位数据的时候。最好进行两个阶段的搜索，整数位置搜索继之以分数像素插值处理。
对于整数位置搜索，每个模板被定位在当前图像中的几个整数位置上，并使用所选择的模板捕捉标准计算误差面。通常误差面的最小值被用作整数位置。如果有广泛的计算资源可以使用，可以是较大的区域上的进行一次彻底的搜索。为了提高效率，可以使用转换模型的最新记录和在当前图像中所发现的所有模板的位置，预测模板的局部运动和位置。所估计的局部运动向量用于确定要执行检索的区域的大小和形状。既然较大的运动向量可能比较小的运动向量预测的精确度低，当向量的量值增加时应当扩大搜索区域的尺寸。既然重放或者其它的视频编辑方法可能干扰所预测的转换模型，对零向量的检查就很重要。零向量表示没有运动即当前图像中的模板位置与前一图像中的模板位置相同。
预测很重要，因为它缩短了计算时间并可以消除位置的模糊性。例如，如果发现两个几乎相同的模板位置，则靠近预测位置的模板位置更可能是正确的模板位置。简单的线性或者二次预测技术一般足以满足要求。更好的结果可以通过预测摄像机运动而非图像运动获得，因为摄像机具有物理惯性使摇摄、倾斜以及变焦趋向平滑。注意到视频隔行扫描能够干扰简单的场到场的预测，因此应当通过使用基于帧的预测方案，或者允许视频隔行扫描偏移以允许此类干扰。还注意到因为摄像机振动，以及在重放过程中，或者在视频被编辑的时候可能出现的定位噪音，简单的预测模型将无法正常工作。因此必须通过不断地检查零运动或者通过使用结构定义较合理的模板在几个选定的块上执行广泛的搜索，以允许无法预测的情况。
当跟踪某些诸如网格或者栅栏的目标时，可能会出现多个误差面最小值。这种重复性可以通过预测或者从那些只出现一个最小值的模板中取得初始估计值来解决。一种在多个最小值中进行选择的方法是使用加权功能，该功能不把重点放在离预测位置较远的最小值上，从而选择最好的被加权的最小值。
一种执行整数位置搜索的方法是彻底搜索一组区域。初始的搜索区域以所预测的模板位置为中心，其尺寸和形状取决于从所预测的摄像机运动估计出的像素的局部运动速度。如果最小值出现搜索区域的边缘，则在围绕该第一个最小值的区域内执行第二次搜索。当最小值在所预测的区域中即并不在边缘上被发现时，整数搜索顺利结束。为了避免在可能出错的块上花费太多时间，在两三个步骤之后最好终止搜索。如果没有发现最小值，则该信息被写入块数据6，从而该块随后可以由块更新器5删除。
另一种选择是当模板位置被逐渐确定时估计转换模型。因为进行了更可靠的估计，所以可以缩小搜索区域的尺寸并减少所允许的步骤数。
典型的块匹配标准包括L1norm、L2norm和标准化相关。L1norm被定义为D=∑d,L2norm被定义为∑d2，其中d是图像和模板的像素值之差。该求和针对每个模板中的所有像素进行计算。标准化相关被定义为N=ΣITΣI2ΣT2]]>其中T表示图像模板中的像素值，I表示当前图像中的值。
在本说明书中，将定义块匹配技术以使最佳匹配相应于所选匹配标准的最小值。因而，如果标准化相关被用作块匹配标准，失配将被定义为M=1-N=1-ΣITΣI2ΣT2]]>当模板在当前图像的上面运动时，使用所选图像块匹配标准计算出的结果矩阵值被称作误差面，当该误差面的值最小时获得最佳匹配。这些模板是一个经过认真选择的全部可用块的子集，而并不是所有可能的位置。区域和模板的认真选择是必须的，因为与压缩算法中的运动估计不同，该计算的结果并不是一组用于块而是用于单个转换模型的运动向量。从“最小平方误差”意义上说，该单个的转换模型是模板群运动的最好的描述方式。而且，这些模板被放在图像中的所选定位置而不是平铺该图像。而且，这些模板被存储在存储器中而不在每幅图像被处理后丢弃。
在本发明中，模板的当前位置相对于前一位置确定，但在运动估计中前一位置相对于当前平铺的位置确定。在视频编码中的运动估计是要发现从前一被传输的图像到当前图像的最优位移匹配，即具有最小编码误差的匹配。相反，本发明的位置定位直接涉及图像运动在视觉上的正确性(观众对该图像的感觉)。在不清楚的情况下，视频编码中的运动估计如何消除该模糊并不重要，但是对于本发明的位置定位方法如何消除该模糊却是很关键的。模糊的消除可能包括验证从其它邻近图像块确定出的模型。因为和增加精确度相关的计算和编码所需要的条件，运动估计限制其精确度，一般是1/2像素。然而在位置定位中，在精确度上没有类似的限制。
在整数位置搜索顺利结束之后，估计运动向量的分数部分。有多种执行该估计的方法。
在整数位置搜索顺利结束之后，估计运动向量的分数部分。整数最小值附近的失配数值给出一个误差面。该误差面的形状取决于块匹配标准、模板以及当前的图像。所推荐的方法使用L1norm进行整数搜索继之以用于分数估计的三角型插值。一维三角型插值如图3所示。通过整数最小值32和两个相邻点31和33构成斜率大小相等但方向相反的直线。抛物型插值，也在图3中显示，通过相同的三点确定一条抛物线。抛物型插值适用于某些二维插值方法，并且适用于L2norm块匹配。抛物型插值和三角型插值一般为最小值的位置和幅度给出不同的量值。介于三角形和抛物型插值之间的3/2平方插值有时可以给出更好的结果。并不值得为在此所述的块匹配函数使用附加的点以确定一个立方或者样条函数。
误差面最小值的定位需要一种二维最优化方法。有数种方法可以使用。图像模板可以被扩展以给出在次像素位置上的值，并且整数位置搜索将应用于这些次像素位置。第二种方法使用一维插值的序列，第三种方法直接为误差平面确定一个二维平面。
第一种方法如图6(a)-(c)所示。图6(a)中的源像素如图6(b)所示被分离开并通过例如双直线插值在其间填充数值。如果使用因数n扩展，该模板像素与每隔第n个像素的扩展图像像素进行比较，定位精确度为l/n像素。如果图6(c)所示的模板被定位在向右1/2像素向下1/4像素，则它和扩展图像模板相匹配参见图6(a)。因为必须进行n2次对比以获得1/n的精度，所以该方法的计算很复杂。
第二种方法如图4所示。它使用由整数位置搜索40所发现的最小值附近的误差平面的值。使用一维插值法在整数最小值上42、正上方41，正下方43的水平扫描线上插值最小值。从这三个最小值中插值出最终的最小值44。注意到对于一大类被数学模型化的二维平面来说，该技术产生非常精确的插值位置。
误差面的曲率也被估计。如果该模板定义了水平和垂直边缘，或者纹理结构，则应当估计水平和垂直曲率。一种简单的估计方法是使用(A-2B+C)表达式，其中B是误差面在最小值上的量值而A和C则是在每一侧上利最小值等距的值。对于抛物型插值所测量的位置并不关键，因而便于使用整数位置的数值计算。对于其它的插值方法即三角形法，位置很重要，插值的值应当被更换使用。如果模板定义一个倾斜的边缘，则垂直于该边缘的曲率应当被测量。被测量和估计出的曲率提供给模块计算器3所使用的块加权。
可以通过任何一种前面所述的技术即L1norm、L2norm或者标准化相关执行块比较。L1norm的计算最简单。在视频编码中一般只用于测量运动估计的图像的亮度部分。尽管亮度通常包含大部分的高空间频率信息，色度部分也提供额外的信息，并在解决定位模糊时特别有用。可以修正块失配函数以加入色度信息。在所有的匹配中，为特定的使用加权结合彩色平面的色空间累计数值。在Y、U和V色空间和其它类似的色空间中，亮度部分通常包括大部分的高空间频率信息，并且是位置匹配的最重要的部分。
第三种用于发现误差面最小值的二维位置的方法是假设该误差面在最小值附近具有一个特定的形状，并使用如在剑桥大学出版社1992年出版的W.H.Press等人的“C中的数字处理方法(Numerical Recipes inC)”第二版第59页所述的奇异值分解法插值最小值的位置。该形状可以是二次曲面、椭圆圆锥面或者其它的形状。
在使用二维最小化方法时必须谨慎，因为倾斜的边缘可以导致特别容易受像素测量噪音影响的位置。建议用插值方法发现的最小值与由整数搜索指出的位置之间的偏移不允许超过一个像素。
不过简单插值方法所具有的问题是它们无法解释误差面所固有的不对称性。附件A-2解释了该固有的不对称性的原因。获得更加精确的估计的最好方法是使用原始图像即提取出模板的图像发现误差面的插值并测量偏移量。这可能成为参考位置的一部分。另一种方法是使用原始图像测量误差面的形状，然后基于相对于该形状的偏移而不是在后续图像中测量出的形状计算最小值的位置。
在不导致大规模计算复杂度的情况下，为了扩展搜索区域，可以使用一种多分辨率搜索法。图像首先被低通滤波并二次抽样以提供一组低分辨率的图像。在每一分辨率等级存储图像块或组。从最低分辨率等级开始，在每一分辨率等级执行搜索和块比较。为每一分辨率等级计算一个转换模型并用于预测下一较高分辨率等级的块的位置。这种方法减少了在每一分辨率等级上的搜索范围。该转换模型在每一分辨率等级上被修正并在最高分辨率等级上获得最后的转换模型。在某些情况下，即导致图像细节模糊的快速摄像机运动，将不可能在最高分辨率等级上计算出精确的转换模型。在这种情况下，可以并且应当使用在一个较低分辨率等级上计算出的转换模型。转换模型计算器参考模型是在独立于当前图像坐标的坐标系中的图像的表示。在参考模型所规定的方法中参考模型必须被改变以符合当前图像。简单的参考模型使用三种参数变焦、水平移位和垂直移位。更完善的参考模型使用更多的摄像机参数。这些参数包括摇摄、倾斜、滚动、变焦以及焦距。摄像机模型说明场景中图形的改变。更加复杂的转换模型可以说明例如摄像机支架偏移、镜头畸变以及灯光变化。一种摄像机模型如图10(a)-(c)所示，说明如何通过使用摇摄、倾斜和滚动角度以及焦距、图像尺寸和光轴偏移定义一台摄像机。
可以使用多种技术计算转换模型。优选的技术是设法使失配函数的均方误差最小化的均方误差法。对这种技术有益的补充是为块位置动态改变加权量。这减少了均方误差中的偏离块的影响。那些偏离块的位置明显偏离由大多数块所决定的位置。动态地改变加权量很重要，因为导致块错误的可能是系统图像内容而不是由许多均方误差法所假设的随机噪音。该优选方法首先根据误差面的相应曲率为每个块设定水平和垂直加权量。然后使用均方误差最小化法计算初级转换模型。每个块都被估算以确定它和该初级转换模型的匹配程度。然后根据空间误差修改块加权。使用经修改的加权量计算出最终的模型。这种分两个步骤的方法减少甚至消除了偏离块的影响。附件A-4给出了一种计算转换模型方法。转换模型确认器通过检查合成或预先定义的块执行转换模型的确认。例如，如果知道足球球门柱的亮度比背景高，则可以使用如图9(c)中所设置的，用图9(a)所示的模板表示立柱，图9(b)表示水平横梁，来检测该球门柱。用于零均值模板的块匹配方法将最大化模板像素和图像像素平方的乘积总和。为了相对于其它包含交叉线的图像特征确认足球球门柱的压缩图像。在图9(c)标有星形的模板不一定给出正相交，即水平方向不一定伸出立柱之外，垂直方向也不必要低于横梁。如果有足够多的此类模板是有用的并且给出了可靠的定位信息，则可以从这些模板计算出一个独立的转换模型，并用于局部调整该主转换模型。如果只发现几个该类模板，则应做较小的调整以免不必要地打乱该转换模型。如果不能发现预定义的块，或者是失配的量值增加，则可能出现了场景剪切或者正在进行图像划出划入或淡出。预定义块的详细估计连同图像块的最近记录可以确定场景的转变。
如果在几乎所有的模板中出现失配并在逐渐地增加，则表示一图像淡出。如果失配沿着分隔该图像的一条边界线出现，则表示图像的划出和划入。如果事先推理出何种类型的转变可能出现，将简化可靠地检测场景转变的问题。一种未知转变的检测问题是困难的，因为这种转变可以象是在连续拍摄中发生的变化。
注意利用一独立信号，也许和垂直消隐信号间隔相结合，或者在自身图像中编码，可以得到场景转变的信息。
在这个确认步骤中可能使用转换模型可靠性的估计。可靠性较低的转换模型可能要求大量的确认。可以从由转换模型计算器计算出的加权量的总和估计出可靠性。该总和考虑了块数，它们的纹理或者误差面的曲率，以及与转换模型的失配。
一旦发现了转换模型并被确认，使用如美国专利5,264,933中所述的方法或者在正在审理中的标题为“Tapestry”专利申请08/中所述的方法可以完成插入。块更新器块被定时检查以确定它们是否应当被保留。块更新最好只在奇数场或者偶数场执行以简化视频隔行扫描稳定性的问题。在优选实施例中在偶跟踪场中执行更新并计第一跟踪场为零。
在块更新过程中分两个步骤，即删除旧块和指定新块。
块更新过程的第一步是删除不符合模板保留标准的块。为了被保留以继续使用，每个被存储的块一般必须符合下述保留标准·被存储的块必须在图像安全区域内(即不在水平消隐区域内)·被存储的块必须不在有用图像的叠印区域内(即不覆盖屏幕上的图形)·被存储的块的位置必须符合当前转换模型·被存储的块必须具有足够的误差面曲率还有一些符合应用的具体保留标准。例如在跟踪一块绿茵场时，模板只能覆盖在草坪上而不能覆盖运动员。
块更新过程的第二步是指定或提取新块。首先块被指定到参考模型中预定义的位置，然后当转换图像时，被指定到参考模型搜索区域中的一个随机位置。
更新处理中的第一步必须被完成，以删除出错的块。当超时或者已经捕获到足够数量的模板时，可以终止第二步。该过程动态地调整用于对比的被存储的块数。
从图像复制出图像模板，图像模板被有选择地处理并存储在存储器中。所提取的模板数取决于可用的处理时间。
为了提取模板，图像块可以分成两种类型，点块和区域块。点块具有在参考图像中预定义的位置。举一点块的例子例如足球球门柱的拐角。一个模板被分配给最接近使用转换模型从参考模型计算出的图像位置上。如果它符合进行存储的标准，则存储其在参考模型中的实际位置。这将偏离参考位置，其偏移量小于半个像素，该参考模型使用用于其所复制的参考模型的转换模型计算出。在参考模型中的搜索区域中随机指定区域块。如果它们符合进行存储的标准，则存储它们在参考模型中的实际位置。
为了有效地使用可用的处理资源，每一被提取出的块都必须符合所确定的模板捕获标准。其位置必须位于安全区域，即每个被提取的模板必须远离图像的边缘尤其远离视频消隐所导致的变暗或其它效果。而且，每个被提取的模板必须位于搜索区域即基于先前的分析控制器所知的区域。例如，体育场中的模板可以从看台或者从体育场建筑中捕捉，而不是从绿茵场中捕捉，以避免因运动员的运动所导致的空间干扰。必须预测出每块被提取的模板将不会离开这些区域，该预测基于摄像机运动的最新记录。而且，每个被提取的模板必须不能位于禁用区域，例如显示独立于原视频信号的屏幕信息的叠印区域，并且应当预测随后将避免位于这些区域。最后，尽管允许轻微的覆盖，但为了提高效率，每块被提取的模板不应当覆盖任何其它已经存在的模板。必须具有足够的纹理结构以使所选的块匹配标准能够有效地工作。该纹理结构可以通过许多方法中的一种来确定，测量亮度变化、或将模板应用于原图像并测量误差面的形状。如果满足所有的条件，则提取该图像模板。
在某些情况下，在模板上可能有附加的模板捕捉限制。这可能涉及图像自身的颜色或结构。例如，如果需要跟踪一个红色的目标，则所有的模板必须包括一些红色像素。再例如，如果需要跟踪绿茵场的草皮，则模板应当排除包含非草的颜色的区域以排除运动员。草可以在三维色空间中被定义成确定的量值。一种附加的计算将允许在模板中包含绿茵场的线条。
可以使用许多方法处理这些模板。它们可以被滤波以减少噪音和其它的人为因素，但这种方法可能产生所不希望的效果即减少匹配的空间精确度。它们可以在同一区域与先前被捕获的模板相比较并取两者的平均以减少噪音。它们可以基于所计算的摄像机动作为变焦和图形变化作调整。
无效块可以通过从存储器中重取模板并和当前图像相比较从而被重新激活，而不是从当前图像复制出新的模板。它们可能直接匹配，或者为了匹配当前的转换模型和图像照度，在放大率、形状、亮度或者在其它方面有所改变。这具有增加的长期稳定性的优点。
模板表面的形状很重要。应当求出最大和最小曲率的方向和量值，从而在如果该模板表示一个水平或垂直边缘或者具有二维结构时，可以确定其曲率。一种确定曲率的方法是使用块匹配为源图像生成一个误差面。该误差面的曲率表示该图像的曲率。一些计算转换模型的方法不能识别出倾斜的边缘，这类边缘的出现将降低模型的精确度。从另一方面来说，当这类模板给出错误位置时，这种模板应当被删除，从而不会长期影响转换模型的精确度。然而，对于场景例如网球场，其中倾斜的线形成空间定位信息中一个重要部分，因此应当识别倾斜的线并用于仅在垂直方向上提供定位信息。
图7显示为跟踪足球场的运动所选择的块。选择这些块从而使全部的块加上围绕每块的安全区域组成整个比赛场地，在该例子中即草坪。草坪在三维色空间中用具有一定体积的形状来定义。如果有任一像素落在该区域之外将丢弃该块。
图8显示当摄像机作摇摄并倾斜变化时的跟踪过程。为了简化，假设亮度和变焦是固定的。假设从球门柱的右下角开始并与该图像的外边框相交的轨线A-B-C-D-E-F。在从A到B的轨线中，使用预定义的和图像结构块的组合体执行跟踪。基于球门柱的尺寸和形状，模型可能被全部确认。在B点，水平横梁从视野中消失。模型不可能被全部确认但变焦和摇摄依然可以从单独的界标块中计算出。原先在横梁上的块被重新分配给该图像的其它部分。从B到C使用所存储的块继续跟踪。在C点右立柱从视野中消失并且与之相关的块被重新分配。在D点预测水平横梁将重新出现，使用界标块实施搜索。在横梁被定位之后，模型中的任何偏差将被逐渐解决，从而不至于扰乱插入位置。在E点右立柱重新出现，在E和F之间，又可能确认全部的模型。
在跟踪过程中，区域块趋向于运动到最精确地定义转换模型的图像区域上。例如，假设在插入场景中出现场景剪接，其中可以看见大量的前景目标。区域块将被随机分配给前景和背景。除非前景具有大多数的块并在运动时具有内部的稳定性，转换模型将由背景定义。一旦一部分前景相对于背景运动，分配给它的所有的块将与转换模型不相容，并将被删除然后被随机地重新分配，最终停止在背景上。块运动增加了插入位置的稳定性。
用在典型的红土网球场上的比赛说明另外一种在块类型之间的块运动。在比赛的开始的时候，球场的线是清除的并作了很好的标记，球场地面也是平整的。这些线将由合成块覆盖，而且在球场地面上将很少有图像块。在比赛过程中，这些线一般变的不清除，球场地面变的粗糙并增加了纹理结构。合成块将逐渐被删除，图像块将逐渐被增加在球场上。
块可以被删除，但所存储的模板在以后可能被使用。例如，如果图像大小被改变以致于一个模板不再提供合适的匹配，将捕获一个新的模板而旧的模板将放置在长期存储器中。在以后的某个时间，图像大小可能返回原来的值，在这种情况下，旧模板将会被取回并测试它是否可以提供一个有用的匹配。附件四个附件进一步说明本发明的某些方面。附件A-1用可能存在的当前图像块比较所选的块匹配标准。附件A-2是一维分数估计的更详细的描述以说明和简单插值方法相关的平面不对称性的原因。附件A-3是在本文件的正文部分所使用的术语表。附件A-4是从图像模板所得出的测量值中计算出一个最优三参数非透视跟踪模型的具体的方法。
附件附件A-1几种块匹配标准的比较假设将下述2×2模板块1241与下述图像块匹配1392130304139 113030A B C与块A的匹配是最好的，仅在一个像素上差一个等级。块B虽然具有类似的形状，但其幅值较高，而块C的各值相同。
使用下述标准方法评价匹配·L1=L1norm·L2=L2norm·BA=2*∑IT/(∑I2+∑T2)·NC=标准化相关·TI=∑IT·ZI=∑IZ其中Z是如下所示模板的零均值像素值-102-1注意到该图像中右上角的值不起作用，因为乘以零仅产生一个对于像素定位毫无意义的值，因此无论如何都暗示ZI是一个较差的匹配标准。
各种匹配标准的结果如下表所示，其中星号(*)表示最优匹配。
标准 A B CL1min1* 72 112L2min1* 17503142BAmax 0.9796* 0.1325 0.1995NCmax 0.9847 0.9991* 0.8528TImax24 218240*ZImax658*0可以看出前二种标准方法，L1、L2和BA很有效。标准化相关(NC)具有一些潜在的问题，在实际的图像中发现具有相同的形状但量值不同的图像块的可能性很小。建议不使用TI和ZI，因为存在很多图像块其所给的分数可能比匹配较好的图像块还高。
附件A-2-维分式评价插值的形状假设比较六个元素的模板块111222和一幅包括相应的明显边沿…11112222…的图像。用不同标准的块失配函数给出下表
其中NC表示标准化相关，L1表示L1norm。L2表示L2norm。L1和L2都是三角形。标准化相关具有一个不对称的形状，该形状具有比三角形更加明显的尖峰。
假设比较六个元素的模板块112344和一幅包括相应的模糊边沿…11123444…的图像。对不同标准的块失配函数给出下表
L1是三角形。L2是近似于抛物线的形状。标准化相关是介于三角形和抛物线之间的不对称的形状。移动线条假设比较四个元素的模板块2244和图像222442
使用标准化相关的最大值的抛物型插值给出的最大值离正确的中心位置向左偏移0.194个像素。使用L1的最小值的插值给出的值向左偏移0.167个像素。使用标准化相关的最大值的三角型插值给出的最大值离正确的中心位置向左偏移0.280个像素。使用L1的最小值的三角型插值给出的值向左偏移0.250个像素。
这说明使用标准化相关或者L1一般只能产生最优匹配的近似位置。将图像向右移位0.5个像素给出222343
使用标准化相关的最大值的抛物型插值给出的最大值离正确的中心位置向右偏移0.105个像素。使用L1的最小值的插值给出的值向右偏移0.167个像素。使用标准化相关的最大值的三角型插值给出的最大值离正确的中心位置向右偏移0.173个像素。使用L1的最小值的三角型插值给出的值向右偏移0.25个像素。
使用标准化相关的抛物型插值给出0.299个像素的向右移位，使用L1给出0.333个像素的移位，两者都小于正确值0.5个像素。使用标准化相关的三角型插值给出0.453个像素的向右移位，使用L1给出0.5个像素的移位，两者都很接近正确值。大边沿移动假设比较四个元素的模板块1133和图像1113
使用标准化相关最大值的抛物型插值给出的最大值离正确的中心位置向右偏移0.078个像素。使用L1的抛物线和三角型插值都给出正确的位置。将图像向右移位0.5个像素给出1112333
使用标准化相关最小值的抛物型插值给出的最大值离中心位置向右偏移0.167个像素。换句话说，运动边沿0.5个像素只将插值点的位置运动0.089个像素。使用L1的抛物线和三角型插值都给出正确的位置。小边沿移动假设比较四个元素的模板块4466和图像444666，三个标准化相关值为
最小值的抛物型插值给出的最大值离正确的中心位置向右偏移0.034个像素。使用L1给出正确的位置。
将图像向右移位0.5个像素给出4445666
最小值的抛物型插值给出的最大值离中心位置向右偏移0.469个像素。换句话说，边沿运动0.5个像素将插值点的位置运动0.435个像素。使用L1给出正确的位置。
这说明对于定义明确的边沿，L给出1比标准化相关更好的分式插值的评价。
附件A-3术语表活动块那些相对于当前图像符合和落在规定的匹配标准之内的块精炼模型 由线性运算表示的转换模型区域块预先指定到参考模型中的一块区域上的图像块背景 相对于摄像机支架保持固定的场景部分块一个或多个模板加上包含用于参考模型和当前图像模型的定位信息的相关数据摄像机模型只用摄像机参数如摇摄、倾斜、图像大小和滚动表示的转换模型误差面表示一个模板和一部分当前图像之间失配值的二维数组前景 相对于摄像机支架运动的场景部分图像块包含图像模板的块图像模板 从图像中获取的模板图像结构 像素与像素间相对于照度级变化的量度局域运动向量 连续的帧或场之间明显可见的一小块图像的运动最小值误差面上具有最小值的点，表示模板和当前图像之间的最优匹配点块 在参考模型中预先指定给具体点的图像块参考模型 目标场景的表示，一个独立于图像坐标的坐标系合成块包含一个合成模板的块合成模板 预先定义的模板，因为平均照度级和图像的放大率都是未知的，所以并不是从特定图像提取出的，合成模板通常是零均值边沿模板模板 像素矩阵结构跟踪 使用从图像复制出的模板的图像跟踪，并根据在此所述的方法被使用。转换模型 所定义的方法，在该方法中参考模型必须被改变以便和当前图像一致附件A-4估计跟踪模型推导出一种从图像模板的量值计算最优化三参数非透视跟踪模型的方法。分析加权均方误差推导可能产生“错误”模型的条件。并改进用于计算模型的方法从而避免此类问题。
转换模型的计算问题可以陈述如下给出包括一组点P的参考模型和包含一组对比点P的当前图像，转换模型的最优估计是怎样的？标准的方法是最小化一些偏移误差函数。一种比较方便的方法是加权均方误差。该加权可以包括从前一扫描场和当前场中的其它点所预测的偏移误差。加权还要和一些定位量值的可靠性或精确度的方法相结合。为了简化该附件只考虑偏移误差。并只考虑包括图像大小、水平移位和垂直移位的三参数转换模型。模型的定义用三个参数定义转换模型图像大小z、水平移位u和垂直移位v。如果参考模型具有一组点X,Y，则相应的当前图像的点x,y表示如下x=zX+u(1)y=zY+v(2)推导出X=(x-u)/z (3)Y=(y-v)/z (4)MSE方程式转换的平方误差之和是E=∑wxi(xi-zXi-u)2+∑wvi(yi-zYi-v)2其中wxi是与第i个点的水平移位相关的加权，wyi是与第i个点的垂直移位相关的加权。需要不同加权的一种原因是在扫描场的垂直方向上有隔行混叠而在水平方向上没有。
如果绝缘材料的相对介电常数是εr＞1，外半径r2可能变成稍大。当保持比率r2/r1=2，如上例所示，应用下列关系。
r2=r0/(1+εr-1)对于εr=1.3，泡沫塑料的典型值，r2=0.57r0这仍旧是电极尺寸的显著的减小。对于按本发明的有显著的效果的绝缘层，其相对介电常数应小于3，最好小于2，最好小于1.5。
按照本发明的电极最好用于适用于超过lkV的电压的电气设备。
附图的简要说明图1表示按现有技术的一个导电球体的屏蔽电极的说明性草图。
图2表示按现有技术的环状屏蔽电极。
图3a表示按现有技术的由圆盘形电极段组成的屏蔽电极。
图3b表示按图3a的电极段附在其上的正二十面体形框架。
图3c表示按图3a的屏蔽电极的圆盘形电极段。
图4表示按本发明的在一个导电球体上有同心非导电层的屏蔽电极的说明性草图。
图5表示按照本发明的有非导电层的环状屏蔽电极。
图6表示按照本发明的适用于组合屏蔽电极有非导电层的电极段。
图7a表示按现有技术的GIS线弯管。
图7b表示按本发明的包含非导电层的GIS线弯管。
优选实施例的说明在一个本发明的实施例中，在图2上所示的环状屏蔽电极被改进．改进是通过如图5所示，在其表面的主要部分提供有非导电层8的内环状电极1’而进行的。指向对称轴(点划线)的电极那部分由于正是这个环形不受高场强的影响，因而不必覆盖。按照本发明的环状屏蔽电极的外直径比按照现有技术的相应环状屏蔽电极的明显地小。
在另一个本发明的实施例中，如图3a-3c上所示的由电极段组成的屏蔽电极被改进。如图6上所示，至少其电极段la′中的一个在内电场得出。随着迭代的进行，那些因偏离而获得小加权值的点将被重新检查以确定是否可以在预测点附近发现一个正确点。例如，紧挨着所需要点的目标对于所需要点来说最初可能是错误的，但当位置估计被改进后，可能通过搜索围绕预测位置的一块小区域检测到正确点。
迭代过程将收敛在一个最佳值，该最佳值取决于开始条件和G。当G很小时只有一个最佳值。当G较大时通常有许多最佳状态。一些是稳定的，即一个小的改变将通过迭代过程被恢复原位。而另一些是不稳定的，即一个小的改变将导致一个新的最佳值。
为了避免陷入一个局部最优状态，在该状态中只有少数几个点具有显著的加权，该迭代过程应当开始于单位加权。然后结果可以与从对上一扫描场的预测开始的值相比较。如果结果在测量误差中相符合，则一个经滤波的预测值可以被用于该模型。如果结果明显不同，则应当使用基于当前场的值，因此无法预测的改变会导致该差别。加权常数的临界值一个和多个最佳值的转变出现在G的临界值上。该临界值取决于图像点的偏移。将针对一种简单但很重要的情况计算G的临界值。假设参考图像包括一组沿着直线的点。可不丧失一般性地假设它是垂直的。假设在当前图像中这些点的一部分r可能因为其附近的物体被水平移位，其距离为H。如果G较小则只有一个最佳值，反之如果G较大则有两个稳定的最佳状态，一个在该直线附近，另一个在物体附近。在这两者之间有一个额外的不稳定最佳值。
假设参考模型中的直线位于X=0，则等式9简化为x=∑iwxixi/∑iwxi加上从式14得出的加权x=rH1+G(H-x)21-r1+Gx2+r1+G(H-x)2]]>该等式被改写为三次方程Gx3-(2-r)GHx1+(1+(1-r)GH2)x-rH=e(15)式15已用残留误差e表示。最佳位置相应于e=0。通过引入无方向变量J和s改写该等式J=GH2(16)s=x/H (17)Js3-(2-r)Js2+(1+(1-r)J)s-r=e (18)当J较小时，最佳位置s=r。这个最佳值是固定的。这等于说该直线的最佳未加权位置是所测量的当前图像点的算术平均。
当r=0.5时，一个最佳值始终存在于s=0.5。当J较小时这是一个稳定的最佳值。当J较大时这个最佳值是不稳定的并相对于s的较大和较小的值存在两个稳定的最佳状态。可以通过针对s微分等式18计算J的临界值，然后在s=0.5设其值等于0。通过这种方法得出的J的临界值为4。
对于较小的r值，临界值可以按下述方法计算。微分等式18并使其等于0得出静态点s=(2-r±1-r+r2-3/J)/3----(19)]]>该式可以被代入式18并设e=0从而给出J和r的等式。对于给定的r，可以数学求解该新等式从而发现J的临界值。如果r＜0.5则上方的平稳点将被用于确定临界值。使用该方法产生下述数值r J
1/24.01/321.51/445.71/61181/10 3581/20 1518在前两个模拟应用中，一条六个点的直线有一个点偏移10个像素。从上表得出，J的临界值是118。根据等式16该临界值是G=J/H2=1.18。更小的G值给出一个最佳值而较大的值给出两个稳定的最佳状态。
为选择用于跟踪应用的G值，可以采用几种方法。一种最简单的方法是假设测量精确度是H个像素。给出两个高度分离的点，最佳值将选中一个或者另一个。这样，如果H是2个像素，G将是1.0。
应当理解上述公开是对本方面的说明。本领域的普通技术人员在不离开本方面的精神或范围的情况下可以很容易地作出改进。
权利要求
1．用于在视频图像流中跟踪运动的方法，该方法包括以下步骤a)从当前视频图像中获取一组符合某一图像捕捉标准的图像模板(块)，并在存储器中存储所述的图像模板；b)确定每一个被存储的图像模板相对于当前图像的位置；c)使用所确定的相对于当前图像的模板位置计算一个转换模型，所述转换模型被用于使参考位置数据相应于当前图像位置数据；d)从存储器中删除不符合某一模板保留标准的图像模板；并e)从所述的当前图像中获取新的图像模板以取代被删除的图像模板。
2．如权利要求1所述的方法，其中所述的删除步骤(d)和所述的获取步骤(e)只在奇视频扫描场或者只在偶视频扫描场中执行，以提高视频隔行扫描的稳定性。
3．如权利要求1所述的方法，其中所述的获取步骤(e)在预定的时间限制之后或者在已经获取足够数量的视频模板之后被终止，并取决于这两个条件中先出现的那一个。
4．如权利要求1所述的方法还包括以下步骤f)确定一个表示每块模板和在最接近所确定的模板位置的区域中的当前图像之间失配的误差面；g)估计所述误差面以确定其最小值从而确定图像模板和当前图像之间的最佳匹配；h)在所述的转换模型计算中使用所述误差面。
5．如权利要求4所述的方法还包括以下步骤i)通过相对于一组预先定义的合成模板比较所述转换模型的相应的结果，确定所述转换模型的精确度。
6．如权利要求5所述的方法，其中确定每块被存储的图像模板相对于当前图像的位置包括以下步骤j)执行一个整数位置搜索以确定所述误差面的最小值；并k)在所述的整数位置搜索完成后，执行一个分数像素插值以估计出从前一图像到当前图像所进行的一小片图像的运动的分数部分。
7．如权利要求6所述的方法，其中执行整数位置搜索包括以下步骤l)将每块模板定位在位于图像模板中的几个整数位置上，并使用指定的块匹配标准为每个位置计算一误差面；m)搜索一组具有一个以预计模板位置为中心的初始搜索区域的模板区域，所述模板位置得自对从前一图像到当前图像所进行的一小片图像的运动的估计，所述搜索用于确定图像模板的尺寸和形状；n)如果在该预计的搜索区域内发现一最小值则顺利地终止搜索；并o)在数次搜索之后，不能在预计的搜索区域内发现一最小值，则整数位置搜索失败并结束，存储与该失败的搜索相关的信息以便以后删除该块。
8．如权利要求7所述的方法，其中所述的整数位置搜索使用线性预测技术。
9．如权利要求7所述的方法，其中所述的整数位置搜索使用二次多项式预测技术。
10．如权利要求7所述的方法，其中所述误差面的计算根据下述块匹配技术进行，所述误差面表示每块模板和最接近所确定模板位置的区域的当前图像中之间的失配M=1-N=1-ΣITΣI2ΣT2]]>其中M表示失配值，N表示一种标准化相关计算，I表示当前图像中的像素值，而T表示图像模板中的像素值。
11．如权利要求7所述的方法，其中所述误差面的计算根据下述块匹配技术进行，所述误差面表示每块模板与最接近所确定模板位置的区域的当前图像之间的失配M=1-BA=1-2*ΣITΣI2+ΣT2]]>其中M表示失配值，BA表示一种误差面的计算，I表示当前图像中的像素值，而T表示图像模板中的像素值。
12．如权利要求7所述的方法，其中所述误差面的计算根据下述块匹配技术进行，所述误差面表示每块模板和最接近所确定模板位置的区域的当前图像之间的失配M=1-L1norm=1-∑d其中M表示失配值，Llnorm表示一种误差面的计算，d表示图像模板与当前图像之间像素值之差。
13．如权利要求12所述的方法其中的分数像素插值使用一种三角型插值法。
14．如权利要求7所述的方法，其中所述误差面的计算根据下述块匹配技术进行，所述误差面表示每块模板和当前图像中最接近所确定的模板位置的区域之间的失配M=1-L2norm=1-∑d2其中M表示失配值，L2norm表示一种误差面的计算，d表示图像模板与当前图像之间像素值之差。
15．如权利要求14所述的方法，其中的分数像素插值使用一种抛物型插值法。
16．如权利要求7所述的方法，其中的分数像素插值使用一种3/2幂插值法。
17．如权利要求7所述的方法，其中所述估计所述误差面以确定其最小值从而确定图像模板和当前图像之间的最佳匹配的步骤，包括以下步骤p)扩展该图像模板以产生次像素定位值；q)在这些次像素位置上，根据步骤(j)执行进一步的整数位置搜索。
18．如权利要求7所述的方法，其中所述估计所述误差面以确定其最小值从而确定图像模板和当前图像之间的最佳匹配的步骤，包括以下步骤r)获取最接近由步骤(j)的整数位置搜索所确定的最小值的误差面数值；s)在原先整数位置搜索确定最小值位置处正上方的水平扫描线上插值一个值，所述的插值按一种一维方法执行；t)在原先整数位置搜索确定最小值的位置处的水平扫描线上插值一个值，所述的插值按一种一维方法执行；u)在原先整数位置搜索确定最小值位置正下方的水平扫描线上插值一个值，所述的插值按一种一维方法执行；v)插值从步骤(s)、(t)和(u)获得的值以为所述误差面确定最终的最小值。
19．如权利要求7所述的方法，其中估计所述误差面以确定其最小值从而确定图像模板和当前图像之间的最佳匹配的步骤，包括以下步骤w)使用奇异值分解法插值最小值的位置。
20．如权利要求7所述，其中计算所述转换模型的方法包括以下步骤x)根据误差面的曲率为每个块设置水平和垂直加权；y)使用一种均方误差最小化法计算一个初级转换模型；z)估计每个块的空间误差，以确定它和初级转换模型相匹配的程度；aa)根据该空间误差为每个块修改所述的加权；bb)使用修改后的块加权计算最终的转换模型。
21．如权利要求7所述的方法，其中所述的模板保留标准要求图像模板为了不被删除，必须不在水平消隐区域内，并且必须不在活动的叠印区内，必须在位置上和当前转换模型相一致，并具有足够的误差面的曲率。
22．如权利要求7所述的方法，还包括以下步骤cc)低通滤波并二次抽样在步骤(a)中获取的所述图像模板，以提供一组较低分辨率的图像模板；dd)在每一分辨率等级的图像模板上执行一次整数位置搜索，该搜索开始于最低分辨率等级并逐步提高分辨率；ee)在每一分辨率等级都计算一个转换模型，以预测下一较高分辨率等级上的图像模板的位置。
全文摘要
将图像模板实时地从视频图像中提取出并存储在存储器中。根据模板通过位置定位器(2)提供有用定位数据的性能选择模板，并和后续的图像区域作比较以发现给出最佳匹配的位置。转换模型计算器(3)根据该位置数据计算出转换模型。跟踪控制器(1)跟踪当前图像中的背景运动以精确地确定记录当前图像的摄像机的运动和空间方位角。转换模型确认器(4)通过检查预定的图像模板确认该转换模型。然后使用转换模型数据和摄像机传感数据在正确画面中的所要位置上将图像插入到现场视频直播中。块更新器(5)定期更新所存储的模板以删除那些不再给出正确或重要定位数据的模板。从最近的图像中提取的新模板用于置换被丢弃的模板。
文档编号H04N5/272GK1238889SQ9718012
公开日1999年12月15日 申请日期1997年11月26日 优先权日1996年11月27日
发明者布赖恩·阿瑟尔 申请人:普林斯顿视频图像公司