专利名称：利用自适应滤波的数字图像稳定化方法
技术领域：
本发明构思涉及数字图像稳定化(Digital Image Mabilization，DIS)，并且更具体地涉及一种降低所捕获的视频帧中补偿窗口的过偏移(over-excursion)的方法。
背景技术：
在操作人员的手中操作数字相机、数字摄像机、以及具有这样的相机或摄像机的手持设备的同时，经常采用该相机或摄像机来捕获图像或视频。因此，在捕获图像或视频的同时，摄像机可能在操作员手中晃动或抖动。抖动可能由于手晃动或平台振动，并且可能包括水平分量、垂直分量、缩放分量和旋转分量。抖动可能使得手捕获的视频对于观看者而言是嘈杂的或混乱的，因此希望使用数字电路来数字地估计相机轨迹(即，当在每对连续帧之间检测时的抖动)并且从相同场景的视频帧序列中滤除抖动。由稳定的(固定的或移动的)摄像机产生的视频主要包含所捕获的视频中的平滑运动(平移、旋转)。另一方面，不稳定的摄像机产生在视频图像中具有高频抖动(平移和 /或旋转)的视频。由稳定的(固定的或移动的)摄像机产生的视频主要包含所捕获的视频中的平滑运动。另一方面，不稳定的摄像机产生在视频图像中具有高频抖动(平移和/ 或旋转)的视频。数字图像稳定化(DIS)系统首先估计不希望(不想要)的运动，并且然后对图像序列施加校正。对于任何视频稳定化算法而言，正确的全局运动估计(相机轨迹估计)是关键的。稳定化视频的视觉效果高度依赖于相机轨迹估计的质量。对相机/场景的全局运动进行分析，以便区分想要的(例如，摇摄)和不想要的(抖动)全局运动，并且生成补偿变换P(n)以便补偿不想要的抖动运动。视频稳定化算法减轻抖动运动，同时保持用户想要的相机运动。通常，抖动是由手晃动和平台振动引起的，所述手晃动和平台振动将是更快的 (即，更高频)和非线性的，而相机运动将是更慢的并且是线性的或单调的。全局运动(相机轨迹)向量被包括在补偿变换P (η)的仿射变换参数中，所述补偿变换P (η)的仿射变换参数是使用匹配的特定点对在相邻帧之间估计的。补偿变换Ρ(η)可以是仿射变换。在数学上，仿射几何是对于通过仿射变换(即， 非奇异线性变换和平移)保持不变换的几何属性的研究。已经开发了由数字系数(被称为仿射矩阵)定义的数学方程组，以便特征化在每对连续帧或其部分(例如，帧中的运动对象)之间检测到的横向的(上/下)、旋转的和缩放的(例如，放大或缩小)运动。因此，用于补偿相机抖动的补偿变换P (η)可以被特征化为与场景中任何实际上固定的对象(例如， 石头、桌子、停放的车辆、山或太阳)相关的第一仿射变换矩阵。在几乎所有情况下，手晃动和平台振动可能导致视频帧的平移、旋转和缩放。为了对这些进行建模，需要六参数仿射变换。即使正确地生成了补偿变换P(n)以便补偿不想要的抖动运动，作为结果的补偿帧相对于所捕获的输入视频帧仍可能具有显著振荡移动，并且可能延伸超出了在所捕获的输入视频帧中的一些视频帧中可用的图像数据。这导致补偿窗口的过偏移。为了移除视频中的急跳式运动，补偿单元裁剪每个输入视频帧的一些边界区域。 所移除的边界区域的量可以被量化为裁剪率。大的裁剪率意味着边界处的更多区域被移除。可以将输出视频帧建模为叠加在输入视频帧上的补偿窗口(参见例如图1)。补偿窗口可以相对于输入视频帧被旋转、偏移、缩放等。对于给定裁剪率，补偿窗口的移动量被称为补偿窗口偏移。补偿窗口超出输入视频帧边界的移动被称为补偿窗口过偏移。如果没有抖动(无不想要的相机轨迹)，则(基于实际上固定的对象的特征点的)补偿变换p(n)将被期望在两个或多个连续帧的每个帧中处于相同位置(例如，一致 (UNITY))。如果存在高频抖动，则期望产生具有降低程度或降低频率的补偿窗口过偏移的空间上稳定化的视频。因此，需要一种滤波方法，其自适应地在不足视频稳定化和过偏移之间进行平衡。
发明内容
本发明构思的一方面提供了一种数字图像稳定化方法，包括基于补偿窗口过偏移的历史，自适应地对表示视频帧的场景中的固定/背景对象的基本/补偿变换P(n)滤波。本发明构思的一方面提供了一种使用强补偿(SC)滤波器的高效且可预测的抖动移除方法。该SC滤波器是高度频率选择的高阶线性时不变数字滤波器。使用SC滤波器对非常急跳式的输入视频的有效滤波暗示补偿窗口通过所捕获的输入视频帧显著移动。对于给定裁剪率，补偿窗口的移动量被称为补偿窗口偏移。补偿窗口超出所捕获的输入视频帧边界的移动被称为补偿窗口过偏移。SC滤波器对于大移动输入视频的严格应用将以大量补偿窗口过偏移为代价而产生非常稳定的输出视频。另一方面，具有更低频率选择特性的弱补偿(WC)滤波器将以更不稳定的输出视频为代价而产生更少的补偿窗口过偏移本发明构思的一方面提供了一种自适应补偿(SC)滤波器，其被配置为对于大移动输入视频防止过度过偏移，同时保持极好的视频稳定化特性。在本发明构思的示例实施例中，包括WC滤波器的因果线性时变滤波器补充SC滤波器，以便产生可预测的特性。可以基于在多个K帧上的补偿窗口偏移历史来控制组合WC/ SC滤波器。历史中的小偏移允许SC滤波器对当前帧η的更大影响，而历史中的大偏移保证 (warrant)WC滤波器对于当前帧η的更大影响。历史中的中度偏移分配SC滤波器和WC滤波器的成比例的影响。本发明的另一方面提供了一种数字图像稳定化电路，其被适配为执行这里公开的 DIS方法。该电路可以被包括在摄像机本身中，并且被激活来在存储所捕获的视频帧之前 (例如，如果摄像机包括实时MPEG编码器，则在MPEG编码之间或期间)实时地移除抖动。替换地，被用来估计连续视频帧之间的相机轨迹并从所存储的视频帧序列中滤除抖动的DIS电路可以是由采用数字图像稳定化(DIQ方法的软件控制的通用微计算机，或者可以是专用硬件，诸如在被优化来执行数字图像稳定化(DIQ方法的ASIC(专用集成电路)中体现的MPEG视频编码器。在同时待审查且于2011年12月7日美国同时提交的序列号为13/313，684、题为 "DIGITAL IMAGE STABILIZATION DEVICE AND METHOD”、代理人案号为 8729-357，以及序列号为 13/313，715、题为 ‘‘DIGITAL IMAGE STABILIZATION”、代理人案号为 87四_358 的申请中详细描述了从所观察到的场景中的特征点计算基本/补偿P(n)变换的方法，在这里通过引用并入这两个同时待审查申请的公开内容。本发明构思的示例实施例的特征是补偿窗口过偏移历史数据的连续存储，所述补偿窗口过偏移历史数据用于评估所计算的基本/补偿 P (η)变换并且选择滤波强度以便输出被优化来降低过偏移的滤波后的基本/补偿P’(η)。 该方法同时测量垂直-上、垂直-下、水平-右、和水平-左过偏移，并且检测它们中的峰值以便选择滤波系数E (η)。下面将参考附图更详细地描述本发明构思的示例实施例。然而，本发明构思可以以不同形式来体现，并且不应被理解为限制于这里提出的实施例。相反，这些实施例被提供来使得本公开将是全面的和完整的，并且将本发明构思的范围完全传达给本领域技术人员。贯穿附图，相似数字指代相似元素。
附图被包括来提供本发明构思的进一步理解，并且被并入和构成本说明书的一部分。附示了本发明构思的示例性实施例，并且与说明书一起用来解释本发明构思的原理。在附图中图1是依据本发明构思的示例实施例的执行数字图像稳定化(DIS)方法的DIS电路的框图；图2是图1的DIS电路中被适配来计算瓦片(tile)向量组的仿射变换的检测单元的框图；图3是图1的DIS电路中被适配来基于为瓦片组变换和特征组变换Ti (η)评分而选择基本(稳定/背景)变换P (η)的轨迹单元(TU)的框图；图4Α是被配置为执行图1的DIS电路的DIS方法中的步骤的组变换评分和选择电路的示例实现的框图；图4Β是历史分数单元的示例实现的框图；图5是集合的变换评分和选择电路的示例实现的框图；图6是图示移动对象排除电路的示例实施例的框图；图7是图示根据本发明构思的实施例的处理步骤的流程图；图8是所捕获的视频帧、以及在依据本发明构思的示例实施例的数字图像稳定化 (DIS)方法的步骤中在其中计算的补偿窗口的视图；图9是执行DIS的数字图像稳定化(DIS)模块的框图；图10是依据本发明构思的示例实施例的自适应补偿滤波器模块方法的框图；以及图11是依据本发明构思的示例实施例的自适应补偿滤波器模块的示意性框图。
具体实施例方式根据本发明构思的实施例，为了在算法上选择提供适合用于数字图像稳定化的良好特征点分布的特定点的目的，每个所捕获的视频帧被划分为少量的非重叠瓦片(tile) (典型地，对于标准清晰度为4X4瓦片，而对于高清晰度为6X6瓦片)。图像的不同区域可能具有不同密度的合适特征点。在极端情况下，例如在没有任何云的蓝天的情况下，帧的一个区域可能没有任何合适特征点。在其它区域中，潜在的特征点可能非常密集。所获得的特征点分布基于视频帧的小区域(例如，非重叠的瓦片)，而每个瓦片中特征点的数量随着该瓦片的亮度图像数据的方差σ2而线性地增加。具有更感兴趣的图像数据并且因此需要更多特征点的瓦片被期望具有更高的方差ο2。参见同时待审查的申请No. 13/313，684，描述了以下处理设置每个瓦片中的特征点之间的最小距离(MIN_ DIST)，而同时仅要求很少的局部状态信息，由此降低硬件实现成本。在这里通过引用并入 8729-357的公开内容。如果场景是在低光照条件下捕获的，则将具有相对更多的噪声，并且噪声对特征点的影响大于对瓦片的影响，这是因为特征点的像素的数量远小于瓦片中像素的数量。瓦片中像素的更大数量提供了噪声消除效果，并且下采样的基于瓦片的运动向量在该情况下更为准确。即使场景不是在低光照条件下捕获的，如果场景过于平坦，则基于瓦片的运动向量也可能更为准确。如果瓦片场景像有云的天或蓝天那样平坦，则可能有一些特征点，并且平坦瓦片中的这些特征点可能在下一帧的许多位置处找到相似级别的匹配点。但是，基于瓦片的匹配不仅仅依赖于小的特征点搜索区域，而是瓦片中的所有图案可以对瓦片匹配处理作出贡献。作为结果，在场景平坦时，基于瓦片的运动向量是更可靠的。当特征点运动向量组的最佳分数小于给定阈值时，我们决定使用基于瓦片的运动向量而不是基于特征点的运动向量，并且该策略对于高噪声场景或平坦场景工作良好。根据本发明构思的实施例，我们选择表示背景和大对象的移动的估计运动向量， 而更小对象不需要具有与其相关联的精确运动向量。可以在DIS算法的较后级处对用于更小对象的任何不精确向量进行滤波。期望具有显著性的大固定对象的特征点将由于全局移动或相机移动而以一致的方式移动。我们认识到，独立移动的显著大对象覆盖至少一个瓦片的大部分，使得它们的运动可以被估计为瓦片本身的支配运动(predominate motion)，而小对象的运动对瓦片本身的运动向量具有很少影响。我们使用最低分辨率的块匹配来推导每个瓦片的一个运动向量。基于瓦片的运动向量可以在一些特定情况下(诸如高噪声或平坦场景视频)被用于相机轨迹决定。用于给定瓦片的运动向量是使绝对差之和(SAD)最小化的运动向量。而且，通过使用分层级的运动估计算法并且通过相对于局部运动更趋向于瓦片运动，使用瓦片的运动向量作为起始向量，可以修改计算每个瓦片中的特征点的运动向量的处理以减少计算。由于覆盖至少一个瓦片的大部分的足够大对象可能延伸至相邻瓦片中，因此有可能每个瓦片中的一些特征点可能与相邻瓦片的运动向量、而不是与在其中找到这些特征点的瓦片的运动向量更强地相关联。因此，在对于任何给定瓦片的特征点的运动向量的块匹配搜索中，使用所有相邻瓦片的运动向量作为多个起始向量将是有效的。因此，被用来获得所选特征点的运动向量的起始向量是该特征点所属的瓦片的起始向量、以及属于四个直接相邻者(上瓦片、左瓦片、右瓦片、下瓦片)(假设其存在)的起始向量。对于所使用的每个起始向量， 我们仅将非常小的范围用于特征点运动向量的局部搜索。这里的目标不足以确定用于每个特征点的精确向量(在DIS处理链中稍后将排除差的运动向量)。相反，感兴趣的特征点仅仅是属于背景或大对象的特征点。对于那些特征点，瓦片运动向量之一应对于感兴趣的特征点的运动向量而言是良好的、或者应接近于感兴趣的特征点的运动向量，并且因此关于每个所选瓦片运动向量的小局部搜索是足够的。对于瓦片中的每个所选特征点，围绕一组起始向量中的每个起始向量，在更高分辨率域(这可能是原始视频分辨率，或者可以由2或 4的因子fs3 二次采样的)中执行小局部块匹配搜索。图1是依据本发明构思的示例实施例的执行数字图像稳定化(DIS)方法的DIS电路的框图。该DIS电路包括检测单元(DU)，其分析所接收的急跳视频并且输出帧间变换 Ti(Ii)；轨迹单元(TU)，其输出从帧间变换Ti(Ii)中选择的所选基本/补偿变换P(η)；以及补偿单元(CU)，其通过使用所选基本/补偿变换P (η)修改急跳视频而输出稳定化视频。检测单元(DU)估计所接收的视频数据帧中的特征点(FP)的帧间运动向量、以及非重叠瓦片的帧间运动向量(瓦片向量)。检测单元进一步输出FP运动向量组变换和瓦片组变换Ti (η)。轨迹单元(TU)选择帧间变换Ti (η)之一(或者在大移动对象覆盖场景的情况下的单位变换)作为基本变换P (η)，因此排除小移动对象的帧间变换和可能移动到整个帧中并且覆盖整个帧的大移动对象的帧间变换。图2是图1的DIS电路中被适配来作为图1的DIS电路的DIS方法的步骤计算瓦片向量组的仿射变换的检测单元2000的框图。检测单元2000包括特征点电路3000、运动向量(MV)编组电路1300、以及运动向量(MV)组仿射变换计算器2010。特征点电路3000接收每个视频数据帧，并且优选地将每个视频帧划分为少量 jXk个非重叠瓦片。jXk个瓦片的范围可以从用于SD视频的4X4个到用于HD视频的 6X6个；来自范围中的其它数量也是可能的，并且可能是有益的。选择瓦片尺寸使得独立移动的显著大对象覆盖至少一个瓦片的大部分，从而可以为了 DIS目的而捕获它们的运动，同时可以忽略小对象的运动。特征点电路3000标识并选择所接收的视频帧中的特征点(SFP)，并且输出特征点的运动向量和瓦片的运动向量(SFP MV和瓦片MV)。特征点电路3000包括特征点选择器和运动向量计算器、以及共享的RAM存储器 350。特征点选择器还可以包括哈里斯(Harris)角点特征点候选标识器、以及特征点候选拣选器。为了节省计算能力并减少所需运算的数量，特征点电路3000仅对亮度数据进行操作，并且包括一个或多个下采样器和分层级块匹配搜索单元。特征点电路3000为每个瓦片估计运动向量。在覆盖输入图像的中心的非重叠瓦片(例如，与可能用于特征点拣选算法的瓦片相同的瓦片)的基础上，进行瓦片运动向量 (瓦片MV)估计。对于每个瓦片，对深度下采样的图像执行完全块匹配搜索。对于每个瓦片进行完全搜索块匹配，并且瓦片运动向量(瓦片MV)被存储(356)以供稍后使用，例如用作分层级块匹配搜索单元中的起始向量，用于推导特征点的运动向量(在352处存储的SFP MV)并且用于固定对象检测。
特征点电路3000优选地提供特征点列表352，其具有基于被称为瓦片的视频帧小区域(瓦片)的分布，其中，每个瓦片的特征点的最大数量随着该瓦片的亮度图像数据的方差σ 2而线性地增加。用于DIS方法的良好特征点是在应用合适的运动估计算法时不产生模棱两可的运动向量的特征点。为了标识图像中的特征点，对视频帧的像素应用Harris角点检测算法，以便测量该像素有多么适合作为特征点。图像的不同区域(瓦片)可能具有不同密度的所标识的特征点候选。特征点电路3000优选地包括运动向量计算器，其执行用于计算每个瓦片的运动向量的瓦片向量计算器的功能；以及分层级块匹配搜索单元，其用于确定并输出每个所选特征点(SFP)的运动向量。瓦片向量计算器使用当前帧Ft的深度下采样的亮度数据来计算每个瓦片的运动向量。分层级块匹配搜索单元使用两个连续帧的完全分辨率或下采样的亮度数据来确定每个所选特征点的运动向量，并且可以使用瓦片运动向量作为起始向量。所有特征点和与瓦片相关的数据被传递给下一 DIS块，具体地是运动向量编组电路 1300。运动向量编组电路1300被配置为对FP运动向量和瓦片运动向量执行编组算法。 运动向量编组电路1300包括运动向量比较器1310，其被配置为通过将成对(pairing)算法控制器1302所选择的每对向量进行比较而执行编组决定。运动向量编组电路1300基于连续视频帧之间的对象的所察觉的相对移动，将FP 运动向量编组以便将所选特征点(SFP)的运动向量与场景中的对象相关联。运动向量编组电路1300还基于连续视频帧之间的对象的所察觉的相对移动，将瓦片运动向量编组以便将瓦片向量与场景中的对象相关联。运动向量编组电路1300与特征点电路3000共享RAM存储器350。存储器350的 SPF MV列表部分352-FP包含所选特征点(SFP)的位置和运动向量的列表。存储器350的瓦片MV列表部分352-TMV包含非重叠瓦片的位置和运动向量的列表。成对算法控制器1302保持跟踪哪些特征点和瓦片(运动向量)已经彼此配对而哪些保持未配对，以及哪些将完全从编组中被排除。成对算法重复地提供运动向量对(向量A和向量B)作为到MV比较器1310的输入。运动向量编组电路1300中的成对算法控制器1302访问SPF MV列表(352-MV)和瓦片MV列表(352-TMV)并选择向量A和向量B以用于运动向量比较器1310中的比较。当一系列向量A-向量B比较导致一个或多个向量组(例如，所选特征点的组和瓦片的组)时， 成对算法控制器1302将编组后的运动向量或其描述性列表写入到存储器350的FP MV组目录部分3M和瓦片MV组目录部分358中。运动向量(MV)组仿射变换计算器2010计算每组特征点运动向量的帧间变换，并计算每组瓦片运动向量的帧间变换，并将它们全部输出作为Ti (η)。图3是图1的DIS电路的轨迹单元(TU)4000的框图，该轨迹单元4000被适配为依据图1的DIS电路的DIS方法的步骤、基于为瓦片组变换和特征组变换Ti (η)评分的方法，来选择基本(固定/背景)变换P (η)。轨迹单元(TU) 4000 (图3)包括瓦片组变换评分和选择电路4100-1 (图4Α)、特征组变换评分和选择电路4100-2(图4A)、集合组选择电路4200(图幻、移动对象排除电路 4400(图6)和自适应补偿滤波器。
轨迹单元(TU) 4000标识由不稳定相机引起的基本运动P (η)而同时忽略在场景中的移动对象，对所选基本变换P (η)进行滤波，并且输出补偿变换C (η)。轨迹单元(TU) 4000 采用多个连续的评分函数来从所接收的帧间变换Ti (η)中选择基本变换P (η)。图4Α是图1的DIS电路的轨迹单元(TU)4000的组变换评分和选择电路4100的框图，该组变换评分和选择电路4100包括变换分数计算器4150、变换质量计算器4160以及被配置为执行图1的DIS电路的DIS方法中的步骤的组变换和质量选择器4170。组变换评分和选择电路4100被适配为从瓦片组帧间变换Tmeii(Ii) (4100-1)中输出瓦片组基本变换 GPme (η)，并且被适配为从FP帧间变换TFP, i (η) (4100-2)中输出特征组基本变换GPfp(η)。图4Β是在图4的实现4100-1中示出的图4Α的组变换评分和选择电路4100中的历史分数计算单元4110-1的示例实现的框图。参见图4Α和图4Β，组变换评分和选择电路4100包括历史分数计算单元4110 (例如4110-1)、运动分数计算单元4120、特征分数计算单元4130和范围分数计算单元4140， 加上总变换分数Si (η)计算器4150、变换质量& (η)计算器4160、以及组变换和质量选择器 4170(例如 4170-1)。图4A的组变换评分和选择电路4100中的组变换和质量选择器4170基于从总变换分数计算器4150接收的(每个帧间变换Ti (η)的)总变换分数Si (n)(通过拒绝小移动对象的帧间变换)而选择帧间变换Ti(Ii)之一作为组基本变换GP(n)，并输出组基本变换 GP (η)及其相关联的质量Q (η)。设1\(11)为从检测单元(DU) 2000接收的所有所接收的变换候选中的第i变换，其中η指示帧和时序属性。设GP(n)是在帧时间η所选择的组基本变换，即，对于所选择的i， GP (η) = Ti (η)。对于每个Ti (η)，总变换分数Si (η)计算器4150从历史分数计算单元4110 (例如， 4110-1)接收历史分数Hi (η)，从运动分数计算单元4120接收运动分数Mi (η)，从特征分数计算单元4130接收特征分数Fi (η)，从范围分数计算单元4140接收范围分数Ei (η)，并且基于以下等式计算总变换分数Si (η)Si (n) = Hi (η) ^Mi (η) ^Fi (η) ^Ei (η)对于每个Ti (η)，变换质量& (η)计算器4160从特征分数计算单元4130接收特征分数Fi (η)，从范围分数计算单元4140接收范围分数Ei (η)，并基于以下等式计算变换质量 Qi(η)Qi (n) = Fi (η) ^Ei (η).具有最大值Si (η)的Ti (η)应当被图4Α的组变换评分和选择电路4100的组变换选择器4170选择作为组基本变换GP (η)。因此，在该示例实施例中，具有最高分数Si (η)的帧间变换候选Ti (η)被选择作为组基本变换GP (η)，然后被自适应地滤波以产生补偿变换 C (η)，从而在图1的DIS电路的DIS补偿单元(⑶)6000中补偿抖动相机运动。历史分数计算单元4110(例如4110-1)存储组基本变换GP(n)的历史，并且例如在从检测单元(DU) 2000接收到每个Ti (η)时，基于所存储的预定长度HL的组基本变换 GP (η)的历史，为每个Ti (η)计算历史分数Hi (η)，其中HL是指示预定数量的之前帧的整数。 进入的Ti (η)与所存储的HL个先前选择的组基本变换GP (n-1)... GP (n-k)中的每一个数学地进行比较，其中k是整数的帧时间索引，其从1(指示紧接着的前一帧n-l)变化到HK(在时间上相距更远的帧n-HK)。Ti(Ii)中与所存储的HL个先前选择的组基本变换GP (n-1)到 GP (n-HL)具有更高相关性的变换具有更高的历史分数Hi (η)。Ti(Ii)和每个GP(n-k)之间的相关性Hi，k(n)是单位1 (unity)减去规格化范数 (1-| Ti (n)-GP(n-k) |)并且在范围
中，其中Hi，k(n)值等于1指示最高相关性。每个相关性Hi，k(n) (1-1 Ti (η)-GP (n-k))的贡献被对应的历史-权重冊(k)加权。历史分数Hi (η)是总相关性，并且是冊(n-k)加权的Hi，k(n)的和，1 < k < HL， 其中HL是历史的长度(过去帧的数量)。因此，Hi (η) = Σ [1-1 Ti (η) -GP (n-k) | *HW(k) ]，1 < k < HL权重冊(n-HL)到HW(n-l)优选地被选择为使得它们的和等于1，并且使得历史分数氏(11)输出是非线性规格化的并具有连续的范围W，l]。图4B中示出的历史分数计算单元4110的示例硬件实现4110-1包括FIFO (先进先出)存储器缓冲器，其用于存储HL个先前选择的组基本变换GP (n-1)到GP (n-HL)，并且其具有HL个抽头(用于n-1到n-HL)以将它们存储的内容输出到比较器4114。比较器 4114将当前Ti(Ii)与HL个所存储的先前选择的组基本变换GP (n-1)到GP(n_HL)中的每个进行比较，并将由历史权重HW(n-1)到冊(n-HL)加权的每个比较输出到总历史分数计算器 4116，总历史分数计算器4116输出总相关性作为在连续范围W，l]中的总历史分数Hi (η)。运动分数计算单元4120接收每个Ti (η)，并仅基于Ti (η)计算其运动分数Mi (η)。 在替换实施例中，为了计算运动分数Mi (η)，运动分数计算单元4120可以被配置为从检测单元2000接收所存储的信息。具有小运动的变换具有更高的运动分数Mi (η)，并且更可能成为组基本变换GP(n)。对于Ti (η)中的每个帧间变换，运动分数计算单元4120计算运动分数虬(η)。具有大值的Mi(Ii)对应于小运动，反之亦然。运动Mi(Ii)可以基于变换的水平的、 垂直的或总的线性位移。运动分数Mi (η)与线性位移Mi (η)逆向相关，并且优选地被非线性规格化为具有连续范围W，l]。特征分数计算单元4130接收每个Ti (η)，并仅基于Ti (η)计算其特征分数Fi (η)。 在替换实施例中，为了计算特征分数Fi (η)，特征分数计算单元4130可以被配置为从检测单元2000接收所存储的信息。对于Ti (η)中的每个帧间变换，特征分数计算单元4130计算特征分数&(11)。特征分数&(11)与被编组在一起的多个特征点相关，以组成由Ti(Il)中的每个帧间变换表示的特征点组。Ti(Ii)中每组具有更多特征点的变换具有更高的特征分数 Fi(Ii)0特征分数Fi (η)优选地被非线性规格化为具有连续范围W，l]。范围分数计算单元4140接收每个Ti (η)，并仅基于Ti (η)计算其范围分数Ei (η)。 在替换实施例中，为了计算范围分数Ei(Ii),范围分数计算单元4140可以被配置为从检测单元2000接收所存储的信息。对于Ti (η)中的每个帧间变换，范围分数计算单元4140计算范围分数Ei (n)。Ti(Ii)中具有覆盖(遍布)更大区域的特征点的变换被更高地评分。具有更大值的范围分数Ei (η)对应于更大的覆盖区域，反之亦然。范围分数Ei (η)与包含变换的组的所有特征点的长方形区域的长度乘以宽度相关。范围分数Ei (η)优选地被非线性规格化以具有连续范围
0本发明构思的各个示例实施例使用场景历史分析，以排除穿过整个场景移动的大对象，否则其将在视频稳定化中造成不希望的结果。在没有正确的场景历史分析的情况下， 基本变换选择器更可能选择对应于大移动对象的变换候选，特别是当其覆盖整个场景时。 我们认识到当大对象穿过整个场景移动并充满整个场景时，变换候选Ti (η)不包括对应于不稳定相机的基本变换P (η)。图5是图1的DIS电路的轨迹单元(TU) 4000的集合变换评分和选择电路4200的示例实现的框图，所述集合变换评分和选择电路4200包括集合决定计算器4250和集合变换选择器4260，所述集合决定计算器4250被配置为计算集合决定CD (η)，所述集合变换选择器4260被配置为作为图1的DIS电路的DIS方法中的步骤而输出集合基本变换CP (η)。图5中的集合决定计算器4250依据自检测单元(DU) 2000接收的特征组变换质量 QFP(n)、瓦片组变换质量Qme(Ii)和特征组变换候选Kre (η)的数量，来计算集合决定CD (η)。集合决定计算器4250的示例实现包括依据特征组Kre (η)的数量来计算被非线性规格化的片段度量 F(η)，从而当Kre (η)小时，Θρ(η)为0，并且当Kre(η)大时，Θρ(η)为 1。因此， F(n)值接近1指示视频场景中的所有特征点被分段为许多特征组，反之亦然。集合决定计算器4250通过将与 F(n)*QT(n)进行比较来输出集合决定 ⑶(n)，并且如果％(11) > F(n)*QT(n)，则集合决定⑶(η)被设置为选择特征组。而且，如果％(1!) <= F(n)*QT(n)，则集合决定⑶(η)被设置为选择瓦片组。在该公式中，如果特征组未被分段，则Θρ(η)接近0，并且特征组更可能被选择。否则，如果特征组被分段，则 ΘΡ(η)接近1，并且瓦片组变换质量QTile(n)与特征组变换质量Qfp(η)相比处于相同水平。集合变换选择器4260在特征组基本变换GPfp(η)和瓦片组基本变换GPme(η)之间执行选择。集合变换选择器4260被集合决定CD(η)控制，以使得在CD(η)被设置为特征组时，输出集合基本变换CP (η)被设置为特征组基本变换GPFP(n)，否则被设置为瓦片组基本变换GP
Tile (η)。在该实施例中，集合变换评分和选择电路4200基于特征组变换质量Qfp (η)和瓦片组变换质量Aile (η)执行选择。这些组变换质量是由图4Α的变换质量计算器4160计算的， 所述变换质量计算器4160从特征分数计算单元4130和范围分数计算单元4140接收输入。特征分数计算单元4130计算基于特征和基于瓦片的变换Ti (η)的特征分数Fi (η)。 在该实施例中，为了计算特征分数Fi (η)，特征分数计算单元4130被配置为从检测单元 2000接收所存储的信息。对于Ti(Ii)中的每个帧间变换，特征分数计算单元4130计算特征分数Fi (η)。组中具有更多特征点或组中具有更多瓦片的变换Ti(Ii)将具有更高的特征分数Fi(Ii),并分别导致更高的特征组变换质量Qfp (η)或瓦片组变换质量Qme (η)。在一些实施例中，每个瓦片中特征点的数量可以支配基于特征的变换Ti(Ii)的特征分数Fi(Ii)15在其他实施例中，瓦片的数量可以支配基于瓦片的变换Ti(Ii)的特征分数Fi(Ii)15每个瓦片中特征点的数量和/或每个瓦片向量组中瓦片的数量可以从检测单元2000直接获得。范围分数计算单元4140计算基于特征和基于瓦片的变换Ti (η)的范围分数Ei (η)。 在该实施例中，为了计算范围分数Ei (η)，范围分数计算单元4140被配置为从检测单元 2000接收所存储的信息。具有覆盖更大区域的特征点或瓦片的变换被更高地评分。特征点的数量和每个瓦片向量组中瓦片的尺寸可以从检测单元2000直接获得。类似地，每个基于特征的运动向量组的水平和垂直范围可以从检测单元2000直接获得。覆盖更大范围的特征组或覆盖更大范围的瓦片组将具有更高的范围分数Ei (η)，并分别导致更高的特征组变换质量Qfp (η)或瓦片组变换质量Qt& (η)。在该实施例中，为了计算范围分数Ei (η)，范围分数计算单元4140被配置为从检测单元2000接收所存储的范围信息。在已经通过集合变换评分和选择电路4200选择了集合基本变换CP (η)之后，大对象排除硬件决定所选择的集合基本变换CP(η)是或不是移动到并覆盖整个场景的大移动对象。当实行这样的排除时，创建单位变换(UT)以代替并充当用于DIS系统的补偿电路的所选基本变换P (η)，从而稳定化视频不会不正确地或不必要地跟随大移动对象的变换。根据本发明构思的一个实施例，移动对象排除方法基于两个观察被激活预先存在的固定背景(由Ρ(η)的历史指示)；以及固定背景和大移动对象共存的时间段。移动对象排除方法可以高效地处理下面的情形场景具有几乎固定的背景，并且有或没有移动对象；大移动对象进入场景，并逐渐覆盖更大区域；大移动对象覆盖整个场景；大移动对象开始离开场景，并且背景开始重新出现；大移动对象最终移开。移动对象分析器检测排除情形IF 连续的固定MV组存在指示具有几乎固定的背景的现有场景；连续的相似速度的MV组的增加计数指示对象正移动到场景中；趋势继续，并且在时间η连续的相似速度的MV组覆盖整个景象并且固定MV组停止且存在，然后检测到排除情形。排除决定ED(n)被发送到排除变换选择器。排除变换选择器选择集合基本变换 CP (η)，除非ED (η)指示排除情形，在该情况下则基本变换P (η)被设置为单位变换。因此， 即使大移动对象覆盖整个场景，稳定化视频也将不会不正确地跟随大移动对象。图6是图1的DIS电路的轨迹单元(TU) 4000的移动对象排除电路4400的示例实现的框图，所述移动对象排除电路4400包括被配置为执行图1的DIS电路的DIS方法中的步骤的移动对象分析器4470和排除变换选择器4480。移动对象排除电路4400包括用于存储场景历史的多个组历史电路4410、4420、 4430、4440，和移动对象分析器4470。在任何时候，仅存在一个指定的固定组(^，但可以存在零个或多个现有的运动组(\，其中k > 0。还可以存在新的运动组&，其将在下一帧期间成为k个(例如，k(n+l) = k(n)+l)现有的运动组之一。固定组具有相关联的组历史GHy k个现有的运动组中的每一个具有相关联的组历史GHk、以及相关联的运动向量Mko每个现有的运动组具有运动向量Mk，其基本上是对于在时间上直至帧η的每个相似速度的Ti(Ii)的低通滤波ITi(Ii) I。每个新的运动组&具有相关联的组历史GHN(n)，该组历史GHN(n)在其创建的时候被初始化。移动对象分析器4470接收由多个组历史GHtl(Ii) ,GH1 (n),. . . GHj (η)和GHk (η)以及GHn (η)组成的场景历史，并依据它们计算排除决定ED (η)。排除变换选择器4480在单位变换(UT)和集合基本变换CP (η)之间执行选择。排除变换选择器4480由排除决定ED (η)控制，使得在ED (η)被激活时，输出基本变换P (η) 被设置为单位变换(UT)，否则被设置为集合基本变换CP (η)。单位变换(UT)将造成补偿单元在补偿期间什么都不做。因此，当运动对象分析器4470检测到“大移动对象”情形并激活排除决定ED (η)时，排除大移动对象的变换作为所选择的基本变换P (η)，否则其可能被选择为基本变换P (η)。在实行中，在检测到大移动对象时，该大移动对象的变换从由补偿单元6000执行的补偿中排除。
图7是图示在图6的移动对象排除电路4400的细节的混合框图-流程图，所述移动对象排除电路4400被配置为执行在图1的DIS电路的DIS方法中的步骤。图7图示了分别对应于固定组(V现有的运动组&和新创建的运动组Giw的代表性的组历史电路4410、 4430和4440的细节。由图6的移动对象排除电路4400的移动对象分析器4470从组历史电路(例如 4410)接收的组历史(例如H0(Ii))中的每个包括两种历史数据对应于每组的选择历史 (例如SH0 (n))和存在历史(例如EH0 (n))。移动对象分析器4470如下地检测排除情形在固定变换(^(η)的组历史GHtl中指示的连续存在和选择指示了对于许多帧已经存在具有几乎固定背景的场景；特定运动组 Gk的组历史GHk中连续存在的逐渐增加的数量指示了对象正移动进入场景中；如果存在和运动的该趋势继续，并且如果在时间(η)没有固定变换加入(V而是所选择的变换P (η)加入(iK，则检测到大移动对象情形，并且被激活的排除决定ED (η)被发送到基本变换选择器 4160-2。如果ED (η)指示大对象排除情形，则基本变换P (η)被设置为单位变换，否则根据 Ti (η)的一些评分函数来选择基本变换P (η)。组历史电路4410、4420、4430、4440中的每一个对于用于与所接收的帧间变换 Ti(Ii)之一相关的每个组的三种历史信息执行存储和处理。三种组历史是选择历史、存在历史和运动历史。在视频稳定化启动时，创建具有空历史的固定组(V固定组的运动历史可以被省略，并且假定为空。在DIS视频处理过程期间动态创建或删除运动组(G1,
Gk · · · ？ Gn) ο参考图7，分别对应于固定组(V第N现有的运动组(ik和新创建的运动组Gn+1的组历史电路4410、4430和4440提供组历史GHp GHk和GHN+1。运动组(；。的组历史电路4410包括用于存储选择历史SHtl和存在历史EHtl的历史Q 存储器。存在历史EHtl对于每个过去帧是一比特的值，其指示在先前的帧中帧间变换Ti (η) 是否已经加入到运动组(V选择历史SHtl对于每个过去帧是一比特的值，其指示在先前的帧中加入到运动组的帧间变换Ti (η)是否被选择为基本变换P (η)。固定组(；。的组历史电路4410省略运动历史M0,因为对于包括所选择的基本变换 P(η)的任何Ti(Ii)是否加入固定组(；。的决定(决定步骤dS4418)取决于将1\(11)与阈值让屯而不是与可变的基于历史的运动向量Mtl比较，因为组被认为是固定的。在视频稳定化启动时，创建具有空历史的固定组(V如果在帧η期间，Ti (η)满足Τ“η) | < thdQ (决定步骤dS4418的“是”分支)，则该Ti (η)加入(；。；更新存在历史EHtl以指示在帧η处存在固定变换；以及如果P (n)=该Ti (η)，则更新选择历史SHtl以指示选择该Ti (η)。否则(决定步骤dS4418的“否”分支)，在帧期间，在现有的运动组G1到&中的每一个中，将不满足Τ I < thd0的那些Ti(Ii)与组历史进行比较。运动组(}k的组历史电路4430包括用于存储选择历史SHk、存在历史EHk和运动历史Mk的历史k存储器。存在历史EHk对于每个过去帧是一比特的值，其指示在先前的帧中帧间变换Ti(Ii)是否已经加入到运动组(\。选择历史SHk对于每个过去帧是一比特的值，其指示在先前的帧中加入到运动组的帧间变换Ti (η)是否被选择为基本变换P (η)。
运动历史Mk存储指示组(ik的整体运动的向量Mk的信息。每个Ti(Ii)还映射到运动向量M。每个运动组映射到运动向量Mk。设ITi(Ii)I是1\(11)的运动向量的大小，
Ti (n) -Mk I是Ti (η)从现有的运动组的运动向量Mk的偏离，1彡K彡N，其中N是当前现有的运动组的数量。N个现有的运动组中具有最小| \(η)-Μτ|的运动组指示对于Ti (η) 的最佳匹配组(^。这一加入决定可以通过将ITi(Ii)-M^与预定的阈值thdi进行比较来确定。因此，例如，在决定步骤dS4438中，如果对于特定的J以及在1和N之间的所有K， Ti(Ii)-MjI 彡 |Τ -ΜΚ|，并且 ITi(Ii)-M1I〈thdi，(决定步骤 dS4438 的“是”分支)，则该 Ti(Ii)加入现有的运动组(V如果对于所有K，Ti(Ii)-MjI ( Τ _ΜΚ|，并且 Ti (n)-MjI < ^d1,(决定步骤 dS4438的“是”分支)，则:Ti(Ii)加入调整运动历史Mj以反映新加入的Ti (η)； 更新存在历史E^以指示在帧η处存在运动组；如果P (η)=该Ti(Ii)，则更新选择历史3均，以指示选择该Ti (η) =P (η)。另一方面，如果在对于Ti (η)并且对于所有现有的运动组(G1到(iN)重复了决定步骤dS4438之后，没有一个Mk满足I Ti (n) -Mk | < ^d1 (决定步骤dS4438的“否”分支)，则该 Ti (η)加入新创建的运动组Gn+1 (步骤S4449)。如果该Ti (η)加入新创建的运动组GN+1 (步骤 S4449)，则Ti (η)加入新创建的运动组Gn+1 ；将运动历史Mn+1设置为该Ti (η)的运动向量；初始化存在历史ΕΗν+1以指示在帧η处存在新的运动组Gn+1 ；和如果P(n)=该1\(11)，则更新选择历史SHN+1，以指示选择该凡⑷=P(n)。在扩展的时间段(帧)内没有任何Ti(Ii)加入其中的( 到中的)任何运动组将被删除。图8是在时间η所捕获的视频帧、以及与从基本变换Ρ(η)计算的补偿变换C(n) 相对应的补偿窗口的视图，图示了要降低的垂直过偏移vl。在依据本发明构思的示例实施例的数字图像稳定化(DIQ方法的步骤中，补偿窗口的垂直过偏移被测量为vl。如图8所示，与所捕获的视频帧的补偿变换C(n)相对应的补偿窗口可以具有垂直过偏移(v0或vl)、水平过偏移(uO或ul)、或者垂直过偏移(vO或vl)和水平过偏移(uO或 ul)两者。潜在的过偏移(v0，vl，U0，和ul)中的每个可以由补偿变换C(η)的平移分量、由补偿变换C(n)的旋转分量、或者由补偿变换C(n)的平移分量和旋转分量两者引起。期望通过基于偏移历史自适应地对基本变换P(η)进行滤波来输出用于每个所捕获的视频帧的滤波后的补偿变换C(n)，从而使(v0，vl，U0，和ul)的过偏移最小化。图9是依据本发明构思的另一示例实施例的执行数字图像稳定化(DIS)方法的 DIS电路的框图。该DIS电路包括检测单元(DU) 2000，其分析所接收的急跳视频并且输出帧间变换Ti(Ii)；包括基本变换选择电路0100，4200，4400)和自适应补偿滤波器8000的轨迹单元(TU) 4000，基本变换选择电路0100，4200，4400)在Ti (η)中标识基本变换P (η)，且自适应补偿滤波器8000将P(η)滤波为补偿变换C(n)；以及补偿单元(⑶)6000，其通过使用C(n)修改急跳视频帧而输出稳定化视频。
基本变换选择电路0100，4200，4400)通过标识由不稳定相机引起的全局运动的帧间变换Ti (η)且同时忽略场景中移动对象的帧间变换Ti (η)而选择帧间变换Ti (η)之一作为基本变换P (η)，并且输出其选择作为所计算的基本变换P (η)。因此，DIS电路的基本变换选择电路0100，4200，4400)选择并输出帧间变换Ti (η)之一作为所计算的基本变换 P (η)。通过自适应地对基本变换P (η)进行滤波而获得补偿变换C (η)。补偿变换C (η)是对稳定化视频图像(补偿窗口)相对于对应的输入视频图像的几何关系的描述。该描述可以包含位置、角度、比例尺(scale)等。一些常用补偿变换是相似变换和仿射变换，然而本发明构思不局限于这些变换，我们将使用仿射变换来例示根据本发明构思的示例方法。基本变换选择电路0100，4200，4400)依序将连续帧序列的所选基本变换 P (η--), p(n-l), P (η)输出到自适应补偿滤波器8000，其中，基本变换PP (η-⑴) 指示使用递归(无限冲击响应IIR)滤波器。自适应补偿滤波器8000从由基本变换序列 P(n--),...，P(n-1)，P(n)表示的抖动运动中估计想要的相机轨迹，并且根据所估计的相机轨迹输出补偿变换C (η)。稳定化视频的视觉效果高度取决于自适应补偿滤波器8000的质量。传统的轨迹估计方法包括运动向量积分和卡尔曼滤波器等。然而，这些以及其它的传统轨迹估计方法不能在宽范围的急跳视频特性中很好地执行。在本发明构思的示例实施例中，使用自适应补偿滤波器来滤除急跳运动，并且产生稳定化视频。图10是图9的DIS电路的轨迹单元(TU)4000中、被配置为基于补偿窗口偏移历史而自适应地对基本变换P(η)进行滤波的自适应补偿滤波器8000的框图。自适应补偿滤波器8000基于连续帧序列的所接收的基本变换P (η-P(n-l)，P (η)，对基本变换 P (η)进行滤波并输出自适应滤波后的补偿变换C (η)。自适应补偿滤波器8000包括强补偿滤波器(SC)8700、弱补偿滤波器(WC)8600、用于输出控制信号E(n)的自适应滤波器控制电路8500、以及偏移调制的混合器8200。SC滤波器是高度频率选择的高阶线性时不变数字滤波器，对于非常急跳的输入视频而言是有效的。另一方面，弱补偿(WC)滤波器具有更低频率选择特性，其将以更不稳定的输出视频为代价产生更少的补偿窗口过偏移。自适应补偿滤波器8000有效地是SC滤波器和WC滤波器的组合。偏移调制的混合器8200基于由自适应滤波器控制器8500在补偿窗口偏移历史的基础上生成并输出的控制信号E (η)，执行SC滤波器和WC滤波器输出的混合。图11是图9的DIS电路的轨迹单元(TU)4000的自适应补偿滤波器8000的第一示例实现8000-1的框图。示例自适应补偿滤波器8000-1包括强补偿滤波器8700和弱补偿滤波器8600、以及到自适应滤波器控制器8500-1的偏移计算器8510的反馈环。参考图11，强补偿滤波器(SC)8700是高阶线性时不变递归数字滤波器，并且具有高度频率选择的输出F(n)，所述SC 8700具有处于大约1. OHz的截止频率以及锐滚降 (sharp rolloff)以获得视觉良好的稳定化视频。弱补偿滤波器(WC) 8600是高阶或更低阶线性时不变递归数字滤波器。WC 8600具有更低频率选择的输出G(η)，其具有稍稍高于IHz的截止频率(例如，处于1.2Hz)以及软滚降以减少过偏移。自适应补偿滤波器8000-1的偏移调制的混合器8200-1执行偏移调制的自适应滤波，该偏移调制的自适应滤波根据标量控制信号E(n)组合F(n)和G(n)。SC滤波器的输出 F(η)和WC滤波器的输出G(η)两者都是中间补偿变换，并且偏移调制的混合器8200-1的输出C(n)也是补偿变换。偏移调制的混合器8200-1输出C(n) = (1_E(η))*F(η)+E(η)*G(η)， 其中Ε(η)是在范围W，l]中的非线性规格化标量控制信号，“*”是在标量和变换之间的乘法运算，其映射到一个变换；而“ + ”是两个变换之间的加法运算，其映射到一个变换。因此， 在该示例实施例中的自适应补偿滤波器8000-1是SC滤波器和WC滤波器的线性组合。因此，自适应补偿滤波器8000-1有效地是依据线性叠加原理而具备已知的稳定特性的高阶线性时变递归数字滤波器。线性组合的补偿变换C(n)由基于补偿窗口偏移历史的标量控制信号E(n)来控制。历史中的小偏移产生小的E(n)并且由此对于当前帧η增加SC滤波器的影响，而历史中的大偏移产生接近1的Ε(η)并且由此对于当前帧η增加WC滤波器的影响。存储历史中的中度偏移分配SC滤波器和WC滤波器的成比例的影响。因此，SC滤波器在小偏移时提供主要贡献，并且在滤除高频抖动时非常有效。由于WC滤波器在更大偏移时贡献更多，因此大大减少了过偏移的出现。自适应补偿滤波器 8000-1对于大移动输入视频防止过度过偏移，同时保持极好的视频稳定化特性。参考图11，自适应滤波器控制器8500-1包括偏移计算器8510、四个偏移历史积分器8520、以及调制因子计算器8530-1。自适应滤波器控制器8500-1是反馈环的一部分。从之前的自适应补偿滤波器输出C (η-⑴)，...，C(n-2)，C(n-l)中推导偏移计算器8510的输出E (η)，其中η代表其时间序列特征，从而E (η)和C(n)不形成不可实现的无延迟环。因此，示例实施例适合用于实时视频稳定化，并且包括具有可预测特性的因果线性时变滤波
ο偏移计算器8510接收由偏移调制的混合器8200-1输出的补偿变换C (η)的反馈。 偏移计算器8510包括uO计算器、ul计算器、ν0计算器和vl计算器，以便基于补偿窗口的四个角点的位置(参见图8)分离地计算每帧的左、右、底和顶侧的偏移。自适应补偿滤波器8500-1保持在使用递归滤波器过程中的偏移历史。偏移计算器8510的每侧偏移计算器的输出然后被偏移历史积分器(其实质上是低通递归滤波器) 单独地时间积分。每个低通递归滤波器(HuO，Hul, HvO, Hvl)的输出然后被馈送给调制因子计算器8530-1。调制因子计算器8530-1选择四个时间积分的偏移幅度(HuO，Hul, HvO, Hvl)中的最大值，并且生成具有连续范围W，l]的非线性规格化标量控制信号E (η)。调制因子计算器8530-1输出非线性规格化标量控制信号E(η)以便调制F(n)和 G(η)的混合。Ε(η)的小值暗示小偏移历史，E(η)的大值暗示大偏移历史。因此，在标量控制信号E(η)的控制下生成并输出补偿变换C(η)的F(n)和G(n)的混合是基于补偿窗口偏移历史的。该示例实施例提供了没有频率过偏移的良好的稳定化， 并且具有已知的频率响应和可预测的稳定化特性，适合用于实时视频稳定化。上面公开的主题被考虑为是例示性的而不是局限性的，所附权利要求想要覆盖所有这种修改、改进、以及落入本发明构思的真正精神和范围内的其它实施例。因此，对于法律所允许的最大程度，本发明构思的范围应由所附权利要求及其等同物的最广可允许解释来确定，而不应被上面具体描述局限和限制。
权利要求
1.一种处理视频数据的方法，包括从由相机捕获的视频帧中的运动向量的变换中，标识表示要补偿的相机移动的补偿变换；以及基于非线性规格化的时间积分的偏移，自适应地对该补偿变换进行滤波以防止补偿窗口的过度过偏移。
2.如权利要求1所述的方法，其中，自适应滤波包括以下的标量组合高度频率选择的高阶线性时不变递归滤波器，其执行对补偿变换的强补偿(SC)滤波；以及更低频率选择的高阶或更低阶线性时不变递归滤波器，其执行对补偿变换的弱补偿 (WC)滤波。
3.如权利要求2所述的方法，其中，自适应滤波包括基于小偏移历史，为当前帧分配SC滤波器的更大影响；以及对于大偏移历史，为当前帧分配WC滤波器的更大影响。
4.如权利要求3所述的方法，还包括为中度偏移的偏移历史分配SC滤波器和WC滤波器的成比例的影响。
5.如权利要求1所述的方法，其中，非线性规格化的时间积分的偏移包括在偏移历史的至少四个时间积分的偏移幅度中选择最大幅度M(n)。
6.如权利要求5所述的方法，其中，从小偏移到大偏移的历史中，E(η)是在范围
RWM(Ii)的非线性规格化值。
7.如权利要求2所述的方法，其中，SC滤波被设置处于比为WC滤波所设置的截止频率更低的截止频率。
8.如权利要求7所述的方法，其中，SC滤波包括使用比WC滤波的滚降更尖锐的滚降。
9.如权利要求7所述的方法，其中，SC滤波具有处于大约IHz的截止频率。
10.如权利要求3所述的方法，其中，为SC滤波和WC滤波分配影响是基于在从零到一的连续范围内的非线性规格化值。
11.一种图像处理电路，包括接收器，被配置为接收图像数据帧；存储器，被配置为存储具有第一运动特性的第一组运动向量、以及具有第二运动特性的第二组运动向量；变换选择器，被配置为从第一组运动向量和第二组运动向量中标识表示要补偿的相机移动的补偿变换；以及自适应滤波器，被配置为基于非线性规格化的时间积分的偏移来防止补偿窗口的过度过偏移。
12.如权利要求11所述的电路，还包括混合器，被配置为组合更高频率选择的高阶线性时不变滤波器、以及更低频率选择的更低阶线性时不变滤波器，所述更高频率选择的高阶线性时不变滤波器执行对补偿变换的强补偿(SC)滤波，而所述更低频率选择的更低阶线性时不变滤波器执行对补偿变换的弱补偿(WC)滤波。
13.如权利要求12所述的电路，其中，自适应滤波器还被配置为基于小偏移的偏移历史，为当前帧分配SC滤波器的更大影响；以及对于大偏移的偏移历史，为当前帧分配WC滤波器的更大影响。
14.如权利要求13所述的电路，还包括为中度偏移的偏移历史分配SC滤波器和WC滤波器的成比例的影响。
15.如权利要求12所述的电路，还包括调制因子计算器，其计算偏移历史的四个时间积分的偏移幅度中的最大幅度以便输出非线性规格化的信号。
16.如权利要求15所述的电路，其中，所述非线性规格化的信号被输入到混合器中，以便利用在从零到一的范围内的标量值来调制SC滤波器和WC滤波器的混合。
17.如权利要求13所述的电路，其中，SC滤波器被设置处于比为WC滤波器所设置的截止频率更低的截止频率。
18.如权利要求17所述的电路，其中，SC滤波器包括使用比WC滤波器的滚降更尖锐的滚降。
19.如权利要求11所述的电路，其中，自适应滤波器被配置为通过使用递归滤波器来保持偏移历史。
20.如权利要求11所述的电路，其中，第一组运动向量的变换表示所选特征点的运动， 而第二组运动向量的变换表示从视频帧划分出的非重叠瓦片的运动。
21.一种相机，包括图像传感器，被配置为捕获图像；图像数据电路，被配置为将所捕获的图像转换为图像数据帧；图像处理电路，包括接收器，被配置为接收图像数据帧；运动向量检测器，被配置为检测对象的运动并生成运动向量； 变换选择器，被配置为从所述运动向量的变换中标识表示要补偿的相机移动的补偿变换；自适应滤波器，被配置为对补偿窗口的过偏移进行滤波；以及补偿单元，被配置为基于补偿变换和自适应滤波器的输出而调节所捕获的图像。
22.如权利要求21所述的相机，还包括编组电路，被配置为将运动向量编组到至少两组中的一组，所述至少两组包括特征点组和瓦片组，所述瓦片组包括从视频帧划分出的非重叠瓦片。
23.如权利要求21所述的相机，其中，变换选择器被配置为基于从历史、运动、特征、和范围分数中选择的多个评分函数来标识所述补偿变换。
24.如权利要求21所述的相机，其中所述自适应滤波器被配置为基于非线性规格化的时间积分的偏移来防止补偿窗口的过度过偏移。
25.如权利要求21所述的相机，其中，所述自适应滤波器被配置为通过使用递归滤波器来保持偏移历史。
全文摘要
一种数字图像稳定化方法，包括基于为瓦片运动向量(瓦片MV)组的多个变换和特征点运动向量(FP MV)组的多个变换中的每个变换评分，来选择表示视频帧的场景中的固定/背景对象的基本变换；以及基于固定(背景)组的历史和多个运动向量组中每个的历史，排除大移动对象。
文档编号H04N5/14GK102572278SQ20111043917
公开日2012年7月11日 申请日期2011年12月23日 优先权日2010年12月23日
发明者E.S.K.刘 申请人:三星电子株式会社