专利名称：数字图像稳定设备和方法
技术领域：
本发明构思这里涉及数字图像稳定(DIS)，而且更具体地，涉及检测、选择、和分组用于数字图像稳定的特征点的方法。
背景技术：
数字照相机、数字摄像机和包括这样的摄像头的手持设备常常用来在摄像头在人类操作员的手中操作时捕获图像或视频。因此，在捕获图像或视频时摄像头可能在操作员手中摇晃或抖动。该抖动可以包括水平分量、垂直分量、和旋转分量。旋转可以沿与图像捕获电路的聚焦平面垂直的轴，或者沿与图像捕获电路的聚焦平面平行的轴，或者沿在垂直轴与平行轴之间歪斜的轴。抖动可以使得手捕获的视频让观看者分心或迷惑，因此期望使用数字电路来数字估计摄像头轨迹(即，在每对连续帧之间检测的抖动)并且从相同场景的视频帧的序列中过滤该抖动。用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的序列中过滤由摄像头轨迹造成的抖动的电路可以包含在摄像机本身中，并且在存储捕获的视频帧之前(例如，如果摄像机包括实时MPEG编码器则在MPEG编码之前或在其期间) 被激活以实时取消抖动。替换地，用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的存储序列中过滤抖动的电路可以是由实现数字图像稳定(DIQ方法的软件控制的通用微型计算机，或者可以是专用硬件，诸如嵌入在优化用于执行数字图像稳定(DIQ方法的ASIC(专用集成电路)中的MPEG视频编码器。通过稳定的、固定或移动摄像机产生的视频在捕获的视频中主要包含平滑的运动 (平移、旋转)。另一方面，不稳定的摄像机产生贯穿视频图像中具有高频抖动(平移和/ 或旋转)的视频。从物理成像设备捕获的数字图像序列常常显示不希望的高频抖动运动。图像序列中呈现的抖动运动的量取决于图像捕获设备相对于捕获序列中的对象的物理性质。景深和成像器的底座的不稳定性(取决于底座的重量、惯量、平衡)组合以产生不希望的抖动全局运动。数字图像稳定(DIQ系统首先估计不希望的(无意的)运动，然后对图像序列施加校正。稳定视频的视觉效果高度依赖于摄像头轨迹估计的质量。数字图像稳定(DIS)算法使用有效跟踪的特征点来估计两个连续帧之间的抖动运动。数字视频稳定采用硬件和/ 或软件方法，用于从包含由不稳定摄像机造成的不期望抖动运动的不稳定的视频中产生空间稳定的视频。在传统DIS技术中，通过分析场景中不同的点的运动矢量来检测摄像头运动。但是运动矢量可以由对象运动以及摄像头运动引起。存在这样的函数，其提供帧的每个像素的数字分数，指示该点作为在时间相邻的帧中能够检测的特征点有多合适。这样的函数的一个示例是哈里斯角点检测器(Harris Corner Detector)。然而，特征点的幅度对于图像的不同部分通常很不同。DIS方法可以采用全局阈值与每个像素的数字分数进行比较，这并不必然导致特征点的最优分布。因此，在低对比度的区域(例如，无云的蓝天导致稀散的或没有特征点)中可能特征点太少，而在具有许多结构的区域中，特征点可能彼此过于接近。特征点的分布不当可能增加计算过于接近的特征点的冗余运动矢量的计算负担，并且可能无法提供准确的运动矢量。在数字图像稳定(DIS)方法的实施方式中，期望最小化计算开销以便减少电路的功耗和减少执行DIS方法所需的时间。还期望检测和测量摄像头的轨迹并准确地刻画抖动以使得可以从存储/显示的视频中正确地补偿和正确地取消抖动。在数学中，仿射几何是通过仿射变换(即，非单线性变换和转换)依然不改变的几何性质的研究。已经发展了被称为仿射矩阵的由数字系数定义的数学方程组来刻画在每对连续帧之间或在其各部分(例如，帧中的运动对象)之间检测的运动的横向(上/下)、旋转、和标量(例如，放大或缩小)。因此，抖动可以通过被称为主变换或全局变换的相对于场景中的任何实际固定对象(例如，岩石、桌子、停驻的汽车、高山、太阳)的第一仿射变换矩阵来刻画，同时帧中的任何运动对象(例如，鸟、人、球、移动的车)可以通过另外的仿射矩阵来刻画。主变换(主帧间变换)指示可能由用户的手抖动造成的摄像头运动，其可以通过检测与在时间t捕获的每个帧的实际固定对象关联的一个或多个兴趣点(称为“特征点”)、 然后在时间相邻帧(t+ι)中搜索相同的特征点、并且计算每个特征点的运动矢量来计算。 与特定对象关联(一起分组)的多个运动矢量然后被用于计算该对象的仿射变换，其根据仿射公式定义其检测的运动X, = SX 氺 x+ry 氺 y+txy' = rx 氺 x+sy 氺 y+ty可以使用在视频压缩领域中采用的各种搜索方法来计算连续帧之间特征点的运动矢量。这样的搜索方法可以在两个时间相邻帧中采用诸如绝对差值和(SAD)、平均绝对差值(MAD)、或平均平方差(MSE)的宏块的数学比较(例如，通过将当前帧中包含特征点的 8X8像素宏块与以特征点的位置为中心的参考帧(t+Ι)中的搜索区域中的多个8X8像素宏块进行比较来搜索参考帧(t+Ι)中特征点的位置)。在时间相邻帧(t和t+Ι)之间以特征点为中心的宏块的位移的测量的量和方向被称为特征点的“运动矢量”。在各种选择范围内使用块匹配算法(BMA)的现有技术的运动矢量估计方法在美国专利6，895，361(发明人 Yang)和7，680，186(发明人Lee)中描述，其通过引用合并于此。视频稳定算法可以消除抖动运动，同时保持用户有意的摄像头运动。通常，抖动是由手晃动和平台振动引起的，所述手晃动和平台振动将是更快的(即，更高频)和非线性的，而摄像头运动将是更慢的并且是线性的或单调的。全局运动(摄像头轨迹)矢量被包括在补偿变换P(n)的仿射变换参数中，所述补偿变换P(η)是使用匹配的特定点对在相邻帧之间估计的。用于补偿照摄像头抖动的补偿变换P(η)可以被特征化为与场景中任何实际固定对象(例如，岩石、桌子、停放的车辆、高山、太阳)相关的第一仿射变换矩阵。在几乎所有情况下，手晃动和平台振动可能导致视频帧的平移、旋转和缩放。为了对这些进行建模，需要六参数仿射变换。即使正确地产生了补偿变换Ρ(η)以便补偿无意的抖动运动，作为结果的补偿帧仍可能具有相对于捕获的输入视频帧的显著振荡移动，并且可能延伸超出在一些捕获的输入视频帧中可用的图像数据。这导致补偿窗口的过度偏离。
为了移除视频中的抖动运动，补偿单元裁剪掉每个输入视频帧的一些边界区域。 移除的边界区域的量可以被量化为裁剪率。大的裁剪率意味着边界处的更多区域被移除。 可以将输出视频帧建模为叠加在输入视频帧上的补偿窗口(参见，例如，图1)。补偿窗口可以相对于输入视频帧被旋转、偏移、缩放等。对于给定裁剪率，补偿窗口的移动的量被称为补偿窗口偏离。补偿窗口超出输入视频帧边界的移动被称为补偿窗口过度偏离。如果没有抖动(无无意的摄像头轨迹)，则预期(基于实际上固定的对象的特征点的)补偿变换P(n)在两个或多个连续帧的每个帧中处于相同位置(例如，UNITY)。如果有高频抖动，则期望产生具有降低程度或降低频率的补偿窗口过度偏离的空间上稳定的视频。因此，需要自适应地在不足的视频稳定和过度偏离之间进行平衡的滤波方法。
发明内容
本发明构思的一方面提供识别特征点、并导出由于全局移动或摄像头移动而以一致方式移动的特征点的运动矢量、同时准确用于DIS目的的高效率过程。用于DIS算法的良好特征点是当应用合适的运动估计算法时给出单值的运动矢量的点。为了识别图像中的特征点，应用于视频帧的像素的哈里斯角点检测器估计每个像素有多适合作为特征点。图像的不同区域具有识别的特征点候选者的不同密度。公开的光栅扫描顺序选择和拣选的方法基于视频帧的小区域(称为瓦片(tile))提供最终的特征点分布，其中特征点的最大数量随瓦片的亮度图像数据的方差σ 2线性增长。每个视频帧被划分为较小数量j Xk个瓦片。数量j Xk个瓦片可以从用于SD视频的4X4到用于HD视频的6X6或更大；在(4. . 8) X (4. . 8)的范围内的其他数量也是可能的并且可以是有益的。选择瓦片尺寸以使得独立移动的足够大的对象覆盖至少一个瓦片的大部分，从而可以捕获它们的运动用于DIS目的，同时忽略小对象的运动。具有更多感兴趣图像数据并且因而需要更多特征点的瓦片预期具有较高的方差 σ 2。特征点拣选算法找到特征点之间的可编程的最小距离但是需要最少的硬件存储器。分级运动估计算法可以用来估计从帧到帧的特征点移动，其中关于后一搜索级别的可编程运动范围是有意的小，从而优选大对象或全局移动而非局部移动。因此，最小化所需的操作数量，同时结果足够准确用于数字图像稳定应用。对于例如通过拣选算法选择的每个特征点，在使用的开始矢量的小范围中通过块匹配确定其运动矢量。开始矢量是包含当前特征点的瓦片和周围瓦片(例如，上、下、左、 右)的瓦片运动矢量。瓦片运动估计是导出特征点的运动矢量的过程的第一步。基于覆盖输入图像的中心部分的非重叠瓦片(例如，在特征点拣选算法中使用的相同瓦片)完成瓦片运动估计。对于每个瓦片的瓦片运动估计，在下采样图像上执行全块匹配搜索。当前帧通过用于标清(SD)视频的四到八或用于高清(HD)视频的八到十六的第二下采样系数fs2进行下采样。在该下采样域中，对每个瓦片完成全搜索块匹配并且存储瓦片矢量以备后用(例如，作为用于导出特征点的运动矢量的开始矢量)。将为每个瓦片估计一个运动矢量，以最低分辨率进行全搜索，通过下采样亮度数据的第二下采样系数fs2进行下采样，并且将产生最低SAD的运动矢量候选者分配到每个瓦片。根据实施例，对于边界瓦片，可以将搜索限制在可用的搜索区域，因此不会产生导致参考块(部分地)在搜索区域外部的运动矢量。相对于使用的分辨率，瓦片运动搜索将产生半像素精度矢量搜索区域将通过简单双线性插值进行上采样。这仅使用非常少的本地存储器，因此节约VLSI实施方式中的存储器和逻辑区域。本发明构思的一个方面提供数字图像稳定(DIQ方法，包括特征点运动矢量分组过程，用于基于特征点的运动矢量幅度比和它们的运动矢量之间的角度差来将特征点对分组。提供一种处理视频数据的方法，包括接收代表第一帧的第一图像数据；识别第一帧中的多个特征点；接收代表第二帧的第二图像数据；导出与每个特征点对应的运动矢量；选择运动矢量中的第一运动矢量作为当前矢量A，并且选择运动矢量中的第二运动矢量作为当前矢量B ；以及基于矢量A和矢量B的矢量幅度比和它们的角度差来比较矢量A和矢量 B0该方法还可以包括设置幅度比阈值和角度差阈值；以及如果矢量A和矢量B的矢量幅度比落入幅度比阈值内且它们的角度差落入角度差阈值内则将矢量A和矢量B分组在一起。根据另一个方面，包括如果它们的矢量幅度比落入幅度比阈值之外或如果它们的角度差落入角度差阈值之外则不将矢量A和矢量B分组在一起。根据本发明构思的实施例，提供一种视频处理电路，包括特征点电路，配置为识别第一帧中的多个特征点并为每个特征点导出第一帧与第二帧之间的运动矢量；配对控制器，配置为选择运动矢量中的一个作为当前矢量A (xa, ya)，并且选择运动矢量中的不同的一个作为当前矢量B(xb，yb)；幅度比比较器，配置为基于矢量A和矢量B的幅度比来比较矢量A和矢量B ；以及矢量角度比较器，配置为基于矢量A和矢量B的角度差来比较矢量A 和矢量B。根据示范性实施例，提供一种处理视频数据的方法，包括估计视频数据的第一帧中每个特征点的运动矢量；基于矢量幅度比和角度差将运动矢量分组为运动矢量组；以及选择包含代表第一帧的场景内固定对象的移动的运动矢量的组。该方法还可以包括使用下采样亮度数据估计从第一帧的一部分划分的多个瓦片的每个的运动矢量，并且选择具有最低绝对差值和(SAD)的瓦片运动矢量候选者；以及基于矢量幅度比和角度差将瓦片运动矢量分组为瓦片运动矢量组。根据本发明构思的实施例，提供一种摄像头，包括图像捕获电路，配置为捕获图像并且将多个图像转换为图像数据的第一帧和第二帧；以及视频处理电路芯片，包括特征点电路，配置为识别第一帧中的多个特征点并为每个特征点导出第一帧与第二帧之间的运动矢量；配对控制器，配置为选择特征点的运动矢量当中的每对运动矢量；幅度比比较器，配置为基于它们的矢量幅度比来比较每对运动矢量；以及矢量角度比较器，配置为基于它们的矢量角度差来比较每对运动矢量。本发明构思的一方面提供一种数字图像稳定方法，包括基于补偿窗口过度偏离的历史，自适应地滤波代表视频帧的场景中的固定/背景对象的主/补偿变换P(n)。本发明构思的一方面提供一种使用强补偿(SC)滤波器的高效且可预测的抖动消除方法。该SC滤波器是高频率选择性高阶线性时间不变数字滤波器。使用SC滤波器对非常抖动的输入视频的有效滤波暗示捕获的输入视频帧中补偿窗口的显著移动。对于给定裁剪率，补偿窗口的移动量被称为补偿窗口偏离。补偿窗口超出捕获的输入视频帧边界的移动被称为补偿窗口过度偏离。SC滤波器对于大移动输入视频的严格应用将以大量补偿窗口过度偏离为代价而产生非常稳定的输出视频。另一方面，具有更低频率选择特性的弱补偿 (WC)滤波器将以更不稳定的输出视频为代价而产生较少的补偿窗口过度偏离本发明构思的一方面提供一种自适应补偿(AC)滤波器，其被配置为对于大移动输入视频防止过量过度偏离，同时保持出色的视频稳定特性。在本发明构思的示范性实施例中，包括WC滤波器的因果线性时间不变滤波器补充SC滤波器，以便产生可预测的特性。可以基于在多个K帧上的补偿窗口偏离历史来控制组合WC/SC滤波器。历史中的小偏离允许SC滤波器对当前帧η的更大影响，而历史中的大偏离准许WC滤波器对于当前帧η的更大影响。历史中的中度偏离分配SC滤波器和WC滤波器的成比例的影响。本发明的另一方面提供一种数字图像稳定电路，其被适配为执行这里公开的DIS 方法。该电路可以被包括在摄像机本身中，并且被激活以在存储捕获的视频帧之前(例如， 如果摄像机包括实时MPEG编码器，则在MPEG编码之间或期间)实时地消除抖动。替换地， 用于估计连续视频帧之间的摄像头轨迹并从存储的视频帧序列中滤除抖动的DIS电路可以是由采用数字图像稳定(DIQ方法的软件控制的通用微计算机，或者可以是专用硬件， 诸如在被优化为执行数字图像稳定(DIS)方法的ASIC(专用集成电路)中实现的MPEG视频编码器。下面将参考附图更详细地描述本发明构思的示范性实施例。然而，本发明构思可以以不同形式来体现，并且不应被理解为限制于这里提出的实施例。相反，这些实施例被提供来使得本公开将是全面的和完整的，并且将本发明构思的范围完全传达给本领域技术人员。贯穿附图，相似数字指代相似元素。
包括附图以提供本发明构思的进一步的理解，并且合并和构成本说明书的一部分。
本发明构思的示范性实施例，并且与说明书一起用来解释本发明的原理。附图中图IA到IF是用于说明根据本发明构思的示范性实施例的数字图像稳定方法中的步骤的当前帧和参考帧、以及其选择的特征点和运动矢量的视图；图2Α是依据图IA到IF中说明的DIS方法中的步骤的包含图IA的当前帧Ft、并且划分为边界区域和核心区域中的jXk多个瓦片的图IE的捕获帧的图；图2B是依据图IA到IF中说明的DIS方法中的步骤的说明选择的、拒绝的、和取消的特征点的图2A的图像帧的核心区域中的一个瓦片的图；图3是根据本发明构思的实施例的配置为执行DIS过程的电路块的图；图4A和4B是用于执行图IA到IF中说明的DIS方法中的步骤的识别和选择图IA 和2A的图像帧的每个瓦片中的多个特征点的方法的流程图；图5是用于说明图IA到IF中说明的DIS方法中的运动矢量计算步骤的利用其上添加的瓦片运动矢量下采样的图IA的当前帧Ft的视图；图6是图5的下采样帧中的瓦片的一部分的视图，其说明使用图5的瓦片运动矢量作为用于块匹配搜索的开始矢量以计算图IA到IF中说明的DIS方法中使用的选择的特征点的运动矢量；图7是用于执行图IA到IF中说明的DIS方法中的步骤的计算图IA和2A的图像帧中选择的特征点的运动矢量的方法的流程图；图8A是当摄像头仅具有平移运动而没有旋转分量时在距摄像头相同距离的视频场景中相同的实际固定对象的两个特征点的运动矢量的图；图8B是当摄像头具有旋转分量时距摄像头相同距离的实际固定对象的两个特征点的运动矢量的图；图8C是当摄像头仅具有平移运动而没有旋转分量时距摄像头不同距离的相同的实际固定对象的两个特征点的运动矢量的图；图9A和9B是视频场景中实际固定对象的特征点的两对运动矢量的图，用于说明即使四个运动矢量的方向和幅度全部不同时每个对也可以具有相同的矢量幅度差；图10示出说明用于图IA到IF中说明的DIS方法中的特征点分组的角度差的间接测量的归一化矢量差的计算的三个矢量图；图11是用于执行图IA到IF中说明的DIS方法中图ID的矢量分组步骤的使用图 10AU0BU0C的归一化矢量差来间接测量图IA和2A的图像帧中选择的特征点的运动矢量之间的角度差的分组算法的流程图；图12是归一化矢量差(a-b)的幅度| (a_b) |与归一化矢量差(a-b)的幅度比b 作为角度差θ的函数的曲线图，其说明用于在图11的分组算法的步骤中使用近似的可用性；图13是包括配置为执行图11的特征点分组算法的分组算法电路1310的特征点分组电路的框图；图14是依据本发明构思的示范性实施例的执行数字图像稳定(DIS)方法的数字图像稳定(DIS)电路的框图；图15是图14的DIS电路中被适配为计算瓦片矢量组的仿射变换的检测单元的框图；图16是图14的DIS电路中被适配为基于为瓦片组变换和特征组变换Ti (η)评分而选择主(稳定/背景)变换P (η)的轨迹单元(TU)的框图；图17Α是被配置为执行图1的DIS电路的DIS方法中的步骤的组变换评分和选择电路的示范性实现的框图；图17Β是历史评分单元的示范性实现的框图；图18是集合变换评分和选择电路的示范性实现的框图；图19是图示移动对象排除电路的示范性实施例的框图；图20是图示根据本发明构思的实施例的处理步骤的流程图；图21是依据本发明构思的示范性实施例的数字图像稳定(DIS)方法的步骤中的捕获的视频帧、以及在其中计算的补偿窗口的视图；图22是执行DIS的数字图像稳定(DIS)模块的框图；图23是依据本发明构思的示范性实施例的自适应补偿滤波器模块方法的框图； 以及图M是依据本发明构思的自适应补偿滤波器模块的示意性框图。
具体实施例方式图IA到IF是用于说明根据本发明构思的示范性实施例的数字图像稳定方法中的步骤的当前帧和参考帧、以及其选择的特征点和运动矢量的视图。图IA示出场景的两个连续视频帧，当前帧Ft和参考帧Ft+1。场景包括例如山坡 (在前景中)、电线杆、高山、和太阳的固定对象、以及例如左上的鸟的运动对象。当前帧Ft 和参考帧Fw是具有较大面积的各个连续捕获帧的部分(如图IE所示)。较大的捕获帧是在数字图像稳定(DIQ之前通过图像传感器捕获的原始图像。由于由抖动运动造成的摄像头轨迹引起参考帧Fw相对于当前帧Ft旋转和平移。捕获帧(见图1E)的尺寸一般通过摄像机的物理图像传感器(未示出)的硬件尺寸预定。当前帧Ft和参考帧Fw的尺寸可以动态地选择以避免或最小化由于摄像头的抖动运动引起在捕获帧的边界外发生当前帧Ft的 “过度偏离”。图IB示出与场景中的实际固定对象和运动对象关联的当前帧Ft中的多个选择的特征点(圆形)。将当前帧Ft划分为多个矩形瓦片，每个瓦片包括至少一个选择的特征点。 可以通过执行图2A、2B和4A和4B中说明的方法的步骤、和/或通过图3的电路来识别和选择图IB所示的选择的特征点。当前帧和参考帧被存储在图3的电路的存储器350中，同时通过执行图2A、2B和4A和4B说明的方法的步骤来识别和选择图IB所示的选择的特征点ο图IC示出具有运动矢量(箭头)的当前帧Ft的每个选择的特征点。可以通过执行图6和7所示的方法的步骤来计算图IC所示的选择的特征点的运动矢量。图ID示出场景中的运动矢量已经被分组(例如，组A、组B、组C)。场景中的实际固定对象的运动矢量(组B和组C)是由摄像头移动(例如抖动)造成的。可以通过图 10AU0B和IOC以及图11所示的方法的步骤来执行图ID所示的选择的特征点的运动矢量的分组，其中基于使用幅度比和归一化矢量差的配对算法将运动矢量配对/分组(包括或排除)。图IE示出在由图像传感器(未示出)输出的较大的捕获帧的大背景中的参考帧 Ft+1。通过使用图ID所示的实际固定对象的组B和组C的运动矢量定义参考帧Fw的仿射系数来确定参考帧Fw的位置。可以使得在参考帧的边界外的捕获帧的图像数据对执行用于计算组B和组C的运动矢量的图6和7所示的方法的步骤的电路可用。图IF示出如果没有由图ID所示的实际固定对象的运动矢量指示的抖动摄像头运动则参考帧Fw在它本该由图像传感器(未示出)接收的位置。已经通过补偿电路(未示出)应用参考帧Fw的仿射系数以旋转和平移参考帧Fw来校正摄像头的抖动运动。特征点识别、拣选和分布图2A是依据图IA到IF中说明的DIS方法中的步骤的划分为边界区域和核心区域中的jXk多个瓦片的当前帧Ft (见图1E)以便于特征点的识别和拣选的捕获帧的图。边界区域与核心区域之间的边界线可以独立于接收的图像数据的内容由硬件或通过软件预先确定，同时当前帧Ft的边界可以基于由例如接收的图像数据内容指示的抖动摄像头运动的程度而动态地选择，以便防止或减少当前帧的过度偏离。因此，核心区域可以或可以不对应于图IA所示的当前图像帧Ft的尺寸和位置。
每个捕获的视频帧被划分为小数目的非重叠瓦片(例如，用于标清的4X4瓦片和用于高清的6X6或更多瓦片)，目的是算法上选择提供适合于数字图像稳定的良好特征点分布的特征点。图像的不同区域可以具有不同密度的合适的特征点。在极端情况下，帧的区域可能不具有任何合适的特征点，例如在无云的蓝天的情况下。在其他区域中，潜在的特征点也许非常稠密。当使用基于全局的阈值来识别和选择全部特征点时，特征点倾向于集中在图像的小区域中，导致差的DIS结果。依然期望在其中有更多结构的图像的区域中具有更多特征点，因为存在潜在上更感兴趣的运动。在这些密集的区域中，另一问题是如何保证并非所有特征点堆积在一起。因此本发明的一方面提供用于确保将用于DIS的特征点之间的最小距离(MIN_DIST)的高效率方法。为了 DIS算法的稳定性，尽可能广泛地分布特征点，同时限制特征点的总数量。特征点的“良好分布”可以表示如下其具有大的凸包；特征点彼此不太接近(MIN_DIST)；在具有较少的合适特征点的瓦片中，如果可能，则选择至少最小数量(mirufeatures)的特征点；以及，在具有更多的合适特征点的瓦片中，选择更多的特征点(max_num_features = min_features+max—plus_features* (tile_variance σ 2/total_variance)) 0基于瓦片的亮度方差ο2确定每个瓦片中特征点的最大数量(maX_nUm_ features)。在一个实施例中，每个瓦片中特征点的最大数量(maX_num_featureS)是每个瓦片的特征点的可编程的最小数量(mirufeatures)加上另外的特征点的可编程的最大数量 (max_plus_features)乘以特定瓦片的方差σ 2与瓦片方差的总和的比率的和。如果瓦片具有不同的尺寸则可以应用校正因子。因此，每个瓦片的最终选择的特征点的最大数量可以替换地为mirufeatures加上与瓦片的方差σ 2成比例、通过对应的瓦片权重归一化的var_ features的部分。可以给予边界瓦片较高权重，因为它们包括边界区域因此较大。在该替
换的情况下，给定瓦片的特征点的最大数量计算如下
MIX FEiTUlES ； ν λ F FEΙΤ Ε^ 1 「厂.. : -·'1
max—num—features =L.:,τλ ogi :了: f 巧t ·,因此，选择的特征点的最大数量(maX_num_featureS)并不在全部瓦片中保持恒定，也不在帧Ft与帧Fw之间保持恒定。在一个实施例中，每个瓦片中特征点的最大数量(maX_num_featureS)是每个瓦片中亮度数据的方差ο2除以总亮度方差的函数，需要预先计算每个瓦片的亮度方差ο2和帧的总方差。本领域普通技术人员不难理解其他函数也是可以的，例如涉及平均亮度值和瓦片方差O2的函数。为了识别特征点，可以使用诸如哈里斯角点检测器之类的角点检测器。哈里斯角点检测器评估图像的每个像素作为可能的特征点候选者。优选的特征点候选者是其中特征质量估计函数具有局部最大值的点。公开的特征点选择的方法通过将每个识别的特征点的结果值(估计该像素多么适合作为特征点)与LOCAL (局部)而非GLOBAL (全局)(全帧) 阈值进行比较来优化由哈里斯角点检测器识别的特征点的选择。因此，公开的方法考虑每个局部区域处的特征点密度乃至帧的不同部分中的对比度的差别。获得的特征点分布是基于视频帧的小区域，(例如，非重叠瓦片)，其中每个瓦片中的特征点的数量随瓦片的亮度图像数据的方差Q2线性增加。具有更多感兴趣图像数据且因而需要更多特征点的瓦片预期具有较高的方差σ2。图4Α和4Β是说明确定每个瓦片中特征点之间的最小距离(MIN_DIST)同时仅需要少量局部状态信息从而减少硬件实施成本的方法的流程图。图2B是图2A的图像帧的核心区域中的一个瓦片的图，其说明选择的(灰色)、拒绝的(白色)、以及先前选择但是取消的(灰色但是打叉)特征点。图2B中示出为小方块的特征点已经使用哈里斯角点检测器算法识别为特征点候选者，然后依据图4A和4B说明的方法的步骤按光栅扫描顺序被依次选择、拒绝或取消。对于每个瓦片选择识别的特征点候选者的最大数量(maX_num_featureS)。根据本发明的实施例，每个识别的特征点候选者可以通过如下例如以光栅扫描顺序选择i.识别的特征点候选者是其中哈里斯角点估计函数超过可编程阈值且其中该估计具有局部最大值的像素。为了满足局部最大值，探讨的位置处的值必须大于按扫描顺序在该像素之前的全部直接和对角邻居的值，但是仅大于或等于按扫描顺序在该位置之后的直接和对角邻居的值。这被实现以容纳相同值是相当类似的事实。ii. 一旦特征点候选者已经被识别，其将进入数据存储结构(例如，拣选列表， 但是其他实施方式也是可能的)，其可以为每个瓦片保留预定最大数量的特征点候选者， 例如，最大32、48、64、或更多的最终选择的特征点，前提是没有在可编程封锁范围(MIN_ DIST)内的具有更大的估计函数值的特征点候选者。为了说明的目的，选择最大值32来描述本实施例。iii.如果后来识别的特征点候选者已经存储在数据结构中，则将离该点比封锁范围(MIN_DIST)更近的具有更小估计函数值的全部其他特征点从数据存储结构中删除。为了说明的目的，假定瓦片(5，4)的特征点候选者的预定最大数量是四(S卩，max_ num_features = 4)。如图2A所示，瓦片(5，4)包含按光栅扫描顺序的四个最终选择的特征点(灰色)SFP3、SFP4、SFP5和SFP7、以及三个先前选择但是取消的(灰色但是打叉) 特征点SFP1、SFP2、和SFP6、加上两个拒绝的(从未选择的)特征点(白色)。取消的先前选择的(灰色但是打叉)的特征点SFP1、SFP2、和SFP6是这样的特征点候选者，它们在图4A和4B说明的方法的过程期间按光栅扫描顺序选择为特征点，但是随后取消作为特征点候选者，原因是它们处于稍后识别和选择为特征点候选者的较大的特征点候选者的排斥区0ON_DIST)内，或因为选择的特征点的列表已经满了(即，选择的特征点候选者的数量 SFP_count = max_num_features)并且较早选择的特征点在选择的特征点候的列表中是最小的并且小于稍后识别和选择的特征点候选者。取消的先前选择的特征点SFPl是依据图4A和4B说明的方法的步骤按光栅扫描顺序识别和选择的第一特征点。稍后，取消的先前选择的特征点SFP2被识别和选择，但是在选择SFP2之后，选择的特征点SFP3被识别并且大于SFP2。由于SFP2处于较大的、选择的特征点SFP3的排斥区(MIN_DIST)内，当选择SFP3时立即取消SFP2。在选择SFP3之后，在SFP3的排斥区(MIN_DIST)的右下角识别特征点候选者，并且因为该特征点候选者小于SFP3且处于它的排斥区内，其被立即拒绝(即，不选择)。然后，在刚好超出SFP3的排斥区(MIN_DIST)的下方识别特征点候选者，并且它被选择为SFP4(且后来没有被取消)。 然后，在SFP3的排斥区(MIN_DIST)的更下方的右边识别特征点候选者，并且它被选择为SFP5(且后来没有被取消，因为它虽接近但是没有处在SFP7的排斥区内)。然后，在SFP5 的排斥区(MIN_DIST)的下方的右边识别特征点候选者，并且它被选择为SFP6(且后来被取消，因为它处在较大的稍后选择的特征点SFP7的排斥区内)。当SFP6被选择时，选择的特征点的列表已经“满了(full)，，(例如，该瓦片的特征点的最大数量是4)，因为在选择的特征点SFPU SFP3、SFP4和SFP5的列表中SFPl是最小的，且因为SFP6大于SFP1，故取消 SFPl0然后，在SFP6的排斥区(MIN_DIST)的下方的内部识别特征点候选者，并且它被选择为SFP7(因为SFP6由于选择的特征点SFP7大于SFP6和/或因为列表已满等而被立即取消)。然后，在SFP7的排斥区(MIN_DIST)的下方的内部识别特征点候选者，并且它被拒绝 (未选择)，因为最后的特征点小于SFP7。有可能SFP7实际小于取消的SFP2 (如果SFP3比 SFP7大得多)，但是已经获得特征点的良好分布。可编程封锁范围(MIN_DIST)确保最终选择的特征点不过于紧密地簇拥在一起。可以在每个瓦片被下采样的下缩放(downscaling)过程期间确定每个瓦片的像素亮度方差ο2。每个瓦片中特征点的最大数量被确定为每个瓦片的特征点的可编程的恒定最小数量加上总可变特征点的数量乘以特定瓦片的方差ο 2与瓦片方差的总和的比率的和。可以添加校正因子用于边缘和角落瓦片区的区域，因为特征点也可以处于边界区域。对于每个瓦片，对于按光栅扫描顺序识别的每个特征点候选者，使用上述的拣选过程(即，选择、拒绝、取消)收集和存储多至最大数量的特征点候选者。最后，最终选择的每个瓦片的特征点候选者正是具有最高估计函数响应的特征点候选者，其最大数量被预定。可能有这样的实例，其中在给定瓦片中没有可用的足够的特征点候选者，诸如低对比度图像数据的瓦片，该情况下，产生的最终使用的特征点的数量将小于编程的最小数量(例如，小于min_ features 的数量)。因此，提供一种以光栅扫描顺序处理特征点候选者的方法，其中即使会在稍后识别和选择更多新特征点候选者也维持包括不过于紧密地簇拥在一起的至多计算的最大数量的选择的特征点的列表。该拣选特征点的光栅扫描顺序方法与从识别的特征点候选者当中区分优先次序并选择的各种其他方法相比具有减少存储器和计算的量的优点。例如，在替换实施例中，可以将瓦片的全部特征点候选者识别和存储在存储器中存储的大列表中， 然后仅在瓦片的全部特征点候选者已经被识别之后，可以应用数学拣选算法以找到不在集合任何其他成员的排斥区(MIN_DIST)内的最大特征点候选者的最优集合(具有预定最大尺寸)。然而，这样的拣选算法比图4A和4B的光栅顺序拣选(选择、拒绝、取消)方法(其示范性结果在图2B中示出)需要更多物理存储器(用于存储瓦片的识别的特征点候选者的整个列表)且潜在地需要更多的总的计算。图4A和4B的光栅扫描顺序拣选算法没有必要提供作为全局最优的选择的特征点的集合，因为特征点候选者可以由稍后被选择但是稍后将其取消的特征点候选者从列表中取消，相反它提供可以在具有有限本地存储的硬件中实现的算法。虽然图4A和4B的方法被描述为按照“光栅扫描顺序”(即，从左到右且从上到下)处理识别的特征点候选者，其为哈里斯角点检测器通常进行的像素顺序，该方法可以采用选择特征点候选者的任何序列，诸如非相邻特征点候选者的不连续序列，只要全部特征点被依次识别并最终拣选。图3是根据本发明构思的实施例的特征点电路的框图。特征点电路3000包括特征点选择器300和已选择特征点(SFP)运动矢量计算器700以及共享的RAM存储器350。特征点选择器300包括下采样器310、特征点候选者识别器330、和特征点候选者拣选器340。特征点候选者识别器330使用哈里斯角点检测器算法识别特征点候选者并且向特征点候选者拣选器340 —次一个瓦片地按光栅扫描顺序输出识别的特征点，例如，以像素位置和哈里斯角点响应(Harris Corner response)。特征点候选者拣选器340配置为执行如图IB和2B中进一步说明的图4A和4B的逐一拣选每个瓦片的识别的特征点的方法。 下采样器310包括瓦片-方差ο 2计算器320功能块，其根据以下公式计算图像帧的每个瓦片的瓦片-方差ο2:
权利要求
1.一种处理视频数据的方法，包括 接收代表第一图像帧的第一图像数据； 将第一图像帧的部分划分为多个瓦片； 识别每个瓦片中的特征点；接收代表第二帧的第二图像数据； 导出与识别的特征点对应的特征点运动矢量； 将运动矢量分组为具有相似的运动特性的运动矢量组； 选择包含代表第一图像帧的场景内的固定对象的移动的运动矢量的组；以及通过使用包括变换特征数量分数和变换范围分数中的至少一个的评分函数在第一组运动矢量的变换当中进行选择，来识别补偿变换。
2.如权利要求1所述的方法，进一步包括导出与每个瓦片对应的瓦片运动矢量。
3.如权利要求1所述的方法，其中基于矢量幅度比和角度差将运动矢量分组为运动矢量组。
4.如权利要求1所述的方法，进一步包括基于时间积分的偏离，自适应地对补偿变换进行滤波以防止补偿窗口的过量过度偏离。
5.如权利要求1所述的方法，进一步包括识别场景中的大移动对象并且排除与该大移动对象对应的补偿变换。
6.一种图像处理电路，包括接收器，被配置为接收图像数据的帧；存储器，被配置为存储具有第一运动特性的第一组运动矢量和具有第二运动特性的第二组运动矢量；变换选择器，被配置为从第一组运动矢量和第二组运动矢量中识别代表要补偿的摄像头移动的补偿变换；以及自适应滤波器，被配置为基于非线性归一化的时间积分的偏离来防止补偿窗口的过量过度偏离。
7.一种摄像头，包括图像传感器，被配置为捕获图像；图像数据电路，被配置为将捕获的图像转换为图像数据的帧；图像处理电路，包括接收器，被配置为接收图像数据的帧；运动矢量检测器，被配置为检测对象的运动并产生运动矢量；变换选择器，被配置为从运动矢量的变换中识别代表要补偿的摄像头移动的补偿变换；自适应滤波器，被配置为对补偿窗口的过度偏离进行滤波；以及补偿电路，被配置为基于补偿变换和自适应滤波器的输出来调整捕获的图像。
8.如权利要求7所述的摄像头，进一步包括分组电路，被配置为将运动矢量分组到包括特征点组和瓦片组的至少两个组中的一个组中，所述瓦片组包括从视频帧划分的非重叠瓦片。
9.如权利要求7所述的摄像头，其中，所述变换选择器被配置为基于从历史、运动、特征、和范围分数中选择的多个评分函数来识别补偿变换。
10.如权利要求7所述的摄像头，其中所述自适应滤波器被配置为基于非线性归一化的时间积分的偏离来防止补偿窗口的过量过度偏离。
11.如权利要求7所述的摄像头，其中，所述自适应滤波器被配置为通过使用递归滤波器来保持偏离历史。
全文摘要
一种数字图像稳定(DIS)方法，包括特征点拣选算法，用于选择最优特征点；计算高效的基于瓦片矢量的搜索算法，用于导出选择的特征点的运动矢量；以及特征点运动矢量分组/比较过程，用于基于它们的矢量幅度比和它们的角度差来将选择的特征点对分组。一种数字图像稳定方法，包括基于为瓦片运动矢量(瓦片MV)组的多个变换和特征点运动矢量(FP MV)组的多个变换中的每个变换评分，来选择代表视频帧的场景中的固定/背景对象的主变换；以及基于固定(背景)组的历史和多个运动矢量组中的每个的历史，来排除大的移动对象。
文档编号H04N5/14GK102572277SQ201110436828
公开日2012年7月11日 申请日期2011年12月23日 优先权日2010年12月23日
发明者E.S.K.刘, M.布朗, 朴圣秀 申请人:三星电子株式会社