专利名称：基于多尺度不变特征的实时运动估计方法
技术领域：
本发明属于图像处理技术的应用领域，涉及视频稳像中的一种运动估计方法。该方法通过帧间运动估计和运动补偿能够消除视频图像序列中因拍摄载体的不规则运动给图像造成的影响，实时输出稳定的视频图像，以此提高视频设备的图像质量和系统后续处理的准确性。
背景技术：
随着光学成像设备在交通、医疗、精确制导、军事侦察和航天领域等的广泛应用，对成像质量的要求越来越高。通过手持摄像设备、车载摄像系统、飞机、导弹以及卫星等摄影平台所采集到的视频图像信号不仅包含摄像机载体的平稳运动，还包含了很多随机运动，如低频抖动、高频振动以及不规则的晃动、摄动等，涉及的运动类型主要有旋转、平移和尺度等。由于这种随机运动的存在，造成了拍摄视频的不稳定，严重影响视觉效果，不利于观察和监视，容易造成操作者的视觉疲劳甚至情绪变化，同时也不利于后续处理。
为避免上述不规则的随机运动对光学设备成像质量的影响，就需要判断出拍摄载体本身的平稳运动和随机抖动，利用图像处理的方法消除随机抖动，只保留摄像机本身的平稳运动，使输出的图像序列清晰稳定，这就是电子稳像技术。这种稳像方法具有成本低、效果好和应用灵活等特点，已获得广泛关注，在国内外都有较快发展。
电子稳像技术中的一项关键技术就是帧间运动估计方法。通过估计相邻帧或多帧图像之间的运动参数来描述摄像机的平稳运动轨迹，这些运动关系包括平移、旋转或者尺度变换等。
在帧间运动估计方面，常见的帧间运动关系包括以下四个方面(1)平移运动，即摄像机相对于拍摄场景做水平或升降运动，这是最常见的帧间运动形式。在实际拍摄的视频中平移运动可能是平稳运动也可能是随机抖动；(2)旋转运动，摄像机在拍摄过程中相对于拍摄场景发生了旋转运动，在实际拍摄的视频中由于拍摄平台的晃动经常会出现这种情况，除了特殊拍摄需求外这种随机运动必须消除；(3)尺度变化，当摄像机相对于拍摄场景做推拉运动时，目标的成像尺寸和分辨率都会发生变化。尺度变化通常是平稳运动；(4)视角变化，当摄像机相对于拍摄场景作近距离扫视运动时，图像会存在视角变化，对于帧频较慢的摄像机帧间视角变化较为明显。视角变换通常也作为平稳运动处理。因此，帧间运动关系中尺度变换和视角变换通常都是摄像载体的平稳运动，不存在补偿问题。但是，对于存在尺度和视角变换关系的视频图像来说很难用普通图像匹配算法估计出这种复杂的运动关系下的旋转和平移变换参数。为了能够有效的对具有这种复杂运动关系的视频图像进行稳像处理，必须考虑图像配准算法在这四种运动关系存在情况下的匹配性能和鲁棒性。
目前电子稳像中的帧间运动估计方法主要有两类基于灰度信息的方法和基于特征的方法。
(1)采用灰度信息的方法。这类方法直接利用图像的像素灰度信息进行匹配。这类方法以频域的傅里叶相位相关法和光流场方法等为代表。其中傅里叶相位相关方法是一种有效的图像配准方法，公开号是CN101281650A的中国发明专利申请就是基于这种方法进行帧间运动参数估计的。通过扩展相位相关方法，还可以对两图像间的旋转和尺度变化进行配准。这类方法是目前最常用的图像匹配方法，对估计平移运动可以获得较好效果，但对于带有旋转和尺度变换的图像，算法计算非常复杂，难以满足实时性的要求，而且无法处理视点存在变化的图像，同时，对于噪声和运动模糊等现象自适应能力较差。因此，这种基于灰度信息的图像配准方法比较适用于简单运动的参数估计。
(2)基于特征的方法。近年来基于特征的图像配准方法发展迅速，利用的特征信息主要包括颜色特征、角点特征、线特征等传统特征描述，也包含近年来被广泛应用的不变特征描述方法。基于不变特征的方法对于具有平移、旋转、尺度和一定视角变换的图像都可以获得较好的匹配效果，同时，通过鲁棒算法剔除不稳定的特征点，保证在图像质量较差的情况下依然能够得到较好的结果。其中以SIFT算法最具代表性，该方法匹配精度高，自适应能力强，对于多种复杂条件下图像匹配都能获得较好的结果，但是该方法最大的缺点是特征维数大、计算速度较慢，很难应用在实时性要求较高的场合。通常情况下，SIFT算法处理一帧图像需要数秒时间。目前，已经有一些采用特征点和特征描述的电子稳像方法公开，其中参考文献SIFT Features Tracking for Video Stabilization(一种SIFT特征跟踪的视频稳像)公布于14th International Conference on Image Analysis and Processing(ICIAP2007)，就是采用SIFT特征，但该方法不能实现实时的电子稳像。公开号是CN101316368的中国发明专利申请也采用特征点跟踪的方法，且实时性较好，但该发明仅采用颜色特征描述特征点，无法很好地适应尺度和视角等变换。
上述运动估计方法存在两方面问题，一是较为简单的特征匹配方法无法配准具有复杂变换关系的图像，例如旋转、尺度、仿射和视角变换等；二是能够对具有复杂运动关系的图像进行有效匹配的方法复杂度都较高，存在运算速度过慢或鲁棒性不强的缺陷，噪声、图像模糊或环境光照变化等都很容易受造成算法失败。然而，在实际应用过程中，拍摄环境和拍摄载体复杂多变，随意性较大，所以帧间运动关系往往比较复杂，可能同时包含了平移、旋转、尺度甚至视角变换，同时光学设备对电子稳像的实时性要求也比较高，因此，目前常用的运动估计方法还无法满足稳像技术中对图像配准精度、实时性和鲁棒性的多重需求。
综上所述，目前现有的电子稳像技术对于摄像载体任意无规则运动的稳像能力还存在很多缺陷和不足，特别是对于具有复杂运动关系同时伴随着大量随机抖动的视频图像，还无法兼顾帧间运动估计精度与实时性之间的矛盾，无法输出真实反映摄像载体运动情况的稳定视频图像，图像可能存在模糊、跳动等现象，给后续图像处理工作带来难度。
发明内容
本发明的目的是针对上述传统电子稳像技术中运动估计方法的缺陷和不足，设计了一种矩形窗口极性布局的特征描述子，利用梯度方向直方图来描述每个窗口，同时用积分图原理实现梯度方向直方图的快速计算，这种算法能够克服传统匹配方法在处理复杂图像能力与实时性之间的矛盾，不仅对于平移、旋转、尺度和视角等任意无规则的复杂运动参数有较高的估计精度，而且能够满足实时计算的要求，从而可较好解决复杂环境下随机拍摄的视频图像序列的运动参数估计问题。
本发明所采用的技术方案是 本发明一种基于多尺度不变特征的实时运动估计方法，其关键技术主要包括特征点的提取、梯度方向直方图的快速计算、极性布局特征描述子构建以及特征点匹配。
本发明一种基于多尺度不变特征的实时运动估计方法，其具体的实现步骤为 步骤1构造高斯尺度空间，提取特征点 (1)构造高斯金字塔 设原始帧图像为I(x，y)，则图像的高斯金字塔可定义为 L(x，y，σ)＝G(x，y，σ)*I(x，y) 其中*是卷积操作，是高斯核函数，通过选用不同σ来构造图像的高斯金字塔。
由于两帧之间尺度变化范围有限，因此本发明构造两层高斯金字塔。设M是原始图像的宽度，N是原始图像的高度，金字塔两层的大小分别为(M，N)和(M/2，N/2)，金字塔每层由5个尺度组成，每个尺度由参数为σ，1σ，2σ，3σ，4σ的高斯核进行平滑。
(2)构造高斯差分尺度空间(DoG) 高斯差分尺度空间(DoG)通过金字塔中相邻尺度的图像相减得到 D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ) (3)提取局部极值点作为特征点 在DoG空间中将局部极值点作为候选特征点。这里局部是指特征点所在层以及相邻两层中与当前坐标相邻的26个邻域点。即由公式表示如下 若
或者
则点(x，y)作为候选特征点，记录其坐和标(x，y)尺度kσ。
步骤2构建极性布局特征描述子 (1)梯度和梯度方向的计算 在高斯尺度空间，像素的梯度和梯度方向通过下式计算 其中m(x，y)是梯度幅值，θ(x，y)是梯度方向，L(x，y)表示高斯尺度空间中某一层在(x，y)处的像素值。
(2)梯度方向直方图的积分图像计算 梯度方向直方图是一种图像区域的梯度统计特征。梯度方向直方图以梯度方向为横坐标，纵坐标则表示相应梯度方向上幅值的累加。积分图像是一种快速计算矩形区域数据之和的方法，由下式定义 由直方图的计算方法可知，一个区域的直方图是对该区域内每个像素直方图的累加，因此，矩形区域的梯度方向直方图可以通过积分图快速计算。对于n柱梯度方向直方图，每个柱都独立生成一幅积分图。
图像的梯度方向直方图第i柱积分图由下式计算 (3)选择局部窗口大小 局部窗口大小由特征点所在尺度决定，公式如下 其中m是放大倍数。
(4)计算局部窗口主方向 为了使描述子具有旋转不变性，通常将选择一种具有方向性的特征，该特征最显著的方向定义为该描述子的主方向，按照主方向实现对描述子方向上的归一化。在计算上，可按照主方向旋转局部区域的像素或者旋转描述子空间布局。
本发明中，每个特征点都有独立的主方向，主方向通过特征点邻域梯度方向直方图确定。定义特征点的主方向是梯度方向直方图幅值最大的柱所在的方向。通过旋转描述子空间布局和改变梯度方向直方图的排列顺序，得到旋转角度上的归一化。
(5)选择描述子空间布局形态及描述子计算 与传统描述子不同，本发明将特征点的邻域划分为9个正方形区域，每个区域为
大小的正方形，其中W是(3)中定义的窗口大小。这9个子区域的布局方式如下 ④中心子区域矩形中心与特征点重合，该区域具有标号9； ⑤其他8个子区域平均分布于中心子区域周围，子区域矩形中心位置与特征点位置的距离为W。这些子区域按照顺时针标号为1到8，并定义区域1为0度主方向； ⑥确定局部窗口的主方向，将各个矩形子区域以特征点所在位置旋转相应角度，直到标号1子区域的角度与主方向相同； 每一个矩形子区域D的梯度方向直方图的第i柱可通过公式计算 HistogramD(i)＝di(x4，y4)+di(x1，y1)-di(x2，y2)-di(x3，y3) 其中(x1，y1)是小区域左上角坐标，(x2，y2)是小区域右上角坐标，(x3，y3)是小区域左下角坐标，(x1，y1)是小区域右下角坐标。
对梯度方向直方图进行顺序移位，直到第一个柱梯度幅值最大。将每个子区域的梯度方向直方图按照编号顺序组合构成该特征点的描述子。如果梯度直方图有8个柱，则每一个特征点描述子有72维。
步骤3特征点匹配和帧间运动模型计算 (1)按照距离准则计算两帧匹配点对 设dm(i)和dn(i)分别是两幅图像中的两个特征点描述子，则当满足 时，认为两个特征点是相匹配的，其中Threshold是事先给定的阈值。
(2)将匹配点对代入仿射变换模型，计算帧间运动模型 相邻帧图像像素的位置关系可以近似通过仿射变换来描述，两幅图像之间的关系可以表示为公式 I(p)～I′(Tp′) 其中T是3×3仿射变换矩阵。p和p′是相邻帧的齐次坐标p＝[x，y，1]，p′＝[x′，y′，1]。获得了两帧中匹配的点对后，可使用最小二乘法求解出方程中的变换矩阵T。仿射变换模型具有6个参数，最少需要3对匹配点，但为了保证算法的鲁棒性，所采用的特征点对数量应大于3。
步骤4当前帧输出位置相对于窗口中心点偏移量的计算 输出窗口与输出图像位置的距离代表了当前帧输出位置相对于窗口中心点的偏移程度。为保证图像参数运动曲线平滑，所有帧都执行偏差纠正，将departure(n)定义为输出视频与输出窗口偏差的绝对值饱含垂直偏差、水平偏差和角度偏差，偏差纠正的权重由参数γ决定 0≤γ≤1 式中threshold定义了边界阈值，即偏离限制在threshold范围内，且threshold>abs(departure)×2。threshold的取值与图像的大小有关。
每一帧图像输出的位置由下式给出xn＝xn-1+err(n) 其中xn是当前帧相对于输出窗口的绝对位置参数，xn-1是上一帧相当于输出窗口的绝对运动参数，err(n)是两帧图像之间的运动补偿函数，当前帧图像输出的位置就是运动参数xn的输出值。其中err(n)定义为 err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n) 上式是运动轨迹平滑公式，wrap(n)是系统抖动参数，motion(n)是摄像机理想运动参数，departure(n)是输出窗口偏离参数。补偿函数每一项都通过系数α，β，γ控制，从而正确找到视频中每一帧的稳定输出位置。
本发明一种基于多尺度不变特征的实时运动估计方法，具有如下的优点和功效 (1)本发明设计了矩形区域极性布局的特征描述子，提高了运动参数的估计精度。
本发明设计了矩形区域极性布局的特征点描述方法，具有较高特征描述能力和较高匹配精度。能够对存在平移、旋转、尺度和一定视角变换的复杂运动关系进行准确匹配。可稳定的匹配复杂视频的帧间运动关系，为稳定复杂帧间运动关系提供前提。
(2)、由于本发明利用了极性描述子的子窗口分散特性，因此可以通过积分图方法快速计算梯度方向直方图，使算法具有较高实时性。此外，由于子窗口之间没有相关性，因此可通过旋转子窗口实现描述子的旋转不变特性，避免了旋转图像时较大运算量。
(3)、本发明采用根据特征点的尺度动态确定子窗口大小的策略，以此提高算法对于尺度变换和视角变换的适应能力。
(4)、本发明采用了特征点匹配的运动估计方法，对视频中出现的模糊、噪声等常见现象有较好鲁棒性。一方面本发明的矩形极性布局描述子本身对噪声有一定鲁棒性，另一方面，可以快速检测到并剔出错误的匹配点对，从而保证算法的稳定。特征点匹配方法可较好的对匹配中的错误进行判断，便于选择合适的决策从错误的系统状态中恢复，从而可以构造稳定的电子稳像系统。
将本发明提出的基于多尺度不变特征的运动估计方法与运动补偿方法相结合，就可以使电子稳像系统具备稳定复杂运动视频和实时处理的能力。
图1本发明稳像过程中运动参数估计的流程示意图 图2本发明的极性布局特征描述子的构建示意图 图3本发明中特征描述子主方向指定与描述子方向的归一化示意图 图4本发明提取的特征点示意图 图5本发明对视频中相邻帧图像的匹配示意图 图6本发明对随机拍摄的存在无规则运动的视频图像序列的稳像效果图 具体实施例方式 参见图1所示，本发明一种基于多尺度不变特征的实时运动估计方法，其具体实施步骤如下 步骤一构建高斯尺度空间，提取特征点 设原始帧图像为I(x，y)，通过以下步骤提取特征点 (1a)构造高斯金字塔 图像的高斯金字塔可定义为 L(x，y，σ)＝G(x，y，σ)*I(x，y) 其中*是卷积操作，是高斯核函数，通过选用不同σ来构造图像的高斯金字塔。
由于两帧之间尺度变化范围有限，因此本发明构造的两层高斯金字塔。设M是原始图像的宽度，N是原始图像的高度，金字塔两层的大小分别为(M，N)和(M/2，N/2)，金字塔每层由5个尺度组成，每个尺度由参数为σ，1σ，2σ，3σ，4σ的高斯核进行平滑。
(1b)构造DoG空间 高斯差分尺度空间(DoG)通过金字塔中相邻尺度的图像相减得到 D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)对于每层5个尺度高斯金字塔，每一层可以构造3层高斯差分尺度空间。
(1c)提取局部极值点作为特征点 在DoG空间中的局部极值点将作为候选特征点，局部是指特征点所在层以及相邻两层中与当前坐标相邻的26个邻域点。即由公式表示如下 若
或者
则点(x，y)作为候选特征点，记录其坐和标(x，y)尺度kσ。
步骤二构建极性布局特征描述子 参照图2，按照如下步骤构建极性布局特征描述子。
(2a)计算每一点的梯度和梯度方向 在高斯尺度空间，像素的梯度和梯度方向通过下式计算 其中m(x，y)是梯度幅值，θ(x，y)是梯度方向，L(x，y)表示高斯尺度空间中某一层在(x，y)处的像素值。
(2b)计算梯度方向直方图积分图像 梯度方向直方图是一种图像区域的梯度统计特征。梯度方向直方图以梯度方向为横坐标，纵坐标则表示相应梯度方向上幅值的累加。积分图像是一种快速计算矩形区域数据之和的方法，由下式定义 由直方图的计算方法可知，一个区域的直方图是对该区域内每个像素直方图的累加。因此，矩形区域的梯度方向直方图可以通过积分图快速计算。对于n柱梯度方向直方图，每个柱都独立生成一幅积分图。
图像的梯度方向直方图第i柱积分图由下式计算 本发明选择了8个柱。
(2c)选择局部窗口大小 局部窗口大小由特征点所在尺度决定，公式如下 其中m是放大倍数。
(2d)计算局部窗口主方向 参照图3，确定局部窗口的主方向。为了使描述子具有旋转不变性，通常将选择一种具有方向性的特征，该特征最显著的方向定义为该描述子的主方向，按照主方向实现对描述子方向上的归一化。在计算上，可按照主方向旋转局部区域的像素或者旋转描述子空间布局。
本发明中，每个特征点都有独立的主方向，主方向通过特征点邻域梯度方向直方图确定。定义特征点的主方向是梯度方向直方图幅值最大的柱所在的方向。通过旋转描述子空间布局和改变梯度方向直方图的排列顺序，得到旋转角度上的归一化。
(2e)选择描述子空间布局形态并计算描述子 与传统描述子不同，本发明将特征点的邻域划分为9个正方形区域，每个区域为
大小的正方形，其中W是(2c)中定义的窗口大小。这9个子区域的布局方式如下 ①中心子区域矩形中心与特征点重合，该区域具有标号9 ②其他8个子区域平均分布于中心子区域周围，子区域矩形中心位置与特征点位置的距离为W。这些子区域按照顺时针标号为1到8，并定义区域1为0度主方向。
③按照(2d)方法确定主方向，将各个矩形子区域以特征点所在位置旋转相应角度，直到标号1子区域的角度与主方向相同。
每一个矩形子区域D的梯度方向直方图的第i柱可通过公式计算 HistogramD(i)＝di(x4，y4)+di(x1，y1)-di(x2，y2)-di(x3，y3) 其中(x1，y1)是小区域左上角坐标，(x2，y2)是小区域右上角坐标，(x3，y3)是小区域左下角坐标，(x1，y1)是小区域右下角坐标。
对梯度方向直方图进行顺序移位，直到第一个柱梯度幅值最大。将每个子区域的梯度方向直方图按照编号顺序组合构成该特征点的描述子。如果梯度直方图有8个柱，则每一个特征点描述子有72维。
步骤三特征点匹配和帧间运动模型计算 (3a)按照距离准则计算两帧匹配点对 设dm(i)和dn(i)分别是两幅图像中的两个特征点描述子，则当满足 时，认为两个特征点是相匹配的，其中Threshold是事先给定的阈值。
(3b)将匹配点对代入仿射变换模型，计算帧间运动模型 相邻帧图像像素的位置关系可以近似通过仿射变换来描述，两幅图像之间的关系可以表示为公式 I(p)～I′(Tp′) 其中T是3×3仿射变换矩阵。p和p′是相邻帧的齐次坐标p＝[x，y，1]，p′＝[x′，y′，1]。获得了两帧中匹配的点对后，可使用最小二乘法求解出方程中的变换矩阵T。
步骤四计算当前帧输出位置相对于窗口中心点的偏移量 输出窗口与输出图像位置的距离代表了当前帧输出位置相对于窗口中心点的偏移程度。为保证图像参数运动曲线平滑，所有帧都执行偏差纠正，将departure(n)定义为输出视频与输出窗口偏差的绝对值饱含垂直偏差、水平偏差和角度偏差，偏差纠正的权重由参数γ决定 0≤γ≤1 式中threshold定义了边界阈值，即偏离限制在threshold范围内，且threshold>abs(departure)×2。threshold的取值与图像的大小有关。
每一帧图像输出的位置由下式给出xn＝xn-1+err(n) 其中xn是当前帧相对于输出窗口的绝对位置参数，xn-1是上一帧相当于输出窗口的绝对运动参数，err(n)是两帧图像之间的运动补偿函数，当前帧图像输出的位置就是运动参数xn的输出值。其中err(n)定义为 err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n) 上式是运动轨迹平滑公式，wrap(n)是系统抖动参数，motion(n)是摄像机理想运动参数，departure(n)是输出窗口偏离参数。补偿函数每一项都通过系数α，β，γ控制，从而正确找到视频中每一帧的稳定输出位置。
图4是利用本发明设计的矩形窗口极性布局的特征描述子提取的特征点示意图，图中特征点用数字序号标注。图5是采用本发明提出的多尺度不变特征的运动估计方法对相邻帧视频图像的匹配结果，其中匹配成功的点用对应序号标注，其中在图5(a)和图5(b)以相同序号标注的特征点代表了成功匹配的匹配点对，该实验中共有10对成功匹配的点对，满足运动参数准确估计的要求。
本发明对视频序列的稳定效果可以通过试验情况进一步说明。图6给出了本发明提出的运动参数估计方法对于存在复杂运动关系的视频图像的稳像效果，其中图6(a)(c)是原始抖动视频，图6(b)和(d)是利用本发明提出的基于多尺度不变特征的运动估计方法结合了运动补偿方法后获得的稳定的视频图像序列，在原始视频图像序列中不仅包含了平移、旋转、尺度和视角变换，还包含了多种运动状态和拍摄方式，对于这样复杂的视频运动图像序列，本发明方法能够获得准确的运动参数，进而获得理想的稳像效果，并且达到实时的速度要求。本发明在VC2005下对于176×144的视频图像序列实现了每秒30帧的稳像速度。
权利要求
1.一种基于多尺度不变特征的实时运动估计方法，其特征在于其实现步骤如下
步骤1构造高斯尺度空间，提取特征点
(1)构造高斯金字塔
设原始帧图像为I(x，y)，则图像的高斯金字塔可定义为
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中*是卷积操作，是高斯核函数，通过选用不同σ来构造图像的高斯金字塔；
(2)构造高斯差分尺度空间即DoG
高斯差分尺度空间即DoG通过金字塔中相邻尺度的图像相减得到
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)
(3)提取局部极值点作为特征点
在DoG空间中将局部极值点作为候选特征点，记录其坐和标(x，y)尺度kσ；
步骤2构建极性布局特征描述子
(1)梯度和梯度方向的计算
在高斯尺度空间，像素的梯度和梯度方向通过下式计算
其中m(x，y)是梯度幅值，θ(x，y)是梯度方向，L(x，y)表示高斯尺度空间中某一层在(x，y)处的像素值；
(2)梯度方向直方图的积分图像计算
梯度方向直方图是一种图像区域的梯度统计特征；梯度方向直方图以梯度方向为横坐标，纵坐标则表示相应梯度方向上幅值的累加；积分图像是一种快速计算矩形区域数据之和的方法，用下式定义
由直方图的计算方法可知，一个区域的直方图是对该区域内每个像素直方图的累加；因此，矩形区域的梯度方向直方图可以通过积分图快速计算；对于n柱梯度方向直方图，每个柱都独立生成一幅积分图像的梯度方向直方图第i柱积分图由下式计算
(3)选择局部窗口大小
局部窗口大小由特征点所在尺度决定，公式如下
其中m是放大倍数；
(4)计算局部窗口主方向
为了使描述子具有旋转不变性，选择一种具有方向性的特征，该特征最显著的方向定义为该描述子的主方向，按照主方向实现对描述子方向上的归一化；在计算上，可按照主方向旋转局部区域的像素或者旋转描述子空间布局；
每个特征点都有独立的主方向，主方向通过特征点邻域梯度方向直方图确定；定义特征点的主方向是梯度方向直方图幅值最大的柱所在的方向，通过旋转描述子空间布局和改变梯度方向直方图的排列顺序，得到旋转角度上的归一化；
(5)选择描述子空间布局形态及描述子计算
将特征点的邻域划分为9个正方形区域，每个区域为
大小的正方形，其中W是(3)中定义的窗口大小，这9个子区域的布局方式如下
①中心子区域矩形中心与特征点重合，该区域具有标号9；
②其它8个子区域平均分布于中心子区域周围，子区域矩形中心位置与特征点位置的距离为W，这些子区域按照顺时针标号为1到8，并定义区域1为0度主方向；
③确定局部窗口主方向，将各个矩形子区域以特征点所在位置旋转相应角度，直到标号1子区域的角度与主方向相同；
每一个矩形子区域D的梯度方向直方图的第i柱可通过公式计算
HistogramD(i)＝di(x4，y4)+di(x1，y1)-di(x2，y2)-di(x3，y3)
其中(x1，y1)是小区域左上角坐标，(x2，y2)是小区域右上角坐标，(x3，y3)是小区域左下角坐标，(x1，y1)是小区域右下角坐标；
对梯度方向直方图进行顺序移位，直到第一个柱梯度幅值最大，将每个子区域的梯度方向直方图按照编号顺序组合构成该特征点的描述子；
步骤3特征点匹配和帧间运动模型计算
(1)按照距离准则计算两帧匹配点对
设dm(i)和dn(i)分别是两幅图像中的两个特征点描述子，则满足
时，认为两个特征点是相匹配的，其中Threshold是事先给定的阈值；
(2)将匹配点对代入仿射变换模型，计算帧间运动模型
相邻帧图像像素的位置关系近似通过仿射变换来描述，两幅图像之间的关系用下式表示
I(p)～I′(Tp′)
其中T是3×3仿射变换矩阵，p和p′是相邻帧的齐次坐标p＝[x，y，1]，p′＝[x′，y′，1]；获得了两帧中匹配的点对后，使用最小二乘法求解出方程中的变换矩阵T；
步骤4当前帧输出位置相对于窗口中心点偏移量的计算
输出窗口与输出图像位置的距离代表了当前帧输出位置相对于窗口中心点的偏移程度；为保证图像参数运动曲线平滑，所有帧都执行偏差纠正，将departure(n)定义为输出视频与输出窗口偏差的绝对值饱含垂直偏差、水平偏差和角度偏差，偏差纠正的权重由参数γ决定
0≤γ≤1
式中threshold定义了边界阈值，即偏离限制在threshold范围内，且threshold>abs(departure)×2；threshold的取值与图像的大小有关；
每一帧图像输出的位置由下式给出
xn＝xn-1+err(n)
其中xn是当前帧相对于输出窗口的绝对位置参数；xn-1是上一帧相当于输出窗口的绝对运动参数；err(n)是两帧图像之间的运动补偿函数，当前帧图像输出的位置就是运动参数xn的输出值；
其中err(n)定义为
err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)
上式是运动轨迹的平滑公式，wrap(n)是系统抖动参数，motion(n)是摄像机理想运动参数，departure(n)是输出窗口偏离参数，补偿函数每一项都通过系数α，β，γ控制，从而正确找到视频中每一帧的稳定输出位置。
全文摘要
一种基于多尺度不变特征的实时运动估计方法，其方法步骤为①构造高斯尺度空间，提取局部特征点；②构建矩形窗口极性布局的特征描述子；③特征点匹配和建立帧间运动模型；④计算当前帧输出位置相对于窗口中心点偏移量。该运动估计方法具有尺度、视角和旋转的自适应特性，能够对存在平移、旋转、尺度和一定视角变换等复杂运动关系的图像进行准确匹配，具有较高实时性。这种估计方法对视频中出现的模糊、噪声等常见现象有较好鲁棒性，对于任意无规则的复杂运动参数具有较高的估计精度，与基于运动状态识别的运动补偿方法结合，就可以实现复杂环境下任意随机拍摄的视频图像序列的稳像要求，并达到实时输出稳定视频的目的。
文档编号H04N5/14GK101521740SQ20091008105
公开日2009年9月2日 申请日期2009年4月1日 优先权日2009年4月1日
发明者赵丹培, 昊 冯, 姜志国, 萌 安 申请人:北京航空航天大学