用于视频稳定化的系统和方法

专利名称：用于视频稳定化的系统和方法
用于视频稳定化的系统和方法发明领域本发明涉及视频图像处理，更具体地，涉及用于使无意识图像运 动稳定化的视频处理。发明背景诸如数字摄像机的图像捕获设备正在日益并入到诸如无线通信设 备的手持设备中。用户可以在其无线通信设备上捕获视频并且经由基 站收发信机将文件发射到接收方。通常，图像序列包含序列中连贯帧 之间的多余的运动。特别地，手摇动将不需要的全局运动引入到通过 并入到诸如蜂窝电话的手持设备中的相机捕获的视频中。多余运动的 其他起因可包括图像捕获设备在采集序列过程中的振动、波动或微振 荡。无线移动设备技术持续发展，该设备日益变得更小。因此，由于 更加紧张的尺寸限制，诸如无线通信设备中包括的图像捕获设备可能 具有更加有限的处理能力和功能。尽管存在现有的补偿技术，其尝试 修正任何"抖动"，但是处理指令常常需要分析相对较大的数据量并 且需要较高的处理功率量。特别地，具有图像捕获设备的无线通信设 备的用户时常使其设备多任务化，因此利用处理器密集型补偿技术处 理视频可能使其他应用程序变慢，或者可能受到其他应用程序的阻碍。附图简述

图1示出了具有图像捕获能力的无线通信设备的示例性实施例； 图2呈现了帧序列中的单个帧；图3在时间上示出了两个序列帧，其均具有角区(corner sector); 图4是说明了如此处描述的方法的实施例的流程图；以及图5示出了评估和稳定化过程的步骤。
具体实施方式
公开了一种用于使由图像捕获设备生成的图像序列中的运动稳定 化的方法和电路。该图像序列是由帧的时间序列形成的，每个帧具有 区域。图像通常是像素的二维阵列。帧的区域通常可划分为前景区域 部分和背景区域部分。从帧的背景区域部分中选择用于评估的背景像 素域。背景像素域用于生成用于后继的稳定化处理的评估，其是在选 定帧中对应的子序列对之间计算的。在一个实施例中，确定帧序列中 的帧的角区(corner sector)，并且背景像素域被形成为对应于该角区。 基于帧序列中的帧的评估来施加稳定化处理。所描述的是补偿方法和 一种用于使非主动运动稳定化的电路，其使用全局运动向量计算，同 时使诸如摇拍的主动相机运动保持恒定。本公开被提供用于以有效的方式进一步解释实现和使用根据本发 明的多种实施例的最佳模式。本公开被进一步提供用于增强对本发明 的原理及其优点的理解和认识，而非以任何方式限制本发明。本发明 由后附权利要求唯一限定，其包括本申请的任何修改以及所要求的权 利要求的所有等效物。应当进一步理解，关系性术语的使用(如果有的话)，诸如第一 和第二、顶部和底部等，唯一地用于使一个实体或动作区别于另一实 体或动作，没有必要要求或意指该实体或动作之间的任何实际的该关 系或顺序。很多本发明的功能和很多本发明的原理最佳地通过软件程 序或指令和诸如专用集成电路(IC)的IC实现或者在其中实现。可以 预见，普通技术人员尽管可能付出很大的努力并且在由例如可用时间、 当前技术和经济考虑带来的许多设计方案中进行选择，但是在此处公 开的概念和原理的引导下，将容易地能够通过最少的实验生成该软件 指令和程序以及IC。因此，为了简化并且使混淆根据本发明的原理和 概念的任何风险最小，该软件和IC的进一步的讨论将限于与优选实施例中的原理和概念相关的基本要素。图1示出了具有图像捕获能力的无线通信设备102的实施例。设 备102表示包括通信设备的广泛的多种手持设备，该通信设备已被发 展用于在多种网络中使用。该手持通信设备包括例如，蜂窝电话、消 息传递设备、移动电话、个人数字助理(PDA)、并入了通信调制解 调器的笔记本计算机或膝上型计算机、移动数据终端、专用游戏设备、 并入了无线调制解调器的视频游戏设备等。任何该便携式设备可被称 为移动站或用户设备。此处，无线和有线通信技术包括传输高内容数 据的能力。例如，移动通信设备102可以提供互联网接入和多媒体内 容接入，并且还可以发射和接收视频文件。在移动电话相机中图像稳定化的施加可能不同于其在视频通信或 摄像放像机中的施加，这是因为电话相机由于具有小的显示器而具有 减小的图片尺寸，其由较少数目的像素、不同的帧速率和低计算复杂 度的要求组成。尽管此处参考手持无线通信设备讨论了图像捕获设备， 但是图像捕获设备同样可以应用于未并入通信能力(无线或其他通信 能力)的孤立的设备，诸如摄像放像机或数字相机。应当进一步理解， 图像捕获设备可以并入到可以应用本申请的另外类型的设备中。而且， 本申请可以应用于执行图像后捕获图像处理(post capture image processing)的、具有或不具有图像捕获能力的设备，诸如个人计算机， 其中图像序列可以下载到该设备上。用于形成视频的顺序图像和其他的显示标记可以显示在显示设备 104上。设备102包括诸如键盘106的输入能力、发射机和接收机 108、存储器110、处理器112、相机114 (图1中的箭头指出，用于相 机的孔位于设备102的相反侧)、和模块116，该模块116能够引导作 为硬件(即，逻辑门、顺序状态机等)或软件(即， 一个或多个预存 指令集等)的设备的至少某些方面的操作。下文结合图4的讨论详细 描述了模块116。尽管这些无线通信设备的元件被示出为该设备的部件，但是通过无线地或者经由导线向远离设备102的电子元件传输或 者自其接收，可以实现根据本公开的任何这些元件功能。所描述的方法和电路可应用于由图像捕获设备捕获的视频数据。 先前未根据此处描述的方法和电路进行处理的视频可被发送到接收 方，并且接收方可以将所描述的方法和电路应用于该未经处理的视频， 以便于使运动稳定化。因此，本方法可应用于任何阶段的视频文件。 在存储之前、在存储之后和在传输之后，本方法和电路均可以实现稳 定化。用于发射和接收视频的通信网络可以包括用于通过射频链路发射 数字数据的网络。该链路可以位于两个或更多个设备之间，并且可以 牵涉无线通信网络基础设施，其包括基站收发信机或者任何其他的配 置。通信网络的示例是电话网络、消息传递网络和互联网网络。该网 络可以包括陆线、无线电链路和卫星链路，并且为此目的可单独地或 者组合地用作蜂窝电话系统、互联网系统、计算机网络、消息传递系 统和卫星系统。仍然参考图1，如此处描述的，自动图像稳定化可以在获取图片 或视频时移除不需要的运动的影响(特别地，与人手的移动相关联的 抖动)。在没有来自例如三脚架的机械稳定化时，未能使手持的相机 保持于稳定位置产生了两种主要的影响。首先，当获取高分辨率的图 片时，图像捕获占用高达数秒，并且手摇动导致了模糊的图像。其次， 在拍摄视频时，手摇动产生了不需要的全局图片移动。不需要的图像运动可以表示为相对相机透镜主轴的转动和/或平 移。非随意的手移动的频率通常约为2 Hz。如下文详细描述的，当移 动对象位于稳定背景前方时，可以对视频背景执行稳定化。通过评估 背景而非图像序列的全部图像，以无意识运动为目标进行稳定化，并 且有意识(即所需)运动基本上不受影响。在另一实施例中，当对图像的中心部分执行稳定化时，可以对视频前景执行稳定化，其中在该 中心部分中实现了接近于完美的焦距对准。仍然参考图l，人的未经处理的图像118a被示出为显示在显示屏 幕104上。下面将提取的子图像的经处理的图像118b示出在显示屏幕 104上。经处理的图像118b示出了图像118a的外部边界已被消除。如 下文将更加详细讨论的，通过计算预期未移动的图像部分的位移，该 评估操作确定将施加的移位量，并且稳定化操作使顺序帧的图像移位， 因此消除了至少一部分外部边界。特别地，当图像组成包括中心对象时，如图像118a和118b示出 的，帧可以包括外部边界，由该外部边界形成缓冲区。该缓冲区可以 包括部分的或所有的外部边界。该缓冲区在下文中可被称为背景像素 域。当图像被移位以修正帧之间的无意识抖动时，缓冲区用于在稳定 化处理过程中提供图像信息，包括所需用于任何修正性平移的备用行 数据和列数据。在稳定化中，在跨越帧序列之间，以变化的程度地重新引入原始 形成外部边界120外的一部分缓冲区的数据，作为稳定化图像的一部 分。在计算图像的全局运动向量(下文描述)时，确定经调节的外部 边界的位置。在至少某些实施例中，通过改变从中读取图像数据的存 储器中的位置并且改变被读出用于显示图像数据的存储器量，可以执 行运动补偿(即，移位)。换言之，在通过改变较大的捕获图像中的 起始地址和显示图像范围来执行补偿时，发生稳定化。在比例调整图 像以填充显示器时，如图所示的结果是放大的图像118b。可替换地， 切除的稳定化图像可以縮放回显示器的原始尺寸，由此其呈现为如图 像118a所示的。图2示出了单个帧，其具有等于水平轴乘以垂直轴的区域202。 如上文讨论的，图像序列由帧的时间序列形成，每个帧具有区域。在组成上对应于图1中示出图像的图像中，帧的区域被划分为一个或多个前景区域部分204和一个或多个背景区域部分206。在所说明的实施 例中，前景像素域基本上对应于内部区域部分，而背景像素域基本上 对应于外部边界。然而，前景和背景可以倒转，或者并置，或者依赖 于图像组成具有任何配置。换言之，前景部分通常包括作为捕获图像 的主要对象的图像部分，并且更加可能在时间上顺序帧之间具有有意 的移动。背景部分通常包括稳定的或者以特意的速率摆拍的图像部分。对于评估和稳定化处理，可以通过不同的方式使背景区别于前景， 此处描述了许多该方式。在至少某些实施例中，通过隔离帧序列中的 帧的角区并且随后形成背景像素域以对应于该角区(corner sector)， 可以确定背景。可以包括预定数目的背景像素域，诸如角区。简短地回到图3，示出了四个角区。优选的是，将帧的区域划分 为包括前景区域部分和背景区域部分的子区域。在任何情况中，前景 和背景可以包括不同类型的运动和/或运动量。在其他情况下基本上静 态(或者基本上均匀移动的)的背景可用于更加容易地识别和/或隔离 与手的运动相一致的运动。前景可以包括额外的运动，例如，谈话中 的人的运动。因此，在另一实施例中，通过定位具有低于预定阈值(诸 如对应于手的运动的阈值)的运动幅度值的子区域，可以定位背景区 域部分。在另一实施例中，选择背景像素域包括定位一个或多个子 区域，该子区域在被评估的帧之间是基本上静态的或者基本上均匀移 动。可替换地，通过定位具有对应于前景区域的运动的子区域，可以 提供帧的区域的划分。图2呈现了帧序列中的单个帧，在图2中示出的标准配置中，从 帧的背景区域部分中选择用于评估的背景像素域。背景像素域用于生 成评估。后继的稳定化处理可以在选定帧中对应的子序列对之间进行 进行计算。图3示出了时间上的两个帧，其均具有角区。该示例中的子图像 是角区S1、 S2、 S3和S4，并且对应于图像的潜在背景区域部分。图3 进一步说明了，帧1和帧2是帧的时间序列。应当理解，帧序列可以 包括多于两个帧。选定帧的子序列可以包括连续(consecutive)的选定 帧。选定帧序列也可以包括交替的帧或者使用任何所需的标准选择的 帧，其中得到的选定帧具有己知的时间位移。应当进一步理解，帧的任何选择均在此处的讨论范围内。通常，序列中的帧可以保持其顺序 的次序。在图3中，在时间U生成帧1，并且在时间t2生成帧2，其中 t2>tlD下文将更加详细地讨论用于帧序列稳定化的子图像的评估。图4是说明了如此处描述的方法的实施例的流程图。如上文讨论 的，图像被划分为前景和背景区域部分402。从背景区域中选择背景像 素域用于评估404。可以选择四个角，如图3中所示。如下文将更加详 细地讨论的，评估背景像素域(这里是四个角)，用于施加稳定化406。 即，评估包括求和和位移确定。然后是稳定化，该稳定化包括计算全 局运动向量并且在图像序列中施加对应图像的移位408。评估406和稳 定化408被分组在一起410，其将在下文中结合图5进一步讨论。应当 理解，为了达到相同的结果，此处描述的步骤的顺序可以进行不同的 排序。相似地，图1中示出了可以执行该方法的模块。硬件(诸如电路 部件)或软件模块116或者其组合，可以包括用于确定帧背景部分的 确定模块122。该模块进一步包括形成模块124，用于从背景部分形 成背景像素域；评估模块126，用于评估背景像素域以生成用于后继稳 定化处理的评估；和施加模块128，用于基于对帧序列中的帧的区域的 评估，施加稳定化处理。此外，图1示出了用于执行如下步骤的决定 模块130:确定帧序列中的帧的垂直像素列的水平位移分量和水平像素 行的垂直位移分量，以生成评估。还示出了计算模块132，用于通过确 定水平位移分量的中间范围值的平均值和垂直位移分量的中间范围值 的平均值，来计算全局运动向量。图5示出了图4的评估406和稳定化408过程的步骤的更多的细 节。背景像素域的评估步骤406包括计算像素分组中的元素的位移 分量。帧包括像素，其典型地被设置为二维(例如，水平和垂直)像 素阵列。在该实施例中，位移分量包括基本上正交的位移向量对。像 素还可以被安置在其他的规则的或不规则的设置中。应当理解，此处 公开的方法的步骤可以容易地适于任何像素设置。在此处讨论的实施 例中，角区包括正交像素阵列。为了计算位移分量，垂直方向中的像 素值被求和502，以确定水平位移向量504，并且水平方向中的像素值 被求和506，以确定垂直位移向量508。帧的时间序列的背景像素域中的像素阵列之间的显见位移 (apparent displacement)是运动的指示。该显见位移是通过上文描述 的水平和垂直位移向量的计算来确定的。通过考虑背景像素域而非整 个区域的位移，可以提供低的计算复杂度。在稳定化408中，随后， 背景像素域位移计算510的结果可被转化为施加到帧序列的整体图像 512的全局运动向量。基于背景评估施加稳定化处理包括计算用于施 加到帧510的全局运动向量。计算全局运动向量包括确定垂直位移 分量的中间范围值的平均值和水平位移分量的中间范围值的平均值。 在稳定化中，补偿位移包括通过改变从中读取像素阵列的存储器中的地址，使图像移位并且重新使用某些或所有外部边界作为稳定化图像的一部分514。下文是上文描述的方法和电路的特定方面的更加详细的描述。在 评估406之前，可以对捕获的图像帧执行图片预处理，以增强或提取 将用于运动向量估计的信息。可以根据工业标准将像素值格式化。例 如，当图片具有Bayer格式时，绿色的值通常用于整体的全局运动估计 过程。可替换地，如果图片具有YCbCr格式时，则可以使用亮度(Y) 数据。预处理可以包括下述步骤对图像施加带通滤波器，以移除由 噪声产生的高频和由闪烁(flicker)和遮蔽(shading)产生的低频。在评估406中，从背景区域部分(特别是图像数据的子图像(参 看图3))，生成两个投射像素阵列。通过下述方式创建投射像素阵列 即，对在子图像中具有特定水平索引的像素进行求和来将二维像素值 投射到一维阵列上，导致投射到原始的二维子图像的水平轴上。对于 垂直索引执行对应的过程。因此， 一个投射像素阵列由沿每列的值的 求和组成，并且另一投射像素阵列由沿每行的值的求和组成，如下列 数学式中呈现的。<formula>formula see original document page 15</formula>，对于j-l到图像中的列数<formula>formula see original document page 15</formula>，对于i=1到图像中的行数子图像可以相对于在前的选定帧中的对应子图像在水平方向中移位士N个像素，并且在垂直方向中移位土M个像素，或者移位在此限 制内的任何数目个像素。选定帧的子图像之间的移位对应性的集合构 成了候选运动向量。对于每个候选运动向量，可以如下文所述确定误 差准则的值。对多种运动向量候选者，可以定义和计算两个连续的对应子图像 之间的误差准则。该候选者可以对应于(2M+1)像素x(2N+l)像素的搜 索窗口。对于每个子图像均存在搜索窗口。该搜索窗口可以比子图像 大出缓冲区的量。该搜索窗口可以是正方形的，尽管其也可以采用任 何形状。提供误差准则的最低值的候选者可以用作子图像运动向量。 确定运动的准确性可取决于所调査的候选者的数目和子图像的尺寸。(用于行和列的)两个投射阵列可以单独使用，并且对水平候选者的 2N+1个移位值以及对垂直候选者的2M+1个移位值，计算误差准则， 其是绝对差值的求和。<formula>formula see original document page 15</formula>使列求和的阵列(ckx)的准则最小的水平移位可被选择为子图像运动向量的水平分量。使行求和(CkY)的阵列的准则最小的垂直移位可被选择为子图像运动向量的垂直分量。从子图像运动向量，可以选择水平分量的中值和垂直分量的中值。 选择该中值可以从具有行为类似脉冲的不同于全局运动的局部运动的 区域中消除脉冲和不可靠的运动向量。先前帧的子图像运动向量和全 局运动向量可以进一步用于产生输出。先前帧的全局运动向量可以用 作后继帧的全局运动向量的基础，这是因为，可以预见到两个连续的帧将具有相似的运动。对于四个子图像的情况，全局图像运动向量(Vg) 被计算为《=中值W.W,W'W^卜1》其中V/、 V2l、 V 和V4t是为四个子图像选择的运动向量。应当理解，为了符号便利起见，此处使用了 "t"和"t+l"，但是其并非意 指有必要使用紧密连续的帧。如前面提及的，可以使用交替的帧或者 帧序列的其他选择，并且其在本公开内容的范围内。而且，可以使用过程来评估从捕获开始的相机运动并且进行与有 意识相机运动(诸如摇拍)相适应的补偿。该方法包括计算合成运动向量，其是当前运动向量与具有阻尼系数(damping coefficient)的先 前运动向量的线性组合。当不存在相机运动时，合成运动向量汇聚于零。，)=&，(卜1) + 、(0 (2)在上式中，Vi表示用于估计相机运动的合成运动向量，并且Vg 表示时刻(t-l)和t处的连续图片的全局运动向量。阻尼系数k可被选择 为具有0.9和0.999之间的值，以实现对手摇动引起抖动的平滑相机运 动补偿，同时适合有意识的相机运动(摇拍)。除了所观察的序列的主观改善外，视频稳定化的另一方面是减少用于对稳定化序列编码的比特率的能力。在稳定化过程中计算的全局运动向量可以改善运动补偿并且减少需要进行离散余弦变换(DCT) 编码的残余数据量。在将稳定化与视频编码组合时，考虑两个不同的 情况。第一，稳定化可以作为单独的预处理步骤在视频编码之前执行， 并且稳定化图像可由视频编码器使用。第二，稳定化变为视频编码器 中的附加阶段，其中从先前已经计算的运动向量中提取全局运动信息 并且随后在另外的编码阶段中使用该全局运动。如上文详细描述的，全局运动向量可被定义为从一个帧到另一帧 的二维(水平和垂直)位移，其是通过考虑子图像由背景像素域评估 的。而且，定义了误差准则并且对不同的运动向量候选者确定该准则 的值。具有最低的准则值的候选者可被选择为子图像的结果。最普通 的准则是绝对差值的求和。可以对水平和垂直方向分离地计算运动向 量的选择，并且可以使用这些分量来定义全局二维运动向量。例如， 为每个子图像选择的候选者中的中值水平值和为每个子图像选择的候 选者中的中值垂直值可被选择为全局运动向量的两个分量。因此可以 通过下述方式可以计算全局运动即，将图像划分为子图像，计算子 图像的运动向量，并且使用评估或判定过程来从子图像确定整个图像 全局运动。图像序列中的图像可以据此移位，消除部分或所有外部边 界，以减少或消除图像序列的无意识运动。本公开内容的目的在于解释如何实现和使用根据本发明的技术的 多种实施例，而非限制本发明的真实的、预期的和公平的范围和精神。 前面的描述并非是穷尽的，或者并非限于所公开的具体形式。根据上 文的教导内容，修改方案或变化方案也是可行的。实施例被选择和描 述为提供所描述的技术的原理及其实际应用的最佳说明，并且使本领 域的普通技术人员能够利用多种实施例中的技术，并且利用多种适当 的修改方案使其用于预期的特定用途。在根据本发明的公平、合法和 公正的范围进行解释时，所有该修改方案和变化方案涵盖于如后附权 利要求及其等效物限定的本发明的范围内，其中后附权利要求在本专利申请的未决期间可能进行修改。
权利要求
1.一种用于使图像序列中的元素稳定化的方法，所述图像序列由帧的时间序列形成，每个帧具有区域，所述图像序列由图像捕获设备生成，所述方法包括将帧序列中的所述帧的所述区域划分为包括前景区域部分和背景区域部分的子区域；从所述帧的所述背景区域部分中选择背景像素域用于评估；评估所述背景像素域，以生成评估用于后继稳定化处理，该后继稳定化处理是在选定帧中对应的子序列对之间计算的；以及基于所述评估向所述帧序列中的所述帧施加稳定化处理。
2. 如权利要求l所述的方法，其中在施加所述稳定化处理之前， 所述帧包括外部边界，由所述外部边界形成缓冲区，其中所述缓冲区 在所述稳定化处理过程中用于提供图像信息，该图像信息包括备用行 数据和列数据。
3. 如权利要求1所述的方法，其中选定帧的所述子序列包括连续 的选定帧。
4. 如权利要求l所述的方法，其中从所述帧中的所述背景区域部 分中选择所述背景像素域的步骤包括确定所述帧序列中的所述帧的角区；以及 形成所述背景像素域，以对应于所述角区。
5. 如权利要求l所述的方法，其中从所述帧中的所述背景区域部 分中选择所述背景像素域的步骤包括-确定基本上对应于所述前景区域部分的中心区；以及 形成所述背景像素域，以基本上对应于所述中心区外部的所述帧 序列的所述帧中的区域部分。
6. 如权利要求l所述的方法，其中选择进一步包括从所述帧序 列的所述帧中的所述背景区域部分中选择多个背景像素域，所述方法 包括选择预定数目的背景像素域。
7. 如权利要求l所述的方法，其中选择进一步包括从所述帧序 列的所述帧中的所述背景区域部分中选择多个背景像素域，所述方法 包括选择四个背景像素域。
8. 如权利要求l所述的方法，其中背景像素域包括选定的像素分 组，并且其中评估所述背景像素域用于后继稳定化处理的步骤包括计算所述像素分组中的元素的位移分量，以生成所述评估。
9. 如权利要求8所述的方法，其中所述位移分量包括基本上正交 的位移向量对。
10. 如权利要求8所述的方法，其中所述像素阵列包括像素值， 并且其中计算位移分量包括对垂直方向中的所述像素值进行求和，以确定水平位移向量；以及对水平方向中的所述像素值进行求和，以确定垂直位移向量。
11. 如权利要求10所述的方法，其中基于所述评估施加稳定化处 理的步骤包括通过确定所述垂直位移向量的中间范围值的平均值和所述水平位 移向量的中间范围值的平均值，来计算全局运动向量。
12. 如权利要求1所述的方法，其中将所述帧序列中所述帧的区域划分为包括前景区域部分和背景区域部分的子区域的步骤是手动执 行的。
13. 如权利要求1所述的方法，其中将所述帧序列中所述帧的区 域划分为包括前景区域部分和背景区域部分的子区域的步骤包括通过定位包括低于预定阈值的运动幅度值的子区域，来确定所述 背景区域部分。
14. 如权利要求1所述的方法，其中选择所述背景像素域的步骤包括定位在被评估的帧之间的、处于基本上均匀静态的一个或多个子 区域。
15. 如权利要求1所述的方法，其中将帧序列中帧的区域划分为 包括前景区域部分和背景区域部分的子区域的步骤包括通过定位具有运动的子区域，来确定所述前景区域部分。
16. 如权利要求l所述的方法，包括当由所述图像捕获设备正在生成由所述时间序列形成的所述图像 序列中的所述帧时，处理所述划分、选择、评估和施加步骤。
17. —种用于使图像序列中的元素稳定化的方法，所述图像序列 由帧的时间序列形成，每个帧具有区域，所述图像序列由图像捕获设 备生成，所述方法包括确定帧序列中的所述帧的边界区； 选择所述边界区，用于评估所述帧；评估对应的选定边界区，以生成评估用于后继稳定化处理，该后继稳定化处理是在选定帧中对应的子序列对之间计算的；以及 基于所述评估，向所述帧序列中的所述帧施加稳定化处理。
18. 如权利要求17所述的方法，其中所述选定边界区包括一个或 多个角区。
19. 如权利要求17所述的方法，其中所述选定边界区基本上包括 背景区域部分。
20. 如权利要求18所述的方法，其中所述角区包括被正交地排列 以形成像素阵列的像素，并且其中评估所述选定边界区用于后继稳定 化处理的步骤包括计算所述选定边界区中的选定像素分组的位移分量，以生成所述 评估。
21. 如权利要求20所述的方法，其中所述像素包括像素值，并且 其中计算位移分量的步骤包括对垂直方向中的所述像素值进行求和，以确定水平位移分量；以及对水平方向中的所述像素值进行求和，以确定垂直位移分量。
22. 如权利要求21所述的方法，其中评估所述垂直位移分量和水 平位移分量的步骤包括分离地评估所述垂直位移分量和所述水平位移分量。
23. —种用于使由帧序列形成的图像序列稳定化的电路，每个帧 具有区域，所述图像序列由图像捕获设备生成，所述方法包括确定模块，用于确定所述帧序列中所述帧的所述区域中的角区； 形成模块，用于形成背景像素域，以对应于所述角区； 评估模块，用于评估所述背景像素域，以生成评估用于后继稳定 化处理；和施加模块，用于基于所述评估向所述帧序列中所述帧的所述区域 施加稳定化处理。
24. 如权利要求23所述的电路，其中所述背景像素域包括垂直像 素列和水平像素行，并且其中所述评估模块包括决定模块，用于确定所述帧序列中所述帧的所述垂直像素列的垂 直位移分量和所述水平像素行的所述水平位移分量，以生成所述评估。
25. 如权利要求23所述的电路，其中所述评估模块包括 分离评估模块，用于分离地评估所述垂直位移分量和所述水平位移分量。
26. 如权利要求25所述的电路，进一步包括计算模块，该计算模块通过确定所述垂直位移分量的中间范围值 的平均值和所述水平位移分量的中间范围值的平均值，来计算全局运 动向量。
全文摘要
公开了一种用于使由图像捕获设备(102)生成的图像序列中的无意识运动稳定化的方法和电路。该图像序列是由帧的时间序列形成的，每个帧(202)具有区域和外部边界。图像是像素的二维阵列。帧的区域被划分为前景区域部分(204)和背景区域部分(206)。从帧的背景区域部分中选择用于评估(404)的背景像素域。背景像素域用于生成用于后继稳定化处(408)的评估(406)，其是在选定帧中对应的子序列对之间计算的。
文档编号H04N5/14GK101278551SQ200680036450
公开日2008年10月1日 申请日期2006年8月15日 优先权日2005年9月30日
发明者多依娜·I·彼得雷斯库 申请人:摩托罗拉公司