摄像机的图像稳定系统和方法

专利名称：摄像机的图像稳定系统和方法
技术领域：
本发明涉及一种摄像机稳定系统，尤其涉及一种抵消不需要的和 不规则的图像运动的摄像机稳定系统。
背景技术：
有多种已知的视频监视系统可用来跟踪诸如人或车辆这样的移 动对象。 一些这样的系统使用具有固定视野(FOV)的固定摄像机。 但是，为了用固定摄像机系统充分覆盖给定的监视场所，经常必须使 用相当多数量的固定摄像机。
也可以使用可平摇(pan)、俯仰(tilt)和/或变焦(zoom)的可 移动摄像机来跟踪对象。使用PTZ (平摇、俯仰、变焦)摄像机系统 一般会减少给定监视地点所需的摄像机的数量，并因此降低视频供给 装置(video feed)和系统集成硬件的数目和成本，如相关的画面分 割器(multiplexer)和视频切换器(switcher)。用于表示平摇、俯仰、 变焦运动的控制信号一般经由操纵杆来自人工操作员或来自自动视 频跟踪系统。
问题在于，除了 PTZ控制信号所导致的有意地移动摄像机之外， 外部力量也能无意地移动摄像机，例如空气流动或支持臂抖动。无意 的摄像机运动通常会导致视频图像"跳动"，因此观察起来不舒服。
本领域中所需要的是一种能够稳定图像以补偿摄像机无意运动 的视频系统。

发明内容
本发明提供了一种具有摄像机的视频图像稳定系统，该摄像机捕 获的图像比显示在屏幕上的相关图像要大。该系统能够根据摄像机视 野的预期改变和对两幅捕获图像的分析，通过调整显示的选中图像部 分的相对位置，补偿无意的摄像机运动，即从显示的图像中去除跳动。
在一种形式中，本发明包括一种视频图像稳定系统，该系统包括 一个摄像机，该摄像机包括一个被配置用于捕获视频图像的图像捕获 设备，其中，该摄像机具有可选择调整的视野。至少一个处理设备可 操作地连接到该系统，其中，该处理设备接收表示该摄像机视野的信 号和该摄像机捕获的图像。该处理设备顺序地抓取这些图像中的第一 幅图像和第二幅图像，并将视频图像的稳定调整确定为1)根据表示 视野的信号，在捕获第一幅图像和第二幅图像的间隔期内，摄像机视
野的预期改变，以及2)对第一幅和第二幅图像的分析的函数。
可以选择该摄像机捕获的每幅图像的显示部分进行显示，其中， 每幅图像的选中显示部分小于捕获的整个图像，并且，该处理设备确 定的稳定调整包括调整选中显示部分在捕获图像内的相对位置。
在另一种形式中，本发明包括一种视频图像稳定系统，该系统包 括一个摄像机，该摄像机具有一个被配置用于捕获图像的图像捕获设 备。捕获的每幅图像与一个视野有关，并且，该摄像机具有至少一个 可选择调整的参数，其中，调整所述至少一个摄像机参数改变该摄像 机的视野。该系统还包括一个被配置用于显示该摄像机捕获的图像的 选中部分的显示装置和一个可操作地连接到该摄像机和显示设备的 处理设备。该处理设备接收表示所述至少一个摄像机参数的信号和该 摄像机捕获的图像。该处理设备根据表示所述至少一个摄像机参数的 信号和对当前捕获图像和以前捕获图像的分析，通过调整该显示装置 显示的图像的选中部分，补偿该摄像机的无意运动。
在另一种形式中，本发明包括一种稳定视频图像的方法。该方法 包括用摄像机捕获多幅图像，该摄像机安装在固定支撑架上并具有 可调整的视野；调整该摄像机的视野。该方法还包括抓取该摄像机 捕获的第一幅图像及其后面的第二幅图像；显示第一幅和第二幅图像 的选中显示部分，每幅图像的选中显示部分小于捕获的整个图像；确定第二幅图像的稳定调整。将稳定调整确定为在捕获第一幅图像和捕 获第二幅图像之间的间隔期间该摄像机视野的预期改变以及对第一 幅和第二幅图像的分析的函数，其中，稳定调整包括调整选中显示部 分在第二幅图像内的相对位置。
对第一幅和第二幅图像的分析包括变换第一幅和第二幅图像中 的一幅，其中调整该幅图像的缩放比例。在一个实施例中，对第一幅 和第二幅图像的分析包括基于从与摄像机通信的系统接收的、表示 视野的信号，将第一幅和第二幅图像中的一副与第一幅和第二幅图像 中的另一幅对准，并判断对准后的图像是否表明无意摄像机运动的发 生。使用对准后图像的图像差别，判断对准后的图像是否表示无意摄 像机运动的发生。产生对准后图像的图像差别的直方图，并通过识别 直方图中的最高峰和最高峰的位置，完成无意摄像机运动是否已发生 的判断。当最高峰不是基本集中于O时，判定无意运动已发生，当检 测到这种无意运动时，确定稳定调整包括识别使图像差别最小化的调
在另一种形式中，本发明包括一种稳定视频图像的方法，该方法 包括通过使用控制信号，有意地改变摄像机的视野；用该摄像机捕
获多幅图像，每幅图像与一个视野有关；显示多幅图像中每一幅的选 中部分；对于多幅图像中至少一幅，调整显示的选中部分。调整步骤 补偿摄像机的无意运动，并且基于摄像机的预期视野和对多幅图像中 的至少一幅图像和这些图像中的第二幅图像的分析。
本发明的优点在于它提供稳定的视频图像，从而限制或去除摄像 机无意运动引起的烦人和不愉快的影响。
本发明的另一优点在于，它可以稳定摄像机在运动时所获取的图 像。因此，即使摄像机积极且有意地改变视野时，本发明也可以补偿 例如由支持臂振动或风对摄像机外壳的影响所引起的平摇、俯仰、变 焦摄像机的无意运动。
附图简述
通过参考下面结合附图对本发明实施例的描述，本发明的上述和其他特征及目的将变得更加显而易见，并且发明本身也将更容易被理 解，其中-


图1是根据本发明的视频监视系统的示意图； 图2是描述图1中摄像机的视野变化以及该摄像机捕获得到的图 像的示意图3是图2中所捕获图像的一部分的示意图； 图4是图1的处理设备的框图5是表示图1的视频监视系统操作的一个实施例的流程图6是对两幅图像进行分析时使用的直方图。
在所有附图中，相应的参考符号代表相应的部分。虽然这里举出 的例子以一种形式解释了本发明的实施例，但下面公开的实施例并不 是穷举的，或者，不应视为将本发明的保护范围限制到所公开的精确 形式。
具体实施例方式
根据本发明，图1中示出了^!/M鹏统20。系统20包括位于部姆 微卜壳24内并装配在支撑架25上的摄^l几22。固定的支撑架25可采用多 种形状，例如从建筑物的外边缘伸出的向外延伸支持臂，它会使所支持的 摄像机受至讽、摄像机马达、附近机器或各种其^^源产生的振动所导致 的无意运动。夕卜壳24 色，以使樹m获船卜壳24夕卜MJT、境的图像并 同时防止该环境中正被摄像机22观察的个体确定摄Ml 22的方位。摄像 机22包括一个控制器和多个马达，它们规定衞抓22平摇、俯仰和焦距 调整。箭头26表示摄像机22的平摇运动，箭头28表示摄像机22的俯仰 运动，箭头30表示摄像机22的镜头23的焦距改变，即变焦。如坐标系统 21所示，平摇运动可以足跟宗沿着x轴的运动，俯仰运动可以l鹏沿着y轴 的运动，焦距调整可用于Jl^沿着z轴的运动。在示出的实施例中，摄^)1 22和外壳24是Phillips AutoDome Camera Systems品牌的摄ftt几系统，例 如Bosch Security Systems公司提供的G3 Basic AutoDom^摄^f几和外壳， 这家公司的前身为Phillips Communication^ Security & Imaging公司，它在宾 夕法尼亚州的兰开MFt营业场所。Sergeant ^&M为"Surveillance Camera
System"的美国专利洳.5627616中描述了一种适用于本发明的摄像机，其 并入此处，作为参考。
系统20还包括一头端单元32。头端单元32可以包括视频切换器或视 频翻器33。例如，头端单元可以包括位于宾夕法尼亚州兰开,、前身 为Phillips Communication^ Security & Imaging公司的Bosch Security Systems 公司提供的Allegiant品牌的视频切换器，如LTC8500系列Allegiant视频切 换器，其劍共高达64台摄像机输入，并且也可,8个3te的,和8台 监视器。头端单元32包S^: 34和操纵杆36，以鹏作员输入。头端单 元32还包括由操作员浏览的显示设备，其形式为监视器38。 24伏a/c电源 40向摄像机22和处理设备50供电，处理设备50可操作ife^接到摄像机 22和头端单元32。
虽然示出的系统20是单一的摄像miS用，但是，本发明也可用于具有 附加摄像机的较;W视系统中，其中的附加摄像机可以是固定的或移动的 摄像机或它们的组合，以^i共更大或更复杂监视区域的覆盖范围。也可以 将一个或多个VCR或其他形式的模拟微字记录设备雜到头端单元32， 以>1，傲几22和系统中其他摄像机捕获的视频图{,行记录。
下面结合图2和图3，讨论根据本发明的图像稳定系统的操作所基于 的一般B。衞I^L22包,如电荷耦合器件(CCD) ^^样的图像捕获设 备，其获取由CCD图微界82所定义的四边CCD视频图像80。处理设 备50识别,择欲 视器38屏幕上显示的CCD图像80的中心部分， 以供系统20的操作员浏览。更具体地说，处理设备50识别显示图像边界 86定义的显示图像84，以 视器38的屏幕上浏览。在一个实施例中， CCD视频图像的选中部分，即显示图像84，包括大约60°/。到90%的CCD 视频图像。在一个，实施例中，CCD图像80比由显示图像边界86定义 的显示图像84大出约30%。换言之，在一^H^实施例中，大约23%的 CCD图像80不会显示 38的屏幕上。但是，为便于说明，图2所 示的CCD图像80比显示图像84大出约100%到200%。通过4顿一个比该 CCD图像更小的显示图像，处理设备50可以将用于定，示图像的边界的 健相对于",获取的图像的齡CCD图^i^预整，以抵消支持臂振动 和摄像机的其他无意运动的影响，下面还将对雌行更详细的描述。
一段时期之后，樹嫩22的丰鹏(FOV)发生改变，从而获取第二个 四边CCD图像88。第二个CCD图像边界90定义CCD图像88的界限。 图2示意性地描述了由摄像机22捕获的、具有不同丰鹏的两幅图像80和 88以及这两幅图像重叠的程度。
摄像机22的FOV改变可能是因为摄像机22的有意和无意(即不注意 的)移动所导致的。所发生的摄像机22的有意运动可能是因为从头端单元 32发送到摄{舰22的平摇、俯仰和变i控审瞻号。也就是说，iliS舰控 制信号，可以改变摄像机22的视野。摄像机22的ft^无意或非有意的运 动可能是因为夕卜力所导致的，如空气流动救持臂振动。
处理设备50 i湖谏自CCD图像88、由中间未调整显示图f敏界94 定义的中间未调M示图像92，但是并不将其显示雄视器38的屏幕上。 未调整显示图像92包括CCD图像88的一部分，该CCD图像88的一部分 与显示图像84中包含的CCD图像80的一部分相对应。也就是说，显示图 像92和CCD图像边界90的相对位置与显示图像84与CCD图像边界82 的相对位置相同，并且，对于显示图像84和92，该显示图《敏界和对应的 CCD图微界之间的距离大约相等。例如，显示图像84和92位于各自的 CCD图像80、 88的中间。
图2和3示意'| 示出了摄像机22获取的两幅图像以及摄像机有意运 动、摄像机实际运动和摄像机无意运动对这两幅图像的影响及其之间的关 系。在这些图像中，识别一个公共静止特征96，以阐明在获取这两幅图像 之间发生的FOV的相鄉动。在图2中，用实线和虚线标相同的静止特 征96，以表明特征96出现在CCD图像80和CCD图像88中。图2示意 性地示出了在获取两幅CCD图像80、 88之间的时段内实际发生的、特征 96相对于CCD图微界82、 90的实际水平移动厶P (—皿应于摄Wl 22的平摇运动)和垂直移动AT (—舰繊娜22的俯仰运动)。
图2描述了相对，止特征％的CCD图像80和88的位置。如图2 戶标，图像80和88在很^fiSJ:錢，但是，摄4娜22的FOV在获取 CCD图像80到;S^捕获的CCD图像88之间已发生改变。图3很好 出了摄像机22的FOV的改变，其中，由于将相继出现 视器38的屏幕 上，显示图像84、 92互相叠加，而不必为图像稳定目的而调^M示图像的
边界86、 94。
特征96相对于显示图^J&界86、 94在皿厶T中的垂直(即在俯仰 方向的)变化以及在位置AP中的水平(即平移方向的)变化表示在摄像机 22捕获CCD图像80和88之间发生的摄像机22的垂直(俯仰)运动和水 平(平摇)运动，并等同于特征％相对于CCD图ltii界82和90的位置 改变。
换言之，AT等于特征96分别和显示图像边界86、 94的对iS7jC平边 貌间的垂鼓巨离vO和vl之间的差距，艮PAT叫vO-vll。类1^t也，厶P等于 特征96分别和显示图tii界86、 94的对应垂直ii^t间的7K平距离h0和 hl之间的差距，即AP^hO-hll。赫也可以说，厶T等:^寺征96分别和CCD 图〈tii界82、 90的对应7jC平mt间的垂直距离v2和v3之间的差距，即 △ T=|v2-v3|。类{吸也，AP等，征96分别和CCD图ftii界82、 90的对 应垂直，之间的7X平距离h2和h3之间的差距，即APHh2-h31。
处理设备50根据对两幅CCD图像80、 88的内容分析，确定△ T和△ P的值。将具有重叠内容的两幅图像配准(register) m准(align)的匹配
技术在本领域中是公知的，并用于多种计Mi视觉和视频处a^用。两种
公知的方法是归一化的基于相关性的(normalized condation-based)模板匹 配(templatematching)和特征匹配(feature matching)。例如，可以使用特 征匹配方法^M两幅图像中的每一幅图像中对诸如特征96这样的静态对 象的识别。识别视频图像中的特征的一种公知方法是角检测(comer detection)法，该方粉析图像，以识别图像中的錢或角，在腿離处， 附近像素的亮度等级有相对明显的变化。然后，比较和匹配这两幅不同图 像中的这些角。
虽然可以在本发明中^这样的特征匹配方法，但示出的实施例iOT 的是模板匹配方法。在本领域中有多种公知的模板匹配方法。两种著名的 模板匹配方法是方差求和(sum of square differences)法与归一化互相关 (normalized cross凿lation)法。方差斜口HS^预的数学絲<formula>formula see original document page 10</formula> (1)
其中，￡是总聽，/是图像，M是翻赚，"y)是模型图像坐标，
(x',y')是变换后的图像坐标。为了配^^两幅图像，将总聽E最小化。在 图2的示例中，第一显示图像84对应模型模板M, x和x'之间的差对应A P， y和y'之间的，应AT。运动模型定义变换后图像坐标和模型图像坐 标之间的关系。可以使用不同的运动模型，以下0f示的仿射变换(affine transformation)对旋转、剪切和平移模型化
<formula>formula see original document page 11</formula>该运动t難需要当前图像(第二 CCD图像88)和模型图像(第一显 示图像84)之间的至少三对点。
虽然本发明可以OT方差求和法，但示出的实施例使用了归一化互相
关法。^(^互相关的,匹配基于^距离平方.-
<formula>formula see original document page 11</formula> (3 )
其中/是图像，如第二CCD图像88，求和针 口第一显示图像84这 样的包括位于("，v)的特征t的窗口下的x、 y。 ^的展开式提供
<formula>formula see original document page 11</formula>(4 )
项》2(;c-"j-v)是常量。如果项Z/2"，力^S似常量，那么，舰 剩余的互相关项，皿该图{斜卩特征之间的相似度
但是，将该项用于微匹配有许多缺点，所以，经常舰一个相关系
数。M:将该图像和特征矢量标准化为单元长度，可以获得该相关系数，
如下 —
其中，,是该特征的均值，而L是该特征下该区域中的^y)的均值。
对于本领域普通技术人员而言，该关系一般被称为归一化互相关。通过将
第一显示图像84和第二 CCD图像88之间的归一化相关性最大化，处理设 备50可以确定AP和AT的值。
除了确定如△ T和AP戶^的视野的实际改^卜，如果^fP月变化的
话，处理设备50还确定在摄像机22的丰鹏FOV的预期变化。在图2中， 垂直(俯仰)和水平(平摇)方向上FOV的预期变化分别对应于AT,和A P,。例如，当有意地平摇或俯仰摄<抓时，摄像机的FOV会发生改变。在 图2中，摄^mFOV的这种OT改^f应于AT,和APp其中，AT，是摄 像机22的有意俯仰所对应的垂直图《銶巨离，而是摄像机22的有意平 ,岳所对应的水平图^^巨离。
在示出的实施例中，摄像机22 ,像机22获取的每幅图像以及摄像 机22的平摇、俯仰和变焦位置相关的、基于帧同步的信息传超(j处理设备 50。如果存在预期变化的话，处理设备50 4顿两幅图像80、 88中每一幅 图像相关联的平摇、俯仰和变焦设置，确定摄像机22的平摇、俯仰和变焦 位置的预期变化，从而确定AT,和AP,的幅度和方向。
也可以M:其他方法确定FOV的预期变化。例如，处理设备50可以 对縱到摄像机22的平摇、俯仰和变焦控制信糊行分析，以确定FOV 中的预期变化。这种控制信号可以来自头端单元32，例如由于AX操作操 纵杆36，并赔接鹏舰摄像机22 ^H,设备50。或者，摄舰 控制信号也可以来自处理设备50，例如，自动入侵者足跟舒M^产生的摄像 机控制信号。或者，摄像机控制信号也可以来自其他来源，并被发送到处 理设备50，或者，处理设备50可以S31分析腿统20iM的其他M， 来确定显示图像的预期变化。
如果△ T和△ P表示的摄像机FOV的实际改变以及△ T,和△ P,表示的 摄像机FOV的预期变化是已知的，那么，就可以确定在垂直(俯仰)和水 平(平摇)方向中的一个方向或两个方向是否有衝舰的无意运动。厶Te 和厶PE值表示两幅连续图像的FOV的实际变化(AT和AP)和FOV的预 期变化(AT,和AP》的魏，艮P，由于樹抓22的非有意运动而弓胞的 FOV的改变。处理设备50根据△ TE和△ PE的值，M调整该显示图像在 CCD图像中的相对位置，补偿衞M122的这种无意运动。在图2中，由调 整后的显^ii界100定义的调^g显示图像98 )^#显示;&^视器38的屏 幕上。
当将这些图像传超跌端单元32以便将其显示ffi^视器屏幕38上时， 处理设备50可以修剪这些图像，并只转发选中的显示图像部分，如显示图
像84、 98，或者，它可以转发如CCD图像80、 88这样的旨CCD图像 以及如显^界86、 IOO这样的显示图像边界的坐标。
只要调整后的齡显示图像98存在于CCD图像88上，那么，调整后 的显示图像98就可以显示雄!鹏38的屏幕上。所有四個lh的边沿将该 视频图像的选中部分的夕卜边缘(即显示图《tii界)和CCD视频图像的外边 缘分离开来。因此，对该显示图像的调整只限于对应边沿的宽度。也就是 说，该显示图像和CCD图像尺寸差值对应的门限值限制了该显示图像在 CCD图像中的再定位范围。可以根据监视衝維)|^ 啲震动或其它无 意运动的预期幅度，选皿沿的尺寸。
本发明^i4的一个重要特征在于，它不仅在摄像机静止N1t定显示图 像，并且在调S^抓FOV时也鄉显示图像的稳定。如上"诚，除了可 调觀f斜几22的平摇和俯仰角度，摄像机22还具有可调整的变焦體。 除了摄像机的平摇或俯仰运动，前面关于确定AT和AP、 AT,和AR以及 A Te和△ PE的讨论没有具体针对FOV的改变包括摄像机22变焦设置的改 变(即摄像机22镜头焦距的改变)的情况。摄像机22^! 像机22的 结构的振动不可能导鄉像机22变焦设置的无意改变。所以，从摄像机22 到处理设备50传送的变焦设置被认定为正确的。
但是，在获取图像80、 88之间变焦设置的有意和精确的改变^M:改
变图像80、 88内容的相对大小而影响图像稳定处理。本发明的其他实施例 会以其他形式针对摄像机22变焦设置的改变。最简单的方法是只有当处 理设备50分析的两幅纖图像具有相同的变焦设置时，赖行图像稳定处 理。当积鹏改变樹織22的焦距时，駄法将暂停图像稳定处理的操作。
对于某些应用，樹ta的焦距受到相对很少的改变或摄像机不包括可调整
焦距，该方法不会显著降低图像稳定系统的价值。财卜，当积极地改变焦 距时，图像正在进行通常很短暂的显著变换，并且，其中小的无意图像移 动不像摄fMl静止时^K受到摄^^平摇和/或俯仰运动时另附烦人。
当正改变摄像机22的焦距时，也可以继,行图像稳定处理。如， 用该方法，正被比较的两幅图像(即第一 CCD图像80和第二 CCD图像 80)中至少一幅必须被变换，从而以通用縮放比例描绘每幅图像中描绘的 ,并可以将其对准。为了完成该处理，可iOT几何变换来修改该图像中^像素的位置。想起此的另一种方式是当根据摄像,动，所有像素 从一个，移动到一个新位置时。Trajkovic在题为"Motion-Based Tracking With Pan-Tilt-Zoom Camera"的美国专利申请公开No.2002/0167537Al中讨 论了一种这样的方法，用于变换第一图像以将其与第二图像对准，其中， 在获取两幅图像之间调 像机，该申请并Altk处，作为参考。
对以不同焦距获取的连续图像进行对准需要将一幅图像逝 动以及 縮放和旋转，以将其与前一幅图像对准。在i^H种操作中，移动是最简单 的。在执行下一步处理之前，将图像简化、扩展、或修改到标准尺寸需要 扭曲(waiping)，在扭曲处理中，^K象皿行用户指定的变换。这些几何 操作产生的图f舰似于原始图像。这两幅图像(即如I,这样的当前图像和 如12这样的参考图像)之间的鹏由以下公式定义
/ 'H'"M; (7)
其中，p和y表示在第一和第二图像中相同世界点(woridpoint)的同 形(homographic)图像坐标，s表^fl放图像(其对应于摄像机的焦距)，g 是内部摄像机虹矩阵，及是两个樹斜几錢之间的旋鞭阵。
或者，也可以将两幅连续图像中静态世界点的图像投影坐标P和,(即 像素位置(&y)和(乂，乂))之间的关系写为
^ +附12" 13 (8)
乂 = /w21jc +加22少+加23 (9)
其中，kl是将第一幅图像影射(对准)到第二幅图像的同形矩阵 Chomography matrix) M
该图f树准中的主對壬务是确定矩阵M。显然，鹏等式(7)，给定^ 、 2和及，理论上就會喧翻定矩阵仏但实际中，"0和及的准确值经常 縣知的。等式(7)还假设摄像机中心和旋转中心是相同的，这一般只接 近真实，但是，该假舰于微图像稳定舰够正确的。在示出的实施例 中，摄微几22在图像同步基础上，(即用于确定R的平摇和俯仰 值以，于确定s的变焦值)，并将其与各图像一m^lj处理设备50。
然后，对于该图像具体 ， OT上述同形力^l行一幅图像的平移、 旋转和缩放，以将购第二幅图f树准。在该方法中，平移是在x或y方
向中以某数量像素的像素运动。正平移处于行索弓l或列索弓l递增的方向，
而负平移正好相反。正方向的平移将行或列增加到该图像的上边或左边，
直到获得所需的增加量。相对于原始图像，执行图像旋转，图像旋转被定
义为处于运动的中心并指定一个角度。对一幅图f驗1彌放意歸将其放
大或缩小指定的倍数。4柳下列近似值fe^样的平移、旋转和縮放 <formula>formula see original document page 15</formula>(10)
/ = sin o + jc cos a) + 其中
s是缩放(变焦)因子；
。是相对于原始图像的旋转角度；
tx是在X方向的移动；
ty是在y方向的移动。
<formula>formula see original document page 15</formula>等式(10)变为
(11)
在确定a,、 a2、 1^和ty之后，可以对^3^两幅图像I,和l2。如果OT直 接从衞斜几获得的变焦、平摇和懒卬缺获得这雖，那么，^和ty将对应 于厶&和ATV。如果变,的图像显示,(global)图4tit动并不能由该 过程正确对准，则已发生无意的运动，并且，对于这些转换的图像，可以 使用归一化互相关确定APe和ATE的值。
图4示意性地示出了处理设备50的硬件结构。在示出的实施例中，处 理设备50包括与电激O板66通信的系，制,64。电线42将电源40 连接妾鹏换器52，从而向处理设备50供电。处理设备50经由挪频线44从 摄像机22接收原始模拟视频输入信号，视频线45用于将掛频图像ft^U 头端单元32。在示出的实施例中，视鹏44、 45是同轴、75 IW、 1 Vp-p， 并且包括用于接合鹏设备50的BNC连接器。摄娜22鹏的视频图像 可以是模拟的并激盾NTSC或PAL标准。当处理设备50不工作时，即关闭 时，来自摄像机22的视频图像可以^31处理设备50， Mm拟视频线54、 模拟TO68、微视频线70和通信繊72，妾IJ达头端单元32。板72是能
够处理二相(biphase)信号并包括经过视频,进行双向通信的同轴信息 集成电路(COMC)的标)tM信板。
经由另一模拟视频线56,模数转换器58从衝斜几22接收视频图像并 将模拟柳频信号转换为数字视频信号。数字视频信号存储在SDRAM 60形 式的缓冲器之后，数字化的视频图像被传送到视频内容分析数字信号处理 器(VCA DSP) 62。在VCA DSP 62中执行战参考图2和3所描述的视 频稳定算法。调整后的显示图像被^lll^莫转换器74，在l^换器74 中，视频信号被转换为模拟信号。经由模拟视频线76和70，将所得的有注 解的模拟视频信号縱到通信繊72，然后通信繊72经由视频线45将 信号皿到头端单元32。
在示出的实施例中，到系统控制器板64的a^频ll入被限帝底1 Vm)， 如果视频信号超过1 Vfvp,则将其修剪为1 Vp-p。但是，本发明也可以使 用具有更多^M少容量的其他实施例。处理器62可以M Phillips电子北 美公司获得的TriMediaTM-1300可编f驟体处理器。在启动时，处理器62 装载引导駄(bootloader)禾骄。然后，引导辦将VCA应用鹏戈码从 诸如闪存78这样的存储器拷贝到SDRAM 60以进行执行。在示出的实施例 中，闪存78提供1M字节的存^S， SDRAM 60 ,8M字节的存储量。 因为启动时将来自闪存78的細fMi^f戈码装縱SDRAM 60上，所以， SDRAM 60为1!/频存^^留有大约7M字节的存ftt。
在图4所示的实施例中，系縱制器板64经由二相数字 总线102、 I2C数据总线104和RS-232 总线106连接通信,72。系,制 64经由RS-232数据总线110 ,到RS-232/RS485兼容iBC^器108。线49 可以是RS-232调^ 总线，^t号从头端单元32传想拠理设备50。 线49上的信号可以包括在:^臓f纖22之前处理设备50能修改的信号。 可以经由与微处理器112通信的线48，将这样的信号^IM摄舰22。微 处理器112可以操作系,制器软件，并皿可以与VCA组件114通信。 因此，诸如VCADSP62这样的VCA组件可以经由微处理器112和线48， 将信号繊職綠22。
系，帝幡板64还可以包攝j^可编程门阵列116,现炀可编程门阵 列116包括 #储器118、字符存储器120和屏幕显示(OSD)存储器
122。同样，VCA组件114可以包括IW^储器124、字符存储器126和屏 幕显示(OSD)存储器128。这些组件可用于掩盖显示在屏幕38上图像的 各种部分，或为屏幕38产生文本显示。最后，系，制器板64可以包括 用于存储用户设置的并行数据闪存130。
在该示出的实施例中，AX操作员输入的、传超lj处理设备50的必要 命令是开/关命令，但是，在其他实施例中甚至这些幵/关命令也可以是自动 化的。经由二相线46在头端单元32和摄像机22之间以及经由线48在处 理设备50和摄像机22之间，fl^样的开/关命令和其他串fi^信。在该 示出的实施例中，处理设备50设置有金属片状壳体且安装在摄像机22附 近，但是，也可以顿其他方法和在其他位置安驗理设备50。处理设备 50也可以采用其他硬件结构。这样的硬件应该能够很好i艇行软件和以最 少大约每秒5帧的體进行处理。还应当注意的是，iM^具有金属片 状壳体的处理设备50，有利于在PTZ摄像机Pf^^L上安装处理设备50， 因此，系统20可以Jli共一个不需要基于个人计^m的图像稳定系统的《拉
駄式平台。但是，如果需要的话，本发明也可以鹏基于个人计^m的系统。
处理设备50可以执行多种功能，包括捕總像机22获取的视频帧、 i鄉ij这些视频帧中的静止特征、根据:^li隨像机22或从摄像机22接收 的信号确定謝斜几FOV的预期改变、i别赚止特征并确定摄WlFOV中 的实际改变、比较衞斜几FOV的预期改变和实际改变以确定摄像机无意运 动弓胞的图像移动幅度以鹏择显示图像坐标以抵消摄像机无意运动弓胞 的移动。处理设备50也可用于执行自动S鹏功能。例如，处理设备50也 可鄉一种自动鹏系统，其中，处理设备50用于i賜ij摄像机FOV中 运动的目标赠；然后，产生调Mi鄉平摇、俯仰和变焦设置的控制信 号，以j^宇、目标)^，并将该目标m维持在衞斜几的FOV内。由于自动 调整摄像机的平摇、俯仰和变焦设置以足鹏目标赠，所以，可以舰根 据本发明的图像稳定系 稳定该系统显示的图像。Sablak ， 2002年11 月27日J^交的、序列号为10306509、题目为"VIDEO TRACKING SYSTEM AMD METHOD"的美国专利申请中描述了系统20使用的自动^li^系统的 一个示例，所公开的内容并入此处，作为参考。也可以使用根据本发明的
图像稳定系统来稳定图像，其中，手动地调觀像机，例如ma手工操作
操纵杆36或在其鹏用中。
图5提供了J^系统20使用的视频稳定算法的实施例的一^^辑的流 程图。如图5所示，打开处理设备50之后，在步骤180中，舰将应用程 i^ft码从闪存78拷贝到SDRAM 60执行，将处理设备50初始化。模块182 表示SDRAM 60的剩余存储量，其作为环形缓冲区，用于从摄《抓22接收 并存储由处理器62进行处理的各帧相关联的视频图像帧和数据。在判断模 块184中，处理器62判断第一新己是否为真。只有当没有来自摄《娜22 的图像已装载到SDRAM60以由处理器62分析时，第一标材为真。因此， 打开处理设备50时，遇到第一次判断模块184，第一^i己将为真，然后处 理器62执行到模块186。模块186表示处理器62抓到两幅图像。然后，处 理器62执行到模块188，其中，将平滑、搶波器应用到每一幅图像。平滑滤 波器的应用包括取出这些图像的两^f采样。第一子采样步骤产生当前I, 和12图像的QCIF ，率的子采样(即，具有原始NTSC或PAL OF射jf 率图像的四分之一^ff率的图像)。该子采样处理将邻近像素组合在一起， 从而定义这些成组像素的平均值。该子采样处理的目的在于降低分析该图 像中涉及的计算处鄉消耗的时间。然后，取出第一子采样的第二子采样， 产生具有原始CEF分辨率图像的1/16分il率的图像，从而进一步提高图像 稳定处理的鹏。模块l卯表示获棘自摄像机每幅图像的平摇、俯仰和 焦距(即变焦)值(该数据表示预期值并包括平摇和懒卬值的无意运动分 量)。虽然在获取图^^后的錢示出了模块190，但衝抓22可以将平摇、 俯仰和变焦数据与图像同时^i!U处理设备50。
接下来，模块192标舰当前图像的平摇、俯仰和变焦值，计算旋 转和縮放的同形矩阵。然后，在模块194中，舰同形矩阵执行图像鄉， 以将第二幅图,准到第一幅图像上(如果在获取两幅图像的时间间隔内 没有对摄MUS行平摇、俯仰救焦调整，贝怀需要图像变换)。
在模块196中，计算这两幅对准后图像的图像差别，以确定这些图像 中是否雜运动。因此，顿准图像Ii和l2后，根据以下公式计算图像差 别A:<formula>formula see original document page 18</formula>
然后，计算这些差别的直方图(histogram)。该图像的静态背魏常负 责产战方图中的最大峰。因此，如果最大麟中在0附近，对准两幅图 像的背景，在获得这两幅图像的间隔内没有任何无意的摄像mii动。如果 ^i种情况，则流禾魏回判断框184。如果直方图中的最大峰没有集中在O 附近，这表示整体运动，即背景在移动。将此解释为表明摄像机的无意运 动，然后流程执行到框198。移动)^jm位于所获取的图像中也是有可能的。 如果该移动皿存在于这些图像中，直方图一般具有与之相关的两个峰， 一个峰对应于背景，而一个峰对应于移动)^。如果是这种情况，假设该 图像的背景比该移动赠占据更多的图像区域，最大峰值用于做出J^判 断。换言之，评估直方图，以判断直方图的最大峰是否集中于O， g没有 无意的摄像,动，或者判断最大峰是否表示全局运动，意味着出现无意 的摄像丰腿动。例如，图6示意性地描述了图像差另啲直方图，其中，主
n^中于o，表明没有无意的摄像mii动，并还包括没有集中于O的第二峰
212，因此表明图像内存在移动g。
如果检测到无意的摄像丰脆动并且系统执行到模块198，则j顿归一 化互相关(NCC)确定两幅图像间的移动范围。因为这两幅图像的变换已 以表示A乃和A&的值预测的形式对准了图像，所以，在框19S中确定这 两幅图像间已发^t动的处理步M"应于确定A TE和A PE的值。
接下来，在模块200中，对图像t和l2交Mt^。执行图像娜的交
换，以使得当完^i块202的移动后抓取一幅新图像并将其鹏缓冲器
中时，新图像和与之相关的 将覆盖缓冲器中已经存在的两幅图像中较
老的那幅图像相关的图f斜嫩据。
模块202表示在最近获取的CCD图像的图像上以等于ATe和APe的
量移动显示图像边界，从而提供稳定的视频图像。
然后，流舰回至悌一f斜己将不再为真的模块184，并且，^t^将执 行到微208，在模块208中，抓取一幅#^虫的新图像艘盖缓冲器中的图 像12。然后，处理器62执行到模块210，,块210中，对新图像应用平 滑滤波器。模块212 ，在摄《,获取新图像时获取摄ML的平摇、俯仰 和变焦设置。然后，繊执行到模块192。
在该示例性实施例中，樹細22機获取新图像，处理设备50执行
的、将当前图像和以前获取的图像进行比较的计算分析比摄像机22获取单 独图像之间的时间间隔要长。当处理设备50完戯对一组图像的分析时， 娜取就获取的图像以进行下一次分析。因此，在处理设备50"醉地抓 取两幅图像以进行分析之间摄像机22可能捕获和传送一幅或更多幅图像。 因此，当在模块198 (在图5的流程图中)中判定需要调整当前图像的显示 边界以纠正摄像机的无意运动时，在完成下一次图像稳定分析之前，摄像 机22会获取许多附加图像并将其显示mm臓屏幕38上。可以通过不同 的形式，在这些附加的未分析图像中设置显示边界的位置。例如，这些附 加图像4顿的显魂界利用调整后的边搬置，例如显础界100，鄉自 对最后两幅抓取图像的分析，可用于未分析的图像，直到稳定处理肯定地 判定应重新调整显^ii界。或者，在改变一幅具体分析并确定己被摄像机 无意运动影响的图像的显^ii界之后，iM，界可以立即返回到CCD显 示的中心位置。换言之，除了那些己被抓取、分析并确定已经受到无意摄 像腿动影响并且特另鹏定改顿的显示图f細界的图像以外，对于所有 的图像，显示边界都仍保持在中心位置。在已经调整显示边界以解决无意 的摄像鹏动之后，对于许多JI,获取的图像，显动界以递增魏回CCD 图像边界的中A腔置也是有可能的。
在大多M视摄像miS用中，可以 页想到的是，施加于摄像机上的各 种振动和外力会弓胞无意的摄像mM动，对于摄像机预期位置对应的平衡 位置，这些运动的可能振动使得非常短暂地偏离预期位置。在这种情况下， 使显示边界立即返回到中心皿是有禾啲。返回中《袭置不仅可以反映出
现的无意樹M13i动并因此有利于显^l定的图像而且它还防ihM^i界
移向CCD显示图像的纖，另险限制图像稳定鹏^W^'餅^^mM^ 图微界返回CCD图像中A做的娜
虽然上面描述的本发明具有一个示例性的设计，但是，可以在本申请 公开的精神和范围内进一步修改本发明。因此，本申i維向于覆盖舰本 发明一般原理的^M变体、^ffl或M。
权利要求
1、一种稳定视频图像的方法，所述方法包括用摄像机捕获多幅图像，所述摄像机安装在固定支撑架上并具有可调整的视野；调整所述摄像机的视野；抓取所述摄像机捕获的第一幅图像及其后面的第二幅图像；显示所述第一幅和第二幅图像中每幅的选中显示部分，每幅图像的选中显示部分小于捕获的整个图像；以及将所述第二幅图像的稳定调整确定为在捕获所述第一幅图像和捕获所述第二幅图像之间的间隔期间所述摄像机视野的预期改变以及对所述第一幅和第二幅图像的分析的函数，其中，稳定调整包括调整所述选中显示部分在所述第二幅图像内的相对位置。
2、 如权利要求1所述的方法，其中，所述摄像机定义平摇位置 和俯仰位置，并且，在捕获所述第一幅和第二幅图像之间，有意地调 整所述摄像机的平摇位置和俯仰位置中的至少一个位置。
3、 如权利要求1所述的方法，其中，在捕获所述第一幅和第二 幅图像之间，有意地调整所述摄像机的焦距。
4、 如权利要求3所述的方法，其中，对所述第一幅和第二幅图 像的所述分析包括变换所述第一幅和第二幅图像中的一幅图像，其中 调整该幅被变换的图像的縮放比例。
5、 如权利要求1所述的方法，其中，对所述第一幅和第二幅图 像的^f述分析包括基于从与所述摄像机通信的系统接收的、表示视 野的信号，将所述第一幅和第二幅图像中的一幅与所述第一幅和第二 幅图像中的另一幅对准，并判断所述对准后的图像是否表明有无意的 摄像机运动的发生。
6、 如权利要求5所述的方法，其中，判断对准后的图像是否表明发生无意的摄像机运动，该判断包括确定对准后图像的图像差别。
7、 如权利要求6所述的方法，还包括产生对准后图像的图像 差别的直方图，并基于识别所述直方图中的最高峰和所述最高峰的位 置，判断无意的摄像机运动是否己发生。
8、 如权利要求7所述的方法，其中，当所述最高峰不是集中于 0时，判定已发生无意的运动，并且，其中确定所述稳定调整包括识 别出使所述图像差别最小化的调整。
全文摘要
一种包括摄像机的视频图像稳定系统，该摄像机具有被配置用于捕获视频图像的图像捕获设备。该摄像机具有可选择调整的视野，并且，至少一个处理设备可操作地连接到该系统，其中，该处理设备接收表示该摄像机视野的信号和该摄像机捕获的图像。该处理设备顺序地抓取第一幅和第二幅图像。该处理设备将视频图像的稳定调整确定为在捕获第一幅图像和第二幅图像之间的间隔期内、根据表示视野的信号、该摄像机视野的预期改变以及对第一幅和第二幅图像分析的函数。选择该摄像机捕获的每幅图像的一部分进行显示。选中的显示部分小于捕获的整个图像，该处理设备确定的稳定调整包括调整选中的显示部分在捕获的图像内的相对位置。
文档编号H04N5/228GK101340518SQ20081012596
公开日2009年1月7日 申请日期2005年2月18日 优先权日2004年2月19日
发明者塞泽·萨布拉克 申请人:罗伯特·博世有限公司