专利名称：用于视频摄像机的图像稳定系统和方法
技术领域：
本发明涉及摄像机稳定系统，更具体地，涉及抵消多余的和异常的图像移动的摄像机稳定系统。
背景技术：
有众多已知的视频监视系统可用于跟踪如人或车辆这样的移动对象。有些这种系统使用具有固定视野(FOV)的固定摄像机。然而，为了利用固定摄像机系统完全覆盖指定的监视地点，常常必须使用大量固定摄像机。
可摇摄、倾斜和/或变焦(zoom)的可移动摄像机也可以用于跟踪物体。PTZ(摇摄、倾斜、变焦)摄像机系统的使用通常将减少用于指定监视地点的摄像机数量并且还因此减少视频源(video feeds)的数量和成本，以及系统集成硬件，例如与之相关联的多路复用器和转换器。用于指示摇摄、倾斜、变焦移动的控制信号通常来源于通过操纵杆进行操作的操作者或者来源于自动视频跟踪系统。
问题是，除了由于PTZ控制信号而导致的有意地移动，摄像机还会由于例如空气运动或者固定支架的摆动这样的外力而无意地移动。无意的摄像机移动通常导致“跳动的”视频图像，因此不利于观察。
在该技术中需要能够稳定图像以补偿摄像机的无意移动的视频系统。
发明内容
本发明提供一种视频图像稳定系统，其具有用于捕获比在屏幕上显示的相关图像更大的图像的摄像机。该系统可以补偿无意的摄像机移动，即，基于摄像机视野中有意的改变和对两个所捕获图像的分析，通过调整所选择的用于显示的一部分图像的相对位置，从显示的图像中消除跳动。
跟踪算法可以命令处理器密集型的角点匹配例行程序以确保正在为对象移动跟踪比较正确的视频。为了释放处理器资源以获得更好的跟踪速度，本发明提供了一种将正在被分析的视频帧与实际的摇摄、倾斜和变焦位置进行匹配的方法。本发明提供了一种系统方法和体系结构，其使得数字信号处理器中的图像内容分析引擎能够使用与PTZ摄像机相结合的帧精确位置数据来代替角点匹配例行程序。本发明还使得在消除摇摄和倾斜数据的报告时间的变化性时，与用于隐私遮蔽(privacy masking)应用程序的主机处理器共享数据。本发明提供了一种在开放循环系统中确定帧精确位置数据的方法。
本发明提供了一种用于自动目标跟踪的稳定系统，这里称为“自动跟踪器”，该自动跟踪器使用从PTZ摄像机获取视频和摄像机控制信息的通用视频处理平台(VPP)。自动跟踪器消除了对人通过操纵杆来跟踪目标的需要。因此也消除了人的跟踪的相关问题，例如当进行沉闷任务时容易疲倦，以及人没有能力集中精力同时跟踪二个或更多物体。通过在摄像机板的VPP上运行的软件可以使自动跟踪器稳定。
实时稳定的自动跟踪器是使得能够在运行自动化智能跟踪器的同时减少如抖动这样的不规则全局移动影响的技术。在本应用中，当其移动时，即摇摄、倾斜和变焦时，使用球顶摄像机(dome camera)对摆动是非常敏感的，并且取决于传感器的大小和镜头的焦距。如果没有稳定性，那么如果球顶摄像机有摆动，则自动跟踪器可能产生不适合查看的显示。另外，没有预先准备的长期的全局摄像机移动的保存以保持图像内容。
本发明使用连续移动在所有方向(摇摄/倾斜/变焦)上稳定自动跟踪器。自动球顶摄像机的这个特征消除了与没有稳定性的自动跟踪器系统相关联的负面影响，由此导致更加自然的视频移动。
本发明提供可与自动跟踪器一起使用的稳定系统；用于PTZ摄像机的独立的嵌入式视频内容分析(VCA)平台，而不是基于PC的平台；连续稳定引擎，该引擎产生合意的监视系统显示，而不是产生不适合观看的非稳定系统；一种允许获得非固定图像的方法，与请求获取稳定的图像相对；一种使得能够同时地进行完全自动化的稳定和实时的目标跟踪的方法。
本发明包括，以其中的一种形式，视频图像稳定系统，该系统包括具有用于捕获视频图像的视频捕获设备的摄像机。该摄像机具有可选择性地调整的视野。与该摄像机可操作地相连的处理设备，接收表示摄像机视野的信号和由摄像机捕获的图像。该处理设备确定视频图像的稳定性调整，作为在捕获第一图像和第二图像之间的时间间隔期间的摄像机视野的无意改变的函数。该确定是基于表示视野的信号以及对第一图像和第二图像的分析。
本发明包括另一种形式的视频图像稳定系统，该系统包含具有用于捕获图像的图像捕获设备的视频摄像机。每个捕获的图像与视野相关。摄像机具有至少一个可选择性地调整的参数。调制至少一个摄像机参数会改变摄像机的视野。显示设备显示由摄像机捕获的图像的所选择的部分。处理设备被可操作地连接到摄像机和显示设备。该处理设备接收由摄像机捕获的图像。该处理设备用于跟踪图像中的对象的移动，并且通过调整由显示设备显示的所选择的部分图像来补偿视频摄像机的无意的移动。该调整是基于摄像机参数和图像的分析。
本发明的另一种形式包括稳定视频图像的方法，该方法包括用视频摄像机捕获多个图像。识别一个对象在第一捕获图像和第二捕获图像中的每一个中的位置。在捕获第一图像和捕获第二图像之间的时间间隔中调整摄像机的视野。显示第一捕获图像和第二捕获图像的所选择的显示部分。每个图像的所选择的显示部分比全部的捕获图像小。调整步骤和/或显示步骤依赖于识别步骤。基于调整步骤以及对第一和第二捕获图像的分析来确定第二捕获图像的稳定性调整。稳定性调整包括在第二捕获图像中调整所选择的显示部分的相对位置。
本发明的另一种形式包括稳定视频图像的方法，该方法包括用视频摄像机捕获多个图像。跟踪图像中物体的移动。通过使用控制信号来改变摄像机的视野。显示多个图像中的每一个的所选择的部分。改变步骤和/或显示步骤依赖于跟踪步骤。为多个图像中的至少一个调整显示的所选择的部分。调整步骤补偿视频摄像机的无意移动并且是基于摄像机有意的视野和图像分析。
本发明的优点是提供了稳定的视频图像，其限制或消除由摄像机的无意移动而产生的使人分心和不舒服的效果。
本发明的另一个优点是使得当摄像机在移动时获得的图像保持稳定。因此，即使在摄像机在主动地和有目的地改变它的视野，本发明仍然可以补偿摄像机的摇摄、倾斜、变焦的无意运动，例如支持臂震动引起的运动或者在摄像机机架上的风的影响引起的运动。
附图简述 通过下面的结合附图对本发明实施例的描述，本发明的上述以及其他特征和目的，以及实现它们的方式，将变得更加清楚并且本发明自身将变得更容易理解，其中
图1是根据本发明的视频监视系统的示意图； 图2是说明在图1的摄像机视野中的改变以及由摄像机捕获的合成图像的示意图； 图3是图2中捕获的图像的一部分的示意图； 图4是图1中处理设备的框图； 图5是表示图1中的视频监视系统的操作的一个实施例的流程图； 图6是用于二个图像的分析的频率分布图； 图7是本发明的视频图像稳定系统的一个实施例的框图； 图8是本发明的稳定的自动跟踪器方法的一个实施例的流程图； 图9是本发明的稳定算法的一个实施例的数据流图； 图10是本发明的移动检测方法的一个实施例的流程图。
在多个视图中，相应的参考符号指示相应的部分。尽管在此展示的范例说明了本发明的实施例，但是以一种形式在下面公开的实施例并不是用于彻底地或者构造为将本发明的范围限制到所公开的精确形式。
具体实施例方式 根据本发明，图1中显示了视频监视系统20。系统20包括位于部分为球型的外壳24中并安置在支架25上的摄像机22。固定支架25可以具有多种形式，例如从建筑物外部边缘延伸出的向外延伸的支撑臂，该建筑物可以使支撑的摄像机遭受由风、摄像机电动机产生的振动、附近机械运动或者各种其他原因而导致的无意的移动。对外壳24进行着色，以使得摄像机能获取外壳24以外的环境的图像，同时防止在该环境中的被摄像机22观察的个体确定摄像机22的方向。摄像机22包括用于摄像机22的摇摄、倾斜和焦距调整的控制器和电动机。摄像机22的摇摄移动由箭头26表示，摄像机22的倾斜移动由箭头28表示，并且由箭头30表示摄像机22的镜头23的焦距的变化，即变焦。如参考坐标系21所示，摇摄移动可以跟踪沿着x轴的移动，倾斜移动可以跟踪沿着y轴的运动，并且焦距调整可以用于跟踪沿着z轴的移动。在所说明的实施例中，摄像机22和外壳24可以是Philips AutoDomeCamera System牌的摄像机系统，例如G3或G4AutoDome摄像机和外壳，可以从前身为Philips Communication，Security & Imaging公司的Bosch Security Systems公司获得，该公司在宾夕法尼亚州(Pennsylvania)的兰开斯特市(Lancaster)拥有商业场所。G3或G4 AutoDome摄像机的基础、高级或其他型号都适合与本发明一起使用。由Sergeant等通过名为“Surveillance CameraSystem”的美国专利No.5,627,616描述了适合与本发明一起使用的摄像机，通过参考将其包含在此。
系统20还包括头端单元32。头端单元32可以包括视频信号转换开关或视频信号多路复用器33。例如，头端单元可以包括Allegiant牌的视频信号转换开关，可以从宾夕法尼亚州(Pennsylvania)兰开斯特市(Lancaster)的，前身为Philips Communication，Security & Imaging公司的Bosch Security Systems公司获得，例如LTC 8500系列的Allegiant视频信号转换开关，该视频信号转换开关提供了最多64个摄像机的输入并且可以配备8个独立键盘和8个监视器。头端单元32包括用于操作者输入的键盘34和操纵杆36。头端单元32还包括用于由操作者进行观察的监视器38形式的显示设备。提供了24伏的a/c电源，从而为摄像机22以及与摄像机22和头端单元32可操作地相连的处理设备50供电。
举例说明的系统20是单独的摄像机应用，然而，本发明可以用于更大的具有附加摄像机的监视系统，以覆盖更大或更复杂的监视区域，附加摄像机既可以是固定的也可以是移动的摄像机或它们的组合。一个或更多VCR或者其它形式的模拟或数字记录设备也可以与头端单元32相连，以记录由系统中的摄像机22和其他摄像机捕获的视频图像。
现在，参考图2和图3讨论构成根据本发明的图像稳定系统d操作基础的一般概念。摄像机22包括图像捕获设备，例如获得了由电荷耦合器件(CCD)图像边界82定义的四边CCD视频图像80的CCD。处理设备50识别或选择在用于由系统20的操作者进行观察的监视器38的屏幕上显示的CCD图像80的中心部分。更具体地，处理设备50识别由显示图像边界86定义的显示图像84，用于在监视器38的屏幕上观察。在一个实施例中，CCD视频图像的所选部分，即显示图像84包括CCD视频图像的大约60％到90％之间。在优选实施例中，CCD图像80可以比由显示图像边界86定义的显示图像84大大约30％。换言之，在优选实施例中，大约23％的CCD图像80没有显示在监视器38的屏幕上。然而，为了方便说明，在图2中的CCD图像80比图像84大约大100％到200％。如以下详述，通过使用比CCD图像小的显示图像，处理设备50可以调整为顺序获取的图像定义了与整个CCD图像相关的显示图像的边界的位置，以抵消支撑臂振动的影响和摄像机的其他无意移动。
在一段时间之后，改变摄像机22的视野(FOV)以获取第二四边CCD图像88。第二CCD图像边界90定义了CCD图像88的界限。图2示意性地说明了由摄像机22获取的两个具有不同视野的图像80，88以及二个图像重叠的范围。
摄像机22视野的改变可以是因为摄像机22的有意和无意的移动而引起的。摄像机22的有意移动可以是由从头端单元32发送到摄像机22的摇摄、倾斜和变焦控制信号而引起的。即，可以通过使用控制信号来改变摄像机22的视野。摄像机22的任何无意的移动可以是由诸如空气运动或支撑臂振动这样的外力而引起的。
通过处理设备50识别由中间的、未调整的显示图像边界94定义的，来自CCD图像88的中间的未调整的显示图像92，但是不会在监视器38的屏幕上显示其。未调整的显示图像92包括与包含在显示图像84中的部分CCD图像80对应的一部分CCD图像88。即，显示图像92与CCD图像边界90的相对位置和显示图像84与CCD图像边界82的相对位置相同，对于显示图像84和92来说，显示图像边界和相应的CCD图像边界之间的距离大致相等。例如，显示图像84和92中的每一个位于它们相应的CCD图像80，88的中心。
图2和图3示意性地说明了由摄像机22获取的二个图像以及就这二个图像而言，摄像机的有意移动、摄像机的实际移动与摄像机的无意移动之间的影响和关系。在这些图像的每一个中识别共同的固定特征96以阐明发生在二个图像的获取之间的FOV的相对移动。在图2中的实线和虚线中都显示了相同的固定特征96以指示特征96在CCD图像80和CCD图像88中都存在。图2中示意性地表示了相对于CCD图像边界82，90的特征96的实际水平平移ΔP(通常对应于摄像机22的摇摄移动)和垂直平移ΔT(通常对应于摄像机22的倾斜移动)，其实际上发生在获取二个CCD图像80，88之间的期间中。
在图2中，描述了相对于固定特征96的CCD图像80和88的位置。如图2所示，图像80和88重叠了相当大的范围，但是摄像机22的视野已经在CCD图像80到最近捕获的CCD图像88之间发生改变。图3中更好地显示了摄像机22的FOV的改变，其中由于在无需为图像稳定的目的来调整显示图像的边界86，94的情况下，他们将连续出现在监视器38的屏幕上，显示图像84，92是相互重叠的，。
相对于显示图像边界86，94的，特征96的垂直(即倾斜方向)的位置改变ΔT以及水平(即摇摄方向)的位置改变ΔP表示摄像机22的垂直(倾斜)移动和水平(摇摄)移动，这些移动发生在通过摄像机22捕获CCD图像80和88之间，并且和相对于CCD图像边界82和90的特征96的位置的改变相等。
换言之，ΔT等于垂直距离v0和v1之间的差，垂直距离v0和v1分别为特征96与显示图像边界86和94的相应水平边界之间的距离。即，ΔT＝|v0-v1|。相似地，ΔP等于水平距离h0和h1之间的差，水平距离h0和h1分别为特征96与显示图像边界86和94的相应垂直边界之间的距离。即，ΔP＝|h0-h1|。或者，可以认为ΔT等于垂直距离v2和v3之间的差，垂直距离v2和v3分别为特征96与CCD图像边界82和90的相应水平边界之间的距离。即，ΔT＝|v2-v3|。相似地，ΔP等于水平距离h2和h3之间的差，水平距离h2和h3分别为特征96与CCD图像边界82和90的相应垂直边界之间的距离。即，ΔP＝|h2-h3|。
基于对二个CCD图像80，88的内容的分析，通过处理设备50来确定ΔT和ΔP的值。可用于对齐或对准具有重叠内容的二个图像的匹配技术在本技术领域是众所周知的，并且被广泛用于各种计算机版本和视频处理应用程序。二个著名的方法是标准化的基于相互关系的模板匹配(correlation-based template matching)和特征匹配。例如，固定对象的识别，例如可以使用特征匹配方法来识别二个图像中的固定对象，例如特征96。一个著名的识别视频图像中的特征的方法是角点检测方法(comer detection method)，该方法分析图像以识别图像中的位置，或角点，在这些位置或角点，在邻近象素的亮度级别方面，有相对明显的改变。然后在二个分开的图像中比较和匹配这些角点。
尽管这种特征匹配方法可以在本发明中使用，但是举例说明的实施例使用了一种模板匹配方法来代替其。在本技术领域已知多种模板匹配方法。二个著名的模板匹配方法是差的平方和方法以及标准化交叉相关方法。差的平方和方法通常依赖于下面的数学关系式 其中E是总误差，I是图像，M是模型模板，(x，y)是模型图像坐标，并且(x’，y’)是变换的图像坐标。为了对齐二个图像，使总误差E最小化。在图2的例子中，第一显示图像84对应于模型模板M，x和x’之间的差对应于ΔP并且y和y’之间的差对应于ΔT。由移动模型定义变换的图像坐标和模型图像坐标之间的关系。可以使用不同的移动模型并且如下所示的仿射变换对旋转、剪切，和平移进行了建模 本移动模型(2)需要至少三个在当前图像(第二CCD图像88)和模型图像(第一显示图像84)之间的点对。
尽管差的平方和方法可以在本发明中使用，举例说明的实施例使用标准化交叉相关算法来代替其。使用交叉相关系数的模板匹配是基于欧几里德距离(Euclidean distance)的平方 其中f是图像，例如第二CCD图像88，并且在窗口(window)下的x，y上求总和，例如第一显示图像84，包含位于(u，v)的特征t。d2的展开式为 项∑t2(x-u，y-v)是常数。如果项∑f2(x，y)近似为常数，那么在图像和特征之间的相似度的测量由剩余的交叉相关项提供 然而，使用该项用于模板匹配有几个缺点，通常使用相关系数来代替。相关系数可以通过将图像和特征矢量标准化到单位长度来获得，给定 其中t是特征的平均值并且fu，w是特征下的区域中的f(x，y)的平均值。本关系，对于本技术领域中具有普通技术的技术人员来讲是已知的，通常称作标准化交叉相关。通过将第一显示图像84和第二CCD图像88之间的标准化相关(normalized correlation)最大化，处理设备50可以确定ΔT和ΔP的值。
除了确定视野的实际改变以外，如由ΔT和ΔP所指示的，如果在摄像机22的视野(FOV)方面有任何有意的改变，则处理设备50还确定有意的改变。在图2中，在FOV中的、在垂直(倾斜)和水平(摇摄)方向的有意的改变分别对应于ΔTI和ΔPI。例如，当摄像机有意摇摄或倾斜时，将改变摄像机的FOV。在图2中，摄像机的FOV中的有意改变对应于ΔTI和ΔPI，其中ΔTI是与摄像机22的有意倾斜相对应的垂直图像距离，并且ΔPI是与摄像机22的有意的摇摄相对应的水平图像距离。
在举例说明的实施例中，摄像机22将关于摄像机22的摇摄，倾斜和变焦位置的基于帧的同步信息以及由摄像机22获取的每个图像发送给处理设备50。如果摄像机22在摇摄、倾斜和变焦位置上有任何有意的改变，也就是ΔTI和ΔPI在数量和方向上有任何有意的改变，那么处理设备50使用与二个图像80，88中的每一个相关联的摇摄，倾斜和变焦设置来确定该有意的改变。
在FOV中的有意的改变也可以通过其他方法来确定。例如，处理设备50可以分析发送给摄像机22的摇摄、倾斜和变焦控制信号来确定FOV的有意的改变。这样的控制信号可以由头端单元32发起，例如由于操纵杆36的人工操作，以及直接地或通过摄像机22被发送到处理设备50。或者，摄像机控制信号可以发源于处理设备50，例如由自动入侵者跟踪程序产生的摄像机控制信号。或者，摄像机控制信号可以来自其他来源并且被传送到处理设备50，或者处理设备50可以通过分析从系统20汇集的其他数据来确定在显示图像中的有意的改变。
一旦已知由ΔT和ΔP表示的摄像机的FOV的实际的改变，以及由ΔTI和ΔPI表示的摄像机的FOV的有意的改变，就可以确定在垂直(倾斜)和水平(摇摄)方向上或者在其中一个方向上是否存在任何无意的移动。值ΔTE和ΔPE代表二个连续图像的FOV的实际改变(ΔT和ΔP)与FOV的有意改变(ΔTI和ΔPI)之间的差，即由于摄像机22的无意移动而引起的FOV的改变。处理设备50基于ΔTE和ΔPE的值，通过调整显示图像在CCD图像内的相对位置来补偿这种摄像机22的无意移动。在图2中，由调整过的显示边界100定义的调整后的显示图像98将在监视器38的屏幕上显示。
当发送图像到用于在监视器38的屏幕上显示的头端单元32时，处理设备50可以修剪图像并且仅转发所选的显示图像部分，例如显示图像84，98，或者可以连同显示图像边界(例如显示边界86，100)的坐标一起转发全部CCD图像，例如CCD图像80，88。
只要全部调整后的显示图像98在CCD图像88上是可获得的，那么调整后的显示图像98就可以在监视器38的屏幕上显示。视频图像的所选部分的外边界，即显示图像边界，以及CCD视频图像的外边界由全部四边上的边沿空白部分分开。因此，显示图像的调整限于相应的边沿空白部分的宽度。即，可以在CCD图像中重新定位的显示图像的范围受限于对应于显示图像和CCD图像之间的尺寸差的阈值。可以基于预期的震动幅度和监视摄像机将遭受的其他无意的移动来选择边沿空白部分的尺寸。
本发明的关键特征是，其不仅在摄像机静止时稳定显示图像，而且在调整摄像机的FOV时仍然稳定显示图像。如上所述，除了摄像机22的可调整的摇摄和倾斜角度外，摄像机22还具有可调整的变焦设置。前面关于确定ΔT和ΔP；ΔTI和ΔPI；以及ΔTE和ΔPE的讨论没有专门解释涉及摄像机22的变焦设置中的改变的FOV的改变的情况，即除了摄像机的摇摄或倾斜移动外，摄像机22的镜头的焦距的改变。摄像机22或支撑摄像机22的结构的震动不可能导致摄像机22的变焦设置的无意改变。因此，假设从摄像机22发送到处理设备50的变焦设置是正确的。
然而，在获取图像80，88之间的变焦设置中的有意的和精确的改变将通过改变图像80，88的内容的相对尺寸来影响图像稳定处理。或者本发明的实施例可以以另一种方式处理这种在摄像机22的变焦设置中的改变。最简单的方法是只有在由处理设备50分析的二个连续的图像具有相同的变焦设置时才执行图像稳定处理。当摄像机22的焦距实际上改变时，本方法将挂起图像稳定处理的操作。对于其中摄像机的焦距发生相对较少的改变或者其中摄像机不包含可调整的焦距这样的应用，本方法不会明显降低图像稳定系统的价值。此外，当焦距实际上正在改变时，图像正在经历显而易见的变换，该变换通常是短暂的，而且其中微小的无意的图像平移将不会像摄像机静止时或者进行摇摄和/或倾斜移动时那么令人迷惑。
也可以在摄像机22的焦距正在改变时继续执行图像稳定处理。如果采用该方法，那么至少正在比较的二个图像(即第一和第二CCD图像80，88)中的一个必须被变换以使得能够以共同的比例描绘在每个图像中描绘的物体并且可以对准这些物体。为了实现这一点，可以使用几何变换来修改在图像中的每个象素的位置。另一种考虑的方法是基于摄像机的移动，看作所有象素从一个位置移动到一个新位置。在名为“Motion-Based Tracking With Pan-Tilt-Zoom Camera”的美国专利申请公开No.2002/0167537A1中，由Trajkovic讨论了一种方法，用于变换第一图像以将其与第二图像对准，其中在获取二个图像之间调整摄像机，通过参考将该专利申请公开包含在此。
在不同焦距下获取的连续图像的对准需要图像的平移和缩放以及旋转，以将图像与前一个图像对准。在三种操作中，平移是最简单的。弯曲(warping)，其中每个象素经历通常的用户指定的变换的处理，在执行进一步处理之前，该过程是必须的以减少、扩大，或者修改图像标准化其尺寸。通过这种几何操作产生的图像是原来图像的近似图像。二个图像(当前图像，例如I1和参考图像，例如I2)之间的映射，定义如下 p’＝sQRQ-1p＝Mp(7) 其中p和p’表示在第一图像和第二图像中的相同世界点(world point)的对应图像坐标，s表示比例图像(其对应于摄像机的焦距)，Q是内部摄像机校准矩阵，R是在二个摄像机位置之间的旋转矩阵。
或者，二个连续图像中的静止世界点的图像投影坐标p和p’(即象素位置(x，y)和(x’，y’))之间的关系可以写成 其中mij3×3是将第一图像映射(对准)到第二图像的单应矩阵(homography matrix)M。
在这种图像对准中的主要任务是确定矩阵M。从等式(7)，可以清楚看出，如果已知s，Q和R，则理论上可以直接确定矩阵M。然而，实际上s，Q和R的精确值通常是未知的。等式(7)还假设摄像机中心和旋转中心是相同的，这通常仅仅是近似正确。然而，对于提供图像稳定性来讲，该假设可以是足够精确的。在举例说明的实施例中，摄像机22在图像同步的基础上提供数据，即用于确定R的摇摄和倾斜值以及用于确定s的变焦值，以及发送给处理设备50的每个图像。
使用该图像特定的数据，可以使用上述单应方法来执行一个图像的平移，旋转和缩放以将该图像与第二图像对准。在本方法中，平移是沿着x或y方向的移动多个象素的象素移动。正平移是沿着行或列索引增加的方向，负平移相反。正方向的平移将行或列添加到图像的顶端或左边，直到达到需要的增加量。图像旋转是相对于坐标原点执行的，被限定在移动的原点并且被指定了一个角度。对一个图像缩放的意思是按照指定的因子使其变大或变小。可以使用下面的关系式来近似表示这种平移、旋转和缩放 x′＝s(xcosα-ysinα)+tx y′＝s(ysinα+xcosα)+ty (10) 其中 s是缩放(变焦)因子。
α是关于坐标原点的旋转角度； tx是x方向的平移； ty是y方向的平移； 通过引入新的独立变量a1＝s cos α和a2＝s sin α，等式(10)变为 x′＝a1x-a2y+tx y′＝a2x+a1y+ty(11) 在确定a1，a2，tx，ty后，可以对准二个图像I1和I2。如果使用从摄像机直接获得的变焦，摇摄和倾斜的值来获得上述值，那么tx，ty将与ΔPI和ΔTI相对应。如果转换的图像显示全局图像移动并且未通过本处理正确地对准，那么已出现无意的移动并且可以使用标准化交叉相关来确定这些转换图像的ΔPE和ΔTE的值。
图4示意性地显示了处理设备50的硬件体系结构。在举例说明的实施例中，处理设备50包括与电源/IO板66通信的系统控制板64。电力线42连接电源40与转换器52，以提供电力给处理设备50。处理设备50通过视频线44从摄像机22接收原始模拟视频供给，并且视频线路45用于将视频图像传送到头端单元32。在举例说明的实施例中，视频线44，45是1Vp-p，75欧姆同轴电缆并且包括BNC(同轴电缆接插件)连接器，以用于与处理设备50接合。由摄像机22提供的视频图像可以是模拟的并且符合NTSC或PAL标准。当处理设备50处于未激活状态，即关闭状态时，来自摄像机22的视频图像可以通过模拟视频线路54，模拟电路68，模拟视频线路70以及通信插件板72，穿过处理设备50到达头端单元32。板72可以是能够处理双相信号并且包含同轴消息集成电路(COMIC)的标准通信板，用于允许在视频链路上进行双向通信。
通过另一个模拟视频线路56，一个模拟到数字转换器58从摄像机22接收视频图像并且将模拟视频信号转换为数字视频信号。在数字视频信号被存储在SDRAM 60形式的缓冲器中之后，将数字化的视频图像传递到视频内容分析数字信号处理器(VCADSP)62。以上参考图2和图3描述的视频稳定算法是在VCADSP 62中执行的。将调整后的显示图像到数字到模拟转换器74，其中视频信号被转换为模拟信号。通过模拟视频线路76和70将得到的带注释的模拟视频信号发送到通信插件板72，然后该通过视频线路45将该信号发送到头端单元32。
在举例说明的实施例中，到系统控制板64的视频输入被限制为1Vp-p并且如果视频信号超过1Vp-p，则将被消减为1Vp-p。但是，具有更大或更小能力的其他实施例也可以与本发明一同使用。处理器62可以是TriMedia TM-1300可编程媒体处理器，可以从“PhilipsElectronics North America Corporation”获得。在启动时，处理器62加载引导装入(bootloader)程序。然后该引导程序从例如闪存78这样的存储设备中将VCA应用程序代码拷贝到SDRAM 60中用于执行。在举例说明的实施例中，闪存78提供1兆字节的存储器以及SDRAM60提供8兆字节的存储器。由于在启动之后来自闪存78的应用程序代码被加载到SDRAM 60中，所以SDRAM 60剩余大约7兆字节存储器用于存储视频帧。
在图4所示的实施例中，通过双相数字数据总线102、I2C数据总线104，和RS-232数据总线106将系统控制板64连接到通信插件板72。通过RS-232数据总线110将系统控制板64连接到RS-232/RS-485兼容收发器108。线路49可以是RS-232调试数据总线的形式，其将来自头端单元32的信号发送到处理设备50。在线路49上的信号可以包括可以在发送到摄像机22之前由处理设备50修改的信号。可以通过与微处理器112通信的线路48将该信号发送到摄像机22。微处理器112可以操作系统控制软件并且还可以与VCA组件114进行通信。因此，例如VCA DSP 62这样的VCA组件可以通过微处理器112和线路48向摄像机22发送信号。
系统控制板64还可以包括现场可编程门阵列116，该现场可编程门阵列116包含遮蔽存储器(mask memory)118，字符存储器(character memory)120，和屏幕上显示(on screen display，OSD)存储器122。相似地，VCA组件114可以包括遮蔽存储器124，字符存储器126，和OSD存储器128。这些组件可以用于显示在屏幕38上的图像的各个部分或者用于生成屏幕38的文字显示上。最后，系统控制板64可以包括用于存储用户设置的并行数据闪存130。
在举例说明的实施例中，唯一由人类操作者输入的传达到处理设备50的必要指令是开/关指令，然而，甚至这些开/关指令在另一个实施例中也可以自动发出。通过双向线路46在头端单元32和摄像机22之间传送这种开/关指令以及其他串行通信，并且通过线路48在处理设备50和摄像机22之间传送这些开/关指令和其他串行通信。在举例说明的实施例中，处理设备50装备有金属片外罩并且安装在接近摄像机22的位置，然而，也可以使用其他方法和在其他位置安装处理设备50。处理设备50还可以使用其他硬件体系结构。这种硬件应该可以运行软件并且为了有好结果至少每秒处理大约5帧。还应该注意的是，通过给处理设备50配备金属片外罩方便了在PTZ摄像机上或附近安装其，并且系统20可以由此提供不需要基于个人电脑的图像稳定系统的单独的嵌入式平台。但是，如果需要，还可以通过使用基于个人电脑的系统来利用本发明。
处理设备50可以执行多种功能，包括捕获由摄像机22获取的视频帧，识别图像帧中的固定特征，基于发送到摄像机22或者从摄像机22接收到的信号来确定摄像机FOV中的有意的改变，识别固定特征并确定摄像机FOV中的实际的改变，比较摄像机FOV的有意的改变和实际的改变以确定由摄像机的无意移动而导致的图像变化的幅度，以及选择显示图像坐标以抵消由摄像机的无意移动而导致的变化。处理设备50还可以用于执行自动跟踪功能。例如，处理设备50还可以提供自动跟踪系统，其中处理设备50用于识别在摄像机FOV中的移动的目标对象，然后生成控制信号，该控制信号调整摄像机的摇摄、倾斜和变焦设置以跟踪目标对象并将目标对象保持在摄像机的FOV中。由于摄像机的摇摄、倾斜和变焦设置被自动调整以跟踪目标对象，因此通过利用根据本发明的图像稳定系统可以稳定由系统显示的图像。由Sablak等人在2002年11月27日提交的，名为“VIDEOTRACKING SYSTEM AND METHOD”的美国专利申请No.10/306,509中描述了可以由系统20使用的自动跟踪系统的例子，通过参考将其包含在此。根据本发明的图像稳定系统还可以用于稳定图像，其中，正在手动调整摄像机，例如通过操纵杆36的或其他应用程序中的手动操作。
图5提供了图形化地说明由如上所述的系统20使用的视频稳定算法的实施例的一般逻辑的流程图。如图5中所示，在打开处理设备50之后，在步骤180，通过将应用程序代码从闪存78拷贝到SDRAM60用于执行来进行初始化。框182表示SDRAM 60的剩余存储器，其可用做环形缓冲区(ring buffer)，以用于存储视频图像帧和从摄像机22接收的并为处理器62的处理存储的，与每个帧相关联的数据。在确定框184，处理器62确定第一标志是否为真。只有当没有来自摄像机22的图像被载入SDRAM 60用于由处理器62执行的分析时，第一标志才为真。因此，当处理设备50被打开时，首先遭遇确定框184，第一标志将为真并且处理器62将进入框186。框186表示了由处理器62获取二个图像。然后处理器62进入框188，其中平滑滤波器被应用于每个图像。平滑滤波器的应用涉及采用图像的二个子采样(sub-sampling)。第一子采样步骤创建当前I1和I2图像的QCIF分辨率子采样(即具有四分之一原始NTSC或PAL CIF分辨率图像的分辨率的图像)。子采样处理将邻近的象素聚合到一起以定义聚合的象素的平均值。子采样处理的目的是减少分析图像所涉及的计算处理所消耗的时间。然后，进行第一子采样的第二子采样，从而导致产生具有原始CIF分辨率图像的分辨率的1/16的图像，由此进一步增加图像稳定处理的速度。框190表示从摄像机获取每个图像的摇摄、倾斜和焦距(即变焦)的值(该数据表示有意的值并且包括摇摄和倾斜值的无意移动分量)。尽管框190显示在图像获取之后的位置，但是摇摄、倾斜和变焦数据可以与图像同时通过摄像机22发送到处理设备50。
随后，框192表示使用当前图像的摇摄、倾斜和变焦值来计算用于旋转和缩放的单应矩阵。然后，在框194中，通过单应来执行图像转换以将第二图像对准到第一图像。(如果在获取二个图像之间的时间间隔期间，没有调整摄像机的摇摄、倾斜或变焦，那么就不需要图像转换。) 在框196，计算二个对准的图像的图像差别以确定在图像中是否出现任何移动。因此，在对准图像I1和I2之后，根据以下等式计算图像差别Δ Δ＝|I2-I1| (12) 然后计算这些差的频率分布图。图像的固定背景通常会导致生成频率分布图中的最大峰值。因此，如果最大峰值集中于零周围，那么二个图像的背景被对准，并且在获取二个图像之间的间隔期间没有出现任何无意的摄像机移动。如果是这种情况，处理返回到确定框184。如果在频率分布图中的最大峰值不集中于零周围，那么这表示全局移动，即背景在移动。这被解释为指示摄像机的无意移动，并且处理进入框198。还可能出现移动的图像将定位于所获取的图像中。如果在图像中出现这种移动对象，则频率分布图通常将具有与它关联的二个峰值，一个对应于背景，一个对应于移动对象。如果是这种情况，那么假设图像的背景比移动对象占据更多的图像区域，以及最大峰值用于做出上述决定。换言之，评估频率分布图以确定频率分布图的最大峰值是否集中于零，其指示不存在无意的摄像机移动，或者最大峰值是否指示全局移动，表示存在无意的摄像机移动。例如，图6示意性地描述图像差别的频率分布图，其中第一位的峰值集中于零，表示没有无意的摄像机移动，还包括第二位的峰值212，其不集中于零，因此表示在图像中存在移动对象。
如果检测到无意的摄像机移动并且系统进入框198，则使用标准化的交叉相关(NCC)来确定二个图像之间移动的程度。因为二个图像的转换已经以由代表ΔTI和ΔPI的值预测的方式对准图像，所以在框198确定在二个图像之间发生的移动的处理步骤对应于确定ΔTE和ΔPE的值。
下面，在框200，交换用于图像I1和I2的数据。完成图像数据的交换从而使得如果在完成框202的平移后获取新图像并放置在缓冲器中，那么新的图像和与之关联的数据将覆写图像以及与存在于缓冲器中的二个图像中较旧的一个相关联的数据。
框202表示按照与ΔTE和ΔPE相同的量，在最近获取的图像的CCD图像上转换显示图像边界，从而提供稳定的视频图像。
然后，处理返回框184，其中第一标志将不再为真，并且处理将进入框208，其中将获取单独的新图像并且将覆写缓冲器中的图像I2。然后，处理器62进入框210，其中平滑滤波器被应用于新的图像。框212表示在通过摄像机获取新图像的时候获取摄像机的摇摄、倾斜和变焦设置。然后，处理进入框192。
在典型的实施例中，摄像机22连续地获取新图像并且用于将当前图像和之前获取的图像进行比较的、由处理设备50执行的计算分析占用的时间比由摄像机22获取的各个图像之间的时间间隔更长。当处理设备50完成它的一组图像的分析时，它获取最近获取的图像用于下一次分析。因此，在由处理设备50顺序地获取的、用于分析的两个图像之间，可以存在一个或多个由摄像机22捕获和发送的图像。因此，当在块198(图5的流程图中)中确定当前图像的显示边界需要调整以纠正摄像机的无意移动时，在下一个图像稳定分析完成前，多个额外的图像将由摄像机22获取并显示在监视器屏幕38上。在这些额外的未分析的图像中设置显示边界的位置可以以不同的方式完成。例如，与这些额外图像一同使用的显示边界使用调整的边界位置，例如显示边界100，其是通过对最后二个获取的图像进行的分析而得到的，其可以与未分析的图像一起使用，直到稳定处理肯定地确定显示边界应该重新调整。或者，在为了一个被具体地分析的并且被确定为已经被无意的摄像机移动影响的图像改变显示边界之后，显示边界可以立即返回到在CCD显示中的它的中心位置。换言之，对于除那些特定图像外的所有图像，显示边界将仍然在中心位置，所述特定图像已被获取、分析并确定为已被无意的摄像机移动影响，并且针对其专门确定了改变的显示图像边界。在已经调整显示边界以解决无意的摄像机移动之后，对于多个连续获取的图像，显示边界还可能以逐渐增加的量返回CCD图像边界中的中心位置。
在大多数监视摄像机应用中，可以预见震动类型和其他类型的作用在摄像机上的外力将引起无意的摄像机移动，其与预期的位置有非常短暂的偏离，可能相对于摄像机的预期位置的平衡位置进行摆动。在这种情况下，使显示边界立即返回中心位置是有利的。返回中心位置不仅可以反映潜在的无意的摄像机移动，而且可以促进稳定图像的显示，还可以防止显示边界移动到CCD显示图像的边沿，其能够限制图像稳定处理的效力并可能由一种处理产生，该处理不将显示图像边界返回到CCD图像的中心位置。
一种自动视频跟踪系统，其中可以自动跟踪一个特征，即无人操作(例如通过操纵杆)的跟踪，可以称作“自动跟踪”。在本发明的另一个实施例中，自动跟踪和稳定功能被结合到一个单独的“稳定的自动跟踪器”(SAT)算法中。SAT可以包括四个集成的软件组件自动跟踪器(AT)引擎，稳定软件，虚拟遮蔽(virtual masking，VM)软件，和SAT执行程序。按照SAT执行程序所指示的，稳定和AT可以单独工作，或者同时工作。
本发明的稳定的自动跟踪器的主要优点是，它消除了可以用于计算单应矩阵的角点匹配。在稳定的自动跟踪器实施例中，帧精确摄像机位置(摇摄、倾斜、变焦)可以用于生成单应矩阵。这是非常值得的，因为大约50％的处理执行周期可以归因于角点匹配。因此，仅消除角点匹配，而不考虑CPU速度的差别，可以导致双倍的处理速率，例如从5帧/秒到10帧/秒。
在图7中显示了用于执行帧精确PTZ数据传输的本发明的视频图像稳定系统720的一个实施例的框图。PTZ摄像机722可以是“Philips AutoDomeCamera System”牌的摄像机系统的形式，例如“G4 AutoDome”摄像机和外壳，可以从前身为“PhilipsCommunication，Security & Imaging”公司的“Bosch Security System”公司获得，该公司在宾夕法尼亚州(Pennsylvania)的兰开斯特市(Lancaster)拥有业务处。摄像机722可以具有三个电路板，或者与三个电路板通信，这三个电路板包括通信板、系统控制板，和视频内容分析(VCA)板。VCA板可以包括数字信号处理器(DSP)，例如可以从德克萨斯(Texas)的“Texas Instruments of Dallas”获得的DM642 600MHz处理器。更具体地，摄像机722可以发送捕获的图像和/或电动机位置消息到主机750。例如，摄像机722可以执行自动变焦并以不超过9600波特的速度报告，并且每个视频帧可以具有33.33ms(NTSC)或者40ms(PAL)的持续时间。
一接收到变焦自动报告并计算出所感知的焦距，就可以将感知的变焦数据传送到现场可编程门阵列(FPGA)752。可以将感知的变焦数据作为2个16位的字发送到FPGA 752。
可以通过主机端口接口(HPI)756由FPGA752自动发送PTZ数据到数字信号处理器(DSP)754。一旦FPGA 752接收到感知的数据，该数据就可以与摇摄和倾斜数据结合，并被作为6个16位的字而发送。DSP中断可以由FPGA 752设定。DSP 754可以具有与之关联的SDRAM存储器设备758。
来自帧的最大帧延时可以是大约6.3毫秒(ms)，主要包括具有大约6.25ms持续时间的摄像机自动报告。其他帧延时的组成部分可以包括主机750的中断等待时间(1μs)，主机处理(1μs)，FPGA写(0.4μs)，FPGA处理程序等待(0.4μs)，FPGA处理时间(1μs)，EDMA共享延时(0.5μs)，以及DSP中断等待时间(1μs)。
通过FPGA 752，HPI 756可以使视频内容分析(VCA)RAM受到对SC(系统控制器)的读/写访问。这样，VCA就可以为系统控制器的引用保留和公开固定地址。这些地址可以提供对VCARAM的访问，使用中断来指示新数据。
在SC和VCA之间最频繁传送的数据可以包括动态数据，例如摄像机的位置，和状态字(具有例如禁止移动检测的位)。VCA还可以要求大的数据表，其由SC在启动时准备并且随后在他们准备好读的时候通知VCA。这些表还可以在操作期间更新，在这种情况下可以使用相同的通知技术。最后，VCA串行I/O，可以通过SC串行端口来驱动。但是，SC可以不与串行数据发生相互作用，而只是作为穿行的代理。
当稳定程序关闭时，自动跟踪器可以处理四分之一的通用中间格式(QCIF)的图像，当稳定程序打开时，自动跟踪器可以处理85％的QCIF的稳定图像。另外，由于输入到自动跟踪器的数据可以是“原始的”视频(即没有屏幕显示图标)，大多数图像可以用于跟踪，相反顶端的30线不可用，因为被图标、文字等占用。
除了QCIF图像外，自动跟踪器算法的输入还包括摄像机摇摄、倾斜和变焦位置，摄像机高度，和虚拟遮蔽。自动跟踪器算法的输出包括摄像机摇摄、倾斜和变焦指令，以及自动跟踪器状态，例如关闭、查看、跟踪、重大错误。
图8是本发明的稳定的自动跟踪器方法800的一个实施例的流程图。在第一步801中，根据帧精确位置基于硬件的技术来计算单应矩阵。步骤801的最后的子步骤(Blob_Size＝计算移动遮蔽)对应于在图10中说明的移动检测方法。
用于执行步骤802的软件模块的一个实施例如下所示 K＝0； bl_count＝0； global_motion＝FALSE； float MAD[6][8]-initialize all to zero. BlockSize＝10 for(i＝0；I＜CntrdH；i++) { if(i％blockSize＝＝0) k++； l＝0； for(j＝0；j＜CntrdW；j++) { ifj％blockSize＝＝0) j++； imgNdx＝i*CntrdW+j； if(abs(ImgCentroid
.plmg[imgNdx]-ImgCentroid[1].plmg [imgNdx])＞STB-Threshold) if(MM[imgNdx]l＝0)<!-- SIPO <DP n="22"> --><dp n="d22"/> MAD[k-1][1-1]++； } } for(i＝0；i＜6；i++) for(j＝0；j＜8；j++) if(MAD[i][j]＜20) bl_count++； if(bl_count＞10) global-motion＝TRUE；//there is no global motion 用于执行步骤804的软件模块的一个实施例如下所示 (Basically the end of Compute_Motion_Mask()…… for(i＝top_row；i＜bottom row；i++) { //point to start of each row，then add the left column //offset. offset＝(i*m_cmd-width)+left_col； for(j＝left_col；j＜right_col；j++) { if(MM[offset]) { sum++； vp[i]++； hp[j]++； } //move across the row to the next column. Offset++； )//jindex }//iindex if(sum＞5)<!-- SIPO <DP n="23"> --><dp n="d23"/> { center.x＝GetMedianAndSigmaFromCountingSort(sum，hp，hp 1，<br/>&sgh，m_cmd-width；//160)； center.y＝GetMedianAndSigmaFromCountingSort(sum，vp，vp1，<br/>&sgv，m_cmd_height；//105)； axes.width＝int(sgh)； axes.heigbt＝int(sgv)； //Compute how far the center of motion has moved int xdiff-abs(tempcenter.x-center.x)； int ydiff-abs(tempcenter.y-center.y)； //This computes the“target consistency”. //The target is inconsistent if //1)The target is too big-OR- //2)The target has moved toofar if((axes.width＜el&&axes.height＜e2)&& (xdiff＜e4&&ydiff＜e3) m_Target_Consistency_Flag＝TARGET_IS_CONSISTENT； else m_Target_Consistency_Flag＝TARGET_IS_NOT_CONSISTENT； tempaxes.width＝axes.width； tempaxes.height＝axes.height； tempcenter.x＝center.x； tempoenter.y＝center.y； } //End of Computing Median of the image else {<!-- SIPO <DP n="24"> --><dp n="d24"/> m_Target_Consistency_Flag＝TARGET_S_NOT_CONSISTENT； bilinear_mapping(M.a，center.x，center.y，&cx，&cy)； center.x＝int(cx+.1)； center.y＝int(cy+.1)； } 稳定化处理使得全部摄像机的结构移动，即“全局”移动，可以被消除以呈现给用户。稳定化处理可以与自动跟踪器(AT)共享许多相同的视频处理，因此，稳定化处理和自动跟踪器可以紧密的集成。AT可以确定是否需要图像稳定处理以及是否能够进行稳定化处理。为了稳定图像，AT可以将“原始的”QCIF图像传送给稳定化算法，该算法可以用于通过使用交叉相关技术来匹配半个尺寸，弯曲的“模板”。可以通过标准化的交叉相关(NCC)来生成XY偏移量并将其传送回AT算法。无论何时NCC分数低于有效阈值，或者当摄像机位置改变到超过固定阈值时，可以根据最新的QCIF来更新该模板。稳定化还可以使用XY偏移量来构建稳定的D1(720×480象素(NationalTelevision System Committee)或者720×576(Phase Alternating Line))输出图像，该图像可以被修剪以补偿XY偏移量。
在稳定化处理的一个实施例中，例如，在每个捕获图像的相同的、预定的区域内提供测量160×120象素的模板。在为二个连续的捕获图像之间的摄像机的已知的PTZ移动补偿或计算之后，可以假设在模板中的任何全局移动都是由于抖动，即无意的移动或者震动。为了确定是否在二个模板图像之间的值中有全局位置移动，可以检查二个模板图像中的每一个中的每个象素的颜色、亮度和强度值，以代替在模板图像中搜索角点或某个类型的固定对象。在二个模板图像之间的值中，任何这种全局位置移动都可以指示在捕获二个图像之间的时间间隔期间有无意的摄像机移动。通过图像数据的操作，本稳定化算法可以有效地逆转由于无意的移动而引起的图像值中的位置移动。在图像数据中的位置移动的逆转可以有效的消除在所显示的图像中的任何可感觉到的抖动并且稳定显示图像。
稳定化处理的输入可以包括D1图像，YUV色域分量(colorspacecomponent)，QCIF图像，Y分量以及当前PTZ位置。稳定化处理的输出可以包括稳定的图像YUV颜色分量，以及用于自动跟踪器的稳定的Y-分量X/Y偏移量。图9是本发明的稳定化算法的一个实施例的数据流图。
可以通过自动跟踪器算法实现移动检测。当检测到移动时，VCA可以提供移动通知以代替提供PTZ命令给系统控制器。本移动检测器能够指定感兴趣的区域并找出在该感兴趣区域(ROI)中专门指定的移动。用于得到感兴趣区域的算法可以与在系统控制器中央处理单元(CPU)上的隐私遮蔽(privacy mask)软件所使用的算法相似。
ROI移动检测算法可以与隐私遮蔽在二个重要方面上不同。第一，隐私遮蔽可以直接应用于输入视频以防止用户看到遮蔽的后面，ROI移动检测可以直接应用于所计算的移动遮蔽(motion mask)以禁止移动检测软件拥有贡献给检测到的移动的感兴趣区域。第二，ROI移动遮蔽位置不是弯曲的并且是根据摄像机位置的改变而动态地改变。ROI的位置是基于预设的摄像机位置被固定在移动遮蔽上。
移动检测的输入可以包括由自动跟踪器计算的移动遮蔽。ROI也可以是移动检测的输入。当生成ROI时，每个ROI可以包括一组顶点，顶点的数量以及摄像机预设位置号码。另一个移动检测的输入可以是p_Number，即当前的摄像机预设位置号码。
移动检测系统的输出可以指示在ROI中是否存在移动。不考虑ROI外的移动。关于移动检测的数据结构，在生成遮蔽时，每个ROI可以由一组顶点、顶点数量以及摄像机预设位置形式。图10是本发明的移动检测方法1000的一个实施例的流程图。
虽然本发明已经被描述为具有典型的设计，但是可以在本公开的精神和范围内进一步修改本发明。因此本申请意图包括任何使用本发明的一般原理的本发明的变形、使用或适应性变化。
权利要求
1.一种视频图像稳定系统(720)，包括
摄像机(722)，其包括用于捕获视频图像(80)的图像捕获设备，所述摄像机具有可选择性地调整的视野；其特征在于
处理设备(50)，其被可操作地连接到所述摄像机，其中所述处理设备接收指示所述摄像机的视野的信号以及由所述摄像机捕获的图像，所述处理设备自动地跟踪所述图像中的至少一个对象的移动，所述处理设备确定所述视频图像的稳定调整，其为在捕获第一图像和捕获第二图像之间的时间间隔期间的、所述摄像机视野的无意改变的函数，所述确定基于指示视野的所述信号以及所述第一和第二图像的分析。
2.如权利要求1所述的视频图像稳定系统，其特征在于选择由所述摄像机捕获的每个图像的显示部分(84)用于显示，每个图像的所述选择的显示部分比全部的捕获图像更小，并且其中由所述处理设备确定的所述稳定调整包括调整所述选择的显示部分在所述捕获的图像中的相对位置。
3.如权利要求1所述的视频图像稳定系统，其特征在于，所述摄像机具有可选择性地调整的摇摄位置，可选择性地调整的倾斜位置以及可选择性地调整的焦距。
4.如权利要求3所述的视频图像稳定系统，其特征在于，在捕获所述第一和第二图像之间，有意地调整所述摄像机的摇摄位置、倾斜位置和焦距中的至少一个。
5.如权利要求1所述的视频图像稳定系统，其特征在于，对所述第一和第二图像的分析包括确定在捕获所述第一图像和所述第二图像之间的间隔期间，所述摄像机的视野的无意改变。
6.如权利要求5所述的视频图像稳定系统，其特征在于，对所述第一和第二图像的分析包括查找所述第一和第二图像之间的象素到象素的对应关系。
7.如权利要求1所述的视频图像稳定系统，其特征在于，对所述第一和第二图像的所述分析包括基于指示视野的所述信号将所述第一和第二图像中的一个与所述第一和第二图像中的另一个对准，以及确定所述对准的图像是否指示发生无意的摄像机移动。
8.如权利要求7所述的视频图像稳定系统，其特征在于，确定所述对准的图像是否指示发生无意的摄像机移动包括确定所述对准的图像的图像差别。
9.如权利要求8所述的视频图像稳定系统，其特征在于，所述处理设备生成所述对准的图像的所述图像差别的频率分布图，并且基于在所述频率分布图中识别最大峰值和所述最大峰值的位置来确定是否已经发生无意的摄像机移动。
10.如权利要求9所述的视频图像稳定系统，其特征在于，当所述最大峰值未充分地集中于零时，确定已发生无意的摄像机移动，并且其中所述稳定调整的确定包括识别减少所述图像差别的调整。
11.如权利要求1所述的视频图像稳定系统，其特征在于，指示视野的所述信号包括对于每个捕获图像的所述摄像机的摇摄、倾斜和焦距设置，基于图像同步将所述信号从所述摄像机传送到所述处理设备。
12.如权利要求1所述的视频图像稳定系统，其特征在于，所述摄像机被可移动地安装在固定支架上。
13.一种视频图像稳定系统(720)，包括
视频摄像机(722)，其包括视频捕获设备，该视频捕获设备用于捕获图像(80)，每个捕获的图像与视野相关联，所述摄像机具有至少一个可选择性地调整的参数，其中所述至少一个摄像机参数的调整改变所述摄像机的视野；
显示设备(38)，用于显示由所述摄像机捕获的图像的所选择的部分；并且其特征在于
处理设备(50)，其被可操作地连接到所述摄像机以及所述显示设备，其中所述处理设备接收由所述摄像机捕获的图像，所述处理设备用于跟踪所述图像中的对象的移动，并且通过调整由所述显示设备显示的图像的所述选择的部分来补偿所述视频摄像机的无意运动，所述调整基于摄像机参数和对所述图像的分析。
14.如权利要求13所述的视频图像稳定系统，其特征在于，所述至少一个摄像机参数包括摇摄、倾斜和变焦设置中的至少一个。
15.如权利要求13所述的视频图像稳定系统，其特征在于，所述图像的所述选择的部分包括所述图像的中央部分。
16.如权利要求13所述的视频图像稳定系统，其特征在于，所述图像的所述选择的部分包括所述图像的大约60％到90％。
17.一种稳定视频图像(80)的方法，所述方法包括
使用视频摄像机(722)捕获多个图像；
识别对象在第一捕获图像和第二捕获图像中的每一个中的位置；
在捕获所述第一图像和捕获所述第二图像之间的时间间隔期间调整所述摄像机的视野；
显示所述第一捕获图像和所述第二捕获图像的所选择的显示部分(84)，每个图像的所选择的显示部分比全部捕获图像更小，所述调整步骤和所述显示步骤中的至少一个取决于所述识别步骤；其特征在于
根据所述调整步骤以及对所述第一和第二捕获图像的分析来为所述第二捕获图像确定稳定调整，其中所述稳定调整包括在所述第二捕获图像内调整所选择的显示部分的相对位置。
18.如权利要求17所述的方法，其特征在于，所述摄像机定义摇摄位置和倾斜位置，所述调整步骤包括在捕获所述第一和第二图像之间的时间间隔期间，调整所述摄像机的摇摄位置、倾斜位置和焦距中的至少一个。
19.如权利要求17所述的方法，其特征在于，所述确定步骤包括查明在捕获所述第一图像和第二图像之间的时间间隔期间的所述摄像机的视野的无意改变。
20.如权利要求19所述的方法，其特征在于，所述确定步骤包括查找所述第一和第二图像之间的象素到象素的对应关系。
21.如权利要求19所述的方法，其特征在于，所述查明子步骤包括
基于指示视野的信号，将所述第一和第二图像中的一个与所述第一和第二图像中的另一个对准；以及
检测所述对准的图像是否指示发生无意的摄像机移动。
22.如权利要求21所述的方法，其特征在于，所述检测所述对准的图像是否指示发生无意的摄像机移动包括确定所述对准图像的图像差别。
23.如权利要求22所述的方法，其特征在于，生成对准图像的图像差别的频率分布图，并基于识别所述频率分布图中的最大峰值(210)和所述最大峰值的位置来确定是否已发生无意的摄像机移动。
24.如权利要求23所述的方法，其特征在于，当所述最大峰值不充分地集中于零时，确定已发生无意的移动，并且其中所述稳定调整的确定包括识别减少所述图像差别的调整。
25.一种稳定视频图像(80)的方法，所述方法包括
使用视频摄像机(722)捕获多个图像；
跟踪所述图像中的对象的移动；
通过使用控制信号来改变所述摄像机的视野；
显示所述多个图像中的每一个的所选择的部分(84)，所述改变步骤和所述显示步骤中的至少一个取决于所述跟踪步骤；其特征在于
为所述多个图像中的至少一个调整被显示的所选择的部分，所述调整步骤补偿视频摄像机的无意移动并且基于有意的摄像机的视野以及对所述图像的分析。
全文摘要
视频图像稳定系统(722)包括具有用于捕获视频图像(80)的图像捕获设备的摄像机(722)。该摄像机具有可选择性地调整的视野。处理设备(50)与摄像机可操作地相连。处理设备接收指示摄像机视野的信号和由摄像机捕获的图像。该处理设备自动跟踪图像中至少一个对象的移动。该处理设备为视频图像确定稳定性调整，其为在捕获第一图像和捕获第二图像之间的时间间隔期间的摄像机的视野的无意改变的函数。该确定是基于指示视野的信号和对第一和第二图像的分析。
文档编号H04N7/18GK1913590SQ20061011486
公开日2007年2月14日 申请日期2006年8月9日 优先权日2005年8月9日
发明者塞泽·萨布拉克, 马克·S·贝尔 申请人:罗伯特·博世有限公司