专利名称：全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
技术领域：
本发明涉及一种视频摄像机监视系统，并且更特别地，涉及用于视频摄像机监视系统的图像处理方法。
背景技术：
视频监视系统被用于监控诸如火车站、市场、街道交叉口等之类的公共场所，以及诸如图书馆、公共服务机构、法庭、监狱等之类的公共建筑物。视频监视系统还被用于私营部门，例如用作警报系统或用于看管需要注意的个体。存在很多已知的可用于跟踪诸如人或车辆之类的移动对象的视频监视系统。视频监视系统通常包括多个永久安装的摄像机，该摄像机观察周边的相关区域，并且视频监视系统具备用于评价用摄像机记录的视频序列的能力。虽然该评价以前由监控人员执行，但是视频序列的自动评价已经变得更加普遍。 在自动监控的典型应用中，第一步，将移动的对象从场景中的实质上静止的背景中分离出来(对象分割)，对移动的对象进行实时跟踪(对象跟踪)，并且如果发生相关的移动或者移动的模式，则触发警报。在例如EP 0710927B1中描述了该类型的自动监控的一种可能设计，其中讨论了一种用于移动对象的面向对象检测的方法。这样的视频监视系统可以被称为闭路电视(CCTV)。一些这样的系统采用具有静止视场(FOV)的固定摄像机。然而，为了利用固定的摄像机系统完全覆盖给定的监视地点，往往必须使用相当大数量的固定摄像机。也可以将可以摇摄(pan)、倾斜和/或变焦的可移动摄像机用于跟踪对象。PTZ (摇摄、倾斜、变焦)摄像机系统的使用通常将减小给定监视地点所需要的摄像机数量，并且还由此减小视频馈送和系统集成硬件(例如与之关联的多路复用器和切换器)的数量和成本。该摄像机可以通过围绕垂直轴旋转来摇摄，通过围绕水平轴转动来倾斜，并且通过放大或减小其FOV来变焦。用于指示该摇摄动作、倾斜动作、变焦动作的控制信号通常来源于经由操纵杆的操作员或者来源于自动视频跟踪系统。这样的PTZ摄像机的问题在于尽管能够在几乎任何方向上摇摄和倾斜，但是该摄像机在任何给定时刻具有有限的视场(FOV)，并且因而不可能从所有方向感测围绕摄像机的所有运动。现有技术既未公开也未建议用于感测在更大的FOV内的运动并且自动跟踪作为该运动的源的对象的改进系统和改进方法。
发明内容
在一个实施例中，本发明涉及一种全方位(例如360度)态势感知的监视系统 (situational aware surveillance system)，该监视系统可以使用例如来自鱼眼镜头摄像机(“间谍摄像机(spycam)”)的全方位的视频输入来感测和/或跟踪在整个区域内的人或对象的移动。该系统可以指示一个或多个球形摄像机(例如，博世的具有自动跟踪功能的AutoDome摄像机，参见EP1427212A1)来将PTZ电机控制(motor control)指向由鱼眼摄像机感测的任何作为目标的人或对象，使得autodome摄像机能够以更大的细节和/或特异性来持续跟踪移动对象。因而，鱼眼摄像机可以用作用于360°态势感知监视的全方位传感器。现今最常使用的其他类型的已知传感器有声纳和红外传感器，但是它们是昂贵的，具有高能耗并且是复杂的。PTZ电机控制的方向可以基于所检测的事件、所定义的探试法(heuristics)、以及从鱼眼镜头摄像机提供的世界坐标到由球形摄像机使用的摇摄值、倾斜值和变焦值的转换。可以使用鱼眼镜头图像配准、背景减除和前景检测从连续帧中测量总体运动行为 (overall motion activity)。本发明可以提供一种具有视频内容分析，即对利用一个或多个全方位和/或 auto-dome摄像机捕捉的监视视频的内容进行提取及建模的新颖智能监视方法。自动提取视频内容能力这一性质可以对将监视视频传送到安保人员进行改善，并且可以显著地扩展有效处置并实时呈现监视视频的能力。为了处理到达配备人员的安保室的数以百计的视频通道，智能或自动视频监视已经变为必须的工具。实时处置数据的系统应当最优地考虑用户的偏好并且相应地对实时视频和缓冲的内容进行过滤。电子监控和监视设备通常是各种固定的和移动的摄像机，当电子监控和监视设备记录在主要交通路线、办公建筑、住宅社区以及大百货商店或超级市场中的视频时，该电子监控和监视设备可以理想地对准可疑的目标或对象。在传统的摄像机系统中，由于具有标准视场的镜头的摄像机的有限对准范围，可以被作为目标的对象是非常有限的。此外，大多数已知的视频捕捉设备工作时具有各种各样的盲点，这是因为它们具有小的视场。因此，当前设备被用于监视的方式离360°态势感知监视的理想是遥远的。通常，监视应用将多个目标同时呈现给人类观察者分析。然而，人类同时集中于多个目标的能力是有限的。因此，已经开发了计算机视觉系统，该计算机视觉系统可以分析来自摄像机的信息，并且可以将该信息以简洁的符号样式呈现给用户。可以从人类目标的轨迹的特性以及人类目标之间的交互来提取出关于人类目标行为的信息。本发明的视频分析技术能够胜任环境评估并且可以大幅度减小人员在执行危险任务时不得不承担的风险。本发明可以提供360°态势感知的监视系统，该监视系统使用全方位视频输入来跟踪在整个区域内的人或对象的活动。鱼眼镜头摄像机可以提供不具有盲点的360度的完全态势感知。鱼眼镜头摄像机适用于室内应用和室外应用二者，并且在一个实施例中，鱼眼镜头摄像机能够观察300英尺半径内的对象。在360度态势感知的监视系统的一个特定实施例中，鱼眼镜头间谍摄像机与 autodome摄像机一起旋转，由此避免了在使autodome摄像机独立于间谍摄像机旋转时所需要的机械复杂性。间谍摄像机并不需要如autodome摄像机那样摇摄并且倾斜以便覆盖大的观察区域，由于间谍摄像机的静止全方位能力，间谍摄像机可以覆盖完整场景的所有 360度。即，虽然间谍摄像机不需要摇摄，并且在静止的同时能够覆盖360度，然而出于机械简单性的目的，间谍摄像机可能被迫与autodome —起摇摄。因而，可以在图像处理中以及在PTZ autodome摄像机的摇摄-倾斜-变焦(PTZ)控制中对间谍摄像机的旋转视场(FOV) 进行补偿。本发明的新颖方面可以在于间谍摄像机与autodome摄像机一起旋转，并且在图像处理中以及在PTZ autodome摄像机的控制中执行对间谍摄像机的FOV旋转的补偿。另一新颖特征可以在于用于PTZ摄像机的控制器被设置在autodome的外壳中，而不是被设置为需要电缆的外部个人计算机(PC)。另一新颖方面在于使用鱼眼间谍摄像机(低分辨率)和autodome摄像机(高分辨率)的组合的监视系统。根据本发明，间谍摄像机可以用作图像传感器而不是用于显示的目的。例如，间谍摄像机可以仅仅感测移动对象的大体位置，并且autodome摄像机可以以更高的精度对移动对象进行定位、以及产生用于显示给人员的图像。autodome下方(即比autodome低)的间谍摄像机具有非常重要的挑战。在本发明中，当autodome移动时， autodome下方的间谍摄像机也可以相应地移动。在该情况下，除了利用一些诸如边沿检测、 模糊(blurring)等之类的图像处理之外，系统可能还需要利用全图像配准技术来稳定作为传感器的间谍摄像机的输出。在特定的实施例中，本发明提供360度态势感知的监视系统，该监视系统使用全方位视频输入来创建基于人或其他对象在整个区域内的移动的运动密度图。可以从运动密度图以及在高运动密度的区域之间的交互中提取出与用于动态智能自动巡视特征的编程轨迹有关的信息。自动巡视可以是自动或手动编程到摄像机系统内的移动轨迹或模式(例如摇摄、倾斜、变焦)，从而能够重复该移动轨迹或模式。期望该轨迹或模式使摄像机能够捕捉高运动密度区域的图像或者使摄像机能够聚焦在高运动密度区域。首先，在已经建立了运动密度图之后，系统可以在轨迹路径中将高运动密度的成分区域连接。该密度图中的最密集区域是期望摄像机聚焦的潜在兴趣区域。可替代地，系统可以使用探试方法，其中用户识别兴趣区域，或者系统通过使用默认的兴趣区域定义(例如最大区域、最小区域、特定区域阈值、优先的兴趣区域等)来识别兴趣区域。在系统通过用户输入或者通过探试法来将最感兴趣区域选择为在运动密度图上的路径中的连通成分 (connected component)之后，系统可以基于对在二维图像中的像素值中选择的成分的权重进行平衡来计算路径线的中心。这样，所有这些像素值可以定义预期的智能自动巡视功能的轨迹。依据所选择的连通成分的尺寸或面积，系统可以提供最优焦距信息，使得可以以最优视场进行监视。接下来，系统可以将该轨迹的像素值转换为世界坐标位置。然后，可以将所有这些值从世界坐标位置转换为特别针对每个个体autodome摄像机计算的PTZ值。 即，所选择成分的所有这些轨迹值是用兴趣监控区域的PTZ值的集合来表示的。PTZ值的每个集合对应于多个autodome摄像机中的相应一个，并且PTZ值的每个集合可以取决于 autodome摄像机在房间中相对于被监控的区域的几何位置。最终，系统根据跨越所选择的成分的轨迹的长度来计算平滑的最优速度，摄像机将以该速度跨越被监视的地点来进行查看或扫描。在一个实施例中，本发明包括一种用于操作视频监视系统的方法，该方法包括将 PTZ摄像机设置在外壳内。将鱼眼镜头摄像机附着在该外壳上，使得鱼眼镜头摄像机具有不被该外壳阻挡的全景视场。全景视场以PTZ摄像机的摇摄轴为中心。鱼眼镜头摄像机围绕摇摄轴旋转。通过使用鱼眼镜头摄像机在全景视场内捕捉第一图像。识别兴趣对象在所捕捉的第一图像内的位置。将PTZ命令传输到PTZ摄像机，使得PTZ摄像机被定向以捕捉在所识别的位置处的所述兴趣对象的第二图像。针对在鱼眼镜头摄像机旋转期间该鱼眼镜头摄像机的视场的旋转来对PTZ命令进行补偿。在本发明的另一形式中，本发明包括一种视频监视系统，该视频监视系统包括在外壳内的PTZ摄像机。鱼眼镜头摄像机被附着在该外壳上，使得鱼眼镜头摄像机具有不被该外壳阻挡的全景视场。全景视场以PTZ摄像机的摇摄轴为中心。将鱼眼镜头摄像机和 PTZ摄像机进行耦合，使得鱼眼镜头摄像机跟随PTZ摄像机围绕摇摄轴的旋转。鱼眼镜头摄像机在全景视场内捕捉第一图像。处理设备通信地耦合到PTZ摄像机和鱼眼透镜摄像机中的每一个。该处理设备识别兴趣对象在所捕捉的第一图像之内的位置，并且将PTZ命令传输给PTZ摄像机，使得对PTZ摄像机进行定向以捕捉在所识别的位置处的所述兴趣对象的第二图像。针对在鱼眼镜头摄像机旋转期间该鱼眼镜头摄像机的视场的旋转来对PTZ命令进行补偿。本发明的一个优点在于可以通过鱼眼镜头摄像机持续监控摄像机系统的整个 360度的周围环境，同时PTZ摄像机跟踪鱼眼镜头摄像机所识别的各个对象。另一个优点在于PTZ摄像机的控制器可以被设置在PTZ摄像机的外壳中，并且因而不需要过长的电缆来连接该摄像机和该控制器。另一个优点在于可以对PTZ摄像机在整个高移动密度区域上的自动巡视进行自动编程。另外，通过首先按照全局坐标协定或球形坐标协定对高移动密度区域进行定位，并且然后将全局坐标逐个转化为用于每个摄像机的PTZ移动，从而可以自动为多个摄像机规划这样的自动巡视。
通过参考下文结合附图对本发明的实施例的描述，本发明的上述和其他特征和目标以及实现它们的方式将变得更加显而易见，并且本发明本身将被更好地理解，其中图1是根据本发明的视频监视系统的一个实施例的示意图；图2是图1中的视频监视系统的方框图；图3是由适合在本发明中使用的鱼眼镜头摄像机捕捉的图像的样本；图4是在没有运动情况下的示例性鱼眼镜头运动密度图；图5是在一时间段期间具有运动情况下的示例性鱼眼镜头运动密度图；图6是示例性鱼眼镜头运动密度图，其中通过使用本发明的连通成分算法已经检测到了三个成分；图7是示例性鱼眼镜头运动密度图，其中通过使用在每个连通成分中的线的中心点以(x，y)像素为单位计算出用于每个成分的智能自动巡视路径；以及图8是示出用于操作视频监视系统的本发明的方法的一个实施例的流程图。在所有多个视图中，对应的附图标记指示对应的部分。虽然这里阐述的范例以多种形式说明了本发明的实施例，但是下面公开的实施例并不是穷举的，或者并不应该将下面公开的实施例理解成是将本发明的范围限制于先前公开的形式。
具体实施例方式根据本发明的一个实施例，在图1中示出了视频监视系统20。系统20包括PTZautodome摄像机22，该PTZ autodome摄像机22位于部分球形的罩或者“autodome”24内， 并且安装在支撑物25上。静止的支撑物25可以采用很多形式，例如从建筑的外部边沿延伸出的向外延伸的支撑臂。该罩M被着色以允许摄像机获取罩M外部的环境的图像并且同时防止正由摄像机22观察的环境中的个体能够看到摄像机22的取向。摄像机22包括控制器和电机，其被提供用于摄像机22的摇摄、倾斜以及焦距调整。摄像机22的摇摄动作由双箭头沈来表示，摄像机22的倾斜动作由双箭头观来表示，并且摄像机22的镜头23 的焦距的改变(即变焦)由双箭头30来表示。如参考坐标系统21所示，摇摄运动可以跟踪沿着χ轴的移动，倾斜运动可以跟踪沿着y轴的移动，并且焦距调整可以被用于跟踪沿着 ζ轴的移动。在所说明的实施例中，摄像机22和罩M可以是博世的AutoDome模块化摄像机系统，该模块化摄像机系统可以从博世安防系统有限公司获得，并且博世安防系统有限公司在宾夕法尼亚州的兰开斯特市具有营业场所。系统20还包括主控端(head end)单元32。主控端单元32可以包括视频切换器或视频多路复用器33。例如，主控端单元包括可从博世安防系统有限公司获得的Allegiant 牌视频切换器，例如LTC8500系列Allegiant视频切换器，该LTC8500系列Allegiant视频切换器为最多64个摄像机提供输入，并且主控端单元还可以设置有八个独立键盘和八个监视器。主控端单元32包括用于操作者输入的键盘34和操纵杆36。主控端单元32还包括用于操作者观看的显示设备，该显示设备可以采用监视器38的形式。提供M伏AC电源 40来向摄像机22和处理设备50 二者供电，处理设备50可操作地耦合到摄像机22和主控端单元32 二者。所说明的系统20是单个摄像机应用，然而，本发明可以应用于具有附加摄像机的更大监视系统内(这些附加摄像机中的一些可以是静止的)以提供更大的或者更加复杂的监视区域的覆盖。也可以将一个或多个VCR或者其他形式的模拟或数字记录设备连接到主控端单元32，以提供对系统中的摄像机22和其他摄像机捕捉的视频图像的记录。摄像机22可以包括诸如电荷耦合器件(CCD)之类的图像捕捉设备，该电荷耦合设备获取四边(例如矩形)的CXD视频图像。处理设备50识别或者选择了 CXD图像中的至少一部分，使其在监视器38的屏幕上显示以供系统20的操作者观看。鱼眼镜头摄像机52可以被设置于罩M内的摄像机22的下方。然而，同样可以将鱼眼镜头摄像机52设置在罩M的外面。在任一情况下，可以如此安装摄像机52，使得它具有不被系统20的其余部分阻挡的半球形视野。摄像机52可以沿向下的方向M对准、指向和/或面向地板或地面，使得摄像机52可以在遍及整个360度地平线(horizon)的方向 56上观察相同的垂直水平。摄像机52可以被用作传感器，并且其捕捉的图像可以与360度态势感知监视算法结合用于360度态势感知监视。在提供不具有盲点的态势感知的低成本解决方案内，本发明提供了简单设置、容易操作以及高度灵活性的优点。在图2中说明了在视频内容分析(VCA)硬件模块(例如TI的DM642DSP)上实现 360度态势感知实时监视的技术和自动智能监视算法的顺序基本步骤。Autodome VCA模块 200的Beam 202和监视器I各自接收来自鱼眼镜头摄像机52的视频输入204a_204b中的相应一个。背景估计和适配模块(BEAM) 202可以处理图像序列并且检测其中的移动对象。 BEAM 202可以包括背景减除模块和解释层。
在下一步骤206，检测之前已经创建的任何运动遮蔽(mask)。例如，可以在FOV内创建一个或多个运动遮蔽，其中由于永久运动源位于该遮蔽之后或者之内，因此可以忽略该永久运动源。在风中摇动的旗帜或灌木可以是这样的永久运动源。在步骤208，通过求平均值来更新运动密度图。即，如下文更详细地所述，通过求平均值函数来计算运动密度。在下一步骤210，计算密度路径。即，可以计算出autodome摄像机的摇摄、倾斜和 /或变焦所遵循的路径，使得摄像机的FOV经过具有很多运动的区域。该高密度路径可以对应于在χ和y坐标系统的被检测的运动区域中具有最密集运动的像素，并且可以在逐条的基石出上。接下来，在步骤212，根据摇摄动作、倾斜动作和/或变焦动作来创建智能自动巡视路径。在一个实施例中，建立与所计算的密度路径中的每一段(leg)相关联的速度或通过时间，以便由此创建自动巡视路径。此外，可以进一步计算出引导摄像机通过所计算的密度路径的摇摄命令、倾斜命令和/或变焦命令。在最后的步骤214，通过向autodome摄像机22发送摇摄命令、倾斜命令和/或变焦命令来控制autodome摄像机。摄像机22捕捉的图像可以实时显示在监视器II上。可以将态势感知建模为两个底层视频特性的集成函数，通过以下的视频分析学研究来激发该视频特性的选择(1)从连续的帧中测量的总体运动行为；以及O) 360度全方位传感器模型。可以将运动行为定义为在包括对象和摄像机运动二者的场景中的总体运动，视频流中出现的运动行为可以被认为是在态势感知的激励(arousal)的建模中使用的第一特征。关于鱼眼镜头图像的配准，常驻于autodome头单元(head unit)中的360度全方位传感器模型可以做出以下假设空间中的图像的平移和旋转能够近似于在autodome头单元处于运动时的图像运动。平移可以被认为是在χ或y方向上的像素运动，像素运动的距离是按照一些数量的像素来定义的。正平移是沿着增大的行索引或列索引的方向上的；而负平移是沿着减小的行索引或列索引的方向上的。正方向上的平移向图像的顶部和/或左侧增加行和/或列， 直到已经达到所要求的增加。可以相对于原点来执行图像旋转，该原点被定义在运动的中心，并且由此可以将图像旋转指定为角度。可以使用下列的近似方程来表示该平移χ' = (xcos α -ysin α ) +txy' = (ysin α+xcos α )+ty关于背景减除，背景建模可以包括将当前图像从参考图像中减去。参考图像可以从一个时间段期间的静态背景中获得。提取仅留下非静止对象或新的对象。鱼眼镜头摄像机不需要摇摄和倾斜来覆盖大的观看区域，由于其静止、全方位能力，所以该鱼眼镜头摄像机覆盖整个场景的所有360度。然而，鱼眼镜头摄像机还提供了用于开发强大背景模型的机会。相应地，“背景减除”算法的基本步骤可以如下背景模型构建了参考图像并且建立了背景。背景估计和适配模块(BEAM)可以用于构建背景图像。在第二步，阈值方法确定在减除操作中使用的用于获得所期望的检测率的适当阈值。例如，适当的阈值可以使感兴趣的运动(例如来自人)能够被检测到，而使不感兴趣的运动(例如来自老鼠)不被检测到。背景减除算法的第三且最终步骤可以包括减除操作或像素分类和适配速度。该步骤对给定像素的类型进行分类。例如，像素可以被分类为背景的一部分(包括普通背景和阴影背景)，或者像素可以被分类为移动对象。关于前景检测，当像素强度具有大于特定全局阈值的概率时，可以通过检测来发现前景区域。每个帧的前景区域被分组为连通成分。通过应用连通成分技术，前景提取具有不同于背景的区域集合。可以通过边界框和图像遮蔽来描述每个前景成分，其表示边界框中的那些属于前景的像素。对于定义明确的移动对象，下一步骤是去除小的成分、噪声和无关紧要的区域。为了在跟踪器中解析更复杂的前景提取结构，可以使用去除算法，例如光归一化和尺寸滤波。一旦检测到前景，则可以使用尺寸滤波器来清除和去除噪声区域。在每个候选区域应用尺寸滤波器的情况下，考虑来自图像差异的累积像素计数。尺寸滤波器具有最小阈值和最大阈值。最大阈值可以被用于避免对象的大的缓慢移动的阴影。如上文提到的，态势感知可以被建模为两个底层视频特性的集成函数，两个底层视频特性中的一个为360度全方位传感器模型，如在一个实施例中由鱼眼镜头摄像机52所实施的那样。鱼眼镜头摄像机52可以具有360度的视野，并且因此能够将半球形的所有信息压缩到一幅图像中。该压缩可以使图像能够承载更加多的信息，以便用于需要非常宽的视角的计算机视觉应用(例如，在检测、跟踪和监控中)。通常，捕捉半球形视场所要求的特殊镜头的模型参数使得鱼眼图像的投影变换的计算难以精确计算。在图3中，示出了来自鱼眼镜头摄像机视频的样本图像。在图像中捕捉的是两条人行道302、304的交叉路口，每条人行道具有恒定的宽度，并且相互垂直定向。由于与摄像机的距离增加，所以人行道的宽度看起来朝向图像的外侧越来越小。还示出了正走在人行道上的两个行人306、308。对于常规的摄像机图像，为了产生或减小图像中的几何扭曲来由此检测并显示在视频的下一帧中的移动对象，可以调用需要非常长处理时间的变形(warping)或反变形 (unwarping) 0在另一方面，因为不将视频显示给用户，所以可以不需要反变形技术。因此， 可以依靠鱼眼镜头视频中的几何参数仅使用像素映射来控制移动的摄像机。因为鱼眼镜头的使用，原始的鱼眼镜头输出视频可以不具有统一的空间分辨率。 归因于鱼眼镜头的光学性质，全方位摄像机沿着地平线的空间分辨率是最大的。博世公司在市场上出售的Dinion摄像机系统具有480 (H) X 720 (V)的分辨率。当考虑整个半球形图像时，沿着地平线的空间分辨率可以为4. 8像素/度。对于支持监视系统的基于视觉的检测和跟踪系统，该检测和跟踪系统需要可靠地跟踪对象的位置和身份、能够以合理的速度运行、可用于多人、允许对人的表示进行创建和删除、以及能够与多个摄像机一起工作。为了达到在真实世界环境中实际跟踪的所有要求， 可能需要考虑在分辨率和FOV之间进行权衡。然而，依靠鱼眼镜头的独特最优设计，可以不需要具有多个视野。进一步关于360度全方位传感器模型，可以将在图像中捕捉的对象的像素坐标转换为在全方位运动传感器模型中的世界坐标(例如全局坐标或半球形坐标，例如可以利用纬度和相对于参考经度线的经度来表示全局坐标或半球形坐标)。理想地，当测量与沿着地平线的目标对象的角度时，可以利用所观察的X坐标和1坐标来发现其真实的角度。然后， 可以根据沿着χ轴和y轴的像素来计算从中心点到该目标的距离。该计算产生了该目标距鱼眼图像中心的、按照像素的观察距离。当检测到不寻常的运动时，鱼眼镜头摄像机可以监控运动行为的方向，并且可以提供目标在世界坐标系统中的位置。执行这样的计算的示例性软件代码如下
/* PixelToWorldO*/
/*获取作为输入的世界中的pt的TL坐标和2D图像*/
/* 坐标(r_img, c_img)，并且计算 XY 坐标(χ, y)。*/
void PixelToWorld(int r img, int c_img, FLOAT *x, FLOAT *y, FLOAT z) {
extern INT32 rO, cO;Il omnidir 图像的图像中心
1权利要求
1.一种用于操作视频监视系统的方法，包括步骤 将PTZ摄像机设置在外壳内；将鱼眼镜头摄像机附着在所述外壳上，使得所述鱼眼镜头摄像机具有不被所述外壳阻挡的全景视场，所述全景视场以所述PTZ摄像机的摇摄轴为中心； 使所述鱼眼镜头摄像机围绕所述摇摄轴旋转； 通过使用所述鱼眼镜头摄像机在所述全景视场内捕捉第一图像； 识别兴趣对象在所捕捉的第一图像内的位置；以及将PTZ命令传输到所述PTZ摄像机，使得对所述PTZ摄像机进行定向以捕捉在所识别的所述位置处的所述兴趣对象的第二图像，针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述PTZ命令进行补偿。
2.根据权利要求1所述的方法，其中，所述鱼眼镜头摄像机与所述PTZ摄像机一起围绕所述摇摄轴旋转。
3.根据权利要求1所述的方法，其中，所述旋转的步骤发生在所述捕捉的步骤之前和/ 或在所述捕捉的步骤期间。
4.根据权利要求1所述的方法，包括进一步的步骤对所述第一图像执行图像处理，针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述图像处理进行补偿。
5.根据权利要求1所述的方法，包括进一步的步骤在所述PTZ摄像机所在的相同外壳内设置用于所述PTZ摄像机的控制器。
6.根据权利要求1所述的方法，包括进一步的步骤在所述鱼眼镜头摄像机的所述视场内识别多个区域，所识别的多个区域比所述视场内的其他区域具有更高的运动密度，按照全局坐标值来识别所述多个区域；计算所述PTZ摄像机的预期的自动巡视的轨迹，所述PTZ摄像机沿着所述轨迹捕捉每个所识别的区域的图像；以及将PTZ命令传输到所述PTZ摄像机，使得所述PTZ摄像机在所述自动巡视时遵循所计算的轨迹。
7.根据权利要求6所述的方法，其中，所述轨迹是按照全局坐标值来计算的，所述方法包括进一步的步骤计算与所计算的轨迹的所述全局坐标值相对应的PTZ命令。
8.根据权利要求6所述的方法，包括进一步的步骤将所述全局坐标值转换为用于所述PTZ摄像机的摇摄值、倾斜值和/或变焦值，所述轨迹基于所述摇摄值、倾斜值和/或变焦值来计算。
9.一种视频监视系统，包括在外壳内的PTZ摄像机，所述系统的特征在于鱼眼镜头摄像机，其被附着在所述外壳上，使得所述鱼眼镜头摄像机具有不被所述外壳阻挡的全景视场，所述全景视场以所述PTZ摄像机的摇摄轴为中心，所述鱼眼镜头摄像机和所述PTZ摄像机相耦合，使得所述鱼眼镜头摄像机跟随所述PTZ摄像机围绕所述摇摄轴的旋转，所述鱼眼镜头摄像机被配置为在所述全景视场内捕捉第一图像；以及处理设备，其通信地耦合到所述PTZ摄像机和所述鱼眼镜头摄像机中的每一个，所述处理设备被配置为识别兴趣对象在所捕捉的第一图像内的位置；以及将PTZ命令传输到所述PTZ摄像机，使得对所述PTZ摄像机进行定向以捕捉在所识别的所述位置处的所述兴趣对象的第二图像，针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述PTZ命令进行补偿。
10.根据权利要求9所述的系统，其中，所述鱼眼镜头摄像机被设置在所述PTZ摄像机下方，使得所述鱼眼镜头的视场不被所述外壳阻挡。
11.根据权利要求9所述的系统，其中，所述处理设备被配置为对所述第一图像执行图像处理，针对在所述鱼眼镜头摄像机的旋转期间所述鱼眼镜头摄像机的视场的旋转来对所述图像处理进行补偿。
12.根据权利要求9所述的系统，其中，所述处理设备设置在所述PTZ摄像机所在的相同外壳内。
13.根据权利要求9所述的系统，其中，所述处理设备被配置为在所述鱼眼镜头摄像机的所述视场内识别多个区域，所识别的多个区域比所述视场内的其他区域具有更高的运动密度，按照全局坐标值来识别所述多个区域；计算所述PTZ摄像机的预期的自动巡视的轨迹，所述PTZ摄像机沿着所述轨迹捕捉每个所识别的区域的图像；以及将PTZ命令传输到所述PTZ摄像机，使得所述PTZ摄像机在所述自动巡视时遵循所计算的轨迹。
14.根据权利要求13所述的系统，其中，所述处理设备被配置为按照全局坐标值来计算所述轨迹；并且计算与所计算的轨迹的所述全局坐标值相对应的PTZ命令。
15.根据权利要求13所述的系统，其中，所述处理设备被配置为将所述全局坐标值转换为用于所述PTZ摄像机的摇摄值、倾斜值和/或变焦值，所述轨迹基于所述摇摄值、倾斜值和/或变焦值来计算。
全文摘要
一种操作视频监视系统的方法包括将PTZ摄像机设置在外壳内。将鱼眼镜头摄像机附着在外壳上，使得鱼眼镜头摄像机具有不被外壳阻挡的全景视场。所述全景视场以PTZ摄像机的摇摄轴为中心。鱼眼镜头摄像机围绕所述摇摄轴旋转。通过使用鱼眼镜头摄像机在所述全景视场内捕捉第一图像。识别兴趣对象在所捕捉的第一图像内的位置。将PTZ命令传输到PTZ摄像机，使得对PTZ摄像机进行定向以捕捉在所识别的位置处的兴趣对象的第二图像。针对在鱼眼镜头摄像机的旋转期间鱼眼镜头摄像机的视场的旋转来对所述PTZ命令进行补偿。
文档编号H04N5/225GK102577347SQ201080029396
公开日2012年7月11日 申请日期2010年6月29日 优先权日2009年6月29日
发明者S·赛布拉克 申请人:博世安防系统有限公司