专利名称：用于观察环境的系统的制作方法
技术领域：
本发明涉及一种用于借助于TV摄像机和至少一个显示器装置的观察环境的系统。在本技术领域内这种类型的系统是公知的，例如可以用于监视目的。为此，借助于几个TV摄像机监视有限数量的方位角方向(azimuth direction)。来自这些TV摄像机的图像同时显示在几个显示器屏幕上；还有这样的情况，即使用一个显示器屏幕及一个用于选择TV摄像机的选择开关。
现有技术的系统的缺点在于，按照这种方式对需监视的区域进行全景监视是不可能的。在仅一个显示器屏幕是可使用的情况下，这是可想像得到的。即使，更多的显示器屏幕是可使用的情况，仍然不能令人满意。因此，例如一个目标可能在一个TV摄像机的视野中消失而又未出现在另一个TV摄像机的视野中。
根据本发明的系统不存在这个缺点，其特征在于，提供一个TV摄像机阵列，用于至少可基本上同时观察该环境中的每一方位角方向。
本发明的一个结构紧凑的实施例其特征在于TV摄像机阵列排列在一个平面内，以便至少可基本上覆盖360°的视野。
再一个更为优选的能够消除盲角的实施例其特征在于，在TV摄像机阵列中的每一TV摄像机中具有一个光圈(aperture)，这样利用至少一个TV摄像机可以监视每一方位角方向。在本文中，能够例如根据沿某一方位角方向所需的分辨率为每一个TV摄像机提供其自身的光圈。与本发明的一个优选实施例相符合，所有的TV摄像机具有相似的光圈，简化来自相邻的TV摄像机的子各图像的并接(merging)。
在实践中己发现，不可能使TV摄像机按这样的精度使来自相邻的TV摄像机的图像形成一个连续的画面。因此，本发明的一个优选实施例其特征在于，各相邻的TV摄像机的光圈至少沿方位角方向是稍微重叠的。
本发明的再一个优选实施例其特征在于，该系统包括一个图像处理器，用于将借助TV摄像机阵列得到的各子图像并接为一个全景图像。实际上，倘若将各子图像以矩阵的形式存储在图像处理器中(沿仰角方向为N行，沿方位角方向为M列)，这是十分简单的。于是并接仅涉及在对准的操作中，相关行的编号(number)仅一次重新调节，这样水平各行连续(continue)以及列的编号连贯地延续(run)。
在对准的过程中由于方位角方向的重叠可能出现问题。因此，本发明的再一个优选实施例其特征在于，还将图像处理器设计得能使由在重叠的子图像中的两个对应的像素确定一个新的像素。这样就可以始终实现逐点的线性内插。
本发明的再一个优选实施例其特征在于，将显示器装置设计成能呈现以所选择的方位角方向作为中心的周围全景图中的至少一部分。因此，正要由沿方位角方向的显示器中可能消失的目标可以通过选择另一个方位角方向简单地进行跟踪。为此，显示器装置可以包括一例如为旋钮的选择器。
本发明的一个更为优选实施例其特征在于，显示器装置包括至少一个头盔式(helmet)安装的显示器，和选择的方位角方向与头盔式安装的显示器的使用人面对的方向相对应。这样一种显示器能够由完全黑暗的室内观察周围的区域。这例如在一其构成将雷达反射降到最低的船(vessel)中是很重要的，其取消了常规的驾驶台(navigatingbridge)或其它的上层建筑结构。根据本发明，TV摄像机阵列安装在船(ship)上，在不明显增加雷达(搜索)横断面的情况下可以实现；驾驶台位于在水位线下方以及各头盔式安装的显示器能够使船员无妨碍地观察周围的全景图。然而，头盔式安装的显示器应当装备一个传感器用于确定观察的方向，这种类型的传感器在本技术领域中是公知的。
本发明的一个更为优选实施例其特征在于，TV摄像机阵列包括一偶数的子阵列和一奇数的子阵列，因此，将每一子阵列设计成能至少基本上同时观察该环境中的每一个方位角方向，以及总有在偶数的子阵列和奇数的子阵列中的其中一个TV摄像机对准在方位角方向上，产生立体效果。
本发明的一个更为优选实施例其特征在于，两个子阵列中的每一个包括一图像处理器，用于将借助于子矩阵得到的各子图像并接成一个全景图像，以及设有一个立体显示屏，用于立体显示以选择的方位角方向作为中心的全景图像中的至少一部分。
本发明的再一优选实施例其特征在于，该显示器装置包括头盔式安装的显示器，以及选择的方位角方向与头盔式安装的显示器的使用人面对的方向相对应。
特别是，对于船上安装的应用场合，应将TV摄像机的光圈选择得那样宽，例如选择的仰角方向时地平线仍保持在视野内，而与船的摇摆和俯仰无关。本发明的再一个不需要考虑这种限制的优选实施例其特征在于，该系统装有稳定装置，用于将该其上配置TV摄像机阵列的表面保持在一定水准的位置。
一个因此稳定的图像非常适合于自动检测目标，因为船的运动不再影响目标的显现位置。本发明的再一个优选实施例其特征在于，该系统装有一个连接到图像处理器上的目标提取器，用于开始并维持对潜在的目标的跟踪，和用于提供关于这些潜在的目标的方位角和仰角数值。
光电子学系统公知的缺点是缺少关于目标的范围信息。一个至少部分避免这一缺点的优选实施例其特征在于，该系统装有两个TV摄像机阵列，一个位于在另一个之上，每一个阵列包括一个用于全景图像的图像处理器和此外两个连接到图像处理器上的目标提取器，用于开始并维持对潜在的目标的跟踪，和用于提供关于这些潜在的目标的方位角和仰角数值以及根据对于每一潜在的目标确定的视差位移的范围信息。该范围信息对于消除鸟类反射回波是特别重要的，在这种意义上说，产生的对其跟踪可能性被消除了。
参照如下的附图现在更详细地介绍本发明，其中
图1A是根据本发明的TV摄像机阵列的示意顶视图；图1B是根据本发明的TV摄像机阵列的示意侧视图；图2是未稳定的阵列的方块示意图3是稳定的阵列的方块示意图。
图1A表示18个TV摄像机1构成的阵列的顶视图，其位置覆盖360°的视野，每一TV摄像机具有一个24°的光圈，因而形成总是按照4°重叠的18个图像。利用活动关节(hinge)2将每一TV摄像机安装在环形底座3上并另外装有一终止在第二活动关节5(其与盘6一致动作)上的杠杆4，能够升降动作，因此，使所有需调节的TV摄像机同时倾斜。
图1B的包括相同组成部分的同一阵列的示意图。此外，在TV摄像机的位置示有一个覆盖TV摄像机的保护罩7，其对于所考虑的波长是透明的。对于关系重大的应用场合，保护罩可以用一种吸收电磁辐射的材料覆盖并可以设计形状，这样其就难于由雷达装置检测出来。所使用的TV摄像机对于可见光或红外线是敏感的。在后一种情况下，该摄像机属于这样一种类型，例如根据在先技术热电式探测器或辐射热测量器阵列，不必要使其淬冷到液氮温度。
图2是非稳定的阵列的方块示意图，其中18个摄像机1.1，1.2，...1.18连接到一按照提供有DSP的高速计算机实现的图像处理器8。每20毫秒图像处理器8接收以由各行和列组成的图像阵列的形式的18个子图像。每一子图像具有25°的水平光圈；图像处理器8的主要功能是每20毫秒由一360°的水平光圈产生一个由这18个子图像组成的图像。图像处理器8的辅助功能是周期性地显示相互对准的子图像，例如在检修(overhaul)之后以及利用围绕TV摄像机阵列放置的度量格栅(grid)。对准误差包括沿水平和竖直方向可能的平移以及可能的旋转误差。每一子图像可以按照现有技术中公知的方式，通过旋转该与子图像相对应的图像矩阵校正旋转误差，这样在度量格栅中的水平线也被观察为水平的。通过每一子图像轻微调节图像矩阵的行数，可以简单地校正沿竖直方向的平移。即使这种方法将引起要在子图像的顶部或底部去掉的一些图像线，仍然认为是可接受的。然而。沿水平方向的平移破坏整体图像的连续性，因而应予校正。这实现起来是相对容易的，因为沿方位角方向的子图像能够(允许)一定程度的重叠。实际上，这意味着对于两个相邻的子图像，列的数目是相同的，这利用图像处理器8借助于该对准格栅能够易于验证。于是各子图像的实际并接包括旋转每一子图像通过一固定角度，调节对于每一子图像的行数，以及最后对于对应的各列进行选择或内插。在这方面，关于内插稍为优先，因为其某种程度提高了信噪比。于是沿水平方向的各子图像的并接仅包括各列的重新编号(renumbering)。若一子图像例如沿一方位角具有1024个像素，在并接之后取决于校正情况可能保留编号为1，2，...，820的不大于820个像素。然后，邻接的图像中的第一个像素指定号码为821，即所有的列的号码升高820。
在初始对准之后，了解该并接的图像包括多少列。在例如为船装系统的情况下，还将了解与每一列号码相对应的方位角方向。假设需扫描到其一方向，则可以将以该所需观察方向作为中心的例如为1024列写入缓冲存储器9并接着按照公知的方式呈现在显示器10上。为了选择观察的方向，将选择器11连接到图像处理器8。另外的可能性是按照一种头盔式安装的显示器实现显示器10和按照现有技术的头盔式安装的角度传感器实现选择器。这样一种系统产生直接透视船壳或船舱甲板的错觉，使得不可能例如取消具有相当大的雷达搜索横断面的驾驶台。此外，例如为雷达数据的其它数据可以简单地添加到因此得到的图像上，可以明显地增强武器发展的判定方法。
还可以利用18对TV摄像机替代在图1中表示的18个TV摄像机，每一对TV摄像机产生立体图像。利用图像处理器，将来自所有各对TV摄像机中的左侧的TV摄像机的图像可以并接为一全景图像；对于来自所有各对TV摄像机中的右侧的TV摄像机的图像也可以按照相似的方式得到一全景图像。这种方法产生两个全景图像，根据该图像可以选择方向；可以按照公知的方式全景地显示该方向的图像，例如利用头盔式安装的显示器。如果确定该方向是头盔式安装的显示器使用人面对的方向，这样一个非常引人注意的和有用的系统，在不可能对实物观察周围区域的情况下用于控制操作运载工具或船只。
图3表示具有安装在一现有技术的稳定平台上的18个摄像机1.1，...，1.18组成的稳定的阵列的方块示意图，船的运动除了船头以外不再影响该系统。18个摄像机1.1，...，1.18还连接到图像处理器8，该图像处理器8用于利用一个360°水平光圈例如每20毫秒产生一个由18个子图像组成的图像，这与参照图2所介绍的阵列相一致。在一稳定的阵列中，目标将每20毫秒按实际相同的运动出现在显示器屏幕上。特别的重要性固定于隐约出现在地平线上的点状目标例如火箭或航天飞机。对于点状目标，图像处理器8连接到点状目标提取器12，其将回波像素的强度与相邻像素的强度相比较，并根据比较结果判定是否实际观察到一点状目标。仅在点状目标的出现己经断定之后在很多接连产生的图像(成串图像)中，点状目标提取器12将检测到的点状目标指定到一跟踪装置13。此外，点状目标提取器12可以包括其它的现有技术的部件，以便降低错误报警的或然率，例如包括边缘探测器例如检测人造装置或云层的边缘并预防在该这些区域中检测点状目标。对于每次检测，跟踪装置13开始试探性的跟踪，在进行一定数量的检测之后，转变为核实在显示器装置10上顺序出现的跟踪(目标)。
除了检测之外，点状目标提取器12还提供在船头14上的数据，根据改进的列数，船的航向的改变可以简单地校正，这样由于改变航向，好像目标没有移动。
十分接近该阵列的鸟类飞行表示出一点状目标的所有各部分并将不可避免地引起跟踪。为了证实鸟类的出现，可以将第二个阵列相加到己有的阵列上，该第二个阵列可以位于在己有的阵列的上方或下方。由两个阵列提供的跟踪踪迹可以输送到一个复色显示的显示器装置10。十分接近该阵列的鸟类飞行将表示明显的视差，使跟踪踪迹平行延伸没有任何重叠。对于出现在地平线上的点状目标没有可看得到的视差，这样一个目标作为单一的跟踪的在层云中的不同阴影中。
当然该视差还可能利用适当的计算机程序来判定。这样就防止由于鸟类引起的跟踪踪迹出现在显示器屏幕上。
权利要求
1.一种用于观察环境的系统，其借助于TV摄像机和至少一个显示器装置进行观察，其特征在于，该系统包括一个TV摄像机阵列，用于至少基本上同时观察环境中的每一方位角方向。
2.根据权利要求1所述的系统，其特征在于TV摄像机阵列排列在一个平面内，至少基本上覆盖360°的视野。
3.根据权利要求2所述的系统，其特征在于，在TV摄像机阵列中的每一TV摄像机中具有一个光圈，使得利用至少一个TV摄像机可以监视每一方位角方向。
4.根据权利要求3所述的系统，其特征在于，每一个TV摄像机具有至少基本相同的光圈。
5.根据权利要求3或4所述的系统，其特征在于，各相邻的TV摄像机的光圈至少沿方位角方向是稍微重叠的。
6.根据权利要求5所述的系统，其特征在于，该系统包括一个图像处理器，用于将TV摄像机阵列得到的各子图像并接为一个全景图像。
7.根据权利要求6所述的系统，其特征在于，图像处理器还被设计成能由在重叠的子图像中的两个对应的像素定出一个新的像素。
8.根据权利要求6或7所述的系统，其特征在于，显示器被设计成能呈现以所选择的方位角方向作为中心的周围全景图像的至少一部分。
9.根据权利要求8所述的系统，其特征在于，该显示器装置包括一用于选择方位角方向的选择器。
10.根据权利要求8所述的系统，其特征在于，显示器装置包括至少一个头盔式安装的显示器，和选择的方位角方向与头盔式安装的显示器的使用人面对的方向相对应。
11.根据权利要求4所述的系统，其特征在于，TV摄像机阵列包括偶数的子阵列和奇数的子阵列，由此，将每一子阵列设计成能至少基本上同时观察环境中的每一个方位角方向，以及总有偶数的子阵列中的一个TV摄像机和奇数的子阵列中的一个TV摄像机相同地对准在方位角方向上。
12.根据权利要求11所述的系统，其特征在于，两个子阵列中的每一个包括一图像处理器，用于将TV摄像机子矩阵得到的各子图像并接为一全景图像。，
13.根据权利要求12所述的系统，其特征在于，设有一个立体显示屏，用于立体显示至少以选择的方位角方向作为中心的全景图像中的一部分。
14.根据权利要求13所述的系统，其特征在于，该显示器装置包括头盔式安装的显示器，以及选择的方位角方向与头盔式安装的显示器的使用人面对的方向相对应。
15.根据权利要求6或7所述的系统，其特征在于，该系统装有稳定装置，用于将配置了TV摄像机阵列的表面保持在一定水准的位置。
16.根据权利要求15所述的系统，其特征在于，该系统装有一个连接到图像处理器上的目标提取器，用于开始并维持对潜在的目标的跟踪，和用于提供关于这些潜在的目标的方位角和仰角数值。
17.根据权利要求15所述的系统，其特征在于，该系统装有两个TV摄像机阵列，一个位于在另一个之上，每一个阵列包括一个用于产生全景图像的图像处理器；而且设有两个连接到图像处理器上的目标提取器，用于开始并维持对潜在的目标的跟踪，并用于提供关于这些潜在的目标的方位角和仰角数值以及根据对于每一潜在的目标确定的视差位移的范围信息。
全文摘要
本发明涉及一种包括多个TV摄像机的系统用于产生围绕船的区域的全景图像。利用头盔式安装的显示器形成的图像能可靠地观察环境。该图像另外可用于对点状目标的检测和跟踪。
文档编号H04N7/18GK1261500SQ98806551
公开日2000年7月26日 申请日期1998年6月17日 优先权日1997年6月26日
发明者莫里斯·汉克·詹·格兰德拉谱, 安那－玛丽·翰里特·凡·索蓝, 卫雷姆·凡·文斯威 申请人:荷兰塞纳拉帕拉塔公司