对目标进行成像、监视和/或指示的机载光电设备的制作方法

本发明涉及一种对目标进行成像、监视和/或指示的机载光电设备，其可以称为“永久视觉设备”，例如，激光指示“吊舱”。本发明也涉及一种由这种光电设备进行实施的方法。

背景技术：

对目标(载体(通常为飞机)装备有该目标)进行成像、监视和/或指示的光电设备包括一个或多个图像传感器，其使得可以获得载体飞过的区域的图像。这些图像中的至少一幅显示在屏幕上以使得操作员可以进行各种类型的任务：侦察和监视，以分析区域以及寻找并识别具体元素；进攻，用于对表面或机载目标进行定位和指示；或导航，以便于在困难条件(夜间或恶劣天气)下飞行(“FLIR”或“前视红外”模式)。如果所述设备是指示“吊舱”，其也包括激光源和光束形成系统，所述光束形成系统适合于将激光束导向操作员之前在由所述传感器获得并由一个所述屏幕上进行显示的图像上识别的目标。

根据现有技术的这些设备呈现出某些缺陷：

·在检测/指示模式中，图像的区域非常小，这使得操作员难以在由光电设备供应的图像和他或她自己当场看到的图像(使用术语“吸管效应”，因为操作员就像是通过吸管观察)之间建立联系；

·天气条件(云、雾等等)或烟的存在，甚至由于载体的遮蔽或光电设备本体的遮蔽，都可能影响能见度；

·红外成像呈现出相当低的分辨率并且单色的图像，然而，颜色是重要的信息，例如，用于识别目标；

·FLIR和检测模式可能是互相排斥的；

·协作任务可能需要对另一个光电设备(嵌入在另一个载体上)获得的图像进行显示；需要高比特率数据链路(不总是可用的)用于传输数据。

技术实现要素：

本发明旨在克服这些缺陷中的至少一些。为此，提出了除了使用“实际”图像传感器之外，还使用适于为“虚拟传感器”的传感器。“虚拟传感器”包括数据处理装置，其与地理定位的地形数据库协作以产生“虚拟”图像，以旨在伴随、丰富或代替由传感器获得的“实际”图像。

“虚拟传感器”的数据处理装置可以为纯软件。在这种情况下，涉及一个或多个软件模块，其由数据处理器执行，也确保光电设备的其他功能。它们可以为纯硬件：在这种情况下，涉及一个或多个专用(优选，数字)电路。最后，它们可以为混合的、组合的软件模块和专用电路。数据库可以为本地的，在这种情况下，其存储在位于载体上或光电设备中的大容量存储器(例如固态硬盘)中，或者可以通过无线链路远程访问。

因此，本发明的主题是一种机载光电设备，其包括：

-至少一个图像传感器，其适合于获得所述设备的载体飞过的区域的多个图像；以及

-数据处理器，其配置成或者编程为接收至少一个所述获得的图像并且将其发送到显示设备；

其中，所述数据处理器也配置或编程为：

-访问所述飞过的区域的图像的数据库；

-从所述数据库提取信息，使得能够合成所述区域的虚拟图像，所述区域的虚拟图像能够被位于预定观察点并且以预定视野、沿着预定视线观看的观察者看到；

-对所述虚拟图像进行合成；以及

-将合成的虚拟图像发送到所述显示设备或另一个显示设备。

根据这种光电设备的不同实施方案：

-所述数据库可以至少包括：所述区域的地形的数值模型；所述区域的多个正射校正的空中或卫星图像或SAR，所述图像被地理定位；所述数据处理器配置或编程为通过将所述空中图像或卫星图像中的一个或多个投影到地形的所述数值模型来合成所述虚拟图像。

-所述数据库也可以包括矢量映射数据，所述数据处理器配置或编程为将所述数据中的一些合并到所述虚拟图像中。

-所述数据处理器可以配置或编程为利用由所述图像传感器或至少一个所述图像传感器获得的图像来丰富所述数据库。

-所述数据处理器可以配置或编程为从地理定位设备接收关于设备的所述载体的位置或另一个载体的位置的信息以及指示嵌入在该载体上的图像传感器的视线的信息，并且合成对应于所述视线和与所述载体具有相同位置的观察点的虚拟图像。更具体地，所述数据处理器可以配置或编程为在遮蔽或能见度不足的情况下，显示所述虚拟图像而不是由所述嵌入的图像传感器获得的图像。作为变体或另外地，所述数据处理器可以配置或编程为将具有相同视线和相同视野的所述虚拟图像与由所述嵌入的图像传感器获得的图像进行融合。还作为变体或另外地，所述数据处理器可以配置或编程为合成与由所述嵌入的图像传感器获得的图像具有相同观察点和相同视线、比由所述嵌入的图像传感器获得的图像具有更宽广的视野的一个所述虚拟图像，并且将由所述嵌入的图像传感器获得的所述图像插入到所述虚拟图像中。类似地，所述数据处理器可以配置或编程为将对应于靠近所述地理定位设备确定的嵌入在所述载体上的图像传感器的位置的观察点的多个所述虚拟图像进行合成，并且通过由将所述传感器获得的图像与所述虚拟图像进行相关联而重新计算所述位置。所述数据处理器也可以配置或编程为：从嵌入在设备的所述载体上的所述图像传感器或至少一个所述图像传感器接收所述设备的载体所述飞过的区域的至少一个图像，并且所述区域的至少一个图像显示在嵌入于相同载体上的第一显示设备上；从另一个载体接收关于所述载体的位置的信息以及嵌入在所述其他载体上的至少一个图像传感器的视线和视野；合成对应于所述视线和具有所述位置的观察点的虚拟图像，并且将合成的虚拟图像显示在第二显示设备上，所述第二显示设备不同于所述第一显示设备并且嵌入在设备的所述载体上。

-光电设备也可以包括存储有所述数据库的嵌入的数据存储设备。

-所述数据处理器可以配置或编程为驱动所述图像传感器或至少一个所述图像传感器，以根据限定的视线并且利用限定的视野获得所述飞过的区域的至少一个所述图像。

-所述光电设备可以是用于指示目标的机载光电设备。

本发明的另一个主题是根据前述权利要求中的一项所述的光电设备实施的方法，其包括如下步骤：

-从地理定位设备接收关于设备的载体或另一个载体的位置的信息、以及指示嵌入在该载体上的图像传感器的视线的信息；

-访问所述飞过的区域的图像的数据库并且从该数据库提取信息，使得能够合成对应于所述视线和与所述载体具有相同位置的观察点的虚拟图像；

-对所述虚拟图像进行合成；以及

-将合成的虚拟图像发送到显示设备。

附图说明

通过阅读参照所附附图(通过示例的形式给出)给出的说明书，本发明的其他特征、细节和优点可以更明显，在附图中：

-图1，在区域上空飞行的通过无线链路通信的两架战斗机，每架战斗机运载根据本发明的实施方案的光电设备；

-图2，根据本发明的实施方案的光电设备的功能图；

-图3，根据本发明的实施方案的光电设备显示实际图像或虚拟图像的使用；

-图4，根据本发明的实施方案的光电设备显示融合的实际图像和虚拟图像的使用；

-图5，根据本发明的实施方案的光电设备显示插入到虚拟图像(具有更宽广的视野)中的实际图像的使用；

-图6，根据本发明的实施方案的光电设备同时显示对应于不同观察点的实际图像和虚拟图像(在协作任务的情况下)的使用；以及

-图7，根据本发明的实施方案的光电设备通过图像相关联进行载体位置校正操作的使用。

具体实施方式

图1示出根据本发明的光电设备的使用的情况。其示出两架战斗机(载体)P1和P2，每架战斗机装备有根据本发明的实施方案的光电设备EO1、EO2。这些设备包括图像传感器，图像传感器观察载体飞过的区域RS，各自的视野是CV1、CV2。两个载体和它们的光电设备(如果需要的话)通过数据无线链路LR通信，使得它们能够执行协作任务。

图2示出根据本发明的实施方案的光电设备EO或仅仅其“成像”部件(未示出可能存在的目标指示装置)的功能图。通常，该设备包括三个主要部件：

-一个或多个图像传感器，例如在光谱的可见部分工作的摄像机CI1和红外摄像机CI2。附图标记IMR1和IMR2指示由这些传感器获得的图像(下文中称作“实际图像”)，或者更准确地，由电子信号传送的表示这些图像的数字数据。

-人机接口IHM，其包括一个或多个显示屏幕EA和/或其他显示设备(比如，平视显示器)以及控制装置MC(按钮、键盘、触摸屏等等)，一个或多个显示屏幕EA和/或其他显示设备使得操作员可以观察图像，控制装置MC使得所述操作员可以输入命令和设备的操作参数。例如，控制装置MC可以使操作员选择图像传感器、其方向和其视野，屏幕EA实时显示由该传感器获得的图像。

-数据处理器PD，其包括一个或多个计算机和/或专用电子电路。数据处理器根据操作员输入的命令来驱动致动器，确保图像传感器CI1、CI2的方向、调焦和设置：其接收由这些传感器获得的图像IMR1、IMR2，如果需要的话，对这些图像执行各种处理，并且确保其在一个屏幕或多个屏幕EA上显示。

通常，光电设备EO还包括AHRS(姿态航向参考系统)类型的地理定位单元UGL和通信设备TxRx，地理定位单元使得能够确定载体的位置和视线的准确位置，可能利用来自GNSS(全球导航卫星系统)系统的数据和/或来自载体的单元的惯性数据，通信设备TxRx使得可以通过无线链路LR发送和接收数据。在一个变体中，地理定位单元和/或通信设备可以在光电设备的外部，并且配置成与光电设备进行通信。

光电设备EO也包括虚拟传感器，在图2的实施方案中，虚拟传感器包括数据库BD和软件模块，数据库存储在嵌入式大容量存储器中，软件模块由数据处理器PD执行。如上所述，可以设想其他实施方案：例如，数据库可以远程访问而非嵌入式，可以用专用电子电路(形成数据处理器的部件)完全或部分地代替软件模块。

数据库BD包括载体飞过的区域RS的地形的数值模型(通常为DTED类型)和所述区域的多个地理定位图像。图像可以具有不同的来源；它们可以具体地为：

-正射校正卫星图像；

-正射校正多光谱空中侦察图像；

-之前由光电设备自身或其他机载光电设备获得的图像；

-SAR(合成孔径雷达)图像。

数据库也可以包括地理矢量数据，通常为VMAP类型：公路和铁路网络、水文系统、地名等等。

重要的是，光电设备可以在每项任务期间实时地利用其获得的图像来丰富数据库。因此，可以确保存储在数据库中的数据的“更新”。

当输入如下信息时，软件模块对信息进行接收：

-位置，其可以是地理定位单元UGL确定的载体的位置、通过通信设备TxRx接收的另一个载体的位置或任意位置；

-视线，其可以与光电设备的“实际”传感器中的一个的视线共线，或与另一个载体的这种光电设备的传感器的视线共线，或者由飞行员或外部设定点进行控制；

-理想视野，其可以对应于光电设备的“实际”传感器中的一个的视野，或对应于另一个载体的这种设备的传感器的视野，或者是任意的；以及

-可选地，要显示的地理信息的列表(公路名称、地名等等)。

根据这些信息以及存储在数据库中的信息(数值模型、图像)，软件模块产生对应于由实际传感器获得的图像(具有位置、方向(视线)和期望视野)的虚拟图像IMV。通常，通过将一个或多个图像从数据库投影到地形的所述数值模型而产生或合成虚拟图像。可以合成这种虚拟图像的计算机技术对于本领域技术人员来说是众所周知的。

可以设想这样获得的虚拟图像的几个不同的使用。下文中将参照图3至图7对其中的一些使用进行描述。

如图3中所述，对于在屏幕EA上的显示，数据处理器PD可以选择对应于相同观察点(或视点)、相同视线和相同视野的实际图像IMR或虚拟图像IMV。对要显示图像的选择可以由操作员作出，或者由数据处理器自动地作出，例如如果存在实际图像的遮蔽。

如图4中所述，数据处理器PD可以根据“增强现实”将对应于相同观察点、相同视线和相同视野的实际图像IMR和虚拟图像IMV进行融合，以创建丰富的图像(显示在屏幕EA上)。在图4的示例中，虚拟图像包括实际图像IMR中不包括的颜色信息(在图中通过阴影示出)以及地理信息(两座山的高度)；另一方面，在有云的情况下，仅仅实际图像IMR使得可以观察短暂现象。丰富的图像使得可以同时显示所有信息。

具有较小视野的实际图像IMR也可以插入到具有宽广视野的虚拟图像IMV中，以避免上述“吸管效应(effet paille)”。该情况示于图5中，其中，显示城市环境中的建筑的实际图像IMR插入到具有更宽广视野的虚拟图像IMV中，以放置在其背景(公路车道、用作参照的其他建筑等等)中。明显地，虚拟图像也可以显示地理数据，使得可以更容易地识别建筑(在军事应用中，云是要进行指示的目标)。如果需要，插入到具有更宽广视野的虚拟图像中的具有较小视野的图像可以是通过将实际图像和虚拟图像进行融合获得的丰富的图像(参见图4)。

图6示出由光电设备的传感器CI获得的实际图像IMR显示在第一屏幕EA1上的应用。同时，虚拟图像IMV显示在第二屏幕EA2上或者通过切换或插入而显示在相同的屏幕上；该虚拟图像对应于另一个载体的光电设备的图像传感器(如果需要，甚至可以是虚拟传感器，该变体能够具体应用于训练目的)的观察点、视线和视野，这些数据由通信设备TxRx进行接收。在返回时，通信设备可以用于将相同类型的数据发送到嵌入在所述其他载体上的光电设备。在图1的协作任务的情况下，该应用使飞机P1的飞行员可以看到P2的飞行员看到的东西，反之亦然。应该注意，与现有技术相反的是，其不需要高比特率链路。实际上，没有必要将图像从一个载体发送到另一个载体，而是仅仅“上下文数据”(位置、视线、一个或多个图像传感器的设置参数)用于虚拟图像合成。

光电设备也可以用于改善或校正地理定位单元UGL确定的位置。如图7中所示，地理定位单元确定嵌入在所述传感器上的图像传感器的位置的第一估计，并且数据处理器PD将对应于靠近该估计的位置(也即，围绕所述位置并且位于其周围限定的半径内)的观察点并且具有限定的视线的多个虚拟图像IMV1、IMV2、VI3、……、IMVN进行合成。所述图像传感器获得具有相同视线的实际图像IMR。然后，数据处理器通过在实际图像和虚拟图像之间进行相关联来确定新的位置估计。

将能够设想根据本发明的光电设备的其他应用，而不脱离本发明的范围。