利用视线的自动控制从移动载体的传感器获取场景图像的方法与流程

文档序号:15071230发布日期:2018-07-31 23:45阅读:199来源:国知局

本发明的领域是通过自动控制传感器的视线并结合图像处理来获取图像的领域,例如用于勘察或监视应用。



背景技术:

在吊舱(pod)、飞行器或地面车辆中实施的自动控制的雷达或光学传感器的视线(lignedevisée,ldv)扫描图案通常是以下类型的图案:

-以恒定角度的横向扫描,在雷达领域中也称为条带模式;

-固定点的聚焦(=用于追踪固定点);

-移动目标的追踪;

-圆形扫描,用于地面应用。

第一种类型的扫描使得能够扫描一个地形带,但是在飞行器和被扫描的地面上的点之间具有恒定的视点。

第二种类型使得能够从各种视点看到地面上的对象,但覆盖地面的非常有限的区域。

第三种类型是第二种类型的变体,不能保证多个视点。

第四种类型类似于第一种类型,具有恒定的方位角。

这四种扫描不能以良好的角度分辨率从各种视点观察大范围的地面。



技术实现要素:

本发明的目的是减轻这些缺点。

所提供的解决方案包括将特定的自动控制模式应用于传感器的视线,以实现地面的多次向外扫描,每次向外扫描之后通常是地面的快速返回扫描,步进凝视(step-and-stare)微动与向外扫描和快速返回扫描结合在一起,这些微动使得尽管扫描快速移动,也能够获得足够稳定和曝光的图像。图像处理使得能够提高这种自动控制的精度。

更确切地说,本发明的一个主题是一种用于从载体获取预设地面场景的图像的方法,并且所述载体沿着路径移动并且配备有具有视线的光学传感器,所述方法包括:传感器在载体移动期间获取场景的连续图像的步骤;以及视线的角度方向由连接至传感器的处理单元自动控制的步骤,所述获取执行如下:

-对于载体在其路径上的第一位置,自动控制视线的角度方向使得对场景的预设地形带执行所谓的向外扫描并结合步进凝视模式下的扫描,

由此获取第一图像条带;

-通过对载体在其路径上的至少一个其它位置重复这些扫描步骤,来获取与第一条带相同的地形区域的至少一个其它的图像条带,对于同一地形带区段,获取地形带区段的另一个条带的每个图像(其与第一条带的一个或更多个图像的重叠度高于预设的高重叠度),在这些迭代中分别在视线的各个方向上获得一个条带到下一个条带的重叠图像,即同一地形区段的图像;

本发明的主要特征在于步进凝视模式,所述步进凝视模式包括具有由处理单元控制的幅度的步进(即,平移微动),所述步进凝视模式包括:

·至少一个称为横向步进的步进,其具有垂直于向外扫描的主要分量,并结合

·至少一个称为纵向步进的步进,其具有平行于向外扫描的主要分量,以及

·双轴向凝视微动,其用于补偿在每个图像获取期间视线的平移移动,

并且本发明的主要特点在于通过对获取的图像执行图像处理来实现视线的角度方向的自动控制。

该解决方案利用适当的视线扫描移动,使得能够覆盖较大的区域,可选地采用各种连续或不连续的地形带的形式,并且使得能够从不同的角度观察所有这些扫描点。该解决方案特别使得在不同时间和从不同视点角度能够提供覆盖大面积地面的图像条带。

该解决方案通过与视线的主要自动控制同步的特定双向步进凝视移动实现了对于每个图像足够长的驻留时间,并且因此能够对图像保证足够的质量。

因此,该解决方案使得在对条带进行图像处理之后(这些条带包含以各种瞄准角度看到的地面上的点),能够构建几何上具有相同形式的图像条带,即可叠加以形成正射影像或地理地图的图像条带,当载体相对于区域浮凸的移动很大时,其它方法不允许这样做。

提出的解决方案利用了以下新理念:

-视线重复进行前向扫描和反向扫描,然后获取一个或更多个地形带,配备传感器的载体处于移动状态,以便多次(通常在5次到20次之间)以不同视点查看地面上的给定点,以及对大的纵向范围的地形带的所有点(或者在适当的情况下,对并行扫描的各种地带的所有点)进行相同的操作;

-双轴向步进凝视除了连续的常规步进凝视微动之外,还结合了幅度可以较大的横向步进(和凝视),所有这些与图像处理结合以正确地组合每个条带的图像。然而在现有技术中,微动是单轴向的,这种步进凝视的另一个特殊性在于其引入了双轴向的凝视微动,以在积分时间期间去除雾度并改善图像的质量。双轴向步进凝视还可以在凝视期间为图像添加旋转分量,从而确保生成的图像条带中的图像可以尽可能完美地组合。

-同时产生各种图像条带,每个图像条带对应于具有在宽度和长度方面均可控制的形状的地形带。

-对于在场景中选择的同一地形带,在不同的规律时间点、从不同视点产生不同的叠加的条带。

-可以在场景上推广在长度方向上不受限的带(随着载体前进而滚动的带)。

该方法可以随着载体前进实时执行,而不对载体的路径施加限制:自动控制在扫描地形带期间补偿载体的移动。

用作扫描基础的载体的第一位置和其它的连续位置在扫描期间可以是唯一的,或者可以是多个,并且当载体在扫描期间移动时分解成与图像在扫描过程中的位置一样多的位置。

有利地,对于给定的地形带区段,获取同一地形带区段的另一个条带的每个图像,每个图像与第一条带的一个或更多个图像对齐的精度高于预设的对齐精度。

有利地,通过对获取的图像执行图像处理来实现视线的角度方向的自动控制,使得在给定条带内,相邻图像以高于预定质量的对齐质量对齐。

有利地,通过对获取的图像执行图像处理来实现视线的角度方向的自动控制,使得在给定的条带内,相邻图像具有比预设的低重叠度更高的重叠度,以获得连续的条带。

优选地,通过对获取的图像执行图像处理来实现视线的角度方向的自动控制,使得源自两个条带的给定场景区段的图像以高于预定质量的对齐质量对齐。

双轴向凝视微动还可以与视线的反向旋转移动相关联,该反向旋转移动由处理单元确定以补偿在图像获取期间视线的旋转移动,或者以尽可能最好地将图像彼此对齐。

根据本发明的一个特征,至少一个其它的预设地形带与场景相关联,并且通过从载体的所述位置执行的扫描来扫描,步进凝视模式还包括至少一个地形带改变的横向移动,以从一个地形带过渡到另一个地形带。

这种地形带改变的横向移动可以与带改变的前向移动相结合。

向外扫描通常在路径的方向上执行。

通常,在向外扫描之后并且在重复之前执行所谓的反向扫描或返回扫描(其与向外扫描相反)。

该反向扫描可以是直接的,或者本身可以与步进凝视模式结合。具体而言,可选地,在反向扫描期间获取图像,该反向扫描与具有步进(即,平移微动)的步进凝视模式下的扫描结合,所述步进具有由处理单元控制的幅度,使得连续获取的图像部分重叠,该步进凝视模式下的扫描包括:

1.至少一个称为横向步进的步进,其垂直于反向扫描,以横向扫描该区域,并且结合

2.至少一个称为纵向步进的步进,其平行于反向扫描,以纵向扫描该区域,以及

3.双轴向凝视微动,其用于补偿在每个图像的获取期间视线的平移移动。

还获得一种方法,使得:

-自动控制移动载体的传感器的视线,从而使该传感器扫描较大的地面场景,同时确保从覆盖尽可能宽的角度范围的不同的视点角度多次看到地面上的每个点;

-能够同时重现与由操作人员自由选择的场景相对应的连续的(或相邻的)且部分重叠的图像的一个或更多个条带;

-从覆盖宽角度范围的各个视点,根据时间重新创建包含在这些条带中的任何点,例如使得可以通过处理来获得包含在这些条带中的对象的3d重构;以及

-在一致性方面,利用从多个视点产生的3d信息来校正用于形成条带的图像,这些信息遍布相当广泛的角度范围。

此外,该方法还考虑与传感器相关联的自动控制限制:视线的旋转速度和加速度。

该方法可以涉及其它优点,例如:

-其使得操作人员能够从各个视点实时查看他自己选择的场景中的对象;

-其能够创建所有条带的3d地图;

-其能够实现条带连续滚动的模式(即,在载体的移动方向上,该模式在空间上不受限制);

-其使得在路径上的任意点都能够将多个条带拼接成更大的条带(实时可编程监视区域的概念);以及

-其使得在坐标系范围内能够自由选择载体的路径以及载体的滚动、俯仰和偏航移动(视线必须连续以能够扫描条带)。

附图说明

通过阅读以非限制性示例并参照附图给出的以下详细描述,本发明的其它特征和优点将变得显而易见,其中:

图1a至图1c示意性地示出了从集成在飞行器中的机载传感器获取图像的示例的俯视图,并且用于:(图1a)具有三个独立的地形带的场景,这些地形带本身没有闭合;(图1b)具有三个地形带的场景,其中2个地形带本身闭合;图1c更详细地示出了在两个单独的地形带上并行执行的连续扫描;

图2a至图2b示意性地示出了根据现有技术(图2a)和根据本发明(图2b)的在步进凝视模式下获取图像的示例的俯视图;

图3示意性地示出了根据本发明的方法的传感器的视线的移动的示例,仰角和方位以度表示。

从一个附图到下一个附图,相同的元素以相同的附图标记标引。

具体实施方式

为了描述本发明,期望获取图像的场景将被认为是预设的并且被划分为多个地形带,多个地形带可选地不一定分开,可选地不一定平行。术语“带”被理解为指其平均纵向尺寸大于其平均横向尺寸的地形区域。这些带对应于载体下方的地面空间,该空间可以包含基础设施,但通常可以是从载体可见的任何其它类型的场景表面,例如从地面车辆看到的建筑物的外观。

由于要扫描的场景可以是任何形状,相应的带也可以是任何形状,并且可以是任何数量和任何方向。扫描带的形状/宽度可以例如具有椭圆形或s形,带的宽度也可以在扫描期间增加或者相反减小。可以想象更复杂的形状,例如y形(道路交叉点)、星形(十字路口及其道路)、包含孔的形状或者分解为基本带的任何形状。带在地面上的方向是自由选择的。

将参考图1a至图1c来描述可扫描的地形带的示例。

图1a示出了从载体2(其在第一次扫描期间本身正在移动)的第一位置p1的三条地形带4a、4b和4c的第一次初始扫描,视线由实线表示,以及从载体的第二不同位置p2的三个带的第二次扫描,视线由虚线表示。应该理解的是,可能会出现一些特定情况:

-初始扫描严格地从相同位置执行,第二次扫描(以及可选的其它扫描)从与第一/前一点不同的一个或更多单个点执行的情况(这是对于在不同时间点改变其位置的移动载体的情况,例如直升机混合静止位置以用于扫描地形以及从一个点到另一个点的移动,以改变视点)。

-在载体连续移动期间执行初始扫描和后续扫描的情况(然后,与扫描的每个图像相对应的点(p1)是彼此接近的各个连续点)。这些点的接近程度取决于扫描速度,假设扫描速度足够高,使得在离前一点足够远的点(pi)处开始另一次扫描之前可以进行第二次扫描(或甚至其它扫描),但并不是太远,以便防止在由传感器的视线扫描的地形带从扫描传感器的视野退出之前执行各种(至少两次)扫描。

-第三种特定情况是混合两种先前模式的情况:即,在载体的路径的一段的移动过程中利用其传感器来扫描场景,并且在路径的其余部分执行对各种不同的静止空间位置的扫描(如果载体允许)的情况。

根据本发明的扫描覆盖了这些不同的情况,只要在每种情况下,下一次扫描开始于不同的点(p1)、(p2)、(pi)。对于i=3是可能的,但通常有5至20,甚至更多个不同的载体位置。图1a至1c和图2a至2b仅示出了具有非常快速的扫描移动的情况1或情况2(视线分别来自几乎重合的点(p1))。在图中未示出稍慢的扫描移动的情况2(但仍然相当快,使得在扫描结束时,载体不需要等待到达下一次扫描开始的下一个位置)。在所有这些特定情况下,图像对应于地形区域(其是沿着视线和传感器的视野在地形上的投影图像的印迹)以及载体的路径上的单个点。也可以说,地形中被扫描了两次或更多次的一个点来自必然不同的路径上的点(pi)。

执行各种扫描,使得在地形带的第一次扫描中获得的图像1大部分与在第二次扫描(或者接下来的扫描,如果它们存在)中获得的图像重叠。

图1b示出了在第一次扫描两个地形带4a和4b以及第三地形带4c的过程中视线的各个方向,地形带4a和4b本身闭合,并且在本例中包围载体2。针对图中所示的载体的5个位置p1、…、p5的每一个,指示了视线3p1、…、3p5的单个方向。从第5方向3p5获取叠加在从载体的位置p1获取的某些图像上的图像。因为希望不会混淆图形,所以目前的情况是一种理论的情况,其对应于载体的非常快速的移动和视线的较慢的移动。实际上,视线的5个方向可以被解释为与对于载体的5个位置的视线的5次完整视线扫描相对应的视线的示例。

前向扫描方向通常取决于载体路径的方向,然而,对于本身闭合的带(例如,图1b所示的带4a和4b)或对于相对于载体的路径高度倾斜的带(参见图1b的频带4c),“前向”扫描方向由处理单元确定,使得在载体的移动期间视线必须行进的距离最小化,总之增加了每个带上向外和返回行程的次数。

根据参照图1a至1c和图2a至2b描述的本发明,图像1由集成到沿着路径20移动的载体2中的机载传感器获取。

首先要考虑获取第一图像条带,也称为初始条带。对载体2的路径上的第一位置p1获取该条带,自动控制视线3,从而能够执行以下步骤:

-从视线在地面上的初始位置开始扫描场景预设的第一地形带4,该扫描被称为向外扫描,并且与具有步进(即平移微动)的步进凝视模式的扫描相结合,所述步进凝视模式包括:

·至少一个称为横向步进5的步进,其垂直于向外扫描,以横向(或稍微横向)扫描地形带4,并结合

·至少一个称为纵向步进7的步进,其平行于向外扫描,以纵向(或稍微纵向)扫描地形带,以及

·双轴向凝视微动,其补偿在获取每个图像1期间视线的平移移动。

在每次凝视微动之前的这些步进微动、其长度及其数量的结合例如由处理单元选择,以优化在地形带的各个区域中整个扫描的扫描时间和/或图像的获取时间。每次凝视之间的某些更长的步进也使得不能够获取到地形带的某些区段的图像。

由此获取了第一地形带的第一图像条带。更一般地,如果考虑至少一个其它地形带,则通过附加的前向或横向步进移动同时并行扫描2个(或更多个)地形带,这使得可以在扫描期间从一个带过渡到下一个带,从而产生一组覆盖这些不同地形带的图像的初始条带。优选地,为了使该图像条带连续,相邻的图像彼此部分重叠。相邻图像的小重叠就足够了;这种重叠度高于预设的低重叠度(通常为20%甚至10%)。大多数情况下,采用最小的重叠度以使得存储在处理单元中的条带的数量最大。

一旦获取了这个初始条带(如果存在多个预设的地形带,则该初始条带可以选择性地用其它初始条带补充),则通过重复载体在其路径20上的一个(优选地,多个)其它位置p2的这些扫描步骤,对于相同的地形带(在一般情况下,为多个相同的地形带)获取其它的图像条带。对于给定的地形带区段,获取相同的地形带区段的另一个条带的每个图像,另一个条带的图像与初始条带的一个或更多个图像高度重叠。因此,由于载体的位置已经改变,所以在这些迭代中,分别在不同的视线方向上获取了一个条带到下一个条带的重叠图像,这些图像具有相同的地形区段。

通常,至少一个其它的预设地形带与场景相关联。在图1a和1b中,可以看到三个单独的地形带4a、4b和4c。此外,步进凝视模式还包括至少一个地形带改变横向移动6,以从一个地形带过渡到另一个地形带。可以并行获取对应于单独的地形带的图像条带。在图2b中,示出了4条图像条带:40a、40b、40c、40d。

现在将详细地描述这些步骤。传感器的视线3被自动控制,以便:

1)使其前向扫描这些预设地形带4。该视线的前向扫描(在集成到飞行器中的机载传感器的情况下,可以可能达到甚至超过1500m/s的速度在地面上行进)进一步结合

·一系列局部的双向步进凝视微动。具体而言,由于视线前向扫描的速度非常快(以及视线在地面上移动的速度非常快),因此有必要将步进凝视微扫描引入前向扫描的整体移动,步进凝视微扫描包括凝视微扫描和步进微扫描,所述凝视微扫描确保捕捉具有足够的图像稳定性和足够的积分时间的图像,所述步进微扫描使得从一个图像过渡到下一个图像。这涉及在步进扫描中,在每次图像获取(=从给定带4的一个图像到下一个图像)之间形成非常快的跳跃5或7,或者较大的横向跳跃6(为了从一个带到下一个带),然后执行凝视扫描,该凝视扫描包括在图像捕捉期间应用补偿视线移动的微扫描,以使得能够捕捉图像,每个图像具有较长的积分时间,在该积分时间期间,捕捉的地形带的视图是稳定的。

从一个图像到下一个图像,这些平移微动5、6、7并不完全相同;它们由自动控制单元控制。自动控制单元必须检查以确保在给定带的连续图像之间实现受控的部分重叠,也确保在(给定带的)相邻图像之间实现受控的部分重叠,这些相邻图像通过应用的横向扫描在时间上分开,以从第一带到其它的地形带,然后返回到第一带。这些检查包括:通过惯性装置测量(其可能与或不可能与图像处理相结合)给定带的相邻图像之间的重叠度,并且检查给定带的相邻图像之间的最小重叠(符合系统预先建立的标准)。

通常,步进微动分解为垂直于前向扫描方向的分量5或6(5是与从带的一个图像到下一个图像的通道相对应的小幅度的步进,6是与从一个带到另一个带的通道相对应的较大幅度的步进),步进微动还分解为平行于前向扫描方向的分量7。其主要分量平行于前向扫描方向的步进称为前向步进,其主要分量垂直于前向扫描方向的步进称为横向步进。这些步进可以被配置为实现各种扫描模式。当要扫描单个带时,例如可以执行:偏航方向扫描,利用一系列专门的横向步进5(横向主要分量的横向步进5),以如图2a所示横向扫描条带40;接着是专门的前向步进7(前向主要分量的前向步进7),以实现带的向前进展;然后,在与前面的横向步进相反的方向上的一系列专门的横向步进,以在另一方向上横向扫描带等。当然,利用相同的基本步进但不同地组合,可以提供不太简单的扫描图案。

用于补偿图像捕捉期间ldv移动的凝视微动也是双向平移移动;它们在图中未示出。为了提高所有图像的精度,有利地,在凝视期间,在每次步进移动和每次图像捕捉之间,围绕视线旋转地施加反向旋转微扫描。除了提高整体精度之外,还可以实现更长的积分时间(或lidar情况下的照明时间)。

·这些步进微动伴随附加的受控的视线的横向移动6,以从一个带到另一个带,如果两条带靠近则这些移动可能较小,或者如果两条带相距很远则这些移动可能较大。同样地,从一个带到另一个带的移动可以被分解为横向分量和前向分量;然而,这些附加的移动6具有通常大于它们的前向分量的横向分量,除非这两个地形带沿着前向轴线偏移。图2b示出了分别对应于四个地形带4a、4b、4c和4d(其在图中未示出)的四个条带40(条带40a、条带40b、条带40c、条带40d)。如果场景仅包括单个带,则从一个带到另一个带的这些移动6不存在。

图1c示出了如下的扫描策略:优选地执行横向(方位角)跳跃(以便首先以某种方式并行地扫描所有带),然后在返回到较靠近的带之前前向跳跃到距离载体最远的带,这样能够最小化偏航跳跃(lessautsenlacet),偏航跳跃可能比方位角跳跃(lessautsenazimuts)花费更长的时间。以这种方式,几乎并行地扫描单独的地形带。更确切地说,图1c更详细地示出了从两个位置p1和p2分别执行的对两个接近的地形带4a和4b的两次连续扫描;对于附图标记1的图像,在两个带的扫描期间图像获取的时间顺序表示为:t1、t2、…、t6。对于给定的地形带,一旦已经从给定位置产生了第一图像条带(初始条带)(给定位置即图中的位置p1,两个初始条带是用于带4a的条带40a1和用于带4b的条带40b1,即带点的图像条带),在随后的迭代中生成同一地形带的一个(或多于一个)其它的图像条带,每个其它的条带从载体2的另一个位置(图中的位置p2,这两个其它的条带是用于带4a的条带40a2和用于带4b的条带40b2,即条纹的图像条带)获得。这使得能够从不同视点多次获取地面上的给定点的图像,并且对给定的大范围地形带的所有点进行。迭代确定每个地形带被扫描的次数。

对于每个其它的条带,能够自动控制对同一地形带的视线扫描的处理还必须确保投影到地面上的当前图像(=正在获取的过程中的图像)具有与首先产生的条带的相应图像高度重叠。换句话说,对于给定的地形带区段,获取同一地形带区段的另一个条带的每个图像,另一个条带的每个图像具有与第一条带的一个或更多个图像的重叠度。这种重叠度高于预设的高重叠度(例如80%)。因此,在这些迭代中在不同的视线方向上(视为在场景的3d坐标系中),即在不同的视角下,分别获取一个条带到下一条带的重叠(取决于该重叠度)图像(即同一地形区段的图像)。具体而言,对于例如设定为80%的重叠度,在每次迭代的图像获取中,至少80%的初始地形带的点“重见”;换句话说,最初获取的图像条带中的点的至少80%也分别重新出现在迭代中获取的每个条带中。因此,例如在图1a中,场景中在带4a的左下方的点存在于两个图像1中:一个是当载体2在其路径20上处于第一位置p1时捕捉的,另一个是当载体处于另一个位置p2时捕捉的。图1c中也示出了相同的原理,除了这里数字指示在2个初始带的扫描期间,由载体在位置2获取的图像在地面上的印迹的连续位置的示例之外,这些连续的印迹对应于这些图像的连续获取时间t1、t2、…、t6。应注意的是,在第二次扫描时获取的图像可能非常好地不与在第一次扫描时获取的图像相对应,但与其重叠,只要保证2个初始带的所有图像最大重叠。然而,传感器的视线的旋转也可以被应用以确保所产生的图像的完美对齐。如果执行该旋转,则通过自动控制来实现,该自动控制本身可以通过图像处理来实现。对获取的图像的处理使得能够生成延伸的图像条带,从各种入射角度可以看到这些条带,并且每个图像条带可以随着时间而重新生成,从而在该条带中成像的场景的每个点都可以随着时间的变化从各个方向看到。例如,继续重复,直到扫描的场景不能再被视线扫描(传感器超出范围或视线角度超过可接受的阈值)。

应该注意的是,图2a中所示的常规的步进凝视是已知的并且被应用于快速地且连续地横向扫描地面(具有小的前向跳跃):因此它会生成延伸的纵向图像条带,但是这些常规的装置只能单次形成该条带,并且必须是从单个视点来看该条带(这种扫描模式称为条带(strip-map)模式)。因此它不同于根据本发明的扫描(对于给定的地形区域,根据本发明的扫描生成从不同视点看到的多个条带),并且排除了覆盖多个地形带的可能性。另一种已知的模式是点光(spot-light)模式,其在于自动控制视线以聚焦在地面上的给定位置。点光模式在适当的情况下利用图像处理来自动控制并稳定地面上给定位置的视线(图像处理将传感器的各种连续图像相关联,以使得能够聚焦地面上的固定点)。这种模式导致一系列图像在地面的印迹不超过每个图像投影到地面上的大小。然后,投影图像的交集限定了在各种连续图像中从不同角度看到的地形区域。再者,因为重新创建的地形区域是非常局部的(限制于图像到地面的投影的交集),并且不对应于如本发明提出的应用中的延伸的地形带,因此这种模式与根据本发明的扫描有很大不同。根据本发明,通过利用连续扫描来扫描一个或更多个地形带来生成较大的纵向范围的一个或更多个地形带的一个或更多个图像条带,该图像条带被重复至少两次,通常在5次到20次或更多次之间,如图2b所示,这使得随着时间从各种传感器视线角度方向能够看到存在于连续条带中的场景的每个点。传感器的各种视线角与给定地形区域区段的角度方向差通常被限制为最大角度30°,以能够更容易地使用匹配图像处理,从而从中提取特征或进行3d重建。根据要获取的地形的范围,处理单元倾向于最少数量的不同视点(通常在获取的图像区段的5到20个不同视图之间)。

对于每个其它的条带,能够自动控制对同一地形带的扫描视线的处理还必须确保,在每个其它的条带中,重叠相邻图像优选地以预设的最小低重叠度重叠,使得每个其它的图像条带也是连续条带,如已经针对初始条带所示的那样。

视线处理保证了地形带的任何给定区段以不同的视线、在不同的时间被捕捉的图像都以高重叠度(在该示例中为80%)重叠。因此可以从中提取地形的共同区域和任意区域,共同区域包含所有图像,并且该共同区域足够大且可利用以在对应于交集的大范围地形上获得重建的纵向条带(其本身可以闭合或可以不闭合,参见图1a或1b),任意区域的图像可以利用观察该区域的载体的不同视点来查看。对于由各种重建条带所覆盖的给定地形区域,由于所选区域的地理坐标是已知的,所以很容易从各种条带中提取从已经扫描该区域的载体的各种视点能够看到该区域的对应图像。因此,从不同的视点和不同的时间看到给定的地形点多次。

可以根据各种实施方案来执行应用于自动控制视线的移动的处理。

根据第一实施方案,基于利用惯性装置,该处理包括:

-利用惯性装置将图像投影到地面上,并且当这些图像形成同一图像条带的一部分时计算投影到地面上的两个相邻图像之间的重叠(例如使用如下技术:计算当前图像和相邻图像在地面上的投影,以测量存在于这两个投影图像之间的几何变换且测量它们的重叠度和它们的实际对齐);

-在当前图像条带中正获取的图像(假设当前条带是与初始扫描不同的视线扫描的结果)与初始图像条带(来自与当前图像区域相同的地形区域的第一次扫描)的图像(或多个图像)之间进行同样的操作;

-检查重叠低于为给定条带的两个图像之间的低重叠度设置的设定点(=预设重叠度)(例如,低于10%),并且高于为在另一条带的图像与初始条带的图像之间必须存在的高重叠度设置的设定点(例如,高于80%);

-对于图像之间期望的对齐进行同样的检查;

-如果重叠低于目标设定点,则放慢视线的相对移动,而在相反的情况下加速视线的相对移动(反之亦然,取决于重叠是在移动方向的左边还是在右边,或者取决于涉及在不同的时间和在不同的扫描中所捕捉的给定的地形区域的图像之间的重叠,还是涉及在同一扫描期间所捕捉的给定条带内部的相邻图像的重叠);以及

-对图像的对齐进行相同的操作,并且通过视线的旋转移动(当可以进行移动时),根据需要对图像进行校正。

基于例如由导航系统提供的地形模型,当视线的角度位置的信息相对于载体的移动足够精确时(视线的绝对位置相对于载体的移动具有低漂移),并且可获得关于环境的足够精确的信息,从而使得能够计算图像到地面上的投影时,这种类型的自动控制就足够了。在许多应用中满足这些条件,例如在具有gps和imumems并且配备有平均场(通常为40°)的视频摄像机的地面车辆中,该视频摄像机快速地扫描附近的场景;但是对于移动非常快并且具有非常小视野的摄像机(该摄像机扫描非常远距离处的场景)以及惯性传感器的载体来说,情况不是这样的,惯性传感器的测量误差或角度漂移远高于视频摄像机的像素的分辨率。

在从惯性装置获得的关于视线的角度位置和/或关于地形的信息的精度不足以使图像能够足够精确地投影到地面上以获得要求的对齐和重叠的情况下,优选地采用基于图像处理的第二类型的自动控制:

·将图像与已知的图像处理技术相关联(子图像的像素的相关性,图元的匹配)以及基于前面的关联计算存在于这些图像之间的几何变换,以直接测量这些图像一旦投射到地面上的重叠和对齐。该关联操作应用于在地形带的第一次扫描中获得的相邻图像,但也应用于在同一地形区域的连续扫描中获得的重叠图像。

·测量投影图像和初始条带图像之间的几何变换和相关性,以精确地测量投影图像在初始条带坐标系中的位置,并且基于这些测量结果来计算视线移动的角度位置(相对的和绝对的,如果可获得用于第一条带的精确的角度参考)。

·利用测量的视线角度位置进行适当的角度校正,可选地利用时域匹配滤波器。这些角度校正考虑了测量的视线的角度位置,以及将“低”重叠标准和“高”重叠标准应用于相邻图像所应当具有的角度位置,所述“高”重叠标准即在不同时间,在相同的下方邻近地形区域的连续扫描中获得的重叠图像必须满足的标准。

因此,视线可以非常精确地定位在地面上。这在没有图像处理的情况下是不可能的,但系统没有配备用于直接测量视线的角度位置的足够精确的装置的事实下,实现了这一点。具体而言,当惯性装置不够好并且应用的环境使得不能够应用将上述自动控制技术以达到令人满意的效果时,图像处理能够以足够的精度确保通过来自不同视线和视点角度的多个连续扫描来重新访问每个选定的地形带中最小百分比的点,并且确保每个条带的连续图像将被正确缝合并对齐。应该记得:视线是将载体的图像传感器连接到目标地形的点的方向,并且视点角度是地球坐标系中该视线的角度,换句话说,视线的绝对角度。根据定义,这些角度也是通过传感器看到的地面上的点的角度(反之亦然,地面上的点“看到”传感器的角度)。

2)一旦通过该组合的前向扫描对地形带4进行了扫描,或者对地形带4a、4b、4c进行了并行扫描,则视线直接向后扫描,如图2b中的向下指向的虚线箭头所示,或图1a中的箭头8所示,使得尽管由于载体的前进而从不同的视点看到,也将视线返回到(或几乎返回到)场景中的选定初始位置。这种向后扫描或反向扫描可以是直接的,即以单个步进(或跳跃)执行:因而它比正向扫描更快。这种反向扫描也可能不是直接的。具体地说,在向后扫描期间,根据分配给它的速度和时间,可选地可以执行如上所述的步进凝视操作。ldv地面上的位置,即在这个向后扫描结束时到达的位置(=返回位置),不需要与ldv在地面上的初始位置(即初始获得的第一条带的位置)完全重合:预先由系统设置的并且通常为第一图像的尺寸的20%的偏移是可接受的,尤其是在下面将看到的滚动带的情况下。该返回位置由处理单元通过处理之前获取的图像来确定。计算的返回位置尽可能接近第一条带的初始视线的位置,考虑了死锁约束和视线可以行进的最大系统允许距离。载体偏离其航向可能会引起系统自动控制校正,以将视线返回到计算的点。如果计算的点被应用,则图像处理还能够精确地测量当前图像的视线与初始图像的视线之间的角度偏移,以适当地校正自动控制。

以上描述基于前向扫描(即沿载体路径方向的扫描)和沿相反方向的反向扫描。更一般地,向外扫描和返回反向扫描不一定与载体的路径有任何关系,并且它们的方向可以被选择例如以最小化对视线行进的距离的限制并且优化视线向外和返回行程的数量。因此可以将扫描方向的选择定制为本身闭合或相对于路径高度倾斜的带。向外扫描也可以是与路径相反方向的扫描(=向后扫描),而反向扫描是前向扫描。

视线要求的前向和横向步进凝视移动使得能够扫描期望的带数,并设置每个带的期望方向和形状以及它们被扫描的次数。

根据图1b中所示的一个特定情况,地面场景包括一个或更多个带4,这些带依次可以是开放的或闭合的,以例如形成圆形形状或矩形形状。围绕初始形状可以同时形成多个同心形状——返回到分离带的想法。根据选定的自动控制模式,可以利用单周期性地重复的闭合带的整个长度的向外扫描(在如图1b中的情况那样闭合带包围载体的情况下,在载体周围一直周期性地扫描视线,以连续地扫描各种带,如图1c更具体所示),或者利用在带的两个点之间的重复的向外和返回扫描,来扫描闭合带。这些带也可能在某些地方交叉或接触。

该方法提出了两种向外和返回扫描模式,其取决于是否期望最大化地面视点的数量。

重复扫描和反向扫描的第一模式适合于使对于给定带大小的地面的视点数量最大。图3示出了对于10km长度和500m宽度的地面场景,利用安装在飞机上的吊舱执行仰角/方位角向外和返回扫描的情况下视线的移动,并且该吊舱从6km的高度扫描该场景,带与吊舱的铅垂之间的横向距离为8km,以及行进的最大角距为+/-45°。在所描述的示例中,地面上的各个点可以从不同的视点以及在不同的时间被看到多达16次。

在第二实施方案中,地面场景形成随着载体前进而移动的一个或更多个带。例如,这涉及随着载体前进而滚动的滚动带,因此在长度方向上不受限制。所生成的图像条带在整个载体移动的持续时间内从各个角度视点不断地更新,而没有不连续性。因此,带的长度或多或少对应于载体行进的距离(在飞行器的情况下,为几十或几百公里)。

在第二实施方案的情况下,当期望从不同视点持续地观察多个带时,已示出足以使在向外和返回扫描模式下的行进距离保持恒定,并且通过适当的同步,可以产生与如下的带相对应的条带,所述带在地面上偏移(在载体的路径的方向上)并且其中的点随着时间从各个角度视点连续地再次看到。看到带的所有点的次数直接取决于光束在地面上的最大扫描速度,但将总是小于上述的第一扫描和反向扫描模式。在本示例中,将不断地获取飞越地形的每个点的5个不同的角度视图。

在实施根据本发明的这种ldv的自动控制之前,自动控制参数根据如下被优化:

-要扫描的场景的平均距离和空间范围;

-对与该场景相关联的带的形状的限制;

-要扫描的给定地形带区段的多个条带的图像的期望的平均重叠度以及给定条带的两个相邻图像的平均重叠度;

-扫描的最大速度和最大加速度;

-倾斜度、视野和传感器的分辨率;以及

-正确成像场景所需的积分时间;

从而确定了:

-时刻t时由传感器扫描的地面图像的大小;

-扫描必须采用的最小移动(前向和横向步进),以使各种图像部分重叠,从而产生连续的图像条带。每次都是通过考虑两个当前相邻图像在地面上的布置来计算这个移动,但是也可以在第一次完整的角度扫描之后调整这个移动;

-实现前述条件并获得所需的积分时间所需的瞬时扫描速度或平均扫描速度,以及产生相关联的步进凝视微扫描图案所需的时间;

-行进的最大可能角距(=ldv行进的最大角度),其确保不超过传感器的扫描速度和最大加速度的限制;

-覆盖地面场景所需的向外和返回扫描的最大数量和行进的最大可能的横向距离;

-对于连续条带的重叠和给定条带的相邻图像之间所需的最小平均重叠度实际可以达到的最大平均重叠度。

如上所述,向外扫描的速度要考虑系统的各种限制:载体的路径、图像在地面的大小、所需的积分时间、自动控制沿各个轴线的最大加速度和速度(例如,仰角/方位角,它们不一定是相同的约束条件)。

在不考虑积分时间或与成像相关的系统数据(除非系统允许)的情况下,以最大速度执行直接反向扫描(在与前一次扫描相反的方向上的完整扫描),并且直接反向扫描仅受限于自动控制的最大速度和最大加速度。

向外和返回扫描必须有角度地定制,以确保同一地面区段的扫描和反向扫描。

这种自动控制的目的是使得能够从不同的角度视点创建连续或重叠图像的条带,所述条带以规则的时间间隔重新生成。这使得:

-操作人员能够从不同的视点查看场景的各种要素。这尤其使得能够显露可能被场景的要素隐藏的对象,而且还能够看到场景的对象的各个面,从而更好地识别所述对象;

-利用合适的和已知的软件包和算法重构场景的3d结构,并且这种重构要与覆盖这些结构的各种条带图像重叠;以及

-利用软件包和算法重构场景的各部分在各种平面上的保形正射影像。这种类型的重构是不可能的,或者如果是这样的话,利用其它的扫描技术也不很容易。

该方法可以推广到其它类型的传感器(雷达、lidar等)的自动控制。

如所描述的示例,该方法适用于飞行器,但也完全适用于任何其它类型的移动载体(地面车辆、船、短程或远程无人机等)。

在利用这种方法获取的图像的基础上,通过工业应用,可以设想:

-需要以不同的倾斜通过的特定的lidar或sar应用程序;

-利用高分辨率小视场光学器件生成大范围的非常高分辨率的保形平铺地图,其包括非常大的距离;

-在不同的时间以不同的呈现角度生成这种地图,这有助于检测弱对比或部分掩盖的对象;

-在大的空间范围内以高分辨率和较大距离执行3d重构的可能性;

-等等。

本发明可以利用硬件和/或软件元素来实施。具体地,视线可以由计算机程序产品自动控制,该计算机程序包括能够执行自动控制方法的步骤的代码指令。代码指令被记录在计算机可读介质上。该介质可以是电子的、磁性的、光学的、电磁的或者红外传播的介质。例如,这种介质是半导体存储器(随机存取存储器(ram)、只读存储器(rom))、磁带、软盘或磁盘或光盘(光盘只读存储器(cd-rom)、光盘-读/写(cd-r/w)和dvd)。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1