多传感器相机重新校准的制作方法
【专利说明】多传感器相机重新校准
【背景技术】
[000。 各种类型的相机设备用于捕获像（imagery),诸如航空相机、手机相机、数字相机 等。在示例中，多传感器相机可W包括被配置成从各种视野方向捕获图像的一个或多个传 感器(例如相机头)。例如，多传感器相机可W包括被配置成从地面的基本上垂直的视野捕 获场景的图像的最低点传感器(例如如由飞过城市的飞机观察到的自顶向下空中视野的城 市的场景)。多传感器相机可W包括被配置成从倾斜角度(例如相对于最低点视野的斜向视 野）捕获场景的图像W便放大足迹(例如放大有效视角、放大地面覆盖等）的一个或多个倾 斜传感器(例如一个或多个翼传感器)。多传感器相机可W最初配置(例如在使用多传感器 相机的飞行任务之前在实验室中进行几何校准)。在使用期间，诸如溫度或机械应力之类的 各种外部影响可能导致多传感器相机内的一个或多个传感器之间的未对准。
【发明内容】
[0002] 提供本
【发明内容】
来W简化形式引入W下在【具体实施方式】中进一步描述的概念的 选择。本
【发明内容】
不旨在标识所要求保护的主题的关键要素或必要特征，也不旨在用于限 制所要求保护的主题的范围。
[0003] 除其它之外，本文提供了用于促进多传感器相机的重新校准的一种或多种系统和 /或技术。在一些实施例中，一个或多个传感器在图像空间上关联在一起W生成一组接合 点(例如对应于物理3D点和由传感器捕获的图像内的相关联的2D图像测量的接合点)和/ 或一组观察结果（observations)(例如通过一个或多个图像描绘地面上的物理点的标识)。 特征可W从由相应传感器捕获的图像中提取，并且运样的特征可W基于图像内容关联在一 起W生成接合点和/或观察结果。
[0004] 在生成一组接合点的示例中，捜索匹配组件被配置成基于对一组图像匹配对执行 成对图像匹配技术来生成一组接合点（例如图像匹配对可W标识第一图像和第二图像之间 的对应区域，诸如由两个图像描绘的房屋的角落)。在生成观察结果的示例中，稠密化组件 可W将3D点（例如从最低点视野导出的3D点）重新投影到图像(例如由倾斜传感器捕获的 图像）中W获得可W用于使用图像匹配技术生成观察结果的对应坐标。在生成一组接合点 的另一示例中，虚拟匹配组件可W构造和/或纹理化（tex化re)可W用于生成一组合成擅 染图像的数字表面模型。可W使用图像匹配技术评估运组合成擅染图像W生成一组接合 点。可W领会到，可W利用其它技术和/或其组合来标识接合点和/或观察结果。
[0005] 集束调整（bundleadjustment)组件可W被配置成使用多传感器相机的初始校准 信息迭代地评估一组接合点或观察结果W计算估计的统计误差分布(例如在该组接合点或 观察结果中可能由于传感器的固有相机参数(诸如焦距或分辨率)中的差异和/或其它因素 而出现的误差，诸如图像中的所测量的坐标与所投影的3D点的图像坐标之间的差异)。可 W基于估计的统计误差分布生成一组权重。该组权重可W使用非线性优化方法(例如过程） 而应用于该组接合点或观察结果，例如W生成经更新的偏屯、信息(例如倾斜传感器相对于 最低点视野的相对取向和/或位置信息，其可W基于倾斜传感器相对于参考最低点传感器 的六度自由偏差)。经更新的偏屯、信息可w用于重新校准多传感器相机的一个或多个传感 器。
[0006] 为了达成W下及相关目的，W下描述和附图阐述某些说明性方面和实现方式。运 些仅仅指示其中可W采用一个或多个方面的各种方式中的一些。本公开的其它方面、优点 和新颖特征将在结合附图考虑时根据W下【具体实施方式】变得明显。
【附图说明】
[0007] 图1A是图示了使用捜索匹配技术促进多传感器相机的重新校准的示例性方法的 流程图。
[0008] 图1B是图示了使用稠密化技术促进多传感器相机的重新校准的示例性方法的流 程图。
[0009] 图1C是图示了使用虚拟匹配技术促进多传感器相机的重新校准的示例性方法的 流程图。
[0010] 图2是图示了使用集束调整技术促进多传感器相机的重新校准的示例性系统的 组件框图。
[0011] 图3是图示了用于使用捜索匹配技术和/或稠密化技术促进多传感器相机的重新 校准的示例性系统的组件框图。
[0012] 图4是图示了用于使用稠密化技术促进多传感器相机的重新校准的示例性系统 的组件框图。
[0013] 图5是图示了用于使用虚拟匹配技术促进多传感器相机的重新校准的示例性系 统的组件框图。
[0014] 图6是示例性计算设备可读介质的图示，其中可W包括被配置成体现本文阐述的 一个或多个提案的处理器可执行指令。
[0015] 图7图示了其中可W实现本文阐述的一个或多个提案的示例性计算环境。
【具体实施方式】
[0016] 现在参照附图描述所要求保护的主题，其中贯穿全文的相同参考数字一般用于指 代相同元件。在W下描述中，出于解释的目的，阐述众多具体细节W便提供所要求保护的主 题的理解。然而可能明显的是，所要求保护的主题可W在没有运些具体细节的情况下实践。 在其它实例中，W框图形式图示结构和设备W便促进对所要求保护的主题的描述。
[0017] 通过图1A的示例性方法图示了促进多传感器相机的重新校准的实施例。在102 处，方法开始。多传感器相机可W包括一个或多个传感器。在示例中，多传感器相机可W包 括最低点传感器，其被配置成沿着基本垂直铅线或关于场景的表面的垂直视野方向（例如 从多传感器相机可W安装到的飞机的城市的自顶向下视野)捕获图像。在另一示例中，多传 感器相机可W包括一个或多个倾斜传感器，其被配置成从与最低点视点倾斜的角度捕获图 像(例如相对于城市的垂直视野方向的45度视角）。在104处，可W获得从多传感器相机的 第一传感器捕获的第一组图像。在106处，可W获得由多传感器相机的第二传感器捕获的 第二组图像。在一些实施例中，可W获得由其它传感器捕获的其它组图像。
[001引在108处，可W标识一个或多个图像(例如第一组图像、第二组图像内的图像和/ 或由多传感器相机捕获的其它图像)之间的一组图像匹配对。例如，第一图像匹配对可w包 括第一图像与第二图像之间的重叠(例如对应区域）（例如两个图像之间的重叠，诸如由两 个图像描绘的建筑物的一部分)。在示例中，图像匹配对可W基于由倾斜传感器捕获的第一 倾斜图像与由倾斜传感器捕获的第二倾斜图像之间的重叠进行标识。在另一示例中，图像 匹配对可W基于由倾斜传感器捕获的倾斜图像与由最低点传感器捕获的最低点图像之间 的重叠进行标识(例如最低点图像可W描绘建筑物的屋顶，并且倾斜图像可W描绘建筑物 的正视图和屋顶的一部分)。在另一示例中，图像匹配对可W基于由第一倾斜传感器捕获的 第一倾斜图像、由第二倾斜传感器捕获的第二倾斜图像和/或由最低点传感器捕获的最低 点图像之间的重叠进行标识。在一些实施例中，对应区域可W使用来自最低点空中Ξ角测 量的接合点进行标识。最低点空中Ξ角测量可W对应于最低点像(例如来自集束调整技术 的细化图像姿势和/或3D点）和/或全球定位系统（GPS) /惯性测量单元（IMU)信息的空 中Ξ角测量。在示例中，可W执行使用视线与地表面信息之间的射线交叉的几何操作W确 定重叠在多个图像之间出现的对应区域。
[0019] 在110处，可W对该组图像匹配对执行成对图像匹配W生成对应于偏屯、信息的一 组接合点，其可W被更新(或者不被更新）并且用于促进多传感器相机的重新校准。在示例 中，成对图像匹配可W标识具有相似特征的对应(例如链接在一起)多个图像。例如，第一图 像对可W包括描绘房屋的屋顶的第一图像W及描绘屋顶和房屋的正视图的第二图像。第二 图像对可W包括描绘屋顶和房屋的正视图的第二图像W及描绘屋顶和房屋的侧视图的第 Ξ图像。成对图像匹配可W确定对应于屋顶的第一接合点可W包括在第一图像、第二图像 和第Ξ图像内。可W领会到，成对图像匹配因而可W利用基于特征的匹配算法，其配置成匹 配被标识用于匹配的区域(例如感兴趣的区域(例如屋顶）可W对应于由多个图像描绘的景 物的一部分(例如第一图像、第二图像和第Ξ图像中的屋顶)）。第一接合点可W与其它接合 点组合W生成该组接合点。
[0020] 在一些实施例中，可W执行稠密化技术W细化该组接合点。例如，可W基于多传感 器相机的最低点空中Ξ角测量来估计3D点。3D点可W重新投影到图像(例如由倾斜传感器 捕获的倾斜图像)中W获得该图像内的3D点的对应坐标。可W使用图像匹配技术基于对应 坐标来生成观察结果。观察结果可W用于更新或细化该组接合点。
[0021]