图像对齐方法和装置、电子设备和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像对齐方法和图像对齐装置，以及电子设备和计算机可读存储介质。


背景技术：

2.由于多光谱相机包括多个不同光谱波段的相机，因此，需要将多个不同光谱波段的相机采集的光谱图像进行对齐，以获得多光谱相机的对齐图像。目前，对多个不同光谱波段的相机采集的光谱图像进行对齐的方法，会忽略地形起伏，将地面近似为一个平面，以假设多光谱相机相对地面的高程是固定且统一的，从而实现对多个相机采集的光谱图像进行对齐。
3.然而，在农业场景中，飞行器对作物进行生长和病虫害分析时，一般飞行高度较低，此时，如果忽略地形起伏，将地面近似为一个平面，会导致假设的飞行器的飞行高度误差较大，从而导致得到的对齐图像的误差较大。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种图像对齐方法和装置、电子设备和计算机可读存储介质，以解决现有图像对齐方法对齐准确性差的问题。
5.第一方面，本技术一实施例提供的一种图像对齐方法，包括：基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图；基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的相对变换关系，确定多个相机各自采集的图像对应的对齐图像。
6.结合第一方面，在第一方面的某些实现方式中，基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图，包括：确定图像采集装置采集的至少两帧所述目标场景图像；基于至少两帧目标场景图像，确定在图像采集装置的相机坐标系下，图像采集装置对应的第一相机位姿信息和目标场景对应的第一三维点云数据；基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定图像采集装置对应的深度图。
7.结合第一方面，在第一方面的某些实现方式中，基于至少两帧目标场景图像，确定在图像采集装置的相机坐标系下，图像采集装置对应的第一相机位姿信息和目标场景对应的第一三维点云数据，包括：分别提取至少两帧目标场景图像各自对应的特征点集合；基于至少两帧目标场景图像各自对应的特征点集合进行特征匹配和运动估计，确定运动估计数据；基于运动估计数据，确定第一相机位姿信息和第一三维点云数据。
8.结合第一方面，在第一方面的某些实现方式中，基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定图像采集装置对应的深度图，包括：基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定在世界坐标
系下，目标场景对应的第二三维点云数据；基于图像采集装置的地理位置信息和第二三维点云数据，确定图像采集装置对应的深度图。
9.结合第一方面，在第一方面的某些实现方式中，在基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图之前，还包括：获取基于飞行器中的定位装置得到的定位数据；基于定位数据、图像采集装置和定位装置之间的相对变换关系，确定图像采集装置的地理位置信息。
10.结合第一方面，在第一方面的某些实现方式中，基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的位置坐标变换数据，确定多个相机各自采集的图像对应的对齐图像，包括：基于图像采集装置对应的深度图、图像采集装置和多个相机之间的相对变换关系、图像采集装置和多个相机各自的内参，确定多个相机各自对应的深度图；基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像对应的对齐图像。
11.结合第一方面，在第一方面的某些实现方式中，基于图像采集装置对应的深度图、图像采集装置和多个相机之间的相对变换关系、图像采集装置和多个相机各自的内参，确定多个相机各自对应的深度图，包括：基于图像采集装置的深度图和图像采集装置的内参，确定在图像采集装置的相机坐标系下，图像采集装置的第一坐标数据；针对多个相机中的每个相机，基于第一坐标数据、图像采集装置和相机之间的位置坐标变换数据，确定在相机的相机坐标系下，相机的第二坐标数据；基于多个相机各自的第二坐标数据和多个相机各自的内参，确定多个相机各自对应的深度图。
12.结合第一方面，在第一方面的某些实现方式中，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像对应的对齐图像，包括：基于多个相机各自的地理位置信息，确定多个相机对应的虚拟相机的虚拟视点；基于虚拟视点和多个相机各自的地理位置信息，确定多个相机各自对应的虚拟相对变换关系，其中，虚拟相对变换关系为相机与虚拟视点之间的相对变换关系；基于多个相机各自的内参、虚拟相机的内参、多个相机各自对应的深度图和多个相机各自对应的虚拟相对变换关系，将多个相机各自采集的图像对应的图像坐标系坐标点投影到虚拟相机的像平面，以确定对齐图像。
13.第二方面，本技术一实施例提供的一种图像对齐装置，包括：确定模块，配置为基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图；对齐模块，配置为基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的相对变换关系，确定多个相机各自采集的图像对应的对齐图像。
14.第三方面，本技术一实施例提供的一种计算机可读存储介质，存储介质存储有指令，当指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面提及的图像对齐方法。
15.第四方面，本技术一实施例提供的一种电子设备，电子设备包括：处理器；用于存储计算机可执行指令的存储器；处理器，用于执行计算机可执行指令，以实现上述第一方面提及的图像对齐方法。
16.本技术实施例提供的一种图像对齐方法，基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定了图像采集装置对应的深度图，从而为
飞行器中的不同波段的多个相机提供了真实的深度数据，使多个相机各自采集的图像可以根据真实的深度数据进行图像对齐，与现有技术中假设深度数据为一个固定且统一的数值的方法相比，本技术大大提高了图像对齐的准确性。
附图说明
17.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同结构或步骤。
18.图1所示为本技术一实施例提供的图像对齐方法的流程示意图。
19.图1a所示为本技术一实施例提供的相对变换关系的示意图。
20.图2所示为本技术另一实施例提供的图像对齐方法的流程示意图。
21.图3所示为本技术另一实施例提供的图像对齐方法的流程示意图。
22.图4所示为本技术另一实施例提供的图像对齐方法的流程示意图。
23.图5所示为本技术另一实施例提供的图像对齐方法的流程示意图。
24.图6所示为本技术另一实施例提供的图像对齐方法的流程示意图。
25.图7所示为本技术另一实施例提供的图像对齐方法的流程示意图。
26.图8所示为本技术另一实施例提供的图像对齐方法的流程示意图。
27.图9所示为本技术一实施例提供的图像对齐装置的结构示意图。
28.图10所示为本技术一实施例提供的确定模块的结构示意图。
29.图11所示为本技术一实施例提供的第一点云确定单元的结构示意图。
30.图12所示为本技术一实施例提供的深度图确定单元的结构示意图。
31.图13所示为本技术另一实施例提供的图像对齐装置的结构示意图。
32.图14所示为本技术一实施例提供的对齐模块的结构示意图。
33.图15所示为本技术一实施例提供的相机深度图确定单元的结构示意图。
34.图16所示为本技术一实施例提供的对齐单元的结构示意图。
35.图17所示为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
36.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.本技术实施例适用的场景可以包括飞行器、图像采集装置和不同波段的多个相机。图像采集装置和不同波段的多个相机固定设置于飞行器上。飞行器内设置有计算模块。计算模块与图像采集装置和不同波段的多个相机之间存在通信连接关系。图像采集装置和不同波段的多个相机可以采集目标场景图像。飞行器中的计算模块可以基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图，然后基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采
集的图像、图像采集装置和多个相机之间的相对变换关系，确定多个相机各自采集的图像对应的对齐图像。
38.本技术实施例适用的另一场景可以包括服务器、图像采集装置和不同波段的多个相机。服务器与图像采集装置和不同波段的多个相机之间存在通信连接关系。图像采集装置和不同波段的多个相机可以采集目标场景图像。服务器可以基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图，然后基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的相对变换关系，确定多个相机各自采集的图像对应的对齐图像。
39.图1所示为本技术一实施例提供的图像对齐方法的流程示意图。如图1所示，本技术实施例提供的图像对齐方法包括如下步骤。
40.步骤110，基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图。
41.具体地，图像采集装置的地理位置信息可以是图像采集装置在世界坐标系下的位置信息。图像采集装置的地理位置信息可以通过设置在飞行器上的定位装置获得。目标场景可以是农田场景。例如，目标场景可以是山地、梯田等地面起伏变化较大的场景。目标场景图像可以是飞行器在飞行过程中，安装在飞行器上的图像采集装置采集到的图像。图像采集装置对应的深度图是指将从图像采集装置到目标场景中各点的距离作为像素值的图像。
42.示例性地，飞行器可以是无人机，也可以是其它飞行设备，本技术不做具体限定。图像采集装置可以是单目相机，也可以是多目相机，只要能够采集目标场景图像即可，本技术不做具体限定。
43.步骤120，基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的相对变换关系，确定多个相机各自采集的图像对应的对齐图像。
44.示例性地，不同波段的多个相机可以是多光谱相机中的不同光谱波段的多个相机。不同波段的多个相机各自采集的图像可以是光谱图像。多光谱相机可以由四个不同波段的相机组成，也可以由六个不同波段的相机组成，本技术对多光谱相机包含的不同波段的相机的数量不做具体限定。
45.示例性地，多光谱相机可以为农业遥感提供多波段光谱数据。多光谱相机包括多个独立的成像器，分别配上特制的滤光片，能让每个成像器接收到不同波长范围的光谱。利用多光谱相机进行拍照，可以获取红、绿、蓝、红边、近红外等不同光谱波段的农田图像，然后将多个不同光谱波段的相机采集的光谱图像进行对齐，以获得多光谱相机的对齐图像。
46.示例性地，图像采集装置和多个相机均固定安装在飞行器上。图像采集装置和多个相机之间的相对变换关系可以通过对图像采集装置和多个相机进行标定来得到。多光谱相机包括的不同波段的多个相机之间的相对变换关系是已知的。
47.示例性地，图1a所示为本技术一实施例提供的相对变换关系的示意图。如图1a所示，以四个相机举例，四个不同波段的相机可以用c1、c2、c3、c4表示。图像采集装置可以用c表示。图像采集装置c和相机c1的相对变换关系可以用t
cc1
。
48.具体地，基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的相对变换关系，确定多个相机各自采集的图像对应的对齐图像，可以是利用图像采集装置和多个相机之间的相对变换关系，通过图像采集装置对应的深度图确定多个相机各自对应的深度图。然后采用虚拟投影方法构建一个虚拟相机，利用多个相机之间的相对变换关系，将多个相机各自采集的图像与各自对应的深度图融合后投影到虚拟相机的像平面，从而实现多个相机各自采集的图像的对齐。
49.本技术实施例提供的一种图像对齐方法，基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定了图像采集装置对应的深度图，从而为飞行器中的不同波段的多个相机提供了真实的深度数据，使多个相机各自采集的图像可以根据真实的深度数据进行图像对齐，与现有技术中假设深度数据为一个固定且统一的数值的方法相比，本技术大大提高了图像对齐的准确性。
50.图2所示为本技术另一实施例提供的图像对齐方法的流程示意图。在图1所示实施例基础上延伸出图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
51.如图2所示，在本技术实施例中，基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图步骤，包括如下步骤。
52.步骤210，确定图像采集装置采集的至少两帧目标场景图像。
53.示例性地，图像采集装置可以采集连续的两帧目标场景图像，也可以采集不连续的两帧目标场景图像，本领域技术人员可以根据实际需求进行选择。图像采集装置采集的图像帧数也可以根据实际需求进行选择，本技术不做具体限定。
54.步骤220，基于至少两帧目标场景图像，确定在图像采集装置的相机坐标系下，图像采集装置对应的第一相机位姿信息和目标场景对应的第一三维点云数据。
55.示例性地，可以采用同步定位与建图(simultaneous localization and mapping，slam)算法，根据两帧目标场景图像，确定在图像采集装置的相机坐标系下，图像采集装置对应的第一相机位姿信息和目标场景对应的第一三维点云数据。
56.步骤230，基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定图像采集装置对应的深度图。
57.示例性地，可以将图像采集装置的地理位置信息与第一相机位姿信息和第一三维点云数据进行融合，以确定图像采集装置在世界坐标系下的相机位姿和三维点云数据，从而确定图像采集装置对应的深度图。
58.通过使图像采集装置采集至少两帧目标场景图像，并与图像采集装置的地理位置信息融合，以得到确定图像采集装置对应的深度图，可以实时地得到图像采集装置对应的深度图，从而可以实时地为不同波段的多个相机各自采集的图像进行对齐提供了真实地深度信息，提高了图像对齐的实时性和准确性。
59.图3所示为本技术另一实施例提供的图像对齐方法的流程示意图。在图2所示实施例基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
60.如图3所示，在本技术实施例中，基于至少两帧目标场景图像，确定在图像采集装置的相机坐标系下，图像采集装置对应的第一相机位姿信息和目标场景对应的第一三维点
云数据步骤，包括如下步骤。
61.步骤310，分别提取至少两帧目标场景图像各自对应的特征点集合。
62.具体地，提取每帧目标场景图像的多个特征点，从而组成一个特征点集合。即每帧目标场景图像对应一个特征点集合。
63.步骤320，基于至少两帧目标场景图像各自对应的特征点集合进行特征匹配和运动估计，确定运动估计数据。
64.示例性地，图像采集装置采集了两帧连续的目标场景图像，分别为目标场景图像1和目标场景图像2。目标场景图像1对应特征点集合1和目标场景图像2对应特征点集合2。对特征点集合1和特征点集合2进行特征匹配和运动估计，可以得到图像采集装置在采集目标场景图像1和目标场景图像2的过程中的运动估计数据。
65.步骤330，基于运动估计数据，确定第一相机位姿信息和第一三维点云数据。
66.示例性地，根据图像采集装置在采集目标场景图像1和目标场景图像2的过程中的运动估计数据，即可得到在图像采集装置的相机坐标系下，图像采集装置的第一相机位姿信息和第一三维点云数据。
67.通过对图像采集装置采集的至少两帧目标场景图像进行特征点提取、特征匹配和运动估计，从而得到图像采集装置的第一相机位姿信息和第一三维点云数据，方法简单可靠，效率高。
68.图4所示为本技术另一实施例提供的图像对齐方法的流程示意图。在图2所示实施例基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
69.如图4所示，在本技术实施例中，基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定图像采集装置对应的深度图步骤，包括如下步骤。
70.步骤410，基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定在世界坐标系下，目标场景对应的第二三维点云数据。
71.具体地，图像采集装置的地理位置信息为图像采集装置在世界坐标系下的位置信息，而第一相机位姿信息和第一三维点云数据为图像采集装置在图像采集装置的相机坐标系下的位姿信息和三维点云数据。因此，将基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据进行融合，即可得到在世界坐标系下，目标场景对应的第二三维点云数据。
72.示例性地，可以构建第一相机位姿信息、第一三维点云数据和图像采集装置的地理位置信息的目标函数，从而将图像采集装置的相机坐标系下的第一相机位姿信息和第一三维点云数据映射到世界坐标系下，以得到目标场景对应的第二三维点云数据。
73.步骤420，基于图像采集装置的地理位置信息和第二三维点云数据，确定图像采集装置对应的深度图。
74.在实际应用中，根据图像采集装置的地理位置信息和世界坐标系下的第二三维点云数据，即可构建图像采集装置对应的深度图，为后续的图像对齐提供了真实地深度数据。
75.图5所示为本技术另一实施例提供的图像对齐方法的流程示意图。在图1所示实施例基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
76.如图5所示，在本技术实施例中，在基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图步骤之前，还包括如下步骤。
77.步骤510，获取基于飞行器中的定位装置得到的定位数据。
78.示例性地，定位装置可以是实时差分定位(real time kinematic，rtk)装置。定位装置得到的定位数据是定位装置在世界坐标系下的位置数据。
79.步骤520，基于定位数据、图像采集装置和定位装置之间的相对变换关系，确定图像采集装置的地理位置信息。
80.示例性地，定位数据和图像采集装置均固定设置于飞行器中，即定位数据和图像采集装置之间的位置关系的固定不变的，因此，可以通过外参标定方法确定图像采集装置和定位装置之间的相对变换关系。
81.举例说明，如图1a所示，定位装置用g表示，图像采集装置用c表示，标定后，图像采集装置c和定位装置g之间的相对变换关系为t
cg
。t
cg
为齐次矩阵。
82.在实际应用中，利用图像采集装置和定位装置之间的相对变换关系，即可根据定位数据计算得到图像采集装置的地理位置信息。由于图像采集装置和定位装置之间的相对变换关系是固定不变的，因此，可以根据实时的定位数据，实时地计算出图像采集装置的地理位置信息，方便快捷，效率高。
83.图6所示为本技术另一实施例提供的图像对齐方法的流程示意图。在图1所示实施例基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
84.如图6所示，在本技术实施例中，基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的位置坐标变换数据，确定多个相机各自采集的图像对应的对齐图像步骤，包括如下步骤。
85.步骤610，基于图像采集装置对应的深度图、图像采集装置和多个相机之间的相对变换关系、图像采集装置和多个相机各自的内参，确定多个相机各自对应的深度图。
86.具体地，利用图像采集装置和多个相机之间的相对变换关系和图像采集装置和多个相机各自的内参，可以将图像采集装置对应的深度图中的任意一个像素变换到多个相机各自对应的像平面中，从而构建多个相机各自对应的深度图。
87.步骤620，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像对应的对齐图像。
88.具体地，可以采用虚拟投影方法构建一个虚拟相机，将多个相机各自采集的图像与各自对应的深度图融合后投影到虚拟相机的像平面，从而实现多个相机各自采集的图像的对齐。
89.根据图像采集装置对应的深度图，进行一系列的坐标变换得到多个相机各自对应的深度图，从而得到多个相机在世界坐标系下的真实地深度数据，然后利用多个相机在世界坐标系下的真实地深度数据实现多个相机各自采集的图像的对齐，得到了对齐图像，提高了图像对齐的准确性。
90.图7所示为本技术另一实施例提供的图像对齐方法的流程示意图。在图6所示实施例基础上延伸出图7所示实施例，下面着重叙述图7所示实施例与图6所示实施例的不同之
处，相同之处不再赘述。
91.如图7所示，在本技术实施例中，基于图像采集装置对应的深度图、图像采集装置和多个相机之间的相对变换关系、图像采集装置和多个相机各自的内参，确定多个相机各自对应的深度图步骤，包括如下步骤。
92.步骤710，基于图像采集装置的深度图和图像采集装置的内参，确定在图像采集装置的相机坐标系下，图像采集装置的第一坐标数据。
93.示例性地，第一坐标数据可以是图像采集装置c的相机坐标系下的空间点p
ic
的坐标数据。
94.举例说明，多光谱相机由四个不同波段的相机组成。四个不同波段的相机分别用c1、c2、c3、c4表示，图像采集装置用c表示。
95.图像采集装置对应的深度图用i
d
表示。图像采集装置的内参为k
c
。对于深度图i
d
中的任意一个像素p
i
＝(u
i
,v
i
,z
i
)，已知深度图i
d
对应的图像采集装置的内参为k
c
，基于下述公式(1)，可以确定图像采集装置c的相机坐标系下的空间点p
ic
＝(x
i
,y
i
,z
i
)。
[0096][0097]
其中，图像采集装置的内参为k
c
可以是以下矩阵。
[0098][0099]
步骤720，针对多个相机中的每个相机，基于第一坐标数据、图像采集装置和相机之间的位置坐标变换数据，确定在相机的相机坐标系下，相机的第二坐标数据。
[0100]
示例性地，第二坐标数据可以是相机c1的坐标系下的空间点的坐标数据。通过标定图像采集装置c和相机c1，可以得到图像采集装置c和相机c1的相对变换关系
[0101]
已知图像采集装置c与多光谱相机m中的相机c1的相对变换关系为基于下述公式(2)，可以将图像采集装置c的相机坐标系下的空间点变换到相机c1的坐标系下，可得到相机c1的坐标系下的空间点
[0102][0103]
步骤730，基于多个相机各自的第二坐标数据和多个相机各自的内参，确定多个相机各自对应的深度图。
[0104]
假设相机c1的内参数矩阵为基于下述公式(3)，将相机c1的坐标系下的空间点投影到相机c1的像平面中，可得到坐标点
[0105][0106]
通过将图像采集装置对应的深度图中的所有像素都投影到相机c1的像平面中，可以构建相机c1对应的深度图
[0107]
同理，根据相对位姿变换的传递效果，可以构建多光谱相机m中的相机c2、相机c3以
及相机c4对应的深度图
[0108]
根据相对位姿变换的传递效果，使用相同的方法构建多个相机的深度图，提高了构建多个相机的深度图的效率。
[0109]
图8所示为本技术另一实施例提供的图像对齐方法的流程示意图。在图6所示实施例基础上延伸出图8所示实施例，下面着重叙述图8所示实施例与图6所示实施例的不同之处，相同之处不再赘述。
[0110]
如图8所示，在本技术实施例中，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像对应的对齐图像步骤，包括如下步骤。
[0111]
步骤810，基于多个相机各自的地理位置信息，确定多个相机对应的虚拟相机的虚拟视点。
[0112]
示例性地，虚拟相机可以是放置在虚拟视点位置处的相机。虚拟相机的虚拟视点可以为多个相机的中心位置。如图1a所示，虚拟视点用v表示。多光谱相机对应的虚拟视点可以为多光谱相机的中心。虚拟视点也可以为多个相机对应的其他参考点位置，本技术对此不做具体限定。
[0113]
步骤820，基于虚拟视点和多个相机之间的相机相对变换关系，确定多个相机各自对应的虚拟相对变换关系。
[0114]
具体地，虚拟相对变换关系为相机与虚拟视点之间的相对变换关系。多个相机之间的相对变换关系已知。以四个相机来举例说明。四个不同波段的相机c1、c2、c3、c4之间的相对变换关系如下。
[0115]
相机c1变换到相机c2的相对变换关系为
[0116]
相机c1变换到相机c3的相对变换关系为
[0117]
相机c1变换到相机c4的相对变换关系为
[0118]
由于相对变换关系均为齐次矩阵，因此相对变换关系可以通过乘法进行传递，因此可以得到如下的相对变换关系。
[0119]
相机c2变换到相机c3的相对变换关系为
[0120]
相机c2变换到相机c4的相对变换关系为
[0121]
相机c3变换到相机c4的相对变换关系为
[0122]
假设虚拟视点v位于多光谱相机中心，并且设置虚拟相机内参为k
v
。相机c1到虚拟视点v之间的相对变换为同理确定相机c2到虚拟视点v之间的相对变换相机c3到虚拟视点v之间的相对变换相机c4到虚拟视点v之间的相对变换为
[0123]
步骤830，基于多个相机各自的内参、虚拟相机的内参、多个相机各自对应的深度图和多个相机各自对应的虚拟相对变换关系，将多个相机各自采集的图像对应的图像坐标系坐标点投影到虚拟相机的像平面，以确定对齐图像。
[0124]
示例性地，根据四个相机采集的图像的重叠部分，确定相机c1采集的图像对应的重叠部分。假设相机c1采集的图像对应的重叠部分中任意一个坐标点p
i
＝(u
i
,v
i
,1)投影到
虚拟相机c
v
的像平面，根据下述公式(4)得到坐标点p
i
在虚拟相机c
v
的像平面对应的坐标点
[0125][0126]
上述公式(4)中，z
i
为坐标点p
i
的深度值。同理，将所有相机中的所有点都投影到虚拟相机c
v
的像平面中，从而实现将四个波段的信息汇总到同一个虚拟相机中，上述的计算方法可以将图像对齐的误差控制在亚像素级，大大提高了图像对齐的准确性。
[0127]
上文结合图1至图8，详细描述了本技术的方法实施例，下面结合图9至图16，详细描述本技术的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
[0128]
图9所示为本技术一实施例提供的图像对齐装置的结构示意图。如图9所示，本技术实施例提供的图像对齐装置900包括确定模块910和对齐模块920。
[0129]
具体地，确定模块910被配置为，基于飞行器中的图像采集装置的地理位置信息和图像采集装置采集的目标场景图像，确定图像采集装置对应的深度图。对齐模块920被配置为，基于图像采集装置对应的深度图、飞行器中的不同波段的多个相机各自采集的图像、图像采集装置和多个相机之间的相对变换关系，确定多个相机各自采集的图像对应的对齐图像。
[0130]
图10所示为本技术一实施例提供的确定模块的结构示意图。在图9所示实施例基础上延伸出图10所示实施例，下面着重叙述图10所示实施例与图9所示实施例的不同之处，相同之处不再赘述。
[0131]
如图10所示，在本技术实施例中，确定模块910包括图像采集单元911、第一点云确定单元912和深度图确定单元913。
[0132]
具体地，图像采集单元911被配置为，确定图像采集装置采集的至少两帧目标场景图像。第一点云确定单元912被配置为，基于至少两帧目标场景图像，确定在图像采集装置的相机坐标系下，图像采集装置对应的第一相机位姿信息和目标场景对应的第一三维点云数据。深度图确定单元913被配置为，基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定图像采集装置对应的深度图。
[0133]
图11所示为本技术一实施例提供的第一点云确定单元的结构示意图。在图10所示实施例基础上延伸出图11所示实施例，下面着重叙述图11所示实施例与图10所示实施例的不同之处，相同之处不再赘述。
[0134]
如图11所示，在本技术实施例中，第一点云确定单元912包括特征提取子单元9121、运动估计子单元9122和第一点云确定子单元9123。
[0135]
具体地，特征提取子单元9121被配置为，分别提取至少两帧目标场景图像各自对应的特征点集合。运动估计子单元9122被配置为，基于至少两帧目标场景图像各自对应的特征点集合进行特征匹配和运动估计，确定运动估计数据。第一点云确定子单元9123被配置为，基于运动估计数据，确定第一相机位姿信息和第一三维点云数据。
[0136]
图12所示为本技术一实施例提供的深度图确定单元的结构示意图。在图10所示实施例基础上延伸出图12所示实施例，下面着重叙述图12所示实施例与图10所示实施例的不同之处，相同之处不再赘述。
[0137]
如图12所示，在本技术实施例中，深度图确定单元913包括第二点云确定子单元9131和深度图确定子单元9132。
[0138]
具体地，第二点云确定子单元9131被配置为，基于图像采集装置的地理位置信息、第一相机位姿信息和第一三维点云数据，确定在世界坐标系下，目标场景对应的第二三维点云数据。深度图确定子单元9132被配置为，基于图像采集装置的地理位置信息和第二三维点云数据，确定图像采集装置对应的深度图。
[0139]
图13所示为本技术另一实施例提供的图像对齐装置的结构示意图。在图9所示实施例基础上延伸出图13所示实施例，下面着重叙述图13所示实施例与图9所示实施例的不同之处，相同之处不再赘述。
[0140]
如图13所示，在本技术实施例中，图像对齐装置900还包括定位模块930和地理位置确定模块940。
[0141]
具体地，定位模块930被配置为，获取基于飞行器中的定位装置得到的定位数据。地理位置确定模块940被配置为，基于定位数据、图像采集装置和定位装置之间的相对变换关系，确定图像采集装置的地理位置信息。
[0142]
图14所示为本技术一实施例提供的对齐模块的结构示意图。在图9所示实施例基础上延伸出图14所示实施例，下面着重叙述图14所示实施例与图9所示实施例的不同之处，相同之处不再赘述。
[0143]
如图14所示，在本技术实施例中，对齐模块920包括相机深度图确定单元921和对齐单元922。
[0144]
具体地，相机深度图确定单元921被配置为，基于图像采集装置对应的深度图、图像采集装置和多个相机之间的相对变换关系、图像采集装置和多个相机各自的内参，确定多个相机各自对应的深度图。对齐单元922被配置为，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像对应的对齐图像。
[0145]
图15所示为本技术一实施例提供的相机深度图确定单元的结构示意图。在图14所示实施例基础上延伸出图15所示实施例，下面着重叙述图15所示实施例与图14所示实施例的不同之处，相同之处不再赘述。
[0146]
如图15所示，在本技术实施例中，相机深度图确定单元921包括第一坐标数据确定子单元9211、第二坐标数据确定子单元9212和相机深度图确定子单元9213。
[0147]
具体地，第一坐标数据确定子单元9211被配置为，基于图像采集装置的深度图和图像采集装置的内参，确定在图像采集装置的相机坐标系下，图像采集装置的第一坐标数据。第二坐标数据确定子单元9212被配置为，针对多个相机中的每个相机，基于第一坐标数据、图像采集装置和相机之间的位置坐标变换数据，确定在相机的相机坐标系下，相机的第二坐标数据。相机深度图确定子单元9213被配置为，基于多个相机各自的第二坐标数据和多个相机各自的内参，确定多个相机各自对应的深度图。
[0148]
图16所示为本技术一实施例提供的对齐单元的结构示意图。在图14所示实施例基础上延伸出图16所示实施例，下面着重叙述图16所示实施例与图14所示实施例的不同之处，相同之处不再赘述。
[0149]
如图16所示，在本技术实施例中，对齐单元922包括虚拟视点确定子单元9221、虚拟相对变换关系确定子单元9222和对齐子单元9223。
[0150]
具体地，虚拟视点确定子单元9221被配置为，基于多个相机各自的地理位置信息，确定多个相机对应的虚拟相机的虚拟视点。虚拟相对变换关系确定子单元9222被配置为，基于虚拟视点和多个相机之间的相机相对变换关系，确定多个相机各自对应的虚拟相对变换关系，其中，虚拟相对变换关系为相机与虚拟视点之间的相对变换关系。对齐子单元9223被配置为，基于多个相机各自的内参、虚拟相机的内参、多个相机各自对应的深度图和多个相机各自对应的虚拟相对变换关系，将多个相机各自采集的图像对应的图像坐标系坐标点投影到虚拟相机的像平面，以确定对齐图像。
[0151]
下面，参考图17来描述根据本技术实施例的电子设备。图17所示为本技术一实施例提供的电子设备的结构示意图。
[0152]
如图17所示，该电子设备170包括：一个或多个处理器1701和存储器1702；以及存储在存储器1702中的计算机程序指令，计算机程序指令在被处理器1701运行时使得处理器1701执行如上述任一实施例的图像对齐方法。
[0153]
处理器1701可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
[0154]
存储器1702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1701可以运行程序指令，以实现上文的本技术的各个实施例的图像对齐方法中的步骤以及/或者其他期望的功能。
[0155]
在一个示例中，电子设备170还可以包括：输入装置1703和输出装置1704，这些组件通过总线系统和/或其他形式的连接机构(图17中未示出)互连。
[0156]
此外，该输入装置1703还可以包括例如键盘、鼠标、麦克风等等。
[0157]
该输出装置1704可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0158]
当然，为了简化，图17中仅示出了该电子设备170中与本技术有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备170还可以包括任何其他适当的组件。
[0159]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的图像对齐方法中的步骤。
[0160]
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0161]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中
描述的根据本技术各种实施例的图像对齐方法中的步骤。
[0162]
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0163]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0164]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0165]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0166]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0167]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
[0168]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换等，均应包含在本技术的保护范围之内。