一种图像融合方法、装置、电子设备与流程

1.本技术涉及图像融合技术领域，特别是涉及一种图像融合方法、装置、电子设备。


背景技术：

2.单一图像采集通道输出的图像所包含的信息量有限，通常难以满足实际应用的需求，因此，通常将多个图像采集通道输出的图像进行图像融合，得到包含信息量更多的融合图像。其中，图像采集通道可以包括红外图像采集通道、紫外图像通道或可见光图像采集通道，等等。
3.由于多个图像采集通道中的每一通道的输出的图像均会产生畸变，相关技术中，在图像融合之前，多个图像采集通道中的每一通道的输出的图像均需要进行图像的畸变校正。所谓畸变即物体所成的像相对于物体本身而言的失真程度，引起的图像变形。
4.而在进行畸变校正时，各个图采集通道的图像的视场角均会产生损失。由于实际上用户通常不希望指定通道的图像的视场角产生损失，因此，在保证指定通道的图像的视场角不产生损失前提下，如何实现图像融合是亟待解决的问题。


技术实现要素：

5.本技术实施例的目的在于提供一种图像融合方法、装置、电子设备，以在保证指定通道的图像的视场角不产生损失前提下，实现图像融合。具体技术方案如下：
6.第一方面，本技术实施例提供了一种图像融合方法，包括：
7.获取主通道输出的第一目标图像以及次通道输出的第二目标图像；其中，所述主通道为预先指定的、用于进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道，所述次通道为除所述主通道以外的图像采集通道；
8.利用目标映射关系，对所述第二目标图像进行畸变校正处理，得到校正后的第二目标图像；其中，所述目标映射关系为用于将所述第二目标图像的畸变程度校正为所述第一目标图像的畸变程度的映射关系；
9.对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像。
10.可选地，所述目标映射关系具体为：用于将所述第二目标图像的图像内容所表征对象，在所述第二目标图像中的显示形状，校正为目标形状的映射关系；
11.所述目标形状为所述第一目标图像的图像内容所表征对象，在所述第一目标图像中的显示形状。
12.可选地，所述目标映射关系为通过预定标定方式所生成的坐标映射关系；
13.其中，所述预定标定方式为：基于在对同一标定物采用两个图像传感器进行图像采集时所得到样本图像之间的、关于所述标定物的坐标关系，进行标定的方式；
14.其中，所述两个图像传感器包括所述主通道的图像传感器以及所述次通道的图像传感器。
15.可选地，针对所述预定标定方式的标定过程包括：
16.获取第二样本图像；其中，所述第二样本图像为：利用所述次通道的图像传感器针对所述标定物进行图像采集时，所得到的图像；
17.标定在将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系，得到目标映射关系；
18.所述指定形状为：若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状。
19.可选地，所述若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状，为预先指定的一目标图形形状；
20.所述标定物所具有的实际形状为：采用光学逆投影的方式，对所述目标图像形状进行投影处理所得到的形状。
21.可选地，所述标定物所具有的实际形状的确定方式包括：
22.将所述目标图像形状的形状参数、所述主通道的图像传感器的指定光学参数以及所述主通道对应的物距信息，输入光学仿真软件，以使得所述光学仿真软件基于所述主通道对应的物距信息以及所述指定光学参数，对具有所述形状参数的目标图像形状进行光学逆投影，得到所述标定物的实际形状；
23.其中，所述指定光学参数为在所述主通道所输出任一图像中的图像内容相对于对应的采集对象产生图像畸变时，与图像畸变的产生具有相关性的光学参数。
24.可选地，所述主通道输出任一图像的视场角小于所述次通道输出的任一图像的视场角；
25.对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像，包括：
26.对所述校正后的第二目标图像进行指定对象区域的识别，得到所述指定对象区域对应的备选图像；
27.确定所述备选图像对应的待融合图像；其中，所述待融合图像为对所述备选图像进行尺寸调整所得到的与所述第一目标图像的尺寸相同的图像；
28.将所述待融合图像与所述第一目标图像进行相对应像素的融合，得到融合后的融合图像。
29.可选地，所述主通道为红外热成像通道，所述次通道为可见光图像采集通道。
30.第二方面，本技术实施例提供了一种图像融合装置，包括：
31.获取模块，用于获取主通道输出的第一目标图像以及次通道输出的第二目标图像；其中，所述主通道为预先指定的、用于进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道，所述次通道为除所述主通道以外的图像采集通道；
32.校正模块，用于利用目标映射关系，对所述第二目标图像进行畸变校正处理，得到校正后的第二目标图像；其中，所述目标映射关系为用于将所述第二目标图像的畸变程度校正为所述第一目标图像的畸变程度的映射关系；
33.融合模块，用于对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像。
34.可选地，所述目标映射关系具体为：用于将所述第二目标图像的图像内容所表征对象，在所述第二目标图像中的显示形状，校正为目标形状的映射关系；
35.所述目标形状为所述第一目标图像的图像内容所表征对象，在所述第一目标图像中的显示形状。
36.可选地，所述目标映射关系为通过预定标定方式所生成的坐标映射关系；
37.其中，所述预定标定方式为：基于在对同一标定物采用两个图像传感器进行图像采集时所得到样本图像之间的、关于所述标定物的坐标关系，进行标定的方式；
38.其中，所述两个图像传感器包括所述主通道的图像传感器以及所述次通道的图像传感器。
39.可选地，针对所述预定标定方式的标定过程包括：
40.获取第二样本图像；其中，所述第二样本图像为：利用所述次通道的图像传感器针对所述标定物进行图像采集时，所得到的图像；
41.标定在将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系，得到目标映射关系；
42.所述指定形状为：若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状。
43.可选地，所述若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状，为预先指定的一目标图形形状；
44.所述标定物所具有的实际形状为：采用光学逆投影的方式，对所述目标图像形状进行投影处理所得到的形状。
45.可选地，所述标定物所具有的实际形状的确定方式包括：
46.将所述目标图像形状的形状参数、所述主通道的图像传感器的指定光学参数以及所述主通道对应的物距信息，输入光学仿真软件，以使得所述光学仿真软件基于所述主通道对应的物距信息以及所述指定光学参数，对具有所述形状参数的目标图像形状进行光学逆投影，得到所述标定物的实际形状；
47.其中，所述指定光学参数为在所述主通道所输出任一图像中的图像内容相对于对应的采集对象产生图像畸变时，与图像畸变的产生具有相关性的光学参数。
48.可选地，所述主通道输出任一图像的视场角小于所述次通道输出的任一图像的视场角；
49.所述融合模块，具体用于：
50.对所述校正后的第二目标图像进行指定对象区域的识别，得到所述指定对象区域对应的备选图像；
51.确定所述备选图像对应的待融合图像；其中，所述待融合图像为对所述备选图像进行尺寸调整所得到的与所述第一目标图像的尺寸相同的图像；
52.将所述待融合图像与所述第一目标图像进行相对应像素的融合，得到融合后的融合图像。
53.可选地，所述主通道为红外热成像通道，所述次通道为可见光图像采集通道。
54.第三方面，本技术实施例提供了一种电子设备，包括：
55.存储器，用于存放计算机程序；
56.处理器，用于执行存储器上所存放的程序时，实现任一所述的图像融合方法。
57.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储
介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的图像融合方法。
58.第五方面，本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像融合方法。
59.本技术实施例有益效果：
60.本技术实施例提供的图像融合方法，首先获取主通道输出的第一目标图像以及次通道输出的第二目标图像，可以利用目标映射关系对第二目标图像进行畸变校正处理，得到畸变校正后的第二目标图像，进而可以对第一目标图像和校正后的第二目标图像进行图像融合，得到目标图像。相较于相关技术中对各通道的图像均进行畸变校正后再进行图像融合的方式，本方案中主通道输出的第一目标图像不进行畸变校正，而是利用目标映射关系对次通道输出的第二目标图像进行畸变校正，以使得校正后第二目标图像的畸变程度与第一目标图像的畸变程度相匹配，从而能够保证主通道输出的第一目标图像的视场角不产生损失的前提下，将第一目标图像和畸变校正后的第二目标图像融合。可见，本方案可以在保证指定通道的图像的视场角不产生损失的前提下，实现图像融合。
61.当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
62.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
63.图1为本技术实施例提供的一种图像融合方法的流程示意图；
64.图2为本技术实施例提供的一种图像融合方法的另一流程示意图；
65.图3a为本技术实施例提供的第二样本图像中标定物的显示形状示意图；
66.图3b为本技术实施例提供的指定形状的示意图；
67.图4为本技术实施例提供的一种图像融合装置的结构示意图；
68.图5为本技术实施例提供的一种电子设备的示意图。
具体实施方式
69.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本技术保护的范围。
70.图像融合是指将多个图像采集通道所采集到的关于同一对象的图像数据经过图像处理和计算机技术等，最大限度的提取各个通道的图像中的有利信息，最终融合为高质量的图像，多个图像采集通道包括但不限于可见光图像采集通道、热成像通道图像采集、紫外光图像采集通道，等等。
71.在进行图像融合之前，多个图像采集通道中的每一通道的输出的图像均需要进行
图像的畸变校正。
72.而相关技术进行畸变校正时，每一通道输出的图像均需要单独校正至图像无畸变，并且各个图像采集通道的图像的视场角均会产生损失，无法在保证指定通道的图像的视场角不产生损失的前提下，实现图像融合。
73.基于此，本技术提供了一种图像融合方法、装置、电子设备，可以在保证指定通道的图像的视场角不产生损失前提下，实现图像融合。
74.下面首先对本技术提供的一种图像融合方法进行介绍。
75.其中，本技术提供的一种图像融合方法可以应用于电子设备，该电子设备可以为图像采集设备或终端设备，终端设备可以为手机或电脑等，本技术并不对电子设备的具体形态进行限定。当该电子设备为图像采集设备时，该图像采集设备可以具有多个图像采集通道，图像采集设备可以对多个图像采集通道的图像进行图像融合后输出，也就是说，图像采集设备输出给用户的图像可以是融合后的图像；当该电子设备为终端设备时，终端设备可以将不同采集设备或同一采集设备的多个图像采集通道的图像进行融合，得到融合后图像。本技术提供的一种图像融合方法可以应用于任一具有图像融合需求的场景，例如：对可见光通道以及热成像通道所采集到的关于同一对象的图像进行融合的场景。
76.另外，本技术所提供的一种图像融合方法的执行主体可以为图像融合装置。示例性的，该图像融合装置可以为运行于终端设备或图像采集设备的功能软件，例如：用于图像融合的功能软件。当该图像融合装置运行于终端设备时，该图像融合装置可以对终端设备中的多通道的图像进行融合，该终端设备中的多通道的图像可以为从图像采集设备获取的，也可以为该终端设备本身采集的，在此并不限定。当该图像融合装置运行于图像采集设备时，该图像融合装置可以对图像采集设备所采集的多通道的图像进行融合。
77.本技术提供的一种图像融合方法，可以包括如下步骤：
78.获取主通道输出的第一目标图像以及次通道输出的第二目标图像；其中，所述主通道为预先指定的、用于进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道，所述次通道为除所述主通道以外的图像采集通道；
79.利用目标映射关系，对所述第二目标图像进行畸变校正处理，得到校正后的第二目标图像；其中，所述目标映射关系为用于将所述第二目标图像的畸变程度校正为所述第一目标图像的畸变程度的映射关系；
80.对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像。
81.本技术实施例提供的图像融合方法，首先获取主通道输出的第一目标图像以及次通道输出的第二目标图像，可以利用目标映射关系对第二目标图像进行畸变校正处理，得到畸变校正后的第二目标图像，进而可以对第一目标图像和校正后的第二目标图像进行图像融合，得到目标图像。相较于相关技术中对各通道的图像均进行畸变校正后再进行图像融合的方式，本方案中主通道输出的第一目标图像不进行畸变校正，而是利用目标映射关系对次通道输出的第二目标图像进行畸变校正，以使得校正后第二目标图像的畸变程度与第一目标图像的畸变程度相匹配，从而能够保证主通道输出的第一目标图像的视场角不产生损失的前提下，将第一目标图像和畸变校正后的第二目标图像融合。可见，本方案可以在保证指定通道的图像的视场角不产生损失的前提下，实现图像融合。
82.下面结合附图，对本技术所提供的一种图像融合方法进行示例性介绍。
83.如图1所示，本技术所提供的一种图像融合方法，可以包括如下步骤：
84.s101：获取主通道输出的第一目标图像以及次通道输出的第二目标图像；
85.其中，所述主通道为预先指定的、用于进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道，所述次通道为除所述主通道以外的图像采集通道；
86.本技术提供的图像融合方法是将多个图像采集通道针对同一对象所采集的图像进行融合，为了保证指定通道的图像的视场角不产生损失，可以预先指定进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道作为主通道，以及除主通道外的次通道，并且次通道的数量可以为一个或多个，在此不做限定，当次通道的数量为多个时，第二目标图像的数量也为多个，且针对每一第二目标图像的处理方式相同。
87.示例性的，在一种实现方式中，所述主通道为红外热成像通道，所述次通道为可见光图像采集通道。多个图像采集通道可以包括红外热成像通道以及可见光图像采集通道，此时，主通道可以为红外热成像通道，次通道可以为可见光图像采集通道，多个图像采集通道还可以包括紫外图像采集通道，可以将紫外图像采集通道也作为次通道，当然并不限于此；在实际应用中，可以根据需求选取一图像采集通道作为主通道，其余图像采集通道可以作为次通道，在此不做限定。
88.可以理解的是，在进行图像融合时，首先需要获取获取主通道输出的第一目标图像以及次通道输出的第二目标图像，当本方案应用于终端设备时，可以从图像采集设备获取第一目标图像以及第二目标图像，当本方案应用于图像采集设备时，可以直接确定主通道输出的第一目标图像以及次通道输出的第二目标图像。
89.s102：利用目标映射关系，对所述第二目标图像进行畸变校正处理，得到校正后的第二目标图像；
90.其中，所述目标映射关系为用于将所述第二目标图像的畸变程度校正为所述第一目标图像的畸变程度的映射关系；
91.需要说明的是，任一图像采集通道所采集到的图像相对于所采集的对象而言，该图像相对所采集的对象均会产生不同程度的畸变，而不同的图像采集通道所采集到的关于同一对象的图像，其畸变程度不尽相同，为了保证主通道输出的第一目标图像不产生视场角损失，可以以第一目标图像为基底，将次通道输出的第二目标图像进行畸变校正，而畸变校正后的第二目标图像的畸变程度可以与第一目标图像的畸变程度相匹配。因此，可以利用目标映射关系，对第二目标图像进行畸变校正。另外，若次通道的数量为多个，针对每一次通道而言，均需预先生成一目标映射关系，从而针对该次通道输出的第二目标图像进行畸变校正。
92.在得到第一目标图像和第二目标图像后，可以利用预先生成的目标映射关系，对第二目标图像进行畸变校正处理，得到校正后的第二目标图像；并且，由于目标映射关系为将第二目标图像的畸变程度校正为与第一目标图像的畸变程度相同的映射关系，所得到的校正后的第二目标图像的畸变程度与第一目标图像的畸变程度相同，后续可以将第一目标图像和校正后的第二目标图像进行图像融合。
93.示例性的，所述目标映射关系具体为：用于将所述第二目标图像的图像内容所表征对象，在所述第二目标图像中的显示形状，校正为目标形状的映射关系；
94.所述目标形状为所述第一目标图像的图像内容所表征对象，在所述第一目标图像
中的显示形状。
95.需要说明的是，图像的畸变程度可以通过图像中的图像内容所表征的对象，在图像中的显示形状表征，而畸变校正前第二目标图像的的图像内容所表征的对象在第二目标图像中的显示形状与第一目标图像的目标形状不相同，在对第二目标图像进行畸变矫正时，可以利用目标映射关系，将属于第二目标图像的图像内容所表征的对象对应的各个像素点进行映射，而映射后的各个像素点组成的图像的形状可以与第一目标图像的目标形状相同，也就是，畸变校正后的第二目标图像与第一目标图像的畸变程度相匹配。
96.示例性的，第一目标图像的图像内容所表征对象，在第一目标图像中的显示形状可以为矩形，第二目标图像的图像内容所表征对象，在所述第二目标图像中的显示形状可以为其他形状，在利用目标映射关系对第二目标图像进行畸变校正时，可以将第二目标图像的图像内容所表征对象，在所述第二目标图像中的显示形状，校正为矩形，从而得到畸变校正后的第二目标图像。
97.另外，该目标映射关系可以预先生成并记录于终端设备或图像采集设备，从而能够快速获取目标映射关系，方便对第二目标图像进行畸变校正处理。关于目标映射关系的具体生成方式，将在后续示例进行详细介绍，在此不做赘述。
98.需要说明的是，上述对第二目标图像进行畸变校正处理的说明，仅仅做为示例，并不应构成对本技术的限定。
99.s103：对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像；
100.对第二目标图像进行畸变校正处理后，得到的校正后的第二目标图像与第一目标图像的畸变程度相同，此时可以对第一目标图像和校正后的第二目标图像进行图像融合，从而得到融合图像。
101.示例性的，在一种实现方式中，所述主通道输出任一图像的视场角小于所述次通道输出的任一图像的视场角；
102.对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像，包括：
103.对所述校正后的第二目标图像进行指定对象区域的识别，得到所述指定对象区域对应的备选图像；
104.确定所述备选图像对应的待融合图像；其中，所述待融合图像为对所述备选图像进行尺寸调整所得到的与所述第一目标图像的尺寸相同的图像；
105.将所述待融合图像与所述第一目标图像进行相对应像素的融合，得到融合后的融合图像。
106.可以理解的是，对图像进行畸变校正会导致图像的视场角产生损失，也就是，在对第二目标图像进行畸变校正后，校正后的第二目标图像会损失部分视场角，为了使得校正后的第二目标图像能够包含有第一目标图像的区域，主通道输出任一图像的视场角小于所述次通道输出的任一图像的视场角。多通道进行图像融合时，本方案可以保证主通道视场角不损失，考虑到采集图像的设备的公差等其他因素，可以设置次通道的视场角大于主通道的视场角，即上述的主通道输出任一图像的视场角小于所述次通道输出的任一图像的视场角。在对次通道进行畸变校正时，次通道的视场角会产生损失，通过设置次通道的视场角
大于主通道的方式，可以保证即使次通道的视场角产生损失，但畸变校正后次通道的图像中关于主通道所输出的图像对应的区域未产生损失，并且，在进行后续图像融合时，畸变校正后的次通道的图像仍存储余量可以裁剪，可以从畸变校正后的次通道的图像中，选取主通道图像所对应区域的图像与主通道图像进行融合。也就是，本方案可以在保证指定通道的图像的视场角不产生损失的前提下，实现图像融合。
107.在进行图像融合时，可以识别校正后的第二目标图像中的指定对象区域，得到备选图像，该指定对象区域可以为第一目标图像所表征的区域，由于次通道的视场角大于主通道的视场角，所输出的第二目标图像的大小也会大于第一目标图像的大小，而备选图像的大小可能与第一目标图像的大小不相同，因此还可以确定备选图像对应的待融合图像，后续可以将待融合图像与第一目标图像中对应的像素点融合，得到融合图像。需要说明的是，指定对象区域可以为第一目标图像包含的目标对象对应的区域，例如：该目标对象可以为人或物等等。
108.次通道输出的任一图像的视场角大于主通道输出任意图像的视场角，可以使得次通道输出的第二目标图像能够包含有第一目标图像表征的完整的信息内容，并且，对第二目标图像进行畸变校正后，校正后的第二目标图像仍包含有第一目标图像表征的完整的信息内容，即第二目标图像中，第一目标图像对应区域的图像不产生损失。通过确定与第一目标图像尺寸相同的待融合图像的方式，能够从校正后的第二目标图像中选取第一目标图像对应区域的图像，可以更为方便的将第一目标图像与待融合图像进行融合。
109.本技术的技术方案中，所涉及的用户个人信息的获取、存储、使用、加工、传输、提供和公开等操作，均是在已取得用户授权的情况下进行的。
110.需要说明的是，本实施例中的第一目标图像以及第二目标图像来自于公开数据集。
111.本技术实施例提供的图像融合方法，首先获取主通道输出的第一目标图像以及次通道输出的第二目标图像，可以利用目标映射关系对第二目标图像进行畸变校正处理，得到畸变校正后的第二目标图像，进而可以对第一目标图像和校正后的第二目标图像进行图像融合，得到目标图像。相较于相关技术中对各通道的图像均进行畸变校正后再进行图像融合的方式，本方案中主通道输出的第一目标图像不进行畸变校正，而是利用目标映射关系对次通道输出的第二目标图像进行畸变校正，以使得校正后第二目标图像的畸变程度与第一目标图像的畸变程度相匹配，从而能够保证主通道输出的第一目标图像的视场角不产生损失的前提下，将第一目标图像和畸变校正后的第二目标图像融合。可见，本方案可以在保证指定通道的图像的视场角不产生损失的前提下，实现图像融合。
112.可选地，在本技术提供的另一实施例中，所述目标映射关系为通过预定标定方式所生成的坐标映射关系；
113.其中，所述预定标定方式为：基于在对同一标定物采用两个图像传感器进行图像采集时所得到样本图像之间的、关于所述标定物的坐标关系，进行标定的方式；
114.其中，所述两个图像传感器包括所述主通道的图像传感器以及所述次通道的图像传感器。
115.可以理解的是，目标映射关系可以通过标定的方式生成，在标定时，可以基于对同一标定物采用主通道和次通道的图像传感器进行图像采集时所得到的的样本图像之间的、
关于标定物的坐标关系，进行标定。
116.可选地，针对所述预定标定方式的标定过程包括：
117.获取第二样本图像；其中，所述第二样本图像为：利用所述次通道的图像传感器针对所述标定物进行图像采集时，所得到的图像；
118.标定在将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系，得到目标映射关系；
119.所述指定形状为：若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状。
120.在通过标定的方式生成目标映射关系时，可以先获取次通道针对标定物进行图像采集时得到的第二样本图像，针对第二样本图像，可以标定第二样本图像中标定物的显示形状校正为指定形状时所需利用的坐标映射关系，从而得到目标映射关系。指定形状可以为若主通道的传感器针对标定物进行图像采集时，得到的第一样本图像中关于标定物的显示形状；此时，所标定的坐标映射关系为将次通道中属于标定物的图像内容的显示形状校正为主通道中属于标定物的图像内容的显示形状的坐标映射关系，可以将该坐标映射关系，作为将次通道的图像的畸变程度校正为主通道的图像的畸变程度的目标映射关系。
121.示例性的，如图3a所示，第二样本图像中标定物的显示形状可以为枕形，如图3b所示，指定形状可以为矩形，在生成目标映射关系时，可以标定图3a的枕形形状的标定物校正为图3b的矩形形状时所需的坐标映射关系，作为目标映射关系。
122.可以理解的是，标定在将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系的方式可以存在多种，在此不做限定。
123.示例性的，在一种实现方式中，可以将第二样本图像中的关于标定物的显示形状作为相机标定过程中所采集的图像形状，将指定形状所对应的各个像素点的像素值，作为标定过程中的标定对象的物理坐标值，以及识别第二样本图像中的关于标定物的显示形状中各个像素点的像素值，基于所确定出的像素值，通过将第二样本图像中的关于标定物的显示形状中各个像素点，映射到指定形状所对应的各个像素点，可以标定出将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系，从而得到目标映射关系。
124.另外，可以理解的是，在进行相机标定时，可以利用张正友标定法进行标定：用相机对张正友标定法的棋盘格进行不同角度的拍摄，得到一组图像；对图像中的特征点进行检测，得到特征点的像素值，根据已知棋盘格的大小以及世界坐标系原点，计算特征点的物理坐标值；根据物理坐标值和像素坐标值的关系，求解该相机的内参矩阵和外参矩阵；求解该相机的畸变参数；利用l-m(levenberg-marquardt)算法对相机的内参矩阵和外参矩阵，以及相机的畸变参数进行优化。当然，也可以通过其他方式进行相机标定，在此不做限定。
125.需要说明的是，指定形状可以为任一规则的形状，任一能够确定将第二样本图像中的关于标定物的显示形状，校正为指定形状时所需利用的坐标映射关系的方式均适用于本方案，在此不做限定。通过标定在将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系的方式，指定形状可以设置为任一规则形状，在标定坐标映射关系时更为简便，能够快速生成目标映射关系，从而能够提升后续图像融合的效率。
126.可选地，所述若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状，为预先指定的一目标图形形状；
127.所述标定物所具有的实际形状为：采用光学逆投影的方式，对所述目标图像形状进行投影处理所得到的形状。
128.可以理解的是，若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状，可以为预先指定的一目标图形形状，该图形形状可以为期望的、主通道的图像传感器针对标定物进行图像采集时，所得到的第一样本图像中关于所述标定物的显示形状，例如：矩形、菱形等等。
129.标定物所具有的形状可以为采用光学逆投影的方式，对目标图形形状进行投影处理所得到的的形状，当然也可以通过其他方式确定标定物所具有的实际形状，任一种能够确定标定物所具有的实际形状的方式均适用于本方案，在此不做限定。
130.可选地，所述标定物所具有的实际形状的确定方式包括：
131.将所述目标图像形状的形状参数、所述主通道的图像传感器的指定光学参数以及所述主通道对应的物距信息，输入光学仿真软件，以使得所述光学仿真软件基于所述主通道对应的物距信息以及所述指定光学参数，对具有所述形状参数的目标图像形状进行光学逆投影，得到所述标定物的实际形状；
132.其中，所述指定光学参数为在所述主通道所输出任一图像中的图像内容相对于对应的采集对象产生图像畸变时，与图像畸变的产生具有相关性的光学参数。
133.标定物所具有的实际形状可以通过逆投影的方式，通过光学软件仿真而得到；在成像时，像面的大小形状等可以由物距、物面的形状参数以及该通道传感器的光学参数而决定，在通过逆投影确定标定物所具有的实际形状时，可以先确定目标图像形状的形状参数、主通道的图像传感器的指定光学参数以及主通道对应的物距信息，从而得到标定物所具有的实际形状。另外，示例性的，指定光学参数可以为主通道的镜头和传感器参数，如：镜头焦距、传感器像素数、像素尺寸、畸变曲线等等。
134.另外，需要说明的是，针对所述预定标定方式的标定过程，还包括：
135.获取第一样本图像和第二样本图像；其中，所述第一样本图像和第二样本图像分别为利用主通道和次通道的图像传感器针对标定物进行图像采集时，所得到的图像；所述标定物具有的实际形状为预先设定的一形状；
136.标定在将第二样本图像中的关于所述标定物的显示形状，校正为第一样本图像中关于标定物的显示形状时所需利用的坐标映射关系，得到目标映射关系。
137.在生成目标映射关系时，可以直接对第二样本图像中标定物的显示形状以及第一样本图像中标定物的显示形状，进行标定，从而得到目标映射关系；此时，第一样本图像和第二样本图像为主通道和次通道预先利用标定物进行图像采集得到的形状，不必通过逆投影的方式确定标定物所具有的实际形状，能够快速生成目标映射关系。
138.也就是，针对标定物的实际形状，可以为预先设定的一形状，也可以为通过光学逆投影的方式所生成的形状，在此不做限定。
139.需要说明的是，通过光学软件仿真的方式，能够准确确定标定物所具有的的实际形状，可以包含有该标定物的实际形状的大小、形状等参数信息，得到标定物所具有的实际形状后，可以利用次通道对标定物进行图像采集，得到第二样本图像并确定第二样本图像
中关于标定物的显示形状，利用标定的方式，可以标定在将第二样本图像中关于标定物的显示形状，校正为指定形状时所需利用的坐标映射关系，从而得到目标映射关系；相较于预先设定标定物的实际形状的方式，光学软件仿真的方式确定目标映射关系的效果更好，后续对第二目标图像进行畸变校正时，得到的校正后的第二目标图像的校正效果更好，在图像融合时，得到的融合图像的图像质量更高。
140.下面结合另一实施例，对本技术提供的一种图像融合方法进行示例性介绍。
141.如图2所示，本技术提供的一种图像融合方法，可以包括如下步骤：
142.s201：确定主通道，并获取主通道和次通道的图像；即确定在融合图像时预先指定的、用于进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道，并获取主通道和次通道的图像，对应上述获取主通道输出的第一目标图像以及次通道输出的第二目标图像。
143.s202：获取畸变校正映射关系；即获取对次通道的图像进行畸变校正的映射关系，对应上述获取预先生成的目标映射关系。在获取畸变校正映射关系时，可以先获取次通道的第二样本图像，通过标定将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系，从而得到畸变校正映射关系，对应上述目标映射关系的确定方式。
144.s203：次通道图像进行畸变校正；即利用s202获取的畸变校正映射关系，对次通道的图像进行畸变校正，对应上述利用所述目标映射关系，对所述第二目标图像进行畸变校正处理，得到校正后的第二目标图像。
145.s204：畸变校正后的次通道图像与主通道图像融合；即将畸变校正后的次通道图像中的各个像素点与对应的主通道图像中的各个像素点融合，对应上述对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像。
146.需要说明的是，步骤s201-s204，与上述步骤s101-s103类似，相互参见即可，在此不做赘述。
147.本技术提供的一种图像融合方法，可以以主通道为基底，主通道的图像不进行畸变校正，保证主通道的视场角不产生损失，通过获取的畸变校正映射关系，对次通道的图像进行畸变校正，校正后的次通道图像的畸变程度与主通道的图像畸变程度相同，最后进行图像融合。可以保证主通道图像的视场角无损失的情况下，实现图像融合。
148.另外，针对大视场角多通道图像采集设备，可以优先保证用户主通道的视场角需求，并且解决现有技术中图像融合时所有通道均需要进行畸变校正的痛点。可以根据需求选择任一通道为主通道，确认主通道图像效果不变，只对次通道图像进行畸变校正，从而匹配主通道图像的畸变程度，通过减少畸变校正次数的方式减少畸变校正带来的误差。
149.基于上述图像融合方法，本技术还提供了一种图像融合装置，如图4所示，所述装置包括：
150.获取模块410，用于获取主通道输出的第一目标图像以及次通道输出的第二目标图像；其中，所述主通道为预先指定的、用于进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道，所述次通道为除所述主通道以外的图像采集通道；
151.校正模块420，用于利用目标映射关系，对所述第二目标图像进行畸变校正处理，得到校正后的第二目标图像；其中，所述目标映射关系为用于将所述第二目标图像的畸变
程度校正为所述第一目标图像的畸变程度的映射关系；
152.融合模块430，用于对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像。
153.本技术实施例提供的图像融合装置，首先获取主通道输出的第一目标图像以及次通道输出的第二目标图像，可以利用目标映射关系对第二目标图像进行畸变校正处理，得到畸变校正后的第二目标图像，进而可以对第一目标图像和校正后的第二目标图像进行图像融合，得到目标图像。相较于相关技术中对各通道的图像均进行畸变校正后再进行图像融合的方式，本方案中主通道输出的第一目标图像不进行畸变校正，而是利用目标映射关系对次通道输出的第二目标图像进行畸变校正，以使得校正后第二目标图像的畸变程度与第一目标图像的畸变程度相匹配，从而能够保证主通道输出的第一目标图像的视场角不产生损失的前提下，将第一目标图像和畸变校正后的第二目标图像融合。可见，本方案可以在保证指定通道的图像的视场角不产生损失的前提下，实现图像融合。
154.可选地，所述目标映射关系具体为：用于将所述第二目标图像的图像内容所表征对象，在所述第二目标图像中的显示形状，校正为目标形状的映射关系；
155.所述目标形状为所述第一目标图像的图像内容所表征对象，在所述第一目标图像中的显示形状。
156.可选地，所述目标映射关系为通过预定标定方式所生成的坐标映射关系；
157.其中，所述预定标定方式为：基于在对同一标定物采用两个图像传感器进行图像采集时所得到样本图像之间的、关于所述标定物的坐标关系，进行标定的方式；
158.其中，所述两个图像传感器包括所述主通道的图像传感器以及所述次通道的图像传感器。
159.可选地，针对所述预定标定方式的标定过程包括：
160.获取第二样本图像；其中，所述第二样本图像为：利用所述次通道的图像传感器针对所述标定物进行图像采集时，所得到的图像；
161.标定在将第二样本图像中的关于所述标定物的显示形状，校正为指定形状时所需利用的坐标映射关系，得到目标映射关系；
162.所述指定形状为：若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状。
163.可选地，所述若利用所述主通道的图像传感器针对所述标定物进行图像采集时，所得到的第一样本图像中的关于所述标定物的显示形状，为预先指定的一目标图形形状；
164.所述标定物所具有的实际形状为：采用光学逆投影的方式，对所述目标图像形状进行投影处理所得到的形状。
165.可选地，所述标定物所具有的实际形状的确定方式包括：
166.将所述目标图像形状的形状参数、所述主通道的图像传感器的指定光学参数以及所述主通道对应的物距信息，输入光学仿真软件，以使得所述光学仿真软件基于所述主通道对应的物距信息以及所述指定光学参数，对具有所述形状参数的目标图像形状进行光学逆投影，得到所述标定物的实际形状；
167.其中，所述指定光学参数为在所述主通道所输出任一图像中的图像内容相对于对应的采集对象产生图像畸变时，与图像畸变的产生具有相关性的光学参数。
168.可选地，所述主通道输出任一图像的视场角小于所述次通道输出的任一图像的视场角；
169.所述融合模块，具体用于：
170.对所述校正后的第二目标图像进行指定对象区域的识别，得到所述指定对象区域对应的备选图像；
171.确定所述备选图像对应的待融合图像；其中，所述待融合图像为对所述备选图像进行尺寸调整所得到的与所述第一目标图像的尺寸相同的图像；
172.将所述待融合图像与所述第一目标图像进行相对应像素的融合，得到融合后的融合图像。
173.可选地，所述主通道为红外热成像通道，所述次通道为可见光图像采集通道。
174.本技术实施例还提供了一种电子设备，如图5所示，包括:
175.存储器501，用于存放计算机程序；
176.处理器502，用于执行存储器501上所存放的程序时，实现如下步骤：
177.获取主通道输出的第一目标图像以及次通道输出的第二目标图像；其中，所述主通道为预先指定的、用于进行图像融合的图像相对于所输出图像的视场角保持不变的图像采集通道，所述次通道为除所述主通道以外的图像采集通道；
178.利用目标映射关系，对所述第二目标图像进行畸变校正处理，得到校正后的第二目标图像；其中，所述目标映射关系为用于将所述第二目标图像的畸变程度校正为所述第一目标图像的畸变程度的映射关系；
179.对所述第一目标图像和校正后的第二目标图像进行图像融合，得到融合图像。
180.并且上述电子设备还可以包括通信总线和/或通信接口，处理器502、通信接口、存储器501通过通信总线完成相互间的通信。
181.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
182.通信接口用于上述电子设备与其他设备之间的通信。
183.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
184.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
185.在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像融合方法的步骤。
186.在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其
在计算机上运行时，使得计算机执行上述实施例中任一图像融合方法。
187.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者其他介质(例如固态硬盘solid state disk(ssd))等。
188.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
189.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
190.以上所述仅为本技术的较佳实施例，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。