图像融合方法、装置及电子设备与流程

本发明图像处理领域，具体而言，涉及一种图像融合方法、装置及电子设备。

背景技术：

近年来随着无人机技术的发展，无人机因其高效，灵活，低成本等特性，已被广泛应用于勘探，侦察，应急，救灾等各个领域。而机载光电吊舱是无人机勘探、侦察等任务中重要的任务设备。机载光电吊舱正由单传感器成像系统向多传感器成像系统发展，采用多传感器成像系统的图像信息融合技术可以有效扩展侦察范围、场景细节信息，提高无人机图像侦察、目标识别跟踪的性能。

典型的多传感器光电吊舱成像系统是由可见光传感器成像系统和红外传感器成像系统构成的两路成像系统，一路用于采集可见光图像，另一路用于采集红外图像。可见光图像具有丰富的细节和色彩信息，而且具有更高的的分辨率，但是容易受天气及时间等条件的影响。红外图像的分辨率低、细节不足，但是可以全天侯工作，抗干扰能力强。机载光电吊舱图像信息融合技术就是将光电吊舱不同传感器成像系统采集的不同视角的图像信息进行融合，克服单一传感器图像信息的不足，便于机载吊舱全天候侦察。

目前，现有技术中的图像机载光电吊舱图像信息融合技术，是基于机载光电吊舱成像系统的光轴校准，然后对机载光电吊舱成像系统采集到的图像信息进行融合。一方面，该方法需要进行大量的光轴校准工作，操作复杂，也难以得到理想的校准结果，另一方面，机载光电吊舱成像系统在其搭载物，例如无人机，运动的过程中，因为机载光电吊舱成像系统的抖动使得经过校准后的光轴容易发生异位，进而无法对机载光电吊舱成像系统拍摄得到的图像进行精确匹配，进一步的，对机载光电吊舱成像系统拍摄得到的图像进行融合效果差。

技术实现要素：

本发明的目的在于提供一种图像融合方法、装置及电子设备，其旨在改善现有技术中存在的上述不足。

第一方面，本发明实施例提供了一种图像融合方法，所述图像融合方法包括：获得第一图像和第二图像，其中所述第一图像由第一图像采集系统在第一当前视场角采集得到，所述第二图像由第二图像采集系统在第二当前视场角采集得到；求取所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量；获取所述第一图像采集系统对应的预先设定的第一参考视场角和所述第二图像采集系统对应的预先设定的第二参考视场角；根据所述第一参考视场角、所述第二参考视场角以及所述几何偏移量计算所述第一图像与所述第二图像之间的单应矩阵；根据所述单应矩阵对所述第一图像和所述第二图像进行配准，得到配准图像对；将所述配准图像对进行像素融合，得到融合图像。

第二方面，本发明实施例还提供了一种图像融合装置，所述图像融合装置包括：获得图像模块，用于获得第一图像和第二图像，其中所述第一图像由第一图像采集系统在第一当前视场角采集得到，所述第二图像由第二图像采集系统在第二当前视场角采集得到；求取几何偏移量模块，用于求取所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量；获取参考视场角模块，用于获取所述第一图像采集系统对应的预先设定的第一参考视场角和所述第二图像采集系统对应的预先设定的第二参考视场角；计算配准关系模块，用于根据所述第一参考视场角、所述第二参考视场角以及所述几何偏移量计算所述第一图像与所述第二图像之间的单应矩阵；图像配准模块，用于根据所述单应矩阵对所述第一图像和所述第二图像进行配准，得到配准图像对；图像融合模块，用于将所述配准图像对进行像素融合，得到融合图像。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获得第一图像和第二图像，其中所述第一图像由第一图像采集系统在第一当前视场角采集得到，所述第二图像由第二图像采集系统在第二当前视场角采集得到；求取所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量；获取所述第一图像采集系统对应的预先设定的第一参考视场角和所述第二图像采集系统对应的预先设定的第二参考视场角；根据所述第一参考视场角、所述第二参考视场角以及所述几何偏移量计算所述第一图像与所述第二图像之间的单应矩阵；根据所述单应矩阵对所述第一图像和所述第二图像进行配准，得到配准图像对；将所述配准图像对进行像素融合，得到融合图像。

相对现有技术，本发明具有以下有益效果：本发明实施例还提供了一种图像融合方法、装置及电子设备，首先通过获得第一图像和第二图像，其中第一图像由第一图像采集系统在第一当前视场角采集得到，第二图像由第二图像采集系统在第二当前视场角采集得到，求取第一图像采集系统与第二图像采集系统之间的几何偏移量，然后获取第一图像采集系统对应的预先设定的第一参考视场角和第二图像采集系统对应的预先设定的第二参考视场角；其次，根据第一参考视场角、第二参考视场角以及几何偏移量计算第一图像与第二图像之间的单应矩阵，根据单应矩阵对第一图像和第二图像进行配准，得到配准图像对，最后将配准图像对进行像素融合，得到融合图像。与现有技术相比，本发明提供的图像融合方法不需要对第一图像采集系统和第二图像采集系统进行光轴标校就可以对第一图像采集系统采集得到的第一图像和第二图像采集系统采集得到的第二图像进行融合，图像融合效果好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种电子设备100的方框结构示意图。

图2示出了一种图像融合方法的流程图。

图3示出了步骤s200的流程图。

图4示出了第一图像采集系统和所述第二图像采集系统成像示意图。

图5示出了步骤s400的流程图。

图6示出了步骤s500的流程图。

图7示出了步骤s600的流程图。

图8示出了一种图像融合装置200的方框结构示意图。

图标：100-电子设备；101-存储器；102-处理器；103-外设接口；104-图像采集系统；105-显示屏；200-图像融合装置；210-获得图像模块；220-求取几何偏移量模块；230-获取参考视场角模块；240-计算配准关系模块；250-图像校准模块；260-图像融合模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，图1为本发明实施例提供的一种电子设备100的方框结构示意图。在本发明实施例中，电子设备100可以是智能手机、平板电脑、膝上便携计算机、车载电脑、个人数字助理(personaldigitalassistant，pda)、穿戴式移动终端、台式电脑等。电子设备100包括图像融合装置200、存储器101、处理器102、外设接口103、图像采集系统104和显示屏105。

所述存储器101、处理器102、外设接口103、图像采集系统104和显示屏105各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。图像融合装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器102用于执行存储器101中存储的可执行模块，例如所述图像融合装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器101用于存储程序，所述处理器102在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器102中，或者由处理器102实现。

处理器102可以是一种集成电路芯片，具有信号处理能力。上述的处理器102可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器102也可以是任何常规的处理器等。

所述外设接口103用于将各种输入/输出装置耦合至处理器102以及存储器101。在一些实施例中，外设接口103以及处理器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。图像采集系统104用于采集图像。

显示屏105用于实现用户与电子设备100之间的交互，具体可以是，但不限于显示屏105将电子设备100的图像采集系统104采集到的第一图像、第二图像以及融合图像等进行显示。作为一种实施方式，图像采集系统104包括第一图像采集系统和第二图像采集系统，其中第一图像由第一图像采集系统采集得到，第二图像由第二图像采集系统采集得到。作为一种实施方式，第一图像采集系统包括可见光图像采集系统，第二图像采集系统包括红外线图像采集系统。可见光图像采集系统用于采集可见光彩色图像，红外线图像采集系统用于采集红外线图像。

在本发明实施例中，所述处理器102执行存储器101中存储的可执行模块时，实现图像融合方法包括的步骤。请参阅图2，图2示出了一种图像融合方法的流程图。以下结合图2对图像融合方法进行阐述。

步骤s100：获得第一图像和第二图像，其中所述第一图像由第一图像采集系统在第一当前视场角采集得到，所述第二图像由第二图像采集系统在第二当前视场角采集得到。作为一种实施方式，第一图像采集系统是可见光图像采集系统，第二图像采集系统是红外线图像采集系统，则第一图像采集系统采集的第一图像是可见光图像，例如彩色图像、灰度图像、黑白图像等，第二图像采集系统采集的第二图像是红外图像。

步骤s200：求取所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量。在本发明实施例找中，所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量指的是所述第一图像采集系统的光心与所述第二图像采集系统的光心在横轴方向和纵轴方向的偏移量，具体的，可以包括所述第一图像采集系统的光心与所述第二图像采集系统的光心在横轴方向的位移量和在纵轴方向的位移量，以及在横轴方向的夹角和在纵轴方向的夹角。

作为一种实施方式，所述第一图像采集系统的光心与所述第二图像采集系统的光心在横轴方向的位移量和在纵轴方向的位移量，以及在横轴方向的夹角和在纵轴方向的夹角可以是所述第一图像采集系统的光心与所述第二图像采集系统的光心在水平方向的位移量和在垂直方向的位移量，以及在水平方向的夹角和在垂直方向的夹角。

作为一种实施方式，步骤s200包括步骤s210、步骤s220和步骤s230。请参阅图3，图3示出了步骤s200的流程图。以下结合图3对步骤s210、步骤s220和步骤s230进行阐述。

步骤s210：获取所述第一图像采集系统的光心到所述第二图像采集系统的光心之间在景深方向的距离。请参阅图4，图4示出了所述第一图像采集系统和所述第二图像采集系统成像示意图。其中，图中的z表示所述第一图像采集系统的光心到被摄物体在景深方向的距离。l表示所述第一图像采集系统的光心到所述第二图像采集系统的光心之间在景深方向的距离。

步骤s220：分别获取两组不同物距下，参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量，得到两组偏移量。在本发明实施例中，参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量包括参考在横轴方向的位移量和在纵轴方向的位移量。

通过采样两组物距，每一组物距包括一个物距，每一个物距对应有一组参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量包括参考在横轴方向的位移量和在纵轴方向的位移量。两组物距总共对应两个参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量包括参考在横轴方向的位移量和两个参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量包括参考在纵轴方向的位移量。

在本发明实施例中，参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量包括参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量包括在横轴方向的位移量和纵轴方向的位移量。

步骤s230：根据所述两组偏移量以及所述第一图像采集系统的光心到所述第二图像采集系统的光心之间在景深方向的距离，计算得到所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量。

通过采用以上方案，以采样的两个不同物距代入参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的线性关系中，解方程组，即可得到所述第一图像采集系统的光心与所述第二图像采集系统的光心在水平方向的位移量和在垂直方向的位移量，以及在水平方向的夹角和在垂直方向的夹角。具体的计算方式如下公式(1)和公式(2)所述：

其中，z1是一个采样物距，具体的两组不同物距中的一个物距，a1、b1分别是在物距z1下所述第一图像采集系统的光心与所述第二图像采集系统的光心在水平方向的位移量和垂直方向的位移量，也可以称作水平偏移量和垂直偏移量。a2，b2是在物距z2下所述第一图像采集系统的光心与所述第二图像采集系统的光心在水平方向的位移量和垂直方向的位移量，也可以称作水平偏移量和垂直偏移量。α，β分别是所述第一图像采集系统的光心与所述第二图像采集系统的光心在水平方向的偏移夹角和垂直方向的偏移夹角。

步骤s300：获取所述第一图像采集系统对应的预先设定的第一参考视场角和所述第二图像采集系统对应的预先设定的第二参考视场角。

在本发明实施例中，所述第一图像采集系统对应的第一参考视场角可以是与所述第一图像采集系统的相对位置的稳定的，所述第二图像采集系统对应的第二参考视场角可以是与所述第二图像采集系统的相对位置的稳定的。可以是，所述第一图像采集系统和所述第二图像采集系统均采用所述第二图像采集系统或所述第一图像采集系统作为参考视场角。

步骤s400：根据所述第一参考视场角、所述第二参考视场角以及所述几何偏移量计算所述第一图像与所述第二图像之间的单应矩阵。在本发明实施例中，步骤s400包括如下所述的步骤s410～步骤s480所述内容。作为一种实施方式，步骤s400包括步骤s410～步骤s480。请参阅图5，图5示出了步骤s400的流程图。

步骤s410：获取所述第一图像对应的第一物距以及所述第一图像的第一分辨率参数和所述第二图像的第二分辨率参数。

在本发明实施例中，所述第一图像的第一分辨率参数包括第一宽度和第一高度，所述第一图像的第一分辨率参等于第一宽度与第一高度之积，所述第二图像的第二分辨率参数包括第二宽度和第二高度，所述第二图像的第二分辨率参等于第二宽度与第二高度之积。

步骤s420：根据所述第一参考视场角计算得到所述第一图像采集系统的第一参考方向的视场角，根据所述第二参考视场角计算得到所述第二图像采集系统的第二参考方向的视场角。

在本发明实施例中，第一参考方向的视场角包括第一横轴方向的视场角和第一纵轴方向的视场角，作为一种实施方式，第一横轴方向的视场角可以是第一参考方向的视场角在水平方向的视场角，第一纵轴方向的视场角可以是第一参考方向的视场角在垂直方向的视场角。第二参考方向的视场角包括第二横轴方向的视场角和第二纵轴方向的视场角，作为二种实施方式，第二横轴方向的视场角可以是第二参考方向的视场角在水平方向的视场角，第二纵轴方向的视场角可以是第二参考方向的视场角在垂直方向的视场角。

步骤s430：获取第一图像采集系统在预先设定的第一参考视场角下采集的第一参考图像和第二图像采集系统在预先设定的第二参考视场角下采集的第二参考图像。这里可以理解的是，第一参考图像与第二参考图像之间的位置关系是相对不变的。

步骤s440：根据坐标变换关系，由所述第一分辨率参数、所述第二分辨率参数、所述第一物距、所述第一参考方向的视场角和所述第二参考方向的视场角计算得到所述第一参考图像与所述第二参考图像之间的参考单应矩阵。

在本发明实施例中，步骤s440的计算方式如下公式所述：请结合参阅图4，图4中o2,o2分别是获取所述第一图像采集系统的光心和所述第二图像采集系统的光心。由几何对应关系，有：

其中，

其中，z是所述第一图像采集系统的光心到所述第二图像采集系统的光心之间在景深方向的距离，w1*h1是第一图像的分辨率，即第一分辨率参数为w1*h1，w2*h2是第二图像的分辨率，即第二分辨率参数为w2*h2，fovhref和fovvref分别是第一参考方向的视场角包括的水平方向的视场角和垂直方向的视场角，ifovhref和ifovvref分别是第二参考方向的视场角包括的水平方向的视场角和垂直方向的视场角。

在本发明实施例中，第一参考图像中的一点(x1,y1)与第二参考图像中的一点(x2,y2)满足公式(6)的对应关系：

其中，(x1,y1),(x2,y2)分别是第一参考图像中的一点的坐标和第二参考图像之间中的一点的坐标，href是所述第一参考图像与所述第二参考图像之间的参考单应矩阵。

故得到，

通过采用以上方案，不必进行光轴标较，就可以得到所述第一参考图像与所述第二参考图像之间的参考单应矩阵，一方面降低了工作量，另一方面具有更广的适用性。

步骤s450：获取所述第一图像采集系统的第一当前视场角和所述第二图像采集系统对应的第二当前视场角。在本发明实施例中，所述第一图像采集系统的第一当前视场角指的是所述第一图像采集系统当前的视场角，所述第二图像采集系统对应的第二当前视场角指的是所述第二图像采集系统当前的视场角。

步骤s460：根据所述第一当前视场角计算得到所述第一图像采集系统的第一当前方向的视场角，根据所述第二当前视场角计算得到所述第二图像采集系统的第二当前方向的视场角。

在本发明实施例中，所述第一图像采集系统的第一当前方向的视场角包括第一横轴方向的视场角和第一纵轴方向的视场角，作为一种实施方式，第一横轴方向的视场角可以是第一当前方向的视场角在水平方向的视场角，第一纵轴方向的视场角可以是第一当前方向的视场角在垂直方向的视场角。第二当前方向的视场角包括第二横轴方向的视场角和第二纵轴方向的视场角，作为二种实施方式，第二横轴方向的视场角可以是第二当前方向的视场角在水平方向的视场角，第二纵轴方向的视场角可以是第二当前方向的视场角在垂直方向的视场角。

步骤s470：根据成像原理，由所述第一分辨率参数、所述第二分辨率参数、所述第一当前方向的视场角计算得到所述第一图像到与其对应的第一参考图像之间的第一单应矩阵，由所述第一分辨率参数、所述第二分辨率参数、所述第二当前方向的视场角计算得到所述第二图像到与其对应的第二参考图像之间的第二单应矩阵。在本发明实施例中，步骤s470所述的计算方式，可以通过下述公式计算得到：

由成像原理，设所述第一图像中的一点(u1,v1)，与(u1,v1)其对应的第一参考图像中的一点(x1,y1)，由成像原理，(u1,v1)和(x1,y1)满足关系：

同理如上述步骤s430所述，请参阅图4，由几何关系可得到

其中，hvcurtoref是所述第一图像到与其对应的第一参考图像之间的第一单应矩阵，

vhs1＝tan(fovhcur/2)/tan(fovhref/2)，

vhtx＝w1/2*(1-tan(fovhcur/2)/tan(fovhref/2))，

vvs2＝tan(fovvcur/2)/tan(fovvref/2)，

vvty＝h1/2*(1-tan(fovvcur/2)/tan(fovvref/2))。

其中，fovhcur和fovvcur分别是第一当前方向的视场角包括的水平方向的视场角和垂直方向的视场角，ifovhcur和ifovvcur分别是第二当前方向的视场角包括的水平方向的视场角和垂直方向的视场角。同理可得，所述第二图像到与其对应的第二参考图像之间的第二单应矩阵hicurtoref为：

其中，ihs1＝tan(ifovhcur/2)/tan(ifovhref/2)，

ihtx＝w2/2*(1-tan(ifovhcur/2)/tan(ifovhref/2))，

ivs2＝tan(ifovvcur/2)/tan(ifovvref/2)，

ivty＝h2/2*(1-tan(ifovvcur/2)/tan(ifovvref/2))。

设所述第二图像中的一点(u2,v2)，与(u2,v2)其对应的第二参考图像一点(x2,y2)，(u2,v2)与(x2,y2)满足关系：

将上述公式中的所述第二参考方向的视场角换成所述第二当前方向的视场角，即可得到所述第二图像中的一点(u2,v2)到与(u2,v2)其对应的第二当前视场的一点的第二单应矩阵。

步骤s480：根据矩阵变换关系，通过所述参考单应矩阵、所述第一单应矩阵和所述第二单应矩阵计算得到所述第一图像与所述第二图像之间的单应矩阵。在本发明实施例中，所述第一图像与所述第二图像之间的单应矩阵包括从第一图像到第二图像的单应矩阵和从第二图像到第一图像的单应矩阵。

在本发明实施例中，步骤s480所述的计算方式，可以通过下述公式计算得到：

设第一图像到第二图像的单应矩阵为hvtoi，第一图像中的一点(u1,v1)，到第二图像中的一点(u2,v2)，由成像原理，有

则由第二图像到第一图像的单应矩阵hitov，(u2,v2)与(u1,v1)满足：

其中，hitov＝hvtoi^-1。通过公式(6)、(8)、(11)由矩阵变换，即可得到hvtoi，进一步得出hitov。

在本发明实施例中，可以将公式(3)～(5)中的第一图像的第一参考视场角替换成第一当前视场角，将第二图像的第二参考视场角替换成第二当前视场角，即可得到第一图像采集系统在任意视场角下采集的第一图像与第二图像采集系统在任意视场角下采集的第二图像之间的单应关系。其中，第一图像采集系统和第二图像采集系统可以是光电吊舱中的两路图像采集系统。

步骤s500：根据所述单应矩阵对所述第一图像和所述第二图像进行配准，得到配准图像对。

在本发明实施例中，所述配准图像对包括配准后的第一图像和配准后的第二图像。步骤s500包括步骤s510和步骤s520，作为一种实施方式，步骤s500包括步骤s510、步骤s520和步骤s530。请参阅图6，图6示出了步骤s500的流程图。以下结合图6对步骤s510和步骤s520进行阐述。

步骤s510：根据成像原理，通过所述单应矩阵建立所述第一图像与所述第二图像的配准关系。

步骤s520：所述第一图像中的第一像素点通过所述配准关系找到该第一像素点在所述第二图像中对应的第二像素点，所有所述第一像素点构成配准后的第一图像，所有所述第二像素点构成配准后的第二图像。

步骤s600：将所述配准图像对进行像素融合，得到融合图像。

在本发明实施例中，步骤s600包括步骤s610和步骤s620所述内容，作为一种实施方式，步骤s600包括步骤s610和步骤s620。请参阅图7，图7示出了步骤s600的流程图。以下结合图7对步骤s610和步骤s620进行阐述。

步骤s610：将所述配准后的第二图像的每一个像素值进行归一化，以归一化后的像素值作为融合权重。

现有技术中，图像融合的权重一般是采用一个设定的权值核，多个像素点的融合权重相同，导致融合精度低。然而，本发明实施例采用将所述配准后的第二图像的每一个像素值进行归一化，以归一化后的像素值作为融合权重，使得第二图像中的每一个像素点的融合权重与其本身的像素值相对应，进一步的使得图像融合精确度高。

在本发明实施例中，将所述配准后的第二图像的每一个像素值都归一化到[0,1]范围内，得到的融合权重的值在[0,1]范围内。

步骤s620：将所述配准后的第一图像的每一个第一像素点的像素值和该第一像素点在所述配准后的第二图像中对应的第二像素点的像素值按照所述融合权重进行融合，得到融合图像。

具体的，将所述配准后的第一图像的每一个第一像素点的像素值和该第一像素点在所述配准后的第二图像中对应的第二像素点的像素值按照所述融合权重进行融合的具体实施方式，可如下公式的计算方式：

x＝(1-r)*x1+r*x2(13)

其中，x是融合图像中一点(x,y)的像素值，x1是所述配准后的第一图像中与(x,y)对应的一点的像素值，x2所述配准后的第二图像中与(x,y)对应的一点的像素值，r是融合权重，r∈[0,1]。

在本发明实施例中，第二图像可以是红外图像，第一图像可以是可见光图像，通过将红外图像和可见光图像进行融合得到融合图像，使得融合图像具有丰富的细节和色彩信息，而且具有足够的分辨率，同时其抗干扰能力强。

通过采用以上方案，具有可见光图像采集系统和红外线图像采集系统的摄像系统，能够将不同摄像系统的图像信息进行融合，克服单一传感器图像信息的不足，便于摄像系统全天侯工作，特别是机载吊舱可以全天候侦察。

通过采用以上方案，不必必须只有两路图像采集系统光轴严格平行时才可进行两路图像信息融合，只需确定两路成像系统的相对位置关系，即可进行光电吊舱两路图像信息的融合。降低了工作量，另一方面具有更广的适用性。

所述处理器102执行上述步骤所述的方法时，通过执行下述的图像融合装置200中的模块来实现。请参阅图8，图8示出了一种图像融合装置200的方框结构示意图。以下结合图8对图像融合方法进行阐述。

在本发明实施例中，图像融合装置200包括获得图像模块210、求取几何偏移量模块220、获取参考视场角模块230、计算配准关系模块240、图像配准模块250和图像融合模块260。获得图像模块210、求取几何偏移量模块220、获取参考视场角模块230、计算配准关系模块240、图像配准模块250和图像融合模块260之间依次连接。

获得图像模块210，用于获得第一图像和第二图像，其中所述第一图像由第一图像采集系统在第一当前视场角采集得到，所述第二图像由第二图像采集系统在第二当前视场角采集得到。在本发明实施例中，获得图像模块210可以用于执行上述步骤s100所述，上述步骤s100所述内容适用于获得图像模块210，具体的可以参考上述步骤s100所述内容，在此不再赘述。

求取几何偏移量模块220，用于求取所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量。在本发明实施例中，求取几何偏移量模块220可以用于执行上述步骤s200所述，上述步骤s200所述内容适用于求取几何偏移量模块220，具体的可以参考上述步骤s200所述内容，在此不再赘述。

在本发明实施例中，求取几何偏移量模块220包括获取光心距离单元获取采样点偏移量单元和计算几何偏移量单元。获取光心距离单元、获取采样点偏移量单元和计算几何偏移量单元之间依次连接。

获取光心距离单元，用于获取所述第一图像采集系统的光心到所述第二图像采集系统的光心之间在景深方向的距离。在本发明实施例中，获取光心距离单元可以用于执行上述步骤s210所述，上述步骤s210所述内容适用于获取光心距离单元，具体的可以参考上述步骤s210所述内容，在此不再赘述。

获取采样点偏移量单元，用于分别获取两组不同物距下，参考目标在所述第一图像中的位置到所述参考目标在所述第二图像中的位置的偏移量，得到两组偏移量。在本发明实施例中，获取采样点偏移量单元可以用于执行上述步骤s220所述，上述步骤s220所述内容适用于获取采样点偏移量单元，具体的可以参考上述步骤s220所述内容，在此不再赘述。

计算几何偏移量单元，用于根据所述两组偏移量以及所述第一图像采集系统的光心到所述第二图像采集系统的光心之间在景深方向的距离，计算得到所述第一图像采集系统与所述第二图像采集系统之间的几何偏移量。在本发明实施例中，计算几何偏移量单元可以用于执行上述步骤s230所述，上述步骤s230所述内容适用于计算几何偏移量单元，具体的可以参考上述步骤s230所述内容，在此不再赘述。

获取参考视场角模块230，用于获取所述第一图像采集系统对应的预先设定的第一参考视场角和所述第二图像采集系统对应的预先设定的第二参考视场角。在本发明实施例中，获取参考视场角模块230可以用于执行上述步骤s300所述，上述步骤s300所述内容适用于获取参考视场角模块230，具体的可以参考上述步骤s300所述内容，在此不再赘述。

计算配准关系模块240，用于根据所述第一参考视场角、所述第二参考视场角以及所述几何偏移量计算所述第一图像与所述第二图像之间的单应矩阵。在本发明实施例中，计算配准关系模块240可以用于执行上述步骤s400所述，上述步骤s400所述内容适用于计算配准关系模块240，具体的可以参考上述步骤s400所述内容，在此不再赘述。在本发明实施例中，计算配准关系模块240包括获取图像参数单元、计算参考方向的视场角单元、获取参考图像单元、计算参考配准关系单元、获取当前视场角单元、计算当前方向的视场角单元、计算单映射关系单元和计算单应矩阵单元。获取图像参数单元、计算参考方向的视场角单元、获取参考图像单元、计算参考配准关系单元、获取当前视场角单元、计算当前方向的视场角单元、计算单映射关系单元和计算单应矩阵单元之间依次连接。以下对获取图像参数单元、计算参考方向的视场角单元、获取参考图像单元、计算参考配准关系单元、获取当前视场角单元、计算当前方向的视场角单元、计算单映射关系单元和计算单应矩阵单元进行阐述。

获取图像参数单元，用于获取所述第一图像对应的第一物距以及所述第一图像的第一分辨率参数和所述第二图像的第二分辨率参数。在本发明实施例中，获取图像参数单元可以用于执行上述步骤s410所述，上述步骤s410所述内容适用于获取图像参数单元，具体的可以参考上述步骤s410所述内容，在此不再赘述。

计算参考方向的视场角单元，用于根据所述第一参考视场角计算得到所述第一图像采集系统的第一参考方向的视场角，根据所述第二参考视场角计算得到所述第二图像采集系统的第二参考方向的视场角。在本发明实施例中，计算参考方向的视场角单元可以用于执行上述步骤s420所述，上述步骤s420所述内容适用于计算参考方向的视场角单元，具体的可以参考上述步骤s420所述内容，在此不再赘述。

获取参考图像单元，用于获取第一图像采集系统在预先设定的第一参考视场角下采集的第一参考图像和第二图像采集系统在预先设定的第二参考视场角下采集的第二参考图像。在本发明实施例中，获取参考图像单元可以用于执行上述步骤s430所述，上述步骤s430所述内容适用于获取参考图像单元，具体的可以参考上述步骤s430所述内容，在此不再赘述。

计算参考配准关系单元，用于根据坐标变换关系，由所述第一分辨率参数、所述第二分辨率参数、所述第一物距、所述第一参考方向的视场角和所述第二参考方向的视场角计算得到所述第一图像的第一参考方向视场与所述第二图像的第二参考方向视场之间的参考单应矩阵。在本发明实施例中，计算参考配准关系单元可以用于执行上述步骤s440所述，上述步骤s440所述内容适用于计算参考配准关系单元，具体的可以参考上述步骤s440所述内容，在此不再赘述。

获取当前视场角单元，用于获取所述第一图像采集系统的第一当前视场角和所述第二图像采集系统对应的第二当前视场角。在本发明实施例中，获取当前视场角单元可以用于执行上述步骤s450所述，上述步骤s450所述内容适用于获取当前视场角单元，具体的可以参考上述步骤s450所述内容，在此不再赘述。

计算当前方向的视场角单元，用于根据所述第一当前视场角计算得到所述第一图像采集系统的第一当前方向的视场角，根据所述第二当前视场角计算得到所述第二图像采集系统的第二当前方向的视场角。在本发明实施例中，计算当前方向的视场角单元可以用于执行上述步骤s460所述，上述步骤s460所述内容适用于计算当前方向的视场角单元，具体的可以参考上述步骤s460所述内容，在此不再赘述。

计算单映射关系单元，用于根据成像原理，由所述第一分辨率参数、所述第二分辨率参数、所述第一当前方向的视场角计算得到所述第一图像到与其对应的第一参考图像之间的第一单应矩阵；由所述第一分辨率参数、所述第二分辨率参数、所述第二当前方向的视场角计算得到所述第二图像到与其对应的第二参考图像之间的第二单应矩阵。在本发明实施例中，计算单映射关系单元可以用于执行上述步骤s470所述，上述步骤s470所述内容适用于计算单映射关系单元，具体的可以参考上述步骤s470所述内容，在此不再赘述。

计算单应矩阵单元，用于根据矩阵变换关系，通过所述参考单应矩阵、所述第一单应矩阵和所述第二单应矩阵计算得到所述第一图像与所述第二图像之间的单应矩阵。在本发明实施例中，计算单应矩阵单元可以用于执行上述步骤s480所述，上述步骤s480所述内容适用于计算单应矩阵单元247，具体的可以参考上述步骤s480所述内容，在此不再赘述。

图像配准模块250，用于根据所述单应矩阵对所述第一图像和所述第二图像进行配准，得到配准图像对。在本发明实施例中，图像配准模块250可以用于执行上述步骤s500所述，上述步骤s500所述内容适用于图像配准模块250，具体的可以参考上述步骤s500所述内容，在此不再赘述。

在本发明实施例中，图像配准模块250包括建立配准关系单元和匹配单元，建立配准关系单元与匹配单元连接。以下对建立配准关系单元和匹配单元进行阐述。

建立配准关系单元，用于根据成像原理，通过所述单应矩阵建立所述第一图像与所述第二图像的配准关系。在本发明实施例中，建立配准关系单元可以用于执行上述步骤s510，上述步骤s510所述内容适用于建立配准关系单元，具体的可以参考上述步骤s510所述内容，在此不再赘述。

匹配单元，用于所述第一图像中的第一像素点通过所述配准关系找到该第一像素点在所述第二图像中对应的第二像素点。所有所述第一像素点构成配准后的第一图像，所有所述第二像素点构成配准后的第二图像。在本发明实施例中，匹配单元可以用于执行上述步骤s520，上述步骤s520所述内容适用于匹配单元，具体的可以参考上述步骤s520所述内容，在此不再赘述。

图像融合模块260，用于将所述配准图像对进行像素融合，得到融合图像。在本发明实施例中，图像融合模块260可以用于执行上述步骤s600所述，上述步骤s600所述内容适用于图像融合模块260，具体的可以参考上述步骤s600所述内容，在此不再赘述。在本发明实施例中，图像融合模块260包括确定权重单元和像素融合单元，确定权重单元与像素融合单元连接。以下对确定权重单元和像素融合单元进行阐述。

确定权重单元，用于将所述配准后的第二图像的每一个像素值进行归一化，以归一化后的像素值作为融合权重。在本发明实施例中，确定权重单元可以用于执行上述步骤s610，上述步骤s620所述内容适用于确定权重单元，具体的可以参考上述步骤s610所述内容，在此不再赘述。

像素融合单元，用于将所述配准后的第一图像的每一个第一像素点的像素值和该第一像素点在所述配准后的第二图像中对应的第二像素点的像素值按照所述融合权重进行融合，得到融合图像。在本发明实施例中，像素融合单元可以用于执行上述步骤s620，上述步骤s620所述内容适用于像素融合单元，具体的可以参考上述步骤s620所述内容，在此不再赘述。

综上所述，本发明实施例还提供了一种图像融合方法、装置及电子设备100，首先通过获得第一图像和第二图像，其中第一图像由第一图像采集系统在第一当前视场角采集得到，第二图像由第二图像采集系统在第二当前视场角采集得到，求取第一图像采集系统与第二图像采集系统之间的几何偏移量，然后获取第一图像采集系统对应的预先设定的第一参考视场角和第二图像采集系统对应的预先设定的第二参考视场角；其次，根据第一参考视场角、第二参考视场角以及几何偏移量计算第一图像与第二图像之间的单应矩阵，根据单应矩阵对第一图像和第二图像进行配准，得到配准图像对，最后将配准图像对进行像素融合，得到融合图像。与现有技术相比，本发明提供的图像融合方法不需要对第一图像采集系统和第二图像采集系统进行光轴标校就可以对第一图像采集系统采集得到的第一图像和第二图像采集系统采集得到的第二图像进行融合，图像融合效果好。