图像融合方法及装置、存储介质及电子设备与流程

1.本发明涉及图像处理技术领域，具体而言，涉及一种图像融合方法及装置、存储介质及电子设备。


背景技术：

2.目前的智能手机普遍配备多个摄像头，在手机拍照时可对多个摄像头采集的图像进行融合，以改善照片的质量。
3.在多摄像头融合算法中，往往需要先对待融合的图像进行配准，再对配准后的图像进行融合。然而，不同摄像头采集的图像之间存在视差，在视差区域内不能进行有效的配准；另外，由于配准算法本身的局限性，也导致在图像中存在一些不能有效配准的区域。上述区域的存在使得待融合图像配准质量不佳，进而导致得到的融合图像质量不佳，难以满足用户需求。


技术实现要素：

4.本技术实施例的目的在于提供一种图像融合方法及装置、存储介质及电子设备，以改善上述技术问题。
5.为实现上述目的，本技术提供如下技术方案：
6.第一方面，本技术实施例提供一种图像融合方法，包括：获取待融合图像，所述待融合图像包括参考图像和非参考图像；计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像；对所述参考图像进行语义分割，获得分割掩膜，所述分割掩膜包括多个分割区域的位置信息；确定所述位移图像中异常的像素值，并在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，获得修复后的位移图像；根据所述修复后的位移图像对所述非参考图像进行配准，获得配准后的非参考图像；对所述参考图像和所述配准后的非参考图像进行融合，获得融合图像。
7.在上述方法中，并非直接利用位移图像对非参考图像进行配准，而是先确定位移图像中异常的像素值，并利用位移图像中正常的像素值对其进行修复，然后再根据修复后的位移图像对非参考图像进行配准。由于位移图像中取值异常的像素构成的正是非参考图像中无法进行有效配准的区域，因此对这些异常的像素值进行修复就相当于增大了可以进行有效配准的区域面积，从而有利于改善图像配准的效果，进而提高最终得到的融合图像的质量。
8.进一步的，上述方法在修复位移图像中异常的像素值时，利用了对参考图像进行语义分割所得到分割掩膜，对异常像素值的修复是在分割掩膜中包含的每个分割区域内部进行的，而不会跨分割区域进行。其原因在于，分割掩膜中的每个分割区域代表的是同一个或同一类对象，其可以近似为一个平面区域，从而位移图像在同一分割区域内的像素值大概率是平滑的，即取值一般不会出现跳变，因此分区域进行像素值修复可以得到比较合理的修复值，从而具有较好的修复效果。
9.在第一方面的一种实现方式中，所述在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，包括：在所述分割区域内对所述位移图像进行滤波，以利用所述分割区域内正常的像素值对异常的像素值进行修复，修复的方式包括：根据滤波窗口内正常的像素值计算新像素值，并利用所述新像素值替换掉位于所述滤波窗口中心的异常的像素值。
10.在上述实现方式中，通过执行区域内(指分割区域内)的滤波操作实现位移图像中异常像素值的修复，在滤波时，通过不断移动滤波窗口的位置来不断修复位于窗口中心的异常像素值(如果窗口中心的像素值确实存在异常的话)。由于滤波窗口的尺寸通常较小，如3
×
3、5
×
5的矩形，因此可以认为位移图像在同一滤波窗口内的像素值是平滑的，从而此种像素值修复方式比较合理。
11.在第一方面的一种实现方式中，所述在所述分割区域内对所述位移图像进行滤波，包括：在所述分割区域内对所述位移图像进行多次滤波，直至所述位移图像中异常的像素值全部被修复。
12.在上述实现方式中，滤波操作可反复进行，以实现修复效果的最大化。
13.在第一方面的一种实现方式中，所述确定所述位移图像中异常的像素值，包括：分别对所述参考图像和所述非参考图像进行区域划分；计算所述非参考图像中的每个区域与所述参考图像中的对应区域之间的单应性矩阵；针对所述非参考图像中待融合的每个像素，执行以下操作：利用该像素所属区域的单应性矩阵计算该像素相对于所述参考图像中对应像素的第二配准位移；判断该像素的第一配准位移和第二配准位移之差是否超过第一阈值；若超过所述第一阈值，则将该像素的第一配准位移确定为所述位移图像中异常的像素值。
14.上述实现方式可有效检测位移图像中的视差区域(由被检测到取值异常的像素所构成)。
15.在第一方面的一种实现方式中，所述确定所述位移图像中异常的像素值，包括：分区域对所述位移图像中的像素值进行统计，并根据各区域的统计结果将出现频度小于第二阈值的像素值确定为异常的像素值。
16.上述实现方式可有效检测位移图像中的位移扭曲区域(由被检测到取值异常的像素所构成)。
17.在第一方面的一种实现方式中，所述计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像，包括：将所述参考图像和所述非参考图像中公共的部分确定为待融合区域；在所述待融合区域中，计算所述非参考图像中的像素相对于所述参考图像中对应像素的第一配准位移，获得所述位移图像。
18.对于参考图像和非参考图像，若其所包含的内容相同，则可以整张图像都用于融合，若其所包含的内容只有部分相同，则可以只对二者公共的部分进行融合。总之，待融合区域的选择具有高度的灵活性。
19.在第一方面的一种实现方式中，所述获取待融合图像，包括：获取原始待融合图像，所述原始待融合图像包括原始参考图像和原始非参考图像，所述原始参考图像和所述原始非参考为处于不同变焦倍率下的摄像头采集的图像；将所述原始参考图像和所述原始非参考图像归一化至同一变焦倍率下，获得所述参考图像和所述非参考图像。
20.在不同变焦倍率下采集的图像中，同一对象(如人、物体)具有不同的尺寸(指图中的尺寸)，从而难以直接进行配准，需要先将图像的变焦倍率归一化。
21.在第一方面的一种实现方式中，所述参考图像为广角摄像头采集的图像且所述非参考图像为长焦摄像头采集的图像；或者，所述参考图像为彩色摄像头采集的图像且所述非参考图像为黑白摄像头采集的图像。
22.上述实现方式给出了两种具体的图像融合场景，当然可以理解的，图像融合并不限于这两种应用场景。
23.其中，广角摄像头采集的图像范围较大，但其中的对象尺寸较小，从而清晰度相对较低，长焦摄像头采集的图像范围较小，但其中的对象尺寸较大，从而清晰度相对较高，因此将长焦摄像头采集的图像融合到广角摄像头采集的图像中，可以改善其画质同时兼顾拍摄范围。
24.彩色摄像头采集的图像具有颜色，能够满足用户的多数需求，但图像清晰度相对较低，黑白摄像头采集的图像没有颜色，不能够满足用户的多数需求，但图像清晰度相对较高，因此将黑白摄像头采集的图像融合到彩色摄像头采集的图像中，可以改善其画质同时满足用户的普遍需求。
25.第二方面，本技术实施例提供一种图像融合装置，包括：待融合图像获取模块，用于获取待融合图像，所述待融合图像包括参考图像和非参考图像；位移图像获取模块，用于计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像；图像分割模块，用于对所述参考图像进行语义分割，获得分割掩膜，所述分割掩膜包括多个分割区域的位置信息；像素值修复模块，用于确定所述位移图像中异常的像素值，并在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，获得修复后的位移图像；图像配准模块，用于根据所述修复后的位移图像对所述非参考图像进行配准，获得配准后的非参考图像；图像融合模块，用于对所述参考图像和所述配准后的非参考图像进行融合，获得融合图像。
26.第三方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
27.第四方面，本技术实施例提供一种电子设备，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
附图说明
28.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
29.图1示出了本技术实施例提供的图像融合方法的流程；
30.图2示出了本技术实施例提供的图像融合方法的一个应用场景；
31.图3示出了本技术实施例中的分割掩膜；
32.图4示出了本技术实施例中的位移图像的滤波原理；
33.图5示出了本技术实施例中的位移图像在滤波时是否采用分割掩膜的差异；
34.图6示出了本技术实施例提供的图像融合装置的结构；
35.图7示出了本技术实施例提供的电子设备的结构。
具体实施方式
36.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
37.术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
38.术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
39.图1示出了本技术实施例提供的图像融合方法的流程。该方法可以但不限于由图7示出的电子设备执行，该电子设备的结构可参照后文关于图7的阐述。参照图1，该方法包括：
40.步骤s110：获取待融合图像。
41.待虑待融合图像包括多帧图像，其中一帧为参考图像，其余帧为非参考图像。为简单起见，暂时先考虑非参考图像只有一帧的情况。其中，参考图像可以指作为图像融合的基准的图像，即应将非参考图像配准到参考图像所在的坐标系下，然后再与参考图像相融合，而参考图像本身则无需配准。
42.参考图像和非参考图像可以来源于不同摄像头采集的图像，例如，一台手机上的多个摄像头采集的图像，但也可以来源于同一个摄像头采集的图像，例如一台手机上的单个摄像头在连续多个时刻采集的图像，在后文中主要以来源于不同摄像头的情况为例。
43.例如，参考图像可以是广角摄像头采集的图像同时非参考图像可以是长焦摄像头采集的图像。其中，广角摄像头采集的图像范围较大，但其中的对象，例如人、物体等尺寸较小(指在图像中占据的像素数量较少)，从而清晰度相对较低，长焦摄像头采集的图像范围较小，但其中的对象尺寸较大，从而清晰度相对较高，因此将长焦摄像头采集的图像融合到广角摄像头采集的图像中，可以在改善其画质同时兼顾拍摄范围。
44.需要指出，上面所说的“参考图像是广角摄像头采集的图像”，是指参考图像来源于广角摄像头采集的图像，但并不是说参考图像一定是广角摄像头采集的原始图像，其也有可能是广角摄像头采集的原始图像经过某些处理后得到的图像。对于非参考图像也是类似的。
45.又例如，参考图像可以是彩色摄像头采集的图像同时非参考图像可以是黑白摄像头采集的图像。其中，彩色摄像头采集的图像具有颜色，能够满足用户的多数需求(例如，普
通用户多数情况下会拍摄彩色照片)，但图像清晰度相对较低，黑白摄像头采集的图像没有颜色，不能够满足用户的多数需求，但图像清晰度相对较高，因此将黑白摄像头采集的图像融合到彩色摄像头采集的图像中，可以在改善其画质同时满足用户的普遍需求。
46.进一步的，不同的摄像头可能具有不同的变焦倍率，例如一台手机上的广角摄像头变焦倍率为1x，长焦摄像头变焦倍率为1.5x(注意，这里的广角和长焦应理解为相对意义上的，并非摄影意义上严格的广角和长焦)，这导致同一个对象在不同摄像头采集的原始图像中具有不同的尺寸，从而难以直接对这些原始图像进行配准，进而也难以将其进行融合。类似的，对于可变焦的同一个摄像头，若希望融合其在不同变焦倍率下采集的原始图像，也存在同样的问题。
47.例如，在图2中的第一行，两张图像为具有不同变焦倍率的摄像头采集的原始图像，其中左侧图像为广角摄像头采集，右侧图像为长焦摄像头采集，分别称为原始参考图像和原始非参考图像。观察可知，同一个白衣女性在原始参考图像中尺寸较小而在原始非参考图像中尺寸较大，从而难以直接对原始参考图像和原始非参考图像进行融合。
48.对于这样的情况，可以先将原始参考图像和原始非参考图像归一化至同一变焦倍率下，得到参考图像和非参考图像，然后再执行后续的图像配准及融合步骤。
49.例如，对于图2，因为广角摄像头采集的图像范围比长焦摄像头采集的图像范围更大，所以原始非参考图像的内容实际上已经包含在原始参考图像中(当然拍摄角度可能略有区别)，从而归一化的方式可以是保持原始参考图像不变(即将原始参考图像直接作为参考图像)，同时通过缩小原始非参考图像以得到非参考图像，如图2第二行所示。其中，非参考图像的缩小倍数取决于原始参考图像和原始非参考图像的变焦倍数，比如，原始参考图像的变焦倍率为1x，原始非参考图像的变焦倍率为1.5x，则缩小倍数为1.5(边长缩小为原来的2/3)。
50.继续参照图2，参考图像中还包含一个虚线框，该虚线框中的内容和非参考图像是相同的(当然拍摄角度可能略有区别)，即该虚线框代表的是参考图像和非参考图像中公共的部分，不妨将这部分区域称为待融合区域，参考图像和非参考图像在待融合区域内的像素可以进行融合，融合方法详见后续步骤，而在待融合区域外的像素则不能进行融合。
51.待融合区域在参考图像和非参考图像中的位置是可计算的。对于图2，只需维持参考图像的边框中心不变，边长缩小为原来的2/3即可得到待融合区域在参考图像中的位置，而待融合区域在非参考图像中的位置就是非参考图像的边框。也就是说，在进行图像融合时，仅需将非参考图像与参考图像中位于虚线框以内的部分进行融合，参考图像中位于虚线框以外的部分则可维持原像素值不变。
52.在图2示出的例子中，归一化时不用对原始参考图像进行处理，但也有一些情况下需要对原始参考图像进行处理。例如，一台手机上的广角摄像头变焦倍率为1x，长焦摄像头变焦倍率为2x，且镜头本身均为定焦，但用户希望在手机屏幕上看到变焦倍率为1.5x的画面，此时可以通过融合广角摄像头采集的图像和长焦摄像头采集的图像来得到目标画面。一种可能的做法如下：
53.因为变焦倍率1x《1.5x，所以在变焦倍率为1x的原始参考图像中，有部分内容，即靠近图像边框占全图1/3(1-1/1.5)的部分，在变焦倍率为1.5x的图像中是拍摄不到的，可将其从原始参考图像中裁剪掉，然后再适当放大裁剪后的图像(由于手机拍照的分辨率固
定，裁剪相当于降低了分辨率，因此需要放大图像恢复原分辨率)，即可得到变焦倍率为1.5x的参考图像。而因为变焦倍率2x》1.5x，所以变焦倍率为2x的原始非参考图像的内容已经包含在变焦倍率为1.5x的图像中，从而只需将原始非参考图像缩小为原来的3/4(1.5/2)即可得到变焦倍率为1.5x的非参考图像。
54.在获得参考图像和非参考图像后，待融合区域的位置也可以计算。其中，维持参考图像的边框中心不变，边长缩小为原来的3/4即可得到待融合区域在参考图像中的位置，而待融合区域在非参考图像中的位置就是非参考图像的边框。确定了待融合区域后，具体的融合步骤将在后文阐述。
55.可以理解，若原始参考图像和原始非参考图像本来就具有相同的变焦倍率，直接将二者作为参考图像和非参考图像即可，无需进行任何缩放处理，此时也无需计算待融合区域，因为整张参考图像和整张非参考图像都可用于融合。当然，待融合区域也可以根据用户需求自由指定，例如，即使整张参考图像和整张非参考图像都可用于融合，但也可以只选择两张图像的中心区域作为待融合区域。在后文中，为简单起见，不妨认为待融合区域总是需要计算的，对于上述无需计算待融合区域的情况也可将其视为待融合区域为全图区域的一种特例。
56.步骤s120：计算非参考图像中待融合的像素相对于参考图像中对应像素的第一配准位移，获得位移图像。
[0057]“非参考图像中待融合的像素”是指非参考图像中位于待融合区域内的像素，理想情况下，这些像素在参考图像的待融合区域中存在对应的像素，每组具有对应关系的两个像素对应于实际对象上的同一点，但由于视差等原因，这两个像素在待融合区域中的坐标很可能是不同的，二者的坐标之差就是第一配准位移，第一配准位移可视为一个向量，已知非参考图像中某个像素的坐标及其对应的第一配准位移，可以将该像素移动到参考图像中对应像素所在的位置(即像素的配准)，进而可以在此基础上进行像素的融合。
[0058]
对于非参考图像中每个待融合的像素，根据特定的稠密配准算法都可以计算出一个第一配准位移，这些第一配准位移按照其在非参考图像中对应的像素坐标也形成了一张图像，其尺寸和待融合区域相同，称为位移图像，即位移图像中的每个像素的值都是一个第一配准位移。上述稠密配准算法泛指一种逐像素进行配准的算法，相对地还有稀疏配准算法，稀疏配准算法只根据某些特定点进行配准，步骤s120中使用稠密配准算法，例如光流法等，光流法输出的光流场就是步骤s120中的位移图像。
[0059]
注意，虽然对于非参考图像中每个待融合的像素都可以计算出一个第一配准位移，但出于各种原因，该位移的值未必能够将非参考图像中待融合的像素配准到其在参考图像中真实对应的像素，例如，非参考图像中一个表示眼睛的像素，可能被一个不准确的第一配准位移错误地配准到参考图像中一个表示鼻子的像素上，称这样的第一配准位移是异常的，反映到位移图像上，就是图像中一些像素的取值存在异常，不能实现有效的配准。在后续步骤中，会对位移图像中这些异常的像素值进行修复。
[0060]
步骤s130：对参考图像进行语义分割，获得分割掩膜。
[0061]
语义分割是一类图像分割算法，这类算法将图像划分为具有一定语义的多个区域，不妨称为分割区域。例如，每个分割区域可表示一个或者一类对象：比如，将图像中的人划分为一类区域(一类区域中可以包含多个不连通的分割区域)，背景划分为一类区域；又
比如，将图像中的每个人划分为一个区域，背景划分为一个区域；又比如，将图像中的每个人划分为一个区域，每个物体(如车辆、道路、树木、建筑)划分为一个区域，等等。
[0062]
语义分割的结果可以用分割掩膜表示，分割掩膜是一张图像，掩膜中的像素值记录了各分割区域的位置信息。比如，最简单的情况，如果只划分两类区域，语义分割的结果可以是一个二值掩膜，其中取255的像素值表示人所在的区域，取0的像素值表示背景所在的区域，图3示出了一个这样的二值掩膜，该掩膜对应于图2中参考图像的语义分割结果。需要指出，由于图2的参考图像只有待融合区域内的部分用于融合，因此图3示出的也仅仅是这部分的语义分割结果而并非整张参考图像的语义分割结果，可选的，在进行语义分割时，既可以对整张参考图像进行分割，但只使用得到的分割掩膜中位于待融合区域内的部分，也可以一开始就只对参考图像位于待融合区域内的部分进行分割以获得分割掩膜。
[0063]
本技术的方案并不限定具体的语义分割算法，例如，若进行图3中的人像分割，可以采用unet、fcn等基于神经网络模型的分割算法。
[0064]
步骤s140：确定位移图像中异常的像素值，并在位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，获得修复后的位移图像。
[0065]
位移图像中异常的像素值可形成位移图像中的异常区域，异常区域的存在使得直接按照位移图像无法进行有效配准，进而严重影响后续的图像融合效果。经发明人研究，可能的异常区域的大概有以下几种：
[0066]
(1)视差区域
[0067]
对于参考图像和非参考图像是不同摄像头采集的情况，各摄像头由于拍摄角度不同，因此相互之间存在视差，即非参考图像中存在的某些内容在参考图像中是不存在的，从而非参考图像中的某些待融合的像素在参考图像中难以找到对应的像素，这样计算出的第一配准位移自然也不正确。这类异常的第一配准位移构成位移图像中的视差区域。
[0068]
(2)扭曲区域
[0069]
采用光流法进行图像配准时，在前景和背景的交界区域(例如图2中任务的边缘)计算出的第一配准位移(即光流)容易出现异常，若按照这些异常的第一配准位移进行图像配准及融合，将导致融合图像在前景和背景的交界区域出现画面扭曲的现象，据此可将位移图像中由这类异常的第一配准位移构成区域称为扭曲区域。
[0070]
(3)其他异常区域
[0071]
还有很多其他因素可能造成第一配准位移不能正确计算，这些异常的第一配准位移构成位移图像中的其他异常区域。例如，待融合图像中存在大片无纹理或者弱纹理的区域，由于这些区域内缺少特征使得像素间的对应关系不明确，从而计算出的第一配准位移也不准确。
[0072]
总结来说，视差区域是由于摄像头本身的设置方式导致的，对多摄像头融合场景而言是固有的异常区域。而另外两种异常区域则是由于配准算法本身的局限性造成的，也很难完全避免。
[0073]
下面以视差区域和扭曲区域为例，介绍如何在位移图像中检测属于这些区域的异常像素值。
[0074]
a.视差区域检测
[0075]
步骤a1：分别对参考图像和非参考图像进行区域划分。
[0076]
例如，可以将参考图像和非参考图像按照设定好的方式划分(例如，均匀划分)为若干矩形的区域，区域的大小可以根据需求设定。可选的，各区域之间可以存在重叠的部分，即图像中的一个像素可以同时从属于多个区域。可以理解的，也可以只对参考图像和非参考图像在待配准区域内的部分进一步进行区域划分。
[0077]
步骤a2：计算非参考图像中的每个区域与参考图像中的对应区域之间的单应性矩阵。
[0078]
区域之间的对应关系可以通过区域的位置确定，可以通过区域中图像内容的相似性确定，或者采用其他方式，总之，非参考图像中的每个区域都可以在参考图像找到一个与之对应的区域，二者之间的单应性矩阵表征从非参考图像中的区域到参考图像中的对应区域的变换，该变换可将前一个区域映射到后一个区域所在的平面，换句话说利用单应性矩阵可以将非参考图像中的区域配准到参考图像中对应的区域所在的坐标系下，不妨将这种操作称为区域配准。注意，严格来说配准针对的对象是区域所包含的图像，这里说对区域进行配准只是一种简化的说法。
[0079]
步骤a3：针对非参考图像中待融合的每个像素，执行以下操作：首先，利用该像素所属区域的单应性矩阵计算该像素相对于参考图像中对应像素的第二配准位移；然后，判断该像素的第一配准位移和第二配准位移之差是否超过第一阈值；若超过第一阈值，则将该像素的第一配准位移确定为位移图像中异常的像素值。
[0080]
根据步骤a2中的解释，利用单应性矩阵进行的区域配准是对区域整体进行配准，即非参考图像的区域中包含的所有像素都通过相同的变换进行配准，这与步骤s120中的稠密配准算法并不相同，稠密配准算法针对非参考图像中的每个待配准的像素都计算一个第一配准位移，并且各像素对应的第一配准位移之间具有一定的独立性，同一区域内的像素对应的第一配准位移并不必然遵循相同的变换。
[0081]
进一步的，对于非参考图像中待融合的像素，已知其坐标，利用该像素所属区域对应的单应性矩阵进行变换后，可以得到其在参考图像中对应像素的坐标，这两个坐标之差就是第二配准位移。
[0082]
如上所述，第二配准位移和第一配准位移的计算方式不同，表达的含义也不同，第一配准位移更多地表征非参考图像中的像素自身所服从的配准规律，第二配准位移则更多地表征非参考图像中的像素所属的区域所服从的配准规律。理想状态下，第一配准位移和第二配准位移应当是比较一致的，即个体分布也服从总体分布。因此，若非参考图像中的某个待融合像素的第一配准位移和第二配准位移之差(可取绝对值)较大，以至于超过了设定的第一阈值，则可认为该像素的第一配准位移是异常的，即检测到了位移图像中一个异常的像素值。
[0083]
发明人研究发现，通过上述方法检测到的异常像素值在位移图像中所形成的区域至少可以覆盖视差区域。
[0084]
在可选的方案中，为提高异常像素值检测的可靠性，可以适当地设计区域的划分方法，使得非参考图像中的每个待融合像素都从属于多个区域，这样，对于非参考图像中的一个待融合像素可以计算出多个第二配准位移。从而，可以将其对应的第一配准位移和每个第二配准位移应分别计算差值，并将得到的多个差值分别与第一阈值比较，获得多个比较结果，当且仅当多个比较结果满足一定条件的时候才判定该像素的第一配准位移是异常
的。这样的条件可以是：多个比较结果均为差值大于第一阈值、多个比较结果中的多数结果为差值大于第一阈值，等等。
[0085]
b.扭曲区域检测
[0086]
可以采用如下方法检测位于扭曲区域中的像素值：首先将位移图像按照设定好的方式划分(例如，均匀划分)为若干区域，比如矩形区域。然后，在每个区域内对位移图像中的像素值进行统计，若统计结果表明某个像素值的出现频度小于设定的第二阈值，则将其确定为异常的像素值。此处的频度泛指某个像素值出现的频繁程度，比如可以是某个像素值出现的次数，可以是某个像素值出现的频率，等等。
[0087]
例如，位移图像中某个矩形区域尺寸为10
×
10，即包含100个像素值，频度定义为像素值的出现次数，第二阈值设置为10，若统计出100个像素值中出现了50个(4,4)、45个(3,0)、3个(10,5)、2个(20,3)，则可以将3个(10,5)、2个(20,3)，共5个像素值判定为异常的像素值。
[0088]
发明人研究发现，通过上述方法检测到的异常像素值在位移图像中所形成的区域至少可以覆盖扭曲区域。该检测方法的大致原理为：扭曲区域一般分布在位移图像中前景和背景的交界位置，并且扭曲区域的分布范围通常比较窄，从而若划分出的区域尺寸比较大，其中属于扭曲区域的像素大概率只占很少的比例(即统计出的像素值频度较低，如上面的(10,5))，而大部分是属于前景或背景的像素，这些像素的像素值变化是比较小的(即统计出的像素值频度较高，如上面的(4,4))，从而可以利用像素值出现的频度检测异常的像素值。
[0089]
在替代方案中，上述分区域像素值统计也可以改为分区域像素值聚类等能够查找出孤立像素值的算法。
[0090]
对于位移图像中的其他异常区域，也可以通过相应的方法进行检测，不再详细说明。
[0091]
对于被检测为异常的像素值会对其像素位置进行标记，例如，可以创建一个二值掩膜，其中取0的像素对应位移图像中取值异常的像素，取255的像素对应位移图像中取值正常的像素。初始时可将该二值掩膜中的像素值置为全255，每检测到位移图像中一个异常的像素值，就将二值掩膜中对应位置的像素值置为0。需要指出，尽管造成位移图像中像素值异常的原因可能有多种，但在标记异常像素值的位置时，可不进行区分标记，即本技术的方案对于不同原因造成的像素值异常采用统一的方法进行修复。
[0092]
步骤s140中利用正常的像素值对异常的像素值进行修复，是指利用正常的像素值计算出一个新像素值，然后用该新像素值替换掉位移图像中异常的像素值，以获得修复后的位移图像。这里需要注意，根据修复算法的不同，修复后的位移图像和原始的位移图像可能并非是同一张图像，从而，上面所说的“替换”仅表示在修复后的位移图像中异常的像素值已经被替换掉，但在原始的位移图像中异常的像素值则未必被覆盖。
[0093]
本技术方案的关键在于，像素值修复是按分割区域进行的，即对于位移图像中的每个分割区域，利用该分割区域内正常的像素值对该分割区域内异常的像素值进行修复，不会进行跨分割区域的像素值修复，其中，分割区域的位置信息可以根据步骤s130中的分割掩膜得到。应当理解，若位移图像在某个分割区域内不存在异常的像素值，可以不对其进行修复处理。
[0094]
根据图像语义分割的定义，分割掩膜中的每个分割区域代表的是同一个或同一类对象，从而位移图像在同一分割区域内的像素值大概率是平滑的，即取值一般不会出现跳变，而只会保持恒定或者渐变，因此分区域进行像素值修复，计算出的新像素值可维持这种平滑特性，不至于产生一些不合理的修复值，从而具有较好的修复效果。
[0095]
在一些实现方式中，可以通过执行区域内(指分割区域内)的滤波操作实现位移图像中异常像素值的修复。在滤波过程中，不断移动滤波窗口的位置，每移动到一个新位置，就根据当前滤波窗口内正常的像素值计算新像素值，并利用新像素值替换掉位于滤波窗口中心的异常的像素值。当然，如果滤波窗口中心的像素值是正常的，则可以不进行修复，直接滤波将窗口移动至下一个位置。若滤波窗口位于分割区域的边界处，窗口中的部分像素位于分割区域之外，则在滤波时只需考虑窗口中位于分割区域内的那些像素。
[0096]
至于如何利用滤波窗口内正常的像素值计算新像素值，存在不同的方式，例如，可以计算窗口内正常像素值的平均值、加权平均值、中位数、最值等等，取决于具体的滤波算法。并且，在计算新像素值时也不一定要使用滤波窗口中全部正常的像素值，也可以只使用其中的一部分。
[0097]
图4示出了位移图像中一个5
×
5的滤波窗口，方格表示像素，数字表示像素编号，黑色方格表示取值异常的像素，白色方格表示取值正常的像素。由于中心像素12的取值是异常的，所以可以利用像素0、1、2、3、5、6、7、10、11、15、20的取值计算加权平均值，作为修复后的位移图像中像素12的取值。其中，权重可以根据参考图像中对应像素的灰度值(或颜色值)，像素与窗口中心的距离等因素进行计算。
[0098]
对于上述通过区域内滤波进行像素值修复的方法，由于滤波窗口的尺寸通常较小，如3
×
3、5
×
5的矩形，因此可以认为位移图像在同一滤波窗口内的像素值是平滑的，从而此种像素值修复方式比较合理。
[0099]
图5示出了位移图像在滤波时是否采用分割掩膜的差异。参照图5，第一行为参考图像中的像素值，第二行为位移图像中的像素值，其中灰色的表示异常的像素值。若根据参考图像中像素值的相似性直接对位移图像进行滤波，则滤波结果如第三行所示，其中3个异常的像素值分别被修复为-1、1、1，因为参考图像在这3个位置处的像素值为10、50、50。但根据第四行的分割掩膜可知，参考图像中左侧的6个像素值是属于同一个分割区域的，右侧的3个像素值是属于另一个分割区域的，第三行的修复结果使得位移图像在同一个分割区域内的像素值存在跳变(从-1变成1)，从而该修复结果大概率是不合理的。在第五行则根据像素值的相似性结合分割掩膜对位移图像进行滤波，滤波结果中三个异常的像素值分别被修复为-1、-1、-1，因为分割掩膜在这3个位置处的像素值为0、0、0，此修复结果使得位移图像在同一个分割区域内的像素值不存在跳变(均为-1)，从而该修复结果大概率是合理的。
[0100]
进一步的，步骤s140并未限定是否要修复位移图像中所有异常的像素值，也可以只修复其中的一部分，取决于具体的像素值修复算法。例如，若只对位移图像进行一次滤波，可能无法修复其中所有的异常像素值，比如，若某个滤波窗口内都是取值异常的像素，则无法计算出新像素值。对于此种情况，可以对位移图像按照分割区域进行多次滤波，直至位移图像中异常的像素值全部被修复，因为每次滤波都会有更多的异常的像素值得到修复，因此此种实现方式可以实现修复效果的最大化。
[0101]
可以理解的，除了滤波之外，还存在其他的像素值修复算法，例如，对于位移图像
中的每个异常区域(由异常像素值构成的连通区域)，直接将其中的像素值都替换为一个固定值，该固定值可取异常区域周边正常像素值的均值，或者可以取异常区域所在的分割区域中所有正常像素值的均值，等等。
[0102]
步骤s150：根据修复后的位移图像对非参考图像进行配准，获得配准后的非参考图像。
[0103]
对非参考图像中待融合的像素，按照修复后的位移图像中对应的像素值进行移动，即可完成配准。
[0104]
步骤s160：对参考图像和配准后的非参考图像进行融合，获得融合图像。
[0105]
对配准后的图像进行融合可以采用加权求和等方式，不作具体阐述。
[0106]
综上所述，本技术实施例提供的图像融合方法，并非直接利用位移图像对非参考图像进行配准，而是先确定位移图像中异常的像素值，并利用位移图像中正常的像素值对其进行修复，然后再根据修复后的位移图像对非参考图像进行配准。由于位移图像中取值异常的像素构成的正是非参考图像中无法进行有效配准的区域，因此对这些异常的像素值进行修复就相当于增大了可以进行有效配准的区域面积，从而有利于改善图像配准的效果，进而提高最终得到的融合图像的质量。
[0107]
进一步的，上述方法在修复位移图像中异常的像素值时，利用了对参考图像进行语义分割所得到分割掩膜，对异常像素值的修复是在分割掩膜中包含的每个分割区域内部进行的。其原因在于，分割掩膜中的每个分割区域代表的是同一个或同一类对象，从而位移图像在同一分割区域内的像素值大概率是平滑的，因此分区域进行像素值修复可以得到比较合理的修复值，从而具有较好的修复效果，可以改善后续得到的融合图像的质量。
[0108]
上面在介绍图像融合时，只考虑了两帧图像融合的情况。下面简单说明一下如果有更多帧图像需要融合可能会如何处理，不妨以三帧图像i1、i2、i3为例。
[0109]
融合方式1：先将i2配准到i1，然后融合i1和i2，得到i12，此时i1是参考图像，i2是非参考图像，i12是融合图像；再将i3配准到i12，然后融合i12和i3，得到i123，此时i12是参考图像，i3是非参考图像，i123是融合图像。融合方式1应用了两次图1的融合方法。
[0110]
融合方式2：先将i3配准到i2，然后融合i2和i3，得到i23，此时i2是参考图像，i3是非参考图像，i23是融合图像；再将i23配准到i1，然后融合i1和i23，得到i123，此时i1是参考图像，i23是非参考图像，i123是融合图像。融合方式2同样应用了两次图1的融合方法。
[0111]
融合方式3：先将i2配准到i1，同时将i3也配准到i1，然后同时融合i1、i2和i3，得到i123，此时i1是参考图像，i2和i3是非参考图像，i123是融合图像。融合方式3只应用了一次图1的融合方法。
[0112]
当然还可能存在其他的融合方式，可以类推得到，不再具体说明。
[0113]
图6示出了本技术实施例提供的图像融合装置200的功能模块图。参照图6，图像融合装置200包括：
[0114]
待融合图像获取模块210，用于获取待融合图像，所述待融合图像包括参考图像和非参考图像；
[0115]
位移图像获取模块220，用于计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像；
[0116]
图像分割模块230，用于对所述参考图像进行语义分割，获得分割掩膜，所述分割
掩膜包括多个分割区域的位置信息；
[0117]
像素值修复模块240，用于确定所述位移图像中异常的像素值，并在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，获得修复后的位移图像；
[0118]
图像配准模块250，用于根据所述修复后的位移图像对所述非参考图像进行配准，获得配准后的非参考图像；
[0119]
图像融合模块260，用于对所述参考图像和所述配准后的非参考图像进行融合，获得融合图像。
[0120]
在图像融合装置200的一种实现方式中，所述像素值修复模块240在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，包括：在所述分割区域内对所述位移图像进行滤波，以利用所述分割区域内正常的像素值对异常的像素值进行修复，修复的方式包括：根据滤波窗口内正常的像素值计算新像素值，并利用所述新像素值替换掉位于所述滤波窗口中心的异常的像素值。
[0121]
在图像融合装置200的一种实现方式中，所述像素值修复模块240在所述分割区域内对所述位移图像进行滤波，包括：在所述分割区域内对所述位移图像进行多次滤波，直至所述位移图像中异常的像素值全部被修复。
[0122]
在图像融合装置200的一种实现方式中，所述像素值修复模块240确定所述位移图像中异常的像素值，包括：分别对所述参考图像和所述非参考图像进行区域划分；计算所述非参考图像中的每个区域与所述参考图像中的对应区域之间的单应性矩阵；针对所述非参考图像中待融合的每个像素，执行以下操作：利用该像素所属区域的单应性矩阵计算该像素相对于所述参考图像中对应像素的第二配准位移；判断该像素的第一配准位移和第二配准位移之差是否超过第一阈值；若超过所述第一阈值，则将该像素的第一配准位移确定为所述位移图像中异常的像素值。
[0123]
在图像融合装置200的一种实现方式中，所述像素值修复模块240确定所述位移图像中异常的像素值，包括：分区域对所述位移图像中的像素值进行统计，并根据各区域的统计结果将出现频度小于第二阈值的像素值确定为异常的像素值。
[0124]
在图像融合装置200的一种实现方式中，所述位移图像获取模块220计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像，包括：将所述参考图像和所述非参考图像中公共的部分确定为待融合区域；在所述待融合区域中，计算所述非参考图像中的像素相对于所述参考图像中对应像素的第一配准位移，获得所述位移图像。
[0125]
在图像融合装置200的一种实现方式中，所述待融合图像获取模块210获取待融合图像，包括：获取原始待融合图像，所述原始待融合图像包括原始参考图像和原始非参考图像，所述原始参考图像和所述原始非参考为处于不同变焦倍率下的摄像头采集的图像；将所述原始参考图像和所述原始非参考图像归一化至同一变焦倍率下，获得所述参考图像和所述非参考图像。
[0126]
在图像融合装置200的一种实现方式中，所述参考图像为广角摄像头采集的图像且所述非参考图像为长焦摄像头采集的图像；或者，所述参考图像为彩色摄像头采集的图像且所述非参考图像为黑白摄像头采集的图像。
[0127]
本技术实施例提供的图像融合装置200，其实现原理及产生的技术效果在前述方
法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法实施例中相应内容。
[0128]
图7示出了本技术实施例提供的电子设备300的一种可能的结构。参照图7，电子设备300包括：处理器310、存储器320以及通信接口330，这些组件通过通信总线340和/或其他形式的连接机构(未示出)互连并相互通讯。
[0129]
其中，存储器320包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(random access memory，简称ram)，只读存储器(read only memory，简称rom)，可编程只读存储器(programmable read-only memory，简称prom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，电可擦除可编程只读存储器(electric erasable programmable read-only memory，简称eeprom)等。
[0130]
处理器310包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器310可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、微控制单元(micro controller unit，简称mcu)、网络处理器(network processor，简称np)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(neural-network processing unit，简称npu)、图形处理器(graphics processing unit，简称gpu)、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuits，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器310为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
[0131]
处理器310以及其他可能的组件可对存储器320进行访问，读和/或写其中的数据。此外，存储器320中可以存储一个或多个计算机程序指令，处理器310可以读取并运行这些计算机程序指令，以实现本技术实施例提供的图像融合方法。
[0132]
通信接口330包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口330可以包括进行有线和/或无线通信的接口。
[0133]
可以理解，图7所示的结构仅为示意，电子设备300还可以包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。电子设备300可能是实体设备，例如手机、照相机、摄像机、可穿戴设备、平板电脑、pc机、笔记本电脑、服务器等，也可能是虚拟设备，例如虚拟机、虚拟化容器等。并且，电子设备300也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。
[0134]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本技术实施例提供的图像融合方法。例如，计算机可读存储介质可以实现为图7中电子设备300中的存储器320。
[0135]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。