图像融合方法及装置与流程

文档序号:26396017发布日期:2021-08-24 16:06阅读:124来源:国知局
图像融合方法及装置与流程

本申请属于图像处理技术领域,尤其涉及一种图像融合方法及装置。



背景技术:

在遥感影像中,较大尺寸的影像是非常常见的,此外,我们要解译的河流、湖泊、树林等的影像像素也较大。而影像的像素大小一般会大于神经网络的输入视野(例如400×400像素),此时一般会将影像缩小到400×400像素,而这会导致丢失大量有用信息,这导致神经网络解译的效果比较差。



技术实现要素:

本申请实施例的目的是提供一种图像融合方法及装置,以解决现有神经网络解译效果较差的问题。

第一方面,本申请实施例提供了一种图像融合方法,包括:

获取n个图像,其中所述n个图像均为对同一原始图像进行缩放后得到的图像,且所述n个图像的缩放比例不同,n为大于1的数值;

以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块;

基于所述分割图块进行图像融合,得到融合后图块。

可选地,所述基于所述分割图块,进行图像融合,得到融合后图块,包括下述至少一项:

将所述n个图像中,不同图像的分割图块进行融合,得到所述融合后图块;

将所述n个图像中,同一图像的不同分割图块进行融合,得到所述融合后图块;

将所述n个图像中,不同图像的分割图块以及同一图像的分割图块进行融合,得到所述融合后图块。

可选地,所述将所述n个图像中,不同图像的分割图块进行融合,得到所述融合后图块,包括:

获取所述n个图像中,至少两个图像的分割图块之间的对应关系表;

基于所述对应关系表,将所述至少两个图像中具有对应关系的分割图块进行融合。

可选地,所述获取所述n个图像中,至少两个图像的分割图块之间的对应关系表,包括:

在二维坐标轴下,获取所述至少两个图像中,每个图像的分割图块的图块索引,其中所述至少两个图像所对应的图块索引的起始索引相同;

基于所述n个图像的缩放比例,获取第二图像中与第一图像中的第一图块索引相对应的第二图块索引;其中,所述第二图块索引与第一图块索引之间的比例关系为所述第二图像与所述第一图像之间的比例关系,且所述第一图像、第二图像为所述至少两个图像中的任意图像。

获取所述第一图块索引所对应的第一分割图块以及所述第二图块索引所对应的第二分割图块,并建立所述第一分割图块与所述第二分割图块之间的对应关系。

可选地,所述将所述n个图像中,同一图像的不同分割图块进行融合,得到所述融合后图块,包括:

获取目标图像中的至少两个分割图块,其中所述至少两个分割图块在所述图像中具有预设位置关系,所述目标图像为n个图像中的任意图像;

将所述至少两个分割图块进行融合,得到所述融合后图块。

可选地,所述将所述n个图像中,不同图像的分割图块以及同一图像的分割图块进行融合,得到所述融合后图块,包括:

将目标图像中具有预设位置关系的至少两个分割图块进行融合,得到半融合图块;

获取所述n个图像除所述目标图像之外的至少一个图像中,与所述目标图像中的目标分割图块具有对应关系的分割图块;所述目标分割图块为所述至少两个分割图块中的其中一个;

将与所述目标分割图块具有对应关系的分割图块与所述半融合图块进行融合,得到所述融合后图块。

可选地,所述基于所述分割图块进行图像融合,得到融合后图块,包括下述任意一项:

沿rgb通道方向,将所述分割图块进行融合,得到所述融合后图块;

基于预先设置的针对每一图像的权重值,对每个分割图块进行加权操作,并沿rgb通道方向,将加权后的分割图块进行融合,得到所述融合后图块;

基于预先设置的针对每一图像的权重值,对所述分割图块进行加权后相加操作,得到所述融合后图块。

可选地,所述预设像素数小于或等于预设神经网络的输入视野所对应的输入像素数。

可选地,所述基于所述分割图块进行图像融合,得到融合后图块,包括:

通过所述融合后图块对所述预设神经网络进行训练,得到训练好的神经网络模型。

第二方面,本申请实施例提供了一种图像融合装置,包括:

第一获取模块,用于获取n个图像,其中所述n个图像均为对同一原始图像进行缩放后得到的图像,且所述n个图像的缩放比例不同,n为大于1的数值;

第二获取模块,用于以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块;

第三获取模块,用于基于所述分割图块进行图像融合,得到融合后图块。

在本申请实施中提供的图像融合方法及装置,通过获取n个图像,该n个图像均为对同一原始图像进行缩放后得到的图像,且n个图像的缩放比例不同,然后以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块,最后基于分割图块进行图像融合,得到融合后图块;基于n个图像的缩放比例不同,使得在基于同样的预设像素数为分割窗口对图像进行分割时,每个图像所分割到的分割图块的图像信息都不相同,缩小比例的图像中的分割图块中能够包含更全局的图像信息,从而使得在基于分割图块进行图像融合时,能够将不同的图像信息融合到一起,实现了在通过融合后图块进行解译时,能够感知周边环境信息,避免了仅分割图像以缩小图像像素,导致的依据局部信息产生错误解译结果的问题,提升了解译效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例中图像融合方法的流程示意图;

图2为本申请实施例中图像示意图之一;

图3为本申请实施例中图像示意图之二;

图4为本申请实施例中图像示意图之三;

图5为本申请实施例中分割图块位置示意图之一;

图6为本申请实施例中分割图块位置示意图之二;

图7为本申请实施例中分割图块位置示意图之三;

图8为本申请实施例中图像示意图之四;

图9为本申请实施例中miou趋势图;

图10为本申请实施例中loss趋势图;

图11为本申请实施例中图像融合装置的模块组成示意图;

图12为本申请实施例中电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。

具体的,现有技术中,在利用神经网络模型对图像进行解译时,若图像略大于神经网络输入视野,比如神经网络的输入视野为400×400像素,图像大小为1000×1000像素,则通常会将图像缩小到400×400像素,以使得能够输入到神经网络模型中。但是,该种方式会丢失大量有用信息,从而降低解译效果。

基于此,可以将图像分割成与输入视野相适应的图块,但是图像分割会面临“盲人摸象”的问题,即依凭局部信息对目标进行解译,往往因为信息有限而产生错误的结论。

针对此,本申请提供一种图像融合方法,以在一个图块中融合局部特征与更全局的特征,从而避免仅依凭局部信息对目标进行解译时解译效果差的问题,提高解译的准确性。

其中,如图1所示,为本申请实施例所提供的图像融合方法的步骤流程图,该方法包括如下步骤:

步骤101:获取n个图像。

其中,n个图像均为对同一原始图像进行缩放后得到的图像,且n个图像的缩放比例不同,n为大于1的数值。

也就是说,在本实施例中可以首先构建n层的图像金字塔。

图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。

需要说明的是,n的数值以及每个图像的缩放比例可以根据实际需求进行设置,在此不再对此进行限制。

例如如图2至图4所示,n的数值可以为3,且缩放比例可以依次为1、0.5和0.25。其中,图2所示的图像的缩放比例为1,即图2所示图像为原始图像;图3所示图像的缩放比例为0.5,即图3所示图像为对图2所示图像进行1/2倍放大后所得到的图像;图4所示图像的缩放比例为0.25,即图4所示图像为对图3所示图像进行1/4倍放大后所得到的图像。

步骤102:以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块。

具体的,本实施例可以预先设置一个分割窗口,该分割窗口的大小为预设像素数,然后通过该分割窗口对每个图像进行分割,得到针对每个图像的分割图块。

也就是说每个图像中,一个分割图块的大小为一个分割窗口的大小。

依据分割窗口对图像进行分割,直至到最大能分割的块数为止,即在此并不限制每个图像中所包含的分割图块的数量。

例如,针对图2至图4中的每个图像,假设图像的像素数为2000×2000,若预设像素数为500×500,则以500×500像素数为分割窗口,分别对图2、图3和图4中的图像进行分割,直至最大能切割的块数为止,得到针对每个图像的分割图块。

这样,基于同样的预设像素数为分割窗口,且由于n个图像的缩放比例不同,使得不同图像中每个分割图块所包含的图像信息不同。此时可以得出图2所示图像中的一个分割图块能够得到局部信息;图3所示图像中一个分割图块较图2一个分割图块,能够得到较为全局的信息;图4所示图像中的一个分割图块能够得到更全局的信息。

此外,预设像素数可以小于或等于预设神经网络的输入视野所对应的输入像素数。

这样,在以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块时,使得每个分割图块均能够输入至预设神经网络中。

步骤103:基于分割图块进行图像融合,得到融合后图块。

在得到每个图像所对应的分割图块之后,可以基于该些分割图块进行图像融合,得到融合后图块。

这样,由于基于同样的预设像素数为分割窗口对不同缩放比例的图像进行分割,则每个图像所分割到的分割图块的图像信息都不相同,缩小比例的图像中的分割图块中能够包含更全局的图像信息,从而使得在基于分割图块进行图像融合时,能够将不同的图像信息融合到一起,实现了在通过融合后图块进行解译时,能够感知周边环境信息,避免了仅分割图像以缩小图像像素,导致的依据局部信息产生错误解译结果的问题,提升了解译效果。

可选地,在本实施例中,预设像素数小于或等于预设神经网络的输入视野所对应的输入像素数。

此外,在基于分割图块进行图像融合,得到融合后图块之后,还可以通过融合后图块对预设神经网络进行训练,得到训练好的神经网络模型。

由于神经网络的输入视野小于图像的实际尺寸,这导致神经网络一次只能处理部分影像,而由于“盲人摸象”问题的存在,导致神经网络解译的效果较差。而本申请通过将分割图块进行融合并得到融合后图块,然后通过融合后图块对预设神经网络进行训练,由于融合后图块包含更多的图像信息,从而实现了一次能够向神经网络输入更多的图像信息,削减了“盲人摸象”问题,提高了神经网络的解译效果;此外,本申请实现了在将图像输入神经网络之前,对图像本身进行融合,而不需要对神经网络中的特征图进行融合,提高了图像融合的便捷性。

当然,在得到神经网络模型之后,在实际应用中,可以将需要解译的图像经过本实施例中图像融合方法融合后,将融合后图块送入神经网络模型中进行解译,得到解译结果,以保证解译结果的准确性。

可选地,在本实施例中,在基于所述分割图块,进行图像融合,得到融合后图块时,可以包括下述至少一种方式:

其一方式:将所述n个图像中,不同图像的分割图块进行融合,得到所述融合后图块。

在该种方式中,可以将n个图像中不同图像的分割图块进行融合,得到融合后图块。

具体的,n个图像中的不同图像可以为n个图像中的至少两个图像,且可以为任意图像。

其中,将所述n个图像中,不同图像的分割图块进行融合,得到所述融合后图块时,可以包括如下步骤:

获取所述n个图像中,至少两个图像的分割图块之间的对应关系表;

基于所述对应关系表,将所述至少两个图像中具有对应关系的分割图块进行融合,得到融合后图块。

也就是可以建立至少两个图像的分割图块之间的对应关系表,可选地,可以建立所有图像的分割图块之间的对应关系表;然后,基于所建立的对应关系表,将至少两个图像中具有对应关系的分割图块进行融合,得到融合后图块。

可选地,在获取所述n个图像中,至少两个图像的分割图块之间的对应关系表时,可以包括如下步骤:

在二维坐标轴下,获取所述至少两个图像中,每个图像的分割图块的图块索引,其中所述至少两个图像所对应的起始图块索引相同;

基于所述n个图像的缩放比例,获取第二图像中与第一图像中的第一图块索引相对应的第二图块索引;其中,所述第二图块索引与第一图块索引之间的比例关系为所述第二图像与所述第一图像之间的比例关系,且所述第一图像、第二图像为所述至少两个图像中的任意图像。

获取所述第一图块索引所对应的第一分割图块以及所述第二图块索引所对应的第二分割图块,并建立所述第一分割图块与所述第二分割图块之间的对应关系。

具体的,至少两个图像所对应的起始图块索引可以为0。

当然,由于图块的单位为个,因此图块索引为整数。

由于n个图像之间存在缩放比例,且所有图像位于同一二维坐标轴下,因此同样的图块索引所对应的分割图块的图像信息不同。此外,不同图像间具有相同图像信息的分割图块的图块索引同样存在比例关系,此时本实施例可以认为具有比例关系的图块索引之间具有对应关系,该比例关系为图像之间的比例关系。

然后,可以获取具有对应关系的图块索引所对应的分割图块,并建立对应关系。

此外,需要说明的是,第一图像中的一个分割图块可以对应第二图像中的多个分割图块,当然也可以是第一图像中的多个分割图块对应第二图像中的一个分割图块,这由第一图像和第二图像之间的比例关系确定。例如,若第一图像的缩小比例较大,则第一图像中的一个分割图块对应第二图像中的多个分割图块,反之,若第二图像的缩小比例较大,则第一图像中的多个分割图块对应第二图像中的一个分割图块。例如,假设第一图像与所述第二图像的比例为1:2,第一图像中一图块索引为(1,1),则对应第二图像中的图块索引为(2,2),则可以建立图块索引(2,2)所对应的分割图块与图块索引(1,1)所对应的分割图块之间的对应关系;此外假设第二图像中一图块索引为(1,1),则对应第一图像中图块索引为(1/2,1/2),此时由于图块索引为(1/2,1/2)的图块即为图块索引为(1,1)的图块,则同样建立第二图像中图块索引(1,1)所对应的分割图块与第一图像中图块索引(1,1)所对应的分割图块之间的对应关系。基于此,也就是说,第一图像中的一个分割图块对应第二图像中的四个分割图块。

下面通过图2至图4对上述进行举例说明。

若图2中图像一图块索引为(i,j),则图3中与该图块索引(i,j)具有对应关系的图块索引为(i/2,j/2),图4中与该图块索引(i,j)具有对应关系的图块索引为(i/4,j/4),则此时可以建立图2中图块索引为(i,j)所对应的分割图块、图3中图块索引为(i/2,j/2)所对应的分割图块、图4中图块索引为(i/4,j/4)所对应的分割图块之间的对应关系,从而进行图像融合,得到融合后图块。

这样,通过将不同图像之间的分割图块进行融合,基于缩小比例的图像中的分割图块具有更全局的图像信息,从而使得融合后图块同样具有更多的图像信息,提高了通过融合后图块进行解译时的解译效果。

其二方式:将所述n个图像中,同一图像的不同分割图块进行融合,得到所述融合后图块。

在该种方式中,可以将同一图像中的不同分割图块进行融合,得到融合后图像。

其中,在将所述n个图像中,同一图像的不同分割图块进行融合,得到所述融合后图块时,可以包括如下步骤:

获取目标图像中的至少两个分割图块,其中所述至少两个分割图块在所述目标图像中具有预设位置关系,所述目标图像为n个图像中的任意图像;

将所述至少两个分割图块进行融合,得到所述融合后图块。

具体的,预设位置关系可以为对角位置关系、十字位置关系、环形位置关系等,在此并不对此进行具体限定。

将具有预设位置关系的至少两个分割图块进行融合,使得在通过融合后图块进行解译时,能够感知周边环境信息,从而提升解译效果。

作为一个示例,具有对角位置关系的多个分割图块可以如图5所示,在图5中,对影像进行分割,一个小方格表示一个分割图块,本实施例可以将图5中该些具有对角位置关系的多个分割图块(分割图块a、b、c、d和e)相融合;具有十字位置关系的多个分割图块可以如图6所示,在图6中,对影像进行分割,一个小方格表示一个分割图块,本实施例可以将图6中该些具有十字位置关系的多个分割图块(分割图块a、b、c、d和e)相融合;具有环形位置关系的多个分割图块可以如图7所示,在图7中,对影像进行分割,一个小方格表示一个分割图块,本实施例可以将图7中该些具有环形位置关系的多个分割图块(分割图块a、b、c、d和e)相融合。

此外,由于同一图像中不同分割图块中具有不同的图像信息,因此在将同一图像中不同分割图块进行融合时,融合后图块能够得到更全局的信息,从而提高了通过融合后图块进行解译时的解译效果。

其三方式:将所述n个图像中,不同图像的分割图块以及同一图像的分割图块进行融合,得到所述融合后图块。

在该种方式中,可以将其一方式和其二方式进行组合,即将不同图像的分割图块以及同一图像的分割图块均进行融合,以得到融合后图块。

可选地,在将所述n个图像中,不同图像的分割图块以及同一图像的分割图块进行融合,得到所述融合后图块时,可以包括如下步骤:

将目标图像中具有预设位置关系的至少两个分割图块进行融合,得到半融合图块;

获取所述n个图像除所述目标图像之外的至少一个图像中,与所述目标图像中的目标分割图块具有对应关系的分割图块;所述目标分割图块为所述至少两个分割图块中的其中一个;

将与所述目标分割图块具有对应关系的分割图块与所述半融合图块进行融合,得到所述融合后图块。

具体的,针对n个图像中的任意图像,作为目标图像,并利用其二方式,将目标图像中具有预设位置关系的至少两个分割图块进行融合,得到半融合图块;然后,利用其一方式,获取其他图像中具有对应关系的分割图块,并将获取到的分割图块与半融合图块进行融合,得到融合后图块。

例如,作为一个示例,可以将图2中的分割图块a和分割图块b融合,得到半融合图块,基于分割图块b与图3中的分割图块c具有对应关系,因此可以再将半融合图块与图三中的分割图块c相融合,得到融合后图块。

这样,本申请实施例通过上述任一方式,均能够实现分割图块的融合,从而获取更全局的信息。

此外,可选地,在本实施例中,基于所述分割图块进行图像融合,得到融合后图块,包括下述任意一项方式:

其一方式:沿rgb通道方向,将所述分割图块进行融合,得到所述融合后图块。

其中,rgb图像具有r、g和b三个通道,在该种方式中,可以沿着rgb通道方向,对分割图块进行融合,得到融合后图块。

其二方式:基于预先设置的针对每一图像的权重值,对每个分割图块进行加权操作,并沿rgb通道方向,将加权后的分割图块进行融合,得到所述融合后图块。

在该种方式中,可以对n个图像中每个图像设置对应的权重值,然后在进行图像融合时,对需要融合的分割图块基于权重值进行加权操作,再然后沿rgb通道方向,将加权后的分割图块进行融合,得到融合后图块。

需要说明的是,每个图像对应的权重值为[0,1]之间的常数。

其三方式:基于预先设置的针对每一图像的权重值,对所述分割图块进行加权后相加操作,得到所述融合后图块。

在该种方式中,可以对n个图像中每个图像设置对应的权重值,然后在进行图像融合时,对需要融合的分割图块基于权重值进行加权后相加操作,并进行相加操作,这样得到的图像依然是3通道图像,但该方式不需要神经网络做适配。

这样,通过上述任一方式均实现了分割图块之间的融合,使得融合后图块包含更全局的信息。

下面通过举例实例对本申请实施例进行说明。

获取一块遥感影像,如图8所示,影像包含山地,林地,河道等,分辨率为2米,颜色深度为16,大小为12547*9315。针对该图像构建两个尺度的图像金字塔,分别为原始图像和0.5倍缩放图像两个图像,然后针对只使用原始图像进行网络训练和使用融合后图块进行网络训练的结果进行比对,分别得到平均交并比(moiou)趋势图和损失(loss)趋势图。

其中,参见图9所示,在图9中,c3_miou表示原始图像训练时所对应的miou趋势曲线,c6_miou表示融合后图块训练时所对应的miou趋势曲线;参见图10所示,c3_loss表示原始图像训练时所对应的loss趋势曲线,c6_loss表示融合后图块训练时所对应的loss趋势曲线。通过图9和图10可以看出,融合后图块的miou高于原始图像21%,且loss收敛的也要更好。

需要说明的是,本申请实施例提供的图像融合方法,执行主体可以为图像融合装置,或者该图像融合装置中的用于执行图像融合方法的控制模块。本申请实施例中以图像融合装置执行图像融合方法为例,说明本申请实施例提供的图像融合装置。

如图11所示,该图像融合装置包括:

第一获取模块1101,用于获取n个图像,其中所述n个图像均为对同一原始图像进行缩放后得到的图像,且所述n个图像的缩放比例不同,n为大于1的数值;

第二获取模块1102,用于以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块;

第三获取模块1103,用于基于所述分割图块进行图像融合,得到融合后图块。

该装置通过第一获取模块1101获取n个图像,其中n个图像均为对同一原始图像进行缩放后得到的图像,且n个图像的缩放比例不同,n为大于1的数值,针对每个图像,通过第二获取模块1102以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块,最后通过第三获取模块803基于所述分割图块进行图像融合,得到融合后图块;基于n个图像的缩放比例不同,使得在基于同样的预设像素数为分割窗口对图像进行分割时,每个图像所分割到的分割图块的图像信息都不相同,缩小比例的图像中的分割图块中能够包含更全局的图像信息,从而使得在基于分割图块进行图像融合时,能够将不同的图像信息融合到一起,实现了在通过融合后图块进行解译时,能够感知周边环境信息,避免了仅分割图像以缩小图像像素,导致的依据局部信息产生错误解译结果的问题,提升了解译效果。

在此需要说明的是,上述实施例提供的图像融合装置能够实现上述图像融合方法实施例的所有方法步骤及有益效果,为避免重复,在此不再对本实施例中与上述方法实施例中的相同方法步骤以及有益效果进行赘述。

对应上述实施例提供的图像融合方法,基于相同的技术构思,本申请实施例还提供了一种电子设备,该电子设备用于执行上述的图像融合方法,图12为实现本申请各个实施例的一种电子设备的结构示意图。电子设备可因配置或性能不同而产生比较大的差异,可以包括处理器(processor)1210、通信接口(communicationsinterface)1220、存储器(memory)1230和通信总线1240,其中,处理器1210,通信接口1220,存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储在存储器1230上并可在处理器1210上运行的计算机程序,以执行下述步骤:

获取n个图像,其中所述n个图像均为对同一原始图像进行缩放后得到的图像,且所述n个图像的缩放比例不同,n为大于1的数值;

以预设像素数为分割窗口,对每个图像进行分割,得到针对每个图像的分割图块;

基于所述分割图块进行图像融合,得到融合后图块。

可选地,所述基于所述分割图块,进行图像融合,得到融合后图块,包括下述至少一项:

将所述n个图像中,不同图像的分割图块进行融合,得到所述融合后图块;

将所述n个图像中,同一图像的不同分割图块进行融合,得到所述融合后图块;

将所述n个图像中,不同图像的分割图块以及同一图像的分割图块进行融合,得到所述融合后图块。

可选地,所述将所述n个图像中,不同图像的分割图块进行融合,得到所述融合后图块,包括:

获取所述n个图像中,至少两个图像的分割图块之间的对应关系表;

基于所述对应关系表,将所述至少两个图像中具有对应关系的分割图块进行融合,得到所述融合后图块。

可选地,所述获取所述n个图像中,至少两个图像的分割图块之间的对应关系表,包括:

在二维坐标轴下,获取所述至少两个图像中,每个图像的分割图块的图块索引,其中所述至少两个图像所对应的起始图块索引相同;

基于所述n个图像的缩放比例,获取第二图像中与第一图像中的第一图块索引相对应的第二图块索引;其中,所述第二图块索引与第一图块索引之间的比例关系为所述第二图像与所述第一图像之间的比例关系,且所述第一图像、第二图像为所述至少两个图像中的任意图像。

获取所述第一图块索引所对应的第一分割图块以及所述第二图块索引所对应的第二分割图块,并建立所述第一分割图块与所述第二分割图块之间的对应关系。

可选地,所述将所述n个图像中,同一图像的不同分割图块进行融合,得到所述融合后图块,包括:

获取目标图像中的至少两个分割图块,其中所述至少两个分割图块在所述目标图像中具有预设位置关系,所述目标图像为n个图像中的任意图像;

将所述至少两个分割图块进行融合,得到所述融合后图块。

可选地,所述将所述n个图像中,不同图像的分割图块以及同一图像的分割图块进行融合,得到所述融合后图块,包括:

将目标图像中具有预设位置关系的至少两个分割图块进行融合,得到半融合图块;

获取所述n个图像除所述目标图像之外的至少一个图像中,与所述目标图像中的目标分割图块具有对应关系的分割图块;所述目标分割图块为所述至少两个分割图块中的其中一个;

将与所述目标分割图块具有对应关系的分割图块与所述半融合图块进行融合,得到所述融合后图块。

可选地,所述基于所述分割图块进行图像融合,得到融合后图块,包括下述任意一项:

沿rgb通道方向,将所述分割图块进行融合,得到所述融合后图块;

基于预先设置的针对每一图像的权重值,对每个分割图块进行加权操作,并沿rgb通道方向,将加权后的分割图块进行融合,得到所述融合后图块;

基于预先设置的针对每一图像的权重值,对所述分割图块进行加权后相加操作,得到所述融合后图块。

可选地,所述预设像素数小于或等于预设神经网络的输入视野所对应的输入像素数。

可选地,所述基于所述分割图块进行图像融合,得到融合后图块之后,还包括:

通过所述融合后图块对所述预设神经网络进行训练,得到训练好的神经网络模型。

本申请实施例还提供一种可读存储介质,其上存储有程序或指令,该程序或指令被处理器执行时实现上述图像融合方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1