一种基于卷积神经网络模型的图像融合方法及系统与流程

本发明涉及图像处理技术，尤其涉及一种基于卷积神经网络模型的图像融合方法及系统。

背景技术：

当今社会，由于手机摄影越发流行，各种的后期图像处理的软件随着之盛行，软件所提供的修图等图像融合技术的需求也越发扩大，一个快速的，有效的，并且带有趣味性的图像融合技术成为该类行业所追求的目标，从而进一步的吸引更多的用户使用自身的产品。

但是现存的图像融合技术并非十分完美，算法复杂度，有效性，耗时都仍然处于一个急需优化的水平。极大的用户需求量需要更完善更丰富的技术支持才能得以填补，但是当前的技术模型却无法在短时间内完成图片的融合以及图片融合的丰富度上给予人群更好的用户体验。

因此，在这种情况下，希望有一种技术，能在短时间内解决用户的图片融合需求，并同时能够提供大量的融合风格让用户自主进行选择，进而完成相关产品的适用性和可靠性，从而克服上述的问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，本发明提供了一种基于卷积神经网络模型的图像融合方法及系统，在本发明实施例中，满足用户对图像融合需求，提高图像融合速度。

为了解决上述技术问题，本发明实施例提供了一种基于卷积神经网络模型的图像融合方法，所述图像融合方法包括：

获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；

对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；

在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；

根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。

优选地，所述对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，包括：

采用均匀分布对所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；

所述均匀分布为k＝1,2,…,m，则称x服从离散的均匀分布，将所述离散均匀分布值加128，获取所述初始融合图像信息像素值，所述像素值在0到256之间；

其中，p表示分布概率，x表示所述待融合风格图像信息和所述待融合内容图像信息的像素值，k＝1,2,…,m。

优选地，所述卷积神经网络模型为21个神经网络层的卷积神经网络架构，其中包括16个卷积层，5降采样层。

优选地，所述在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，包括：

对所述卷积神经网络模型进行参数设定，所述参数包括待融合风格图像信息的影响比重、待融合内容图像信息影响比重和循环次数；

计算所述初始融合图像信息与统一大小的所述待融合风格图像信息的损失梯度，获取第一损失梯度；

计算所述初始融合图像信息与统一大小的所述待融合内容图像信息的损失梯度，获取第二损失梯度；

根据所述第一损失梯度和所述第二损失梯度计算，获取总损失梯度。

优选地，所述待融合风格图像信息的影响比重为0.5、所述待融合内容图像信息影响比重0.5和所述循环次数为120。

另外，本发明实施例还提供了一种基于卷积神经网络模型的图像融合系统，所述图像融合系统包括：

信息获取模块：用于获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；

融合模块：用于对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；

梯度计算模块：用于在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；

信息更新模块：用于根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。

优选地，所述融合模块包括：

均匀融合单元：用于采用均匀分布对所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；

所述均匀分布为k＝1,2,…,m，则称x服从离散的均匀分布，将所述离散均匀分布值加128，获取所述初始融合图像信息像素值，所述像素值在0到256之间；

其中，p表示分布概率，x表示所述待融合风格图像信息和所述待融合内容图像信息的像素值，k＝1,2,…,m。

优选地，所述卷积神经网络模型为21个神经网络层的卷积神经网络架构，其中包括16个卷积层，5降采样层。

优选地，所述梯度计算模块包括：

参数设定单元：用于对所述卷积神经网络模型进行参数设定，所述参数包括待融合风格图像信息的影响比重、待融合内容图像信息影响比重和循环次数；

第一梯度计算单元：用于计算所述初始融合图像信息与统一大小的所述待融合风格图像信息的损失梯度，获取第一损失梯度；

第二梯度计算单元：用于计算所述初始融合图像信息与统一大小的所述待融合内容图像信息的损失梯度，获取第二损失梯度；

总梯度计算单元：用于根据所述第一损失梯度和所述第二损失梯度计算，获取总损失梯度。

优选地，所述待融合风格图像信息的影响比重为0.5、所述待融合内容图像信息影响比重0.5和所述循环次数为120。

在发明实施例中，采用本发明实施例满足用户对图像融合风格的需求，同时该模型的适应性强，只需要提供不同的风格图像，就可以得到不同方式的图像融合处理，极大的丰富了用户体验；同时该模型因为是一个自学习模型，只需要在模型前期学习的过程中投入计算量和运算时间成本，当一个模型已经完全学习完毕并将对应的参数进行保存之后，再进行新的图像融合时不需要消耗额外的时间，因此比以往的模型都极大的提高了图像融合的效率，迎合用户即时图像融合的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于卷积神经网络模型的图像融合方法的流程示意图；

图2是本发明实施例中的基于卷积神经网络模型的图像融合系统的系统组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1是本发明实施例中的基于卷积神经网络模型的图像融合方法的流程示意图，如图1所述，所述图像融合方法包括：

s11：获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；

s12：对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；

s13：在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；

s14：根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。

对s11作进一步说明：

获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小。

进一步的，用户选择需要融合的至少一张风格图像信息和至少一张内容图像信息(可以根据用户的需求，选择多张，在本发明实施例中仅对个选择一张进行展开说明)，因为获取的风格图像信息和内容图像信息的图片的大小可能存在不一致的，因此，需要对风格图像信息和内容图像信息大小进行统一，即采用图像放缩方法进行图像信息放缩处理，将图像放缩至规定的大小，如规定图像大小为长*宽分别为10*5cm，即将图像信息放缩至10*5cm大小即可。

对s12作进一步说明：

对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息。

进一步的，初始化融合时，将两个图像的像素值进行初始化，这里采用均匀分布对所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；所述均匀分布为k＝1,2,…,m，则称x服从离散的均匀分布，将所述离散均匀分布值加128，获取所述初始融合图像信息像素值，所述像素值在0到256之间；其中，p表示分布概率，x表示所述待融合风格图像信息和所述待融合内容图像信息的像素值，k＝1,2,…,m。

对s13作进一步的说明：

在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度。

进一步的，所述卷积神经网络模型为21个神经网络层的卷积神经网络架构，其中包括16个卷积层，5降采样层。所述卷积神经网络模型的参数分别有待融合风格图像信息的影响比重weight-style、待融合内容图像信息影响比重weight-content和循环次数num-iterations，其中在本发明实施例中，最佳的参数设定为待融合风格图像信息的影响比重weight-style为0.5、待融合内容图像信息影响比重weight-content为0.5和循环次数num-iterations为120。

对所述卷积神经网络模型进行参数设定，所述参数包括待融合风格图像信息的影响比重、待融合内容图像信息影响比重和循环次数；计算所述初始融合图像信息与统一大小的所述待融合风格图像信息的损失梯度，获取第一损失梯度；计算所述初始融合图像信息与统一大小的所述待融合内容图像信息的损失梯度，获取第二损失梯度；根据所述第一损失梯度和所述第二损失梯度计算，获取总损失梯度。

首先根据用户的需求，用户可以自行设置待融合风格图像信息的影响比重weight-style、待融合内容图像信息影响比重weight-content和循环次数num-iterations的参数，若不设置，则按本发明实施例中认为最佳的参数进行设置。

在卷积神经网络模型中每一层的卷积神经网络相应智商，构建一个风格表示，用于计算不同过滤器响应之间的相关性，其中期望取决于输入图像的控件延伸，这些特征相关性由gram矩阵获得，其中是层l中的向量特征图i和j之间的内积；公式如下：

为了生成与给定图像的样式相匹配的纹理，使用白噪声图像的梯度下降来找到与原始图像的样式表示相匹配的另一个图像；这通过最小化来自原始图像的gram矩阵的条目与要生成的图像的gram矩阵之间的均方距离来实现；所以让和是原始图像和生成的图像，而al和gl它们在层l中的各自的样式表示。那么那一层对总损失的贡献就是下面的公式：

通常，网络中的每个层定义了一个非线性滤波器组，其非线性滤波器组的复杂度随网络中层的位置而增加。因此，通过对该图像的过滤器响应，给定的输入图像在卷积神经网络的每个层中被编码。具有nl个不同过滤器的层具有每个尺寸m1的n1特征图，其中m1是高度乘以特征图的宽度；因此，l层中的响应可以存储在矩阵中；其中是表示在l层位置j处第i个滤波器的激活响应；为了可视化在层次结构的不同层次编码的图像信息，对白噪声图像执行渐变下降以找到与原始图像的特征响应匹配的另一图像所以让和是原始图像和生成的图像，而pl和fl是在层l中的各自的特征表示；定义两个特征表示之间的平方误差损失

相对于层l中激活的这种损失的导数，可以使用标准误差反向传播来计算相对于图像的梯度。因此，我们可以改变最初的随机混合图像直到它在卷积神经网络的一层中产生与原始图像相同的响应。

总体损失梯度如下：

其中w1是每层对总损失的贡献的权重因子。从而可以分析计算el相对于层l中激活的导数即可使用标准误差反向传播容易的计算出el相对于网络下层激活的梯度值。

对s14作进一步说明：

根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。

进一步的，根据上述获取的到总的损失梯度，然后采用总的损失梯度对初始融合图像信息进行更新；在模型进行训练学习的过程中会消耗一定的时间，并且需要投入不同的风格图像进行得到不同的图像融合风格；模型运行结束后需要对模型的参数进行保存，并对不同的参数进行分类；在以后的使用中，只需要通过当前已经有的参数进行图像的融合，而不需要再进行一次学习过程，从而大大的降低了本模型的运算时间长成本，从而满足了用户即时图像融合的需求。

图2是本发明实施例中的基于卷积神经网络模型的图像融合系统的系统组成结构示意图，如图2所示，所述图像融合系统包括：

信息获取模块：用于获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；

融合模块：用于对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；

梯度计算模块：用于在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；

信息更新模块：用于根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。

优选地，所述融合模块包括：

均匀融合单元：用于采用均匀分布对所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；

所述均匀分布为，则称x服从离散的均匀分布，将所述离散均匀分布值加128，获取所述初始融合图像信息像素值，所述像素值在0到256之间；

其中，p表示分布概率，x表示所述待融合风格图像信息和所述待融合内容图像信息的像素值，。

优选地，所述卷积神经网络模型为21个神经网络层的卷积神经网络架构，其中包括16个卷积层，5降采样层。

优选地，所述梯度计算模块包括：

参数设定单元：用于对所述卷积神经网络模型进行参数设定，所述参数包括待融合风格图像信息的影响比重、待融合内容图像信息影响比重和循环次数；

第一梯度计算单元：用于计算所述初始融合图像信息与统一大小的所述待融合风格图像信息的损失梯度，获取第一损失梯度；

第二梯度计算单元：用于计算所述初始融合图像信息与统一大小的所述待融合内容图像信息的损失梯度，获取第二损失梯度；

总梯度计算单元：用于根据所述第一损失梯度和所述第二损失梯度计算，获取总损失梯度。

优选地，所述待融合风格图像信息的影响比重为0.5、所述待融合内容图像信息影响比重0.5和所述循环次数为120。

具体地，本发明实施例的系统相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。

在发明实施例中，采用本发明实施例满足用户对图像融合风格的需求，同时该模型的适应性强，只需要提供不同的风格图像，就可以得到不同方式的图像融合处理，极大的丰富了用户体验；同时该模型因为是一个自学习模型，只需要在模型前期学习的过程中投入计算量和运算时间成本，当一个模型已经完全学习完毕并将对应的参数进行保存之后，再进行新的图像融合时不需要消耗额外的时间，因此比以往的模型都极大的提高了图像融合的效率，迎合用户即时图像融合的需求。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于卷积神经网络模型的图像融合方法及系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。