图像融合中图像增强方法及装置与流程

1.本发明涉及图像融合技术领域，尤其涉及一种图像融合中图像增强方法及装置。


背景技术：

2.图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。图像融合作为信息融合的一个分支，是当前信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅，或者一列的形式给出。图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合的优点很明显，它能扩大图像所含有的时间空间信息，减少不确定性，增加可靠性，改进系统的鲁棒性能。
3.现有的图像融合方法中有很多基于深度学习的图像融合方法，但基于深度学习的图像融合方法需要大量的样本和计算资源以及时间来训练模型，效率低，成本高；在这些方面，浅层机器学习方法在图像融合方面有一定优势，浅层机器学习方法需要的计算资源和训练样本更少。支持向量机(英文：support vector machine,，简称：svm)是一种常用的经典浅层学习模型，通常通过使用一些提取的特征来区分用于生成融合决策的聚焦和非聚焦恢复训练。由于浅层机器学习模型缺乏特征提取能力，需要采用给定的特征提取方法来呈现图像特征，但现有的特征提取方法得到的融合图像的效果仍有待进一步改善。因此，有必要提出一种图像融合中图像增强方法及装置，以解决上述问题。融合


技术实现要素：

4.本发明提供一种图像融合中图像增强方法及装置，以解决现有技术中现有的特征提取方法得到的融合图像的效果仍有待进一步改善的问题。
5.第一方面，本发明提供一种图像融合中图像增强方法，包括：
6.获取需要进行图像融合的两个源图像；
7.将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图；
8.基于预先训练的svm模型，提取所述两个增强图中的融合决策无争议的像素；
9.将所述融合决策无争议的像素进行融合，得到第一融合图像；
10.基于预先训练的svm模型，提取所述两个增强图中的融合决策有争议的像素；
11.将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像；
12.通过第一融合图像和第二融合图像的逻辑运算得到最终融合图像。
13.进一步地，将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图的步骤中，根据retinex理论得到第三光照图对应的反射图。
14.进一步地，所述预先训练的svm模型的训练过程中：通过滑动窗口提取两个样本图像中聚焦区域和非聚焦区域的图像特征，所述滑动窗口用于提取标准偏差、空间频率、平均梯度、图像梯度能量和修正拉普拉斯算子这五个度量，所述五个度量用于在滑动窗口中呈现样本图像的图像特征，当窗口滑动到一个像素位置时，计算五个度量，形成一个特征向量，当滑动窗口遍历增强图的所有像素时，形成svm的输入特征。
15.进一步地，所述预先训练的svm模型的训练过程中：将增强图中聚焦和未聚焦区域分割成块，构建训练数据集；利用粒子群优化算法寻找支持向量机的优化参数，选择精度最好的支持向量机的优化参数训练svm模型。
16.进一步地，将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像的步骤中，计算融合决策有争议的像素的融合权重，滑动窗口的每个尺寸只反映单一尺度的区域特征，不同尺寸的窗口同时与pca结合得到相应的融合权重，区域特征用多尺度表示。
17.第二方面，本发明提供一种图像融合中图像增强装置，包括：
18.获取单元，用于获取需要进行图像融合的两个源图像；
19.增强单元，用于将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图；
20.第一提取单元，用于基于预先训练的svm模型，提取所述两个增强图中的融合决策无争议的像素；
21.第一融合单元，用于将所述融合决策无争议的像素进行融合，得到第一融合图像；
22.第二提取单元，用于基于预先训练的svm模型，提取所述两个增强图中的融合决策有争议的像素；
23.第二融合单元，用于将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像；
24.第三融合单元，用于通过第一融合图像和第二融合图像的逻辑运算得到最终融合图像。
25.进一步地，所述增强单元，用于根据retinex理论得到第三光照图对应的反射图。
26.进一步地，所述预先训练的svm模型的训练过程中：通过滑动窗口提取两个样本图像中聚焦区域和非聚焦区域的图像特征，所述滑动窗口用于提取标准偏差、空间频率、平均梯度、图像梯度能量和修正拉普拉斯算子这五个度量，所述五个度量用于在滑动窗口中呈现样本图像的图像特征，当窗口滑动到一个像素位置时，计算五个度量，形成一个特征向量，当滑动窗口遍历增强图的所有像素时，形成svm的输入特征。
27.进一步地，所述预先训练的svm模型的训练过程中：将增强图中聚焦和未聚焦区域分割成块，构建训练数据集；利用粒子群优化算法寻找支持向量机的优化参数，选择精度最好的支持向量机的优化参数训练svm模型。
28.进一步地，所述第二融合单元，用于计算融合决策有争议的像素的融合权重，滑动窗口的每个尺寸只反映单一尺度的区域特征，不同尺寸的窗口同时与pca结合得到相应的融合权重，区域特征用多尺度表示。
29.本发明的有益效果如下：本发明提供的一种图像融合中图像增强方法及装置，通过获取需要进行图像融合的两个源图像；将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图；基于预先训练的svm模型，提取所述两个增强图中的融合决策无争议的像素；将所述融合决策无争议的像素进行融合，得到第一融合图像；基于预先训练的svm模型，提取所述两个增强图中的融合决策有争议的像素；将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像；通过第一融合图像和第二融合图像的逻辑运算得到最终融合图像；与传统方法相比，所需要的计算资源和训练训练样本更少，效率更高，图像融合得到的融合图像的效果更好。
附图说明
30.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明实施例提供的图像融合中图像增强方法的流程图。
32.图2为本发明实施例提供的图像融合中图像增强装置的示意图。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
34.为了克服现有技术的不足，本发明使用由低成本摄像机在视觉域中捕获的烟雾视频，并通过实施强大的分类器改进了烟雾检测，烟雾区域使用深度置信网络(dbn)进行分类，以获得所研究框架中出现烟雾和无烟雾的概率。dbn使用三个选定特征的组合：烟雾颜色、运动和图像能量。
35.请参阅图1，本发明提供本发明提供一种图像融合中图像增强方法，该方法包括如下步骤：
36.步骤s101，获取需要进行图像融合的两个源图像。
37.步骤s102，将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间
图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图。
38.在本实施例中，将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图的步骤中，根据retinex理论得到第三光照图对应的反射图。
39.步骤s103，基于预先训练的svm模型，提取所述两个增强图中的融合决策无争议的像素。
40.在本实施例中，所述预先训练的svm模型的训练过程中：通过滑动窗口提取两个样本图像中聚焦区域和非聚焦区域的图像特征，所述滑动窗口用于提取标准偏差、空间频率、平均梯度、图像梯度能量和修正拉普拉斯算子这五个度量，所述五个度量用于在滑动窗口中呈现样本图像的图像特征，当窗口滑动到一个像素位置时，计算五个度量，形成一个特征向量，当滑动窗口遍历增强图的所有像素时，形成svm的输入特征。
41.在本实施例中，所述预先训练的svm模型的训练过程中：将增强图中聚焦和未聚焦区域分割成块，构建训练数据集；利用粒子群优化算法寻找支持向量机的优化参数，选择精度最好的支持向量机的优化参数训练svm模型。
42.步骤s104，将所述融合决策无争议的像素进行融合，得到第一融合图像。
43.步骤s105，基于预先训练的svm模型，提取所述两个增强图中的融合决策有争议的像素。
44.步骤s106，将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像。
45.在本实施例中，将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像的步骤中，计算融合决策有争议的像素的融合权重，滑动窗口的每个尺寸只反映单一尺度的区域特征，不同尺寸的窗口同时与pca结合得到相应的融合权重，区域特征用多尺度表示。聚焦区域和非聚焦区域必须是互补的，这意味着不同源图像的相应像素的融合决策是互补的。然而，svm模型得到的融合决策可能并不完全互补，因为决策并不完全正确。因此，无法决定应该将哪个像素融合到最终图像中，所以本发明为了增强融合结果，采用多尺度加权pca(mwpca)来处理有争议的区域。
46.步骤s107，通过第一融合图像和第二融合图像的逻辑运算得到最终融合图像。
47.由以上实施例可知，本发明的图像融合中图像增强方法，通过获取需要进行图像融合的两个源图像；将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图；基于预先训练的svm模型，提取所述两个增强图中的融合决策无争议的像素；将所述融合决策无争议的像素进行融合，得到第一融合图像；基于预先训练的svm模型，提取所述两个增强图中的融合决策有争议的像素；将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像；通过第一融合图像和第二融合图像的逻辑运算得到最终融合图像；与传统方法相比，所需要的计算资源和
训练训练样本更少，效率更高，图像融合得到的融合图像的效果更好。
48.本发明采用了一种新的基于svm的多焦点图像融合方法和一种改进的基于多尺度pca的像素加权方法，本发明获得的融合图像优于其他比较融合方法，所使用的区域特征提取方法可以呈现源图像中聚焦和未聚焦区域的重要信息，所提出的图像融合方法可以弥补支持向量机错误分类的不足。此外，本发明提出的基于多尺度pca的图像融合用于处理有争议的区域，以克服传统pca方法的弱点。
49.请参阅图2，本发明提供一种图像融合中图像增强装置，包括：
50.获取单元21，用于获取需要进行图像融合的两个源图像；
51.增强单元22，用于将两个源图像分别从rgb空间转换到hsv空间，从v通道中得到第一光照图；对所述第一光照图进行过滤，得到第二光照图；对第二光照图进行伽玛校正，得到中间图像；确定中间图像的权重，进行中间图像融合得到第三光照图；根据第三光照图得到反射图，将反射图从hsv空间转回rgb空间得到两个增强图；
52.第一提取单元23，用于基于预先训练的svm模型，提取所述两个增强图中的融合决策无争议的像素；
53.第一融合单元24，用于将所述融合决策无争议的像素进行融合，得到第一融合图像；
54.第二提取单元25，用于基于预先训练的svm模型，提取所述两个增强图中的融合决策有争议的像素；
55.第二融合单元26，用于将所述融合决策有争议的像素与多尺度加权pca融合，得到第二融合图像；
56.第三融合单元27，用于通过第一融合图像和第二融合图像的逻辑运算得到最终融合图像。
57.进一步地，所述增强单元，用于根据retinex理论得到第三光照图对应的反射图。
58.进一步地，所述预先训练的svm模型的训练过程中：通过滑动窗口提取两个样本图像中聚焦区域和非聚焦区域的图像特征，所述滑动窗口用于提取标准偏差、空间频率、平均梯度、图像梯度能量和修正拉普拉斯算子这五个度量，所述五个度量用于在滑动窗口中呈现样本图像的图像特征，当窗口滑动到一个像素位置时，计算五个度量，形成一个特征向量，当滑动窗口遍历增强图的所有像素时，形成svm的输入特征。
59.进一步地，所述预先训练的svm模型的训练过程中：将增强图中聚焦和未聚焦区域分割成块，构建训练数据集；利用粒子群优化算法寻找支持向量机的优化参数，选择精度最好的支持向量机的优化参数训练svm模型。
60.进一步地，所述第二融合单元，用于计算融合决策有争议的像素的融合权重，滑动窗口的每个尺寸只反映单一尺度的区域特征，不同尺寸的窗口同时与pca结合得到相应的融合权重，区域特征用多尺度表示。
61.本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的图像融合中图像增强方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：rom)或随机存储记忆体(英文：randomaccessmemory，简称：ram)等。
62.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
63.本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于图像融合中图像增强装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
64.以上所述的本发明实施方式并不构成对本发明保护范围的限定。