基于显著性检测与奇异值分解的图像融合方法及装置与流程

本发明涉及图像融合领域，特别涉及一种基于显著性检测与奇异值分解的图像融合方法及系统。

背景技术：

图像融合作为信息融合的一门分支，是一门包含信号处理、基于显著性检测与奇异值分解的图像融合、计算机技术、图像探测器技术等多种领域的综合高新技术。图像融合对某一场景获取的多幅图像信息加以综合，最终将两幅或多幅包含多样、冗余信息的图像合成为一幅含有更丰富信息的新图像。新的融合图像克服了单幅图像在空间分辨率、物理属性、时间分辨率以及光谱信息等方面的局限性，能更好地为重要目标的定位、识别和理解提供支撑。

红外(ir)与可见光(vi)传感器之间的信息融合是目前应用最多，同时也是最具有现实意义的融合方式。通过将可见光的纹理细节信息与红外热辐射目标的显著信息相结合，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。针对ir与vi之间的图像融合，人们提出了许多方法，其中多尺度分解(mga)与脉冲式耦合人工神经网络(pcnn)是目前较为常用的。mga可以将图像分解成一系列不同尺度，不同频率的子带图像，为后续的融合规则奠定基础；而pcnn可以作为融合规则，由于它特有的仿生机制，能够保持输入图像空间二维信息的完整性，将图像的信息特征与pcnn模型的视觉特性完美结合，获得较好的融合效果。鉴于上述两种方法优良的特性，许多学者将两种工具进行结合，研究基于多尺度分解的pcnn模型图像融合，并取得一定的成果。文献《amulti-facetedadaptiveimagefusionalgorithmusingamulti-wavelet-basedmatchingmeasureinthepcnndomain[j].appliedsoftcomputing,2017,61:1113–1124》提出在pcnn域中使用基于多小波匹配度量的多分面自适应图像融合算法，文献《anovelmulti-focusimagefusionmethodusingpcnninnonsubsampledcontourlettransformdomain[j],optik,2015,126:2508–2511》等人提出非下采样contourlet变换域中采用pcnn的多聚焦图像融合方法，文献《novelfusionmethodforvisiblelightandinfraredimagesbasedonnsst–sf–pcnn[j],infraredphysics&technology,2014,65,103-112》提出基于nsst-sf-pcnn的可见光和红外图像融合新方法。值得一提的是，在上述方法使用的众多mga工具中，非下采样剪切波变换(nsst)是最为先进的一种。nsst由合成小波构造而成，可以由此获得多方向的紧支撑结构，而且它在分解的过程中不存在下采样操作，同时在方向局部化阶段采用局部化小尺寸剪切滤波器，能够避免频谱混叠和弱化吉布斯振铃现象，提高时域卷积计算效率的同时，对图像进行最为精细地稀疏分解，因此基于nsst与pcnn相结合的融合算法是目前最具有研究价值的。

现有研究方法中的pcnn模型大多以单通道为主，同时模型内部含有大量不可省略的外设参数，其中多数都要靠经验设置，这导致融合的时效性与准确性大大降低。文献《afusionalgorithmforinfraredandvisibleimagesbasedonadaptivedual-channelunit-linkingpcnninnsctdomain[j],infraredphysics&technology,2015,69:53–61》提出一种自适应双通道pcnn模型，将传统单通道变为双通道模型的同时，很大程度上解决了pcnn模型自适应的问题，但是最终的融合图却像出现了大量黑色伪影噪声，使得图像过渡不自然，观感不佳。通过大量实验与仿真发现，上述问题的主要原因是外界刺激与链接强度的选取出现问题。首先，作为pcnn模型内部最重要的两个参数，外界刺激与链接强度都反映了人眼视觉系统对图像中不同特征区域反应的强烈程度，而研究者们通过采用拉普拉斯能量和，平均梯度，空间频率等算子对两个参数进行自适应设置。然而针对图像光谱差异较大的异源图像融合时，上述算子容易导致pcnn模型中外界刺激与链接强度值的稳定性下降，造成融合图像的不连续和边缘模糊等缺陷；除此外，经过多尺度分解产生的图像低频子带与高频子带存在本质不同，因此针对不同的子带图像，需要采用不同的链接强度与不同的外界刺激。基于以上分析，现有的自适应双通道pcnn模型需要寻找更能反应图像本征特征信息的算子解决光谱差异较大的ir与vi图像融合。

技术实现要素：

本发明实施例提供了一种基于显著性检测与奇异值分解的图像融合方法及装置，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。

第一方面，本发明实施例中提供一种基于显著性检测与奇异值分解的图像融合方法，所述方法包括：

获取来自同一场景并进行图像配准的红外图像和可见光图像；

利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；

在双通道pcnn模型中针对低频子带系数采用基于ft算法进行自适应加权融合,并通过局部结构信息因子lsi作为连接强度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子slvc作为其的外界刺激，梯度奇异值算子gsv作为连接强度处理得到高频融合系数；

利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数，包括：

利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

可选地，所述在双通道pcnn模型中针对低频子带系数采用基于ft算法进行自适应加权融合，并通过局部结构信息因子lsi作为连接强度处理得到低频融合系数之前，所述方法还包括：

预先建立双通道pcnn模型，具体为：

fij¹(n)＝iij¹(n)；(1)

fij²(n)＝iij²(n)；(2)

θij(n)＝θij(n-1)-δ+vθyij(n)；(6)

其中和作为外界刺激直接输入到接收域，fij¹(n)和fij²(n)代表对称的反馈输入，βij¹(n)和βij²(n)代表两幅图像相应的链接强度，信息融合域通过判读两幅图像神经元内部项uij的大小，来决定最终输出的uij，tij表示每个像素元ij的点火次数。

可选地，所述在双通道pcnn模型中针对低频子带系数采用基于ft算法进行自适应加权融合,并通过局部结构信息因子lsi作为连接强度处理得到低频融合系数，包括：

采用ft算法分别对红外图像和可见光图像进行显著性探测，生成相应的显著图sir与svi，然后再将两幅图的灰度值进行归一化，分别形成第一加权系数矩阵s1与第二加权系数矩阵s2；

利用第一加权系数矩阵s1与第二加权系数矩阵s2分别指导基于红外显著性与可见光显著性的自适应加权融合，具体表达式为：

其中c^irl,k(i,j)与c^vil,k(i,j)分别代表ir与vi图像在(i,j)处的低频子带系数，i¹l,k(i,j)与i²l,k(i,j)分别表示基于红外显著性检测与可见光显著性检测的自适应加权融合系数；

对i¹l,k(i,j)与i²l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为(i,j)，对每一子块进行矩阵奇异值分解，表达式如下：

其中i代表分块后的矩阵，σi代表分块矩阵的奇异值；

利用局部区域奇异值构造局部结构信息因子，即低频分量pcnn模型的连接强度，具体表达式为：

式中||||f代表矩阵的f-范数，lsi(i,j)值的大小体现图像局部区域内基本结构模式；

迭代公式(1)-(7)直到所有神经元都被点火，计算uij(n),lij(n),θij(n),tij(n),yij(n)，融合系数的规则如下：

其中uⁱ(n)与u^v(n)表示红外与可见光图像的神经元内部活动项，n代表迭代次数，代表低频融合系数。

可选地，所述针对高频子带系数采用区域视觉对比度和算子slvc作为其的外界刺激，梯度奇异值算子gsv作为连接强度处理得到高频融合系数，包括：

利用区域视觉对比度和算子slvc处理d¹l,k(i,j)与d²l,k(i,j)，形成相应的高频分量pcnn模型的外界刺激，slvc表达式如下：

其中m×n为区域窗口的大小，slvcl,k(i,j)为区域视觉对比度和；lvcl,k(i,j)为区域视觉对比度；α为视觉常数；l(i,j)为il,k(i,j)处的均值，il,k(i,j)为经过显著性加权的高频子带系数，即i¹l,k(i,j)与i²l,k(i,j)的缩写；nsmll,k(i,j)是改进的拉普拉斯能量和算子；w(m,n)代表加权模板；

对i¹l,k(i,j)与i²l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为(i,j)，对每一子块先进行梯度分解(gv)，对分解后的每一子块进行矩阵奇异值分解svd，表达式如下：

δi代表分块矩阵的奇异值，即局部区域梯度奇异值；

利用其局部区域梯度奇异值构造gsvm，即高频分量pcnn模型的连接强度，具体表达式为：

迭代公式(1)-(7)直到所有神经元都被点火，计算uij(n),lij(n),θij(n),tij(n),yij(n)，高频融合系数dl,k(i,j)的规则如下：

其中n代表迭代次数。

第二方面，本发明实施例中提供一种基于显著性检测与奇异值分解的图像融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

多尺度分解单元，用于利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；

融合系数处理单元，用于在双通道pcnn模型中针对低频子带系数采用基于ft算法进行自适应加权融合,并通过局部结构信息因子lsi作为连接强度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子slvc作为其的外界刺激，梯度奇异值算子gsv作为连接强度处理得到高频融合系数；

融合单元，用于利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

可选地，所述图像配准单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述多尺度分解单元具体用于：

利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

可选地，所述装置还包括：

建立单元，用于预先建立双通道pcnn模型，具体为：

fij¹(n)＝iij¹(n)；(1)

fij²(n)＝iij²(n)；(2)

其中和作为外界刺激直接输入到接收域，fij¹(n)和fij²(n)代表对称的反馈输入，βij¹(n)和βij²(n)代表两幅图像相应的链接强度，信息融合域通过判读两幅图像神经元内部项uij的大小，来决定最终输出的uij，tij表示每个像素元ij的点火次数。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的基于显著性检测与奇异值分解的图像融合方法及装置，采用基于显著性检测与奇异值分解的自适应双通道pcnn模型，该模型首先通过nsst作为多尺度分解工具，将图像分解为一个低频子带图像与一系列高频子带，其次在现有自适应双通道pcnn模型的基础上进行改进，并且针对不同频率的子带图像，分别利用新提出算子进行处理，最终将pcnn模型神经元的全局耦合和脉冲同步特性与nsst的稀疏分解特性相结合，一定程度上解决了红外图像和可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，最终取得较好的融合效果。

附图说明

图1(a)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法的流程图；

图1(b)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中图像的双层nsst分解示意图；

图2为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中ft算法的示意图；

图3为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中自适应双通道pcnn示意图；

图4为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中低频子带的融合示意图；

图5为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中高频子带的融合示意图；

图6为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法的流程示意图；

图7为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中pcnn模型中连接强度与外界刺激算子的效果示意图；

图8为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中融合实验效果对比图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1至图8所示，本发明实施例中提供一种基于显著性检测与奇异值分解的图像融合方法，所述方法包括：

s101、获取来自同一场景并进行图像配准的红外图像和可见光图像。

选取来自同一场景并且经过严格配准的红外图像与可见光图像，分别获取同一场景的红外图像和可见光图像，对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

s102、利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数。

本发明实施例中分别采用matlab仿真软件中‘maxflat’和[2，2，3，3]作为nsst的方向滤波器和金字塔滤波器，利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

s103、在双通道pcnn模型中针对低频子带系数采用基于ft算法进行自适应加权融合，并通过局部结构信息因子lsi作为连接强度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子slvc作为其的外界刺激，梯度奇异值算子gsv作为连接强度处理得到高频融合系数。

结合图2和3所示，预先建立双通道pcnn模型，具体为：

fij¹(n)＝iij¹(n)；(1)

fij²(n)＝iij²(n)；(2)

θij(n)＝θij(n-1)-δ+vθyij(n)；(6)

其中和作为外界刺激直接输入到接收域，fij¹(n)和fij²(n)代表对称的反馈输入，βij¹(n)和βij²(n)代表两幅图像相应的链接强度。信息融合域通过判读两幅图像神经元内部项uij的大小，来决定最终输出的uij。对于δ，我们可以设置为0.01，以确保动态阈值的衰减速度是平缓并且可接受的；为了限制每个神经元的点火次数不超过一次，参数vθ可以简单地分配一个比较大的值，例如20。tij表示每个像素元ij的点火次数，它准确地表达了像素元的点火次数信息,很好地解决迭代次数n的自适应问题。

低频融合规则

结合图2和图7所示，其中，图7中(a)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中相同场景的红外图像；图7中(b)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中相同场景的可见光图像；图7中(c)和(d)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中低频分量pcnn的外界刺激示意图；图7中(e)和(f)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中低频分量pcnn的链接强度示意图，采用ft算法分别对红外图像和可见光图像进行显著性探测，生成相应的显著图sir与svi，然后再将两幅图的灰度值进行归一化，分别形成第一加权系数矩阵s1与第二加权系数矩阵s2；

利用第一加权系数矩阵s1与第二加权系数矩阵s2分别指导基于红外显著性与可见光显著性的自适应加权融合，具体表达式为：

其中c^irl,k(i,j)与c^vil,k(i,j)分别代表ir与vi图像在(i,j)处的低频子带系数，i¹l,k(i,j)与i²l,k(i,j)分别表示基于红外显著性检测与可见光显著性检测的自适应加权融合系数；

对i¹l,k(i,j)与i²l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为(i,j)，对每一子块进行矩阵奇异值分解，表达式如下：

其中i代表分块后的矩阵，σi代表分块矩阵的奇异值；

结合图5所示，利用局部区域奇异值构造局部结构信息因子，即低频分量pcnn模型的连接强度，具体表达式为：

式中||||f代表矩阵的f-范数，lsi(i,j)值的大小体现图像局部区域内基本结构模式，体现局部区域包含细节信息的丰富程度，能够表述图像特征的变化。

迭代公式(1)-(7)直到所有神经元都被点火，计算uij(n),lij(n),θij(n),tij(n),yij(n)，融合系数的规则如下：

其中uⁱ(n)与u^v(n)表示红外与可见光图像的神经元内部活动项，n代表迭代次数，代表低频融合系数。

高频融合规则

结合图5和图7所示，其中，图7中(g)和(h)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中高频分量pcnn的外界刺激示意图，图7中(i)和(j)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中高频分量pcnn的链接强度示意图，利用区域视觉对比度和算子(slvc)处理d¹l,k(i,j)与d²l,k(i,j)，形成相应的高频分量pcnn模型的外界刺激，slvc表达式如下：

其中m×n为区域窗口的大小，slvcl,k(i,j)为区域视觉对比度和；lvcl,k(i,j)为区域视觉对比度；α为视觉常数；l(i,j)为il,k(i,j)处的均值，il,k(i,j)为经过显著性加权的高频子带系数，即i¹l,k(i,j)与i²l,k(i,j)的缩写；nsmll,k(i,j)是改进的拉普拉斯能量和算子；w(m,n)代表加权模板；

对i¹l,k(i,j)与i²l,k(i,j)进行滑动窗口平移分块，块的大小为3×3，中心点为(i,j)，对每一子块先进行梯度分解(gv)，对分解后的每一子块进行矩阵奇异值分解svd，表达式如下：

δi代表分块矩阵的奇异值，即局部区域梯度奇异值；

利用其局部区域梯度奇异值构造gsvm，即高频分量pcnn模型的连接强度，具体表达式为：

gsvm算子在细节和纹理边缘的特征表现突出，能作为图像的局部信息描述子，表征图像的局部特征，且具有鲁棒性。

迭代公式(1)-(7)直到所有神经元都被点火，计算uij(n),lij(n),θij(n),tij(n),yij(n)，高频融合系数dl,k(i,j)的规则如下：

其中n代表迭代次数。

s104、利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

一般地，图像融合结果的性能可以通过主观和客观的方式进行评价。在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的，本文选取了以下5个客观质量指标作为评判标准：1.平均梯度(avg)2.信息熵(ie)3.边缘信息保留量(q^ab/f)4.标准差(sd)。详细地说，avg用来体现图像中的微小细节反差和纹理变化特征；ie可以直接用来衡量图像信息的丰富程度；sd用来反应像素灰度值的分布状况；q^ab/f评价从源图像传递到融合图像的边缘信息量。对于这5个指标，数值越大代表性能越好。

本仿真采用基于nsst-sf-pcnn的融合算法、基于gff的融合算法、基于vsm的融合算法、基于ife的融合算法、基于gtf的融合算法等作为对比，图8中(a)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中红外图像；图8中(b)为本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法中可见光图像；图8中(c)是基于nsst-sf-pcnn的融合效果图；图8中(d)是基于cff的融合效果图；图8中(e)是基于vsm的融合效果图；图8中(f)是基于ife的融合效果图；图8中(g)是基于gtf的融合效果图；图8中(h)是本发明实施例中提供的基于显著性检测与奇异值分解的图像融合方法的融合效果图。

表1表示不同算法的评价指标对比。

图8中(c)与图8中(g)整体观感模糊；图8中(f)依旧亮度过曝；图8中(d)观感比较接近vi图像，没有将ir图像的显著信息融合进去；图8中(e)的对比度没有图8中(h)高，并且图像内部的人物轮廓也没有本文算法清晰。从在评价参数中我们可以发现，与主观观感相似，本文算法的评价参数值均保持领先，说明本文算法在图像灰度值分布、边缘细节、清晰度等方面优于其他算法，并且拥有较好的观感，并且融合后的图像对比度较好，整体灰度值过渡自然，拥有较佳的观感。

本发明提供的基于显著性检测与奇异值分解的图像融合方法，采用基于显著性检测与奇异值分解的自适应双通道pcnn模型，该模型首先通过nsst作为多尺度分解工具，将图像分解为一个低频子带图像与一系列高频子带，其次在现有自适应双通道pcnn模型的基础上进行改进，并且针对不同频率的子带图像，分别利用新提出算子进行处理，最终将pcnn模型神经元的全局耦合和脉冲同步特性与nsst的稀疏分解特性相结合，一定程度上解决了红外图像和可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，最终取得较好的融合效果。

对应地，本发明实施例中提供一种基于显著性检测与奇异值分解的图像融合装置，所述装置包括：

图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；

多尺度分解单元，用于利用非下采样剪切波变换nsst算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；

融合系数处理单元，用于在双通道pcnn模型中针对低频子带系数采用基于ft算法进行自适应加权融合，并通过局部结构信息因子lsi作为连接强度处理得到低频融合系数，针对高频子带系数采用区域视觉对比度和算子slvc作为其的外界刺激，梯度奇异值算子gsv作为连接强度处理得到高频融合系数；

融合单元，用于利用nsst逆变换重构低频融合系数和高频融合系数得到融合图像。

可选地，所述图像配准单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述多尺度分解单元具体用于：

利用非采样剪切变换nsst分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

可选地，所述装置还包括：

建立单元，用于预先建立双通道pcnn模型，具体为：

fij¹(n)＝iij¹(n)；(1)

fij²(n)＝iij²(n)；(2)

θij(n)＝θij(n-1)-δ+vθyij(n)；(6)

其中和作为外界刺激直接输入到接收域，fij¹(n)和fij²(n)代表对称的反馈输入，βij¹(n)和βij²(n)代表两幅图像相应的链接强度，信息融合域通过判读两幅图像神经元内部项uij的大小，来决定最终输出的uij，tij表示每个像素元ij的点火次数。

本发明提供的基于显著性检测与奇异值分解的图像融合装置，采用基于显著性检测与奇异值分解的自适应双通道pcnn模型，该模型首先通过nsst作为多尺度分解工具，将图像分解为一个低频子带图像与一系列高频子带，其次在现有自适应双通道pcnn模型的基础上进行改进，并且针对不同频率的子带图像，分别利用新提出算子进行处理，最终将pcnn模型神经元的全局耦合和脉冲同步特性与nsst的稀疏分解特性相结合，一定程度上解决了红外图像和可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，最终取得较好的融合效果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明所提供的一种基于显著性检测与奇异值分解的图像融合方法进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。