一种融合可见光图像与对应夜视红外图像的检测方法与流程

本发明属于机器视觉领域，具体涉及一种融合可见光图像与对应夜视红外图像的检测方法。

背景技术：

机器视觉显著性机制可以用来提取道路场景中的显著性的最为重要的区域，从而为后期的处理减少计算量，在人类视觉系统中也有一个视觉注意力机制，它可以帮助人类在短时间内将注意力集中在某个最为显著性的重要的区域，从而做出最为快速的反映，受此启发，研究者们也希望机器视觉也可以像人类的视觉注意力机制那样，将复杂的自然图像内容进行一个简数据的筛选和简化，所以提出了机器视觉的视觉显著性模型。

视觉注意力系统是人类视觉系统的重要的前期处理系统，可以对原始的图像数据进行高效的筛选，将大部分的处理单元分配在最为重要的显著性的区域上，从而提高视觉系统的处理能力。

显著性机制是一个神经生理学和心理学的概念，各国的神经生理学家提出了很多模拟人类视觉系统注意力的模型，由此启发，各国的研究者们纷纷开始研究机器视觉中的视觉显著性模型。

深度学习的概念来源于人工神经网络的研究，深度学习可以模拟模拟人脑进行分析学习，通过组合低层次特征形成更加抽象的高层次特征，深度学习网络具有多个层次，在每一层中不断训练，并将训练结果作为下一层的输入，并用自顶而下的监督算法去调整所有层，深度学习的网络可以准确的提取出高层次的语义特征，特别是在面对复杂环境时具有强大的优势，因此引起了各国研究者们强烈的研究兴趣。

中国专利(CN104574366AN)公开了一种基于单目深度图视觉显著性区域的提取方法，此方法运用超像素和高斯-马尔科夫随机场模型，建立概率模型，计算超像素的显著性值，并通过增益系数来修正其显著性值，但此方法仅仅是在没有任何先验知识的前提下，提取低层次的显著性区域，没有考虑到可以通过深度学习的方法来提取高层次的显著性区域。中国专利(CN104463917A)公开了一种基于除法归一化的视觉显著性检测方法，该方法通过针对不同颜色通道，运用除法归一化和融合的方法，计算输入图像的显著性图像，但此方法没有考虑到可以运用增量编码长度的方法来更加全面的提取颜色显著性，忽略了辐射能量差异即也是红外图像也是影响显著性的一个因素，上述方法在显著性区域提取的过程中，都有上述各自的不足，特别是在处理夜晚道路复杂环境图像时，显著性区域提取的准确性和鲁棒性都受到了影响。

本发明的目的主要是解决现有的视觉注意力模型在夜晚复杂的道路场景中的目标检测中无法提取高层次的语义特征，并且提取的显著性区域的精度不够，以及忽略了动态视觉搜索的因素，忽视了在夜晚道路场景中的显著性目标与背景向外辐射能量的差异也是一种显著性的体现的问题，本发明可以在一定程度上解决上述问题，用来提高视觉注意力模型在夜晚道路复杂环境中目标检测中的准确性。

技术实现要素：

针对现有的视觉注意力模型在夜晚复杂的道路场景中的目标检测中面临的问题，本发明提出了一种融合可见光图像与对应夜视红外图像的检测方法。

本发明是通过以下技术手段实现上述技术目的的。

一种融合可见光图像与对应夜视红外图像的检测方法，包括如下步骤：

S1，通过红外夜视仪对夜晚道路目标的可见光图像进行处理，得到其对应的夜视红外图像；

S2，运用深度学习网络对可见光图像进行特征提取；

S3，基于增量编码长度衡量显著性值的方法，对可见光图像的特征提取图像进行显著性区域的提取，得到可见光图像的显著性图像；

S4，对可见光图像对应的夜视红外图像，运用GBVS模型(基于图论的图像显著性分析算法)进行显著性区域的粗提取，得到夜视红外图像的显著性图像CC；

S5，运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取；

S6，将可见光图像的显著性图像和夜视红外图像的显著性图像ZZ融合，得到夜晚道路目标的显著性图像。

进一步，所述S2中运用深度学习网络对可见光图像进行特征提取的具体步骤为：

S2.1，任意选取可见光图像一小块区域；

S2.2，运用图像空间金字塔法对S2.1的一小块区域进行多尺度的划分，得到可见光图像的多尺度图像；

S2.3，利用栈式自编码得到可见光图像的多尺度图像的稀疏响应图；

S2.4，对可见光图像的多尺度图像的稀疏响应图运用卷积进行特征提取，得到多尺度图像的稀疏响应特征图；

S2.5，按照稀疏响应值最大的原则，从多尺度图像的稀疏响应特征图中的某个尺度图像上选取一个LxL区域，并针对所选取的区域进行不同尺度上的空间池化，以整合不同尺度图像上的稀疏响应特征；

S2.6，在S2.5中某个尺度图像上一个LxL区域的竖直方向的相同位置选取若干个区域，并对若干个区域进行多尺度的区域融合，得到一个融合区域图像；

S2.7，采用S2.2-S2.5处理可见光图像的步骤对融合区域图像进行处理，得到融合区域图像的稀疏响应特征；

S2.8，运用解码器对融合区域图像的稀疏响应特征进行解码，得到可见光图像的多尺度特征图，再对可见光图像的多尺度特征图进行多尺度的融合，得到一幅特征图；

S2.9，利用SVM分类器(支持向量机算法)对S2.8得到特征图的进行特征分类，最终获取可见光图像的特征提取图像。

进一步，所述S5中运用基于超复数频域的谱尺度空间的方法，基于全局特征，对显著性图像CC进行显著性区域的再提取的具体步骤为：

S5.1，通过对显著性图像CC的红绿蓝三个分量组合计算，得到显著性图像CC的三个特征图U,RG,BY；

S5.2，对特征图U,RG,BY进行整合，计算得到显著性图像CC的超复数矩阵f(x,y)；

S5.3，先对超复数矩阵f(x,y)进行超复数傅立叶变换，然后计算显著性图像CC的幅值谱A，相位谱p，特征轴谱kk；

S5.4，对幅值谱A进行卷积，从而得到显著性图像CC的谱尺度空间{AA_k}；

S5.5，基于显著性图像CC的谱尺度空间{AA_k}计算得到显著性图像CC的显著图序列{Z_i}；

S5.6，运用基于最大方差的原则选取显著图序列{Z_i}中的一个显著图序列作为夜视红外图像的显著性图像ZZ。

进一步，所述S5.2中超复数矩阵f(x,y)的计算公式为其中向量分别为在三维空间直角坐标系中与x、y、z轴方向相同的单位向量。

进一步，所述S5.3中幅值谱A的计算公式为A＝|F(f(x,y))|，其中||表示求幅值，F()表示超复数傅立叶变换。

进一步，所述S5.5中显著图序列{Z_i}的计算公式为：Z_i＝g*|F^-1{AA_k(x,y)e^kk×p(x,y)}|²，其中相位谱特征轴谱||表示求幅值，F()表示超复数傅立叶变换，表示相位，g表示高斯核，*表示卷积，×表示乘积，F^-1表示傅立叶反变换，v()表示取傅立叶变换后的矢量部分，||||表示求矢量的模。

本发明的有益效果为：

1.本发明在可见光图像上运用深度学习的方法，提取出较高层次的语义特征，从而能够面对复杂环境中高层次特征提取困难的情况，并在提取特征后的基础上运用基于增量编码长度衡量显著性值的方法进行显著性区域的提取，从而使得提取结果更为准确，并且模拟了动态视觉搜索的因素。

2.本发明针对可见光图像所对应的夜视红外图像进行处理，而夜视红外图像本身就是对可见光图像的一种基于显著性目标与背景间辐射能量差异的显著性区域的提取，从而考虑到了显著性目标与背景间辐射能量差异对提取显著性区域的影响。

3.本发明在针对夜视红外图像进行处理的过程中，在GBVS模型的基础上运用基于超复数频域的谱尺度空间的方法，将提取后的特征进行整体考虑，在不丧失特征间关联性的基础上，进行显著性区域的再次提取，从而弥补了GBVS模型中未融合超复数频域以及只提取局部特征、未整体考虑的问题。

附图说明

图1为本发明一种融合可见光图像与对应夜视红外图像的检测方法的流程图；

图2为本发明运用深度学习网络对可见光图像进行特征提取的流程图；

图3为利用本发明得到的显著性图像图，图3(a)为车辆的可将光图像图，图3(b)为车辆的夜视红外图像图，图3(c)为利用本发明得到的车辆显著性图像图。

具体实施方式

下面将结合附图对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种融合可见光图像与对应夜视红外图像的检测方法的流程图，包括步骤：

S1，通过红外夜视仪对夜晚道路目标的可见光图像进行处理，得到其对应的夜视红外图像。

S2，如图2所示，运用深度学习网络对可见光图像进行特征提取；

S2.1，任意选取可见光图像一小块区域；

S2.2，运用图像空间金字塔法对S2.1的一小块区域进行多尺度的划分，得到可见光图像的多尺度图像；

图像空间金字塔法：以一系列以金字塔形状排列的分辨率逐渐降低的图像集合来表示多尺度图像，并在每个尺度水平上把图像划分为细网格序列，然后从每个网格中提取出特征，并把他们连接成一个大特征向量；

S2.3，利用栈式自编码得到可见光图像的多尺度图像的稀疏响应图；

栈式自编码是一个由多层稀疏自编码器构成的网络，每一层的稀疏自编码器是通过学习和训练图像特征的方法，得到一组稀疏基，稀疏基可以通过不同的系数组合来表示一幅图像，栈式自编码就是以上一层稀疏自编码器输出的稀疏基作为下一层稀疏自编码器的输入，由这样的多层的稀疏自编码构成了栈式自编码；

栈式自编码第一次重构误差损失：

$E1=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left|{\mathrm{\χ}}_i-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\α}{\left(1\right)}_{(i,j)}\mathrm{\θ}{\left(1\right)}_{\left(j\right)}\right|}^2+\mathrm{\λ}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|\mathrm{\α}{\left(1\right)}_{(i,j)}\right|---\left(1\right)$

其中χ_i表示输入的多个图像块，α(1)_(i,j)表示第一次自编码时的稀疏系数，θ(1)_(j)表示第一次自编码时的基，λ表示稀疏连续性惩罚系数；

栈式自编码第二次重构误差损失：

$E2=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\left|\mathrm{\α}{\left(1\right)}_{(i,j)}\mathrm{\θ}{\left(1\right)}_{\left(j\right)}-\underset{k=1}{\overset{p}{\mathrm{\Σ}}}\mathrm{\α}{\left(2\right)}_{(i,k)}\mathrm{\θ}{\left(2\right)}_{\left(k\right)}\right|}^2+\mathrm{\λ}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{k=1}{\overset{p}{\mathrm{\Σ}}}\left|\mathrm{\α}{\left(2\right)}_{(i,k)}\right|---\left(3\right)$

其中：α(2)_(i,k)表示第二次自编码时的稀疏系数，θ(2)_(k)表示第二次自编码时的基；

所以稀疏响应图：

Y＝α(2)_(i,k)θ(2)_(k) (5)

S2.4，对可见光图像的多尺度图像的稀疏响应图运用卷积进行特征提取，得到多尺度图像的稀疏响应特征图；

S2.5，按照稀疏响应值最大的原则，从多尺度图像的稀疏响应特征图中的某个尺度图像上选取一个LxL区域，并针对所选取的区域进行不同尺度上的空间池化，以整合不同尺度图像上的稀疏响应特征；

空间池化：在不同尺度的图像区域上，用不同大小的池化窗口作用于不同尺度的图像区域上的卷积特征，得到不同维度的特征，再将不同维度的特征输入全连接层，从而将不同尺度上的图像区域转化成相同维度的特征；

S2.6，在S2.5中某个尺度图像上一个LxL区域的竖直方向的相同位置选取若干个区域，并对若干个区域进行多尺度的区域融合，得到一个融合区域图像；

S2.7，运用图像空间金字塔法对S2.6的融合区域图像进行多尺度的划分，得到融合区域图像的多尺度图像；

S2.8，利用栈式自编码得到融合区域图像的多尺度图像的稀疏响应图；

S2.9，对融合区域图像的多尺度图像的稀疏响应图运用卷积进行特征提取，得到融合区域图像的稀疏响应特征图；

S2.10，按照稀疏响应值最大的原则，从融合区域图像的稀疏响应特征图中的某个尺度图像上选取一个LxL区域，并针对所选取的区域进行不同尺度上的空间池化，以整合不同尺度图像上的稀疏响应特征；

S2.11，运用解码器对融合区域图像的稀疏响应特征进行解码，得到可见光图像的多尺度特征图，再对可见光图像的多尺度特征图进行多尺度的融合，得到一幅特征图；

S2.12，利用SVM分类器(支持向量机算法)对S2.8得到特征图的进行特征分类，最终获取可见光图像的特征提取图像。

S3，基于增量编码长度衡量显著性值的方法(通过计算增量编码长度来计算每个特征的显著性值)，对可见光图像的特征提取图像进行显著性区域的提取，得到可见光图像的显著性图像；具体的过程为：

第二次自编码时的基转置运算：

θ(2)^-1＝[W₁,W₂,W₃......W_n]^T (6)

其中：W_n为对可见光图像上若干个小图像快的线性滤波后的结果，n＝1,2,3……；

可见光图像的特征提取图像活动率分布：

$p_i=\frac{\underset{m=1}{\overset{k}{\mathrm{\Σ}}}\left|W_n{X}^m\right|}{\underset{n=1}{\overset{i}{\mathrm{\Σ}}}\underset{m=1}{\overset{k}{\mathrm{\Σ}}}\left|W_n{X}^m\right|}---\left(7\right)$

其中：i表示在栈式自编码中选取的可见光图像区域所包含的图像特征，X^m表示选取的可见光图像上的若干个小图像块；

则可见光图像的特征提取图像活动率分布增量编码长度：

L(p_i)＝∑_j≠ip_jlog p_j-p_i-log p_i (8)

其中j表示稀疏基中的特征，L()为增量编码长度；

可见光图像的特征提取图像突出的特征集：

S＝{i|L(p_i)＞0} (9)

每个特征接受的能量：

$D_i=\frac{L\left(p_i\right)}{\underset{j\∈S}{\mathrm{\Σ}}L\left(p_j\right)},(i\∈S)---\left(10\right)$

则可见光图像的显著性图像：

$M_k=\underset{i\∈s}{\mathrm{\Σ}}{D}_i{W}_i{X}^k,(i\∈S)---\left(11\right)$

其中X^k表示在可见光图像中所选取的若干图像块。

S4，对可见光图像对应的夜视红外图像，运用GBVS模型(基于图论的图像显著性分析算法)进行显著性区域的粗提取，得到夜视红外图像的显著性图像CC。

S5，运用基于超复数频域的谱尺度空间的方法(运用超复数傅里叶变换，将显著性图像CC从时域转化到超复数频域的谱尺度空间)，基于全局特征，对显著性图像CC进行显著性区域的再提取；

S5.1，通过对显著性图像CC的红绿蓝三个分量组合计算，得到显著性图像CC的三个特征图U,RG,BY；显著性图像CC的三个特征图U,RG,BY的计算公式如下：

U＝(r+g+b)/3 (12)

RG＝[r-(g+b)/2]-[g-(r+b)/2] (13)

BY＝[b-(r+g)/2]-[(r+g)/2-|r-g|/2-b] (14)

其中：r,g,b分别为显著性图像CC的红绿蓝三个分量；

S5.2，对特征图U,RG,BY进行整合，计算得到显著性图像CC的超复数矩阵f(x,y)；

超复数矩阵f(x,y)的计算公式为：

$f(x,y)=0.5\×U\stackrel{\→}{i}+0.25\×RG\stackrel{\→}{j}+0.25BY\stackrel{\→}{k}---\left(15\right)$

其中向量分别为在三维空间直角坐标系中与x、y、z轴方向相同的单位向量；

S5.3，先对超复数矩阵f(x,y)进行超复数傅立叶变换，然后计算显著性图像CC的幅值谱A，相位谱p，特征轴谱kk；幅值谱A的计算公式为：

A＝|F(f(x,y))| (16)

其中：||表示求幅值，F()表示超复数傅立叶变换；

S5.4，对幅值谱A进行卷积，从而得到显著性图像CC的谱尺度空间{AA_k}；谱尺度空间{AA_k}的计算公式为：

{AA_k}＝g*A (17)

其中：g表示高斯核，*表示卷积；

S5.5，基于显著性图像CC的谱尺度空间{AA_k}计算得到显著性图像CC的显著图序列{Z_i}；计算显著图序列{Z_i}的计算公式为：

Z_i＝g*|F^-1{AA_k(x,y)e^kk×p(x,y)}|² (18)

其中：相位谱特征轴谱||表示求幅值，F()表示超复数傅立叶变换，表示相位，g表示高斯核，*表示卷积，×表示乘积，F^-1表示傅立叶反变换，v()表示取傅立叶变换后的矢量部分，||||表示求矢量的模；

S5.6，运用基于最大方差的原则选取显著图序列{Z_i}中的一个显著图序列作为夜视红外图像的显著性图像ZZ；

S6，将可见光图像的显著性图像和夜视红外图像的显著性图像ZZ融合，得到夜晚道路目标的显著性图像。

通过本发明一种融合可见光图像与对应夜视红外图像的检测方法得到如图3所示的车辆的显著性图像。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。