一种基于双通道生成-融合网络的图像模态变换方法与流程

技术领域：

本发明涉及基于图像模态、风格变换技术，尤其涉及一种利用双通道生成网络对红外图像进行可见光图像模态的转变，然后利用图像融合方法将两种生成图像进行优化融合减小图像重建误差的方法。

背景技术：
：

由于视觉传感器的不同，或者成像原理不同，相应获取的图像呈现出显著的不同，具体表现在像素值的非线性变化。如场景相同的近红外图像、远红外图像、可见光图像、手绘图像、微光图像等。有效地在各类图像之间建立非线性映射变换可以将不同种类的图像相互转换，该技术对工业、国防、刑侦的领域的应用提供着重要的技术支持。

目前，常见的图像模态、风格变换方法是基于对抗生成网络(gan)的图像重建及其变异的方法，如gan-unet，gan-resnet等。现有的方法常常局限于设计单通道的生成图像网络结构，重建图像误差较高。

技术实现要素：
：

为了解决上述问题，本发明的主要目的在于提供一种基于双通道生成-融合网络的图像模态变换方法，其先进性表现为：一、分别利用残差单元、稠密单元设计双通道生成网络，获取两种特性不同的生成图像。二、通过亮度阈值对两种生成图像进行分割然后拼接融合，实现两种特性图像的优势互补，减少图像重建误差。

为达到上述目的，本发明的技术方案是：一种基于双通道生成-融合网络的图像模态变换方法，该方法包括：

步骤1)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；

步骤2)建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)；

步骤3)利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换；

步骤1)的具体内容为：

首先，将可见光彩色图像转换为灰度图像iccd，并且在灰度图像iccd和红外图像iir中分别提取sift特征点；然后，以红外图像iir中每个sift特征点firⁱ为中心，在给定的搜索范围(searchwindow)内在可见光灰度图像iccd中寻找sift候补特征点集合{fccd¹,fccd²,…firⁿ}；接着，计算红外图像iir特征点firⁱ与灰度图像iccd候补特征点集合中每一个特征点fccd^j之间的相似度，最后，根据最大相似度完成firⁱ和{fccd¹,fccd²,…firⁿ}之间的可见光-红外sift特征点匹配。其中，firⁱ与fccd^j之间相似度的具体计算方法如下：

1.分别以sift特征点firⁱ和fccd^j为中心，从iir和iccd中提取80x80的图像块pir和pccd。然后，分别从pir和pccd中提取384维的lghd特征向量hirⁱ和hccd^j。

2.利用直方图交叉核(histogramintersection)度量两个lghd特征向量hirⁱ和hccd^j之间的相似度，计算公式如下：

式中，hirⁱ,hccd^j分别是红外图像iir第i个sift特征点对应lghd特征向量。hccd^j是可见光灰度图像iccd第j个sift特征点对应lghd特征向量。

在红外图像iir中所有的sift特征点匹配之后，利用ransac算法从可见光-红外sift特征点对儿集合中，估计可见光图像iccd与红外图像iir之间的转换矩阵m。最后，根据m矩阵将灰度图像iccd转换为与红外图像iir在视野和分辨率均相同的图像icolor。

利用上述方法将双目摄像机获取的可见光-红外图像配准成分辨率和视野相同的红外-可见光双模态数据集。

步骤2)的具体内容为：

本发明提出的“双通道生成-融合网络”由三个模块构成：“基于残差单元(resblock)的图像生成网络”、“基于稠密单元(denseblock)的图像生成网络”和“图像融合”，参见图2(双通道生成-融合网络结构图)、图3(参数说明)。

“基于残差单元(resblock)的图像生成网络”的输入为红外图像iir，网络结构如下：下采样层1、下采样层2、下采样层3、9个残差单元、上采样层1、上采样层2、上采样层3。其中，第n个残差单元结构如下：卷积层n-1、卷积层n、元素相加层。元素相加层的输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果。“基于残差单元(resblock)的图像生成网络”输出为与输入iir分辨率相同的可见光生成图像ires。

“基于稠密单元(denseblock)的图像生成网络”的输入为红外图像iir，网络结构如下：下采样层1、下采样层2、下采样层3、9个稠密单元、上采样层1、上采样层2、上采样层3。其中，第n个稠密单元结构如下：卷积层n-1、向量拼接层1、卷积层n、向量拼接层2、卷积层n+1。向量拼接层1的输出为卷积层n-2与卷积层n-1的输出特征向量的连接结果。向量拼接层2的输出为卷积层n-2、卷积层n-1和卷积层n的输出特征向量的连接结果。“基于稠密单元(denseblock)的图像生成网络”输出为与输入iir分辨率相同的可见光生成图像idense。

“图像融合”模块的输入为ires和idense。该模块的结构如下：图像分割(≥亮度阈值)、图像分割(<亮度阈值)、图像拼接。图像融合过程如下：首先，将“基于残差单元(resblock)的图像生成网络”的输出ires图像，利用亮度阈值b^*进行分割，保留亮度值大于等于b^*的像素点，获得分割结果iseg1。接着，将“基于稠密单元(denseblock)的图像生成网络”的输出idense图像利用亮度阈值b^*进行分割，保留亮度值小于b^*的像素点，获得分割结果iseg2。最后，将两次分割的图像进行拼接,获取最终生成图像iout＝iseg1+iseg2。

利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)的过程如下：

1.利用对抗生成网络(gan)的训练方法单独训练“基于残差单元(resblock)的图像生成网络”，获取其网络权值，并且保存数据。

2.利用对抗生成网络(gan)的训练方法单独训练“基于稠密单元(denseblock)的图像生成网络”，获取其网络权值，并且保存数据。

3.利用各通道的生成图像与真值图像的灰度直方图的拟合结果，估计图像分割、拼接的亮度阈值：

3.1)设定亮度值阈值的搜索区间[b0,255]；设bi为亮度阈值，且bi∈[b0,255]；

3.2)遍历训练数据获取“基于残差单元(resblock)的图像生成网络”的生成图像ires(k),k＝1,…,n。n为训练样本数,ires(k)为第k个训练样本的残差单元网络生成图像；遍历训练数据获取“基于稠密单元(denseblock)的图像生成网络”的生成图像idense(k),k＝1,…,n。n为训练样本数，idense(k)为第k个训练样本的残差单元网络生成图像；

3.3)利用亮度阈值bi，分别对ires(k)、idense(k),k＝1,…,n进行分割后拼接融合，ifusion(bi,k)＝iseg1(k)+iseg2(k),k＝1,…,n。

3.4)分别计算ires(k)、idense(k)、ifusion(bi,k)，k＝1,…,n与训练样本中可见光图像真值igt(k)之间误差mse(ires(k),igt(k))、mse(idense(k),igt(k))、mse(ifusion(k),igt(k))。

3.5)计算同时满足mse(ifusion(k),igt(k))<mse(idense(k),igt(k))和mse(ifusion(k),igt(k))<mse(ires(k),igt(k))条件的样本个数n^*，k＝1,…,n

3.6)计算满足3.5)条件的n^*个mse误差的平均值mse^*(bi)

3.7)计算亮度阈值bi的优化目标函数

式中，μ1是mse的最优希望值，μ2是n*的最优希望值，σ1，σ2是归一化常数。

3.8)求取最佳亮度阈值b^*

b^*＝argmax(j(bi)),bi＝b0,...,255(4)

步骤3)的具体内容为：

待测红外图像iir经过双通道生成网络分别生成ires、idense。然后，利用步骤2)训练获取的最优亮度阈值b^*对ires、idense分别进行分割，获得分割图像iseg1，iseg2。最后将分割后的图像进行拼接融合：iout＝iseg1+iseg2。

有益效果，一种基于双通道生成-融合网络的红外-可见光图像模态变化方法，具有如下有益效果：

采用本发明方法，能够亮度值对残差单元网络和稠密单元网络的生成图像进行有效地分割与融合、实现双通道特性优化互补，显著减少小传统单通道生成网络图像模态变换的mse误差。

附图说明

图1为本发明红外-可见光图像模态变换方法的流程图；

图2为本发明提出的“双通道生成-融合网络”结构的示意图；

图3为本发明的“双通道生成-融合网络”方法与其他单通道生成网络方法的图像模态变换误差比较实例。

具体实施方式

下面结合本发明所提供的附图对本发明的技术作进一步说明：

如图1所示，一种基于双通道生成-融合网络的图像模态变换方法，包括如下步骤：

步骤101：)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；的具体内容为：

首先，将可见光彩色图像转换为灰度图像iccd，并且在灰度图像iccd和红外图像iir中分别提取sift特征点；然后，以红外图像iir中每个sift特征点firⁱ为中心，在给定的搜索范围(searchwindow)内在可见光灰度图像iccd中寻找sift候补特征点集合{fccd¹,fccd²,…firⁿ}；接着，计算红外图像iir特征点firⁱ与灰度图像iccd候补特征点集合中每一个特征点fccd^j之间的相似度，最后，根据最大相似度完成firⁱ和{fccd¹,fccd²,…firⁿ}之间的可见光-红外sift特征点匹配。其中，firⁱ与fccd^j之间相似度的具体计算方法如下：

1.分别以sift特征点firⁱ和fccd^j为中心，从iir和iccd中提取80x80的图像块pir和pccd。然后，分别从pir和pccd中提取384维的lghd特征向量hirⁱ和hccd^j。

2.利用直方图交叉核(histogramintersection)度量两个lghd特征向量hirⁱ和hccd^j之间的相似度，计算公式如下：

式中，hirⁱ,hccd^j分别是红外图像iir第i个sift特征点对应lghd特征向量。hccd^j是可见光灰度图像iccd第j个sift特征点对应lghd特征向量。

在红外图像iir中所有的sift特征点匹配之后，利用ransac算法从可见光-红外sift特征点对儿集合中，估计可见光图像iccd与红外图像iir之间的转换矩阵m。最后，根据m矩阵将灰度图像iccd转换为与红外图像iir在视野和分辨率均相同的图像icolor。

利用上述方法将双目摄像机获取的可见光-红外图像配准成分辨率和视野相同的红外-可见光双模态数据集。

步骤102：建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)；的具体内容为：

本发明提出的“双通道生成-融合网络”由三个模块构成：“基于残差单元(resblock)的图像生成网络”、“基于稠密单元(denseblock)的图像生成网络”和“图像融合”，参见图2(双通道生成-融合网络结构图)、表1“双通道生成-融合网络”结构参数说明表。

表1“双通道生成-融合网络”结构参数说明表

“基于残差单元(resblock)的图像生成网络”的输入为红外图像iir，网络结构如下：下采样层1、下采样层2、下采样层3、9个残差单元、上采样层1、上采样层2、上采样层3。其中，第n个残差单元结构如下：卷积层n-1、卷积层n、元素相加层。元素相加层的输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果。“基于残差单元(resblock)的图像生成网络”输出为与输入iir分辨率相同的可见光生成图像ires。

“基于稠密单元(denseblock)的图像生成网络”的输入为红外图像iir，网络结构如下：下采样层1、下采样层2、下采样层3、9个稠密单元、上采样层1、上采样层2、上采样层3。其中，第n个稠密单元结构如下：卷积层n-1、向量拼接层1、卷积层n、向量拼接层2、卷积层n+1。向量拼接层1的输出为卷积层n-2与卷积层n-1的输出特征向量的连接结果。向量拼接层2的输出为卷积层n-2、卷积层n-1和卷积层n的输出特征向量的连接结果。“基于稠密单元(denseblock)的图像生成网络”输出为与输入iir分辨率相同的可见光生成图像idense。

“图像融合”模块的输入为ires和idense。该模块的结构如下：图像分割(≥亮度阈值)、图像分割(<亮度阈值)、图像拼接。图像融合过程如下：首先，将“基于残差单元(resblock)的图像生成网络”的输出ires图像利用亮度阈值b^*进行分割，保留亮度值大于等于b^*的像素点，获得分割结果iseg1。接着，将“基于稠密单元(denseblock)的图像生成网络”的输出idense图像利用亮度阈值b^*进行分割，保留亮度值小于b^*的像素点，获得分割结果iseg2。最后，将两次分割的图像进行拼接获取最终生成图像iout＝iseg1+iseg2

利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)的过程如下：

1.利用对抗生成网络(gan)的训练方法单独训练“基于残差单元(resblock)的图像生成网络”，获取其网络权值，并且保存数据。

2.利用对抗生成网络(gan)的训练方法单独训练“基于稠密单元(denseblock)的图像生成网络”，获取其网络权值，并且保存数据。

3.利用各通道的生成图像与真值图像的灰度直方图的拟合结果，估计图像分割、拼接的亮度阈值：

3.1)设定亮度值阈值的搜索区间[b0,255]；设bi为亮度阈值，且bi∈[b0,255]；

3.2)遍历训练数据获取“基于残差单元(resblock)的图像生成网络”的生成图像ires(k),k＝1,…,n。n为训练样本数,ires(k)为第k个训练样本的残差单元网络生成图像；遍历训练数据获取“基于稠密单元(denseblock)的图像生成网络”的生成图像idense(k),k＝1,…,n。n为训练样本数，idense(k)为第k个训练样本的残差单元网络生成图像；

3.3)利用亮度阈值bi，分别对ires(k)、idense(k),k＝1,…,n进行分割后拼接融合ifusion(bi,k)＝iseg1(k)+iseg2(k),k＝1,…,n。

3.4)分别计算ires(k)、idense(k)、ifusion(bi,k)，k＝1,…,n与训练样本中可见光图像真值igt(k)之间误差mse(ires(k),igt(k))、mse(idense(k),igt(k))、mse(ifusion(k),igt(k))。

3.5)计算同时满足mse(ifusion(k),igt(k))<mse(idense(k),igt(k))和mse(ifusion(k),igt(k))<mse(ires(k),igt(k))条件的样本个数n^*，k＝1,…,n

3.6)计算满足3.5)条件的n^*个mse误差的平均值mse^*(bi)

3.7)计算亮度阈值bi的优化目标函数

式中，μ1是mse的最优希望值，μ2是n*的最优希望值，σ1，σ2是归一化常数。

3.8)求取最佳亮度阈值b^*

b^*＝argmax(j(bi)),bi＝b0,...,255(4)

步骤103：利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换；的具体内容为：

待测红外图像iir经过双通道生成网络分别生成ires、idense。然后，利用步骤2)训练获取的最优亮度阈值b^*对ires、idense分别进行分割，获得分割图像iseg1，iseg2。最后将分割后的图像进行拼接融合：iout＝iseg1+iseg2。

下面结合具体示例对本发明的技术方案作进一步详细说明。

实例1

如图3上、中、下分别给出了“单通道残差单元生成网络”、“单通道稠密单元生成网络”、“双通道生成-融合网络”测试图像与真值图像之间的灰度直方图拟合程度和拟合误差mse的对比结果。

经过对比可以清楚的看出：“单通道残差单元生成网络”输出的灰度直方图曲线在高亮度部分拟合的较好；“单通稠密单元生成网络”输出的灰度直方图曲线在低亮度部分拟合的较好；本发明提出的“双通道生成-融合网络”有效地结合了两种单通道生成网络的输出的优点，其输出的灰度直方图拟合程度最好，相应的拟合误差mse数值最低(6.45<6.48<6.85)。

本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。