基于DCGAN深度网络的成像光谱图像安全检索方法与流程

本发明以成像光谱图像为研究对象，利用dcgan深度网络实现对成像光谱图像特征的高度表达，提出一种新的加密域成像光谱图像安全检索方法。首先利用深度卷积生成对抗网络(deepconvolutionalgenerativeadversarialnetwork,dcgan)联合提取成像光谱图像的深度光谱-空间特征，精准地表征成像光谱图像内容；同时为了保障遥感图像检索过程中的安全性，基于加密后特征相似度不变的准则，采用最小哈希(min-hash)方法对深度特征进行加密，实现对深度特征的保护；最后在不解密的情况下，通过比较最小哈希值相等个数直接对图像特征进行jaccard相似性距离度量，返回与查询图像相似的图像，在实现检索的同时，保障信息的安全性。

背景技术：

成像光谱技术从紫外到微波范围的几十到数百个光谱波段上对同一地物进行成像，由此产生的成像光谱图像(spectralimagery)远远超越了人眼的视觉极限，在探测地物空间特征的同时，能够反映其光谱的细微特征。成像光谱图像，既包含了一般图像的视觉特征(visualfeatures)、空间特征(spatialfeatures)，又包含了其特有的光谱特征(spectralfeatures)，其中尤以光谱特征和空间特征最为重要。目前，作为数字地球各项重大计划建设中的基础数据，成像光谱图像在军事、农业、林业、地质、矿产、水文和水资源、海洋等各领域有着广泛应用。同时，成像光谱技术的飞速发展使得成像光谱图像数量急剧增加，如何快速、准确地找到用户所需的图像内容已经成为成像光谱图像处理领域亟待解决的难题。然而，由于网络时代所具有的开放性与共享性，使得人们在享受现代信息所带来的方便、共享等巨大利益的同时，也面临着各种各样的信息安全威胁，对于含有敏感信息的成像光谱图像，如何保障其检索过程中图像内容的安全性成为了国内外研究人员所关注的热点。

传统的图像安全检索方法主要分为两类：一类是直接对原图像进行加密，在不解密的情况下进行特征提取和相似度度量，把检索结果返回给用户，这种方法虽然能保证检索过程的安全性，但是需要对图像的每个像素点进行加密，增加计算复杂度的同时降低了检索效率；另一种是基于特征加密的图像安全检索，在明文域中提取图像特征并加密，并对加密后的图像特征直接比较相似性，不仅保证了检索的安全性，同时降低了计算复杂度，对于此类安全检索，其关键在于如何保证两个加密后的特征仍能保持明文域的距离。

相比普通的二维图像平面数据，成像光谱图像数据作为一种特殊的三维数据格式，提取特征困难、特征表示复杂等问题，都给安全图像检索技术带来了前所未有的挑战。考虑到成像光谱图像的复杂性，传统的成像光谱图像特征提取方法不能很好地对其内容进行表达，人工智能领域的最新研究成果－深度学习技术的提出，为开展成像光谱图像的安全检索技术带来了新的契机，深度学习方法提取的特征语义性和抽象性更高，尤其对于成像光谱图像中的非线性因素的学习。已有研究者采用深度卷积神经网络(convolutionalneuralnetwork,cnn)、深度置信网络(deepbeliefnetwork,dbn)用于提取成像光谱图像特征，在大规模有监督样本数据的支持下可以取得优良性能。然而，成像光谱图像数据的高光谱特性以及有限的人眼辨识能力，实际中很难获得大量有监督的标定样本数据，也制约了现有深度学习技术在成像光谱图像特征提取、分类以及识别等应用的研究和推广。最近，一种新型的深度卷积生成对抗网络(deepconvolutionalgenerativeadversarialnetwork,dcgan)被提出，这种深度网络模型能以无监督和有监督联合的方式有效地学习到图像特征，为成像光谱图像的特征表达提供了一种新的思路。

为此，本发明提出一种基于dcgan深度网络的成像光谱图像安全检索方法。首先利用dcgan深度网络提取成像光谱图像的深度光谱-空间特征，然后采用最小哈希(min-hash)方法对深度特征加密，对特征保护的同时保持相似性距离不变，最后根据特征加密后最小哈希的相等个数比较图像之间jaccard相似性距离，返回检索结果。

技术实现要素：

与已有的成像光谱图像安全检索方法不同，本发明利用dcgan深度网络对图像特征表达的精准特性，提出一种新的加密域成像光谱图像安全检索方法。首先，引入深度卷积生成对抗网络(dcgan)模型对成像光谱图像的光谱特征和空间特征进行联合提取，获得图像的深度光谱-空间特征，有效地对成像光谱图像内容进行表达；然后对提取的深度特征采用最小哈希(min-hash)方法进行加密保护，通过哈希函数个数的选择有效降低加密后的特征维度，不仅能保证检索过程的安全性，同时提高了检索效率；最后，直接对加密后的特征计算最小哈希值相等个数进行图像特征的jaccard相似度匹配，实现在不解密的情况下对特征相似性进行度量，将特征相似的图像作为检索结果，实现成像光谱图像的安全检索。本方法主要过程如附图1所示，主要过程可以分为以下几个步骤：首先利用深度神经网络提取成像光谱图像的深度光谱-空间特征，用于表征成像光谱图像内容；然后基于加密后特征相似度不变的准则，采用最小哈希方法对深度特征加密；最后通过加密后哈希值相等个数对图像特征进行jaccard相似性距离度量，返回检索结果。

利用dcgan深度网络模型提取成像光谱图像深度光谱-空间特征

针对成像光谱图像蕴含丰富的光谱信息，数据量大的特点，首先需要对图像降维，同时为了提取图像更高语义性、抽象性的特征，根据成像光谱图像的三维特性，本发明引入dcgan深度网络模型，利用采集到的12个种类地物5000多个样本对此网络模型进行训练，并利用训练好的网络模型联合提取成像光谱图像的深度空间-光谱特征。成像光谱图像深度光谱-空间特征的联合提取可分为以下三个步骤：成像光谱图像的降维和深度学习网络模型参数预训练以及提取成像光谱图像的深度光谱-空间特征。

步骤1：成像光谱图像降维

本发明从成像光谱图像的高光谱特点出发，针对成像光谱维数过高、计算复杂度过高的特点，采用1比特(1bt)光谱波段变换方法选择三条结构最完整、信息量最丰富的波段，首先采用一个经验值为17×17的卷积核对原图像中的每个波段进行滤波变换，然后比较滤波前后图像对应像素之间的灰度值，当滤波后小于滤波前的灰度值时，此像素赋值为1，反之则为0，以此来生成该波段的1bt图像。最后在1bt图像的水平和垂直方向上计算比特变化数(例如从0到1和从1到0)，比特变化数的大小可以用来判定图像的结构是否规则和信息含量会否丰富，通过设定阈值，比较获得前三个结构最完整、信息含量最丰富的波段。通过1bt降维方法，在最大限度保留光谱信息的同时，将原始数据压缩到一个维数较低的特征空间，降低相邻波段数据之间的高相关性和高冗余度，压缩数据量，提高计算效率。

步骤2：dcgan深度网络模型参数预训练

本发明对降维后的成像光谱图像联合提取光谱-空间信息，选定纯净像元，划定此像元的k×k(k<10)相邻像素区域，获得表征此像元空间信息的图像块，把此组图像块拉伸成表示空间信息的一维向量；同时对选定像元获取其光谱向量，把光谱向量和代表空间信息的向量融合获得成像光谱图像的光谱-空间信息样本，然后对纯净像元样本进行标记，通过此方式，在本实验选取的数据集上获取12类多达5000多个样本；最后利用已标记样本对dcgan深度网络模型参数进行训练，dcgan网络由生成器网络和判别器两个部分构成，训练过程主要包括生成器和判别器网络模型参数的训练以及优化。生成器网络由一系列的反卷积层构成，输入符合均匀分布的100维噪声向量，通过映射并变形(reshape)为4×4×1024维图像，经过四次反卷积最后得到64×64×3维的图像空间；判别器网络中输入图像为64×64×3维，通过四个卷积层和一个全连接层最终输出一个用于判断输入样本为真实训练数据的概率值。dcgan网络参数的训练过程如下：

1)将所有训练样本图像归一化到[-1,1]之间；

2)从符合正态分布的数据中随机选取权重值，并把批处理大小设置为128；

3)利用生成器生成图g；

4)把生成图像g和训练样本图像d分别输入判别器网络，输出判断输入样本为真实训练数据的概率值；

5)计算图像g和d在生成器、判别器中的损失和需要更新的变量。

另外，采用自适应矩估计(adaptivemomentestimation,adam)算法对参数进行优化，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。获得每一时刻的最优参数并更新。

步骤3：提取成像光谱图像的深度光谱-空间特征

通过对成像光谱图像中每个像素的深度的光谱-空间特征提取，可以实现对整幅图像的内容进行表征。但是若对图像中的所有像素作特征提取，则一幅图像的特征维度将高达数十万维以上。为了有效地降低特征维度，同时尽可能完整地对图像内容进行表征，本发明选择m×m像素大小的滑动窗口，以步长为像素对图像进行取样，m取值为9，把被取样像元的空间信息和光谱信息进行融合，利用深度卷积生成对抗网络提取深度光谱-空间特征，将所采样的所有样本点的特征合并，以此来作为整幅图像的内容表示，通过此种方法，不仅能有效降低特征维度，而且能减少冗余空间信息的计算。

基于最小哈希的成像光谱图像深度光谱-空间特征加密保护

加密技术是有效保证图像安全检索的一种有效手段，使人们在检索相关图片时不泄露图像的信息。成像光谱图像的深度光谱-空间特征不同于一般图像视觉特征，其维度高，加密复杂度过高，普通的加密方法并不能有效降低计算过程的复杂度，因而并不适用于成像光谱图像。同时，目前大多数加密算法只能保障其安全传输，不能保证加密后的图像特征相似性距离保持不变，因而不适用于图像的安全检索。

基于以上分析，结合成像光谱图像的特征维数较高的特点和特征加密后需保持相似性距离不变的要求，本发明采用最小哈希加密方法对图像特征进行加密，最小哈希函数是针对特定的映射函数，计算图像在此函数中具有最小值的特征向量的编号。对于成像光谱图像h＝(h1,h2,...,hn)，hg(g＝1,2,...,n)表示图像的特征向量，n表示图像的特征维度，选定l个随机映射函数f＝(f1,f2,...,fl)对h进行加密，映射函数f的个数l代表加密后成像光谱图像的特征维度，通过设定l的取值可以有效降低图像特征维度。例如图像库中图像数量为c，每幅图像的维度为n，我们可以选取l个映射函数f＝(f1,f2,...,fl)，计算图像此组映射函数上的最小哈希，对于每个映射函数，最小哈希把一幅图像映射成一个整数，所以l个映射函数计算最小哈希得到l个整数，最小哈希矩阵为c×l维，而原矩阵为c×n维，通过减小l的取值，可以大大减少特征维数。与其他方法相比，最小哈希方法在满足安全检索要求的同时能有效减小特征维度，大大降低计算复杂度。

利用jaccard距离度量成像光谱图像相似性

本发明针对成像光谱图像特征的特点，基于加密后特征相似度不变的准则对图像进行加密。加密前图像之间相似性越大，则利用最小哈希(min-hash)加密后的图像之间相似性概率也更大，加密前图像之间的相似性可通过jaccard距离计算获得，加密后图像之间的相似性距离可通过最小哈希的相等个数比对获得。所以成像光谱图像之间的jaccard相似性距离可通过比较最小哈希的相等个数得到。

把查询图像与数据集中图像之间jaccard相似性距离按升序排列，返回相似性距离最小的前k个图像，实现成像光谱图像的安全检索。

为了反映图像安全检索的性能，从检索性能、安全性两个方面对所提方法进行评价。

在检索性能方面，利用查准率(precision)作为评判标准。查准率反映了一个检索算法的准确性。定义检索结果中相似图像的数量为sir(thenumberofsimilarimagesretrieved)，检索结果中不相似的图像数量为nsir(thenumberofnon-similarimagesretrieved)，查准率的定义如下式所示：

其中，precision表示检出的相关图像与检出的全部图像的百分比。

在安全性方面，在已知映射函数个数和加密后特征的情况下，由于哈希函数的单向性，很难推断出明文值，从而保证了检索过程的安全性。

本发明与现有技术相比，具有以下明显的优势和有益效果：

首先，相比于传统人工提取成像光谱特征的方法，本研究引入dcgan深度网络模型，利用有监督和无监督学习的方式，在标记样本数量有限的情况下，有效地从大数据中实现成像光谱图像的高效特征表达；其次，不同于现有技术对光谱特征和空间特征分开提取的方式，本发明通过光谱信息和空间信息的融合，利用dcgan网络联合提取图像的深度光谱特征和空间特征；最后对成像光谱图像特征进行加密保护的同时并降维，在不解密的情况下，直接对加密的特征向量进行图像的相似度度量，最终实现加密域的成像光谱图像安全检索。实验证明，现有的基于传统方法的成像光谱图像检索的查准率也只在80％左右，主要原因在于传统特征提取方法已经不能在很大程度上提高检索效率。本发明利用dcgan网络学习成像光谱图像更高层、更抽象的特征，实现对特征的精准表示，能有效提高检索的准确率；同时利用最小哈希对特征加密，在保证检索过程的安全性同时，能达到和明文域基本相当的检索性能。

附图说明：

图1基于dcgan深度网络的成像光谱图像安全检索方法流程图；

图2成像光谱图像降维流程图；

图3不同波段1bt图像示意图；

图4dcgan深度网络模型架构图；

图5成像光谱图像光谱信息和空间信息融合示意图。

具体实施方式

根据上述描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。下面是本发明具体的工作流程：首先，将成像光谱图像采用1bt变换方法对波段降维，提取包含成像光谱图像95％以上信息的前三个主分量。采集12类地物的纯净像元的空间信息和光谱信息并融合，使用融合后的样本训练dcgan深度网络模型参数；然后，利用训练好的dcgan深度网络模型提取查询图像和数据集图像的深度光谱-空间特征；最后，对提取的特征向量采用最小哈希方法加密，利用最小哈希值的相等数量计算加密后特征之间jaccard相似性距离，实现成像光谱图像的检索。

利用dcgan深度网络模型提取成像光谱图像深度光谱-空间特征

成像光谱图像的维度过高，包含大量冗余信息，因此首先需要降维来获得主成分波段，然后采集纯净像元样本并标定，利用标定样本训练dcgan深度网络模型参数，最后通过训练好的dcgan深度网络模型联合提取图像的深度光谱-空间特征。

成像光谱图像降维

本发明对光谱数据采用1bt光谱变换算法对其进行降维，将图像中重要特征集中到少数主成分中，降维流程如图2所示，采用一种基于特征值的方法对变换后的主成分进行截取，获得其中信息量最大、能量集中的主成分。具体实施步骤如下：首先采用经验值为17×17大小的卷积核对原图像中的每个波段进行滤波变换，卷积核公式为：

式中，r1和r2表示卷积核位置坐标，当且仅当r1,r2∈[0,4,8,12,16]时，卷积核权重为其他均为0，以此对成像光谱图像的每个波段进行滤波。并按式(3)比较每个波段滤波前后各个像素点的对应灰度值，获得每个波段的1bt图像。

其中i(i,j)和if(i,j)分别代表原波段图像和滤波后每个波段图像，i和j表示图像的位置坐标。

为了体现波段的结构和信息含量特性，通过式(4)在1bt图像的水平和垂直方向上计算比特变化数(例如从0到1和从1到0)。波段图像结构越规则，比特变化数越小，信息含量越丰富；波段图像结构越混乱，比特变化数越大，从中可获得信息就越少。如图3所示，(a)表示109波段的1bt图像，比特变化数为16465，(b)表示167波段的1bt图像，比特变化数为6698。其中(b)的结构更完整，信息含量也更丰富。

其中，i和j表示1bt图像的位置坐标，bl(i,j)表示第l个波段图像，⊕表示异或符号。同时为了确定待保留波段，设定了判断波段图像优劣的阈值，阈值计算公式如下：

l+b表示与波段l相邻b位置的波段，通过比较公式(4)中第l个波段中比特变化值a(l)和公式(5)中设置的阈值t(l)大小，小于t(l)的第l个波段确定为保留波段，在保留波段中选择前三个结构相对最完整、信息含量最丰富的波段，实现成像光谱图像的降维。比特变化值a(l)和阈值t(l)的比较如公式(6)所示：

其中l代表波段号，1代表波段结构规则，信息含量丰富，可以保留，0则相反。

和其他降维方法相比，此方法主要是关于二进制数之间的异或操作，计算复杂度低，实现起来简单有效。

dcgan深度网络模型参数预训练

本发明根据成像光谱图像特点，采用dcgan深度网络模型来联合提取成像光谱图像的深度光谱-空间特征，此网络结构如图4所示，由生成器网络和判别器网络两个部分构成。生成器网络由一系列的反卷积层构成，输入符合均匀分布的100维噪声向量，通过映射并变形(reshape)为4×4×1024维图像，经过四次反卷积最后得到64×64×3维的图像空间；判别器网络中输入图像为64×64×3维，通过四个卷积层和一个全连接层最终输出一个用于判断输入样本为真实训练数据的概率值。在本发明中，训练网络模型参数采取的数据集是由aviris成像光谱仪获取的美国地区数据。实验数据包含224个波段通道，删除信息含量小的24个水吸收以及噪声波段，剩余200个待处理波段。数据的覆盖波谱范围为0.4～2.5μm，空间分辨率为20m，谱分辨率为10nm。针对本研究所选用的数据集特点，把地物划分为12类，地物类型和样本划分请见于表1。原始的三维成像光谱图像不能直接输入dcgan深度网络，为了获得精准的深度光谱-空间特征，必须对成像光谱图像进行光谱信息和空间信息的融合，融合过程如图5，首先选定纯净像元，划定此像元的k×k(k<10)相邻像素区域，获得表征此像元空间信息的图像块，把此组图像块拉伸成表示空间信息的一维向量；然后对选定像元获取其光谱向量；最后把光谱向量和代表空间信息的向量融合获得成像光谱图像的光谱-空间信息样本。

融合获取的样本种类和个数如表1所示，包含了12个种类5000多个样本。

表1地物类型和样本数量

利用表中的样本训练预定义的dcgan网络，训练过程主要包括生成器和判别器网络模型参数的训练以及优化，具体过程如下：

生成器和判别器网络模型参数训练步骤如下：

1)为了统一标准，将所有训练样本图像利用tanh激活函数归一化到[-1,1]之间，计算公式如下；

2)生成器网络和判别器网络权重值从方差为0.02，符合正态分布的数据中随机选取，同时批处理大小设置为128；

3)利用生成器生成图像g。首先将符合均匀分布的100维噪声向量z输入生成器，然后通过16384维的全连接层把向量z映射变形(reshape)为4×4×1024维图像，最后经过四次反卷积生成64×64×3维的图像；

4)把生成图像g和训练样本图像d分别输入判别器网络，输入图像为64×64×3维，通过四个卷积层和一个全连接层最终输出一个用于判断输入样本为真实训练数据的概率值；

5)计算图像g和d在生成器、判别器中的损失和需要更新的变量。

生成器和判别器模型参数采用自适应矩估计(adaptivemomentestimation,adam)算法进行优化，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，具体步骤如下：

1)ft(θt)表示在t时刻的随机噪声函数，优化的目标是求当ft(θt)最小时，模型参数θt的取值并更新。为此，首先计算其t时刻的梯度值gt，利用优化前的噪声函数ft(θt-1)对θ求导，公式为：

gt的期望值和方差可以分别通过计算其t时刻的一阶矩mt和二阶矩vt获得，计算公式如下所示：

mt＝β1·mt-1+(1-β1)gt

vt＝β2·vt-1+(1-β2)gt²(9)

其中β1,β2∈[0,1]，表示mt和vt的指数衰减率，mt-1和vt-1分别表示t-1时刻gt的一阶矩和二阶矩，gt²表示gt的平方。通过实验验证，β1＝0.9,β2＝0.999时计算效果最好。为了估计下一时刻的参数，需要对mt和vt进行校正，校正公式如下：

上式中，β1^t和β2^t分别表示t时刻的β1和β2的值。

2)根据校正后的噪声梯度的期望和方差和对t时刻的模型参数θt利用公式(11)进行更新，最终实现对参数θt的优化。

其中，α和ε为缺省值，通常默认取值为α＝0.001，ε＝10^-8。

提取成像光谱图像的深度光谱-空间特征

通过对成像光谱图像中每个像素的深度的光谱-空间特征提取，可以实现对整幅图像的内容进行表征。但是若对图像中的所有像素作特征提取，则一幅图像的特征维度将高达数十万维以上。为了有效地降低特征维度，同时尽可能完整地对图像内容进行表征，本发明选择m×m像素大小的滑动窗口，以步长为对图像进行取样，m取值为9，对被取样像元的空间信息和光谱信息进行融合，利用深度卷积生成对抗网络中的判别器网络输出所有卷积层的特征，采用4×4的窗口最大池化(max-pooling)每一层的卷积特征，并把所有特征级联成一个28672维的向量，即为成像光谱图像提取深度光谱-空间特征，将所采样的所有样本点的特征合并，以此来作为整幅图像的内容表示。通过此种方法，不仅能有效降低特征维度，而且能减少冗余空间信息的计算。

基于最小哈希的成像光谱图像深度光谱-空间特征加密保护

针对成像光谱图像的特征维数高，计算数据量大，考虑到图像检索的实际应用，选取的加密方法必须满足相似性距离不变等问题，本发明采用最小哈希方法对深度成像光谱特征进行加密。首先选取l个随机映射函数f＝(f1,f2,...fl)，对于每个映射函数fw(w＝1,2,...,l)满足：fw(xa)≠fw(xb)，并且fw(xa)<fw(xb)的概率等于fw(xa)>fw(xb)为0.5，最小哈希定义为：

其中，i表示一幅成像光谱图像，v表示i中的一个任意特征向量编号。也就是说，最小哈希为选取一个图像中具有最小映射函数值的特征向量编号。同时，对于成像光谱图像h＝(h1,h2,...hn)，n表示图像特征维度，利用选定的l个随机映射函数f＝(f1,f2,...fl)对成像光谱图像加密，加密后成像光谱图像的特征维度为l，通过此种方式加密可以有效降低特征维度。

利用jaccard距离度量成像光谱图像相似性

jaccard相似性距离计算公式为：

其中，im＝{q1,q2,...,qv}表示加密前查询图像，in＝{d1,d2,...,dv}表示加密前待比对图像，qs和ds(s＝1,2,…,v)为图像特征向量中的单维分量，v表示特征维度。加密前的查询图像和待比对图像之间相似性越大，则利用最小哈希(min-hash)加密后的图像之间相似性概率也更大。通过公式表示为：

其中，代表用第w个随机映射函数fw加密图像x后的最小哈希值，l表示随机映射函数的个数。加密前图像之间的相似性sim(im,in)可通过计算jaccard相似性距离获得，加密后图像之间的相似性距离可通过计算最小哈希的相等个数获得。因此加密前图像之间的jaccard相似性sjaccard(im,in)可通过比较加密后最小哈希的相等个数来度量，如下式所示：

通过以上分析，本发明通过计算加密后的最小哈希值相等个数来获得原查询图像和待比对图像之间的jaccard相似性距离，从而进行图像之间的相似性匹配。

通过比较式(15)的计算结果，按照查询图像与数据集中图像之间jaccard相似性距离升序排列，获取相似性距离最小的前k个图像作为检索结果并返回。

同时为了反映图像安全检索的性能，从检索性能、安全性两个方面对所提方法进行评价。

在检索性能方面，利用查准率(precision)作为图像检索性能的评判标准。查准率反映了一个检索算法的准确性。定义检索结果中相似图像的数量为sir(thenumberofsimilarimagesretrieved)，检索结果中不相似的图像数量为nsir(thenumberofnon-similarimagesretrieved)，查准率的定义如下式所示：

其中，precision表示检出的相关图像与检出的全部图像的百分比。

在安全性方面，已知映射函数个数和加密后特征的情况下，由于哈希函数的单向性，很难推断出明文值，从而保证了检索的安全性。