彩色图像重构方法及装置、图像分类方法及装置与流程
本发明涉及图像处理技术领域，尤其涉及彩色图像重构方法及装置、图像分类方法及装置。
背景技术：
近年来，在信息物理社会系统(cpss)领域，随着iot设备的发展以及相关研究的深入，数据规模越来越大，数据类型越来越复杂，图像作为数据的一种表现形式，在现实中的应用也日益常见。图像分类作为图像应用中的典型，被人们广泛研究，相关技术层出不穷，然而现有的图像分类技术大都是基于神经网络模型的，且模型一般是线性的，这就导致了当对输入图像添加扰动时，即便是细小的噪声在输出后也能被放大数倍，从而使得分类器输出的分类结果是错误的，甚至攻击者可以将分类器的输出指定为自己希望的类别。由于扰动是细微的，在原始图像上不容易被察觉，但是通过分类器的输出，就会产生错误的结果影响分类准确率。
为了保护分类器能够免受对抗样本的攻击，有人提出了利用近年来兴起的深度卷积生成对抗网络(dcgan)对分类器实现保护，提高其鲁棒性。但是，目前的dcgan中的网络都是基于矩阵的，根据已经训练好的深度卷积生成对抗网络(dcgan)模型，将其中的生成网络模型提出出来作为生成器用于重构图像。
但是，现有技术的重构图像方案采用的是梯度下降方法，对于灰度图像而言，梯度的变化改变了噪声从而使生成的图像向希望的方向改变，然而对于彩色图像而言，单通道的下降对整个多通道表示的彩色图像影响较小，因此即使是通过数次迭代，生成的彩色图像依然变化较小，不能高效率的逼近待分类图像，也就是生成的彩色图像和待分类图像差别依然很大。同时，由于生成网络的输入来自于潜在空间，噪声使随机选取的，我们无法指定这样的随机噪声生成结果与待分类图像近似，即现有方法对于彩色图像而言，想要通过梯度下降方法重构彩色图像使之与待分类图像相近是很困难的。
技术实现要素：
本发明提供了彩色图像重构方法及装置、图像分类方法及装置，以解决或者部分解决现有技术生成的重构图像不能高效率的逼近待分类图像的技术问题。
为解决上述技术问题，本发明提供了一种彩色图像重构方法，所述方法包括：
通过训练基于张量的深度卷积生成对抗网络，提取出生成网络模型和判别网络模型，并基于所述生成网络模型获得生成器，基于所述判别网络模型获得解码器；
利用所述解码器将待分类彩色图像转化为彩色图像编码；所述彩色图像编码的空间分布和噪声的空间分布的相似度高于预设阈值，所述噪声从潜在空间中得到；
将所述彩色图像编码重复输入到所述生成器中，生成若干目标彩色图像；
利用所述判别网络模型对所述若干目标彩色图像进行评估打分；
将分数满足要求的目标彩色图像作为所述重构彩色图像。
优选的，所述基于所述判别网络模型获得解码器，包括：
使用所述判别网络模型的结构训练得到所述解码器。
优选的，所述使用所述判别网络模型的结构训练得到所述解码器，具体包括：
将所述判别网络模型的输出层由sigmoid层改为全连接层，控制输出编码的大小与所述噪声的输出大小一致。
优选的，所述将分数满足要求的目标彩色图像作为所述重构彩色图像，具体包括：
将所述若干目标彩色图像按照分数高低进行排序，将分数最高的目标彩色图像作为所述重构彩色图像；或者
将所述若干目标彩色图像的分数分别和预设分数阈值进行比对，将高于所述预设分数阈值的任一目标彩色图像作为所述重构彩色图像。
优选的，所述重构彩色图像满足如下条件：
本发明公开了一种彩色图像重构装置，包括：
提取单元，用于通过训练基于张量的深度卷积生成对抗网络，提取出生成网络模型和判别网络模型，并基于所述生成网络模型获得生成器，基于所述判别网络模型获得解码器；
转化单元，用于利用所述解码器将待分类彩色图像转化为彩色图像编码；所述彩色图像编码的空间分布和噪声的空间分布的相似度高于预设阈值，所述噪声从潜在空间中得到；
生成单元，用于将所述彩色图像编码重复输入到所述生成器中，生成若干目标彩色图像；
评估单元，用于利用所述判别网络模型对所述若干目标彩色图像进行评估打分；
处理单元，用于将分数满足要求的目标彩色图像作为所述重构彩色图像。
本发明公开了一种图像分类方法，所述方法包括：
根据如上述的彩色图像重构方法生成所述重构彩色图像；
将所述重构彩色图像输入预设分类器进行图像分类；所述预设分类器通过训练神经网络模型得到。
本发明公开了一种图像分类装置，所述装置包括：
生成模块，用于根据如上述任一彩色图像重构方法生成所述重构彩色图像；
分类模块，用于将所述重构彩色图像输入预设分类器进行图像分类；所述预设分类器通过训练神经网络模型得到。
本发明公开了一种可移动设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上述任一方法技术方案。
本发明公开了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一方法技术方案。
通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：
本发明中的方法通过训练基于张量的深度卷积生成对抗网络，提取出生成网络模型和判别网络模型，并基于所述生成网络模型获得生成器，基于所述判别网络模型获得解码器；然后利用所述解码器将待分类彩色图像转化为彩色图像编码，并使得所述彩色图像编码的空间分布和噪声的空间分布的相似度高于预设阈值；将所述彩色图像编码重复输入到所述生成器中，生成若干目标彩色图像；利用所述判别网络模型对所述若干目标彩色图像进行评估打分；将分数满足要求的目标彩色图像作为所述重构彩色图像。如此解码得到的与生成网络输入空间分布相近的编码生成的重构彩色图像与原来的待分类彩色图像更接近。而使用梯度下降法在彩色图像上重构是做不到的。
进一步的，本发明的方案由于得到的重构彩色图像更接近待分类彩色图像，那么在原始彩色图像可能已被攻击的情况下，由重构彩色图像作为分类器的输入，能够提高分类器分类结果的准确性，从而避免了对抗攻击在原图上的扰动使得分类器分类结果出现极大的偏差，能够提高分类准确率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的现有技术方案的示意图；
图2示出了根据本发明一个实施例的现有技术方案中根据噪声重构图像的具体过程示意图；
图3示出了根据本发明一个实施例的彩色图像重构方法的流程图；
图4示出了根据本发明一个实施例的彩色图像重构装置的示意图。
具体实施方式
为了使本发明所属技术领域中的技术人员更清楚地理解本发明，下面结合附图，通过具体实施例对本发明技术方案作详细描述。
现有技术中的方案，是根据已经训练好的深度卷积生成对抗网络(dcgan)模型，将其中的生成网络模型提出出来作为生成器用于重构图像。当深度卷积生成对抗网络模型中的生成器和判别器由足够的数据表达能力时，目标是使得从潜在空间中随机取得的噪声z通过生成网络生成图像g(z)，并通过数次使用梯度下降方法，使得生成的重构图像逼近与待分类的图像x，即需要找到在潜在空间中找到一个噪声z，使得下式最小化：
通过多次迭代梯度下降计算后，获得最优噪声应满足：
为了实现这一目标，现有技术方案如图1所示，通过随机数种子在潜在空间获得r个随机噪声，对r个噪声通过生成器g生成对应的图像g(z(i))，并计算各自与目标图像之间的2范数，通过l次梯度下降计算，获得使
而在根据噪声重构图像的具体过程中，如图2可知，现有技术只是通过一次次的求梯度下降，使得重构图像g(z(i))与待分类图像x无限接近。
但是，现有技术使用的深度卷积生成对抗网络中的两个神经网络都是基于矩阵计算的，当图像是灰度图像时，其表现效果不错，然而当采用彩色图像做分类时，生成效果有所下降，其主要原因是因为现有技术将彩色图像按照色相通道分为3个矩阵分别计算，由此得到最终的结果。另外，由于现有技术的重构图像方案采用的是梯度下降方法，对于灰度图像而言，梯度的变化改变了噪声从而使生成的图像往希望的方向改变，然而对于彩色图像而言，单通道的下降对整个多通道表示的图像影响较小，因此即使是通过数次迭代，生成的图像依然变化较小，不能高效率的逼近待分类图像。同时，由于生成网络的输入来自于潜在空间，噪声使随机选取的，我们无法指定这样的随机噪声生成结果与待分类图像近似，即现有方法对于彩色图像而言，想要通过梯度下降方法重构图像使之与待分类图像相近是很困难的。
因此，为了解决上述问题，本发明排除了使用矩阵计算，而在神经网络之间使用张量计算，保持彩色图像各色相之间的联系，生成和待分类彩色图像相近的重构图像。张量就是一个变化量。张量有零阶、一阶、二阶、三阶、四阶等等。零阶张量是纯量(数值)，一阶张量是向量(数值和方向的组合)，二阶张量是矩阵(向量的组合)，三阶张量是数据立体(矩阵的组合)，四阶张量(数据立体的组合)等等。本发明的彩色图像就是三阶张量。三阶张量可以表示图像的变化量，图像与图形的不同是图像的点除了有坐标，还具有颜色特性，如rgb、rgba、ycbcr等表示的颜色。拿rgb的图像来说，它的变化量包括坐标和色值变化。图像坐标的变化相当于图形的变化，即是一个矩阵的变化。色值变化也就是rgb在颜色空间中的一个点变化，也是一个矩阵的变化，图像变化有两个矩阵变化，三阶张量是矩阵的组合，则可以用三阶张量来表示图像的变化量，如tensor[3,5,5]表示3颜色通道的5*5大小图形的变化量。
另外，本发明基于判别网络模型训练得到解码器，如此解码得到的与生成网络输入空间分布相近的编码生成的重构彩色图像与原来的待分类彩色图像更接近。而使用梯度下降法在彩色图像上重构是做不到的。并且，本发明的方案由于得到的重构彩色图像更接近待分类彩色图像，那么在原始彩色图像可能已被攻击的情况下，由重构彩色图像作为分类器的输入，能够提高分类器分类结果的准确性，从而避免了对抗攻击在原图上的扰动使得分类器分类结果出现极大的偏差，能够提高分类准确率。当然，本专利对灰度图像进行重构并做分类时，也能使分类器的鲁棒性有明显的提高。下面请看具体的介绍。
在本发明实施例中，公开了一种彩色图像重构方法，使用该方法能够在原始待分类彩色图像的基础上，保持彩色图像各色相之间的联系，生成和原始待分类彩色图像相差无几的重构彩色图像。
下面请参看图3，该方法包括以下几个步骤：
步骤31，通过训练基于张量的深度卷积生成对抗网络，提取出生成网络模型和判别网络模型，并基于所述生成网络模型获得生成器，基于所述判别网络模型获得解码器。
在具体的训练过程中，基于张量的深度卷积生成对抗网络包含两个网络：判别网络和生成网络。本实施例根据张量卷积与反卷积方法来训练判别网络和生成网络。训练时的损失函数以采用二分类交叉熵函数为例。二分类交叉熵函数的表达式为：bceloss＝-target*log(input)-(1-target)*log(1-input)。其中，表达式中的input即我们输入的彩色图像，该彩色图像可以来自真实数据集，也可以是由生成网络生成的图像，对于判别网络而言，当input来自真实数据时，其target为真实标签，当input是生成数据时，target为虚假标签；对于生成网络而言，其生成的图像希望被判别网络鉴定为真，因此target为真实标签。
进一步的，本实施例通过如下方式对判别网络进行训练：首先，获取彩色图像数据集，将其作为真实数据输入判别网络进行训练，真实数据集的输出o(real)，并与真实标签做损失值计算。从满足标准正态分布的潜在空间中获取随机噪声z，并通过生成网络模型生成图像g(z)，并将起输入判别网络进行训练，得到的结果与虚假标签做损失值计算，更新梯度调整训练参数以训练判别网络，得到判别网络模型。
而在训练生成网络的过程中，对生成的图像g(z)，通过判别网络模型得到虚假输出o(fake)，并与真实标签做损失值计算，使得生成网络模型生成的数据能被判别网络认定为真，然后更新梯度，调整训练参数，得到生成网络模型。
上述过程使用的训练参数如下：迭代次数epoch＝50，学习率learningrate＝0.0003，生成网络的学习次数k＝3，选用adam优化器。当然，训练参数可根据实际情况而定，比如本专利的图像重构在重构迭代次数为1时效果很好，可将迭代次数设置为1。
进一步的，当得到生成网络模型和判别网络模型后，提取基于张量的深度卷积生成对抗网络模型中的生成网络模型g与判别网络模型d，可将生成网络模型作为生成器，并根据判别网络模型的结构训练得到解码器。进一步的，本根据判别网络模型生成一个和判别网络模型结构相同的解码器，如此解码得到的与生成网络输入空间分布相近的编码生成的重构彩色图像与原来的待分类彩色图像更接近。
而在训练过程中，首先根据判别网络模型，将其输出层由原来的sigmoid层改为全连接层，控制输出编码的大小与所述噪声的输出大小一致，比如噪声的输出大小为64*3*3，则解码器的输出编码的大小也为64*3*3。
解码器的主要功能是，将输入的待分类彩色图像转化成近似于潜在空间的图像编码，使将图像编码作为输入得到的重构彩色图像与原彩色图像尽可能相似。即通过图像转化得到编码n，并使
本发明使用基于张量的深度卷积生成对抗网络中的判别网络结构训练一个解码器，将待分类图像解码成一个与潜在噪声空间相似的编码空间，通过解码得到的编码生成重构图像和待分类彩色图像具有更好的相似性，使得基于张量的深度卷积生成对抗网络能够根据需求生成类似的图像从而实现重构图像与待分类图像的逼近。
步骤32，利用所述解码器将待分类彩色图像转化为彩色图像编码。
其中，转化得到的彩色图像编码的空间分布和噪声的空间分布的相似度高于预设阈值，比如相似度高于99％，当然也可以是其他值。而所述噪声从潜在空间中得到。
步骤33，将所述彩色图像编码重复输入到所述生成器中，生成若干目标彩色图像。
其中，由于生成器中已经集成有生成网络模型，故将彩色图像编码输入到生成其中即可获得目标彩色图像。
步骤34，利用所述判别网络模型对所述若干目标彩色图像进行评估打分。
其中，判别网络模型判别出的分数表示目标彩色图像相对于待分类彩色图像的相似度，分数越高表示两者越相似。
步骤35，将分数满足要求的目标彩色图像作为所述重构彩色图像。
在具体的实施过程中，可将所述若干目标彩色图像按照分数高低进行排序，将分数最高的目标彩色图像作为所述重构彩色图像；或者将所述若干目标彩色图像的分数分别和预设分数阈值进行比对，将高于所述预设分数阈值的任一目标彩色图像作为所述重构彩色图像。
而作为重构彩色图像需要满足如下条件：
可见，上述一个或者多个实施例，使用了基于张量的深度卷积生成对抗网络对彩色图像进行重构，故而保持了图像维度之间的联系，因此生成的图像效果更好，与现有技术相比，本发明得到的重构彩色图像与原始图像更逼近，并且分类准确率更高。而本发明的技术方案与对抗攻击的参数、类型等均无关，只与生成网络模型本身的数据表现能力有关。
基于相同的发明构思，本发明公开了一种彩色图像重构装置，参看图4，包括：
提取单元41，用于通过训练基于张量的深度卷积生成对抗网络，提取出生成网络模型和判别网络模型，并基于所述生成网络模型获得生成器，基于所述判别网络模型获得解码器；
转化单元42，用于利用所述解码器将待分类彩色图像转化为彩色图像编码；所述彩色图像编码的空间分布和噪声的空间分布的相似度高于预设阈值，所述噪声从潜在空间中得到；
生成单元43，用于将所述彩色图像编码重复输入到所述生成器中，生成若干目标彩色图像；
评估单元44，用于利用所述判别网络模型对所述若干目标彩色图像进行评估打分；
处理单元45，用于将分数满足要求的目标彩色图像作为所述重构彩色图像。
作为一种可选的实施例，所述提取单元41，具体用于使用所述判别网络模型的结构训练得到所述解码器。
作为一种可选的实施例，所述提取单元41，具体用于将所述判别网络模型的输出层由sigmoid层改为全连接层，控制输出编码的大小与所述噪声的输出大小一致。
作为一种可选的实施例，所述处理单元45，具体用于：
将所述若干目标彩色图像按照分数高低进行排序，将分数最高的目标彩色图像作为所述重构彩色图像；或者
将所述若干目标彩色图像的分数分别和预设分数阈值进行比对，将高于所述预设分数阈值的任一目标彩色图像作为所述重构彩色图像。
作为一种可选的实施例，所述重构彩色图像满足如下条件：
基于相同的发明构思，本发明在上述一个或者多个实施例的基础上，还公开了一种图像分类方法，该方法根据如上述一个或者多个实施例的彩色图像重构方法生成所述重构彩色图像；然后将所述重构彩色图像输入预设分类器进行图像分类；所述预设分类器通过训练神经网络模型得到。由于作为数据输入的得到的重构彩色图像更接近待分类彩色图像，那么在原始彩色图像可能已被攻击的情况下，由重构彩色图像作为分类器的输入，能够提高分类器分类结果的准确性，从而避免了对抗攻击在原图上的扰动使得分类器分类结果出现极大的偏差，能够提高分类准确率。
基于相同的发明构思，本发明在上述一个或者多个实施例的基础上，还公开了一种图像分类装置，所述装置包括：
生成模块，用于根据如上述一个或者多个实施例的彩色图像重构方法生成所述重构彩色图像；
分类模块，用于将所述重构彩色图像输入预设分类器进行图像分类；所述预设分类器通过训练神经网络模型得到。
基于相同的发明构思，本发明在上述一个或者多个实施例的基础上，还公开了一种可移动设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上述一个或者多个实施例的方法。
基于相同的发明构思，本发明在上述一个或者多个实施例的基础上，还公开了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述一个或者多个实施例的的方法。
通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：
本发明中的方法通过训练基于张量的深度卷积生成对抗网络，提取出生成网络模型和判别网络模型，并基于所述生成网络模型获得生成器，基于所述判别网络模型获得解码器；然后利用所述解码器将待分类彩色图像转化为彩色图像编码，并使得所述彩色图像编码的空间分布和噪声的空间分布的相似度高于预设阈值；将所述彩色图像编码重复输入到所述生成器中，生成若干目标彩色图像；利用所述判别网络模型对所述若干目标彩色图像进行评估打分；将分数满足要求的目标彩色图像作为所述重构彩色图像。如此解码得到的与生成网络输入空间分布相近的编码生成的重构彩色图像与原来的待分类彩色图像更接近。而使用梯度下降法在彩色图像上重构是做不到的。
进一步的，本发明的方案由于得到的重构彩色图像更接近待分类彩色图像，那么在原始彩色图像可能已被攻击的情况下，由重构彩色图像作为分类器的输入，能够提高分类器分类结果的准确性，从而避免了对抗攻击在原图上的扰动使得分类器分类结果出现极大的偏差，能够提高分类准确率。
尽管已描述了本发明的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！