图像特征可视化方法、图像特征可视化装置及电子设备与流程
本申请属于医学图像数据处理技术领域，尤其涉及一种图像特征可视化方法、图像特征可视化装置、电子设备及计算机可读存储介质。
背景技术：
在医学图像处理技术领域中，功能性磁共振成像(functionalmagneticresonanceimaging，fmri)技术是一种较为主流的非介入技术，其能够对特定的大脑活动皮层区域进行准确定位，并捕获能够反映神经元活动的血氧变化。当前在对fmri图像进行特征提取，实现特征可视化时，往往采用深度学习可视化方法，以热力图的形式可视化fmri图像，这将导致所获得的可视化结果容易忽略大脑活动皮层的微小纹理特征，影响可视化结果的质量。
技术实现要素：
本申请提供了一种图像特征可视化方法、图像特征可视化装置、电子设备及计算机可读存储介质，可以提升医学图像的可视化结果的质量。
第一方面，本申请实施例提供了一种图像特征可视化方法，包括：
获取训练对照数据，其中，上述待训练对照数据包括正样本真实训练数据及负样本真实训练数据；
将正样本真实训练数据输入至待训练的映射生成器中，得到上述待训练的映射生成器所输出的负样本虚构训练数据，其中，上述映射生成器包括映射模块，上述映射模块用于学习区分正样本真实训练数据及负样本真实训练数据的关键特征图，上述负样本虚构训练数据由上述映射生成器根据上述正样本真实训练数据及上述关键特征图生成；
将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果，其中，上述负样本训练数据包括负样本真实训练数据及负样本虚构训练数据；
基于上述判别结果对上述待训练的映射生成器及上述待训练的判别器进行优化，并返回执行上述获取训练对照数据的步骤及后续步骤，直至训练完成；
将待处理的目标图像输入至已训练的映射生成器中，通过上述已训练的映射生成器中的映射模块提取得到上述目标图像的特征，以实现上述目标图像的特征可视化。
第二方面，本申请提供了一种图像特征可视化装置，包括训练模块及应用模块，上述训练模块包括：
获取单元，用于获取训练对照数据，其中，上述待训练对照数据包括正样本真实训练数据及负样本真实训练数据；
生成器运行单元，用于将正样本真实训练数据输入至待训练的映射生成器中，得到上述待训练的映射生成器所输出的负样本虚构训练数据，其中，上述映射生成器包括映射模块，上述映射模块用于学习区分正样本真实训练数据及负样本真实训练数据的关键特征图，上述负样本虚构训练数据由上述映射生成器根据上述正样本真实训练数据及上述关键特征图生成；
判别器运行单元，用于将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果，其中，上述负样本训练数据包括负样本真实训练数据及负样本虚构训练数据；
优化单元，用于基于上述判别结果对上述待训练的映射生成器及上述待训练的判别器进行优化，并返回执行上述获取训练对照数据的步骤及后续步骤，直至训练完成；
上述应用模块，用于将待处理的目标图像输入至已训练的映射生成器中，通过上述已训练的映射生成器中的映射模块提取得到上述目标图像的特征，以实现上述目标图像的特征可视化。
本申请的第三方面提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
由上可见，在本申请方案中，需要先对生成对抗网络进行训练，具体为获取训练对照数据，上述待训练对照数据包括正样本真实训练数据及负样本真实训练数据，然后将正样本真实训练数据输入至待训练的映射生成器中，得到上述待训练的映射生成器所输出的负样本虚构训练数据，其中，上述映射生成器包括映射模块，上述映射模块用于学习区分正样本真实训练数据及负样本真实训练数据的关键特征图，上述负样本虚构训练数据由上述映射生成器根据上述正样本真实训练数据及上述关键特征图生成，再将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果，其中，上述负样本训练数据包括负样本真实训练数据及负样本虚构训练数据，最后基于上述判别结果对上述待训练的映射生成器及上述待训练的判别器进行优化，并返回执行上述获取训练对照数据的步骤及后续步骤，直至训练完成；在生成对抗网络训练完成后，再应用该生成对抗网络，具体为将待处理的目标图像输入至已训练的映射生成器中，通过上述已训练的映射生成器中的映射模块提取得到上述目标图像的特征，以实现上述目标图像的特征可视化。通过申请方案，对传统的生成对抗网络进行了改进，将传统的生成器改进为包含映射模块的映射生成器，用于学习区分正样本真实训练数据及负样本真实训练数据的关键特征图。在训练过程中，通过不断的生成对抗训练，提升映射生成器的提取准确度，使得在应用生成对抗网络中的映射生成器时，可以更好的提取医学图像的特征，提升医学图像的可视化结果的质量。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像特征可视化方法的实现流程示意图；
图2是本申请实施例提供的图像特征可视化方法中，映射生成器的映射模块的结构示意图；
图3是本申请实施例提供的图像特征可视化方法中，判别器的结构示意图；
图4是本申请实施例提供的图像特征可视化方法中，二阶池化层的计算示意图；
图5是本申请实施例提供的图像特征可视化方法中，由映射生成器及判别器所构成的生成对抗网络的示意图；
图6是本申请实施例提供的图像特征可视化装置的结构框图；
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一
本申请实施例所提出的图像特征可视化方法主要涉及两方面：第一方面是对生成对抗网络(generativeadversarialnetwork，gan)的训练，第二方面是对生成对抗网络的应用。具体地，请参阅图1，步骤101至步骤104与生成对抗网络的训练过程相关，步骤105与生成对抗网络的应用过程相关。下面对本申请实施例所提出的图像特征可视化方法进行描述，包括：
步骤101，获取训练对照数据；
在本申请实施例中，首先可以获取训练对照数据，以通过该训练对照数据实现对生成对抗网络的训练。具体地，上述训练对照数据包括两类数据，分别为正样本真实训练数据及负样本真实训练数据。其中，“正样本”及“负样本”用于表示互为对照的不同实验条件下所获得的训练数据，“真实”用于表示训练数据是通过实际场景所获得的数据，而非机器编辑虚构的数据。需要注意的是，上述训练对照数据可由原始对照数据处理而得，具体可表现为：获取原始对照数据，其中，上述原始对照数据包括正样本真实原始数据及负样本真实原始数据；随后，对上述正样本真实原始数据及上述负样本真实原始数据进行归一化处理，将归一化后的正样本真实原始数据作为上述正样本真实训练数据，将归一化后的负样本真实原始数据作为上述负样本真实训练数据，其中，上述正样本真实训练数据及上述负样本真实训练数据的各个体素值均在预设的数值范围内，仅作为示例，上述数值范围可以是[-1,1]。上述归一化处理的步骤是为了防止训练时梯度消失或梯度爆炸。
为了更好的理解本步骤，下面以大鼠尼古丁成瘾脑区特异性环路的可视化为例进行说明：在训练时，利用不同浓度尼古丁作用下的大鼠fmri图像作为对照实验数据，可以有以下几组实验条件：(1)注射0.12mg/kg的高浓度尼古丁；(2)注射0.03mg/kg的低浓度尼古丁；(3)注射生理盐水；则研发人员可根据实验需要，将上述这三组实验条件下的任意两组实验条件所获得的fmri图像进行归一化处理，以得到训练对数据。例如，可以将注射0.03mg/kg的低浓度尼古丁后所获得的归一化后的大鼠fmri图像作为正样本真实训练数据，将注射生理盐水后所获得的归一化后的大鼠fmri图像作为负样本真实训练数据，此处不作限定。
步骤102，将正样本真实训练数据输入至待训练的映射生成器中，得到上述待训练的映射生成器所输出的负样本虚构训练数据；
在本申请实施例中，在生成对抗网络的训练过程中，可以将正样本真实训练数据作为输入数据，输入至带有映射模块的映射生成器中，所获得的上述映射生成器的输出数据具体为负样本虚构训练数据，其中，上述“负样本虚构训练数据”中的“虚构”与上述步骤101中的“正样本真实训练数据”及“负样本真实训练数据”中的真实相对，用于表示训练数据是机器编辑虚构的数据。其中，上述映射生成器的映射模块可用于提取映射生成器的输入数据(在训练过程中，为正样本真实训练数据；在应用过程中，为目标图像)的特征，具体地，在训练过程中，映射模块可学习区分正样本真实训练数据及负样本真实训练数据的关键特征图；而上述负样本虚构训练数据则可以由上述映射生成器根据上述正样本真实训练数据及上述关键特征图所生成。
可选地，上述步骤102具体包括：
a1、通过上述编码器的卷积操作将上述正样本真实训练数据压缩为特征向量；
在本申请实施例中，上述映射模块中包括有编码器及解码器，如图2所示，其网络结构为u-net，其可通过跳跃连接的方式将输入数据的上层信息与下层信息直接级联起来，以充分利用输入数据的底层特征。本步骤中，上述正样本真实训练数据可被记为xi，通过编码器的卷积操作可将正样本真实训练数据xi压缩为编码后的特征向量。
a2、通过上述解码器对上述特征向量进行解码，获得关键特征图；
在本申请实施例中，解码器将进一步对上述特征向量进行解码，获得区分正样本及负样本的关键性特征m(xi)，上述关键性特征m(xi)也即区分正样本真实训练数据及负样本真实训练数据的关键特征图。
a3、根据上述关键特征图及上述正样本真实训练数据生成负样本虚构训练数据；
在本申请实施例中，由于映射模块所获得的关键特征图为区分正样本真实训练数据及负样本真实训练数据的关键特征图，因而，映射生成器可对上述关键特征图及上述正样本真实训练数据进一步进行处理，以生成负样本虚构训练数据yi，具体为将上述关键特征图的每一体素值分别与上述正样本真实训练数据中对应的体素值相加，所得结果即为负样本虚构训练数据。上述负样本虚构训练数据yi的生成过程可用公式表示为：
yi＝m(xi)+xi(1)
a4、输出上述负样本虚构训练数据。
步骤103，将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果；
在本申请实施例中，上述负样本真实训练数据及负样本虚构训练数据均可作为负样本训练数据被输入至待训练的判别器中。上述判别器在运行的过程中，将随机或以某种顺序选定一个负样本训练数据进行判别。具体地，如图3所示，上述判别器由卷积层、二阶池化层及全连接层构成，其中，上述卷积层包括普通卷积层及密集连接卷积层，则上述步骤103具体包括：
b1、将上述负样本训练数据的张量化表达输入至上述待训练的判别器中；
在本申请实施例中，不管上述负样本训练数据是负样本真实训练数据还是负样本虚构训练数据，其都需要以张量化表达的形式输入至判别器中。例如，对于步骤101所示出的大鼠fmri图像来说，将以该大鼠fmri图像的四阶张量的形式作为判别器的输入数据。
b2、通过上述卷积层对上述负样本训练数据的张量化表达进行特征提取，得到上述负样本训练数据的特征张量；
在本申请实施例中，由上述卷积层对上述负样本训练数据的张量化表达进行特征提取所得到的上述负样本训练数据的特征张量，可以保留充足的空间信息和时间序列信息。其中，上述判别器的卷积层所采用的激活函数为leakyrelu和batchnormalization。
b3、通过上述二阶池化层对上述负样本训练数据的特征张量进行加权计算，得到上述负样本训练数据的加权特征张量；
在本申请实施例中，如图4所示，上述步骤b3具体包括：
b31、对上述负样本训练数据的特征张量进行通道降维；
在本申请实施例中，具体可通过1x1x1卷积对输入的负样本训练数据的特征张量进行通道降维。
b32、计算通道降维后的特征张量中任意两个通道之间的协方差信息，得到协方差矩阵；
b33、对上述协方差矩阵进行分组卷积及1×1×1卷积计算，得到权重向量，其中，上述权重向量的通道数与上述负样本训练数据的特征张量的通道数相同；
b34、计算上述权重向量与上述负样本训练数据的特征张量的内积，得到上述负样本训练数据的加权特征张量。
需要注意的是，判别器在训练过程中，还将通过反向传播算法调整通道权重，以使得加权特征张量中越重要的通道权重越大，越不重要的通道权重越小，从而提取更有代表性的全局高阶特征图。也即，二阶池化层可通过负样本训练数据不同区域的依赖关系和高阶特征不同通道间的相关性信息，在自注意力机制的作用下，根据重要性调整各通道的权重，实现对负样本训练数据的特征张量的加权计算，以得到上述负样本训练数据的加权特征张量，可帮助判别器提取出更有判别性的特征，提高判别器的判别能力。
b4、通过上述全连接层对上述负样本训练数据的加权特征张量进行分类，得到上述负样本训练数据的判别结果；
在本申请实施例中，上述全连接层具体采用sigmoid函数来判断所输入的负样本训练数据的真假，也即，判断所输入的负样本训练数据是负样本真实训练数据还是负样本虚构训练数据。
b5、输出上述负样本训练数据的判别结果。
可选地，为了减少参数、节省存储空间，在上述判别器投入训练之前，上述图像特征可视化方法还包括：
c1、初始化上述待训练的判别器中的各网络层；
c2、通过张量分解的方式对上述卷积层的卷积核及上述全连接层的权重矩阵进行压缩。
在本申请实施例中，可以通过张量分解的方式将判别器的卷积层的卷积核进行压缩，得到张量化卷积层；并通过张量分解的方式将判别器的全连接层的权重矩阵进行压缩，得到张量化全连接层；其中，所采用的张量分解方式具体为张量火车(tensor-train)分解。也即，在构建判别器时，本申请实施例就已经通过张量分解的方式对卷积层的卷积核及全连接层的权重矩阵进行了压缩，判别器在实际训练过程中所采用的不是一般的卷积层及全连接层，而是张量化卷积层及张量化全连接层。具体地，在进行张量火车分解时，所遵循的基础公式为：
w((i1,j1),…,(id,jd))＝g1[i1,j1]g2[i2,j2]…gd[id,jd](2)
上式(2)中，w为神经网络的权重张量；d为该权重张量的维度；gm为重构网络中权重张量分解中的第m个低秩矩阵，其中，m＝1，2，…，d；iq表示网络权重张量中第q维的尺寸，其中，q＝1，2，…，d；jk表示第k个辅助参数，其中，j0＝1，用以表示权重张量中的第一个低秩矩阵的第一个阶数为1，jd＝1，用以表示权重矩阵张量中的最后一个低秩矩阵的第二个阶数为1，k＝1，2，…，d。
下面对全连接层基于张量火车分机的张量化过程进行说明：
全连接层(由输入全连接层及输出全连接层所构成)的权重张量按照上述基础公式进行张量火车分解所得到的全连接层的张量化表达如下：
上式(3)中，i1，…，id用于表示输出全连接层的各个神经元；y为输出全连接层上所有神经元构成的张量；g1[i1,j1]g2[i2,j2]…gd[id,jd]为全连接层的权重张量基于张量火车分解而得的张量化表达；j1，…，jd用于表示输入全连接层的各个神经元；x为输入全连接层上所有神经元构成的张量；b为全连接层的偏置的张量化表达。
下面对卷积层基于张量火车分解的张量化过程进行说明：
①网络输入层：
上式(4)为网络输入层的重构(reshape)过程的表达，指的是将网络输入层的维度由4维切分为3+d维；括号内的参数x、y、z、c分别对应一个维度，也即，括号内的参数x、y、z、c仅用于表达处于不同的维度的数据。
②网络输出层：
上式(5)为网络输出层的重构过程的表达，指的是将网络输出层的维度由4维切分为3+d维；括号内的参数x、y、z和s分别对应一个维度，也即，括号内的参数x、y、z和s仅用于表达处于不同的维度的数据。
③卷积核：
上式(6)为卷积核基于张量火车分解的张量化表达；其中，方括号[]内的参数为辅助参数，用于进行数学计算，其并不具有实际含义。
④基于上式(4)、(5)和(6)，对卷积层进行张量化，可得：
上式(7)中，
通过上述过程，采用张量火车分解的方式对判别器中的卷积层及全连接层的网络参数进行了压缩，可较为完整的保留输入数据的空间信息和时间序列信息。
步骤104，基于上述判别结果对上述待训练的映射生成器及上述待训练的判别器进行优化，并返回执行上述获取训练对照数据的步骤及后续步骤，直至训练完成；
在本申请实施例中，在获得判别结果后，可根据该判别结果的判别真或判别假的情况，通过反向传播算法对上述待训练的映射生成器及上述待训练的判别器进行优化，并在每次优化后都返回执行步骤101及后续步骤，直至上述映射生成器及判别器所构成的生成对抗网络模型达到纳什均衡时训练完成，此时，上述判别器性能已达到最优，上述映射生成器也已最大程度地学习到了区分正/负样本真实训练数据的关键性特征。
在一些实施例中，对于判别器的训练，具体是在反向传播的过程中，根据判别器的损失函数lgan(m,d)梯度下降更新判别器的网络层中的核矩阵，上述核矩阵可记为gk[ik,jk]，具体指的是张量化后的网络参数。判别器的目标是判别负样本真实训练数据为真，判别由映射生成器生成的负样本虚构训练数据为假。基于此，判别器的损失函数lgan(m,d)可以表示为：
上式(8)中，x为负样本真实训练数据；x+m(x)为负样本虚构训练数据；d(x)为判别器判别负样本真实训练数的真假；d(x+m(x))为判别器判别负样本虚构训练数的真假；e为期望，e的下角标用于表示x服从用某一条件时的条件概率分布，具体地，x～pd(x|c＝0)用于表示x服从c＝0时的条件概率分布，x～pd(x|c＝1)用于表示x服从c＝1时的条件概率分布。
在一些实施例中，对于映射生成器的训练，具体是在反向传播的过程中，根据映射生成器的损失函数m*梯度下降更新映射生成器中各网络层的参数。映射生成器的模板时通过学习区分正样本真实训练数据及负样本真实训练数据的关键性特征，并由正样本真实训练数据生成能够欺骗判别器的负样本虚构训练数据。为了提升医学图像的可视化效果，上述映射生成器的损失函数m*中还新增了对映射函数m(x)的正则化约束。基于此，映射生成器的损失函数m*可以表示为：
其中，上述(9)中，lgan(m,d)为上式(8)所示出的判别器的损失，φ为所有满足1-lipschitz限制的函数集，lreg(m)＝||m(x)||1为映射函数m(x)的正则化项。
步骤105，将待处理的目标图像输入至已训练的映射生成器中，通过上述已训练的映射生成器中的映射模块提取得到上述目标图像的特征，以实现上述目标图像的特征可视化。
在本申请实施例中，当上述生成对抗网络训练完成，获得了最优的映射生成器及最优的判别器后，即可将上述生成对抗网络投入应用。而在应用上述生成对抗网络时，仅应用映射生成器即可，具体为应用映射生成器中的映射模块，在存在医学图像分析需求时，将该医学图像作为待处理的目标图像输入至已训练的映射生成器中，并经由该映射生成器中的映射模块提取得到目标图像的特征，该特征即为可用于区分目标图像类型的关键性特征，以此来实现对目标图像的特征可视化。
请参阅图5，图5示出了生成对抗网络的网络结构。为了更好的理解本方案，下面以大鼠fmri图像的特征可视化为例作出说明：
将不同浓度注射下的大鼠fmri图像数据集按照4:1的比例分为训练集和验证集，其中，训练集及验证集中的fmri图像都已经过归一化预处理。训练过程中，将训练集中的正样本真实fmri图像输入作为映射生成器的输入，获得映射生成器输出的负样本虚构fmri图像；将该负样本虚构fmri图像与训练集中的负样本真实fmri图像作为判别器的输入，获得判别结果，并基于映射生成器的损失函数及判别器的损失函数进行反向传播，以实现对生成对抗网络的训练优化。在每次训练迭代的过程中，将验证集用于进行验证。在迭代结束后，通过验证结果选择最优的生成对抗网络参数，该最后的生成对抗网络的映射生成器的映射模块即可用于提取区分不同浓度尼古丁注射下大鼠fmri图像的关键性特征，实现大鼠尼古丁成瘾脑区特异性环路的精准可视化。
由上可见，本申请实施例中，对传统的生成对抗网络进行了改进，将传统的生成器改进为包含映射模块的映射生成器，用于在训练时学习区分正样本真实训练数据及负样本真实训练数据的关键特征图，以使得在应用时可提取出输入的医学图像的特征，以实现医学图像的特征可视化。在训练过程中，通过不断的生成对抗训练，提升映射生成器的提取准确度，使得在应用生成对抗网络中的映射生成器时，可以更好的提取医学图像的特征，提升医学图像的可视化结果的质量；同时，通过张量火车分解的方式对判别器中的卷积层及全连接层的网络参数进行压缩，以保留训练时输入数据的空间信息和时序信息，在减少参数、节省存储空间的同时起到正则化效果，避免生成对抗网络过拟合，增强生成对抗网络的泛化能力；进一步地，在判别器中还通过二阶池化层在自注意力机制的作用下智能提取更有判别性的特征，提高判别器的判别能力；再进一步地，通过在映射生成器的损失函数中添加映射模块的正则化约束，使得映射生成器可以更精准的可视化不规则形状的特征。
实施例二
本申请实施例二提供了一种图像特征可视化装置，上述图像特征可视化装置可集成于电子设备中，如图6所示，本申请实施例中的图像特征可视化装置6包括训练模块61及应用模块62，其中，上述训练模块61包括：
获取单元611，用于获取训练对照数据，其中，上述待训练对照数据包括正样本真实训练数据及负样本真实训练数据；
生成器运行单元612，用于将正样本真实训练数据输入至待训练的映射生成器中，得到上述待训练的映射生成器所输出的负样本虚构训练数据，其中，上述映射生成器包括映射模块，上述映射模块用于区分正样本真实训练数据及负样本真实训练数据的关键特征图，上述负样本虚构训练数据由上述映射生成器根据上述正样本真实训练数据及上述关键特征图生成；
判别器运行单元613，用于将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果，其中，上述负样本训练数据包括负样本真实训练数据及负样本虚构训练数据；
优化单元614，用于基于上述判别结果对上述待训练的映射生成器及上述待训练的判别器进行优化，并返回触发获取单元611及其它单元的运行，直至训练完成；
上述应用模块62，用于将待处理的目标图像输入至已训练的映射生成器中，通过上述已训练的映射生成器中的映射模块提取得到上述目标图像的特征，以实现上述目标图像的特征可视化。
可选地，上述映射模块包括编码器及解码器，上述生成器运行单元612，包括：
编码子单元，用于通过上述编码器的卷积操作将上述正样本真实训练数据压缩为特征向量；
解码子单元，用于通过上述解码器对上述特征向量进行解码，获得区分正样本真实训练数据及负样本真实训练数据的关键特征图；
生成子单元，用于根据上述关键特征图及上述正样本真实训练数据生成负样本虚构训练数据；
第一输出子单元，用于输出上述负样本虚构训练数据。
可选地，上述生成子单元，具体用于将上述关键特征图的每一体素值分别与上述正样本真实训练数据中对应的体素值相加，获得负样本虚构训练数据。
可选地，上述判别器的网络层包括卷积层、二阶池化层及全连接层，上述将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果，包括：
输入子单元，用于将上述负样本训练数据的张量化表达输入至上述待训练的判别器中；
提取子单元，用于通过上述卷积层对上述负样本训练数据的张量化表达进行特征提取，得到上述负样本训练数据的特征张量；
加权子单元，用于通过上述二阶池化层对上述负样本训练数据的特征张量进行加权计算，得到上述负样本训练数据的加权特征张量；
分类子单元，用于通过上述全连接层对上述负样本训练数据的加权特征张量进行分类，得到上述负样本训练数据的判别结果；
第二输出子单元，用于输出上述负样本训练数据的判别结果。
可选地，上述加权子单元，包括：
降维子单元，用于对上述负样本训练数据的特征张量进行通道降维；
第一计算子单元，用于计算通道降维后的特征张量中任意两个通道之间的协方差信息，得到协方差矩阵；
卷积子单元，对上述协方差矩阵进行分组卷积及1×1×1卷积计算，得到权重向量，其中，上述权重向量的通道数与上述负样本训练数据的特征张量的通道数相同；
第二计算子单元，用于计算上述权重向量与上述负样本训练数据的特征张量的内积，得到上述负样本训练数据的加权特征张量。
可选地，上述训练模块61还包括：
初始化单元，用于初始化上述待训练的判别器中的各网络层；
压缩单元，用于通过张量分解的方式对上述卷积层的卷积核及上述全连接层的权重矩阵进行压缩。
可选地，上述获取单元611包括：
原始对照数据获取子单元，用于获取原始对照数据，上述原始对照数据包括正样本真实原始数据及负样本真实原始数据；
归一化处理子单元，用于对上述正样本真实原始数据及上述负样本真实原始数据进行归一化处理，将归一化后的正样本真实原始数据作为上述正样本真实训练数据，将归一化后的负样本真实原始数据作为上述负样本真实训练数据，其中，上述正样本真实训练数据及上述负样本真实训练数据的各个体素值均在预设的数值范围内。
由上可见，本申请实施例中，图像特征可视化装置对传统的生成对抗网络进行了改进，将传统的生成器改进为包含映射模块的映射生成器，用于在训练时区分正样本真实训练数据及负样本真实训练数据的关键特征图，以使得在应用时可提取出输入的医学图像的特征，以实现医学图像的特征可视化。在训练过程中，通过不断的生成对抗训练，提升映射生成器的提取准确度，使得在应用生成对抗网络中的映射生成器时，可以更好的提取医学图像的特征，提升医学图像的可视化结果的质量；同时，通过张量火车分解的方式对判别器中的卷积层及全连接层的网络参数进行压缩，以保留训练时输入数据的空间信息和时序信息，在减少参数、节省存储空间的同时起到正则化效果，避免生成对抗网络过拟合，增强生成对抗网络的泛化能力；进一步地，在判别器中还通过二阶池化层在自注意力机制的作用下智能提取更有判别性的特征，提高判别器的判别能力；再进一步地，通过在映射生成器的损失函数中添加映射模块的正则化约束，使得映射生成器可以更精准的可视化不规则形状的特征。
实施例三
本申请实施例三提供了一种电子设备，请参阅图7，本申请实施例中的电子设备7包括：存储器701，一个或多个处理器702(图7中仅示出一个)及存储在存储器701上并可在处理器上运行的计算机程序。其中：存储器701用于存储软件程序以及模块，处理器702通过运行存储在存储器701的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器702通过运行存储在存储器701的上述计算机程序时实现以下步骤：
获取训练对照数据，其中，上述待训练对照数据包括正样本真实训练数据及负样本真实训练数据；
将正样本真实训练数据输入至待训练的映射生成器中，得到上述待训练的映射生成器所输出的负样本虚构训练数据，其中，上述映射生成器包括映射模块，上述映射模块用于区分正样本真实训练数据及负样本真实训练数据的关键特征图，上述负样本虚构训练数据由上述映射生成器根据上述正样本真实训练数据及上述关键特征图生成；
将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果，其中，上述负样本训练数据包括负样本真实训练数据及负样本虚构训练数据；
基于上述判别结果对上述待训练的映射生成器及上述待训练的判别器进行优化，并返回执行上述获取训练对照数据的步骤及后续步骤，直至训练完成；
将待处理的目标图像输入至已训练的映射生成器中，通过上述已训练的映射生成器中的映射模块提取得到上述目标图像的特征，以实现上述目标图像的特征可视化。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述映射模块包括编码器及解码器，上述将正样本真实训练数据输入至待训练的映射生成器中，得到上述待训练的映射生成器所输出的负样本虚构训练数据，包括：
通过上述编码器的卷积操作将上述正样本真实训练数据压缩为特征向量；
通过上述解码器对上述特征向量进行解码，获得上述区分正样本真实训练数据及负样本真实训练数据的关键特征图；
根据上述关键特征图及上述正样本真实训练数据生成负样本虚构训练数据；
输出上述负样本虚构训练数据。
在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述根据上述关键特征图及上述正样本真实训练数据生成负样本虚构训练数据，包括：
将上述关键特征图的每一体素值分别与上述正样本真实训练数据中对应的体素值相加，获得负样本虚构训练数据。
在上述一种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述判别器的网络层包括卷积层、二阶池化层及全连接层，上述将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果，包括：
将上述负样本训练数据的张量化表达输入至上述待训练的判别器中；
通过上述卷积层对上述负样本训练数据的张量化表达进行特征提取，得到上述负样本训练数据的特征张量；
通过上述二阶池化层对上述负样本训练数据的特征张量进行加权计算，得到上述负样本训练数据的加权特征张量；
通过上述全连接层对上述负样本训练数据的加权特征张量进行分类，得到上述负样本训练数据的判别结果；
输出上述负样本训练数据的判别结果。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述通过上述二阶池化层对上述负样本训练数据的特征张量进行加权计算，得到上述负样本训练数据的加权特征张量，包括：
对上述负样本训练数据的特征张量进行通道降维；
计算通道降维后的特征张量中任意两个通道之间的协方差信息，得到协方差矩阵；
对上述协方差矩阵进行分组卷积及1×1×1卷积计算，得到权重向量，其中，上述权重向量的通道数与上述负样本训练数据的特征张量的通道数相同；
计算上述权重向量与上述负样本训练数据的特征张量的内积，得到上述负样本训练数据的加权特征张量。
在上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中，在上述将负样本训练数据输入至待训练的判别器中，得到上述判别器所输出的判别结果之前，处理器702通过运行存储在存储器701的上述计算机程序时还实现以下步骤：
初始化上述待训练的判别器中的各网络层；
通过张量分解的方式对上述卷积层的卷积核及上述全连接层的权重矩阵进行压缩。
在上述第一种可能的实施方式作为基础而提供的第七种可能的实施方式中，上述获取训练对照数据包括：
获取原始对照数据，上述原始对照数据包括正样本真实原始数据及负样本真实原始数据；
对上述正样本真实原始数据及上述负样本真实原始数据进行归一化处理，将归一化后的正样本真实原始数据作为上述正样本真实训练数据，将归一化后的负样本真实原始数据作为上述负样本真实训练数据，其中，上述正样本真实训练数据及上述负样本真实训练数据的各个体素值均在预设的数值范围内。
应当理解，在本申请实施例中，所称处理器702可以是中央处理单元(centralprocessingunit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearr7a，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器701可以包括只读存储器和随机存取存储器，并向处理器702提供指令和数据。存储器701的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器701还可以存储设备类别的信息。
由上可见，本申请实施例中，对传统的生成对抗网络进行了改进，将传统的生成器改进为包含映射模块的映射生成器，用于在训练时区分正样本真实训练数据及负样本真实训练数据的关键特征图，以使得在应用时可提取出输入的医学图像的特征，以实现医学图像的特征可视化。在训练过程中，通过不断的生成对抗训练，提升映射生成器的提取准确度，使得在应用生成对抗网络中的映射生成器时，可以更好的提取医学图像的特征，提升医学图像的可视化结果的质量；同时，通过张量火车分解的方式对判别器中的卷积层及全连接层的网络参数进行压缩，以保留训练时输入数据的空间信息和时序信息，在减少参数、节省存储空间的同时起到正则化效果，避免生成对抗网络过拟合，增强生成对抗网络的泛化能力；进一步地，在判别器中还通过二阶池化层在自注意力机制的作用下智能提取更有判别性的特征，提高判别器的判别能力；再进一步地，通过在映射生成器的损失函数中添加映射模块的正则化约束，使得映射生成器可以更精准的可视化不规则形状的特征。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！