医学图像分类处理人工智能的小样本元学习训练方法与流程

本发明涉及设备装置的结构改进技术，属于ipc分类中的g06t7/11机器学习、模式识别和医学影像处理技术，或g06k9/00用于阅读或识别印刷或书写字符或者用于识别图形技术领域，尤其是医学图像分类处理人工智能的小样本元学习训练方法。

背景技术：

目前，包括x射线成像、ct成像、磁共振成像、超声成像和核医学成像等医学影像能让医生除接触和解剖外，了解患者身体内部形态、功能、代谢等改变，对诊断患者病因、病情有重要作用。医学影像在医学临床诊断中有着极为重要的地位，现代医学离不开医学影像技术。科大讯飞、腾讯觅影、阿里健康等研发的医学影像辅助诊断系统，依靠优质高分辨率图像，能在肺部ct影像诊断、食管癌早期筛查等特定的医疗领域辅助医生诊断，让计算机通过学习大量的影像和诊断数据，做到自动切割医学影像图像和图像分类，对可疑组织进行多次不同比例尺度的放大观察，提取重要信息，最后输出是否病变的建议，辅助影像科医生进行决策，大大提高诊断效率，与此同时可有效减少漏诊、误诊的现象，给未来医学发展起到了极大的促进作用。

随着互联网技术的发展和信息化水平的提高,图像数据量也呈现了爆炸式的增长。在庞大的图像数据库中,计算机如何高效地挑选图像数据,对图像分类技术提出了一定的挑战。由于近几年深度学习快速发展,凭借着其较高的准确率与识别效率,借助深度学习进行图像分类技术己经逐渐取代了人工标注特征进行图像分类,但是深度学习在训练过程中往往存在参数难以调整,训练样本需求量较大且训练时间过长的缺点。

针对以上问题，研究在小数量样本情况下，如何高效利用深度学习进行图像识别是很有意义的，也增强了不同样本情况下的深度学习模型的适应能力。

人类智能的一个关键特征是多面性(versatility)：完成不同任务的能力。目前的ai系统擅长掌握单项技能，如围棋、jeopardy游戏，甚至直升机特技飞行。但是，让ai系统做一些看起来很简单的事情，对它们来说反而比较困难。取得jeopardy冠军的程序无法进行对话，专业的直升机特技飞行控制器无法在全新的简单环境中航行，比如定位起火现场、飞过去然后扑灭它。然而，人类可以在面对多种新情况时灵活应对并自发适应。人类对人工智能体获得这样的多面性有所期待。

自深度学习发展起来之后，智能化的各种设备得到快速发展，但是对于智能化的程序来说，需要数以万计甚至百万千万的数据行进训练，以近年来最为出名的alphago为例，虽然下棋的是一台电脑，但其后台需要庞大的数据支持训练才能达到这样的效果。所以这也是深度学习的一个短板，训练数据需要太多，但有时一些训练任务并不能找到这么多的训练数据。这种情况下，如果训练数据较少时给深度学习器加以训练，会出现过拟合的现象，这是不利于应用的，所以对于此随之而来的便是小样本学习问题，即针对样本量较少的任务，需要有一个学习器能够成功应用少量的数据进行好的训练，达到学习器所需的功能。

据公开报道，某实验室开发的最新技术《与模型无关的元学习(model-agnosticmeta-learning)》，对此进行尝试，结果未知。对于人来说，初识一个新的物品，你可以通过探索很快地了解并熟悉它，而这种学习能力，是目前机器所没有的。所以人们思考，如果机器也能拥有这种学习能力的话，面对样本量较少的问题时，便可以快速地学习，这便是元学习(metalearning)，也可以称为元学习。例如，在2015年science杂志封面刊登过一篇小样本学习文章《human-levelconceptlearningthroughprobabilisticprograminduction》，该文章提出了贝叶斯规划学习(bpl)框架，实现one-shotlearning，数据集采用世界各地字母表的手写字符。人们发现通过元学习能够很好地实现小样本分类任务。

近年来，小样本学习分类发展迅速，面对总多的分类任务，都可以通过训练一个模型来达到任务要求。其中元学习的方法较多，为了最大的适用性，元学习的机制应该是任务的通用性，即面对不同的任务，不需要构建不同的模型，用同样的一套学习算法即可解决多种不同的任务。定义一个模型的可学习参数θ，面对不同的任务，可以通过改变参数θ的值来解决相应的任务。而参数θ的值可以通过元学习器去学习，在面对不同任务的时候，根据损失函数通过梯度下降的方法不断地更新θ值，使这个模型不断向能解决这个任务的模型靠近，当θ值最终收敛时，元学习器学习到了一个较好的参数θ，让模型自适应地解决相应任务。该算法没有为学习器构建或引入其他的参数，训练学习器的策略使用的是已知的如梯度下降等优化过程。

针对小样本识别的众多问题，例如，极容易过拟合、模型泛化性较差等，试验研究提出基于深度学习的小样本分类识别模型，优化方向主要基于以下两个方面，第一是图像样本数量的增强，第二是识别模型的优化。在进行样本数量增强时，提出生成式模型与图像预处理相结合的技术。首先利用全连接生成式模型进行样本增强，针对全连接神经网络参数过多的问题，利用卷积神经网络代替全连接神经网络进行图像训练。由于产生的样本图像具有随机性，利用条件生成式模型进行样本生成，所产生的样本集合含有labels，在后续的监督式分类学习中可以得到很好的应用。针对在条件生成模型中产生样本出现模糊的问题，提出基于小波变换与自适应数学形态学的图像边缘检测技术。该方法可以很好的克服边缘模糊问题，此外，由于生成的样本往往存在噪声，基于经验模态分解与稀疏表示相结合的图像去噪技术，优化的去噪模型可以很好的在去除噪声的同时保留图像的边缘细节。因此，利用融合模型进行的图像样本数量增强可以很好的扩大样本，用于下一部分的分类模型。在进行小样本分类模型中，利用迁移学习进行模型分类，迁移学习往往能在较少的训练样本集中达到较高的识别效率。结合生成模型与迁移学习，利用融合模型进行小样本图像识别。迁移学习采用inpection-v3模型进行训练，相比较于单纯进行卷积神经网络进行分类训练，加入迁移学习可以提高模型的泛化能力，模型的训练效率也有很大的提升，在样本缺失时，基于迁移学习的分类模型，由于只需要再训练，因此，识别的准确率也得到了很大的提升。结合样本增强技术，在样本缺失时，通过增加仿造样本与迁移学习相结合的方式进行模型融合并分类，利用标准数据集与拍摄的树叶图像作实验对比，在准确率上，相比较于单纯使用迁移学习和卷积神经网络均有所提升，对于样本量不足的实验环境中进行深度学习分类具有很好的参考意义。

在医疗行业中，计算机能做的最大的贡献就是帮助医生做大量医学影像的过滤工作，至于使用诊断上最多也只是一个辅助的诊断工具，而机器学习到达了深度学习的时代，有些本来以为不太可能的任务都被深度学习算法所攻克。

相关专利文献公开较少。

南京大学、江苏万维艾斯网络智能产业创新中心有限公司201910374698.6公开一种基于深度神经网络的点交互式医学图像分割方法，专门针对医学图像中的肾肿瘤分割问题而提出的一种点交互的深度学习分割算法。该算法由点交互预处理模块，双向convrnn单元、核心深度分割网络组成。该算法从专家提供的肿瘤中心位置出发，在间隔均匀的16个方向上，由内向外按4像素步长，密集采集16个大小为32×32的图像块，形成图像块序列，并使用具有序列学习的深度分割网络学习目标内外变化趋势，确定目标边缘，实现对肾肿瘤的分割。该方法能够克服医学图像对比度低、目标位置多变、目标边缘模糊的影响，适用于器官分割和肿瘤分割任务。该技术有如下特点：1)交互方式简洁方便；2)提出sequentialpatchlearning概念，使用序列图像块捕捉长程语义关系，即使较浅的网络也可以获得较大的感受野；3)提出全新的convrnn单元，学习目标内外变化趋势，具有较强的可解释性，符合医生的实际工作方式，最终模型精度高，适用性强。

南京航空航天大学在中国专利申请201610654316.1公开了一种基于背景和前景信息的彩色图像显著性检测方法，包括以下步骤：对输入的彩色图像进行过分割处理得到一系列超像素块；选取背景种子，通过各超像素块与背景种子之间特征对比获得粗糙显著度；基于背景种子的特征分布定义各超像素块的背景权重，通过背景权重改善粗糙显著度获得基于背景信息的显著度；对上一步形成的基于背景信息的显著图进行分割，在所有分割结果中选取一个紧密的前景区域，提取前景区域特征，通过特征对比获得基于前景信息的显著度；整合前两步获得的基于背景和前景信息的显著度，并进行平滑操作得到所有超像素块优化后的显著度。能够更加一致地突出图像中的前景目标，并且对图像中背景噪声有很好的抑制效果。

微软技术许可有限责任公司在中国专利申请201510362657.7中提出一种涉及机器视觉处理系统。各技术和各构造可从数字图像中确定反照率图和带有阴影的图。可至少部分基于色差阈值来确定反照率和带有阴影的图。可至少部分基于反照率图来确定颜色带有阴影的图，并能基于颜色带有阴影的图来确定照明系数。数字图像可至少部分基于照明系数来被调整。在一些示例中，可产生对于数字图像的各个颜色通道的相应的带有阴影的图。颜色带有阴影的图可至少部分基于带有阴影的图来被产生。在一些示例中，数字图像的多个区域可被确定，并且各个区域之间的邻近度关系可被确定。反照率带有阴影的图可至少部分基于邻近度关系来被确定。

天津大学在中国专利申请201910770542.x中公开一种双向通道注意力元学习的图像分类方法，通过注意力模型机制学习元学习中支持集与查询集之间的关系，使支持集与查询集相互关注，假设在支持集图像样本视觉特征映射到类别特征时，考虑到查询集样本对支持集样本特征显著区域的关注，同时也考虑到支持集对查询集显著区域的关注，挖掘支持集与查询集之间关系，将会提高网络对于图像特征显著、细节区域的关注，加快收敛速度，并且进一步提高对基于元学习的少样本图像分类方法的性能。

中山大学在中国专利申请201910143448.1中提出一种涉及计算机视觉识别和迁移学习领域的基于度量学习和元学习的小样本和零样本图像分类方法，步骤包括：构建训练数据集和目标任务数据集；从训练数据集选取支撑集和测试集；将测试集和支撑集的样本分别输入特征提取网络得到特征向量；将测试集和支撑集的特征向量依次输入特征关注模块和距离度量模块中，计算测试集样本与支撑集样本的类别相似度，并利用损失函数对各个模块的参数进行更新；重复上述步骤至各个模块网络的参数收敛，完成各模块的训练；将从目标任务数据集中的待测图片和训练图片依次通过特征提取网络、特征关注模块和距离度量模块，输出与测试集类别相似度最高的类别标签，即为待测图片的分类结果。

海青智盈技术公司在中国专利申请201910684593.0提出一种基于集成学习的图像分类系统，包含多个基于细胞神经网络(cnn)的集成电路(ic)，所述多个基于细胞神经网络的集成电路操作联接在一起作为用于图像分类任务的一组基础学习器。每个基于cnn的ic配置有以过滤器系数形式的至少一个有区别的深度学习模型。基于集成学习的图像分类系统还包含：被配置为该集成的元学习器的控制器；以及用于保持由所述控制器和基于cnn的ic在该集成中使用的各种数据的基于存储器的数据缓冲器。各种数据可以包括待分类的输入图像数据。各种数据还可以包括来自所述一组基础学习器的经提取的特征向量或图像分类输出。然后，所述经提取的特征向量或图像分类输出被元学习器使用以进一步执行该图像分类任务。

据深度学习在医学图像处理中应用综述性的文献记载，大部分的工作都是基于2d图像的，其实在医学图像中，ct和mri都是3d的数据2d化的结果，在医疗图像处理的算法中3d重建等等也是非常重要的一大类算法，但是现有的基于3d的算法一来耗时比较高，二来并没有比基于2d的算法提高很多，较为传统的算法就是把cnn当作是一个特征提取的算子获得图像的描述特征而最新的一些方法直接将cnn的结果就作为最终的输出结果来使用，会涉及到所说的黑盒子的限制，可解释性较差，更适合作为特征来使用解释，因为后续的一些后处理中可以增加的规则类的比较多，解释性会更好。

人工智能技术在医学影像中辅助诊断领域，主要依托海量的数据进行训练。但是但绝大多数的医疗影像数据来源于医院。且三级医院拥有绝大多数影像数据，但是实际应用中单一病种数据量不足，数据分散，病种分散，使得人工智能医学辅助诊断系统没有足够的训练数据进行训练，准确率得不到保障。虽然小样本学习和元学习的目的是快速学习，且近几年来所有研究采用的训练样本量都是少量的，但是要实现机器能够自主学习，还是需要大样本做支撑的。

技术实现要素：

本发明的目的是提供医学图像分类处理人工智能的小样本元学习训练方法，针对医学领域的数据比较少的现象，解决医学小样本问题，通过采用元学习的方法实现小样本分类，提高疑难病症领域人工智能自动检测的实用性和可靠性，有效地增强医学图像分类的准确率。

本发明的目的将通过以下技术措施来实现：搭建多尺度cnn特征提取器、度量学习器和分类判别器三个元学习器，同时对元学习器上度量标准的设计；在训练集的每个任务上，通过支持集距离度量学习目标集，最终学习得到一个度量标准，然后对于测试集的新任务，只需借助支持集少量样本，就可以快速对目标集进行正确分类。具体包括以下步骤：

步骤1:读取数据集，数据集即训练数据集，为1000例标注的医学图像数据集，该训练数据集包括训练集、验证集和测试集；

步骤2:进行图像预处理操作，对训练数据集中的数据进行初步的处理，将数据的范围进行规定，规定数据的范围和尺寸，去除无关的数据；

步骤3:数据增广，对医学图像数据进行归一化，进行图像旋转、加噪声以及扩增处理；

步骤4:搭建多尺度特征提取器，进行算法模型构建，该特征提取器为cnn特征提取器，提取图像多尺度超像素特征；

步骤5:搭建度量学习器，计算图像特征之间的距离；

步骤6:搭建分类判断器，对网络层结构以及训练网络参数进行设计；

步骤7:进入模型训练过程，该模型训练过程涉及的多尺度关系网络是一个端到端可微分的结构，采用反向传播算法和自适应矩估计调整模型中参数的取值；

步骤8:完成输出；根据关系特征通过度量学习器学习后得到关系分数，所述关系分数即一次少样本图像分类任务的结果。

尤其是，超像素由一系列位置相邻且颜色、亮度或纹理特征相似的像素点组成的小区域；这些小区域大多保留进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息；超像素就是把一幅像素级(pixel-level)的图，划分成区域级(district-level)的图，是对基本信息元素进行的抽象；对每一块超像素，以该超像素中心为中心提取多个不同大小的图像斑块作为多尺度cnn模型的输入，多尺度特征提取器基于关系网络对每一块超像素对应的图像斑块采用多尺度cnn模型进行特征提取操作。

尤其是，具体网络层结构由两个卷积模块由卷积层、批标准化层、修正线性单元层以及最大池化层组成；其中卷积层由64个尺寸大小为3x3的过滤器组成,不进行零填充，且第一个卷积层的输入信号的通道数由输入图片的通道数决定；池化层的尺寸大小为2x2，不进行零填充；第三个和第四个卷积模块由卷积层、批标准化层以及修正线性单元层组成，其中卷积层由64个尺寸大小为3x3的过滤器组成，进行零填充；将图片输入特征提取器，得到尺寸大小为(w，m，64)；第二、三、四层特征图，其中m代表特征图的宽度和高度，64代表特征图的深度；然后将第二、三层特征图和第四层特征图在深度方向拼接得到尺寸大小(m，m，128)为多尺度特征。

尤其是，度量学习器具体结构，总共由两个卷积模块和两个全连接层组成；第一个和第二个卷积模块由卷积层、批标准化层、修芷线性单元层以及最大池化层组成；其中卷积层由64个尺寸大小为3x3或尺寸大小为2x2的过滤器组成，且第一个卷积层的输入信号的通道数由关系特征的通道数决定，这里取值128，的尺寸大小为2x2,进行零填充；关系特征通过多尺度学习器，得到尺寸大小为(n,n,64)的特征图，特征图被拉直后传入全连接层；第一层全连接层釆用relu激活函数，第二个全连接层釆用sigmoid激活函数；将关系特征输入度量学习器，最终会得到一个位于[0,1]的值，这个值代表着两个图片特征之间的相似度，这个相似度被称之为关系分数；在一次n-wayk-shot的少样本图像分类任务设置下,得到n²*b个相似度值；对于目标集中的每一个样本，取与支持集每类样本均值的关系分数中的最大值作为预测标签：最终我们得到n*b个目标集样本的分类标签；公式化多尺度关系网络，如下所示:

其中，i＝1,....k；j＝1,....b；n＝1,....n；m-1,....n；表示特征提取器；代表度量学习器；与表示支持集、目标集样本图片的原始像素特征；与表示支持集、目标集样本的多尺度特征；表示支持集的每类样本的原型；表示三维向量重接相减后取绝对值；表示关系分数；表示目标集样本的预测标签。

尤其是，所述网络参数设计包括lossfunction的设计、优化器选择以及优化算法设计，具有过程包括：对于图像分类任务，一般选取交叉熵来计算预测的概率分布和期望的概率分布之间的距离；但是在多尺度关系网络中，度量学习器刻画的是两个图像之间的相似度，度量学习器最后一层网络只有一个输出节点；设计的lossfunction具体公式如下所示：

其中，代表特征提取器参数，代表度量学习器参数；argmin指使其后面式子达到最小值时和的取值；即支持集每个类别的标签,yn为目标集图片样本预测标签，表示相同匹配对相似度为1，不同匹配对相似度为0；由公式(1-4)计算获得。

尤其是，所述训练过程中，一个epoch结束后，即完成epoch个不同任务训练后，计算验证集上的准确率，记录到目前为止验证集上最高准确率；连续多次epoch没达到最佳时，则可以认为准确率不再提高；当准确率不再提高或者准确率在逐步下降时，此时便可以停止迭代，输出最高的准确率所对应的模型，然后用这个模型进行测试；准确率的计算公式如下所示：

其中,episode代表任务数,一次任务即一次少样本图像分类任务；nt表不目标集上样本总数；代表目标集样本的预测标签值，代表目标集样本的标签值；b表示目标集每类图片的取值，即批量数；n表示一次少样本图像分类任务中样本类别数。

尤其是，所述输出整体的过程包括，支持集和目标集到特征提取器，同时通过获得提取的支持集多尺度特征和目标集多尺度特征，得到关系特征，最后通过度量学习器得到关系分数。

本发明的优点和效果：利用元学习，克服单一病种数据量少病种分散的不足，完成医学图像处理智能系统分类少样本学习训练，使得过滤的正确率显著改善，极大的提高生产效率，有助于医疗行业智能诊断深度学习技术升级。对医疗成像设备的发展和应用提供可行性支持。

附图说明

图1为本发明采用的网络拓扑结构图；

图2为本发明采用的多尺度cnn特征提取器功能图；

图3为本发明采用多尺度cnn特征提取器结构图；

图4为本发明采用度量学习器结构图；

图5为本发明采用的整体训练过程流程图；

具体实施方式

本发明原理在于，基于元学习的少样本学习的任务在于建立一个具有优秀泛化性能的模型，并且进一步的，利用元学习处理深度学习方法的少样本学习问题。对于训练过程中未见过的新类别图片任务,能够很好的利用之前的经验知识,使得深度学习方法能够根据新任务进行调整,增强网络的学会学习的能力，快速深度学习和泛化，只需要借助每类新类别少量样本就可以进行正确分类。

本发明中，所谓度量(metric)，即通过某种方式来表达两个样本的相关性，比如欧几里得距离，可以认为在某一个嵌入投影空间中，一般使用含参数的神经网络来完成嵌入过程，距离越近的样本越为相似，即认为可以将其分为同一类别。当然，度量方法有很多，但是近几年中运用较多的是余弦距离和欧几里得距离，是基于度量的方法实现小样本学习。度量学习的一个关键点在于怎么将样本投影至一个空间，同时在这个空间中距离近的样本为同一类别。在omniglot手写字符数据集上，使用距离来表达相似性可行的原因是因为通过将图片的特征矩阵投影到一空间后，得到的矩阵是该手写字符的形状，可以在矩阵中看出图形形状，这种情况下，就类似于knn实现手写数字识别，使用距离来说明相似性是可行的。基于优化的元学习在样本量较少的任务中，通常的一些学习器会因为样本较少出现过拟合的现象，同时在训练过程中效果较好，学习器通常会训练迭代百万甚至千万次才能够收敛。

本发明在元学习器加入lstm网络，使用任务中少量的已标记样本，通过元学习器来优化更新学习器的初始化参数，让学习器在面对相应任务的时候，能够仅用少量的样本，同时较快收敛，达到快速学习解决任务的目的。

本发明基于深度学习实现图片分析及目标定位，通过计算机视觉和大数据、深度学习技术的结合，将积累的医学数据转化为可用算法模型，利用图像处理技术和机器学习算法对图像进行分析，检测出医学图像中病灶位置，利用ai技术克服不同操作人员之间的主观性差异，减轻人工处理的工作量，让计算机在精确度和速度上帮助医生提高诊断效率，解决人工智能在医学辅助诊断系统开发中训练数据不足导致准确率低下的问题。

如附图1所示，本发明具体包括以下步骤：

步骤1:读取数据集，数据集即训练数据集，为1000例标注的医学图像数据集，该训练数据集包括训练集、验证集和测试集；

步骤2:进行图像预处理操作，对训练数据集中的数据进行初步的处理，将数据的范围进行规定，规定数据的范围和尺寸，去除无关的数据；

步骤3:数据增广，对医学图像数据进行归一化，进行图像旋转、加噪声以及扩增处理；

步骤4:搭建多尺度特征提取器，进行算法模型构建，该特征提取器为cnn特征提取器，提取图像多尺度超像素特征；

步骤5:搭建度量学习器，计算图像特征之间的距离；

步骤6:搭建分类判断器，对网络层结构以及训练网络参数进行设计；

步骤7:进入模型训练过程，该模型训练过程涉及的多尺度关系网络是一个端到端可微分的结构，采用反向传播算法和自适应矩估计调整模型中参数的取值。

步骤8:完成输出；根据关系特征通过度量学习器学习后得到关系分数，所述关系分数即一次少样本图像分类任务的结果。

本发明中，搭建多尺度cnn特征提取器、度量学习器和分类判别器三个元学习器，同时对元学习器上度量标准的设计；在训练集的每个任务上，通过支持集距离度量学习目标集，最终学习得到一个度量标准，然后对于测试集的新任务，只需借助支持集少量样本，就可以快速对目标集进行正确分类。从广泛的任务空间中学习相似性度量，从而将过去的学习任务中提取的经验用于指导学习新任务，达到学会如何学习的目的。

本发明在未来医学疾病等计算机辅助诊断系统等领域有广阔的应用前景。

下面结合附图和实施例对本发明作进一步说明。

实施例1：将元学习应用到处理医学图像分类处理领域的少样本学习问题上，搭建训练网络，设置网络参数。训练网络支持少量医学数据样本就可以快速高精确度的分类；

前述中，超像素由一系列位置相邻且颜色、亮度或纹理特征相似的像素点组成的小区域；这些小区域大多保留进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息；超像素就是把一幅像素级(pixel-level)的图，划分成区域级(district-level)的图，是对基本信息元素进行的抽象。如图2所示，对每一块超像素，以该超像素中心为中心提取多个不同大小的图像斑块作为多尺度cnn模型的输入，多尺度特征提取器基于关系网络对每一块超像素对应的图像斑块采用多尺度cnn模型进行特征提取操作；如图3所示，具体网络层结构由两个卷积模块由卷积层、批标准化层、修正线性单元层以及最大池化层组成；其中卷积层由64个尺寸大小为3x3的过滤器组成,不进行零填充，且第一个卷积层的输入信号的通道数由输入图片的通道数决定；池化层的尺寸大小为2x2，不进行零填充；第三个和第四个卷积模块由卷积层、批标准化层以及修正线性单元层组成，其中卷积层由64个尺寸大小为3x3的过滤器组成，进行零填充。将图片输入特征提取器，得到尺寸大小为(w，m，64)。第二、三、四层特征图，其中m代表特征图的宽度和高度，64代表特征图的深度。然后将第二、三层特征图和第四层特征图在深度方向拼接得到尺寸大小(m，m，128)为多尺度特征。

前述中，度量学习器具体结构如图4所示，总共由两个卷积模块和两个全连接层组成。第一个和第二个卷积模块由卷积层、批标准化层、修芷线性单元层以及最大池化层组成。其中卷积层由64个尺寸大小为3x3或尺寸大小为2x2的过滤器组成，且第一个卷积层的输入信号的通道数由关系特征的通道数决定，这里取值128，的尺寸大小为2x2,进行零填充。关系特征通过多尺度学习器，得到尺寸大小为(n,n,64)的特征图，特征图被拉直后传入全连接层；第一层全连接层釆用relu激活函数，第二个全连接层釆用sigmoid激活函数。将关系特征输入度量学习器，最终会得到一个位于[0,1]的值，这个值代表着两个图片特征之间的相似度，这个相似度被称之为关系分数。在一次n-wayk-shot的少样本图像分类任务设置下,得到n²*b个相似度值；对于目标集中的每一个样本，取与支持集每类样本均值的关系分数中的最大值作为预测标签：最终我们得到n*b个目标集样本的分类标签。公式化多尺度关系网络，如下所示:

其中，i＝1,....k；j＝1,....b；n＝1,....n；m-1,....n；表示特征提取器；代表度量学习器；与表示支持集、目标集样本图片的原始像素特征；与表示支持集、目标集样本的多尺度特征；表示支持集的每类样本的原型；表示三维向量重接相减后取绝对值；表示关系分数表示目标集样本的预测标签。

前述中，所述网络参数设计包括lossfunction的设计、优化器选择以及优化算法设计，具有过程包括：

对于图像分类任务,一般选取交叉熵来计算预测的概率分布和期望的概率分布之间的距离。但是在多尺度关系网络中,度量学习器刻画的是两个图像之间的相似度,度量学习器最后一层网络只有一个输出节点。设计的lossfunction具体公式如下所示:

其中,代表特征提取器参数,代表度量学习器参数；argmin指使其后面式子达到最小值时和的取值；即支持集每个类别的标签,yn为目标集图片样本预测标签,表示相同匹配对相似度为1,不同匹配对相似度为0；由公式(1-4)计算获得；

前述中，所述训练过程中，一个epoch结束后，即完成epoch个不同任务训练后，计算验证集上的准确率，记录到目前为止验证集上最高准确率。连续多次epoch没达到最佳时，则可以认为准确率不再提高。当准确率不再提高或者准确率在逐步下降时，此时便可以停止迭代，输出最高的准确率所对应的模型，然后用这个模型进行测试。准确率的计算公式如下所示：

其中,episode代表任务数,一次任务即一次少样本图像分类任务；nt表不目标集上样本总数；代表目标集样本的预测标签值，代表目标集样本的标签值；b表示目标集每类图片的取值，即批量数；n表示一次少样本图像分类任务中样本类别数。

前述中，如图5所示；所述输出整体的过程包括，支持集和目标集到特征提取器，同时通过获得提取的支持集多尺度特征和目标集多尺度特征，得到关系特征，最后通过度量学习器得到关系分数。

本发明实施例中，实验条件为:intelcorei73770型cpu、内存16gbytes、nvidiageforcegtx0686gb型号的加速器以及pytorch0.4.0深度学习框架。

本发明实施例中，从广泛的任务空间中学习相似性度量,从而将过去的学习任务中提取的经验用于指导学习新任务,达到学会如何学习的目的。

本发明实施例中，图像斑块尺度越大，能够获取包含的上下文关系越多，提取的特征包含的上下文信息越多，越有助于提高元学习器的功能。