多尺度表征优化的医学影像分割识别系统、终端及存储介质

本发明属于医学影像计算机视觉领域的一种图像处理系统、终端及存储介质，具体是涉及了一种多尺度表征优化的医学影像分割识别系统、终端及存储介质。

背景技术：

在医学影像领域，至关重要的一步是准确分割生物医学目标，例如器官或组织，以进行诊断，治疗计划，预后等。医学专家的手动分割耗时费力，需要高度的专业知识。因此，构建准确稳定的自动分割系统，可以有效减轻医生的负担，并更快地为患者进行治疗。

除了传统的机器学习的方法外，越来越多的基于深度学习的方法在医学分割中取得了出色的表现，其中基于卷积神经网络(cnn,convolutionneuralnetwork)的方法是目前性能最好的医学分割模型。尽管这些网络大大提高了医学影像分割的性能，但它们都依赖于大量带有注释的医学数据，以进行全监督训练。由于注释医学影像十分耗费时间资源，并且需要高度的生物医学专业知识，因此构建大规模的有注释的医学影像数据集是一项艰巨的任务。相比于数据的注释，大量的未注释的医学数据更容易获得。

新兴的自监督学习(ssl，self-supervisedlearning)作为一种无需人工注释的方法，有望利用大量的无注释的医学影像进行表征学习(representationlearning)。目前提出的自监督表征学习方法，大都从图像分类任务中学习全局表征(globalrepresentation)，并不适用于需要进行像素级分类的医学影像分割。而且单一的全局表征，邻近表征(localrepresentation)或者密集像素表征(denserepresentation)，无法满足医学影像中器官或者组织的尺度的多样性对表征层次的需求。因此，本发明提出了一种用于医学影像分割的多尺度表征学习技术，能够同时学习从全局到密集像素的多个尺度的视觉表征以提升医学影像分割性能。

技术实现要素：

针对现有技术只学习单一全局表征的缺陷，以及医学影像分割对多层次视觉特征的需要，本发明提出了一种多尺度表征优化的医学影像分割识别系统、终端和存储介质，利用学习到更有效的多尺度表征，提升图像分割性能。

本发明采用的技术方案如下：

表征医学影像预处理模块，用于对输入单通道表征医学影像数据进行预处理，如对应值域截断及正态分布化。输入单通道表征医学影像数据，输出归一化表征医学影像；单通道表征医学影像数据是指无注释的医学影像，注释即为标签，例如可以为ct图像。

分割识别医学影像预处理模块，用于对输入单通道分割识别医学影像数据进行预处理，如对应值域截断及正态分布化。输入单通道分割识别医学影像数据，输出归一化分割识别医学影像；单通道分割识别医学影像数据是指有注释的医学影像，例如可以为ct图像。

多尺度表征学习深度卷积神经网络模块，包含了用于多尺度视觉表征学习的深度卷积神经网络及其损失函数，用于多尺度表征的网络权值学习，输入为归一化表征医学影像，经深度卷积神经网络处理后输出为网络初始权值；

医学影像分割识别网络模块，包含了分割网络，用于分割网络的训练和对待测输入图像的分割结果预测，对待测输入图像输入到分割网络中预测获得了图像的分割结果，所述的分割网络是采用了训练好的深度卷积神经网络进行初始化以及训练集的医学影像和分割注释预先输入进行训练获得。

当医学影像分割系统处于训练模式时，输入为归一化分割识别医学影像、分割注释、网络初始权值，无输出；

当医学影像分割系统处于识别模式时，输入为归一化分割识别医学影像，输出为医学目标分割识别结果。

可选的，所述的深度卷积神经网络，如图2所示，由视图生成模块(viewgenerationmodule)、两个拓扑结构相同的孪生网络(siamesenetworking)、嵌入预采样模块、预测层和表征一致性模块(representationconsistencymodule)组成；所述的医学影像输入到视图生成模块处理生成两个有重叠部分的第一视图xa和第一视图xb，以及第一视图xa和第一视图xb之间的位置对应信息第一视图xa和第一视图xb分别输入第一分支和第二分支中，第一分支由孪生网络和预测层依次连接构成，第二分支仅由孪生网络构成，位置对应信息经嵌入预采样模块处理后输入到两个分支的孪生网络中，第一分支和第二分支的输出经表征一致性模块后处理输出损失值。

可选的，如图3所示，所述的视图生成模块中，提出了画布匹配处理计算视图间的位置对应；画布匹配处理生成初始的坐标矩阵cori，通过数据增强的空间变换函数得到变换后的坐标矩阵ca和cb，通过坐标插值得到第一视图xa和第一视图xb；将坐标矩阵ca和cb映射到空白画布b上得到第一视图xa和第一视图xb的画布，两者间位操作得到位置对应信息画布匹配处理的具体过程如下：

首先，构建初始化坐标矩阵cori，坐标矩阵cori的大小与视图的大小一致，均为(hp，wp)，hp，wp分别表示第一视图xa和第一视图xb的高度和宽度。

坐标矩阵cori中，每个元素包括了(a，b)，其中a为第一元素参数，b为第二元素参数，坐标矩阵cori各列中的第一元素参数a从左到右以整数递增，同一列中各元素的第一元素参数a均相同；坐标矩阵cori各行中的第二元素参数b从上到下以整数递增，同一行中各元素的第二元素参数b均相同；且坐标矩阵cori中心位置的元素为(0，0)。

按照以下公式随机生成空间变换函数，对坐标矩阵cori进行空间变换得到两个视图的坐标矩阵：

其中，表示生成第一视图xa的第一空间变换函数；表示生成第一视图xb的第二空间变换函数；ca、cb表示第一视图xa和第一视图xb的坐标矩阵；

所述的空间变换函数为随机生成，从任意角度旋转、翻转、缩放、弹性形变中选择一个或者多个的组合。第一空间变换函数和第二空间变换函数可以相同，也可以不同。

然后，将两个视图的坐标矩阵在原图像上做最近邻插值映射得到两个增强视图，在空白画布上做坐标映射和位运算分别得到第一视图xa和第一视图xb：

xa＝map(ca，x)，xb＝map(cb，x)

其中，map()表示坐标映射函数，ci表示视图xi的坐标矩阵，i＝a或者b，x表示输入图像；

然后按照以下公式针对第一视图xa和第一视图xb的坐标矩阵处理获得位置对应信息

其中，round()表示取整操作，表示视图xi的坐标矩阵的高度坐标向量，表示视图xi的坐标矩阵的宽度坐标向量，表示从零到hp×hw的自然数向量，ba，bb分别表示第一视图xa和第一视图xb的画布，bi表示视图xi的画布，bool()表示布尔操作，cat()表示拼接操作，l表示位置对应信息；表示视图xi的画布上坐标位置为的像素点；cat(ba，bb)[bool(ba&bb)]表示将画布ba和画布ba的相交部分进行提取操作。

采用上述画布匹配处理对任意复杂的增强变换，如旋转，弹性形变，都能准确地获得视图间的位置对应。

可选的，所述的孪生网络包括依次连接的编码器、解码器和投影层，由编码器和解码器构成了u-net网络；对应医学影像目标的尺寸多样性，编码器和解码器把尺寸对应为尺度阶段，包括了多个依次连接的尺度阶段，每个尺度阶段均由连续两个卷积块构成，视图输入到第一个尺度阶段，经各个尺度阶段输出各自的特征图；编码器中，各个尺度阶段输出特征图的分辨率尺度逐渐减小，可以是逐渐减半；解码器中，各个尺度阶段输出特征图的分辨率尺度逐渐增大，可以是逐渐翻倍，各个尺度阶段接收编码器中输出分辨率尺度相同的特征图；将解码器各个尺度阶段输出的所有特征图中的最小分辨率尺度的特征图再经全局池化操作后获得全局特征图；全局特征图和解码器原有各个尺度阶段输出的所有特征图均作为投影前特征图；投影层d的数量和投影前特征图的数量保持一致，每个投影层由连续三个卷积块连接构成；预测层的数量和孪生网络中投影层d的数量保持一致，每个预测层由连续两个卷积块连接构成，三个卷积块卷积核相同；每个所述卷积块均由3d卷积层、归一化层、激活层依次连接构成。

目前技术采用的全局表征，最深的卷积之后采用了全局平均池化，舍弃空间信息，得到单一向量或嵌入作为全局表征，对于分割之类的对空间信息敏感的任务具有局限性。并且医学影像中医学目标如器官、组织的尺度大小跨度很广的特性，如食道尺度小，肾脏次之，胃占据很大的尺度范围，邻近或密集的单个尺度的表征不够完备，需要根据各个器官的具体大小自适应地对应其恰当尺度。本发明提出的多尺度表征，组合从全局到密集的层层递进的表征学习，结合各层次的空间信息以提升分割性能。

可选的，所述的孪生网络中加入了嵌入预采样模块进行预采样处理；嵌入预采样模块根据位置对应信息在第一分支和第二分支的孪生网络获得的投影前特征图中，采用截取位置对应信息所在的区域，再输入到各自对应的投影层中。嵌入预采样模块的具体过程如下：

对位置对应信息进行随机采样，选择∈对匹配位置：

p′a，i＝samp(pa，i，gca)，r′b，i＝samp(rb，1，gcb)

其中gc表示采样后n个样本的网格坐标(gridcoordinate)，random.choice()表示随机选择函数，下标对应两个视图。samp()函数代表按网格坐标，通过双线性插值在特征图上采样。得到的采样后的预测表征p′a，i和投影表征r′b，i的张量尺寸为[b，2048，1，1，n]。嵌入预采样模块通过在投影层前按照位置对应信息l提前进行采样，避免在投影层和预测层表征运算产生超大张量，提升训练效率。

可选的，所述的深度卷积神经网络的损失函数包含了表征一致性模块，以损失值最小化进行训练；表征一致性模块中，将第一分支中投影前特征图经投影层、预测层处理输出的多尺度表征的各个特征图均作为第一预测图p0～pn-1、pg，将第二分支中投影前特征图经投影层处理输出的多尺度表征各个特征图均作为第二预测图r0～rn-1、rg；表征一致性模块的具体计算过程如下：

将全局特征图对应的第一预测图pg和全局特征图对应的第二预测图rg进行余弦相似度计算处理获得全局损失lg：

其中，||||2表示求取l2范数操作；

针对除了全局特征图对应的第一预测图pg以外的每一个第一预测图p0～pn-1，均将该第一预测图分别和除了全局特征图对应的第二预测图rg以外的各个第二预测图r0～rn-1，为消除相同医学影像目标存在尺寸大小不一的状况，进行余弦相似度处理获得相似度损失li，j：

{si，0，si，1，...，si，n-1}＝softmax(k·{-li，o，-li，1，...，-li，n-1})

其中，k表示调整幅值的参数；{-li，0，-li，1，…，-li，n-1}表示各尺度的相似度损失集合，{si，0，si，1，…，si，n-1}表示各尺度损失的柔性最大值权重集合；softmax()表示柔性最大值运算。；

然后利用与各个第二预测图对应的相似度损失li，j处理获得柔性最大值权重si，j，将各个第二预测图对应的相似度损失li，j通过柔性最大值权重si，j进行加权求和获得该第一预测图的局部损失，最后将所有第一预测图的局部损失lo～ln-1和全局损失lg进行相加获得总损失。在梯度反向时，相似度损失将通过停止梯度(stop-grad)操作，截断第二分支梯度的回传。

采用上述表征一致性模块，根据单通道医学影像成像仪器差异导致相同医学目标也存在尺度大小不一的特性，通过跨尺度特征层计算相似度，使得不同尺度的表征间自动匹配。对每个尺度的预测表征，都能匹配其最佳的投影表征尺度，最终模型有学习尺度不变性表征的能力。通过多尺度进行表征，表征一致性损失进行训练，本发明的神经网络对没有注释的医学影像也能学习到丰富的视觉表征。

进一步的，所述的表征一致性模块提供sgd优化器来进行网络训练的优化。

本发明还提供了一种终端设备，所述终端设备包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现所述基于多尺度表征学习优化的医学影像分割系统。

本发明还提供了一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现所述基于多尺度表征学习优化的医学影像分割系统。

与现有技术相比，本发明所具有的有益效果包括：

本发明提出的画布匹配处理，能计算复杂的位置对应关系，使得视图生成可以使用更复杂的增强方式：对任意复杂的增强变换，如旋转，弹性形变，都能准确地获得视图间的位置对应。

本发明提出的嵌入预采样模块，避免了投影层和预测层中产生过大的张量，以进行高效且有效的训练：通过在投影层前，按照位置对应信息提前进行采样，避免在投影层和预测层中较大的隐藏层维度带来的超大张量，使得训练过程更有效率地进行。

本发明提出的表征一致性模块，使得多尺度表征间自动匹配，保证了表征的尺度不变性：通过余弦相似度的柔性极大值权重，为每个尺度的预测表征选择其最佳匹配尺度的投影表征。

本发明利用深度卷积神经网络提取不同大小和空间尺度的表征，相比现有技术的全局表征或者单一尺度表征，在医学影像分割任务上更有效：目前技术采用的全局表征对于分割任务具有局限性，并且医学影像中目标尺寸具有多样性，邻近或密集的单个尺度的表征不够完备。本发明提出的多尺度表征，组合从全局到密集的层层递进的表征学习，结合各层次的空间信息以提升分割性能。

综合而言，本发明组合从全局到密集的层层递进的表征学习，结合各层次空间信息以提升分割性能，在医学影像分割任务上更有效，避免了投影层和预测层中产生过大的张量，保证了表征尺度不变性。

附图说明

图1是本发明提出的方法的使用流程图。

图2是本发明提出的深度卷积神经网络的结构图。

图3是本发明提出的画布匹配处理的示意图。

图4是本发明提出的嵌入预采样模块的效果对比图。

图5是本发明提出的表征一致性模块的运算流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步详细地说明。

本发明的实施例及其实施过程如下：

如图1所示，本发明的基于多尺度表征学习优化的医学影像分割系统的具体实现如下所述：

表征医学影像预处理模块：输入单通道表征医学影像数据进行预处理，对于原始的输入医学影像三维ct图x，原始大小(d,h,w)为(100～,512,512)，即面内长宽512×512像素，面外切片数100左右。由于单通道医学影像成像如ct设备通过x射线衰减率进行成像的特点，其像素/体素值有效波动范围在-1000到325之间。将ct图的像素/体素值截断在-1000到325间，并标准化为正态分布的范围内，输出归一化表征医学影像。

分割识别医学影像预处理模块，用于对输入单通道分割识别医学影像数据进行预处理，输入尺寸及值域范围、功输、出均与表征医学影像预处理模块相同，输出归一化分割识别医学影像。

多尺度表征学习深度卷积神经网络模块，用于多尺度表征的网络权值学习。

医学影像分割识别网络模块，用于分割网络的训练和对待测输入图像的分割结果预测。先将模块设置为训练模式，采用了训练好的深度卷积神经网络进行初始化，以及训练集的医学影像和分割注释预先输入进行训练获得分割网络。再将模块设置成识别模式，对待测输入图像输入到分割模型中预测获得了图像的分割结果。

本实施例中，深度卷积神经网络的孪生网络和预测层的具体结构如下：

1)应用的u-net网络为3d版本，即采用3d卷积进行特征提取。该u-net共有6种尺度阶段，从原始输入切块尺寸[48×192×192]到最低[6×6×6]，分别以下标0至5表示，阶段间的步长为[1，2，2]、[2,2,2]、[2,2,2]、[2,2,2]、[1,2,2]，每个阶段采用的卷积核为[1，3，3]、[3，3，3]、[3，3，3]、[3，3，3]、[3，3，3]。设计阶段0的基础通道数为32，并按阶段增加依次乘2，最高通道数截止于320，即32、64、128、256、320、320。

2)每个卷积块由卷积层-归一化层-激活函数层堆叠而成，其中归一化层采用实例归一化(instancenormalization)，激活函数采用负斜率为0.01的leakyrelu：

3)采用(1×1×1)卷积核的3d卷积块构建投影层。投影层卷积块结构与u-net中卷积块类似，采用三层卷积块堆叠，并去除最后卷积块的leakyrelu激活函数层以保留投影表征的0值对称性。

4)预测层的基本卷积块与投影层一致，通过(1×1×1)卷积核的3d卷积狗酱。预测层由两层卷积块堆叠组成，最后一层卷积块只含有卷积层，去除归一化层与激活函数层，以确保训练过程的稳定和输出预测表征空间的0值对称性。

在本实施例中，视图生成模块采用的画布匹配处理的具体示意如图3(a)所示，具体如下：

1)构建初始化坐标矩阵cori，坐标矩阵cori的大小与视图的大小一致，本实施例为(192，192)。具体实施中，坐标矩阵cori，左上角(-96，-96)，右下角(+96，+96)，左下角(+96，-96)，右上角(-96，+96)。

2)图示为二维形式的画布匹配处理，可以相同方式扩展至三维形式。本实施例中，面外的深度维的位置对应关系，可通过对任一参考面的偏移值da，db计算得到，如图3(b)所示。

3)经过视图生成模块后，增强为两个(48，192，192)的重叠部分大于0.2的视图，和对应的位置关系信息。

在本实施例中，孪生网络中使用的嵌入预采样模块的效果对比如图4所示，具体如下：

1)由于投影层与预测层的隐藏层维度nhid较大，本实施例为2048。所以如果在表征计算完毕后再进行训练样本采样，如图4(a)所示，会在分辨率较大的尺度上会产生过大的张量，如r0上产生48×192×192×2048×4bytes＝13.5gb大小的张量，超出一般运算设备的显存限制。嵌入预采样模块提前采样nsamp个样本点，本实施例为32。按位置对应信息将样本点映射至u-net的输出上，得到预采样后的嵌入。

2)此后运算过程涉及的张量大小远远小于原过程，如预采样后r0′大小为1×1×32×2048×4bytes＝128kb。采用嵌入预采样获得同样的采样后的输出结果，运算过程大大缩减，使得训练顺利高效进行。

在本实施例中，表征一致性模块的计算过程如图5所示，具体如下：

1)具体实施中，第一预测图包括{pg，p4，p3，p2，p1，p0}，第二预测图包括{rg，r4，r3，r2，r1，r0}。

2)余弦相似度计算柔性最大值权值集合中，调整幅值参数k具体实施为5：

{si，0，si，1，…，si，n-1}＝softmax(5·{-li，0，-li，1，…，-li，n-1))

在本实施例中，所述的表征一致性模块提供sgd优化器具体系数选择如下：

1)训练采用带牛顿动量(nesterovmomentum)和权值衰减(weightdecay)的随机梯度下降sgd(stochasticgradientdescent)作为优化器，动量参数momentum＝0.999，权值衰减参数为3e-5。

2)网络训练共200个epoch，每个epoch包括250次迭代。初始学习率lr(learningrate)设置为0.01，并采用poly学习率衰减策略：

其中ep为当前epoch数，lrep为当前epoch所采用的学习率，ρ为poly衰减系数，具体实施中取0.9，即学习率衰减的速率随着epoch数增大由慢变快。

本领域普通技术人员可以理解实现上述实施例系统中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各系统的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例仅用于说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解；其依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。