图像分割模型训练方法、图像分割方法、装置及计算设备与流程
本申请涉及计算机技术领域，尤其涉及人工智能技术领域，提供一种图像分割模型训练方法、图像分割方法、装置及计算设备。
背景技术：
随着人工智能技术的不断发展，人工智能的应用越来越广泛。大多是利用已训练的神经网络模型执行相应的图像处理任务，但是在执行图像处理任务之前，需要大量的样本对神经网络模型进行训练。
目前，通常神经网络模型初始的模型参数是随机的，训练过程中需要依赖大量与任务相关的样本数据调整神经网络模型的模型参数，训练过程中模型收敛速度较慢。
技术实现要素：
本申请实施例提供一种图像分割模型训练方法、图像分割方法、装置及计算设备，用于提高训练图像分割模型的效率。
第一方面，提供了一种图像分割模型训练方法，包括：
获取未标注的三维样本图像，将所述未标注的三维样本图像中各个像素点映射到第一立方体；其中，第一立方体包括多个切面；
对所述第一立方体进行切面旋转，获得第二立方体，其中，所述第一立方体的形状与第二立方体的形状相同，包含的图像信息不同；
将第二立方体输入图像复原模型，预测各个像素点的像素值，获得复原结果，当复原结果与第一立方体之间的误差满足预设误差时，获得第一图像分割模型。
第二方面，提供一种图像分割方法，包括：
获取待分割的目标三维图像；
将所述目标三维图像输入到目标图像分割模型中，其中，所述目标图像分割模型用于对所述待识别的目标三维图像进行分割，所述目标图像分割模型是的模型参数是根据第一图像分割模型的模型参数获得的，所述第一图像分割模型的模型参数是通过第二立方体对复原图像模型进行训练得到的，第二立方体是对映射有三维样本图像对应的第一立方体中进行切面旋转得到的，第二立方体与第一立方体的形状相同，包含的图像信息不同；
获得所述目标图像分割模型输出的所述目标三维图像的分割结果。
第三方面，提供一种图像分割模型训练方法，包括：
获取模块，用于获取未标注的三维样本图像，将所述未标注的三维样本图像中各个像素点映射到第一立方体；其中，所述第一立方体包括多个切面；
旋转模块，用于对所述第一立方体进行切面旋转，获得第二立方体，其中，所述第一立方体的形状与第二立方体的形状相同，包含的图像信息不同；
训练模块，用于将第二立方体输入图像复原模型，预测各个像素点的像素值，获得复原结果，当复原结果与所述目标立方体之间的误差满足预设误差时，获得第一图像分割模型。
在一种可能的实施例中，所述获取模块，还用于在获得第一图像分割模型之后，获取已标注的三维样本图像；
所述训练模块，还用于对所述第一图像分割模型进行训练，直到所述第一图像分割模型的损失满足预设损失，获得目标图像分割模型；其中，所述第一图像分割模型的损失用于表示输出的对已标注的三维样本图像进行分割的分割结果与标注的分割结果之间的误差。
在一种可能的实施例中，所述训练模块，还用于在获得第一图像分割模型之后，将所述第一图像分割模型的模型参数迁移到第二图像分割模型；其中，所述第二图像分割模型与所述图像复原模型具有相同结构的解码模块，具有相同结构的编码模块，具有不同的输出模块，所述图像复原模型的输出模块用于输出预测的各个像素点的像素值，所述第二图像分割模型的输出模块用于输出各个像素点所属的分类；
所述获取模块，还用于获取已标注的三维样本图像；
所述训练模块，还用于对所述第二图像分割模型进行训练，直到所述第二图像分割模型的损失满足预设损失，获得目标图像分割模型；其中，所述第二图像分割模型的损失用于表示已标注的三维样本图像进行分割的分割结果与真实分割结果之间的误差。
在一种可能的实施例中，所述第二图像分割模型中的输出模块与所述图像复原模型中的输出模块配置的激活函数不同。
在一种可能的实施例中，所述第一立方体中具有至少一个旋转轴，沿每一个旋转轴包括切面划分的，且与旋转轴垂直的多个层，旋转模块具体用于：
对垂直于至少一个旋转轴的部分层进行预设角度旋转，获得第二立方体。
在一种可能的实施例中，所述第一图像分割模型为对抗生成网络中的生成器，所述第一图像分割模型的损失是根据所述对抗生成网络中的生成器的生成损失，和所述对抗生成网络中的判别器的判别损失加权得到的。
在一种可能的实施例中，所述图像复原模型包括依次连接的第一编码模块、第一解码模块和第一输出模块，所述训练模块具体用于：
依次通过所述第一编码模块中的各个编码单元，对第二立方体进行特征提取，获得每个编码单元输出的第一特征图；
依次通过所述第一解码模块中各个解码单元，对各个第一特征图依次进行解码处理，获得各个解码单元输出的第二特征图；
通过所述第一输出模块，对各个第二特征图进行连接并预测各个像素点的像素值，获得复原结果；
调整图像复原模型的模型参数，直到复原结果与第一立方体之间的误差满足预设误差时，获得第一图像分割模型。
第四方面，提供一种图像分割装置，包括：
获取模块，用于获取待分割的目标三维图像；
输入模块，用于将所述目标三维图像输入到目标图像分割模型中，其中，所述目标图像分割模型用于对所述目标三维图像进行分割，所述目标图像分割模型是的模型参数是根据第一图像分割模型的模型参数获得的，所述第一图像分割模型的模型参数是通过第二立方体对复原图像模型进行训练得到的，第二立方体是对映射有三维样本图像对应的第一立方体中进行切面旋转得到的，第二立方体与第一立方体的形状相同，包含的图像信息不同；
获得模块，用于获得所述目标图像分割模型输出的所述目标三维图像的分割结果。
第五方面，提供一种计算设备，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面或第二方面中任一项所述的方法。
第六方面，提供一种可读存储介质，所述可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面或第二方面中任一项所述的方法。
由于本申请实施例采用上述技术方案，至少具有如下技术效果：
第一，本申请实施例中，可以利用图像复原过程对图像复原模型进行训练，使得模型能够在复原三维图像的过程中，深度学习三维图像的相关特征，使得训练完成后的模型可以利用学习到的模型参数，对三维图像实现分割，由于无需大量的标注样本对模型进行训练，因此相对可以提高模型训练的效率。且，由于是通过第二正方体对模型进行训练，因此减少了训练过程对标注的分割数据的需求。
第二，由于第二正方体是根据目标正方体切面旋转获得的，也就是说，第二正方体依旧包含三维图像的全部图像信息，使得在复原过程中，模型能够深度学习三维图像中的整体相关性，使得根据该图像复原模型得到的分割模型，在实际分割任务中分割效果更好。
第三，在实际图像分割过程中，三维图像经常性会出现的是图像局部畸变等问题，尤其是医疗三维图像分割领域，可能会由于内部器官的不规则分布或器官的不规则结构，导致拍摄出的三维图像局部畸变，而本申请实施例中对第一正方体进行局部打乱的方式，与实际图像分割这些局部畸变的三维图像的需求相契合，使得后续根据该复原过程得到的图像分割模型在实际应用过程中时，模型得到的分割结果更准确，模型泛化性更好。
第四，本申请实施例中，以类似于魔方旋转的方式对第一立方体进行切面旋转，获得图像复原模型的输入样本的方式更简单，扰乱方式的可操作性更强。且从一个目标正方体，可以获得多个扰乱后的第二正方体，利于扩充复原三维图像过程中的所需样本。
附图说明
图1为本申请实施例提供的一种图像分割模型训练设备的结构示意图；
图2为本申请实施例提供的一种图像分割模型训练方法的应用场景示意图；
图3为本申请实施例提供的一种图像分割模型训练方法的过程示意图；
图4为本申请实施例提供的裁剪三维样本图像的过程示例图；
图5为本申请实施例提供的三维样本图像映射到目标立方体的过程示例图；
图6为本申请实施例提供的旋转目标立方体中的部分层的过程示例图；
图7为本申请实施例提供的旋转目标立方体中部分单元的过程示例图；
图8为本申请实施例提供的图像复原模型的结构示意图；
图9为本申请实施例提供的一种图像分割模型训练方法的过程示意图；
图10为本申请实施例提供的预测的分割结果示意图；
图11为本申请实施例提供的一种图像分割模型训练方法的过程示意图；
图12为本申请实施例提供的一种图像分割方法的过程示意图；
图13为本申请实施例提供的一种显示分割信息的示意图；
图14为本申请实施例提供的一种图像分割模型训练装置的结构示意图；
图15为本申请实施例提供的一种图像分割装置的结构示意图；
图16为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。
应当说明的是，本申请实施例中的“至少一个”是指一个或多个，“多个”是指两个或两个以上。
为了便于本领域技术人员更好地理解本申请实施例，下面对本申请涉及的名词进行解释。
人工智能(artificialintelligence，ai)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(machinelearning，ml)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
计算机视觉技术(computervision，cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
磁共振成像(magneticresonanceimaging，mri)：医学影像的一种，利用磁共振现象从人体中获得电磁信号，并重建出人体信息。
电子计算机断层扫描(computedtomography，ct)：医学影像的一种，可利用x射线束对人体某部一定厚度的层面进行扫描，可用于多种疾病的检查。
多模态脑部肿瘤分割(multimodalbraintumorsegmentation，brats)，模态包括t1，t1-ir和t2-flair等，flair可以理解为流体衰减率。
卷积神经网络(convolutionalneuralnetwork，cnn)。
对抗生成网络(generativeadversarialnetwork，gan)：一种通过生成器与判别器不断对抗提升生成结果质量的网络结构，判别器又可以称为鉴别器。
第一立方体：也可以称为目标立方体，本申请实施例中的第一立方体可以理解为根据多个切面对立方体进行划分后得到的包括多个层的立方体，可以理解为三维图像本身可能是没所有所谓的层，但是由于映射到第一立方体之后，使得三维图像的信息被不同层所承载。沿着不同的方向可以包括一个或多个切面。第一立方体例如长方体，具体例如与魔方结构相同的正方体，本申请实施例中主要以正方体为例对第一立方体进行示例，为了便于描述，当第一立方体采用正方体时，也可以将该正方体称为第一正方体，或目标正方体，且在本申请实施例中的目标正方体也可以称为魔方，目标正方体的每层也可以称为魔方层。目标正方体的层数等同于魔方的阶数。目标正方体的大小可以是根据模型的输入尺寸要求设定的，或者根据经验设定。本申请实施例中，目标正方体的层的数量可以是指一个方向上的所有层，或者可以是所有方向上的所有层。以一个魔方为例，三阶魔方在6个面所对应的方向上均包括三层。将三维样本图像按照预设顺序映射到第一立方体各个层之后，第一立方体实际上可以理解为承载有图像信息的三维图像。预设顺序例如从左往右，从上往下的顺序等。
第二立方体：也可以称为扰乱状态(disarrangedstate)的第一立方体，是指对第一立方体进行切面旋转后形成的与第二立方体。切面旋转例如对第一立方体中部分或全部层沿着切面旋转。第一立方体和第二立方体的形状相同，包括的图像信息不同。形状相同可以理解为第一立方体和第二立方体呈现出的整体形状相同，例如，第一立方体为长方体，第二立方体也是长方体。第一立方体和第二立方体包括的图像信息不同可以理解为第一立方体承载的图像信息与第二立方体承载的图像信息不同，不同是指承载的图像信息部分或全部不同。图像信息可以泛指承载着立方体上的图像信息，比如可能是对应像素点的像素值不同，或者图像呈现的纹理、轮廓等信息不同，具体不做限制。例如沿着同样的参考方向，第一立方体中某个像素点与第二立方体中对应位置上的像素点呈现的像素值不同。对第一正方体进行切面旋转得的正方体，可以称为第二正方体，也可以称为扰乱正方体。
未标注的三维样本图像：可以理解为没有进行标注的三维样本图像，例如胰腺ct数据、brats数据等。
已标注的三维样本图像：可以理解为标注有分割结果的三维样本图像，例如标注有病变区域和非病变区域的三维样本图像，或者例如标注有不同器官部位的三维样本图像。标注的方式有很多种，例如针对不同类别，标注不同颜色，不同深浅的颜色，或者标注有分类框等。
胰腺ct数据：包括65个病患的胰腺ct图像，每个ct图像的分别率为512x512x181像素到512x512x466像素之间。
brats数据：包括7个脑部多模态mri图像。
下面对本申请实施例涉及的设计思想进行说明。
相关技术中，利用神经网络模型处理任务之前，会基于大量的样本对神经网络模型进行训练，得到神经网络模型的模型参数，但是这种训练模型的方式依赖于该任务对应的大量的样本，由于神经网络模型中的模型参数是随机初始化的，导致后续训练模型过程的收敛速度慢，训练模型的效率较低。
例如在三维图像分割领域，样本标注的难度较大，因此已标注的三维样本图像较少，如果要训练针对三维图像进行分割的图像分割模型，难度较大。
鉴于此，本申请发明人设计了一种图像分割模型训练方法，该方法将三维样本图像映射到第一正方体上，对第一正方体进行切面旋转，获得第二正方体，旋转之后，第二正方体相较于第一正方体的图像信息发生了变化，此时可以通过图像复原模型对第二正方体进行预测复原，获得复原结果，根据复原结果和第一立方体之间的误差，不断地调整图像复原模型的模型参数，当复原结果和第一立方体之间的误差满足预设误差时，获得训练完成的图像复原模型，也就是第一图像分割模型，该方法通过对三维样本图像进行复原训练，实现对图像分割模型的训练，降低图像分割模型训练过程对标注样本的依赖，且无需大量标注样本对模型进行训练，提高了图像分割模型训练过程的效率。且，该方法利用扰乱到复原过程，使得网络能够深度学习三维图像的相关性，使得第一图像分割模型在对三维图像进行分割时，图像分割模型能够基于三维图像的特征，对三维图像进行更准确地分割。
下面对本申请实施例涉及的应用场景进行介绍。
请参照图1，表示执行本申请实施例中的图像处理方法的图像分割模型训练设备的结构示意图，该图像分割模型训练设备100包括一个或多个输入设备101、一个或多个处理器102、一个或多个存储器103和一个或多个输出设备104。
输入设备101用于提供输入接口，以获取外界设备/用户输入的3d样本图像和目标模型参数等。在获得未标注的3d样本图像之后，输入设备101将该3d样本图像发送给处理器102，处理器102利用存储器103中存储的程序指令，根据三维样本图像训练图像复原模型，获得第一图像分割模型。
第一种情况：图像分割模型训练设备100通过该第一图像分割模型可以对三维图像进行分割。
第二种情况：在获得第一图像分割模型之后，可以对第一图像分割模型进行训练，此时仅需要少量的标注样本对第一图像分割模型进行微调，就能获得目标图像分割模型。
第三种情况：可以将第一图像分割模型的模型参数迁移到第二图像分割模型，对第二图像分割模型进行训练，从而获得更准确地的分割结果，这种情况下，第二图像分割模型和第一图像分割模型可以存在一些区别，以更满足图像分割的需求。
无论哪一种情况，在图像分割模型训练设备100获得第一图像分割模型或目标分割模型之后，可以将第一图像分割模型或目标图像分割模型发送给其它设备，其它设备可以利用该第一图像分割模型或目标图像分割模型执行图像分割任务。或者，图像分割模型训练设备100可以在获得第一图像分割模型或目标分割模型之后，利用该第一图像分割模型或目标分割模型对图像进行分割处理。
其中，输入设备101可以包括但不限于物理键盘、功能键、轨迹球、鼠标、触摸屏、操作杆等中的一种或多种。处理器102可以是一个中央处理单元(centralprocessingunit，cpu)，或者为数字处理单元等。存储器103可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；存储器103也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)、或者存储器103是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器103可以是上述存储器的组合。输出设备104例如显示器、扬声器和打印机等等。
在可能的实施例中，图像分割模型训练设备100可以是用户端设备，也可以是服务端设备。用户端设备可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(pcs)设备、个人导航设备、个人数字助理(pda)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，图像分割模型训练设备100能够支持任意类型的针对用户的接口(例如可穿戴设备)等。服务端设备可以是各种服务提供的服务器、大型计算设备等。服务器可以是一个或多个服务器。服务器也可以是实体服务器或虚拟服务器等。
在一种可能的应用场景中，请参照图2，表示一种应用场景，或者也可以表示一种医疗系统，该医疗系统中包括图像分割模型训练设备100、图像分割设备210和图像采集设备220，图2中是以图像分割模型训练设备100为服务器为例，图像分割设备210为个人计算机为例，图像采集设备220例如内窥镜、ct扫描仪器、摄像头等，本申请实施例不限制各个设备的实现方式。图像分割设备210和图像采集设备220之间可以通过网络进行通信，网络的类型可以任意的。
其中，图2中是以图像分割设备210和图像分割模型训练设备100是通过独立的设备实现为例，但是实际上图像分割设备210和图像分割模型训练设备100可以通过一个设备实现，也就是说，一个设备可以训练图像分割模型，使用训练出的图像分割模型对三维图像进行分割。
图像分割模型训练设备100可以根据未标注的三维样本图像，训练图像复原模型，得到第一图像分割模型，图像分割模型训练设备100可以利用第一图像分割模型进行图像分割，或者将第一图像分割模型的目标模型参数迁移到第二图像分割模型中，根据已标注的三维样本图像集训练初始任务模型，最后获得目标图像分割模型。
在获得目标任务模型之后，可以将目标任务模型发送给图像分割设备210。当图像采集设备220采集到需要进行分割的三维图像，例如ct图或mri图等，图像采集设备220可以将采集得到的三维图像发送给图像分割设备210，图像分割设备210对这些图像进行分割，输出分割结果，例如可以将图像分割为不同的器官部位，或者将图像分割为病变区域或正常区域等，以便于医生或者检查者观察自己的身体状态。
下面结合图2论述的应用场景，下面对本申请实施例涉及的图像分割模型训练方法的过程进行介绍。
下面先对前文提到的第一种情况的图像分割模型训练方法进行介绍。
请参照图3，该方法包括：
s301，构建第二正方体。
第二正方体可以参照前文论述的内容，此处不再赘述，构造过程具体可以包括如下步骤：
s1.1，将未标注的三维样本图像中各个像素点映射到第一正方体；
在用户发送启动模型训练指令之后，图像分割模型训练设备100可以根据该指令，从网络资源或者预存路径获取未标注的三维样本图像，将三维样本图像映射到第一正方体。
作为一种实施例，在将三维样本图像映射到第一正方体之前，可以对三维样本图像进行裁剪处理，获得预设尺寸的三维样本图像，以便于后续对预设尺寸的三维样本图像进行映射。这里的裁剪可以理解为裁剪掉三维样本图像中没有图像信息的区域。预设尺寸可以是由图像分割模型训练设备100预先设定的。
进一步的，为了避免裁剪掉有效图像信息，有效图像信息可以理解为图像非背景图像，因此图像分割模型训练设备100可以裁剪灰度值满足预设条件的部分。例如三维样本图像中的背景呈白色，图像分割模型训练设备100可以裁剪灰度值为255的区域。
在获得三维样本图像或者预设尺寸的三维样本图像之后，例如三维样本图像的尺寸可以为w*h*l像素，或者预设尺寸的三维样本图像的尺寸可以为w*h*l像素，第一正方体的边长为n，因此可以构建一个层数为
作为一种实施例，将三维样本图像映射到第一正方体的时候，可以沿着预设顺序进行映射，预设顺序可以是设定的任意顺序，例如将各个像素点从左至右，从上到下的顺序依次映射到第一正方体。
例如，请参照图4，表示裁剪三维样本图像的过程示例图，三维样本图像如图4中a所示，图4中的三维样本图像中的有效图像信息为图4中a所示的大脑切片400，对三维样本图像进行裁剪之后，获得如图4中b所示的满足预设尺寸的三维样本图像，该预设尺寸的三维样本图像中的大脑切片400的大小保持不变。
请参照图5，表示一种三维样本图像映射过程示例图，在获得图4中b所示的三维样本图像之后，也就是如图5中a所示的三维样本图像，可以将该三维样本图像映射到如图5中b中所示的4*4*4的第一正方体中，具体例如图5中a所示的像素1～像素6分别映射到图5中b所示的各个位置。
s1.2，对第一正方体中的部分层或全部层进行切面旋转，获得第二正方体。
图像分割模型训练设备100在将三维样本图像映射到第一正方体之后，相当于将三维样本图像中各个像素点划分到目标立方体的不同层。
a1：可以对第一正方体中的至少部分层进行切面旋转。
如前文论述的内容，第一正方体中包括多个层，可以对第一正方体中的部分层或者全部层旋转，这些要被旋转的层可以称为选中层。如果是对全部层进行旋转，全部层的旋转角度不能完全相同，一旦对所有层进行相同角度的旋转，旋转后的结果与目标立方体的图像信息其实并未发生变化，这样可能无法实现后续的目的。
可以是对选中层中的每个层均旋转同样的预设角度，也可以是针对选择中层中的不同层旋转不同的预设角度。对同一个层进行不同预设角度的旋转，可以得到不同的第二正方体，对不同的层进行旋转，也可以得到不同的第二正方体。部分层可以是指定的m个层，m为小于或等于第一正方体的所有层的数量。预设角度例如90°、180°或者270°等。
进一步的，对层进行旋转时，可以按照预设轴进行旋转，预设轴可以是与选中层相互垂直。预设轴可以是指定的第一正方体的n个轴。
本申请实施例中，对第一正方体的至少部分层进行旋转，旋转方式简单灵活，且能够构造出大量的第二正方体。
例如，请参照图6，表示对第一正方体进行旋转的示意图，第一正方体如图6中的a所示，对a中的第二层沿着o轴旋转90°，从而可以获得如图6中b1所示的第二正方体，对a中第二层沿着p轴旋转90°，可以获得如图6中b2所示的第二正方体，以此类推，可以获得如图6中b3，c1至c3所示的第二正方体，d1～d3所示的正方体。从各个第二正方体的外表面的展开图可以看出，每个第二正方体承载的图像信息是不相同的。
a2：可以对第一正方体中的至少部分或全部单元进行切面旋转，这里的单元包括的像素点少于层包括的像素点。
可以对第一正方体中的部分单元或者全部单元进行切面旋转，以改变目标立方体部分图像信息的分布。
例如，请参照图7，表示对第一正方体中的部分单元进行旋转的过程示意图，图7中a为第一正方体，当对第一正方体中第一像素点进行旋转，获得如图7中b所示的第二正方体，此时像素1的周围像素信息发生了变化。
作为一种实施例，当第一立方体采用其它形状的立方体时，要使得第二立方体与第一立方体的形状应当相同，可能针对第一立方体进行旋转时，旋转角度可能有所限制，具体旋转角度与第一立方体的具体形状相关。
s302，训练图像复原模型。
图像分割模型训练设备100在获得第二正方体之后，可以将第二正方体输入图像复原模型，图像复原模型输出对第二正方体进行复原后的复原结果，根据图像复原模型的损失，调整图像复原模型的模型参数，直到图像复原模型的损失满足预设损失，获得第一图像分割模型。
作为一种实施例，请参照图8，图像复原模型可以采用gan网络中的生成器810，在训练图像复原模型的过程中，可以引入判别器820。
生成器用于对扰乱图像进行预测复原，获得复原结果，判别器820用于区分第一正方体和复原结果，这里的复原结果与第二正方体的形状相同。
进一步的，图像复原模型的损失是对生成器810的生成损失与gan网络中的判别器820的判别损失进行加权得到的。生成损失可以理解为复原结果与目标立方体之间的误差，判别损失可以理解为复原结果以及第二立方体的判别结果之间的误差。
生成器810的损失具体表示如下：
l1(g)＝‖y-g(x)‖
其中，y表示目标立方体，g(x)表示生成器810的输出，也就是复原结果，l1又可以称为范数损失函数，也被称为最小绝对值偏差。
判别器的损失具体表示如下：
ladv(g,d)＝logd(x,y)+log(1-d(x,d(x))
其中，d(x,y)可以理解为判别器820对复原结果的判别结果，d(x)可以理解为判别器820对第二正方体的判别结果。
因此，图像复原模型的损失可以具体表示如下：
lz＝argminmax(ladv(g,d)+l1(g)
以减小生成损失的方向，增大判别器的判别损失的方向训练，使得图像复原模型的损失逐渐收敛。例如，当图像复原模型的损失小于或等于预设损失时，获得第一图像分割模型。
作为一种实施例，生成器810采用u-net网络，或者v-net网络，v-net网络相较于u-net网络引入残差模块，可以相对增加模型收敛的速度，下面以u-net网络为例，对生成器810的结构进行示例说明。
作为一种实施例，请继续参照图8，图像复原模型包括依次连接的第一编码模块811、第一解码模块812和第一输出模块813。
将第二正方体输入图像复原模型，依次通过第一编码模块811中的各个编码单元，对第二正方体进行特征提取，获得每个编码单元输出的第一特征图。依次通过第一解码模块812中各个解码单元，对各个第一特征图依次进行解码处理，获得各个解码单元输出的第二特征图。通过第一输出模块813，对各个第二特征图进行连接并预测各个像素点的像素值，获得复原结果。根据图像复原模型的损失，调整图像复原模型的模型参数，直到图像复原模型的损失满足预设损失时，获得第一图像分割模型。
请继续参照图8，第一编码模块811包括多个编码单元(又可以称为降采样单元)，第一解码模块812包括多个解码单元(又可以称为上采样单元)。
每个编码单元包括卷积层和激活层，卷积层可以为形状3*3*3，步长可以为1*1*1，激活层可以配置relu函数。每个解码单元包括依次连接的卷积层和反卷积层，卷积层可以采用3*3*3，步长为1*1*1的卷积层，反卷积层可以为形状为4*4*4，步长为2*2*2。第一输出模块包括卷积层和隐藏层，卷积层可以为形状为3*3*3，步长为1*1*1的卷积层，隐藏层可以配置tanh函数或softmax激活函数等。
例如图8中，a，b，c和d分别表示4个编码单元，s和z组成一个解码单元，f和g组成一个解码单元，h和i组成一个解码单元，j和k组成一个解码单元。第一输出模块813包括卷积层r和隐藏层m。
作为一种实施例，请继续参照图8，第一解码模块811和第一编码模块812之间还包括一卷积层，该卷积层的形状可以为3*3*3，步长为1*1*1。例如，参照图8中的卷积层e。
请继续参照图8，第一解码模块812包括依次连接的第一卷积层，第二卷积层，第一归一化层，第三卷积层，第二归一化层和第四卷积层。
其中，第一卷积层，第二卷积层和第三卷积层结构可以相同，具体可以为形状4*4*4，步长为2*2*2，可以配置修正relu函数。第四卷积层具体可以为的形状4*4*4，步长为1*1*1层，可以配置修正sigmoid函数。
图像分割模型训练设备100训练图像复原模型完成之后，获得第一图像分割模型，实际上第一图像分割模型的结构与图像复原模型的结构相同，但是模型参数不同。在本申请实施例中，第一图像分割模型等同于最终的目标图像分割模型，可以利用第一图像分割模型执行图像分割任务。
由于之前的训练是根据复原三维图像过程进行训练，而最终的图像分割模型是用在图像分割任务上，因此，可以通过已标注的三维样本图像对第一图像分割模型进行训练，获得目标图像分割模型，也就是前文论述的第二种情况。
下面对前文论述的第二种情况进行介绍。
请参照图9，图像分割模型训练过程包括：
s901，利用第二正方体训练图像复原模型；
s902，利用已标注的三维样本图像训练第一图像分割模型，获得目标图像分割模型。
第二正方体、图像复原模型、以及训练图像复原模型获得第一图像分割模型的内容可以参照前文论述的内容，此处不再赘述。
下面对s902进行具体介绍。
s2.1，获取已标注的三维样本图像。
三维样本图像可以是人工标注的，也可以是从网络资源上获取的，获取方式不作限定，标注三维样本图像的方式，也可以是任意的。
s2.2，将已标注的三维样本图像输入第一图像分割模型中，第一图像分割模型预测已标注的三维样本图像的分割结果。
第一图像分割模型的具体结构可以参照前文论述的内容，此处不再赘述。第一图像分割模型中的第一编码模块提取三维样本图像的图像特征，获得各个特征图，第一解码模块对这些特征图分别进行解码，通过第一输出模块连接各个解码结果，并预测各个像素点所属的分类，分类相同且邻近的像素点组成一个分割区域，依次类推，获得三维样本图像的分割结果。
作为一种实施例，在将已标注的三维样本图像输入第一图像分割模型之前，可以调整第一图像分割模型中层结构的配置，例如可以将第一图像分割模型中输出模块的隐藏层的激活函数配置为softmax和sigmoid，以便于第一图像分割模型更好地实现图像分割预测。
例如，请参照图10，表示一种预测的分割结果的示意图，三维样本图像继续以前文论述的大脑切片为例，第一图像分割模型预测出该大脑切片中的病变区域。
s2.3，调整第一图像分割模型的模型参数，直到第一图像分割模型的损失满足预设损失，获得目标图像分割模型。
第一图像分割模型的损失是用于表示第一图像分割模型预测的分割结果与标注的真实的分割结果之间的误差，具体损失的表达形式有多种，例如可以是预测的分割结果与标注的真实的分割结果的绝对差值等。当第一图像分割模型预测的分割结果与标注的真实的分割结果之间的误差较大时，调整第一图像分割模型的模型参数，以减小第一图像分割模型预测的分割结果与标注的真实的分割结果之间的误差，从而获得目标图像分割模型。
本申请实施例中，对第一图像分割模型进行分割训练，由于之前已经利用复原过程进行预训练过，因此分割训练过程只需依赖少量的分割样本，且在之前复原的基础上，再进行微调训练，可以获得更加分割结果更加准确的目标图像分割模型。
由于之前的训练是根据复原三维图像过程进行训练，而最终的图像分割模型是用在图像分割任务上，实际上，最终的图像分割模型与前文论述的图像复原模型结构可能并不完全相同，因此，在获得第一图像分割模型之后，可以将第一图像分割模型的模型参数迁移到第二图像分割模型，也就是前文论述的第三种情况。
下面对前文论述的第三种情况进行介绍。
请参照图11，该方法具体包括：
s1101，使用第二正方体训练图像复原模型。
第二正方体、图像复原模型、训练图像复原模型得到第一图像分割模型的内容可以参照前文论述的内容，此处不再赘述。
s1102，模型参数迁移到第二图像分割模型。
在获得第一图像分割模型之后，可以将第一图像分割模型的模型参数迁移到第二图像分割模型中。
将第一图像分割模型的模型参数迁移到第二图像分割模型中，可以理解为第二图像分割模型与第一图像分割模型共享模型参数，也可以理解为第二图像分割模型复用第一图像分割模型的模型参数，具体可以是将第二图像分割模型的初始化模型参数设置得与第一图像分割模型的模型参数相同。
作为一种实施例，第二图像分割模型与图像复原模型具有相同结构的解码模块，具有相同结构的编码模块，具有不同的输出模块，图像复原模型的输出模块用于输出预测的各个像素点的像素值分布，第二图像分割模型的输出模块用于输出各个像素点所属的分类。
第二图像分割模型与图像复原模型具有不同的输出模块可以是第二图像分割模型与图像复原模型的输出模块的层结构不同，也可以是第二图像分割模型与图像复原模型的层结构分布相同，但某些层配置的激活函数不同。
例如，第二图像分割模型包括第二编码模块、第二解码模块和第二输出模模块，第二编码模块的结构与第一图像分割模型中的第一编码模块的结构相同，第二解码模块的结构与第一图像分割模型中的第一编码模块的结构相同。第二输出模块的层结构与第一图像分割模型中的第一输出模块的结构相同，但是第一输出模块的隐藏层配置的激活函数可以为tanh，第二输出模块的隐藏层配置的激活函数为softmax，或者sigmoid。第二编码模块、第二解码模块以及第二输出模块的具体层结构示例可以参照前文论述的第一图像分割模型的层结构，此处不再赘述。
其中，tanh的输出的取值范围可以是任意的，可以用于输出预测的各个像素点的像素值，softmax用于输出各个像素点属于多个分类的概率，可以理解为用于输出多分类结果，sigmoid用于输出各个像素点属于两个分类的概率，可以理解为用于输出二分类结果。
在本申请实施例中，模型参数迁移具体包括将第一编码模块的模型参数迁移到第二编码模块，将第一解码模块的模型参数迁移到第二解码模块，将第一输出模块的模型参数迁移到第二输出模块。
s1103，训练第二图像分割模型。
在将第一图像分割模型的模型参数迁移到第二图像分割模型之后，可以通过已标注的三维样本图像对第二图像分割模型进行训练，直到第二图像分割模型的损失满足预设损失，获得图像目标分割模型。
第二图像分割模型的损失具体可以参照前文论述的第一图像分割模型的损失，调整第二图像分割模型的模型参数的内容也可以参照前文论述的调整第一图像分割模型的模型参数的内容，此处不再赘述。
本申请实施例中，可以先将第一图像分割模型的模型参数迁移到第二图像分割模型中，对第二图像分割模型进行训练，便于灵活地调整第二图像分割模型的结构，有利于构建更符合图像分割任务需求的图像分割模型。
基于同一发明构思，本申请实施例提供一种图像分割方法，请参照图12，该方法具体包括：
s1201，获取待分割的目标三维图像。
例如识别脑部病症时，可以通过图像采集设备220采集病人的脑部ct扫描三维图像，脑部ct扫描三维图像可以作为目标三维图像。
s1202，将目标三维图像输入到目标图像分割模型中。
图像分割设备210在获得目标三维图像之后，可以将目标三维图像输入目标图像分割模型中，这里的目标图像分割模型的模型参数是根据第一图像分割模型的模型参数获得的，这里的目标图像分割模型的模型参数具体来源方式可以参照前文论述的内容，此处不再赘述。
s1203，获得目标图像分割模型输出的目标三维图像的分割结果。
目标分割模型中的编码模块可以对目标三维图像进行特征提取，目标分割模型中的解码模块可以对目标三维图像进行解码处理，目标分割模型中的输出模块输出各个像素点属于各个分类的概率，获得该目标三维图像的分割结果。
例如，请参照图13，表示一种显示分割结果的界面图，图像分割设备210确定出目标三维图像的分割结果之后，可以输出并显示分割信息1301，分割信息1301可以包括确定出的分割结果，也就是图13中的初步诊断结果，还可以包括检查部位，以及病患等基本信息等，便于医生判断病因等。另外，还可以点击上一张控件1302，查看上一张的分割信息，还可以点击下一张控件1303，对下一张目标三维图像进行分割处理。还可以点击保存控件，保存该分割结果，或者点击打印控件，打印出检查结果。
基于同一发明构思，本申请实施例中提供一种图像分割模型训练装置，请参照图14，该图像分割模型训练装置1400相当于设置在前文论述的图像分割模型训练设备100中，该图像分割模型训练装置1400包括：
获取模块1401，用于获取未标注的三维样本图像，将未标注的三维样本图像中各个像素点映射到第一立方体；其中，第一立方体包括多个切面；
旋转模块1402，用于对第一立方体进行切面旋转，获得第二立方体，其中，第一立方体的形状与第二立方体的形状相同，包含的图像信息不同；
训练模块1403，用于将第二立方体输入图像复原模型，预测各个像素点的像素值，获得复原结果，当复原结果与目标立方体之间的误差满足预设误差时，获得第一图像分割模型。
在一种可能的实施例中，获取模块，还用于在获得第一图像分割模型之后，获取已标注的三维样本图像；
训练模块1403，还用于对第一图像分割模型进行训练，直到第一图像分割模型的损失满足预设损失，获得目标图像分割模型；其中，第一图像分割模型的损失用于表示输出的对已标注的三维样本图像进行分割的分割结果与标注的分割结果之间的误差。
在一种可能的实施例中，训练模块1403，还用于在获得第一图像分割模型之后，将第一图像分割模型的模型参数迁移到第二图像分割模型；其中，第二图像分割模型与图像复原模型具有相同结构的解码模块，具有相同结构的编码模块，具有不同的输出模块，图像复原模型的输出模块用于输出预测的各个像素点的像素值，第二图像分割模型的输出模块用于输出各个像素点所属的分类；
获取模块1401，还用于获取已标注的三维样本图像；
训练模块1403，还用于对第二图像分割模型进行训练，直到第二图像分割模型的损失满足预设损失，获得目标图像分割模型；其中，第二图像分割模型的损失用于表示已标注的三维样本图像进行分割的分割结果与真实分割结果之间的误差。
在一种可能的实施例中，第二图像分割模型中的输出模块与图像复原模型中的输出模块配置的激活函数不同。
在一种可能的实施例中，第一立方体中具有至少一个旋转轴，沿每一个旋转轴包括切面划分的，且与旋转轴垂直的多个层，旋转模块具体用于：
对垂直于至少一个旋转轴的部分层进行预设角度旋转，获得第二立方体。
在一种可能的实施例中，第一图像分割模型为对抗生成网络中的生成器，第一图像分割模型的损失是根据对抗生成网络中的生成器的生成损失，和对抗生成网络中的判别器的判别损失加权得到的。
在一种可能的实施例中，图像复原模型包括依次连接的第一编码模块、第一解码模块和第一输出模块，训练模块1403具体用于：
依次通过第一编码模块中的各个编码单元，对第二立方体进行特征提取，获得每个编码单元输出的第一特征图；
依次通过第一解码模块中各个解码单元，对各个第一特征图依次进行解码处理，获得各个解码单元输出的第二特征图；
通过第一输出模块，对各个第二特征图进行连接并预测各个像素点的像素值，获得复原结果；
调整图像复原模型的模型参数，直到复原结果与第一立方体之间的误差满足预设误差时，获得第一图像分割模型。
基于同一发明构思，本申请实施例中提供一种图像分割装置，请参照图15，该装置1500相当于设置在前文论述的图像分割设备210中，该装置1500包括：
获取模块1501，用于获取待分割的目标三维图像；
输入模块1502，用于将目标三维图像输入到目标图像分割模型中，其中，目标图像分割模型用于对目标三维图像进行分割，目标图像分割模型是的模型参数是根据第一图像分割模型的模型参数获得的，第一图像分割模型的模型参数是通过第二立方体对复原图像模型进行训练得到的，第二立方体是对映射有三维样本图像对应的第一立方体中进行切面旋转得到的，第二立方体与第一立方体的形状相同，包含的图像信息不同；
获得模块1503，获得目标图像分割模型输出的目标三维图像的分割结果。
基于同一发明构思，本申请实施例提供一种计算设备，请参照图16，该计算设备1600以通用计算设备的形式表现。计算设备1600的组件可以包括但不限于：至少一个处理器1610、至少一个存储器1620、连接不同系统组件(包括处理器1610和存储器1620)的总线1630。
总线1630表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器1620可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)1621和/或高速缓存存储器1622，还可以进一步包括只读存储器(rom)1623。
存储器1620还可以包括具有一组(至少一个)程序模块1325的程序/实用工具1626，这样的程序模块1625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。处理器1610用于执行存储器1620存储的程序指令等实现前文论述的图像分割模型训练方法或图像分割方法。或者处理器1610用于执行存储器1620存储的程序指令实现前文论述的图像分割模型训练设备100或者图像分割设备210的功能。
计算设备1600也可以与一个或多个外部设备1640(例如键盘、指向设备等)通信，还可与一个或者多个使得终端设备能与计算设备1600交互的设备通信，和/或与使得该后台服务器130能与一个或多个其它设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(i/o)接口1650进行。并且，计算设备1600还可以通过网络适配器1660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1660通过总线1630与用于计算设备1600的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备1600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行前文论述的图像分割模型训练方法或图像分割方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！