图像分割模型的训练方法、图像分割方法、装置及设备与流程
本申请涉及图像分割领域，特别涉及一种图像分割模型的训练方法、图像分割方法、装置及设备。
背景技术：
医学图像分割用于将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床医疗和病理学研究提供可靠的依据。在进行医学图像分割时，需要明确分割目标。“明确分割目标”即是对病灶区域提取，并对各个组织或各个器官进行分割。
医学图像中可能包含多种类型的待分割区域，如人体器官中的组织、血管等。计算机设备通过调用相关的图像分割网络对医学图像进行分割。以图像分割网络是全卷积神经网络为例，利用全卷积神经网络对医学图像进行分割，能够得到分割后的各个区域。全卷积神经网络通过标注了分割区域的样本图像进行训练，由于分割区域的边界不明显或部分容积效应（partialvolumeeffect）等因素，分割区域的边界通常比较难以标注，即使通过专业医护人员进行标注，也很难对分割区域的边界进准确标注，这为获得大量的样本图像增加了难度。
在缺少训练样本图像时，采用较少样本图像训练得到的图像分割网络对医学图像分割后得到的各个分割区域的准确性较差。
技术实现要素：
本申请实施例提供了一种图像分割模型的训练方法、图像分割方法、装置及设备，在不增加样本图像数量的前提下，使得训练后的图像分割模型能够准确将分割区域从输入图像中分割出来。所述技术方案如下述方案所示。
根据本申请的一个方面，提供了一种图像分割模型的训练方法，所述方法包括如下步骤。
获取样本图像，所述样本图像是具有标注区域的图像；
对所述样本图像进行超像素划分，得到至少两个超像素区域；
根据所述样本图像中的像素是否属于所述标注区域，得到所述像素的硬标签；
根据所述像素所属的超像素区域和所述像素的硬标签，得到所述像素的软标签，所述软标签用于表征所述像素属于所述标注区域的伪概率；
根据所述像素的硬标签和所述像素的软标签，训练所述图像分割模型。
根据本申请的另一方面，提供了一种图像分割方法，所述方法包括如下步骤。
获取输入图像，所述输入图像包括分割区域；
将所述输入图像输入至训练后的图像分割模型中，得到所述输入图像对应的预测概率图，所述图像分割模型是根据样本图像的像素的硬标签和软标签训练得到的，所述样本图像是具有标注区域且经过超像素划分的图像，所述硬标签用于指示所述像素属于所述标注区域，所述软标签是由所述像素所属的超像素区域和所述像素的硬标签得到的，所述预测概率图用于表征所述输入图像中的像素属于所述分割区域的预测概率；
根据所述预测概率图确定所述输入图像的分割结果。
根据本申请的另一方面，提供了一种图像分割模型的训练装置，所述装置包括如下部分。
第一获取模块，用于获取样本图像，所述样本图像是具有标注区域的图像；
像素划分模块，用于对所述样本图像进行超像素划分，得到至少两个超像素区域；
标签确定模块，用于根据所述样本图像中的像素是否属于所述标注区域，得到所述像素的硬标签；
所述标签确定模块，用于根据所述像素所属的超像素区域和所述像素的硬标签，得到所述像素的软标签，所述软标签用于表征所述像素属于所述标注区域的伪概率；
训练模块，用于根据所述像素的硬标签和所述像素的软标签，训练所述图像分割模型。
根据本申请的另一方面，提供了一种图像分割的装置，所述装置包括如下部分。
第二获取模块，用于获取输入图像，所述输入图像包括分割区域；
图像分割模型，用于对所述输入图像进行分割，得到所述输入图像对应的预测概率图，所述图像分割模型是根据样本图像的像素的硬标签和软标签训练得到的，所述样本图像是具有标注区域且经过超像素划分的图像，所述硬标签用于指示所述像素属于所述标注区域，所述软标签是由所述像素所属的超像素区域和所述像素的硬标签得到的，所述预测概率图用于表征所述输入图像中的像素属于所述分割区域的预测概率；根据所述预测概率图确定所述输入图像的分割结果。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像分割模型的训练方法以及如上方面所述的图像分割方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像分割模型的训练方法以及如上方面所述的图像分割方法。
本申请实施例提供的技术方案带来的有益效果至少包括如下效果。
通过对样本图像进行超像素划分，以及通过获得样本图像中的像素对应的硬标签，根据像素所属的超像素区域和像素的硬标签得到像素的软标签，通过软标签对像素所属区域的不确定性进行度量，能够得到多种标注区域，利用像素的硬标签和软标签对图像分割模型进行训练，使得训练后的图像分割模型能够准确地分割出输入图像中的分割区域，同时提高图像分割模型的训练效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的图像分割模型的训练流程的框架图;
图2是本申请一个示例性实施例提供的计算机系统的框图；
图3是本申请一个示例性实施例提供的图像分割模型的训练方法的流程图；
图4是本申请一个示例性实施例提供的样本图像的超像素区域的示意图；
图5是本申请另一个示例性实施例提供的图像分割模型的训练方法的流程图；
图6是本申请一个示例性实施例提供的样本图像的标注区域的示意图；
图7是本申请一个示例性实施例提供的超像素区域的部分区域与标注区域存在交集像素的示意图；
图8是本申请一个示例性实施例提供的超像素区域的全部区域与标注区域存在交集像素的示意图；
图9是本申请一个示例性实施例提供的超像素区域的与标注区域不存在交集像素的示意图；
图10是本申请一个示例性实施例提供的图像分割方法的流程图；
图11是本申请一个示例性实施例提供的基于不同的标签软化方式对图像分割效果的影响对比图；
图12是本申请一个示例性实施例提供的基于不同的第二超参数下对图像分割效果的影响对比图；
图13是本申请一个示例性实施例提供的图像分割模型的训练装置的框图；
图14是本申请一个示例性实施例提供的图像分割装置的框图；
图15是本申请一个示例性实施例提供的服务器的装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行介绍。
超像素（superpixel）：是指图像中具有相似特征的相邻像素所组成的区域。比如，将具有相似纹理、颜色、亮度等特征的相邻像素构成一个超像素区域，超像素区域中包括至少一种类型的像素，超像素区域通常具有不规则形状。通过对图像进行超像素划分，使得图像由像素级（pixel-level）的图像转化为区域级（district-level）的图像，即图像中全部像素构成各个超像素区域，通过超像素区域代替图像原有的像素表达图像的特征。
硬标签（hardlabel）：是指专业人员对图像中的像素进行分类时所打的标注，在数值上是离散的0和1。图像中的每个像素都对应有一个硬标签，当硬标签对应的数值是1，该硬标签标注的像素属于标注区域；当硬标签对应的数值是0时，该硬标签标注的像素不属于标注区域。
软标签（softlabel）：是指硬标签通过标签软化后得到的标签，即图像中的每个像素也对应有一个软标签。本申请实施例中以像素属于标注区域的伪概率表示软标签，即软标签用于预测像素属于标注区域的伪概率，软标签在数值上是0到1之间的连续值。
云技术（cloudtechnology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，具有如下特点：组成资源池、按需所用以及灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。本申请实施例中的图像分割模型的训练方法可与云技术相结合，比如，通过将各个医院的病例图像上传到云服务器中，使得图像分割模型能够结合多种类型的病例图像进行训练，使得训练后的图像分割模型能够对多种类型的图像进行分割。
医疗云（medicalcloud，mc），是指在云计算、移动技术、多媒体、4g通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合，医疗云提高医疗机构的效率，方便居民就医。像现在医院的预约挂号、电子病历、医保等都是云计算与医疗领域结合的产物，医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。本申请实施例中的图像分割模型可与医疗云结合，通过医疗云将分割后的医学图像共享给各个医院的医护人员，提高了医护人员的诊疗效率。
人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
计算机视觉技术(computervision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像分割、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及图像分割模型的训练方法，通过如下实施例进行说明。
本申请实施例以图像分割模型对医学图像进行分割为例进行说明。图1示出了本申请一个示例性实施例提供的图像分割模型的训练方法的框架图。该方法应用于如图2所示的计算机系统100中的服务器102中。示意性的，该服务器102是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（contentdeliverynetwork，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器102接收到终端采集的图像10，示意性的，该图像10是人体的脑部磁共振图像（magneticresonanceimaging，mri）。在一些实施例中，图像10是自然图像（由自然光形成的图像）。示意性的，通过简单的线性迭代聚类算法（simplelineriterativeclustering，slic）对该图像10进行超像素划分，生成含有超像素区域的图像11。在一些实施例中，通过其他超像素的生成方法对图像10进行超像素划分，如归一化切割算法。
服务器102获取与图像10对应的含有硬标签的图像12，图像12中的每个像素对应有硬标签。示意性的，每个像素的硬标签是由至少一名医护人员标注的。医护人员可通过独热编码（one-hotencoding）的方式对图像12中的硬标签进行编码形成图像13，即图像13中的各个像素也对应有硬标签。其中，图像12中包括脑部的多个标注区域（如，灰质区域、血管区域等），图像13中的每张图像包括至少一个标注区域。在一些实施例中，以不同的颜色区分表示不同的生理结构，如以黄色标注脑髓组织，以蓝色标注灰质等。在另一些实施例中，以不同的颜色对病灶区域和正常区域进行标注，如以红色标注病灶区域，以黄色标注病灶可能扩展的区域，以绿色标注正常区域。在一些实施例中，像素的硬标签是服务器102预先采集的。
服务器102通过对硬标签进行软化，得到像素的软标签，如图像14所示，在图像14中的区域141是像素对应的软标签所标注的区域，区域142是像素对应的硬标签所标注的区域（标注区域）。在一些实施例中，软化硬标签的执行步骤与生成超像素的步骤同时执行，或按照一定顺序执行，如先生成含有超像素区域的图像12，再进行软化硬标签的步骤。
服务器102对硬标签的软化过程如下：服务器102根据超像素区域与硬标签所标注的标注区域的位置关系，计算超像素区域中每个像素位置与标注区域的边界之间的最小距离，根据该最小距离计算每个像素属于标注区域的伪概率，以伪概率表示单个像素的软标签，从而得到图像14，图像14中每个像素同时具有硬标签和软标签。
示意性的，服务器102结合硬标签损失（ldice和lce）和软标签损失（lkl）对图像分割模型15进行训练，得到训练后的图像分割模型15。
训练后的图像分割模型15用于对医学图像或其他图像进行图像分割。示意性的，将医学图像输入至训练后的图像分割模型15，通过三维滑窗方式获得到医学图像对应的预测概率图，采用最大值自变量点集函数（argmax）对预测概率图进行计算，得到最终的分类结果，即得医学图像中的分割区域。
本实施例提供的图像分割模型的训练方法，通过对图像生成的超像素，结合像素的硬标签和软标签对图像分割模型进行训练，使得训练后的图像分割模型能够准确对图像进行分割。
图2示出了本申请一个示例性实施例提供的计算机系统的结构示意图。该计算机系统100包括第一计算机设备101和服务器102。
第一计算机设备101是采集图像的设备，在一些实施例中，采集的图像是自然图像（通过可见光成像），或者是医学图像。第一计算机设备101连接有采集图像的设备，该设备将采集到的图像显示在第一计算机设备101上。示意性的，第一计算机设备101连接有磁共振成像设备，用于接收mri图像，第一计算机设备101是mri图像采集人员（如医生）使用的计算机设备。第一计算机设备101用于将采集到的图像发送至服务器102。
第一计算机设备101与服务器102通过有线网络或无线网络进行连接。
在一些实施例中，服务器102是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（contentdeliverynetwork，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于接收第一计算机设备101采集到的图像。
服务器102将接收到图像输入至图像分割模型，得到对图像中的各个区域进行分割后的结果。可选地，该图像分割模型是预先训练的模型。服务器102将分割后的结果发送至第一计算机设备101中，即采集图像和查看分割后的图像在同一计算机设备上实现。
在一些实施例中，该计算机系统100还包括第二计算机设备，第二计算机设备与服务器102通过有线网络或无线网络进行连接。
第二计算机设备是查看图像分割结果的计算机设备。示意性的，第一计算机设备101是采集医学图像的计算机设备，第二计算机设备是诊治医生对应的计算机设备，诊治医生通过查看分割后的图像确定病灶位置，从而为患者进行诊疗。在一些实施例中，第二计算机设备是采集医学图像的计算机设备，第一计算机设备101是诊治医生对应的计算机设备。
上述计算机设备泛指一个或多个计算机设备，本申请实施例仅以第一计算机设备101为例进行说明，上述计算机设备的类型包括智能手机、平板电脑、笔记本电脑、台式计算机、服务器计算机、工作站计算机、智能音箱、智能手表等，本申请实施例对计算机设备的类型不加以限定。
图3示出了本申请一个示例性实施例提供的图像分割模型的训练方法的流程图，该方法可应用于如图2所示的计算机系统100中的服务器102中。该方法包括如下步骤。
步骤301，获取样本图像，样本图像是具有标注区域的图像。
样本图像是医学图像和自然图像（可见光成像）中的至少一种。本申请实施例以医学图像为例进行说明，根据成像机理分类，将医学图像分为如下四类：x-射线成像（x-raycomputedtomography，x-ct）、核磁共振成像（magneticresonanceimaging，mri）、核医学成像（nuclearmedicineimaging，nmi）和超声波成像（ultrasound，us）。在一些实施例中，样本图像的类型包括上述四种类型的至少一种。示意性的，医生通过终端将患者的病例上传至服务器中，由服务器采集病例中包含的医学图像。在一些实施例中，样本图像还包括已公开的训练数据集，比如，数据集mrbrains18dataset。
标注区域是指样本图像中的分割目标所在的区域。样本图像中包括至少一个标注区域，比如，样本图像包括病灶区域和正常区域，或者，样本图像包括血管区域、组织区域、灰质区域。示意性的，样本图像是包含人脑的医学图像，对人脑中的灰质进行标注，则标注区域是灰质所在的区域。示意性的，样本图像的标注区域是由专业人士通过人工的方式进行标注，如医生根据人脑的mri图像，手动画出灰质区域。在一些实施例中，样本图像的标注区域由图像标注模型进行标注，图像标注模型是具有图像标注能力的机器学习模型，图像标注模型是预先训练的。
步骤302，对样本图像进行超像素划分，得到至少两个超像素区域。
超像素是图像中具有相似特征的相邻像素所组成的区域。对样本图像进行超像素划分后，样本图像中的具有相似特征的相邻像素组成了一个超像素区域，超像素区域包括至少一种类型的像素。如图4所示，在样本图像中包括多个超像素区域，每个超像素区域的形状是规则的或者不规则的。由于一个超像素区域中的像素具有相似的特征，在进行图像分割时，以超像素区域代替样本图像中原有的像素表达样本图像的特征。
示意性的，利用slic算法对样本图像进行超像素划分。在一些实施例中，利用其它方式对样本图像进行超像素划分，如归一化切割算法，本申请实施例对超像素划分的方式不加以限定。
步骤303，根据样本图像中的像素是否属于标注区域，得到像素的硬标签。
硬标签用于表示样本图像中的像素是否属于标注区域，存在两种情况：当样本图像中的像素属于标注区域时，该像素的硬标签在数值上为1；当样本图像中的像素不属于标注区域时，该像素的硬标签在数值上为0。可以理解的是，由一个像素的硬标签能够推断该像素属于标注区域还是不属于标注区域。
示意性的，标注区域为人脑的灰质区域，医护人员勾勒出灰质区域，则在该区域内（包括该区域的边界上）的所有像素的硬标签在数值上为1，在该区域外的所有像素的硬标签在数值上为0。
可以理解的是，步骤302和步骤303同时执行，或步骤302先于步骤303执行，或步骤302后于步骤303执行。在一些实施例中，硬标签是服务器预先存储的。
步骤304，根据像素所属的超像素区域和像素的硬标签，得到像素的软标签，软标签用于表征像素属于标注区域的伪概率。
样本图像中的每个像素对应有一个硬标签和一个软标签。本申请实施例中以伪概率表示软标签，伪概率是指模拟真实情况下的概率。像素的软标签表示该像素有多大的可能属于标注区域，在数值上是0至1之间的连续值，如像素的软标签在数值上是0.8，则该像素有80%的可能性属于标注区域。
样本图像中包括多个超像素区域和至少一个标注区域（该标注区域是由硬标签标识的），则各个超像素区域和标注区域之间具有交集像素或不具有交集像素，本申请实施例以一个超像素区域与一个标注区域的位置关系为例进行说明。服务器获取像素的软标签的方式包括如下两种方式。
1、响应于超像素区域与标注区域之间存在交集像素，根据像素所属的超像素区域与标注区域之间的位置关系，得到超像素对应的软标签。
超像素区域的全部区域与标注区域之间存在交集像素时，即超像素区域位于标注区域内，超像素区域中的像素全部属于标注区域，像素的硬标签在数值上为1，直接将像素的硬标签作为像素的软标签。
超像素区域的部分区域与标注区域之间存在交集像素时，即超像素区域一部分位于标注区域内，一部分位于标注区域外，根据超像素区域中的像素所在的位置与标注区域的边界之间的距离，计算像素的软标签。
2、响应于超像素区域与标注区域之间不存在交集像素，根据像素的硬标签得到像素的软标签。
超像素区域与标注区域之间不存在交集像素时，即超像素区域位于标注区域之外，超像素区域中的像素全部位于标注区域之外，像素的硬标签在数值上为0，直接将像素的硬标签作为像素的软标签。
步骤305，根据像素的硬标签和像素的软标签，训练图像分割模型。
样本图像中包括硬标签标注的标注区域，也包括软标签标注的具有一定概率属于标注区域的区域，将含有两种标签的样本图像输入至图像分割模型中，图像分割模型输出样本图像中预测的分割区域，利用预测的分割区域与标注区域之间的误差对图像分割模型进行训练。
本申请实施例对构成图像分割模型的神经网络不加以限定。
可以理解的是，上述实施例中通过对样本图像进行超像素划分，任意图像都能够进行超像素划分，本申请实施例对样本图像的类型不加以限定。
综上所述，本实施例提供的方法，通过对样本图像进行超像素划分，以及通过获得样本图像中的像素对应的硬标签，根据像素所属的超像素区域和像素的硬标签得到像素的软标签，通过软标签对像素所属区域的不确定性进行度量，能够得到多种标注区域，利用像素的硬标签和软标签对图像分割模型进行训练，使得训练后的图像分割模型能够准确地分割出输入图像中的分割区域，同时提高图像分割模型的训练效率。
图5示出了本申请另一个示例性实施例提供的图像分割模型的训练方法的流程图。该方法可应用于如图2所示的计算机系统100中的服务器102中，该方法包括如下步骤。
步骤501，获取样本图像，样本图像是具有标注区域的图像。
示意性的，以医学图像为样本图像，样本图像的标注区域是由医护人员进行标注的。
如图6所示，其示出了本申请一个示例性实施例提供的人脑mri图像的示意图，该mri图像中包括多个标注区域，以点状纹表示标注区域a，以条形纹表示标注区域b。以区域21为例（虚线表示的区域），区域21中包括标注区域b，左上角的区域22表示为区域21放大后对应的图像。标注区域b是图像分割模型要分割的目标所对应的区域。
在一些实施例中，一张医学图像中包括一种生理结构对应的标注区域，比如，一张医学图像中包括大脑的灰质区域，另一张医学图像中包括大脑的髓质区域。
在一些实施例中，样本图像包括同一图像在不同参数下对应的成像。示意性的，样本图像是人脑的医学图像，在采集医学图像时，为了突出显示不同区域需要调节图像采集设备的设备参数。比如，图像采集设备是计算机体层摄影（computedtomography，ct）设备，为了突出显示灰质区域，将参数c提高（参数c是ct设备的扫描速度），在该医学图像中的灰质区域呈现白色，而髓质区域呈现暗灰色或者隐藏显示；为了突出显示髓质区域，将参数d降低（参数d是ct设备的扫描深度），在该医学图像中的髓质区域呈现白色，而灰质区域呈现暗灰色显示。
步骤502，对样本图像进行超像素划分，得到至少两个超像素区域。
示意性的，通过slic算法对样本图像进行超像素划分。将样本图像从彩色空间（rgb图像，r表示像素点的红色通道，g表示像素点的绿色通道、b表示像素点的蓝色通道）转换为lab颜色空间（l表示图像的明暗度，a表示从绿色到红色的分量，b表示从蓝色到黄色的分量），将每个像素的颜色（l，a，b）和像素位置坐标（x，y）组成一个五维向量（l，a，b，x，y），两个像素的相似性由两个像素的向量距离来衡量，距离越小，相似性越大，将相似性较大的两个像素划分至一个超像素区域中。
可以理解的是，划分超像素后的样本图像包括至少两个超像素区域，如果超像素的划分尺度合适，则同一个超像素区域中的像素被认为具有相同的类型标签。
步骤503，根据样本图像中的像素是否属于标注区域，得到像素的硬标签。
位于标注区域内（包括标注区域的边界上）的像素的硬标签在数值上为1，位于标注区域外的像素的硬标签在数值上为0。由标注区域能够获得样本图像中像素的硬标签，反之，由像素的硬标签能够确定样本图像中的标注区域。
由于硬标签表示像素是否属于标注区域，硬标签表示的是像素的离散特征，即像素属于标注区域或不属于标注区域两种情况。在一些实施例中，需要通过独热编码的方式对像素的硬标签进行编码，使得编码后的像素所表示的特征在每个维度上是连续的。独热编码又称一位有效编码，其方法是使用n（n为正整数）位状态寄存器来对n个状态进行编码，每个状态都有独立的寄存器位，并且在任意时候，其中存在一位编码有效。
步骤504a，响应于像素所属的超像素区域与标注区域之间存在交集像素，根据像素所属的超像素区域与标注区域之间的位置关系，得到像素对应的软标签。
当像素所属的超像素区域与标注区域之间存在交集像素时，包括如下两种情况。
1、像素所属的超像素区域的部分区域与标注区域之间存在交集像素。
则上述步骤504a可替换为如下步骤。
步骤5041a，响应于超像素区域的部分区域与标注区域之间存在交集像素，确定像素在样本图像中的像素位置。
示意性的，如图7所示，以标注区域24为圆形区域，超像素区域23的部分区域与标注区域24存在交集像素，即标注区域24的边界穿过超像素区域23。本申请实施例以图像中的一个像素为例进行说明。在一些实施例中，像素位于超像素区域23内且位于标注区域24内，或者，像素位于超像素区域23内且位于标注区域24外。
示意性的，以图像的中心为原点，建立平面直角坐标系，像素的像素位置以位置坐标表示。
步骤5042a，计算像素位置与标注区域的边界之间的最小距离。
在一些实施例中，标注区域为不规则形状的区域，像素位置与标注区域的边界之间的距离不等，需要确定像素位置与标注区域的边界之间的最小距离。
示意性的，当像素位于超像素区域23内且位于标注区域24内，定义像素位置与标注区域24的边界之间的最小距离di＞0；当像素位于超像素区域23内且位于标注区域24外时，定义像素位置与标注区域24的边界之间的最小距离di≤0。
步骤5043a，根据最小距离计算像素属于标注区域的伪概率，将伪概率作为像素对应的软标签。
利用如下公式计算像素的伪概率。
其中，qi是超像素区域中的像素的伪概率，该超像素区域的部分区域与标注区域存在交集像素，di是像素位置与标注区域的边界之间的最小距离。
当最小距离di＞0时，由上述公式可知，当最小距离di增大时，伪概率qi趋于1，当最小距离di＜0时，由上述公式可知，当
在一个示例中，像素位置与标注区域的最小距离di=1，则伪概率qi为0.75，该像素的软标签在数值上为0.75。
在一些实施例中，最小距离与伪概率之间的关系还包括其他函数关系，本申请实施例对最小距离与伪概率之间的函数关系不加以限定。
2、像素所属的超像素区域的全部区域与标注区域之间存在交集像素。
则上述步骤504a可替换为如下步骤。
步骤5044a，响应于超像素区域的全部区域与标注区域之间存在交集像素，确定像素对应的第一硬标签，第一硬标签用于指示像素位于标注区域内。
如图8所示，超像素区域25的全部区域位于标注区域24内，即超像素区域25中的像素全部位于标注区域24内，则服务器确定像素的第一硬标签在数值上为1。
步骤5045a，将第一硬标签作为像素的第一软标签。
服务器确定像素的第一软标签是像素的第一硬标签，即像素的第一软标签在数值上为1。
当像素所属的超像素区域与标注区域之间不存在交集像素时，确定像素的软标签的方法包括如下步骤。
步骤504b，响应于像素所属的超像素区域与标注区域之间不存在交集像素，根据像素的硬标签得到像素的软标签。
类比于超像素区域的全部区域与标注区域存在交集像素的情况，步骤504b可替换为如下步骤。
步骤5041b，响应于超像素区域与标注区域之间不存在交集像素，确定像素对应的第二硬标签，第二硬标签用于指示像素位于标注区域外。
如图9所示，超像素区域26的全部区域与标注区域24之间不存在交集像素，即超像素区域26的全部区域位于标注区域24外，则服务器确定像素的第二硬标签在数值上为0。
步骤5042b，将第二硬标签作为像素的第二软标签。
服务器确定像素的第二软标签是像素的第二硬标签，即像素的第二软标签在数值上为0。
步骤505，将样本图像输入至图像分割模型中，得到样本图像中的像素属于标注区域的预测概率。
图像分割模型输出样本图像中每个像素属于标注区域的预测概率，基于样本图像形成预测概率图。
步骤506，根据预测概率、硬标签和软标签计算复合损失函数。
步骤506可替换为如下步骤。
步骤5061，根据预测概率和硬标签计算硬标签对应的第一损失函数，第一损失函数对应有第一超参数，第一超参数用于表征第一损失函数对复合损失函数的影响程度。
在一些实施例中，以lce（交叉熵损失函数，crossentropyloss)函数为第一损失函数。
lce函数的定义为如下公式。
其中，n为图像中像素的数量，c是标注类别的总数（标注区域的总数），wc是每个类别的权重，为缓解类别不均衡的问题，本申请实施例以公式
在另一些实施例中，以ldice（戴斯损失函数diceloss）为第一损失函数。
ldice函数的定义为如下公式。
其中，n为图像中像素的数量，c是标注类别的总数（标注区域的总数），
第一损失函数包括lce函数和ldice函数中的至少一种。示意性的，以α表示第一损失函数对应的第一超参数。
利用第一损失函数对图像分割模型进行监督学习。
步骤5062，根据预测概率和软标签计算软标签对应的第二损失函数，第二损失函数对应有第二超参数，第二超参数用于表征第二损失函数对复合损失函数的影响程度。
在一些实施例中，以lkl（库尔贝克-莱布勒散度，又被命名为kl散度，kullback-leiblerdivergenceloss）函数为第二损失函数。
lkl函数的定义为如下公式。
其中，n为图像中像素的数量，c是标注类别的总数（标注区域的总数），
示意性的，以β表示第二损失函数对应的第二超参数。
利用第二损失函数对图像分割模型进行监督学习。
步骤5063，根据第一损失函数、第一超参数、第二损失函数、第二超参数，计算复合损失函数。
复合损失函数包括第一损失函数和第二损失函数。
在一个示例中，复合损失函数的定义为如下公式。
其中，l为复合损失函数，lce为交叉熵损失函数，lkl为kl散度，β为第二超参数。
在另一个示例中，复合损失函数的定义为如下公式。
其中，l为复合损失函数，ldice为戴斯损失函数，α为第一超参数，lkl为kl散度，β为第二超参数。
在另一个示例中，复合损失函数的定义为如下公式。
其中，l为复合损失函数，lce为交叉熵损失函数，ldice为戴斯损失函数，α为第一超参数，lkl为kl散度，β为第二超参数。
需要说明的是，在训练期间将第一超参数设置为1，以此来选择合适的第二超参数。
步骤507，利用复合损失函数对图像分割模型进行训练，得到训练后的图像分割模型。
示意性的，利用上述软标签和硬标签对应的复合损失函数，通过反向传播的方式对图像分割模型进行训练，使得训练后的图像分割模型能够准确从图像中确定分割目标。
本申请实施例对构成图像分割模型的神经网络不加以限定。
可以理解的是，上述实施例中通过对样本图像进行超像素划分，任意图像都能够进行超像素划分，本申请实施例对样本图像的类型不加以限定。
综上所述，本实施例提供的方法，通过对样本图像进行超像素划分，以及通过获得样本图像中的像素对应的硬标签，根据像素所属的超像素区域和像素的硬标签得到像素的软标签，通过软标签对像素所属区域的不确定性进行度量，能够得到多种标注区域，利用像素的硬标签和软标签对图像分割模型进行训练，使得训练后的图像分割模型能够准确地分割出输入图像中的分割区域，同时提高图像分割模型的训练效率。
当超像素区域与标注区域存在交集像素时，通过超像素区域与标注区域之间的位置关系，确定像素对应的软标签，无论像素位于样本图像中的像素位置如何，均能确定像素对应的软标签。保证图像分割模型利用准确的软标签进行训练，提高图像分割模型分割图像的准确率。
通过将确定软标签的方式转化为计算像素属于标注区域的伪概率，建立距离（像素位置与标注区域的边界之间的距离）与伪概率之间的对应关系，能够准确确定像素的软标签。保证图像分割模型利用准确的软标签进行训练，提高图像分割模型分割图像的准确率。
当超像素区域的全部区域位于标注区域内或位于标注区域外时，通过将像素的硬标签直接确定为像素的软标签，简化了软标签的确定过程，提高了图像分割模型的训练效率。
通过结合软标签和硬标签对应的复合损失函数对图像分割模型进行训练，使得图像分割模型基于多种损失函数进行训练，提高图像分割模型的训练效率。
通过上述实施例提供的图像分割模型的训练方法得到训练后的图像分割模型，下面对训练后的图像分割模型的图像分割方法进行说明。
图10示出了本申请一个示例性实施例提供的图像分割方法的流程图，该方法应用于如图2所示的计算机系统100中的服务器102中，该方法包括如下步骤。
步骤1001，获取输入图像，输入图像包括分割区域。
示意性的，输入图像包括自然图像（可见光成像）和医学图像中的至少一种。输入图像包括的分割区域与样本图像具有的标注区域对应，分割区域是指图像中的分割目标对应的区域。输入图像包括一个或多个分割区域，即包括一个或多个分割目标。
步骤1002，将输入图像输入至训练后的图像分割模型中，得到输入图像对应的预测概率图，预测概率图用于表征输入图像中的像素属于分割区域的预测概率。
训练后的图像分割模型是通过上述实施例中提供的图像分割模型的训练方法得到的。图像分割模型是根据样本图像的像素的硬标签和软标签训练得到的，样本图像是具有标注区域且经过超像素划分的图像，硬标签用于指示像素属于标注区域，软标签是由像素所属的超像素区域和像素的硬标签得到的。
训练后的图像分割模型输出输入图像中各个像素属于分割区域的预测概率，各个像素对应的预测概率构成预测概率图。
步骤1003，根据预测概率图确定输入图像的分割结果。
训练后的图像分割模型根据预测概率图确定各个像素属于分割区域的预测概率，根据各个像素的预测概率确定输入图像的分割结果。示意性的，针对预测概率设置有概率阈值，概率阈值为0.86。训练后的图像分割模型将预测概率高于0.86的像素确定为属于分割区域的像素。
综上所述，本实施例提供的方法，通过训练后的图像分割模型对输入图像进行图像分割，利用预测概率图得到图像分割结果，无需对输入图像进行超像素划分，提高图像分割模型的运算效率及图像分割的准确率。
基于图10所示的可选实施例中，步骤1003可替换为如下步骤。
步骤1004，利用最大值自变量点集函数，确定像素在输入图像中的像素位置，像素位置是像素属于分割区域的预测概率最大时的位置。
示意性的，训练后的图像分割模型利用三维滑窗方式对输入图像进行概率预测，首先固定一个卷积区域，将卷积核在输入图像上按照指定步长进行滑动，对于每一次的滑动得到的区域进行预测，并判断该区域中存在分割目标的概率，即该区域中存在属于分割区域的像素的预测概率。
最大值自变量点集函数（argmax）是用于对函数求参数（集合）的函数。示意性的，存在函数f(x)，则函数argmax(f(x))是使得函数f(x)取得最大值所对应的变量x（或变量x的集合）。示意性的，将像素属于分割区域的预测概率与像素位置进行关联，当像素属于分割区域的预测概率最大时，确定像素在输入图像中的像素位置。
步骤1005，根据像素位置确定输入图像的分割结果。
训练后的图像分割模型根据步骤1004得到的像素位置能够确定分割区域包括的像素，从而确定输入图像的分割区域。
在一些实施例中，图像分割模型基于像素不属于分割区域的最大预测概率进行分割，即图像分割模型通过确定不属于分割区域的像素对应的像素位置，从而确定输入图像中的非分割区域，进一步确定输入图像的分割区域。该图像分割模型在训练时，也基于像素不属于标注区域的预测概率进行训练。
综上所述，本实施例提供的方法，通过利用最大值自变量点集函数对预测概率图进行计算，得到像素属于分割区域的预测概率最大时，该像素对应的像素位置，从而根据像素位置确定输入图像的分割结果，使得训练后的图像分割模型能够准确对输入图像中的分割目标进行分割。
在一个示例中，图像分割模型的训练方法包括如下流程。
该流程应用于如图2所示的计算机系统100中的服务器102中。
1）建立训练数据集，该训练数据集是由样本图像构成的数据集。
示意性的，使用公开的训练数据集mrbrains18dataset。
2）对样本图像进行超像素划分，得到样本图像的至少两个超像素区域。
示意性的，利用slic算法对样本图像进行划分，slic算法能生成紧凑、近似均匀的超像素区域，在运算速度、保持物体轮廓、设置超像素形状等方面具有优异的性能，能够划分出质量较高的超像素区域。
3）将样本图像的硬标签转换为独热编码的形式。
示意性的，步骤3）可以先于步骤2）执行，服务器在接收到样本图像时，对样本图像的硬标签通过独热编码的方式进行编码。
4）根据像素所属的超像素区域和硬标签，得到像素的软标签。
本申请实施例是对不同类型的标注区域的边界的不确定性对图像分割模型进行训练，以提升图像分割模型的预测性能和鲁棒性。
通过建立超像素区域与标注区域之间的关系来得到像素的软标签。超像素区域与标注区域之间的关系包括：超像素区域的全部区域与标注区域之间存在交集像素（如图8所示）、超像素区域的全部区域与标注区域之间不存在交集像素（如图9所示）、超像素区域的部分区域与标注区域之间存在交集像素（如图7所示）。
由于超像素生成算法是将具有相似特征（相似纹理、颜色、亮度等特征）的相邻像素构成超像素区域，如果超像素区域的尺寸合适，则同一个超像素区域中的像素被认为具有相同的类别标签。基于这个假设，标注区域的不确定性最有可能发生在如图7所示的情况下，即超像素区域的部分区域与标注区域的边界相交时，同一个超像素内的像素划分为不同的类型。
以
通过使用超像素分割算法，将样本图像x划分为m个超像素区域（m为正整数），以
5）根据像素的硬标签和软便签对图像分割模型进行训练，得到训练后的图像分割模型。
在训练的过程中需要计算损失函数，计算损失函数的方法参见如图5所示的步骤505至步骤507，此处不再赘述。
6）利用图像分割模型对输入的图像进行分割。
示意性的，图像分割模型基于公开的数据集mrbrains18dataset，通过三维滑窗方式得到输入图像对应的预测概率图，并对通过argmax函数对预测概率图进行计算，确定像素属于分割区域的预测概率最大时对应的像素位置，根据像素位置确定最终的类别分割结果。
下面对本申请实施例提供的图像分割模型的训练方法产生的有益效果进行说明。
1)通过超像素区域表示样本图像的纹理信息，使得训练后的图像分割模型能够对任意类型的图像进行分割。
2)对硬标签进行软化的过程中结合了超像素区域表示的纹理信息，通过超像素区域与标注区域之间的位置关系，对不同超像素区域中的像素以不同的方式进行标签软化。避免了对边界显著的区域进行标签软化处理的同时，对纹理差异较小的区域生成更平滑或不适合的软标签。
3)使用像素位置与标注区域的边界的距离将标注区域的边界对应的不确定性进行量化（软标签），增加了样本图像中的标注区域，使得图像分割模型能够基于多种标注区域进行训练。
4）图像分割模型不局限于某种神经网络，结合硬标签和软标签训练图像分割模型，使得输入图像的分割区域的边界更加清晰。
5）训练后的图像分割模型在进行图像分割时，无需对输入图像进行超像素划分，提高了计算效率。
本申请实施例以表一表示基于不同的标签软化方法对图像分割模型进行训练的训练效果，以不同类型的评价指标综合评价上述方法实施例中提供的图像分割模型的训练方法所训练的图像分割模型。
表一示出了基于公开的训练数据集mrbrains18dataset上的图像分割模型的分割效果对比，评价指标包括如下指标：戴斯系数（dice）、体积相似性（volumetricsimilarity，vs）、95%的豪斯多夫距离（95thpercentilehausdorffdistance，hd95）、平均表面距离（averagesurfacedistance，asd）和平均对称表面距离（averagesymmetricsurfacedistance，assd）。图像分割模型是基于3du-net网络构建的模型。其中，第一行数据为对照组（baseline），对照组是没有使用软标签的测试结果，第二行数据为基于高斯模糊的标签软化方法的测试结果，第三行数据为使用了本申请实施例提供的基于超像素进行标签软化方法的测试结果。损失函数包括交叉熵损失函数（lce函数），戴斯损失函数为（ldice函数），kl散度（lkl函数）。其中，交叉熵损失函数设置有权重wce。
表一
由表一可知，本申请实施例提供的标签软化方法在各项评价指标上均优于其他技术方案。
本申请实施例采用超像素区域表示样本图像的纹理信息，不同尺寸的超像素区域表示图像不同层次的纹理信息，因此本申请实施例提供的标签软化的方法需要合适尺寸的超像素区域。
如图11所示，选择超像素区域的数量范围为500到3500，采样间隔为500。当超像素区域数量增加时，超像素分割包含了更多的图像细节，图像分割模型的性能也随之增加，但到达最高点后开始下降。
如图11的（a）所示，其示出了dice系数与超像素区域的数量的对应关系（实线表示）以及hd95与超像素区域的数量的对应关系（虚线表示）。dice系数越趋近于1，图像分割的效果越好，由图11的（a）可知，基于dice系数的评价标准，超像素区域的数量在1600左右时的图像分割效果最好；hd95表示的距离越小，图像分割的效果越好，由图11的（a）可知，基于hd95的评价标准，超像素区域的数量在2000时的图像分割效果最好。
如图11的（b）所示，其示出了asd与超像素区域的数量的对应关系（实线表示）以及assd与超像素区域的数量的对应关系（虚线表示）。asd表示的距离越小，图像分割的效果越好，由图11的（b）可知，基于asd的评价标准，超像素区域的数量在1500左右时，图像分割的效果最好。同理，基于assd的评价标准，超像素区域的数量在1500左右时，图像分割的效果最好。
因此，在本申请实施例中，在超像素区域的尺寸合适时，同一超像素区域内的像素具有相同的标注类别。当超像素区域的尺寸过大（图像中的超像素区域的数量减少）时，会生成不合适的软标签；当超像素区域的尺寸过小（图像中的超像素区域的数量增加）时，生成的软标签会接近硬标签，将不能提供用于训练图像分割模型的额外信息。
除此之外，复合损失函数中的第二超参数β控制着软标签参与图像分割模型训练的程度，基于本申请实施例提供的软化标签方法，通过对比不同β取值条件下的测试结果。示意性的，第二超参数β取值分别为：1/4，1/2，1，2，4和8。如图12，其示出了不同的第二超参数β取值下图像分割模型的评价指标的变化。当β从1/4增加到1时，图像分割模型的性能持续提升。当第二超参数β的值继续增加时，图像分割模型的性能开始下降。
如图12的（a）所示，其示出了dice系数与第二超参数β的对应关系（实线表示）以及hd95与第二超参数β的对应关系（虚线表示）。dice系数越趋近于1，图像分割的效果越好，由图12的（a）可知，基于dice系数的评价标准，第二超参数β为1时的图像分割效果最好；hd95表示的距离越小，图像分割的效果越好，由图12的（a）可知，基于hd95的评价标准，第二超参数β为1时的图像分割效果最好。
如图12的（b）所示，其示出了asd与第二超参数β的对应关系（实线表示）以及assd与第二超参数β的对应关系（虚线表示）。asd表示的距离越小，图像分割的效果越好；assd表示的距离越小，图像分割的效果越好。由图12的（b）可知，基于asd的评价标准，第二超参数β为1时，图像分割的效果最好。同理，基于assd的评价标准，第二超参数β为1时，图像分割的效果最好。
由此可见，结合软标签对图像分割模型训练，能够提升图像分割模型的分割效果，但如果软标签对应的第二超参数较大时，同样会降低图像分割模型的分割效果。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。
图13示出了本申请的一个示例性实施例提供的图像分割模型的训练装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分，该装置包括如下部分。
第一获取模块1310，用于获取样本图像，样本图像是具有标注区域的图像；
像素划分模块1320，用于对样本图像进行超像素划分，得到至少两个超像素区域；
标签确定模块1330，用于根据样本图像中的像素是否属于标注区域，得到像素的硬标签；
所述标签确定模块1330，用于根据像素所属的超像素区域和像素的硬标签，得到像素的软标签，软标签用于表征像素属于标注区域的伪概率；
训练模块1340，用于根据像素的硬标签和像素的软标签，训练图像分割模型。
在一个可选的实施例中，所述标签确定模块1330，用于响应于像素所属的超像素区域与标注区域之间存在交集像素，根据像素所属的超像素区域与标注区域之间的位置关系，得到像素对应的软标签。
在一个可选的实施例中，所述标签确定模块1330，用于响应于超像素区域的部分区域与标注区域之间存在交集像素，确定像素在样本图像中的像素位置；计算像素位置与标注区域的边界之间的最小距离；根据最小距离计算像素属于标注区域的伪概率，将伪概率作为像素对应的软标签。
在一个可选的实施例中，所述标签确定模块1330，用于响应于超像素区域的全部区域与标注区域之间存在交集像素，确定像素对应的第一硬标签，第一硬标签用于指示像素位于标注区域内；将第一硬标签作为像素的第一软标签。
在一个可选的实施例中，所述标签确定模块1330，用于响应于像素所属的超像素区域与标注区域之间不存在交集像素，根据像素的硬标签得到像素对应的软标签。
在一个可选的实施例中，所述标签确定模块1330，用于响应于超像素区域与标注区域之间不存在交集像素，确定像素对应的第二硬标签，第二硬标签用于指示像素位于标注区域外；将第二硬标签作为像素的第二软标签。
在一个可选的实施例中，所述训练模块1340，用于将样本图像输入至图像分割模型中，得到样本图像中的像素属于标注区域的预测概率；根据预测概率、硬标签和软标签计算复合损失函数；利用复合损失函数对图像分割模型进行训练，得到训练后的图像分割模型。
在一个可选的实施例中，所述训练模块1340，用于根据预测概率和硬标签计算硬标签对应的第一损失函数，第一损失函数对应有第一超参数，第一超参数用于表征第一损失函数对复合损失函数的影响程度；根据预测概率和软标签计算软标签对应的第二损失函数，第二损失函数对应有第二超参数，第二超参数用于表征第二损失函数对复合损失函数的影响程度；根据第一损失函数、第一超参数以及第二损失函数、第二超参数，计算复合损失函数。
在一个可选的实施例中，该装置包括结果预测模块1350；
所述第一获取模块1310，用于获取输入图像，输入图像包括分割区域；
所述结果预测模块1350，用于将输入图像输入至训练后的图像分割模型中，得到输入图像对应的预测概率图，预测概率图用于表征输入图像中的像素属于分割区域的预测概率；根据预测概率图确定输入图像的分割结果。
在一个可选的实施例中，所述结果预测模块1350，用于利用最大值自变量点集函数，确定像素在输入图像中的像素位置，像素位置是像素属于分割区域的预测概率最大时的位置；根据像素位置确定输入图像的分割结果。
综上所述，本实施例提供的装置，通过对样本图像进行超像素划分，以及通过获得样本图像中的像素对应的硬标签，根据像素所属的超像素区域和像素的硬标签得到像素的软标签，通过软标签对像素所属区域的不确定性进行度量，能够得到多种标注区域，利用像素的硬标签和软标签对图像分割模型进行训练，使得训练后的图像分割模型能够准确地分割出输入图像中的分割区域，同时提高图像分割模型的训练效率。
当超像素区域与标注区域存在交集像素时，通过超像素区域与标注区域之间的位置关系，确定像素对应的软标签，无论像素位于样本图像中的像素位置如何，均能确定像素对应的软标签。保证图像分割模型利用准确的软标签进行训练，提高图像分割模型分割图像的准确率。
通过将确定软标签的方式转化为计算像素属于标注区域的伪概率，建立距离（像素位置与标注区域的边界之间的距离）与伪概率之间的对应关系，能够准确确定像素的软标签。保证图像分割模型利用准确的软标签进行训练，提高图像分割模型分割图像的准确率。
当超像素区域的全部区域位于标注区域内或位于标注区域外时，通过将像素的硬标签直接确定为像素的软标签，简化了软标签的确定过程，提高了图像分割模型的训练效率。
通过结合软标签和硬标签对应的复合损失函数对图像分割模型进行训练，使得图像分割模型基于多种损失函数进行训练，提高图像分割模型的训练效率。
图14示出了本申请的一个示例性实施例提供的图像分割装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分，该装置包括如下部分。
第二获取模块1410，用于获取输入图像，输入图像包括分割区域；
图像分割模型1420，用于对输入图像进行分割，得到输入图像对应的预测概率图，图像分割模型是根据样本图像的像素的硬标签和软标签训练得到的，样本图像是具有标注区域且经过超像素划分的图像，硬标签用于指示像素属于标注区域，软标签是由像素所属的超像素区域和像素的硬标签得到的，预测概率图用于表征输入图像中的像素属于分割区域的预测概率；根据预测概率图确定输入图像的分割结果。
在一个可选的实施例中，所述图像分割模型1420，用于利用最大值自变量点集函数，确定所述像素在所述输入图像中的像素位置，所述像素位置是所述像素属于所述分割区域的所述预测概率最大时的位置；根据所述像素位置确定所述输入图像的分割结果。
图像分割模型1420为利用上述实施例提供的图像分割模型的训练方法训练得到的模型。
综上所述，本实施例提供的装置，通过训练后的图像分割模型对输入图像进行图像分割，利用预测概率图得到图像分割结果，无需对输入图像进行超像素划分，提高图像分割模型的运算效率及图像分割的准确率。
图15示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器可以如图2所示的计算机系统100中的服务器102。
服务器1500包括中央处理单元（cpu，centralprocessingunit）1501、包括随机存取存储器（ram，randomaccessmemory）1502和只读存储器（rom，readonlymemory）1503的系统存储器1504，以及连接系统存储器1504和中央处理单元1501的系统总线1505。服务器1500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统（i/o系统，inputoutputsystem）1506，和用于存储操作系统1513、应用程序1514和其他程序模块1515的大容量存储设备1507。
基本输入/输出系统1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中显示器1508和输入设备1509都通过连接到系统总线1505的输入输出控制器1510连接到中央处理单元1501。基本输入/输出系统1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1510还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1507通过连接到系统总线1505的大容量存储控制器（未示出）连接到中央处理单元1501。大容量存储设备1507及其相关联的计算机可读介质为服务器1500提供非易失性存储。也就是说，大容量存储设备1507可以包括诸如硬盘或者紧凑型光盘只读存储器（cd-rom，compactdiscreadonlymemory）驱动器之类的计算机可读介质（未示出）。
计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器（eprom，erasableprogrammablereadonlymemory）、带电可擦可编程只读存储器（eeprom,electricallyerasableprogrammablereadonlymemory）、闪存或其他固态存储其技术，cd-rom、数字通用光盘（dvd，digitalversatiledisc）或固态硬盘（ssd，solidstatedrives）、其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。其中，随机存取记忆体可以包括电阻式随机存取记忆体（reram，resistancerandomaccessmemory）和动态随机存取存储器（dram，dynamicrandomaccessmemory）。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1504和大容量存储设备1507可以统称为存储器。
根据本申请的各种实施例，服务器1500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1500可以通过连接在系统总线1505上的网络接口单元1511连接到网络1512，或者说，也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机系统（未示出）。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由cpu执行。
在一个可选的实施例中，提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的图像分割模型的训练方法以及图像分割方法。
在一个可选的实施例中，提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的图像分割模型的训练方法以及图像分割方法。
可选地，该计算机可读存储介质可以包括：只读存储器（rom，readonlymemory）、随机存取记忆体（ram，randomaccessmemory）、固态硬盘（ssd，solidstatedrives）或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体（reram，resistancerandomaccessmemory）和动态随机存取存储器（dram，dynamicrandomaccessmemory）。上述本申请实施例序号仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！