基于图像的对象分割方法、装置、设备和介质与流程

1.本技术涉及人工智能技术，更涉及图像处理领域，特别是涉及一种基于图像的对象分割方法、装置、设备和介质。


背景技术：

2.通过神经网络对图像进行自动化的目标对象分割，可以在很多场景发挥巨大的作用。比如，在医疗场景下，相比基于纯人工审阅医疗图像这种耗时耗力的方式，通过神经网络对医疗图像进行自动化的病灶分割可以帮助提高医生诊断的效率，同时也可以在一定程度上帮助基层医师进行高准确度的病灶识别，从而降低漏诊率。为了获得高准确率的神经网络，需要对神经网络进行训练。
3.传统技术中，通常采样全监督学习的方式对神经网络进行训练，即，需要获取人工标注出目标对象的大量样本图像对神经网络进行训练。然而，针对目标对象的像素级标注需要花费大量时间，导致样本图像的获取周期较长，从而影响了对神经网络的训练效率。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提升分割网络训练效率的基于图像的对象分割方法、装置、设备和介质。
5.第一方面，本技术提供了一种基于图像的对象分割方法，所述方法包括：
6.获取像素级标注图像和点级标注图像；所述像素级标注图像中包括按像素级别对目标对象进行分割标注的参照分割区域；所述点级标注图像中包括针对所述目标对象进行点级弱标注得到的标注点；
7.对所述参照分割区域进行点采样，得到至少两个采样点；
8.通过待训练的第一分割网络分别基于各所述采样点进行目标对象分割预测，得到各所述采样点分别对应的第一预测分割区域；
9.根据各所述第一预测分割区域之间的差异，以及各所述第一预测分割区域分别与所述参照分割区域之间的差异，确定第一目标损失值；
10.基于所述第一目标损失值对所述待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据所述标注点对所述点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像；
11.基于所述像素级标注图像和所述像素级伪标注图像训练第二分割网络；所述第二分割网络训练结束后用于分割目标图像中的所述目标对象。
12.第二方面，本技术提供了一种基于图像的对象分割装置，所述装置包括：
13.获取模块，用于获取像素级标注图像和点级标注图像；所述像素级标注图像中包括按像素级别对目标对象进行分割标注的参照分割区域；所述点级标注图像中包括针对所述目标对象进行点级弱标注得到的标注点；
14.采样模块，用于对所述参照分割区域进行点采样，得到至少两个采样点；
15.预测模块，用于通过待训练的第一分割网络分别基于各所述采样点进行目标对象分割预测，得到各所述采样点分别对应的第一预测分割区域；
16.确定模块，用于根据各所述第一预测分割区域之间的差异，以及各所述第一预测分割区域分别与所述参照分割区域之间的差异，确定第一目标损失值；
17.训练模块，用于基于所述第一目标损失值对所述待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据所述标注点对所述点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像；
18.所述训练模块还用于基于所述像素级标注图像和所述像素级伪标注图像训练第二分割网络；所述第二分割网络训练结束后用于分割目标图像中的所述目标对象。
19.在一个实施例中，所述预测模块还用于通过所述第一分割网络基于所述采样点对所述目标对象进行定位区域预测，得到各所述采样点分别对应的第一预测定位区域；所述确定模块还用于根据各所述采样点分别对应的第一预测分割区域之间的差异，以及各所述采样点分别对应的第一预测定位区域之间的差异，确定第一损失值；根据各所述采样点对应的第一预测分割区域与所述参照分割区域之间的差异，确定第二损失值；根据所述第一损失值和所述第二损失值，确定第一目标损失值。
20.在一个实施例中，所述像素级标注图像中还包括按像素级别对目标对象进行定位标注的参照定位区域；所述确定模块还用于根据各所述采样点对应的第一预测分割区域与所述参照分割区域之间的差异，确定分割预测损失值；根据各所述采样点对应的第一预测定位区域与所述参照定位区域之间的差异，确定定位预测损失值；根据所述分割预测损失值和所述定位预测损失值，确定第二损失值。
21.在一个实施例中，所述第一分割网络包括定位检测单元和分割单元；所述预测模块还用于通过所述第一分割网络中的定位检测单元基于所述采样点进行目标对象定位区域预测，得到第一预测定位区域；通过所述第一分割网络中的分割单元分别基于各所述采样点进行目标对象分割预测，得到各所述采样点分别对应的预测分割区域。
22.在一个实施例中，所述训练模块还用于基于所述第一目标损失值对所述待训练的第一分割网络进行初始训练，得到已初始训练的第一分割网络；将所述点级标注图像进行第一变换处理，得到第一变换图像；通过所述已初始训练的第一分割网络，基于所述点级标注图像对应的待预测图像和相应的第一变换图像中的标注点进行目标对象分割预测，并根据所述待预测图像中分割预测的预测分割区域与相应的所述第一变换图像中分割预测的预测分割区域，确定第二目标损失值；所述待预测图像是基于所述点级标注图像得到的图像；基于所述第二目标损失值对所述已初始训练的第一分割网络进行进阶训练。
23.在一个实施例中，所述训练模块还用于通过所述已初始训练的第一分割网络，基于所述第一变换图像中的标注点对所述第一变换图像进行目标对象分割预测，得到第二预测分割区域；通过所述已初始训练的第一分割网络，基于所述待预测图像中的标注点对所述待预测图像进行目标对象分割预测，得到第三预测分割区域；将所述第三预测分割区域进行所述第一变换处理，得到变换分割区域；根据所述第二预测分割区域与所述变换分割区域之间的差异，确定第二目标损失值。
24.在一个实施例中，所述训练模块还用于将所述点级标注图像进行第二变换处理，得到待预测图像；其中，第二变换处理后得到的待预测图像中标注点的位置与所述点级标
注图像中标注点的位置相同；通过所述已初始训练的第一分割网络，基于第二变换处理后得到的待预测图像中的标注点，对所述待预测图像进行目标对象分割预测，得到第三预测分割区域。
25.在一个实施例中，所述训练模块还用于根据所述第二预测分割区域与所述变换分割区域之间的差异，确定第三损失值；通过所述已初始训练的第一分割网络基于所述第一变换图像中的标注点，对所述第一变换图像进行目标对象定位区域预测，得到第二预测定位区域；通过所述已初始训练的第一分割网络基于所述待预测图像中的标注点，对所述待预测图像进行目标对象定位区域预测，得到第三预测定位区域；将所述第三预测定位区域进行所述第一变换处理，得到变换定位区域；根据所述第二预测定位区域与变换定位区域之间的差异，确定第四损失值；根据所述第三损失值和所述第四损失值，确定第二目标损失值。
26.在一个实施例中，所述变换定位区域包括翻转变换后的定位区域；所述训练模块还用于将所述第三预测定位区域进行所述翻转处理，得到翻转变换后的定位区域；将所述点级标注图像进行所述区域抠除处理，得到待预测图像。
27.在一个实施例中，所述训练模块还用于通过所述第二分割网络对所述像素级标注图像进行目标对象分割预测，得到第四预测分割区域；根据所述第四预测分割区域与所述参照分割区域之间的差异，确定针对所述像素级标注图像的第五损失值；通过所述第二分割网络对所述像素级伪标注图像进行目标对象分割预测，得到第五预测分割区域；根据所述第五预测分割区域与所述伪标注分割区域之间的差异，确定针对所述像素级伪标注图像的第六损失值；根据所述第五损失值和所述第六损失值，确定第三目标损失值，并基于所述第三目标损失值训练所述第二分割网络。
28.在一个实施例中，所述预测模块还用于获取待分割的所述目标图像；通过训练结束后的第二分割网络对所述目标图像进行目标对象分割，得到分割后的图像；所述分割后的图像中包括针对所述目标对象标注的分割区域；输出所述分割后的图像。
29.在一个实施例中，所述像素级标注图像包括像素级标注医疗图像；所述点级标注图像包括点级标注医疗图像；所述目标图像包括目标医疗图像；所述目标对象包括所述目标医疗图像中的病灶区域。
30.第三方面，本技术提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本技术各方法实施例中的步骤。
31.第四方面，本技术提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本技术各方法实施例中的步骤。
32.第五方面，本技术提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本技术各方法实施例中的步骤。
33.上述基于图像的对象分割方法、装置、设备、介质和计算机程序产品，通过获取少量的像素级标注图像和大量的点级标注图像，其中，像素级标注图像中包括人工花费较多时间按像素级别对目标对象进行分割标注的参照分割区域，点级标注图像中包括人工花费较少时间针对目标对象进行点级弱标注得到的标注点。对参照分割区域进行点采样，得到至少两个采样点，通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。根据各第一预测分割区域之间的差异，以及
各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值，基于第一目标损失值对待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。基于像素级标注图像和像素级伪标注图像训练第二分割网络；第二分割网络训练结束后用于分割目标图像中的目标对象。相较于传统的全监督学习训练方式，本技术通过获取少量的像素级标注图像和大量的点级标注图像，对分割网络进行训练。由于只需要获取少量的花费较多时间精确标注的像素级标注图像，其余大量的点级标注图像可以花费较少时间简单标注得到，因此，可以大大缩短获取用于训练的图像的周期，从而提升了针对分割网络的训练效率。
附图说明
34.图1为一个实施例中基于图像的对象分割方法的应用环境图；
35.图2为一个实施例中基于图像的对象分割方法的流程示意图；
36.图3为一个实施例中传统的全监督训练方式与本技术的训练方式比对示意图；
37.图4为另一个实施例中基于图像的对象分割方法的应用环境图；
38.图5为一个实施例中本技术针对第一分割网络和第二分割网络的训练框架示意图；
39.图6为一个实施例中通过本技术的对象分割方法分割后的区域与参照分割区域的比对示意图；
40.图7为一个实施例中本技术的对象分割方法的通用性测试结果示意图；
41.图8为另一个实施例中基于图像的对象分割方法的流程示意图；
42.图9为一个实施例中基于图像的对象分割装置的结构框图；
43.图10为一个实施例中计算机设备的内部结构图；
44.图11为另一个实施例中计算机设备的内部结构图。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
46.本技术提供的基于图像的对象分割方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、云安全、主机安全等网络安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
47.服务器104可获取像素级标注图像和点级标注图像；像素级标注图像中包括按像素级别对目标对象进行分割标注的参照分割区域；点级标注图像中包括针对目标对象进行点级弱标注得到的标注点。服务器104可对参照分割区域进行点采样，得到至少两个采样点。服务器104可通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域，根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值，基于第一目标损失值对待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。服务器104可基于像素级标注图像和像素级伪标注图像训练第二分割网络；第二分割网络训练结束后用于分割目标图像中的目标对象。
48.可以理解，终端102可以获取目标图像，并将目标图像发送至服务器104中，可以理解，服务器104中可部署有已训练的第二分割网络。服务器104可通过第二分割网络对目标图像进行目标对象分割处理，并将分割后的图像发送至终端102进行输出显示。本实施例对此不做限定，可以理解，图1中的应用场景仅为示意说明，并不限定于此。
49.需要说明的是，本技术一些实施例中的基于图像的对象分割方法使用到了人工智能技术。比如，各采样点分别对应的第一预测分割区域，以及包括伪标注分割区域的像素级伪标注图像，则属于使用人工智能技术预测得到。
50.在一个实施例中，如图2所示，提供了一种基于图像的对象分割方法，该方法可应用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。本实施例以该方法应用于计算机设备为例进行说明，包括以下步骤：
51.步骤202，获取像素级标注图像和点级标注图像；像素级标注图像中包括按像素级别对目标对象进行分割标注的参照分割区域；点级标注图像中包括针对目标对象进行点级弱标注得到的标注点。
52.其中，待标注的图像中可包括目标对象。像素级标注图像是按像素级别对目标对象进行分割标注的图像。可以理解，像素级标注图像中标注出的参照分割区域是针对目标对象进行完整标注得到的。参照分割区域，是在针对分割网络的训练过程中用于作为分割参照的区域。点级标注图像是按照点级别对目标对象进行点级弱标注的图像，可以理解，点级标注图像中标注出的标注点是针对目标对象进行不完整标注，即弱标注得到的。
53.具体地，计算机设备可获取少量通过人工花费较多时间标注的像素级标注图像，以及获取大量通过人工花费较少时间标注的点级标注图像。可以理解，像素级标注图像的标注需要对目标对象进行像素级别的标注，即完整标注，由于定位目标对象在图像中的具体范围和边界需要花费大量时间，因此像素级标注图像的标注需要花费较多时间。点级标注图像只需要对目标对象进行点级别，即不完整标注，由于只需要定位目标对象在图像中的大概位置，也不需要确定边界，因此相较于像素级标注图像，点级标注图像的标注花费的时间较少。
54.在一个实施例中，计算机设备获取少量的像素级标注图像，可以理解为，计算机设备可获取图像数量小于预设图像阈值的像素级标注图像。计算机设备获取大量点级标注图像，可以理解为，计算机设备可获取图像数量大于预设图像阈值的点级标注图像。
55.在一个实施例中，如图3所示，301、302和303所示的区域均为图像中通过像素级别标注出来的目标对象所位于的准确位置和范围，304所示的点即为图像中通过点级别标注出来的目标对象所位于的大概位置。(a)部分所示的内容为传统的全监督学习训练方式，从(a)部分可知，全监督学习的方式需要获取的图像全部均为像素级标注图像，而像素级标注图像的标注需要花费大量时间，从而导致训练图像的获取效率较低，从而进一步导致后续针对分割网络的训练效率较低。(b)部分所示的内容为本技术的弱半监督训练方式，从(b)部分可知，弱半监督学习的方式需要获取的图像包括少量像素级标注图像和大量点级标注图像，而点级标注图像的标注需要花费的时间较少，从而提升了训练图像的获取效率，从而可进一步提升后续针对分割网络的训练效率。
56.步骤204，对参照分割区域进行点采样，得到至少两个采样点。
57.其中，采样点是从参照分割区域中采样得到的点数据。具体地，计算机设备可在参照分割区域中进行随机的点采样，得到至少两个采样点。
58.步骤206，通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。
59.其中，采样点对应的第一预测分割区域，是通过第一分割网络基于相应采样点进行目标对象分割预测得到的分割区域。
60.具体地，计算机设备可将具有采样点的像素级标注图像输入至待训练的第一分割网络，并通过待训练的第一分割网络分别基于像素级标注图像中的采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域，可以理解，分割预测得到的图像中包括第一预测分割区域。
61.在一个实施例中，待训练的第一分割网络中包括分割单元。计算机设备可将具有采样点的像素级标注图像输入至待训练的第一分割网络，并通过第一分割网络中的分割单元分别基于像素级标注图像中的采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。
62.步骤208，根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值。
63.其中，第一目标损失值是根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异确定得到的损失值。
64.在一个实施例中，计算机设备可根据各第一预测分割区域之间的差异，确定各第一预测分割区域之间的差异对应的损失值。同时，计算机设备可根据各第一预测分割区域分别与参照分割区域之间的差异，确定各第一预测分割区域分别与参照分割区域之间的差异对应的损失值。进而，计算机设备可将上述两个损失值进行加权融合，得到第一目标损失值。
65.举例说明，若对参照分割区域进行点采样，得到两个采样点，即第一采样点和第二采样点，则计算机设备可根据第一采样点对应的第一预测分割区域与第二采样点对应的第一预测分割区域之间的差异，确定各第一预测分割区域之间的差异对应的损失值。同时，计算机设备可根据第一采样点对应的第一预测分割区域与参照分割区域之间的差异，以及第二采样点对应的第一预测分割区域与参照分割区域之间的差异，确定各第一预测分割区域分别与参照分割区域之间的差异对应的损失值。进而，计算机设备可将上述两个损失值进
行加权融合，得到第一目标损失值。
66.步骤210，基于第一目标损失值对待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。
67.其中，伪标注分割区域，是通过已训练的第一分割网络基于标注点对点级标注图像进行目标对象分割预测得到的像素级的伪标注区域。可以理解，伪标注分割区域并不是人为真实标注出来的像素级的区域。像素级伪标注图像，是已训练的第一分割网络输出的、且包括像素级的伪标注分割区域的图像。
68.在一个实施例中，计算机设备可基于第一目标损失值对待训练的第一分割网络进行迭代训练，直至达到第一分割网络迭代停止条件时停止，得到已训练的第一分割网络。已训练的第一分割网络可用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。其中，上述的第一分割网络迭代停止条件具体可以是第一目标损失值小于预设的损失值，还可以是迭代次数达到预设次数。
69.步骤212，基于像素级标注图像和像素级伪标注图像训练第二分割网络；第二分割网络训练结束后用于分割目标图像中的目标对象。
70.具体地，计算机设备可将像素级标注图像和像素级伪标注图像输入至待训练的第二分割网络，以基于像素级标注图像和像素级伪标注图像对待训练的第二分割网络进行迭代训练，直至达到第二分割网络迭代停止条件，针对第二分割网络的训练结束，得到已训练的第二分割网络。已训练的第二分割网络用于分割目标图像中的目标对象。其中，上述的第二分割网络迭代停止条件具体可以是用于训练的损失值小于预设的损失值，还可以是迭代次数达到预设次数。
71.在一个实施例中，计算机设备可通过第二分割网络分别对像素级标注图像和像素级伪标注图像进行目标对象分割预测，得到像素级标注图像和像素级伪标注图像分别对应的预测分割区域。计算机设备可根据像素级标注图像对应的预测分割区域与参照分割区域之间的差异，以及，像素级伪标注图像对应的预测分割区域与伪标注分割区域之间的差异，确定用于训练第二分割网络的损失值，并基于用于训练第二分割网络的损失值对第二分割网络进行迭代训练。
72.上述基于图像的对象分割方法中，通过获取少量的像素级标注图像和大量的点级标注图像，其中，像素级标注图像中包括人工花费较多时间按像素级别对目标对象进行分割标注的参照分割区域，点级标注图像中包括人工花费较少时间针对目标对象进行点级弱标注得到的标注点。对参照分割区域进行点采样，得到至少两个采样点，通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值，基于第一目标损失值对待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。基于像素级标注图像和像素级伪标注图像训练第二分割网络；第二分割网络训练结束后用于分割目标图像中的目标对象。相较于传统的全监督学习训练方式，本技术通过获取少量的像素级标注图像和大量的点级标注图像，对分割网络进行训练。由于只需要获取少量的花费较多时间精确标注的像素级标注
图像，其余大量的点级标注图像可以花费较少时间简单标注得到，因此，可以大大缩短获取用于训练的图像的周期，从而提升了针对分割网络的训练效率。
73.以及，本技术在各第一预测分割区域分别与参照分割区域之间的差异的基础上，增加了各采样点分别对应的第一预测分割区域之间的差异，根据这两个方面的差异一同确定第一目标损失值，并基于第一目标损失值训练第二分割网络。由于约束了从同一个参照分割区域中采样得到的各采样点分别对应的第一预测分割区域之间的差异，即增加了针对多个采样点分别对应的预测分割区域的一致性约束，即第一目标损失值不仅考虑了分割预测的准确性，还考虑了多个采样点分别对应的预测分割区域的一致性，因此通过第一目标损失值对第一分割网络进行训练，可以提升训练得到的第一分割网络的分割准确率。
74.在一个实施例中，方法还包括：通过第一分割网络基于采样点对目标对象进行定位区域预测，得到各采样点分别对应的第一预测定位区域；根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值，包括：根据各采样点分别对应的第一预测分割区域之间的差异，以及各采样点分别对应的第一预测定位区域之间的差异，确定第一损失值；根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定第二损失值；根据第一损失值和第二损失值，确定第一目标损失值。
75.其中，第一预测定位区域，是通过第一分割网络基于采样点对目标对象进行定位区域预测得到的区域。第一损失值，是根据各采样点分别对应的第一预测分割区域之间的差异，以及各采样点分别对应的第一预测定位区域之间的差异确定得到的损失值。第二损失值，是根据各采样点对应的第一预测分割区域与参照分割区域之间的差异确定得到的损失值。
76.具体地，计算机设备可通过第一分割网络基于采样点对目标对象进行定位区域预测，得到各采样点分别对应的第一预测定位区域。进而，计算机设备可根据各采样点分别对应的第一预测分割区域之间的差异，以及各采样点分别对应的第一预测定位区域之间的差异，确定第一损失值，以及根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定第二损失值。计算机设备可将第一损失值和第二损失值进行加权融合，得到第一目标损失值。
77.在一个实施例中，计算机设备可根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定分割预测损失值，并将分割预测损失值确定为第二损失值。其中，分割预测损失值，是根据各采样点对应的第一预测分割区域与参照分割区域之间的差异确定得到的损失值。
78.上述实施例中，由于根据各采样点分别对应的第一预测分割区域之间的差异，以及各采样点分别对应的第一预测定位区域之间的差异，确定第一损失值，考虑了多个采样点分别对应的定位预测区域的一致性。这样，由于第一目标损失值不仅考虑了分割预测的准确性、多个采样点分别对应的预测分割区域的一致性，还考虑了多个采样点分别对应的定位预测区域的一致性，因此通过确定得到的第一目标损失值对第一分割网络进行训练，可以进一步提升训练得到的第一分割网络的分割准确率。
79.在一个实施例中，像素级标注图像中还包括按像素级别对目标对象进行定位标注的参照定位区域；根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确
定第二损失值，包括：根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定分割预测损失值；根据各采样点对应的第一预测定位区域与参照定位区域之间的差异，确定定位预测损失值；根据分割预测损失值和定位预测损失值，确定第二损失值。
80.其中，参照定位区域，是在针对分割网络的训练过程中用于作为定位参照的区域。定位预测损失值，是根据各采样点对应的第一预测定位区域与参照定位区域之间的差异确定得到的损失值。
81.具体地，计算机设备可根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定分割预测损失值，根据各采样点对应的第一预测定位区域与参照定位区域之间的差异，确定定位预测损失值。进而，计算机设备可将分割预测损失值和定位预测损失值进行加权融合，得到第二损失值。
82.上述实施例中，由于根据各采样点对应的第一预测定位区域与参照定位区域之间的差异，确定定位预测损失值，考虑了定位预测的准确性。这样，由于第一目标损失值不仅考虑了分割预测的准确性、多个采样点分别对应的预测分割区域的一致性、多个采样点分别对应的定位预测区域的一致性，以及定位预测的准确性，因此通过确定得到的第一目标损失值对第一分割网络进行训练，可以进一步提升训练得到的第一分割网络的分割准确率。
83.在一个实施例中，计算机设备可获取像素级标注图像xs，并从该像素级标注图像中的参照分割区域内采样得到两个采样点p
s1
和p
s2
，则第一目标损失值可以通过以下公式计算得到：
[0084][0085][0086][0087][0088]
其中，表示针对采样点p
s1
的第一预测定位区域，表示针对采样点p
s2
的第一预测定位区域，表示针对采样点p
s1
的第一预测分割区域，表示针对采样点p
s2
的第一预测分割区域，y
s,box
表示参照定位区域，y
s,seg
表示参照分割区域，λ1和λ2表示预先设定的加权系数，表示第一损失值，表示第二损失值，表示第一目标损失值。
[0089]
在一个实施例中，第一分割网络包括定位检测单元和分割单元；方法还包括：通过第一分割网络中的定位检测单元基于采样点进行目标对象定位区域预测，得到第一预测定位区域；通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域，包括：通过第一分割网络中的分割单元分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。
[0090]
具体地，计算机设备可将具备采样点的像素级标注图像输入至第一分割网络中，
以通过第一分割网络中的定位检测单元基于采样点进行目标对象定位区域预测，得到第一预测定位区域，以及通过第一分割网络中的分割单元分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。
[0091]
上述实施例中，通过定位检测单元基于采样点进行目标对象定位区域预测，得到第一预测定位区域，可以提升第一预测定位区域的预测准确性。通过分割单元分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域，可以提升第一预测分割区域的预测准确性。
[0092]
在一个实施例中，基于第一目标损失值对待训练的第一分割网络进行训练，包括：基于第一目标损失值对待训练的第一分割网络进行初始训练，得到已初始训练的第一分割网络；将点级标注图像进行第一变换处理，得到第一变换图像；通过已初始训练的第一分割网络，基于点级标注图像对应的待预测图像和相应的第一变换图像中的标注点进行目标对象分割预测，并根据待预测图像中分割预测的预测分割区域与相应的第一变换图像中分割预测的预测分割区域，确定第二目标损失值；待预测图像是基于点级标注图像得到的图像；基于第二目标损失值对已初始训练的第一分割网络进行进阶训练。
[0093]
其中，第一变换图像，是将点级标注图像进行第一变换处理得到的图像。第二目标损失值，是根据待预测图像中分割预测的预测分割区域与相应的第一变换图像中分割预测的预测分割区域确定得到的损失值。
[0094]
具体地，计算机设备可基于第一目标损失值对待训练的第一分割网络进行迭代初始训练，在迭代训练结束后，得到已初始训练的第一分割网络。计算机设备可将点级标注图像进行第一变换处理，得到第一变换图像，并通过已初始训练的第一分割网络，基于点级标注图像对应的待预测图像和相应的第一变换图像中的标注点进行目标对象分割预测，并根据待预测图像中分割预测的预测分割区域与相应的第一变换图像中分割预测的预测分割区域，确定第二目标损失值。进而，计算机设备可基于第二目标损失值对已初始训练的第一分割网络进行进阶的迭代训练。
[0095]
在一个实施例中，计算机设备可通过已初始训练的第一分割网络，基于点级标注图像对应的待预测图像和相应的第一变换图像中的标注点进行目标对象分割预测。计算机设备可将待预测图像中分割预测的预测分割区域进行第一变换处理，并基于第一变换处理后的预测分割区域与相应的第一变换图像中分割预测的预测分割区域，确定第二目标损失值。
[0096]
上述实施例中，通过第一目标损失值对待训练的第一分割网络进行初始训练，得到已初始训练的第一分割网络，进而，通过第二目标损失值对已初始训练的第一分割网络进行进阶训练，以对已初始训练的第一分割网络进行微调，从而可以进一步提升已训练的第一分割网络的分割准确率和健壮性。
[0097]
在一个实施例中，通过已初始训练的第一分割网络，基于点级标注图像对应的待预测图像和相应的第一变换图像中的标注点进行目标对象分割预测，并根据待预测图像中分割预测的预测分割区域与相应的第一变换图像中分割预测的预测分割区域，确定第二目标损失值，包括：通过已初始训练的第一分割网络，基于第一变换图像中的标注点对第一变换图像进行目标对象分割预测，得到第二预测分割区域；通过已初始训练的第一分割网络，基于待预测图像中的标注点对待预测图像进行目标对象分割预测，得到第三预测分割区
域；将第三预测分割区域进行第一变换处理，得到变换分割区域；根据第二预测分割区域与变换分割区域之间的差异，确定第二目标损失值。
[0098]
其中，第二预测分割区域，是通过已初始训练的第一分割网络，基于第一变换图像中的标注点对第一变换图像进行目标对象分割预测得到的区域。第三预测分割区域，是通过已初始训练的第一分割网络，基于待预测图像中的标注点对待预测图像进行目标对象分割预测得到的区域。变换分割区域，是将第三预测分割区域进行第一变换处理得到的区域。待预测图像中标注点的位置与点级标注图像中标注点的位置相同。
[0099]
具体地，计算机设备可将第一变换图像输入至已初始训练的第一分割网络，以通过已初始训练的第一分割网络，基于第一变换图像中的标注点对第一变换图像进行目标对象分割预测，得到第二预测分割区域。计算机设备可将待预测图像输入至已初始训练的第一分割网络，以通过已初始训练的第一分割网络，基于待预测图像中的标注点对待预测图像进行目标对象分割预测，得到第三预测分割区域。进而，计算机设备可将第三预测分割区域进行第一变换处理，得到变换分割区域，并根据第二预测分割区域与变换分割区域之间的差异，确定第二目标损失值。
[0100]
在一个实施例中，计算机设备可将点级标注图像直接作为待预测图像，并通过已初始训练的第一分割网络，基于点级标注图像中的标注点，对点级标注图像进行目标对象分割预测，得到第三预测分割区域。
[0101]
在一个实施例中，计算机设备可根据第二预测分割区域与变换分割区域之间的差异，确定第三损失值，并将第三损失值直接作为第二目标损失值。
[0102]
上述实施例中，通过将预测得到的第三预测分割区域进行第一变换处理，得到变换分割区域，并根据第二预测分割区域与变换分割区域之间的差异，确定第二目标损失值，通过第二目标损失对已初始训练的第一分割网络进行微调，从而可以进一步提升已训练的第一分割网络的分割准确率和健壮性。
[0103]
在一个实施例中，通过已初始训练的第一分割网络，基于待预测图像中的标注点对待预测图像进行目标对象分割预测，得到第三预测分割区域，包括：将点级标注图像进行第二变换处理，得到待预测图像；其中，第二变换处理后得到的待预测图像中标注点的位置与点级标注图像中标注点的位置相同；通过已初始训练的第一分割网络，基于第二变换处理后得到的待预测图像中的标注点，对待预测图像进行目标对象分割预测，得到第三预测分割区域。
[0104]
具体地，计算机设备可将点级标注图像进行第二变换处理，得到待预测图像，并将第二变换处理后得到的待预测图像输入至已初始训练的第一分割网络，以通过已初始训练的第一分割网络，基于第二变换处理后得到的待预测图像中的标注点，对待预测图像进行目标对象分割预测，得到第三预测分割区域。
[0105]
上述实施例中，通过将点级标注图像进行第二变换处理，得到形态更复杂的待预测图像，并通过已初始训练的第一分割网络，基于第二变换处理后得到的待预测图像中的标注点，对形态更复杂的待预测图像进行目标对象分割预测，得到第三预测分割区域。进而再通过确定得到的第二目标损失值对第一分割网络进行微调，从而可以进一步提升已训练的第一分割网络的分割准确率和健壮性。
[0106]
在一个实施例中，根据第二预测分割区域与变换分割区域之间的差异，确定第二
目标损失值，包括：根据第二预测分割区域与变换分割区域之间的差异，确定第三损失值；通过已初始训练的第一分割网络基于第一变换图像中的标注点，对第一变换图像进行目标对象定位区域预测，得到第二预测定位区域；通过已初始训练的第一分割网络基于待预测图像中的标注点，对待预测图像进行目标对象定位区域预测，得到第三预测定位区域；将第三预测定位区域进行第一变换处理，得到变换定位区域；根据第二预测定位区域与变换定位区域之间的差异，确定第四损失值；根据第三损失值和第四损失值，确定第二目标损失值。
[0107]
其中，第三损失值，是根据第二预测分割区域与变换分割区域之间的差异确定得到的损失值。第二预测定位区域，是通过已初始训练的第一分割网络基于第一变换图像中的标注点，对第一变换图像进行目标对象定位区域预测得到的区域。第三预测定位区域，是通过已初始训练的第一分割网络基于待预测图像中的标注点，对待预测图像进行目标对象定位区域预测得到的区域。变换定位区域，是将第三预测定位区域进行第一变换处理得到的区域。第四损失值，是根据第二预测定位区域与变换定位区域之间的差异确定得到的损失值。
[0108]
具体地，计算机设备可根据第二预测分割区域与变换分割区域之间的差异，确定第三损失值，并将第一变换图像输入至已初始训练的第一分割网络，以通过已初始训练的第一分割网络基于第一变换图像中的标注点，对第一变换图像进行目标对象定位区域预测，得到第二预测定位区域。计算机设备可将待预测图像输入至已初始训练的第一分割网络，以通过已初始训练的第一分割网络基于待预测图像中的标注点，对待预测图像进行目标对象定位区域预测，得到第三预测定位区域。进而，计算机设备可将第三预测定位区域进行第一变换处理，得到变换定位区域，并根据第二预测定位区域与变换定位区域之间的差异，确定第四损失值。进而，计算机设备可将第三损失值和第四损失值进行加权融合，得到第二目标损失值。
[0109]
在一个实施例中，第一变换处理可以包括翻转处理、平移处理、旋转处理和缩放处理等中的至少一种。第二变换处理可以包括区域抠除处理、剪裁处理、添加噪声和颜色扰动处理等中的至少一种。
[0110]
上述实施例中，第二目标损失值的确定不仅考虑了第二预测分割区域与变换分割区域之间的差异，还考虑了第二预测定位区域与变换定位区域之间的差异，即在考虑了分割准确率的同时，还考虑了定位的准确率，进而通过确定的第二目标损失对已初始训练的第一分割网络进行进阶训练，可以进一步提升训练得到的第一分割网络的分割准确率。
[0111]
在一个实施例中，变换定位区域包括翻转变换后的定位区域；将第三预测定位区域进行第一变换处理，得到变换定位区域，包括：将第三预测定位区域进行翻转处理，得到翻转变换后的定位区域；将点级标注图像进行第二变换处理，得到待预测图像，包括：将点级标注图像进行区域抠除处理，得到待预测图像。
[0112]
具体地，第一变换处理为翻转处理，第二变换处理为区域抠除处理。计算机设备可将第三预测定位区域进行翻转处理，得到翻转变换后的定位区域，以及将点级标注图像进行区域抠除处理，得到待预测图像。
[0113]
上述实施例中，通过将点级标注图像进行区域抠除处理，得到待预测图像，可以进一步提升图像的复杂性。通过将第三预测定位区域进行翻转处理，得到翻转变换后的定位
区域，进而再确定第二目标损失值，并通过确定的第二目标损失对已初始训练的第一分割网络进行进阶训练，可以进一步提升训练得到的第一分割网络的分割准确率和健壮性。
[0114]
在一个实施例中，计算机设备可获取点级标注图像xw，则第二目标损失值可以通过以下公式计算得到：
[0115][0116][0117]
其中，表示针对点级标注图像xw进行翻转变换后得到的图像对应的第二预测定位区域，表示针对点级标注图像xw进行区域抠除处理后得到的图像对应的第三预测定位区域，表示对第三预测定位区域进行翻转变换后得到的定位区域，表示针对点级标注图像xw进行翻转变换后得到的图像对应的第二预测分割区域，表示针对点级标注图像xw进行区域抠除处理后得到的图像对应的第三预测分割区域，表示对第三预测分割区域进行翻转变换后得到的分割区域，λ3和λ4表示预先设定的加权系数，表示第三损失值，表示第四损失值，表示第二目标损失值。
[0118]
在一个实施例中，基于像素级标注图像和像素级伪标注图像训练第二分割网络，包括：通过第二分割网络对像素级标注图像进行目标对象分割预测，得到第四预测分割区域；根据第四预测分割区域与参照分割区域之间的差异，确定针对像素级标注图像的第五损失值；通过第二分割网络对像素级伪标注图像进行目标对象分割预测，得到第五预测分割区域；根据第五预测分割区域与伪标注分割区域之间的差异，确定针对像素级伪标注图像的第六损失值；根据第五损失值和第六损失值，确定第三目标损失值，并基于第三目标损失值训练第二分割网络。
[0119]
其中，第四预测分割区域，是通过第二分割网络对像素级标注图像进行目标对象分割预测得到的区域。第五损失值，是根据第四预测分割区域与参照分割区域之间的差异确定得到的损失值。第五预测分割区域，是通过第二分割网络对像素级伪标注图像进行目标对象分割预测得到的区域。第六损失值，是根据第五预测分割区域与伪标注分割区域之间的差异确定得到的损失值。第三目标损失值，是根据第五损失值和第六损失值确定得到的损失值。
[0120]
具体地，计算机设备可将像素级标注图像输入至待训练的第二分割网络，以通过第二分割网络对像素级标注图像进行目标对象分割预测，得到第四预测分割区域，并根据第四预测分割区域与参照分割区域之间的差异，确定针对像素级标注图像的第五损失值。计算机设备可将像素级伪标注图像输入至待训练的第二分割网络，以通过第二分割网络对像素级伪标注图像进行目标对象分割预测，得到第五预测分割区域，并根据第五预测分割区域与伪标注分割区域之间的差异，确定针对像素级伪标注图像的第六损失值。进而，计算机设备可根据第五损失值和第六损失值，确定第三目标损失值，并基于第三目标损失值训
练第二分割网络。
[0121]
上述实施例中，通过针对像素级标注图像进行分割预测得到的第四预测分割区域与参照分割区域之间的差异，确定针对像素级标注图像的第五损失值，并通过针对像素级伪标注图像进行分割预测得到的第五预测分割区域与伪标注分割区域之间的差异，确定针对像素级伪标注图像的第六损失值，进而再根据第五损失值和第六损失值，确定第三目标损失值，并基于第三目标损失值训练第二分割网络，可以提升已训练的第二分割网络的分割准确性。
[0122]
在一个实施例中，第三目标损失值可以通过以下公式计算得到：
[0123][0124][0125][0126]
其中，f
stu
()表示待训练的第二分割网络，θ
stu
表示待训练的第二分割网络中的模型参数，表示已训练的第一分割网络预测得到的伪标注分割区域，f
stu
(xs,θ
stu
)表示针对像素级标注图像进行目标对象分割预测得到的第四预测分割区域，f
stu
(xw,θ
stu
)表示针对像素级伪标注图像进行目标对象分割预测得到的第五预测分割区域，表示针对像素级标注图像xs的第五损失值，表示针对像素级伪标注图像的第六损失值，l
stu
表示第三目标损失值。
[0127]
在一个实施例中，方法还包括：获取待分割的目标图像；通过训练结束后的第二分割网络对目标图像进行目标对象分割，得到分割后的图像；分割后的图像中包括针对目标对象标注的分割区域；输出分割后的图像。
[0128]
具体地，计算机设备中可部署有已训练的第二分割网络。计算机设备可获取待分割的目标图像，并通过第二分割网络对目标图像进行目标对象分割，得到分割后的图像，进而计算机设备可输出分割后的图像。
[0129]
在一个实施例中，如图4所示，计算机设备包括服务器，服务器中可部署有已训练的第二分割网络。服务器可从终端a中获取待分割的目标图像，并通过第二分割网络对目标图像进行目标对象分割，得到分割后的图像，进而服务器可将分割后的图像发送至终端b进行显示。
[0130]
上述实施例中，通过获取待分割的目标图像，并通过训练结束后的第二分割网络对目标图像进行目标对象分割，可以提升目标对象分割准确率。
[0131]
在一个实施例中，如图5所示，计算机设备可获取像素级标注图像和点级标注图像，对像素级标注图像中的参照分割区域进行点随机采样，得到两个采样点，并通过待训练的第一分割网络分别基于两个采样点进行目标对象分割预测，得到两个采样点分别对应的第一预测分割区域。通过第一分割网络基于采样点对目标对象进行定位区域预测，得到两个采样点分别对应的第一预测定位区域。根据两个采样点分别对应的第一预测分割区域之间的差异，以及两个采样点分别对应的第一预测定位区域之间的差异，确定第一损失值。根据两个采样点对应的第一预测分割区域与参照分割区域之间的差异，确定分割预测损失值，并根据两个采样点对应的第一预测定位区域与参照定位区域之间的差异，确定定位预
测损失值。根据分割预测损失值和定位预测损失值，确定第二损失值，并根据第一损失值和第二损失值，确定第一目标损失值。基于第一目标损失值对待训练的第一分割网络进行初始训练，得到已初始训练的第一分割网络。
[0132]
继续参照图5，在本实施例中，计算机设备还可将点级标注图像进行翻转处理，得到第一变换图像。通过已初始训练的第一分割网络，基于第一变换图像中的标注点对第一变换图像进行目标对象分割预测，得到第二预测分割区域。将点级标注图像进行区域抠除处理，得到待预测图像。通过已初始训练的第一分割网络，基于区域抠除处理后得到的待预测图像中的标注点，对待预测图像进行目标对象分割预测，得到第三预测分割区域。将第三预测分割区域进行翻转处理，得到翻转后变换后的分割区域，并根据第二预测分割区域与翻转后变换后的分割区域之间的差异，确定第三损失值。通过已初始训练的第一分割网络基于第一变换图像中的标注点，对第一变换图像进行目标对象定位区域预测，得到第二预测定位区域。通过已初始训练的第一分割网络基于待预测图像中的标注点，对待预测图像进行目标对象定位区域预测，得到第三预测定位区域。将第三预测定位区域进行翻转处理，得到翻转变换后的定位区域，并根据第二预测定位区域与翻转变换后的定位区域之间的差异，确定第四损失值，根据第三损失值和第四损失值，确定第二目标损失值。基于第二目标损失值对已初始训练的第一分割网络进行进阶训练，其中，训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。
[0133]
继续参照图5，在本实施例中，计算机设备还通过第二分割网络对像素级标注图像进行目标对象分割预测，得到第四预测分割区域，根据第四预测分割区域与参照分割区域之间的差异，确定针对像素级标注图像的第五损失值。通过第二分割网络对像素级伪标注图像进行目标对象分割预测，得到第五预测分割区域，根据第五预测分割区域与伪标注分割区域之间的差异，确定针对像素级伪标注图像的第六损失值。根据第五损失值和第六损失值，确定第三目标损失值，并基于第三目标损失值训练第二分割网络，其中，第二分割网络训练结束后用于分割目标图像中的目标对象。
[0134]
在一个实施例中，像素级标注图像包括像素级标注医疗图像；点级标注图像包括点级标注医疗图像；目标图像包括目标医疗图像；目标对象包括目标医疗图像中的病灶区域。
[0135]
具体地，计算机设备可获取像素级标注医疗图像和点级标注医疗图像，其中，像素级标注医疗图像中包括按像素级别对病灶区域进行分割标注的参照分割区域，点级标注医疗图像中包括针对病灶区域进行点级弱标注得到的标注点。计算机设备可对参照分割区域进行点采样，得到至少两个采样点，并通过待训练的第一分割网络分别基于各采样点进行病灶区域分割预测，得到各采样点分别对应的第一预测分割区域。计算机设备可根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值，并基于第一目标损失值对待训练的第一分割网络进行训练。其中，训练得到的第一分割网络用于根据标注点对点级标注医疗图像进行病灶区域分割预测，得到包括伪标注分割区域的像素级伪标注图像。计算机设备可基于像素级标注医疗图像和像素级伪标注图像训练第二分割网络，其中，第二分割网络训练结束后用于分割目标医疗图像中的病灶区域。
[0136]
在一个实施例中，像素级标注医疗图像包括像素级标注内镜图像，点级标注医疗图像包括点级标注内镜图像，目标医疗图像包括目标内镜图像，目标对象包括目标内镜图像中的病灶区域。具体地，计算机设备可获取像素级标注内镜图像和点级标注内镜图像，其中，像素级标注内镜图像中包括按像素级别对病灶区域进行分割标注的参照分割区域，点级标注内镜图像中包括针对病灶区域进行点级弱标注得到的标注点。计算机设备可对参照分割区域进行点采样，得到至少两个采样点，并通过待训练的第一分割网络分别基于各采样点进行病灶区域分割预测，得到各采样点分别对应的第一预测分割区域。计算机设备可根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值，并基于第一目标损失值对待训练的第一分割网络进行训练。其中，训练得到的第一分割网络用于根据标注点对点级标注内镜图像进行病灶区域分割预测，得到包括伪标注分割区域的像素级伪标注图像。计算机设备可基于像素级标注内镜图像和像素级伪标注图像训练第二分割网络，其中，第二分割网络训练结束后用于分割目标内镜图像中的病灶区域。
[0137]
在一个实施例中，如图6所示，(a)、(b)和(c)三个部分均为针对内镜图像中病灶区域(即灰色所示区域)的分割结果。可以理解，虚线部分是专家医生花费大量时间对病灶区域进行像素级别标注得到的参照分割区域，实线部分是通过本技术已训练的第二分割网络自动对病灶区域进行分割预测得到的分割区域。可以看出，实线部分所分割的区域与虚线部分所分割的区域非常接近，即本技术基于图像的对象分割方法可以精确地对内镜图像中的病灶区域进行智能化的自动分割。
[0138]
在一个实施例中，为了说明本技术的对象分割方法在不同的类型的内镜图像上都具备通用性，比如，鼻咽内镜图像和结直肠内镜图像等，现采用三个不同类型的内镜图像数据集对本技术的对象分割方法的通用性进行验证。如图7所示，前三列是针对第一个类型的数据集的验证结果，中间三列是针对第二个类型的数据集的验证结果，后三列是针对第三个类型的数据集的验证结果。图7中所示的5％、20％、50％和100％是指只使用了相应数据集中5％、20％、50％和100％的像素级标注图像进行训练，其他的训练图像均是训练集中的点级标注图像。第一行是在训练过程中没有约束各标注点对应的第一预测分割区域之间的差异、各采样点分别对应的第一预测定位区域之间的差异、各标注点对应的第二预测分割区域与变换分割区域之间的差异所得到的分割结果。第二行是本技术的在训练过程中约束了各标注点对应的第一预测分割区域之间的差异、各采样点分别对应的第一预测定位区域之间的差异、各标注点对应的第二预测分割区域与变换分割区域之间的差异所得到的分割结果。第三行是传统的全监督训练方式，即训练过程中所有的训练图像都是像素级标注图像所得到的分割结果。以后三列为例进行结果比对分析，通过对比第二行和第三行分割结果可知，即使只采用了50％的像素级标注图像对分割网络进行训练，本技术的对象分割方法可以与传统的采用了100％的像素级标注图像(即全监督训练方式)进行训练的结果相媲美。可以理解，本技术基于图像的对象分割方法可以精确地对内镜图像中的病灶区域进行智能化的自动分割。
[0139]
上述实施例中，通过像素级标注医疗图像和点级标注医疗图像训练第二分割网络，并通过第二分割网络对目标医疗图像进行病灶区域分割，可以提升病灶分割的准确率。
[0140]
如图8所示，在一个实施例中，提供了一种基于图像的对象分割方法，该方法可应
用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。本实施例以该方法应用于计算机设备为例进行说明。该方法可应用于医疗业务中针对医疗图像的病灶分割场景，可以理解，该方法还可以应用于非医疗业务中目标图像的目标对象分割场景，该方法具体包括以下步骤：
[0141]
步骤802，获取像素级标注图像和点级标注图像；像素级标注图像中包括按像素级别对目标对象进行分割标注的参照分割区域，及按像素级别对目标对象进行定位标注的参照定位区域；点级标注图像中包括针对目标对象进行点级弱标注得到的标注点。
[0142]
可以理解，在本技术对象分割方法应用于医疗业务中针对医疗图像病灶分割场景的情况下，上述像素级标注图像为像素级标注医疗图像，上述点级标注图像为点级标注医疗图像，上述目标图像为目标医疗图像，其中，该目标对象为目标医疗图像中的病灶区域。
[0143]
还可以理解，在本技术对象分割方法应用于非医疗业务中目标图像的目标对象分割场景的情况下，比如，在本技术对象分割方法应用于工业设计中针对工业图像的元器件分割场景的情况下，上述像素级标注图像为像素级标注工业图像，上述点级标注图像为点级标注工业图像，上述目标图像为目标工业图像，其中，该目标对象为目标工业图像中的目标元器件。
[0144]
步骤804，对参照分割区域进行点采样，得到至少两个采样点，并通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。
[0145]
步骤806，通过第一分割网络基于采样点对目标对象进行定位区域预测，得到各采样点分别对应的第一预测定位区域。
[0146]
步骤808，根据各采样点分别对应的第一预测分割区域之间的差异，以及各采样点分别对应的第一预测定位区域之间的差异，确定第一损失值。
[0147]
步骤810，根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定分割预测损失值，并根据各采样点对应的第一预测定位区域与参照定位区域之间的差异，确定定位预测损失值。
[0148]
步骤812，根据分割预测损失值和定位预测损失值，确定第二损失值，并根据第一损失值和第二损失值，确定第一目标损失值。
[0149]
步骤814，基于第一目标损失值对待训练的第一分割网络进行初始训练，得到已初始训练的第一分割网络，将点级标注图像进行第一变换处理，得到第一变换图像。
[0150]
步骤816，通过已初始训练的第一分割网络，基于第一变换图像中的标注点对第一变换图像进行目标对象分割预测，得到第二预测分割区域。
[0151]
步骤818，将点级标注图像进行第二变换处理，得到待预测图像；其中，第二变换处理后得到的待预测图像中标注点的位置与点级标注图像中标注点的位置相同。
[0152]
步骤820，通过已初始训练的第一分割网络，基于第二变换处理后得到的待预测图像中的标注点，对待预测图像进行目标对象分割预测，得到第三预测分割区域。
[0153]
步骤822，将第三预测分割区域进行第一变换处理，得到变换分割区域，并根据第二预测分割区域与变换分割区域之间的差异，确定第三损失值。
[0154]
步骤824，通过已初始训练的第一分割网络基于第一变换图像中的标注点，对第一变换图像进行目标对象定位区域预测，得到第二预测定位区域。
[0155]
步骤826，通过已初始训练的第一分割网络基于待预测图像中的标注点，对待预测图像进行目标对象定位区域预测，得到第三预测定位区域。
[0156]
步骤828，将第三预测定位区域进行第一变换处理，得到变换定位区域，并根据第二预测定位区域与变换定位区域之间的差异，确定第四损失值，根据第三损失值和第四损失值，确定第二目标损失值。
[0157]
步骤830，基于第二目标损失值对已初始训练的第一分割网络进行进阶训练；训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。
[0158]
步骤832，通过第二分割网络对像素级标注图像进行目标对象分割预测，得到第四预测分割区域，根据第四预测分割区域与参照分割区域之间的差异，确定针对像素级标注图像的第五损失值。
[0159]
步骤834，通过第二分割网络对像素级伪标注图像进行目标对象分割预测，得到第五预测分割区域，根据第五预测分割区域与伪标注分割区域之间的差异，确定针对像素级伪标注图像的第六损失值；
[0160]
步骤836，根据第五损失值和第六损失值，确定第三目标损失值，并基于第三目标损失值训练第二分割网络；第二分割网络训练结束后用于分割目标图像中的目标对象。
[0161]
可以理解，在本技术对象分割方法应用于医疗业务中针对医疗图像病灶分割场景的情况下，计算机设备可获取待分割的目标医疗图像，通过训练结束后的第二分割网络对目标医疗图像进行目标病灶分割，得到分割后的医疗图像，分割后的医疗图像中包括针对目标病灶区域标注的分割区域，输出分割后的医疗图像。
[0162]
在本技术对象分割方法应用于工业设计中针对工业图像的元器件分割场景的情况下，计算机设备可获取待分割的目标工业图像，通过训练结束后的第二分割网络对目标工业图像进行目标元器件分割，得到分割后的工业图像，分割后的工业图像中包括针对目标元器件标注的分割区域，输出分割后的工业图像。
[0163]
还可以理解，在本技术对象分割方法应用于医疗业务中针对医疗图像病灶分割场景的情况下，医疗图像具体可以是通过医疗行业中的内窥镜设备采集得到的内镜图像。
[0164]
为了更清楚地理解本技术实施例中对象分割方法如何应用于医疗业务中针对内镜图像的病灶分割场景。现进行如下具体说明，具体地，计算机设备可获取像素级标注内镜图像和点级标注内镜图像；像素级标注内镜图像中包括按像素级别对病灶区域进行分割标注的参照分割区域，以及按像素级别对病灶区域进行定位标注的参照定位区域；点级标注内镜图像中包括针对病灶区域进行点级弱标注得到的标注点。对参照分割区域进行点采样，得到至少两个采样点，并通过待训练的第一分割网络分别基于各采样点进行病灶区域分割预测，得到各采样点分别对应的预测分割区域。通过第一分割网络基于采样点对病灶区域进行定位区域预测，得到各采样点分别对应的第一预测定位区域。根据各采样点分别对应的第一预测分割区域之间的差异，以及各采样点分别对应的第一预测定位区域之间的差异，确定第一损失值。根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定分割预测损失值，并根据各采样点对应的第一预测定位区域与参照定位区域之间的差异，确定定位预测损失值。根据分割预测损失值和定位预测损失值，确定第二损失值，并根据第一损失值和第二损失值，确定第一目标损失值。
[0165]
计算机设备可基于第一目标损失值对待训练的第一分割网络进行初始训练，得到已初始训练的第一分割网络，将点级标注内镜图像进行第一变换处理，得到第一变换内镜图像。通过已初始训练的第一分割网络，基于第一变换内镜图像中的标注点对第一变换内镜图像进行病灶区域分割预测，得到第二预测分割区域。将点级标注内镜图像进行第二变换处理，得到待预测内镜图像；其中，第二变换处理后得到的待预测内镜图像中标注点的位置与点级标注内镜图像中标注点的位置相同。通过已初始训练的第一分割网络，基于第二变换处理后得到的待预测内镜图像中的标注点，对待预测内镜图像进行病灶区域分割预测，得到第三预测分割区域。将第三预测分割区域进行第一变换处理，得到变换分割区域，并根据第二预测分割区域与变换分割区域之间的差异，确定第三损失值。通过已初始训练的第一分割网络基于第一变换内镜图像中的标注点，对第一变换内镜图像进行病灶区域定位区域预测，得到第二预测定位区域。通过已初始训练的第一分割网络基于待预测内镜图像中的标注点，对待预测内镜图像进行病灶区域定位区域预测，得到第三预测定位区域。将第三预测定位区域进行第一变换处理，得到变换定位区域，并根据第二预测定位区域与变换定位区域之间的差异，确定第四损失值，根据第三损失值和第四损失值，确定第二目标损失值。基于第二目标损失值对已初始训练的第一分割网络进行进阶训练；训练得到的第一分割网络用于根据标注点对点级标注内镜图像进行病灶区域分割预测，得到包括伪标注分割区域的像素级伪标注内镜图像。
[0166]
计算机设备可通过第二分割网络对像素级标注内镜图像进行病灶区域分割预测，得到第四预测分割区域，根据第四预测分割区域与参照分割区域之间的差异，确定针对像素级标注内镜图像的第五损失值。通过第二分割网络对像素级伪标注内镜图像进行病灶区域分割预测，得到第五预测分割区域，根据第五预测分割区域与伪标注分割区域之间的差异，确定针对像素级伪标注内镜图像的第六损失值；根据第五损失值和第六损失值，确定第三目标损失值，并基于第三目标损失值训练第二分割网络，得到已训练的第二分割网络。
[0167]
计算机设备可获取待分割的所述目标内镜图像；通过训练结束后的第二分割网络对所述目标内镜图像进行病灶区域分割，得到分割后的内镜图像；所述分割后的内镜图像中包括针对所述病灶区域标注的分割区域；输出所述分割后的内镜图像。通过本技术的基于图像的对象分割方法对内镜图像进行病灶分割，可以提升针对内镜图像中病灶的分割准确性。
[0168]
本技术还另外提供一种应用场景，该应用场景应用上述的基于图像的对象分割方法。具体地，该基于图像的对象分割方法还可应用于医疗业务中除内镜图像外的其他医疗图像病灶分割场景。其中，其他医疗图像具体可包括彩超图像、ct(computed tomography，计算机断层摄影)图像以及核磁共振图像等中的至少一种。可以理解，本技术的基于图像的对象分割方法还可以应用于非医疗业务中目标图像的目标对象分割场景，比如，从目标图像中分割出人脸区域等应用场景。再比如，在工业应用场景中，从工业图像中分割中目标元器件等应用场景，对此不做限定。通过本技术的基于图像的对象分割方法对目标图像进行目标对象分割，可以提升目标对象分割准确性。
[0169]
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部
分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0170]
在一个实施例中，如图9所示，提供了一种基于图像的对象分割装置900，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：
[0171]
获取模块902，用于获取像素级标注图像和点级标注图像；像素级标注图像中包括按像素级别对目标对象进行分割标注的参照分割区域；点级标注图像中包括针对目标对象进行点级弱标注得到的标注点；
[0172]
采样模块904，用于对参照分割区域进行点采样，得到至少两个采样点；
[0173]
预测模块906，用于通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域；
[0174]
确定模块908，用于根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区域之间的差异，确定第一目标损失值；
[0175]
训练模块910，用于基于第一目标损失值对待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像；
[0176]
训练模块910还用于基于像素级标注图像和像素级伪标注图像训练第二分割网络；第二分割网络训练结束后用于分割目标图像中的目标对象。
[0177]
在一个实施例中，预测模块906还用于通过第一分割网络基于采样点对目标对象进行定位区域预测，得到各采样点分别对应的第一预测定位区域；确定模块908还用于根据各采样点分别对应的第一预测分割区域之间的差异，以及各采样点分别对应的第一预测定位区域之间的差异，确定第一损失值；根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定第二损失值；根据第一损失值和第二损失值，确定第一目标损失值。
[0178]
在一个实施例中，像素级标注图像中还包括按像素级别对目标对象进行定位标注的参照定位区域；确定模块908还用于根据各采样点对应的第一预测分割区域与参照分割区域之间的差异，确定分割预测损失值；根据各采样点对应的第一预测定位区域与参照定位区域之间的差异，确定定位预测损失值；根据分割预测损失值和定位预测损失值，确定第二损失值。
[0179]
在一个实施例中，第一分割网络包括定位检测单元和分割单元；预测模块906还用于通过第一分割网络中的定位检测单元基于采样点进行目标对象定位区域预测，得到第一预测定位区域；通过第一分割网络中的分割单元分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。
[0180]
在一个实施例中，训练模块910还用于基于第一目标损失值对待训练的第一分割网络进行初始训练，得到已初始训练的第一分割网络；将点级标注图像进行第一变换处理，得到第一变换图像；通过已初始训练的第一分割网络，基于点级标注图像对应的待预测图像和相应的第一变换图像中的标注点进行目标对象分割预测，并根据待预测图像中分割预测的预测分割区域与相应的第一变换图像中分割预测的预测分割区域，确定第二目标损失
值；待预测图像是基于点级标注图像得到的图像；基于第二目标损失值对已初始训练的第一分割网络进行进阶训练。
[0181]
在一个实施例中，训练模块910还用于通过已初始训练的第一分割网络，基于第一变换图像中的标注点对第一变换图像进行目标对象分割预测，得到第二预测分割区域；通过已初始训练的第一分割网络，基于待预测图像中的标注点对待预测图像进行目标对象分割预测，得到第三预测分割区域；将第三预测分割区域进行第一变换处理，得到变换分割区域；根据第二预测分割区域与变换分割区域之间的差异，确定第二目标损失值。
[0182]
在一个实施例中，训练模块910还用于将点级标注图像进行第二变换处理，得到待预测图像；其中，第二变换处理后得到的待预测图像中标注点的位置与点级标注图像中标注点的位置相同；通过已初始训练的第一分割网络，基于第二变换处理后得到的待预测图像中的标注点，对待预测图像进行目标对象分割预测，得到第三预测分割区域。
[0183]
在一个实施例中，训练模块910还用于根据第二预测分割区域与变换分割区域之间的差异，确定第三损失值；通过已初始训练的第一分割网络基于第一变换图像中的标注点，对第一变换图像进行目标对象定位区域预测，得到第二预测定位区域；通过已初始训练的第一分割网络基于待预测图像中的标注点，对待预测图像进行目标对象定位区域预测，得到第三预测定位区域；将第三预测定位区域进行第一变换处理，得到变换定位区域；根据第二预测定位区域与变换定位区域之间的差异，确定第四损失值；根据第三损失值和第四损失值，确定第二目标损失值。
[0184]
在一个实施例中，变换定位区域包括翻转变换后的定位区域；训练模块910还用于将第三预测定位区域进行翻转处理，得到翻转变换后的定位区域；将点级标注图像进行区域抠除处理，得到待预测图像。
[0185]
在一个实施例中，训练模块910还用于通过第二分割网络对像素级标注图像进行目标对象分割预测，得到第四预测分割区域；根据第四预测分割区域与参照分割区域之间的差异，确定针对像素级标注图像的第五损失值；通过第二分割网络对像素级伪标注图像进行目标对象分割预测，得到第五预测分割区域；根据第五预测分割区域与伪标注分割区域之间的差异，确定针对像素级伪标注图像的第六损失值；根据第五损失值和第六损失值，确定第三目标损失值，并基于第三目标损失值训练第二分割网络。
[0186]
在一个实施例中，预测模块906还用于获取待分割的目标图像；通过训练结束后的第二分割网络对目标图像进行目标对象分割，得到分割后的图像；分割后的图像中包括针对目标对象标注的分割区域；输出分割后的图像。
[0187]
在一个实施例中，像素级标注图像包括像素级标注医疗图像；点级标注图像包括点级标注医疗图像；目标图像包括目标医疗图像；目标对象包括目标医疗图像中的病灶区域。
[0188]
上述基于图像的对象分割装置，通过获取少量的像素级标注图像和大量的点级标注图像，其中，像素级标注图像中包括人工花费较多时间按像素级别对目标对象进行分割标注的参照分割区域，点级标注图像中包括人工花费较少时间针对目标对象进行点级弱标注得到的标注点。对参照分割区域进行点采样，得到至少两个采样点，通过待训练的第一分割网络分别基于各采样点进行目标对象分割预测，得到各采样点分别对应的第一预测分割区域。根据各第一预测分割区域之间的差异，以及各第一预测分割区域分别与参照分割区
域之间的差异，确定第一目标损失值，基于第一目标损失值对待训练的第一分割网络进行训练；训练得到的第一分割网络用于根据标注点对点级标注图像进行目标对象分割预测，得到包括伪标注分割区域的像素级伪标注图像。基于像素级标注图像和像素级伪标注图像训练第二分割网络；第二分割网络训练结束后用于分割目标图像中的目标对象。相较于传统的全监督学习训练方式，本技术通过获取少量的像素级标注图像和大量的点级标注图像，对分割网络进行训练。由于只需要获取少量的花费较多时间精确标注的像素级标注图像，其余大量的点级标注图像可以花费较少时间简单标注得到，因此，可以大大缩短获取用于训练的图像的周期，从而提升了针对分割网络的训练效率。
[0189]
上述基于图像的对象分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0190]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像的对象分割方法。
[0191]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于图像的对象分割方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0192]
本领域技术人员可以理解，图10和图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0193]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储
有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0194]
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0195]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0196]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0197]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0198]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0199]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。