基于主动学习的域适应交互式语义分割方法、装置和设备

本申请涉及计算机视觉语义分割，特别是涉及一种基于主动学习的域适应交互式语义分割方法、装置和设备。

背景技术：

1、语义分割是计算机视觉领域中一个非常重要的研究和应用方向，其根据特定的规则自动地将图像划分成不同的区域，为图像的每个像素打上不同的类别标注。随着深度学习技术的兴起，语义分割在各个场景下都取得了令人印象深刻的成绩。然而基于深度学习的语义分割仍然存在着困难和挑战。首先，基于深度学习的模型的优越性能极其依赖于大量的高精度像素级标注数据。而这些像素级标注数据的获取是非常昂贵且耗时的，特别是对于专业性高的领域，例如医学影像诊断。另一方面，在实际应用中真实数据往往和训练数据来自不同的分布，存在域偏移的问题，这使得基于深度学习的模型在实际应用中的性能总不令人满意。此外，基于深度学习的语义分割模型往往不可解释，不可干预，这使得模型在犯一些对于人类非常明显的低级错误时，人类不能通过干预指导模型进行更正，促使其进步。

2、为了解决标注数据获取难题和域偏移问题，域适应的语义分割成为了研究热点。域适应的语义分割要处理两个不同分布的数据，一个是有着大量像素级标注数据的源域数据集，另一个是只有少量标注数据的目标域数据集，其目的是借助大量标注的源域数据集和少量标注的目标域数据集将模型迁移至目标域。主流的域适应的语义分割方法有无监督的方法(uad，unsupervised domain adaptation)，半监督的方法(ssda，semi-superviseddomain adaptation)，弱监督的方法(wda，weakly-supervised domain adaptation)和主动学习的方法(active learning domain adaptation)。无监督的域适应语义分割方法只利用源域的标注数据和未经标注的目标域数据集进行训练，通过减小两个域分布的差异，实现目标域的适应。但由于缺乏目标域标注数据的监督信号，这类方法的性能仍然远远落后于监督方法。与无监督方法不同，基于半监督的域适应语义分割方法将少量的目标域标注数据加入训练，实现了更好的性能。为了降低对像素级标注数据的需求，弱监督的域适应语义分割方法使用的目标域标注数据是图像级或点击级的。然而半监督和弱监督的方法消耗人力物力获得的标注资源对模型的学习并不是最高效的，为此，主动学习方法通过制定合理的价值评估函数，计算图像中不同像素的标注价值，再将这些高标注价值的像素进行标注，从而以有限的标注成本实现高效的模型训练。由于主动学习的方法针对性地提供标注数据，该类方法的域适应性能也是最令人满意的。

3、尽管现有基于主动学习的域适应语义分割方法通过一定的策略挑选出高价值的标注对象，但现有的方法仍然不够高效。一方面，主动学习的标注策略要求专家逐个告知提问像素的类别，每次只能为一个像素打上标注，这样的标注方式并不高效。另一方面，由于目标域标注数据的稀少性，神经网络在域适应时可能会犯置信度高但明显的错误。而现有的主动学习方法使用的价值评估函数通常是将模型拿不准的像素视作高标注价值像素，这些置信度高的错误像素很难被现有方法选中，致使模型的明显错误难以被纠正。最后，现有的方法仍然无法干预模型的输出，模型的预测不受人的控制，使图像语义分割的精度达不到要求。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于主动学习的域适应交互式语义分割方法、装置和设备。

2、一种基于主动学习的域适应交互式语义分割方法，所述方法包括：

3、获取不同域训练数据集，所述训练数据集包括有标注掩膜的源域数据集和无标注的目标域数据集。

4、采用所述训练数据集对域适应交互式语义分割模型进行训练，得到训练好的域适应交互式语义分割模型；训练阶段包括：预热阶段和域适应阶段，在预热阶段，根据有标注掩膜的源域数据集和标注/采样策略，对所述域适应交互式语义分割模型进行多轮训练；在所述域适应阶段，根据所述源域数据集、所述目标域数据集以及所述标注/采样策略，对预热阶段训练后的模型进行多轮训练，得到训练好的域适应交互式语义分割模型；所述标注/采样策略是根据预设价值评估函数和预设得分阈值，采用先看后问的标注/采样策略，将获得的新标注作为目标域数据集的标注像素进行模型的监督学习，或者将获得的采样交互点作为交互信息输入到模型。

5、将待分割图像输入到训练好的域适应交互式语义分割模型中，得到语义分割结果。

6、一种基于主动学习的域适应交互式语义分割装置，所述装置包括：

7、训练数据获取模块，用于获取不同域训练数据集，所述训练数据集包括有标注掩膜的源域数据集和无标注的目标域数据集。

8、域适应交互式语义分割模型训练模块，用于采用所述训练数据集对域适应交互式语义分割模型进行训练，得到训练好的域适应交互式语义分割模型；训练阶段包括：预热阶段和域适应阶段，在预热阶段，根据有标注掩膜的源域数据集和标注/采样策略，对所述域适应语义分割模型进行多轮训练；在所述域适应阶段，根据所述源域数据集、所述目标域数据集以及所述标注/采样策略，对预热阶段训练后的模型进行多轮训练，得到训练好的域适应交互式语义分割模型；所述标注/采样策略是根据预设价值评估函数和预设得分阈值，采用先看后问的标注/采样策略，将获得的新标注作为目标域数据集的标注像素进行模型的监督学习，或者将获得的采样交互点作为交互信息输入到模型。

9、域适应交互式语义分割模块，用于将待分割图像输入到训练好的域适应交互式语义分割模型中，得到语义分割结果。

10、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤：

11、上述基于主动学习的域适应交互式语义分割方法、装置和设备，将交互式分割与语义分割融合，构造域适应交互式语义分割，该模型不仅能作为标注工具提高专家的标注效率，也使纠正模型的预测掩膜成为可能；先看后问的标注/采样策略使模型置信度高的明显错误像素和模型拿不准的像素都能够得到标注/采样，更高效地发挥有限的标注资源；构造点击损失函数，通过弱监督的方式加速人机交互和语义分割两个任务的融合；构造交互式损失函数，使得模型能够正确地响应人的交互；利用目标域少量的标注数据和交互式语义分割模型为目标域产生正伪标注，为目标域提供更多的监督信号。采用该方法可以提高图像的语义分割准确度。

技术特征：

1.一种基于主动学习的域适应交互式语义分割方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述域适应交互式语义分割模型包括：交互编码模块、交互信息预处理模块、图像信息预处理模块、特征融合模块以及语义分割网络；

3.根据权利要求1所述的方法，其特征在于，在预热阶段，根据有标注掩膜的源域数据集和标注/采样策略，对所述域适应交互式语义分割模型进行多轮训练，包括：

4.根据权利要求3所述的方法，其特征在于，将所述输入数据输入到域适应交互式语义分割模型中，得到初始预测掩膜为：

5.根据权利要求3所述的方法，其特征在于，根据所述初始掩膜采用标注/采样策略自动生成预设数量交互信息，步骤中标注/采样策略为：

6.根据权利要求1所述的方法，其特征在于，在所述域适应阶段中根据所述源域数据集、所述目标域数据集以及先看后问的标注/采样策略，对预热阶段训练后的模型进行多轮次训练，得到训练好的域适应交互式语义分割模型，包括：

7.根据权利要求6所述的方法，其特征在于，根据源域输入数据和目标域输入数据的标注掩膜和初始预测掩膜以及所述纠正掩膜，确定域适应阶段当前轮第一次迭代总损失为：

8.根据权利要求7所述的方法，其特征在于，所述正伪标注损失为：

9.一种基于主动学习的域适应交互式语义分割装置，其特征在于，所述装置包括：

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

技术总结
本申请涉及一种基于主动学习的域适应交互式语义分割方法、装置和设备。所述方法将交互式分割与语义分割融合，构造域适应交互式语义分割，该模型不仅能作为标注工具提高专家的标注效率，也使纠正模型的预测掩膜成为可能；融合交互式采样和主动学习的标注/采样策略使模型置信度高的明显错误像素和模型拿不准的像素都能够得到标注/采样，更高效地发挥有限的标注资源；构造点击损失函数，通过弱监督的方式加速人机交互和语义分割两个任务的融合；构造交互式损失函数，使得模型能够正确地响应人的交互；利用目标域少量的标注数据和交互式语义分割模型为目标域产生正伪标注，为目标域提供更多的监督信号。采用该方法可以提高图像的语义分割准确度。

技术研发人员：陈浩,杨亮喆,李军,杜春,彭双,伍江江,陈荦,熊伟,杨飞,马梦宇,杨岸然,景宁
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/1/15