基于双分支迭代修正网络的交互式语义实例联合分割方法

本发明涉及交互式图像分割，特别是一种基于双分支迭代修正网络的交互式语义实例联合分割方法。

背景技术：

1、交互式图像分割是指在用户提供的先验知识下，基于一定的相似性准则将用户感兴趣的目标从复杂的图像背景环境中分离出来，它是图像分析、模式识别和计算机视觉等领域中的一个关键问题，分割质量的好坏将直接影响后续相关应用。

2、近年来，随着深度学习模型在计算机视觉众多任务中都取得了优异的成绩，基于深度学习的交互分割方法越来越受到了国内外学者的广泛关注，其突破了传统交互式方法只能提取底层局部特征的局限性，利用卷积神经网络的特征提取能力获得了突出了分割效果，并成为主流的交互式图像分割方法。迭代式交互式分割方法基于深度学习方法提出，提出了一种全新的训练过程，其模拟了真正的交互形式，在训练过程中点击点以迭代形式生成，并动态扩展输入数据，从而获得了更加优异的分割效果。

3、然而现有迭代式训练方法虽然模拟真正了交互形式，但是并没有感知不同交互点类型的不同交互意图，难以在有限的交互点数量条件下获取满意的分割结果；此外，迭代式训练过程中所有迭代轮次之间完全独立，使得模型没有能力感知时域上的先后顺序，难以维护迭代过程中的时空一致性。这些缺陷严重影响了该类方法的准确性和鲁棒性，限制了其实用性。

技术实现思路

1、本发明的目的在于提供一种准确性高、鲁棒性好、实用性强的基于双分支迭代修正网络的交互式语义实例联合分割方法。

2、实现本发明目的的技术解决方案为：一种基于双分支迭代修正网络的交互式语义实例联合分割方法，包括以下步骤：

3、步骤1、数据预处理阶段，根据用户的分割意图，生成实例选择点和对应的语义选择点，这些点转换为圆盘后作为交互点特征图中初始的元素；

4、步骤2、当产生一个实例主动选择点时，在语义分支的交互点特征图加入一个对应的语义被动选择点，当产生一个语义主动选择点时，在实例分支的交互点特征图加入一个对应的实例被动选择点；

5、步骤3、分割网络以参数共享的残差网络作为编码器，并行对称的aspp模块、上采样模块和分割模块依次连接作为解码器；将图像rgb三通道、语义点两通道、实例点两通道进行链接，作为分割网络的输入；

6、步骤4、输入信息经过特征提取主干和并行对称的语义分支、实例分支，得到语义预测结果、实例预测结果；

7、步骤5、根据预测结果生成错误区域，进而得到修正点，更新到步骤2的交互点特征图，重新输入网络；

8、步骤6、当预测正确率达到85％时停止迭代，得到最终结果。

9、进一步地，步骤1中，生成实例选择点和对应的语义选择点，具体为：

10、数据预处理时遍历待分割图形内所有实例，每次遍历得到一个所选实例，将所选实例作为基准实例，将基准实例的几何中心作为实例选择点；

11、将基准实例个体的类别设定为基准类别，将语义分割ground_truth中基准类别的几何中心作为语义选择点；

12、交互点分为前景交互点和背景交互点两种，分别对应假阴性和假阳性两种类型的错误区域。

13、进一步地，所述步骤2，实现双分支网络中语义实例同坐标信息共享，规定在语义分支或实例分支加入交互点时，计算该位置点在另一分支前景背景类型的对应点，并补充到另一分支，其中交互点定义为主动点，对应点为被动点，具体为：

14、令instance_mask为所述基准实例的掩膜，class_mask为所述基准类别的掩膜；

15、(1)每次向实例前景通道中添加主动点后，在语义前景通道的同样位置添加被动点；

16、(2)每次向实例背景通道中添加主动点后，先判断class_mask中同坐标点属于前景还是背景，属于前景则添加语义前景被动点，属于背景则添加语义背景被动点；

17、(3)每次向语义背景通道中添加主动点后，在实例背景通道的同样位置添加被动点；

18、(4)每次向语义前景通道中添加主动点后，先判断instance_msk中同坐标点属于前景还是背景，属于前景则添加实例前景被动点，属于背景则添加实例背景被动点。

19、进一步地，步骤3中，将图像rgb三通道、语义点两通道、实例点两通道进行链接，作为分割网络的输入，具体为：

20、语义点两通道为语义前景点通道和语义背景点通道，实例点两通道为实例前景点通道和实例背景点通道，设置图像分辨率为320*480*3像素，将每个点通道设置为320*480*2像素的特征信息图。

21、进一步地，步骤4中，输入信息经过特征提取主干和并行对称的语义分支、实例分支，得到语义预测结果、实例预测结果，具体为：

22、所述特征提取主干为resnet，resnet包括卷积层i，残差模块i，残差模块ii，将提取特征分别输入两个分割分支；所述分割分支具体包括空洞空间卷积池化金字塔i，上采样模块i，上采样模块ii，上采样模块iii，分类头；

23、连接通道模块的特征拼接层i与卷积层i，分类头的卷积层相连接；卷积层i与残差模块i的maxpool层、上采样模块iii的卷积层相连接；残差模块i的卷积层与残差模块ii的卷积层、上采样模块ii的卷积层相连接；残差模块i的卷积层与每个分支的空洞空间卷积池化金字塔i的卷积层相连接；空洞空间卷积池化金字塔i的特征拼接层ii与上采样模块i的卷积层相连接；上采样模块i的特征拼接层iii与上采样模块ii的卷积层相连接；上采样模块ii的特征拼接层iv与上采样模块iii的卷积层相连接；上采样模块iii的特征拼接层v与分类头的卷积层相连接。

24、进一步地，步骤5中，根据预测结果生成错误区域，进而得到修正点，更新到步骤2的交互点特征图，重新输入网络，具体为：

25、以模型当前所得到的分割结果和目标区域的真实标签作对比，每次都选择错误分割的最大区域，定位该最大区域的形心作为新生成交互点的分割坐标，并循环往复此过程，称为迭代式训练；同时，最大错误区域中心作为主动点，为另一分支生成对应被动点。

26、进一步地，步骤6中，当预测正确率达到85％时停止迭代，得到最终结果，具体为：

27、

28、其中，iou是预测的实例掩膜和真实的实例掩膜的重合程度，即预测正确率；

29、i(x)是预测的实例掩膜和真实的实例掩膜的交集部分的像素计数；

30、u(x)是预测的实例掩膜和真实的实例掩膜的并集部分的像素计数；

31、i(x)和u(x)近似如下：

32、

33、

34、其中，i(x)是预测的实例掩膜和真实的实例掩膜的交集部分的像素计数；

35、u(x)是预测的实例掩膜和真实的实例掩膜的并集部分的像素计数；

36、v是待分割图像中的一个像素；

37、v是待分割图像中的所有像素的集合；

38、x是网络输出的集合v上的像素概率；

39、y∈{0，1}v是集合v的地面实况分配，其中0表示背景像素，1表示对象像素。

40、本发明与现有技术相比，其显著优点在于：(1)交互式语义实例联合分割考虑了传统交互式图像分割无法准确感知用户分割意图的特点，能够输出两种图像分割结果；(2)将语义分割和实例分割任务联合起来进行多任务学习，与传统交互式图像分割技术相比，提高了训练的质量和分割的准确性，鲁棒性好、实用性强。

41、下面结合附图对本发明作进一步详细描述。