一种基于子类分布重加权的语义分割方法、装置及介质

本发明涉及语义分割，尤其是涉及一种基于子类分布重加权的语义分割方法、装置及介质。

背景技术：

1、随着深度学习技术的发展，深度网络在诸多任务上都取得了非常优异的性能，如目标检测、图像分割等。其中图像分割由于其可以提供图像中每一个像素的信息，信息更加丰富和详细，因此对后续任务更加友好，比如自动驾驶任务中对路面的分割可以有效的确定可行驶区域。当前深度模型学习结果的好坏很大程度上依赖于数据的质量，而目前绝大多数的数据集中都存在着类别不均衡问题，比如很多场景中都会有路面的存在，而交通标志却只有在路口等特殊场景中才会出现。这种情况一般会导致模型在频繁出现的类别上表现出较好的性能。而对那些较少出现的类别表现不佳。类别不平衡问题在诸多任务上都有存在，人们对这一问题也进行了许多的探索与研究。

2、对类别不平衡这一问题比较直觉的一种方案即通过对类别较少的样本增加权重，对出现类别较多的样本降低权重，以此来提升模型在少样本类别上的表现。但这种方案一般会存在一些问题，比如，提升少样本类别性能的同时也会伴随着多样本类别性能的下降，具体的权重系数往往需要经过实验调参获得。此外，一些重采样的方案通过在训练过程中对少样本的类别以更高的概率进行采样，对多样本的类别以较小的概率进行采样，从而保持在训练过程中样本分布的平衡。但上述的方案都是对整个类别进行整体上的操作。没有考虑到每个类别内部可能存在的一些差异性。而每个类别内部可能经过细分又有可能被分为多个不同的子类，这些子类的分布可能也是不平衡的。这就意味着即使在更大的语义类别上通过重加权或重采样的方法达到了平衡，但在更细的粒度上不平衡问题依然没有得到解决。这样一来，就会导致对于每个类别内部，总有一些部分因为受到不平衡问题的影响从而性能不佳，最终影响整体的表现。

技术实现思路

1、本发明的目的是为了提供一种基于子类分布重加权的语义分割方法、装置及介质，根据类内像素特征的相似性获得类别内部更加细粒度的子类信息，并根据子类的分布进行重新加权，以提升模型的性能。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于子类分布重加权的语义分割方法，包括以下步骤：

4、步骤s1，将待分割图像输入分割网络模型，获得用于分类的特征图；

5、步骤s2，根据特征图进行子类聚类；

6、步骤s3，根据子类聚类结果，统计子类在整幅图像中的分布情况；

7、步骤s4，根据子类分布情况计算每个子类的权重；

8、步骤s5，将步骤s4计算得到的权重作用于所有属于该子类的像素上，计算重加权后的最终损失函数，并根据最终损失函数计算权重梯度，更新分割网络模型。

9、所述步骤s2包括以下步骤：

10、步骤s21，对分割网络模型中特征提取网络最后一层输出的特征图进行一定比例的下采样；

11、步骤s22，对于图像中的每一类别，计算下采样后特征图中每个像素和其他属于同一类别的像素的相似性；

12、步骤s23，根据步骤s22中的相似性结果，将像素划分为不同的子类，即将相似度超过一定阈值的像素划分为属于同一子类。

13、所述下采样采用插值或采样实现。

14、所述步骤s22中，相似性的度量方式包括余弦相似度、欧氏距离、交叉熵。

15、所述步骤s3包括以下步骤：

16、步骤s31，统计步骤s2中划分的每一子类中的像素数量；

17、步骤s32，计算获得每一子类在整个图像或batch中的比例。

18、所述步骤s4具体为：使用非线性函数将步骤s32中获得的比例映射至重加权时的权重。

19、所述最终损失函数表示为：

20、

21、其中，n表示图像中像素的数量；c表示图像中包含的语义类别；表示对像素i在类别c上的预测结果；表示像素i在类别c的类别信息，如果像素i属于类别c，则为1，否则为0；为像素i所属子类的权重。

22、所述语义分割方法仅作用于分割网络模型的训练过程。

23、一种基于子类分布重加权的语义分割装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

24、一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

25、与现有技术相比，本发明具有以下有益效果：

26、(1)本发明通过考虑更加细粒度的特征信息，不仅可以平衡分割任务中类别不平衡问题，还可以更好的平衡图像中每一类别中的像素不平衡问题，提高了模型的性能。

27、(2)由于本发明所提出的解决方案基于语义分割任务中的最小单位—像素，因此具有较好的适用性，比如，本发明中的提出的方案同样也可以很好的适用于点云模态下的语义分割任务。

28、(3)本发明的方法只用于模型的训练过程中来提升模型的性能，在推理测试时和原来保持一致，因此并不会对推理时的效率造成任何影响。

技术特征：

1.一种基于子类分布重加权的语义分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于子类分布重加权的语义分割方法，其特征在于，所述步骤s2包括以下步骤：

3.根据权利要求2所述的一种基于子类分布重加权的语义分割方法，其特征在于，所述下采样采用插值或采样实现。

4.根据权利要求2所述的一种基于子类分布重加权的语义分割方法，其特征在于，所述步骤s22中，相似性的度量方式包括余弦相似度、欧氏距离、交叉熵。

5.根据权利要求1所述的一种基于子类分布重加权的语义分割方法，其特征在于，所述步骤s3包括以下步骤：

6.根据权利要求5所述的一种基于子类分布重加权的语义分割方法，其特征在于，所述步骤s4具体为：使用非线性函数将步骤s32中获得的比例映射至重加权时的权重。

7.根据权利要求1所述的一种基于子类分布重加权的语义分割方法，其特征在于，所述最终损失函数表示为：

8.根据权利要求1所述的一种基于子类分布重加权的语义分割方法，其特征在于，所述语义分割方法仅作用于分割网络模型的训练过程。

9.一种基于子类分布重加权的语义分割装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。

技术总结
本发明涉及一种基于子类分布重加权的语义分割方法、装置及介质，其中方法，包括以下步骤：将待分割图像输入分割网络模型，获得用于分类的特征图；根据特征图进行子类聚类；根据子类聚类结果，统计子类在整幅图像中的分布情况；根据子类分布情况计算每个子类的权重；将计算得到的权重作用于所有属于该子类的像素上，计算重加权后的最终损失函数，并根据最终损失函数计算权重梯度，更新分割网络模型。与现有技术相比，本发明具有可以平衡类别不平衡和像素不平衡问题、适用性好等优点。

技术研发人员：浦剑,邱守猛,冯焕琴,薛向阳,冯建峰
受保护的技术使用者：复旦大学
技术研发日：
技术公布日：2024/2/1