一种小样本语义分割方法及装置

1.本发明主要涉及计算机视觉技术领域，尤其涉及一种小样本语义分割方法及装置。


背景技术：

2.语义分割旨在为图像的每个像素预测一个类别标签，这为完整的场景理解铺平了道路，例如高级驾驶员辅助系统和机器人导航。最近，随着深度学习的发展，基于卷积神经网络（cnn）的方法由于预测的强大特征表示能力而取得了显着的进步细粒度的语义信息。然而，基于 cnn 的方法通常采用复杂的网络结构，这不仅拥有大量的参数量和计算量，在运行时还需要较多的存储空间与频繁的计算。而且基于 cnn 的方法需要大量的密集和手工制作的数据集，这既费时又费力。


技术实现要素：

3.本发明所要解决的技术问题是针对现有技术的不足，提供一种小样本语义分割方法及装置。
4.本发明解决上述技术问题的技术方案如下：一种小样本语义分割方法，包括如下步骤：导入含有多个图像的训练集，根据图像类别将所述训练集中的多个图像划分为支持集和查询集；通过预训练的特征编码器对所述支持集和查询集进行特征提取，得到支持特征和查询特征；将所述支持特征的频域进行分离，得到多频特征，并将所述多频特征提取为多频原型；将所述多频原型与所述查询特征进行自适应匹配连接，得到新查询特征；构建特征解码器，通过所述特征解码器对所述新查询特征的多个特征向量分别进行分割预测，得到每个特征向量对应的预测类别。
5.本发明解决上述技术问题的另一技术方案如下：一种小样本语义分割装置，包括：导入及划分模块，用于导入图像集，所述图像集包括训练集和测试集，并根据图像类别分别将所述训练集和所述测试集中的多个图像划分为支持集和查询集；特征编码模块，用于将所述测试集的支持集和查询集使用预训练的特征编码器进行特征提取，得到支持特征和查询特征；频域分离模块，用于将所述支持特征的频域进行分离，得到多频特征，并将所述多频特征提取为多频原型；特征富集模块，用于将所述多频原型与所述查询特征进行自适应匹配连接，得到新查询特征；预测模块，用于构建特征解码器，通过所述特征解码器对所述新查询特征的多个
特征向量分别进行分割预测，得到每个特征向量对应的预测类别。
6.本发明解决上述技术问题的另一技术方案如下：一种小样本语义分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的小样本语义分割方法。
7.本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的小样本语义分割方法。
8.本发明的有益效果是：按图像类别划分为支持集和查询集，通过对两者的特征提取得到不同的特征属性，即支持特征和查询特征，并对支持特征进行频域分离，得到多频原型，将多频原型与查询特征自适应匹配连接，得到更为完善的新查询特征，通过对新查询特征进行分割预测，从而得到每个特征向量对应的预测类别，本发明能够有效地通过小样本对新类别的目标进行语义分割，提高计算效率，减少存储空间，有效降低数据标注的人工成本。
附图说明
9.图1为本发明实施例提供的小样本语义分割方法的流程示意图；图2为本发明实施例提供的小样本语义分割装置的模块框图；图3为本发明实施例提供的小样本语义分割方法的数据流图。
具体实施方式
10.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
11.如图1所示，一种小样本语义分割方法，包括如下步骤：s1：导入含有多个图像的训练集，根据图像类别将所述训练集中的多个图像划分为支持集和查询集；s2：通过预训练的特征编码器对所述支持集和查询集进行特征提取，得到支持特征和查询特征；s3：将所述支持特征的频域进行分离，得到多频特征，并将所述多频特征提取为多频原型；s4：将所述多频原型与所述查询特征进行自适应匹配连接，得到新查询特征；s5：构建特征解码器，通过所述特征解码器对所述新查询特征的多个特征向量分别进行分割预测，得到每个特征向量对应的预测类别。
12.上述实施例中，按图像类别划分为支持集和查询集，通过对两者的特征提取得到不同的特征属性，即支持特征和查询特征，并对支持特征进行频域分离，得到多频原型，将多频原型与查询特征自适应匹配连接，得到更为完善的新查询特征，通过对新查询特征进行分割预测，从而得到每个特征向量对应的预测类别，本发明能够有效地通过小样本对新类别的目标进行语义分割，能有效解决驾驶场景理解等场景数据不足的问题，有效降低数据标注的人工成本。
13.可选地，作为本发明的一个实施例，所述根据图像类别将所述训练集中的多个图
像划分为支持集和查询集，具体为：根据支持与查询对范式将所述训练集中所有的图像或进行图像类别的配对处理，得到多个支持与查询图像对，通过多个支持与查询图像对得到与所述训练集对应的所述支持集和所述查询集，且所述支持与查询图像对由所述支持集和所述查询集中相同类别的图像组成，其中，所述支持集为第个图像及其二进制掩码，为图像-二进制掩码对的数量（即支持集中包含个图像-二进制掩码对），所述查询集为第个图像对应的查询图像及其真实掩码。
14.其中，支持集中包含个图像-掩码对。
15.具体地，采用pascal-5i数据集进行训练和测试。数据集均分为4个子集，在对一个子集进行测试时，使用其他三个子集来训练模型以进行交叉验证。在训练期间使用常用的随机缩放、水平翻转和旋转进行数据增强，所有图像都被裁剪为 473
ꢀ×ꢀ
473像素作为训练样本，即原始图像尺寸。
16.可选地，作为本发明的一个实施例，所述通过预训练的特征编码器对所述支持集和查询集进行特征提取，得到支持特征和查询特征，具体为：将所述支持集导入预训练的特征编码器中，通过所述预训练的特征编码器输出所述支持集的低层支持特征、中层支持特征 和中层支持特征 ；将所述查询集导入训练后的特征编码器中，通过所述训练后的特征编码器输出所述查询集的中层查询特征。
17.如图3所示，具体地，将在imagenet下预训练的主干网络作为特征编码器，特征编码器在支持和查询图像间参数共享，从支持集和查询集图像中分别提取特征。特征编码器在训练过程中参数不更新。
18.选用resnet-50作为上述主干网络构成特征编码器。特征编码器包括依次连接的第一块卷积（conv1）、第二块卷积（conv2）、第三块卷积（conv3）、第四块卷积（conv4）和输出层；提取支持特征部分：将第二块卷积（conv2）的输出作为低层支持特征，将第三块卷积（conv3）的输出表示为中层支持特征，另外，连接网络的第三块卷积（conv3）和第四块卷积（conv4）的最后一层输出层，输出生成中层支持特征。提取查询特征部分：连接网络的第三块卷积（conv3）和第四块卷积（conv4）的最后一层输出层，生成中层查询特征。
19.上述实施例中，通过特征编码器能够快速提取支持集和查询集，得到底层和中层的支持特征，以及中层的查询特征，便于后续对支持特征进行频域分离。
20.如图3所示，可选地，作为本发明的一个实施例，所述多频特征包括低频特征；所述将所述支持特征的频域进行分离，得到多频特征，具体为：构建所述支持特征分离网络，所述支持特征分离网络包括一致性保持模块cgb和 卷积层；将所述支持特征的中层支持特征输入所述一致性保持模块cgb进行分离处
理，得到与所述中层支持特征的像素分辨率相同的低分辨率特征，将所述低分辨率特征与所述中层支持特征连接，得到以标准空间网格为标准的第一预测流图，表示连接， 卷积层；将所述支持特征的中层支持特征输入所述一致性保持模块cgb进行分离处理，得到与所述中层支持特征的像素分辨率相同的低分辨率特征，将所述低分辨率特征与所述中层支持特征连接，得到以标准空间网格为标准的第二预测流图，，表示连接，卷积层；将所述第一预测流图和所述第二预测流图中的每个位置通过映射公式进行映射，得到每个位置对应的映射点，所述映射公式为，为第一预测流图或所述第二预测流图；通过可微双线性采样方法将所述第一预测流图的各个映射点进行线性插值处理，输出所述第一预测流图对应的低频特征的每一个点，，其中，由所述第一预测流图计算得到的扭曲空间网格双线性核权重，表示所涉及的相邻像素；通过可微双线性采样方法将所述第二预测流图的各个映射点进行线性插值处理，输出所述第二预测流图对应的低频特征的每一个点，，其中，由所述第二预测流图计算得到的扭曲空间网格双线性核权重，表示所涉及的相邻像素；将所述低频特征和所述低频特征进行连接，得到最终的低频特征，，其中，表示连接，表示 卷积层，所述卷积层用于将通道数降维，用于将通道数降为。
21.其中，，特征是三维的，其中，为通道数特征的(尺寸大小)。，其中，为通道数特征的(尺寸大小)。
22.具体地，在获得预测流图之后，标准空间网格上的每个位置通过映射到一个新的点。然后使用可微双线性采样机制将它每个点的4个邻居
（左上、右上、左下和右下）的值进行线性插值以近似最终输出的每一个点。
23.上述实施例中，能够快速地将支持特征的频域进行特征分离，得到低频特征。
24.可选地，作为本发明的一个实施例，所述多频特征还包括高频特征；所述将所述支持特征的频域进行分离，得到多频特征，具体为：将所述支持特征的中层支持特征减去低频特征得到高频特征，所述高频特征，并将所述支持特征的中层支持特征减去低频特征得到高频特征，所述高频特征；将低层支持特征、高频特征和高频特征进行连接，得到最终的高频特征，所述高频特征，其中，表示连接，表示卷积层，所述卷积层用于将通道数降维。
25.上述实施例中，通过中层支持特征和中层支持特征分别减去低频特征和低频特征来得到高频特征。
26.可选地，作为本发明的一个实施例，所述多频特征还包括中频特征；所述将所述支持特征的频域进行分离，得到多频特征，具体为：将所述支持特征的中层支持特征和所述支持特征的中层支持特征进行连接，得到中频特征所述中频特征，其中，表示连接，表示卷积层，所述卷积层用于将通道数降维，降为。
27.应理解地，多频特征包括低频特征、中频特征和高频特征。即，将所述支持特征的频域最终分离为低频特征、中频特征和高频特征。
28.上述实施例中，能够快速地将支持特征的频域进行特征分离，得到中频特征。
29.可选地，作为本发明的一个实施例，所述将所述多频特征提取为多频原型，具体为：构建原型提取模块，所述原型提取模块包括原型提取公式，通过所述原型提取公式和二进制掩码对所述多频特征进行全局平均池化处理，得到多频原型，所述原型提取公式为，其中，为多频特征，所述多频特征包括低频特征、高频特征和中频特征，为多频原型，所述多频原型包括低频原型、中频原型和高频原型为二进制掩码。
30.如图3所示，可选地，作为本发明的一个实施例，所述将所述多频原型与所述查询特征进行自适应匹配连接，得到新查询特征，具体为：
2080tigpu上进行训练。
35.上述实施例中，能够有效地通过小样本对新类别的目标进行语义分割，对新类别进行预测，并且提高了计算效率。
36.最后，进行实验评估。
37.使用平均交并比(miou)作为评估指标，在pascal-5i上对为1的图像-二进制掩码对（1-shot）和为5的图像-二进制掩码对（5-shot）进行测试。表1展示了本技术中的小样本分割方法与其他小样本分割算法在四个子集上进行交叉验证的平均miou的对比实验结果。
38.表1本技术中的小样本分割方法与其他小样本分割算法的比较结果表如表1所示，其他小样本分割算法包括oslsm、panet、canet、pst。其中，oslsm是首个基于元学习的小样本分割方法，canet是一种密集比较和迭代优化的小样本分割方法，pst是一种基于部分的语义变换方法，通过语义分解和匹配来对齐对象语义的小样本分割方法。
39.实施例2：如图2所示，一种小样本语义分割装置，包括：导入及划分模块，用于导入图像集，所述图像集包括训练集和测试集，并根据图像类别分别将所述训练集和所述测试集中的多个图像划分为支持集和查询集；特征编码模块，用于通过所述训练集对应的支持集和查询集对预设的特征编码器进行特征提取训练，得到训练后的特征编码器，通过训练后的特征编码器对所述测试集的支持集和查询集进行特征提取，得到支持特征和查询特征；频域分离模块，用于将所述支持特征的频域进行分离，得到多频特征，并将所述多频特征提取为多频原型；特征富集模块，用于将所述多频原型与所述查询特征进行自适应匹配连接，得到新查询特征；预测模块，用于构建特征解码器，通过所述特征解码器对所述新查询特征的多个特征向量分别进行分割预测，得到每个特征向量对应的预测类别。
40.实施例3：一种小样本语义分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的小样本语义分割方法。
41.实施例4：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的小样本语义分割方法。
[0042] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、
ꢀ“
包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0043]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0044]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0045]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0046]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0047]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0048]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。