图像分割方法、模型的训练方法、装置、电子设备及介质与流程

1.本公开涉及人工智能技术领域，尤其涉及计算机视觉、图像识别和深度学习技术领域。具体地，涉及一种图像分割方法、模型的训练方法、装置、电子设备及介质。


背景技术：

2.图像分割是计算机视觉领域的研究方向之一。图像分割是指将图像划分成各自满足相似性准则或具有某种同质特征的连通区域的过程。图像分割可以包括小样本分割(即少样本分割)(few-shot segmentation，fss)。
3.随着人工智能技术的发展，小样本分割在多个领域得到发展。例如，自动驾驶和医学诊断等。


技术实现要素：

4.本公开提供了一种图像分割方法、模型的训练方法、装置、电子设备及介质。
5.根据本公开的一方面，提供了一种图像分割方法，包括：根据查询图像的查询图像数据、支持图像的支持图像数据和与上述支持图像对应的掩码图像的掩码图像数据，得到至少一个尺度的特征信息，其中，上述特征信息包括上述查询图像的查询特征信息、上述支持图像的支持特征信息和上述掩码图像的掩码特征信息；根据上述至少一个尺度的特征信息，得到至少一个第一预定尺度的相关信息，其中，上述相关信息包括以下至少一项：上述查询图像和上述支持图像之间的互相关语义信息以及上述查询图像和上述支持图像之间的互关联信息，上述互相关语义信息是根据上述支持图像的第一自相关语义信息和上述查询图像的第二自相关语义信息确定的，上述互关联信息是根据上述支持图像的第一自关联信息和上述查询图像的第二自关联信息确定的；以及，根据至少一个第二预定尺度的特征信息和上述至少一个第一预定尺度的相关信息，得到上述查询图像的图像分割结果。
6.根据本公开的另一方面，提供了一种图像分割模型的训练方法，包括：根据样本查询图像的样本查询图像数据、样本支持图像的样本支持图像数据和与上述样本支持图像对应的样本掩码图像的样本掩码图像数据，得到至少一个尺度的样本特征信息，其中，上述样本特征信息包括上述样本查询图像的样本查询特征信息、上述样本支持图像的样本支持特征信息和上述样本掩码图像的样本掩码特征信息；根据上述至少一个尺度的样本特征信息，得到至少一个第一预定尺度的样本相关信息，其中，上述样本相关信息包括以下至少一项：上述样本查询图像和上述样本支持图像之间的互相关样本语义信息以及上述样本查询图像和上述样本支持图像之间的互关联样本信息，上述样本查询图像和上述样本支持图像之间的互相关样本语义信息是根据上述样本支持图像的第一自相关样本语义信息和上述样本查询图像的第二自相关样本语义信息确定的，上述样本查询图像和上述样本支持图像之间的互关联样本信息是根据上述样本支持图像的第一自关联样本信息和上述样本查询图像的第二自关联样本信息确定的；根据至少一个第二预定尺度的样本特征信息和上述至少一个第一预定尺度的样本相关信息，得到上述查询图像的图像分割结果；以及，根据上述
查询图像的真实分割结果和图像分割结果训练上述图像分割模型，得到训练完成的图像分割模型。
7.根据本公开的另一方面，提供了一种图像分割装置，包括：第一获得模块，用于根据查询图像的查询图像数据、支持图像的支持图像数据和与上述支持图像对应的掩码图像的掩码图像数据，得到至少一个尺度的特征信息，其中，上述特征信息包括上述查询图像的查询特征信息、上述支持图像的支持特征信息和上述掩码图像的掩码特征信息；第二获得模块，用于根据上述至少一个尺度的特征信息，得到至少一个第一预定尺度的相关信息，其中，上述相关信息包括以下至少一项：上述查询图像和上述支持图像之间的互相关语义信息以及上述查询图像和上述支持图像之间的互关联信息，上述互相关语义信息是根据上述支持图像的第一自相关语义信息和上述查询图像的第二自相关语义信息确定的，上述互关联信息是根据上述支持图像的第一自关联信息和上述查询图像的第二自关联信息确定的；以及，第三获得模块，用于根据至少一个第二预定尺度的特征信息和上述至少一个第一预定尺度的相关信息，得到上述查询图像的图像分割结果。
8.根据本公开的另一方面，提供了一种图像分割模型的训练装置，包括：第四获得模块，用于根据样本查询图像的样本查询图像数据、样本支持图像的样本支持图像数据和与上述样本支持图像对应的样本掩码图像的样本掩码图像数据，得到至少一个尺度的样本特征信息，其中，上述样本特征信息包括上述样本查询图像的样本查询特征信息、上述样本支持图像的样本支持特征信息和上述样本掩码图像的样本掩码特征信息；第五获得模块，用于根据上述至少一个尺度的样本特征信息，得到至少一个第一预定尺度的样本相关信息，其中，上述样本相关信息包括以下至少一项：上述样本查询图像和上述样本支持图像之间的互相关样本语义信息以及上述样本查询图像和上述样本支持图像之间的互关联样本信息，上述样本查询图像和上述样本支持图像之间的互相关样本语义信息是根据上述样本支持图像的第一自相关样本语义信息和上述样本查询图像的第二自相关样本语义信息确定的，上述样本查询图像和上述样本支持图像之间的互关联样本信息是根据上述样本支持图像的第一自关联样本信息和上述样本查询图像的第二自关联样本信息确定的；第六获得模块，用于根据至少一个第二预定尺度的样本特征信息和上述至少一个第一预定尺度的样本相关信息，得到上述样本查询图像的预测图像分割结果；以及，第七获得模块，用于根据上述样本查询图像的真实图像分割结果和预测图像分割结果训练上述图像分割模型，得到训练完成的图像分割模型。
9.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开所述的方法。
10.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开所述的方法。
11.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开所述的方法。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1示意性示出了根据本公开实施例的可以应用图像分割方法、图像分割模型的训练方法及装置的示例性系统架构；
15.图2示意性示出了根据本公开实施例的图像分割方法的流程图；
16.图3a示意性示出了根据本公开实施例的确定查询图像和支持图像之间的互相关语义向量过程的示例示意图；
17.图3b示意性示出了根据本公开实施例的确定查询图像和支持图像之间的互关联向量过程的示例示意图；
18.图3c示意性示出了根据本公开实施例的图像分割过程的示例示意图；
19.图3d示意性示出了根据本公开另一实施例的图像分割过程的示例示意图；
20.图3e示意性示出了根据本公开另一实施例的图像分割过程的示例示意图；
21.图4示意性示出了根据本公开实施例的图像分割模型的训练方法的流程图；
22.图5示意性示出了根据本公开实施例的图像分割装置的框图；
23.图6示意性示出了根据本公开实施例的图像分割模型的训练装置的框图；以及
24.图7示意性示出了根据本公开实施例的适于实现图像分割方法和图像分割模型的训练方法的电子设备的框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.对象可以包括内在特征和外在特征。内在特征可以指不随拍摄条件的变化而变化的特征。外在特征可以指随拍摄条件的变化而变化的特征。由此，在不同拍摄条件的情况下对同一对象进行拍摄得到的图像中对象的外在特征不同。例如，对象是飞机。飞机的内在特征可以包括组成部件和制作材料。飞机的外在特征可以包括飞机形状和飞机颜色。拍摄条件可以包括拍摄角度和光照条件。在不同拍摄条件下对同一飞机进行拍摄得到的图像中飞机的外在特征不同。上述针对同一对象拍摄得到的不同图像所对应的类别相同。即，不同图像是属于同一类别的图像。
27.在小样本分割中，查询图像和与查询图像对应的支持图像是属于同一类别的图像。查询图像和支持图像中同一对象的特征差异较大，即，查询图像和支持图像之间的类内方差较大，由此，给上下文语义信息传递带来了障碍，从而降低了图像分割结果精度。此外，查询图像和支持图像之间的语义匹配关系不够准确，降低了图像分割精度。
28.基于上述内容，查询图像和支持图像之间的类内方差较大以及查询图像和支持图像之间的语义匹配关系不够准确中的至少一项的存在会降低图像分割精度。
29.为此，本公开实施例提出了一种图像分割方案。根据查询图像的查询图像数据、支持图像的支持图像数据和与支持图像对应的掩码图像的掩码图像数据，得到至少一个尺度的特征信息。特征信息包括查询图像的查询特征信息、支持图像的支持特征信息和掩码图
像的掩码特征信息。根据至少一个尺度的特征信息，得到至少一个第一预定尺度的相关信息。相关信息包括以下至少一项：查询图像和支持图像之间的互相关语义信息以及查询图像和支持图像之间的互关联信息。互相关语义信息是根据支持图像的第一自相关语义信息和查询图像的第二自相关语义信息确定的。互关联信息是根据支持图像的第一自关联信息和查询图像的第二自关联信息确定的。根据至少一个第二预定尺度的特征信息和至少一个第一预定尺度的相关信息，得到查询图像的图像分割结果。
30.根据本公开的实施例，通过聚合查询图像的至少一个尺度的特征信息和支持图像的至少一个尺度的特征信息，得到支持图像的第一自相关语义信息和查询图像的第二自相关语义信息，在此基础上，获得更准确的用于表征跨上下文匹配信息的互相关语义信息，实现了融合支持图像的语义信息来生成更准确的语义匹配关系，进而提高了图像分割精度。此外，互关联信息的确定融合了查询图像自身的自关联信息，因此，使得查询图像和支持图像之间的互关联信息更为准确和可靠，由此，可以有效缓解查询图像和支持图像之间的类内差异，进而提高了图像分割精度。此外，由于相关信息是至少一个第一预定尺度的相关信息，因此，实现了利用支持图像的多尺度互相关语义信息和互关联信息来引导查询图像的图像分割结果。
31.图1示意性示出了根据本公开实施例的可以应用图像分割方法、图像分割模型的训练方法及装置的示例性系统架构。
32.需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用图像分割方法、图像分割模型的训练方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的图像分割方法、图像分割模型的训练方法及装置。
33.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
34.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用。例如，知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端或社交平台软件等(仅为示例)。
35.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
36.服务器105可以是提供各种服务的各种类型的服务器。例如，例如，服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(virtual private server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。
37.需要说明的是，本公开实施例所提供的图像分割方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像分割装置也可以设置于终端设备101、102、或103中。
38.备选地，本公开实施例所提供的图像分割方法一般也可以由服务器105执行。相应地，本公开实施例所提供的图像分割装置一般可以设置于服务器105中。本公开实施例所提供的图像分割方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像分割装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
39.需要说明的是，本公开实施例所提供的图像分割模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像分割模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的图像分割模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像分割模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
40.备选地，本公开实施例所提供的图像分割方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像分割装置也可以设置于终端设备101、102、或103中。
41.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
42.应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。
43.图2示意性示出了根据本公开实施例的图像分割方法的流程图。
44.如图2所示，该方法200包括操作s210～s230。
45.在操作s210，根据查询图像的查询图像数据、支持图像的支持图像数据和与支持图像对应的掩码图像的掩码图像数据，得到至少一个尺度的特征信息。特征信息包括查询图像的查询特征信息、支持图像的支持特征信息和掩码图像的掩码特征信息。
46.在操作s220，根据至少一个尺度的特征信息，得到至少一个第一预定尺度的相关信息。相关信息包括以下至少一项：查询图像和支持图像之间的互相关语义信息以及查询图像和支持图像之间的互关联信息。互相关语义信息是根据支持图像的第一自相关语义信息和查询图像的第二自相关语义信息确定的。互关联信息是根据支持图像的第一自关联信息和查询图像的第二自关联信息确定的。
47.在操作s230，根据至少一个第二预定尺度的特征信息和至少一个第一预定尺度的相关信息，得到查询图像的图像分割结果。
48.根据本公开的实施例，查询图像(即query image)可以指需要进行图像分割的图像。支持图像(即support image)可以对查询图像的图像分割结果起到引导作用。查询图像可以包括至少一个对象。每个对象具有与该对象对应的类别。由此，查询图像的类别可以包括至少一个。针对查询图像包括的每个类别，可以具有与该类别对应的至少一个支持图像。与该类别对应的支持图像包括与该类别对应的对象。即，可以根据查询图像包括的类别，确定与查询图像对应的支持图像。支持图像的数目可以包括一个或多个。具有与支持图像对应的掩码图像(即mask image)。掩码图像可以指支持图像的图像分割结果。
49.根据本公开的实施例，自相关语义信息可以指与图像自身相关的语义信息。自相关语义信息还可以称为上下文语义信息。互相关语义信息可以指不同图像之间的语义信息。互相关语义信息可以用于构建查询图像和样本图像之间的语义匹配关系。互相关信息还可以称为跨上下文语义匹配信息。
50.根据本公开的实施例，第一自相关语义信息可以指与支持图像自身相关的语义信息。第二自相关语义信息可以指与查询图像自身相关的语义信息。查询图像和支持图像之间的互相关语义信息可以是根据第一自相关语义信息和第二自相关语义信息确定的。
51.根据本公开的实施例，自关联信息可以指图像自身的关联信息。互关联信息可以指不同图像之间的关联信息。互相关信息可以用于支持支持图像对查询图像的细节信息的引导。
52.根据本公开的实施例，第一自关联信息可以指支持图像自身的关联信息。第二自关联信息可以指查询图像自身的关联信息。查询图像和支持图像之间的互关联信息可以是根据第一自关联信息和第二自关联信息确定的。由于互关联信息是根据查询图像的第一自关联信息确定的，即，融合了查询图像自身的自关联信息，因此，使得查询图像和支持图像之间的互关联信息更为准确和可靠，由此，可以有效缓解查询图像和支持图像之间的类内差异。
53.根据本公开的实施例，可以对查询图像数据、支持图像数据和掩码图像数据进行特征提取，得到至少一个尺度的与查询图像对应的查询特征信息、至少一个尺度的与支持图像对应的支持特征信息和至少一个尺度的与掩码图像对应的掩码特征信息。特征信息可以包括特征向量。查询特征信息可以包括查询特征向量。支持特征信息可以包括支持特征向量。掩码特征信息可以包括掩码特征向量。
54.根据本公开的实施例，可以利用图像分割模型的特征提取模块处理查询图像数据、支持图像数据和掩码图像数据，得到至少一个尺度的程序特征信息、至少一个尺度的支持特征信息和至少一个尺度的掩码特征信息。特征提取模块可以包括编码器或卷积神经网络。编码器可以包括基于transformer的编码器。transformer可以包括视觉transformer。视觉transformer可以包括vision transformer或swin transformer。卷积神经网络可以包括resnet(residual neural network，残差神经网络)、vggnet(visual geometry group network，视觉几何群网络)、wideresnet(wide residual network，宽残差网络)或densenet(dense neural network，稠密神经网络)。
55.根据本公开的实施例，特征提取模块可以包括第一特征提取子模块、第二特征提取子模块和第三特征提取子模块。第一特征提取子模块可以用于提取支持图像的特征信息。第二特征提取子模块可以用于提取查询图像的特征信息。第三特征提取子模块可以用于提取掩码图像的特征信息。第一特征提取子模块可以包括至少一个级联的第一特征提取单元。第二特征提取子模块可以包括至少一个级联的第二特征提取单元。第三特征提取子模块可以包括至少一个级联的第三特征提取单元。第一特征提取子模块可以是第一编码器(即第一image encoder)。第二特征提取子模块可以是第二编码器(即第二image encoder)。第三特征提取子模块可以是第三编码器(即mask encoder)。第一特征提取子模块、第二特征提取子模块和第三特征提取子模块的模型结构可以相同或不同。图像的图像数据依次经由至少一个级联的特征提取单元，每通过一个特征提取单元得到的与图像特征
信息对应的特征图的尺寸减小。每个特征提取单元可以用于实现对与该特征提取单元对应的尺度的特征信息进行下采样。
56.根据本公开的实施例，可以利用第一特征提取子模块处理支持图像数据，得到至少一个尺度的支持特征信息。利用第二特征提取子模块处理查询图像数据，得到至少一个尺度的查询特征信息。利用第三特征提取子模块处理掩码图像数据，得到至少一个尺度的掩码特征信息。
57.根据本公开的实施例，第一预定尺度可以是至少一个尺度中的部分尺度或全部尺度。第二预定尺度也可以是至少一个尺度中的部分尺度或全部尺度。第一预定尺度与第二预定尺度可以相同或不同。例如，至少一个尺度可以包括四个尺度，即，第一尺度、第二尺度、第三尺度和第四尺度。至少一个第一预定尺度可以包括四个尺度中的后两个尺度，即，第三尺度和第四尺度。至少一个第二预定尺度可以包括四个尺度中的前两个尺度，即，第一尺度和第二尺度。
58.根据本公开的实施例，根据至少一个尺度的特征信息，得到至少一个第一预定尺度的相关信息可以包括：根据至少一个尺度的特征信息，得到至少一个第一预定尺度的查询图像和支持图像之间的互相关语义信息。备选地，根据至少一个尺度的特征信息，得到至少一个第一预定尺度的查询图像和支持图像之间的互关联信息。备选地，根据至少一个尺度的特征信息，得到至少一个第一预定尺度的查询图像和支持图像之间的互相关语义信息以及至少一个第一预定尺度的查询图像和支持图像之间的互关联信息。
59.根据本公开的实施例，根据至少一个尺度的特征信息，得到至少一个第一预定尺度的查询图像和支持图像之间的互相关语义信息，可以包括：根据至少一个尺度的特征信息，得到至少一个第一预定尺度的查询图像的第二自相关语义信息和至少一个第一预定尺度的支持图像的第一自相关语义信息。根据至少一个第一预定尺度的第一自相关语义信息和至少一个第一预定尺度的第二自相关语义信息，得到至少一个第一预定尺度的查询图像和支持图像之间的互相关语义信息。第一自相关语义信息可以包括第一自相关语义向量。第二自相关语义信息可以包括第二自相关语义向量。互相关语义信息可以包括互相关语义向量。
60.根据本公开的实施例，根据至少一个尺度的特征信息，得到至少一个第一预定尺度的查询图像和支持图像之间的互关联信息，可以包括：根据至少一个尺度的特征信息，得到至少一个第一预定尺度的查询图像的第二自关联信息和至少一个第一预定尺度的第一自关联信息。根据至少一个第一预定尺度的第一自关联信息和至少一个第一预定尺度的第二自关联信息，得到至少一个第一预定尺度的查询图像和支持图像之间的互关联信息。第一自关联信息可以包括第一自关联向量。第二自关联信息可以包括第二自关联向量。互关联信息可以包括互关联向量。
61.根据本公开的实施例，可以利用解码器处理至少一个第二预定尺度的特征信息和至少一个第一预定尺度的相关信息，得到查询图像的图像分割结果。
62.根据本公开的实施例，通过聚合查询图像的至少一个尺度的特征信息和支持图像的至少一个尺度的特征信息，得到支持图像的第一自相关语义信息和查询图像的第二自相关语义信息，在此基础上，获得更准确的用于表征跨上下文匹配信息的互相关语义信息，实现了融合支持图像的语义信息来生成更准确的语义匹配关系，进而提高了图像分割精度。
此外，互关联信息的确定融合了查询图像自身的自关联信息，因此，使得查询图像和支持图像之间的互关联信息更为准确和可靠，由此，可以有效缓解查询图像和支持图像之间的类内差异，进而提高了图像分割精度。此外，由于相关信息是至少一个第一预定尺度的相关信息，因此，实现了利用支持图像的多尺度互相关语义信息和互关联信息来引导查询图像的图像分割结果。
63.根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互相关语义信息的情况下，操作s220可以包括如下操作。
64.利用至少一个关系引导的上下文转换器(relation-guided context transformer，rct)处理至少一个尺度的特征信息，得到至少一个第一预定尺度的互相关语义信息。
65.根据本公开的实施例，针对至少一个预定尺度中的每个预定尺度，可以具有与该预定尺度对应的关系引导的上下文转换器。关系引导的上下文转换器可以用于根据至少一个尺度的特征信息确定与该预定尺度对应的互相关语义信息。
66.根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互相关语义信息的情况下，操作s220可以包括如下操作。
67.针对至少一个第一预定尺度中的每个第一预定尺度，根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一自相关语义信息。根据与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二自相关语义信息。根据与第一预定尺度对应的支持特征信息、第一自相关语义信息和第二自相关语义信息，得到与第一预定尺度对应的互相关语义信息。
68.根据本公开的实施例，可以针对至少一个第一预定尺度中的每个第一预定尺度，可以对与第一预定尺度对应的支持特征信息和掩码特征信息进行处理，得到第一自相关语义信息。对与第一预定尺度对应的查询特征信息进行处理，得到第二自相关语义信息。对与第一预定尺度对应的支持特征信息、第一自相关语义信息和第二自相关语义信息进行处理，得到互相关语义信息。第一自相关语义信息可以包括第一自相关语义向量。第二自相关语义信息可以包括第二自相关语义向量。互相关语义信息可以包括互相关语义向量。
69.根据本公开的实施例，根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一自相关语义信息，可以包括如下操作。
70.基于第一自注意力策略，根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一中间信息。根据与第一预定尺度对应的第一中间信息和掩码特征信息，得到与第一预定尺度对应的第一自相关语义信息。
71.根据本公开的实施例，自注意力策略可以用于实现以高权重去聚焦重要信息，低权重去忽略非重要信息，并能通过共享重要信息与其他信息进行信息交换，从而实现重要信息的传递。
72.根据本公开的实施例，可以基于第一自注意力策略确定第一自注意力层。第一自注意力层可以包括第一多头自注意力(multi-head self attention，mha)层。利用第一自注意力层处理与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一中间信息。第一中间信息可以包括第一中间向量。
73.根据本公开的实施例，在确定与第一预定尺度对应的第一中间信息之后，可以利
用第一前馈神经网络(feed forward network，ffn)层处理与第一预定尺度对应的第一中间信息和掩码特征信息，得到与第一预定尺度对应的第一自相关语义信息。前馈神经网络层还可以被称为多层感知机层(multilayer perceptron，mlp)。
74.根据本公开的实施例，可以将与第一预定尺度对应的第一中间信息和掩码特征信息进行融合操作，得到第一融合信息。利用第一前馈神经网络层处理与第一预定尺度对应的第一融合信息，得到与第一预定尺度对应的第一自相关语义信息。例如，可以将与第一预定尺度对应的第一中间向量和掩码特征向量进行融合，得到第一融合向量。利用第一前馈神经网络层处理与第一预定尺度对应的第一融合向量，得到与第一预定尺度对应的第一自相关语义向量。融合操作可以包括以下一项：相加操作、拼接操作和连接(即concatenate)操作。
75.根据本公开的实施例，根据与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二自相关语义信息，可以包括如下操作。
76.基于第二自注意力策略，根据与第一预定尺度对应的查询特征信息，得到与所述第一预定尺度对应的第二中间信息。根据与第一预定尺度对应的第二中间信息和查询特征信息，得到与第一预定尺度对应的第二自相关语义信息。
77.根据本公开的实施例，可以基于第二自注意力策略确定第二自注意力层。第二自注意力层可以包括第二多头自注意力层。利用第二自注意力层处理与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二中间信息。第二中间信息可以包括第二中间向量。
78.根据本公开的实施例，在确定与第一预定尺度对应的第二中间信息之后，可以利用第二前馈神经网络层处理与第一预定尺度对应的第二中间信息和查询特征信息，得到与第一预定尺度对应的第二自相关语义信息。
79.根据本公开的实施例，可以将与第一预定尺度对应的第二中间信息和查询特征信息进行融合操作，得到第二融合信息。利用第二前馈神经网络层处理与第一预定尺度对应的第二融合信息，得到与第一预定尺度对应的第二自相关语义信息。例如，可以将与第一预定尺度对应的第二中间向量和查询特征向量进行融合，得到第二融合向量。利用第二前馈神经网络层处理与第一预定尺度对应的第二融合向量，得到与第一预定尺度对应的第二自相关语义向量。融合操作可以包括以下一项：相加操作、拼接操作和连接操作。
80.根据本公开的实施例，根据与第一预定尺度对应的支持特征信息、第一自相关语义信息和第二自相关语义信息，得到与第一预定尺度对应的互相关语义信息，可以包括如下操作。
81.基于第三自注意力策略，根据与第一预定尺度对应的支持特征信息、第一自相关语义信息和第二自相关语义信息，得到与第一预定尺度对应的第三中间信息。根据与第一预定尺度对应的第一自相关语义信息和第三中间信息，得到与第一预定尺度对应的互相关语义信息。
82.根据本公开的实施例，可以基于第三自注意力策略确定第三自注意力层。第三自注意力层可以包括第三多头自注意力层。利用第三自注意力层处理与第一预定尺度对应的第一自相关语义信息、第二自相关语义信息和支持特征信息，得到与第一预定尺度对应的第三中间信息。第三中间信息可以包括第三中间向量。
83.根据本公开的实施例，在确定与第一预定尺度对应的第三中间信息之后，可以利用第三前馈神经网络层处理与第一预定尺度对应的第三中间信息和第一自相关语义信息，得到与第一预定尺度对应的互相关语义信息。
84.根据本公开的实施例，可以将与第一预定尺度对应的第三中间信息和第一自相关语义信息进行融合操作，得到第三融合信息。利用第三前馈神经网络层处理与第一预定尺度对应的第三融合信息，得到与第一预定尺度对应的互相关语义信息。例如，可以将与第一预定尺度对应的第三中间向量和第一自相关语义向量进行融合，得到第三融合向量。利用第三前馈神经网络层处理与第一预定尺度对应的第三融合向量，得到与第一预定尺度对应的互相关语义向量。融合操作可以包括以下一项：相加操作、拼接操作和连接操作。
85.根据本公开的实施例，关系引导的上下文转换器可以包括第一多头自注意力层、第一前馈神经网络层、第二多头自注意力层、第二前馈神经网络层、第三多头自注意层和第三前馈神经网络层。
86.根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互关联信息的情况下，操作s220可以包括如下操作。
87.根据本公开的实施例，利用至少一个关系引导的关联转换器(relation-guided affinity transformer，rat)处理至少一个尺度的特征信息，得到至少一个第一预定尺度的互关联信息。
88.根据本公开的实施例，针对至少一个预定尺度中的每个预定尺度，可以具有与该预定尺度对应的关系引导的关联转换器。关系引导的关联转换器可以用于根据至少一个尺度的特征信息确定与该预定尺度对应的互关联信息。
89.根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互关联信息的情况下，操作s220可以包括如下操作。
90.针对至少一个第一预定尺度中的每个第一预定尺度，根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一自关联信息。根据与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二自关联信息。根据与第一预定尺度对应的支持特征信息和查询特征信息，得到与第一预定尺度对的中间互关联信息。根据与第一预定尺度对应的第一自关联信息、第二自关联信息和中间互关联信息，得到与第一预定尺度对应的互关联信息。
91.根据本公开的实施例，可以针对至少一个第一预定尺度中的每个第一预定尺度，可以对与第一预定尺度对应的支持特征信息和掩码特征信息进行处理，得到第一自关联信息。对与第一预定尺度对应的查询特征信息进行处理，得到第二自相关语义信息。对与第一预定尺度对应的支持特征信息和查询特征信息进行处理，得到中间互关联信息。再对与第一预定尺度对应的第一自关联信息、第二自关联信息和中间互关联信息进行处理，得到互关联信息。第一自关联信息可以包括第一自关联向量。第二自关联信息可以包括第二自关联向量。中间互关联信息可以包括中间互关联向量。互关联信息可以包括互关联向量。
92.根据本公开的实施例，根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一自关联信息，可以包括如下操作。
93.对与第一预定尺度对应的支持特征信息和掩码特征信息进行点积操作，得到与第一预定尺度对应的第四中间信息。对与第一预定尺度对应的第四中间信息进行全连接操
作，得到与第一预定尺度对应的第一自关联信息。
94.根据本公开的实施例，对与第一预定尺度对应的第四中间信息进行全连接操作，得到与第一预定尺度对应的第一自关联信息，可以包括：可以对与第一预定尺度对应的第四中间信息进行全连接操作，得到与第一预定尺度对应的第七中间信息。对与第一预定尺度对应的第四中间信息进行全连接操作，得到与第一预定尺度对应的第八中间信息。可以对与第一预定尺度对应的第七中间信息和第八中间信息进行连接操作，得到与第一预定尺度对应的第一自关联信息。第四中间信息可以包括第四中间向量。第七中间信息可以包括第七中间向量。第八中间信息可以包括第八中间向量。
95.例如，可以利用第一全连接(fully connected，fc)层处理与第一预定尺度对应的第四中间信息，得到与第一预定尺度对应的第七中间信息。可以利用第二全连接层处理与第一预定尺度对应的第四中间信息，得到与第一预定尺度对应的第八中间信息。
96.根据本公开的实施例，根据与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二自关联信息，可以包括如下操作。
97.对与第一预定尺度对应的查询特征信息进行全连接操作，得到与第一预定尺度对应的第二自关联信息。
98.根据本公开的实施例，可以对与第一预定尺度对应的查询特征信息进行全连接操作，得到与第一预定尺度对应的第九中间信息。对与第一预定尺度对应的查询信息进行全连接操作，得到与第一预定尺度对应的第十中间信息。可以对与第一预定尺度对应的第九中间信息和第十中间信息进行连接操作，得到与第一预定尺度对应的第二自关联信息。第九中间信息可以包括第九中间向量。第十中间信息可以包括第十中间向量。
99.例如，可以利用第三全连接层处理与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第九中间信息。可以利用第四全连接层处理与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第十中间信息。
100.根据本公开的实施例，根据与第一预定尺度对应的支持特征信息和查询特征信息，得到与第一预定尺度对的中间互关联信息，可以包括如下操作。
101.对与第一预定尺度对应的支持特征信息和查询特征信息进行全连接操作，得到与第一预定尺度对应的中间互关联信息。
102.根据本公开的实施例，可以对与第一预定尺度对应的支持特征信息进行全连接操作，得到与第一预定尺度对应的第十一中间信息。对与第一预定尺度对应的查询信息进行全连接操作，得到与第一预定尺度对应的第十二中间信息。可以对与第一预定尺度对应的第十一中间信息和第十二中间信息进行连接操作，得到与第一预定尺度对应的中间互关联信息。第十一中间信息可以包括第十一中间向量。第十二中间信息可以包括第十二中间向量。
103.例如，可以利用第五全连接层处理与第一预定尺度对应的支持特征信息，得到与第一预定尺度对应的第十一中间信息。可以利用第六全连接层处理与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第十二中间信息。
104.根据本公开的实施例，根据与第一预定尺度对应的第一自关联信息、第二自关联信息和中间互关联信息，得到与第一预定尺度对应的互关联信息，可以包括如下操作。
105.基于第四自注意力策略，根据与第一预定尺度对应的第一自关联信息和中间互关
联信息，得到与第一预定尺度对应的第五中间信息。根据与第一预定尺度对应的第二自关联信息和第五中间信息，得到与第一预定尺度对应的互关联信息。
106.根据本公开的实施例，可以基于第四自注意力策略确定第四自注意力层。第四自注意力层可以包括第四多头自注意力层。利用第四自注意力层处理与第一预定尺度对应的第一自关联信息和中间互关联信息，得到与第一预定尺度对应的第五中间信息。第五中间信息可以包括第五中间向量。
107.根据本公开的实施例，在确定与第一预定尺度对应的第五中间信息之后，可以利用第四前馈神经网络层处理与第一预定尺度对应的第五中间信息和第二自关联信息，得到与第一预定尺度对应的互关联信息。
108.根据本公开的实施例，可以将与第一预定尺度对应的第五中间信息和第二自关联信息进行融合操作，得到第四融合信息。利用第四前馈神经网络层处理与第一预定尺度对应的第四融合信息，得到与第一预定尺度对应的互关联信息。例如，可以将与第一预定尺度对应的第五中间向量和第二自关联向量进行融合操作，得到第四融合向量。利用第四前馈神经网络层处理与第一预定尺度对应的第四融合向量，得到与第一预定尺度对应的互关联向量。融合操作可以包括以下一项：相加操作、拼接操作和连接操作。
109.根据本公开的实施例，关系引导的关联转换器可以包括第一全连接层、第二全连接层、第三全连接层、第四全连接层、第五全连接层、第六全连接层、第四多头自注意层和第四前馈神经网络层。
110.根据本公开的实施例，根据至少一个第二预定尺度的特征信息和至少一个第一预定尺度的相关信息，得到查询图像的图像分割结果，可以包括如下操作。
111.根据至少一个第一预定尺度的相关信息，得到第六中间信息。根据第六中间信息和至少一个第二预定尺度的查询特征信息，得到查询图像的图像分割结果。
112.根据本公开的实施例，在确定相关信息包括查询图像和支持图像之间的互相关语义信息的情况下，可以利用图像分割模型包括的解码器(即decoder)中与至少一个预定尺度对应的至少一个解码单元处理至少一个第一预定尺度的互相关语义信息，得到第六中间信息。第六中间信息可以包括第六中间向量。可以利用解码器中与至少一个第二预定尺度对应的至少一个解码单元处理第六中间信息和至少一个第二预定尺度的查询特征信息，得到查询图像的图像分割结果。解码器可以包括包括至少一个级联的解码单元。每个解码单元可以用于实现对与该解码单元对应的尺度的特征信息进行上采样。
113.根据本公开的实施例，至少一个尺度可以包括n个尺度。至少一个第一预定尺度可以包括m个第一预定尺度。至少一个第二预定尺度可以包括(n-m)个第二预定尺度。n可以是大于1的整数。m可以是大于或等于1且小于n的整数。
114.根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互相关语义信息以及查询图像和所述支持图像之间的互关联信息中的一项的情况下，根据至少一个第一预定尺度的相关信息，得到第六中间信息，可以包括如下操作。
115.在(n-m+1)≤i＜n的情况下，对与第i个第一预定尺度对应的相关信息进行卷积操作，得到与第i个第一预定尺度对应的第一原始中间信息。对与第i个第一预定尺度对应的第一原始中间信息和与第(i+1)个第一预定尺度对应的第一目标中间信息进行点积操作，得到与第i个第一预定尺度对应的第一目标中间信息。将与第(n-m+1)个第一预定尺度对应
的第一目标中间信息确定为第六中间信息。
116.根据本公开的实施例，n和m的数值均可以根据实际业务需要进行配置，在此不作限定。例如，n＝4。m＝2。i∈{n，(n-1)，......，(n-m+2)，(n-m+1)}。第一原始中间信息可以包括第一原始中间向量。第一目标中间信息可以包括第一目标中间向量。
117.根据本公开的实施例，在i＝n的情况下，对与第n个第一预定尺度对应的相关信息进行卷积操作，得到与第n个第一预定尺度对应的第一目标中间信息。例如，可以利用与第n个第一预定尺度对应的第一卷积层处理与第n个第一预定尺度对应的相关信息，得到与第n个第一预定尺度对应的第一目标中间信息。
118.根据本公开的实施例，在(n-m+1)≤i＜n的情况下，可以利用与第i个第一预定尺度对应的第一卷积层处理与第i个第一预定尺度对应的相关信息，得到与第i个第一预定尺度对应的第一原始中间信息。
119.根据本公开的实施例，可以根据如下公式(1)确定与第一预定尺度对应的第一自相关语义向量。
[0120][0121]
根据本公开的实施例，表征与第i个第一预定尺度对应的第一自相关语义向量。表征与第i个第一预定尺度对应的支持特征向量。表征与第i个第一预定尺度对应的掩码特征向量。ln()表征层次归一化(即layernorm)。
[0122]
根据本公开的实施例，可以根据如下公式(2)确定与第一预定尺度对应的第二自相关语义向量。
[0123][0124]
根据本公开的实施例，表征与第i个第一预定尺度对应的第二自相关语义向量。表征与第i个第一预定尺度对应的查询特征向量。
[0125]
根据本公开的实施例，和均具有自身语义信息。可以用于构建像素级的跨上下文信息。基于专注于前景对象，但背景信息也有利于构建语义匹配关系，因此，可以根据如下公式(3)确定与第一预定尺度对应的互相关语义向量。
[0126][0127]
根据本公开的实施例，表征与第i个第一预定尺度对应的互相关语义向量。
[0128]
根据本公开的实施例，可以根据如下公式(4)确定与第一预定尺度对应的第一自关联向量。
[0129]
[0130]
根据本公开的实施例，表征与第i个第一预定尺度对应的第一自关联向量。θ表征通道维度的连接操作。softmax()表征用于注意力机制的归一化函数。表征与第i个第一预定尺度对应的查询特征向量。wq和wk均表征权重矩阵。表征与第i个第一预定尺度对应的掩码特征图的通道数目。ci表征与第i个第一预定尺度对应的通道数目。
[0131]
根据本公开的实施例，可以根据如下公式(5)确定与第一预定尺度对应的第二自关联向量。
[0132][0133]
根据本公开的实施例，表征与第i个第一预定尺度对应的第二自关联向量。
[0134]
根据本公开的实施例，可以根据如下公式(6)确定与第一预定尺度对应的中间自关联向量。
[0135][0136]
根据本公开的实施例，表征与第i个第一预定尺度对应的中间互关联向量。
[0137]
根据本公开的实施例，可以根据如下公式(7)确定与第一预定尺度对应的自关联向量。
[0138][0139]
根据本公开的实施例，表征与第i个第一预定尺度对应的互关联向量。
[0140]
根据本公开的实施例，根据第六中间信息和至少一个第二预定尺度的查询特征信息，得到查询图像的图像分割结果，可以包括如下操作。
[0141]
在j＝n-m的情况下，对与第(n-m)个第二预定尺度对应的查询特征信息进行卷积操作，得到与第(n-m)个第二预定尺度对应的第一原始中间信息。对第六中间信息和与第(n-m)个第二预定尺度对应的第一原始中间信息进行点积操作，得到与第(n-m)个第二预定尺度对应的第一目标中间信息。在1≤j＜n-m的情况下，对与第j个第二预定尺度对应的查询特征信息进行卷积操作，得到与第j个第二预定尺度对应的第一原始中间信息。对与第j个第二预定尺度对应的第一原始中间信息和与第(j+1)个第二预定尺度对应的第一目标中间信息进行点积操作，得到与第j个第二预定尺度对应的第一目标中间信息。根据与第1个第二预定尺度对应的第一目标中间信息，确定查询图像的图像分割结果。
[0142]
根据本公开的实施例，j∈{(n-m)，(n-m-1)，......，2，1}。
[0143]
根据本公开的实施例，在j＝n-m的情况下，可以利用与第(n-m)个第二预定尺度对应的第一卷积层处理与第(n-m)个第二预定尺度对应的查询特征信息，得到与第(n-m)个第二预定尺度对应的第一原始中间信息。
[0144]
根据本公开的实施例，在1≤j＜n-m的情况下，可以利用与第j个第二预定尺度对应的第一卷积层处理与第j个第二预定尺度对应的查询特征信息，得到与第j个第二预定尺
度对应的第一原始中间信息。
[0145]
根据本公开的实施例，可以对与第1个第二预定尺度对应的第一目标中间信息进行卷积操作，得到查询图像的图像分割结果。
[0146]
根据本公开的实施例，与后m个尺度的特征信息对应的特征图的尺寸较小，因此，对后m个尺度的特征信息进行处理得到与后m个尺度各自对应的相关信息，可以降低数据处理量。并且，使得后m个尺度的特征信息包括高层次信息，由此，有助于提高图像分割精度。高层次信息可以包括高层次关联信息和高层次语义信息中的至少一项。与前(n-m)个尺度的特征信息对应的特征图的尺寸较大，因此，特征信息包括更多的浅层信息，由此，有助于提高图像分割精度。浅层信息可以包括细节信息。
[0147]
根据本公开的实施例，至少一个尺度可以包括p个尺度。至少一个第一预定尺度可以包括q个第一预定尺度。至少一个第二预定尺度可以包括(p-q)个第二预定尺度。p可以是大于1的整数。q可以是大于或等于1且小于p的整数。
[0148]
根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互相关语义信息以及查询图像和支持图像之间的互关联信息的情况下，根据至少一个第一预定尺度的相关信息，得到第六中间信息，可以包括如下操作。
[0149]
在(p-q+1)≤k＜p的情况下，对与第k个第一预定尺度对应的互相关语义信息和互关联信息进行点积操作，得到与第k个第一预定尺度对应的第二原始中间信息。对与第k个第一预定尺度对应的第二原始中间信息进行卷积操作，得到与第k个第一预定尺度对应的第三原始中间信息。对与第k个第一预定尺度对应的第三原始中间信息和与第(k+1)个第一预定尺度对应的第二目标中间信息进行点积操作，得到与第k个第一预定尺度对应的第二目标中间信息。将与第(p-q+1)个第一预定尺度对应的第二目标中间信息确定为第六中间信息。
[0150]
根据本公开的实施例，p和q的数值均可以根据实际业务需要进行配置，在此不作限定。例如，p＝4。q＝2。k∈{p，(p-1)，......，(p-q+2)，(p-q+1)}。第二原始中间信息可以包括第二原始中间向量。第三原始中间信息可以包括第三原始中间向量。第二目标中间信息可以包括第二目标中间向量。
[0151]
根据本公开的实施例，在k＝p的情况下，对与第p个第一预定尺度对应的互相关语义信息和互关联语义信息进行点积操作，得到与第p个第一预定尺度对应的第二原始中间信息。对与第p个第一预定尺度对应的第二原始中间信息进行卷积操作，得到与第p个第一预定尺度对应的第二目标中间信息。例如，可以利用与第p个第一预定尺度对应的第二卷积层处理与第p个第一预定尺度对应的第二原始中间信息，得到与第p个第一预定尺度对应的第二目标中间信息。
[0152]
根据本公开的实施例，在(p-q+1)≤k＜p的情况下，可以利用与第k个第一预定尺度对应的第二卷积层处理与第k个第一预定尺度对应的第二原始中间信息，得到与第k个第一预定尺度对应的第三原始中间信息。
[0153]
根据本公开的实施例，根据第六中间信息和至少一个第二预定尺度的查询特征信息，得到查询图像的图像分割结果，可以包括如下操作。
[0154]
在l＝p-q的情况下，对与第(p-q)个第二预定尺度对应的查询特征信息进行卷积操作，得到与第(p-q)个第二预定尺度对应的第二原始中间信息。对第六中间信息和与第
(p-q)个第二预定尺度对应的第二原始中间信息进行点积操作，得到与第(p-q)个第二预定尺度对应的第二目标中间信息。在1≤l＜p-q的情况下，对与第l个第二预定尺度对应的查询特征信息进行卷积操作，得到与第l个第二预定尺度对应的第二原始中间信息。对与第l个第二预定尺度对应的第二原始中间信息和与第(l+1)个第二预定尺度对应的第二目标中间信息进行点积操作，得到与第l个第二预定尺度对应的第二目标中间信息。根据与第1个第二预定尺度对应的第二目标中间信息，确定查询图像的图像分割结果。
[0155]
根据本公开的实施例，l∈{(p-q)，(p-q-1)，.....，2，1}。
[0156]
根据本公开的实施例，在l＝p-q的情况下，可以利用与第(p-q)个第二预定尺度对应的第二卷积层处理与第(p-q)个第二预定尺度对应的查询特征信息，得到与第(p-q)个第二预定尺度对应的第二原始中间信息。
[0157]
根据本公开的实施例，在1≤l＜p-q的情况下，可以利用与第l个第二预定尺度对应的第二卷积层处理与第l个第二预定尺度对应的查询特征信息，得到与第l个第二预定尺度对应的第二原始中间信息。
[0158]
根据本公开的实施例，可以对与第1个第二预定尺度对应的第二目标中间信息进行卷积操作，得到查询图像的图像分割结果。
[0159]
下面参考图3a、图3b、图3c、图3d和图3e，结合具体实施例对根据本公开实施例所述的图像分割方法做进一步说明。
[0160]
图3a示意性示出了根据本公开实施例的确定查询图像和支持图像之间的互相关语义向量过程的示例示意图。
[0161]
如图3a所示，在300a中，可以利用关系引导的上下文转换器310处理与第i个第一预定尺度对应的特征向量，得到与第i个第一预定尺度对应的第一自相关语义向量与第i个第一预定尺度对应的第二自相关语义向量和与第i个第一预定尺度对应的互相关语义向量与第i个第一预定尺度对应的特征向量包括与第i个第一预定尺度对应的支持特征向量与第i个第一预定尺度对应的查询特征向量和与第i个第一预定尺度对应的掩码特征向量
[0162]
根据本公开的实施例，关系引导的上下文转换器310可以包括第一多头自注意力层311、第一前馈神经网络层312、第二多头自注意力层313、第二前馈神经网络层314、第三多头自注意力层315和第三前馈神经网络层316。
[0163]
根据本公开的实施例，可以利用第一多头自注意力层311处理和得到与第i个第一预定尺度对应的第一中间向量。可以利用第一前馈神经网络层312处理和与第i个第一预定尺度对应的第一中间向量，得到
[0164]
根据本公开的实施例，可以利用第二多头自注意力层313处理得到与第i个第一预定尺度对应的第二中间向量。可以利用第二前馈神经网络层314处理和与第i个第一
预定尺度对应的第二中间向量，得到
[0165]
根据本公开的实施例，可以利用第三多头自注意力层315处理和得到与第i个第一预定尺度对应的第三中间向量。可以利用第三前馈神经网络层316处理和与第i个第一预定尺度对应的第三中间向量，得到
[0166]
图3b示意性示出了根据本公开实施例的确定查询图像和支持图像之间的互关联向量过程的示例示意图。
[0167]
如图3b所示，在300b中，可以利用关系引导的关联转换器320处理与第i个第一预定尺度对应的特征向量，得到与第i个第一预定尺度对应的第一自关联向量与第i个第一预定尺度对应的第二自关联向量与第i个第一预定尺度对应的中间互关联向量和与第i个第一预定尺度对应的互关联向量与第i个第一预定尺度对应的特征向量包括与第i个第一预定尺度对应的支持特征向量与第i个第一预定尺度对应的查询特征向量和与第i个第一预定尺度对应的掩码特征向量
[0168]
根据本公开的实施例，关系引导的关联转换器320可以包括第四多头自注意力层321、第四前馈神经网络层322、第一fc(即全连接)层、第二fc层、第三fc层、第四fc层、第五fc层和第六fc层。
[0169]
根据本公开的实施例，可以对和进行点积操作，得到与第i个第一预定尺度的第四中间向量。利用第一fc层处理与第i个第一预定尺度的第四中间向量，得到与第i个第一预定尺度的第七中间向量。利用第二fc层处理与第i个第一预定尺度的第四中间向量，得到与第i个第一预定尺度的第八中间向量。对与第i个第一预定尺度的第七中间向量和第八中间向量进行连接操作，得到
[0170]
根据本公开的实施例，可以利用第三fc层处理得到与第i个第一预定尺度的第九中间向量。利用第四fc层处理得到与第i个第一预定尺度的第十中间向量。对与第i个第一预定尺度的第九中间向量和第十中间向量进行连接操作，得到
[0171]
根据本公开的实施例，可以利用第五fc层处理得到与第i个第一预定尺度的第十一中间向量。利用第六fc层处理得到与第i个第一预定尺度的第十二中间向量。对与第i个第一预定尺度的第十一中间向量和第十二中间向量进行连接操作，得到
[0172]
根据本公开的实施例，可以利用第四多头自注意力层321处理和得到与第i个第一预定尺度对应的第五中间向量。可以利用第四前馈神经网络层322处理
和与第i个第一预定尺度对应的第四中间向量，得到
[0173]
图3c示意性示出了根据本公开实施例的图像分割过程的示例示意图。
[0174]
如图3c所示，在300c中，图像分割模型300可以包括rct310_1、rct310_2、第一编码器330、第二编码器340、第三编码器350和解码器360。
[0175]
根据本公开的实施例，rct310_1和rct310_2的模型结构可以与图3a中的rct310的模型结构相同。n＝4。m＝2。第一编码器330可以包括四个尺度的特征提取单元，即，s1、s2、s3和s4。第二编码器340可以包括四个尺度的特征提取单元，即，s1、s2、s3和s4。第一编码器330和第二编码器340包括的特征提取单元的模型结构可以相同。第三编码器350可以包括四个尺度的卷积神经网络层。解码器360可以包括四个尺度的卷积神经网络层。双线性上采样被用来保持不同尺度的特征分辨率一致。卷积操作保证不同尺度的特征通道数目一致，可以利用连接操作来级联不同尺度的向量。
[0176]
根据本公开的实施例，可以利用第一编码器330处理支持图像301的支持图像数据，得到支持特征向量支持特征向量支持特征向量和支持特征向量
[0177]
根据本公开的实施例，可以利用第二编码器340处理查询图像302的查询图像数据，得到查询特征向量查询特征向量查询特征向量和查询特征向量
[0178]
根据本公开的实施例，可以利用第三编码器350处理掩码图像303的掩码图像数据，得到掩码特征向量掩码特征向量掩码特征向量和掩码特征向量
[0179]
根据本公开的实施例，可以利用rct310_1处理支持特征向量查询特征向量和掩码特征向量得到互相关语义向量可以利用rct310_2处理支持特征向量查询特征向量和掩码特征向量得到互相关语义向量
[0180]
根据本公开的实施例，可以利用与第4个第一预定尺度对应的第一卷积层处理得到与第4个第一预定尺度对应的第一目标中间向量。对与第3个第一预定尺度对应的第一卷积层处理得到与第3个第一预定尺度对应的第一原始中间信息。
[0181]
根据本公开的实施例，可以对与第3个第一预定尺度对应的第一原始中间信息和与第3个第一预定尺度对应的第一目标中间信息进行点积操作，得到与第3个第一预定尺度对应的第一目标中间信息。将与第3个第一预定尺度对应的第一目标中间信息确定为第六中间信息。
[0182]
根据本公开的实施例，可以利用与第2个第二预定尺度对应的第一卷积层处理得到与第2个第二预定尺度对应的第一原始中间向量。对第六中间信息和与第2个第二预定尺度对应的第一原始中间向量进行点积操作，得到与第2个第二预定尺度对应的第一目标中间向量。
[0183]
根据本公开的实施例，可以利用第1个第二预定尺度对应的第一卷积层处理得到与第1个第二预定尺度对应的第一原始中间向量。对与第1个第二预定尺度对应的第一原
始中间向量和与第2个第二预定尺度对应的第一目标中间信息进行点积操作，得到与第1个第二预定尺度对应的第一目标中间向量。对与第1个第二预定尺度对应的第一目标中间向量进行卷积操作，得到查询图像的图像分割结果304。例如，可以1
×
1的卷积核和双线性上采样处理第一目标中间向量，得到图像分割结果304。
[0184]
图3d示意性示出了根据本公开另一实施例的图像分割过程的示例示意图。
[0185]
如图3d所示，在300d中，图像分割模型300可以包括rat320_1、rat320_2、第一编码器330、第二编码器340、第三编码器350和解码器360。
[0186]
根据本公开的实施例，rat320_1和rat320_2的模型结构可以与图3b中的rat320的模型结构相同。可以利用rat320_1处理支持特征向量查询特征向量和掩码特征向量得到互关联向量可以利用rat320_2处理支持特征向量查询特征向量和掩码特征向量得到互关联向量可以将与图3c对应的实施例中的替换为以及替换为其他部分可以参见与图3c对应的实施例相关部分内容的说明，在此不再赘述。
[0187]
图3e示意性示出了根据本公开另一实施例的图像分割过程的示例示意图。
[0188]
如图3e所示，在300e中，图像分割模型300可以包括rct310_1、rct310_2、rat320_1、rat320_2、第一编码器330、第二编码器340、第三编码器350和解码器360。
[0189]
根据本公开的实施例，rct310_1和rct310_2的模型结构可以与图3a中的rct310的模型结构相同。rat320_1和rat320_2的模型结构可以与图3b中的rat320的模型结构相同。
[0190]
根据本公开的实施例，可以利用rct310_1处理支持特征向量查询特征向量和掩码特征向量得到互相关语义向量可以利用rct310_2处理支持特征向量查询特征向量和掩码特征向量得到互相关语义向量
[0191]
根据本公开的实施例，可以利用rat320_1处理支持特征向量查询特征向量和掩码特征向量得到互关联向量可以利用rat320_2处理支持特征向量查询特征向量和掩码特征向量得到互关联向量
[0192]
根据本公开的实施例，可以对和进行点积操作，得到与第4个第一预定尺度对应的第二原始中间向量。可以利用与第4个第一预定尺度对应的第二卷积层处理与第4个第一预定尺度对应的第二原始中间向量，得到与第4个第一预定尺度对应的第二目标中间向量。
[0193]
根据本公开的实施例，可以对和进行点积操作，得到与第3个第一预定尺度对应的第二原始中间向量。利用与第3个第一预定尺度对应的第二卷积层处理与第3个第一预定尺度对应的第二原始中间向量，得到与第3个第一预定尺度对应的第三原始中间向量。对与第3个第一预定尺度对应的第三原始中间向量和与第4个第一预定尺度对应的第二
目标中间向量进行点积操作，得到与第3个第一预定尺度对应的第二目标中间向量。将与第3个第一预定尺度对应的第二目标中间向量确定为第六中间向量。
[0194]
根据本公开的实施例，可以利用与第2个第二预定尺度对应的第二卷积层处理得到与第2个第二预定尺度对应的第二原始中间向量。对第六中间向量和与第2个第二预定尺度对应的第二原始中间向量进行点积操作，得到与第2个第二预定尺度对应的第二目标中间向量。
[0195]
根据本公开的实施例，可以利用与第1个第二预定尺度对应的第二卷积层处理得到与第1个第二预定尺度对应的第二原始中间向量。对与第1个第二预定尺度对应的第二原始中间向量和与第2个第二预定尺度对应的第二目标中间向量进行点积操作，得到与第1个第二预定尺度对应的第二目标中间向量。对与第1个第二预定尺度对应的第二目标中间向量进行卷积操作，得到查询图像的图像分割结果304。其他部分可以参见与图3c对应的实施例相关部分内容的说明，在此不再赘述。
[0196]
图4示意性示出了根据本公开实施例的图像分割模型的训练方法的流程图。
[0197]
如图4所示，该方法400包括操作s410～s440。
[0198]
在操作s410，根据样本查询图像的样本查询图像数据、样本支持图像的样本支持图像数据和与样本支持图像对应的样本掩码图像的样本掩码图像数据，得到至少一个尺度的样本特征信息。样本特征信息包括样本查询图像的样本查询特征信息、样本支持图像的样本支持特征信息和样本掩码图像的样本掩码特征信息。
[0199]
在操作s420，根据至少一个尺度的样本特征信息，得到至少一个第一预定尺度的样本相关信息。样本相关信息包括以下至少一项：样本查询图像和样本支持图像之间的互相关样本语义信息以及样本查询图像和样本支持图像之间的互关联样本信息。样本查询图像和样本支持图像之间的互相关样本语义信息是根据样本支持图像的第一自相关样本语义信息和样本查询图像的第二自相关样本语义信息确定的。样本查询图像和样本支持图像之间的互关联样本信息是根据样本支持图像的第一自关联样本信息和样本查询图像的第二自关联样本信息确定的。
[0200]
在操作s430，根据至少一个第二预定尺度的样本特征信息和，至少一个第一预定尺度的样本相关信息，得到样本查询图像的预测图像分割结果。
[0201]
在操作s440，根据样本查询图像的真实图像分割结果和预测图像分割结果训练图像分割模型，得到训练完成的图像分割模型。
[0202]
根据本公开的实施例，样本查询图像可以指需要进行图像分割的图像。样本支持图像可以对样本查询图像的图像分割结果起到引导作用。样本查询图像可以包括至少一个对象。每个对象具有与该对象对应的类别。由此，样本查询图像的类别可以包括至少一个。针对样本查询图像包括的每个类别，可以具有与该类别对应的至少一个样本支持图像。与该类别对应的样本支持图像包括与该类别对应的对象。即，可以根据样本查询图像包括的类别，确定与样本查询图像对应的样本支持图像。样本支持图像的数目可以包括多个。具有与样本支持图像对应的样本掩码图像。样本掩码图像可以指样本支持图像的真实图像分割结果。
[0203]
根据本公开的实施例，图像分割模型可以包括特征提取模块、至少一个关系引导
的上下文转换器和至少一个关系引导的关联转换器和解码器。特征提取模块可以包括编码器。针对特征提取模块、至少一个关系引导的上下文转换器和至少一个关系引导的关联转换器和解码器的说明，可以参见上文相关部分内容，在此不再赘述。
[0204]
根据本公开的实施例，可以基于损失函数，利用真实图像分割结果和预测图像分割结果，得到输出值，根据输出值调节图像分割模型的模型参数，直至满足预定条件。将在满足预定条件的情况下得到的图像分割模型确定为训练完成的图像分割模型。预定条件可以包括以下至少一项：输出值收敛和训练轮次达到最大训练轮次。
[0205]
根据本公开的实施例，在样本相关信息包括样本查询图像和样本支持图像之间的互相关样本语义信息的情况下，操作s420可以包括如下操作。
[0206]
针对至少一个第一预定尺度中的每个第一预定尺度，根据与第一预定尺度对应的样本支持特征信息和样本掩码特征信息，得到与第一预定尺度对应的第一自相关样本语义信息。根据与第一预定尺度对应的样本查询特征信息，得到与第一预定尺度对应的第二自相关样本语义信息。根据与第一预定尺度对应的样本支持特征信息、第一自相关样本语义信息和第二自相关样本语义信息，得到与第一预定尺度对应的互相关样本语义信息。
[0207]
根据本公开的实施例，根据与第一预定尺度对应的样本支持特征信息和样本掩码特征信息，得到与第一预定尺度对应的第一自相关样本语义信息，可以包括如下操作。
[0208]
基于第一自注意力策略，根据与第一预定尺度对应的样本支持特征信息和样本掩码特征信息，得到与第一预定尺度对应的第一中间样本信息。根据与第一预定尺度对应的第一中间样本信息和样本掩码特征信息，得到与第一预定尺度对应的第一自相关样本语义信息。
[0209]
根据本公开的实施例，根据与第一预定尺度对应的样本查询特征信息，得到与第一预定尺度对应的第二自相关样本语义信息，可以包括如下操作。
[0210]
基于第二自注意力策略，根据与第一预定尺度对应的样本查询特征信息，得到与第一预定尺度对应的第二中间样本信息。根据与第一预定尺度对应的第二中间样本信息和样本查询特征信息，得到与第一预定尺度对应的第二自相关样本语义信息。
[0211]
根据本公开的实施例，根据与第一预定尺度对应的样本支持特征信息、第一自相关样本语义信息和第二自相关样本语义信息，得到与第一预定尺度对应的互相关样本语义信息，可以包括如下操作。
[0212]
基于第三自注意力策略，根据与第一预定尺度对应的样本支持特征信息、第一自相关样本语义信息和第二自相关样本语义信息，得到与第一预定尺度对应的第三中间样本信息。根据与第一预定尺度对应的第一自相关语义信息和第三中间样本信息，得到与第一预定尺度对应的互相关样本语义信息。
[0213]
根据本公开的实施例，在样本相关信息包括样本查询图像和样本支持图像之间的互关联样本信息的情况下，操作s420可以包括如下操作。
[0214]
针对至少一个第一预定尺度中的每个第一预定尺度，根据与第一预定尺度对应的样本支持特征信息和样本掩码特征信息，得到与第一预定尺度对应的第一自关联样本信息。根据与第一预定尺度对应的样本查询特征信息，得到与第一预定尺度对应的第二自关联样本信息。根据与第一预定尺度对应的样本支持特征信息和样本查询特征信息，得到与第一预定尺度对的中间互关联样本信息。根据与第一预定尺度对应的第一自关联样本信
息、第二自关联样本信息和中间互关联样本信息，得到与第一预定尺度对应的互关联样本信息。
[0215]
根据本公开的实施例，根据与第一预定尺度对应的样本支持特征信息和样本掩码特征信息，得到与第一预定尺度对应的第一自关联样本信息，可以包括如下操作。
[0216]
对与第一预定尺度对应的样本支持特征信息和样本掩码特征信息进行点积操作，得到与第一预定尺度对应的第四中间样本信息。对与第一预定尺度对应的第四中间样本信息进行全连接操作，得到与第一预定尺度对应的第一自关联样本信息。
[0217]
根据本公开的实施例，根据与第一预定尺度对应的样本查询特征信息，得到与第一预定尺度对应的第二自关联样本信息，可以包括如下操作。
[0218]
对与第一预定尺度对应的样本查询特征信息进行全连接操作，得到与第一预定尺度对应的第二自关联样本信息。
[0219]
根据本公开的实施例，根据与第一预定尺度对应的样本支持特征信息和样本查询特征信息，得到与第一预定尺度对的中间互关联样本信息，可以包括如下操作。
[0220]
对与第一预定尺度对应的样本支持特征信息和样本查询特征信息进行全连接操作，得到与第一预定尺度对应的中间互关联样本信息。
[0221]
根据本公开的实施例，根据与第一预定尺度对应的第一自关联样本信息、第二自关联样本信息和中间互关联样本信息，得到与第一预定尺度对应的互关联样本信息，可以包括如下操作。
[0222]
基于第四自注意力策略，根据与第一预定尺度对应的第一自关联样本信息和中间互关联样本信息，得到与第一预定尺度对应的第五中间样本信息。根据与第一预定尺度对应的第二自关联样本信息和第五中间样本信息，得到与第一预定尺度对应的互关联样本信息。
[0223]
根据本公开的实施例，操作s430可以包括如下操作。
[0224]
根据至少一个第一预定尺度的样本相关信息，得到第六中间样本信息。根据第六中间样本信息和至少一个第二预定尺度的样本查询特征信息，得到样本查询图像的预测图像分割结果。
[0225]
根据本公开的实施例，至少一个尺度包括n个尺度。至少一个第一预定尺度包括m个第一预定尺度。至少一个第二预定尺度包括(n-m)个第二预定尺度。n是大于1的整数。m是大于或等于1且小于n的整数。
[0226]
根据本公开的实施例，在样本相关信息包括样本查询图像和样本支持图像之间的互相关样本语义信息以及样本查询图像和样本支持图像之间的互关联样本信息中的一项的情况下，根据至少一个第一预定尺度的样本相关信息，得到第六中间样本信息，可以包括如下操作。
[0227]
在(n-m+1)≤i＜n的情况下，对与第i个第一预定尺度对应的样本相关信息进行卷积操作，得到与第i个第一预定尺度对应的第一原始中间样本信息。对与第i个第一预定尺度对应的第一原始中间样本信息和与第(i+1)个第一预定尺度对应的第一目标中间样本信息进行点积操作，得到与第i个第一预定尺度对应的第一目标中间样本信息。将与第(n-m+1)个第一预定尺度对应的第一目标中间样本信息确定为第六中间样本信息。
[0228]
根据本公开的实施例，根据第六中间样本信息和至少一个第二预定尺度的样本查
询特征信息，得到样本查询图像的预测图像分割结果，可以包括如下操作。
[0229]
在j＝n-m的情况下，对与第(n-m)个第二预定尺度对应的样本查询特征信息进行卷积操作，得到与第(n-m)个第二预定尺度对应的第一原始中间样本信息。对第六中间样本信息和与第(n-m)个第二预定尺度对应的第一原始中间样本信息进行点积操作，得到与第(n-m)个第二预定尺度对应的第一目标中间样本信息。在1≤j＜n-m的情况下，对与第j个第二预定尺度对应的样本查询特征信息进行卷积操作，得到与第j个第二预定尺度对应的第一原始中间样本信息。对与第j个第二预定尺度对应的第一第一原始中间样本信息和与第(j+1)个第二预定尺度对应的第一目标中间样本信息进行点积操作，得到与第j个第二预定尺度对应的第一目标中间样本信息。根据与第1个第二预定尺度对应的第一目标中间样本信息，确定样本查询图像的预测图像分割结果。
[0230]
根据本公开的实施例，至少一个尺度包括p个尺度。至少一个第一预定尺度包括q个第一预定尺度。至少一个第二预定尺度包括(p-q)个第二预定尺度。p是大于1的整数。q是大于或等于1且小于p的整数。
[0231]
根据本公开的实施例，在样本相关信息包括样本查询图像和样本支持图像之间的互相关样本语义信息以及样本查询图像和样本支持图像之间的互关联样本信息的情况下，根据至少一个第一预定尺度的样本相关信息，得到第六中间样本信息，可以包括如下操作。
[0232]
在(p-q+1)≤k＜p的情况下，对与第k个第一预定尺度对应的互相关样本语义信息和互关联样本信息进行点积操作，得到与第k个第一预定尺度对应的第二原始中间样本信息。对与第k个第一预定尺度对应的第二原始中间样本信息进行卷积操作，得到与第k个第一预定尺度对应的第三原始中间样本信息。对与第k个第一预定尺度对应的第三原始中间样本信息和与第(k+1)个第一预定尺度对应的第二目标中间样本信息进行点积操作，得到与第k个第一预定尺度对应的第二目标中间样本信息。将与第(p-q+1)个第一预定尺度对应的第二目标中间样本信息确定为第六中间信息。
[0233]
根据本公开的实施例，根据第六中间样本信息和至少一个第二预定尺度的样本查询特征信息，得到样本查询图像的预测图像分割结果，可以包括如下操作。
[0234]
在l＝p-q的情况下，对与第(p-q)个第二预定尺度对应的样本查询特征信息进行卷积操作，得到与第(p-q)个第二预定尺度对应的第二原始中间样本信息。对第六中间样本信息和与第(p-q)个第二预定尺度对应的第二原始中间样本信息进行点积操作，得到与第(p-q)个第二预定尺度对应的第二目标中间样本信息。在1≤l＜p-q的情况下，对与第l个第二预定尺度对应的样本查询特征信息进行卷积操作，得到与第l个第二预定尺度对应的第二原始中间样本信息。对与第l个第二预定尺度对应的第二原始中间样本信息和与第(l+1)个第二预定尺度对应的第二目标中间样本信息进行点积操作，得到与第l个第二预定尺度对应的第二目标中间样本信息。根据与第1个第二预定尺度对应的第二目标中间样本信息，确定样本查询图像的预测图像分割结果。
[0235]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0236]
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他图像分割方法和图像分割模型的训练方法，只要能够提高图像分割精度即可。
[0237]
图5示意性示出了根据本公开实施例的图像分割装置的框图。
[0238]
如图5所示，图像分割装置500可以包括第一获得模块510、第二获得模块520和第三获得模块530。
[0239]
第一获得模块510，用于根据查询图像的查询图像数据、支持图像的支持图像数据和与支持图像对应的掩码图像的掩码图像数据，得到至少一个尺度的特征信息。特征信息包括查询图像的查询特征信息、支持图像的支持特征信息和掩码图像的掩码特征信息。
[0240]
第二获得模块520，用于根据至少一个尺度的特征信息，得到至少一个第一预定尺度的相关信息。相关信息包括以下至少一项：查询图像和支持图像之间的互相关语义信息以及查询图像和支持图像之间的互关联信息，互相关语义信息是根据支持图像的第一自相关语义信息和查询图像的第二自相关语义信息确定的，互关联信息是根据支持图像的第一自关联信息和查询图像的第二自关联信息确定的。
[0241]
第三获得模块530，用于根据至少一个第二预定尺度的特征信息和至少一个第一预定尺度的相关信息，得到查询图像的图像分割结果。
[0242]
根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互相关语义信息的情况下，第二获得模块520可以包括第一获得子模块、第二获得子模块和第三获得子模块。
[0243]
针对至少一个第一预定尺度中的每个第一预定尺度，
[0244]
第一获得子模块，用于根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一自相关语义信息。
[0245]
第二获得子模块，用于根据与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二自相关语义信息。
[0246]
第三获得子模块，用于根据与第一预定尺度对应的支持特征信息、第一自相关语义信息和第二自相关语义信息，得到与第一预定尺度对应的互相关语义信息。
[0247]
根据本公开的实施例，第一获得子模块可以包括第一获得单元和第二获得单元。
[0248]
第一获得单元，用于基于第一自注意力策略，根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一中间信息。
[0249]
第二获得单元，用于根据与第一预定尺度对应的第一中间信息和掩码特征信息，得到与第一预定尺度对应的第一自相关语义信息。
[0250]
根据本公开的实施例，第二获得子模块可以包括第三获得单元和第四获得单元。
[0251]
第三获得单元，用于基于第二自注意力策略，根据与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二中间信息。
[0252]
第四获得单元，用于根据与第一预定尺度对应的第二中间信息和查询特征信息，得到与第一预定尺度对应的第二自相关语义信息。
[0253]
根据本公开的实施例，第三获得子模块可以包括第五获得单元和第六获得单元。
[0254]
第五获得单元，用于基于第三自注意力策略，根据与第一预定尺度对应的支持特征信息、第一自相关语义信息和第二自相关语义信息，得到与第一预定尺度对应的第三中间信息。
[0255]
第六获得单元，用于根据与第一预定尺度对应的第一自相关语义信息和第三中间信息，得到与第一预定尺度对应的互相关语义信息。
[0256]
根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互关联信息的
情况下，第二获得模块520可以包括第四获得子模块、第五获得子模块、第六获得子模块和第七获得子模块。
[0257]
针对至少一个第一预定尺度中的每个第一预定尺度，
[0258]
第四获得子模块，用于根据与第一预定尺度对应的支持特征信息和掩码特征信息，得到与第一预定尺度对应的第一自关联信息。
[0259]
第五获得子模块，用于根据与第一预定尺度对应的查询特征信息，得到与第一预定尺度对应的第二自关联信息。
[0260]
第六获得子模块，用于根据与第一预定尺度对应的支持特征信息和查询特征信息，得到与第一预定尺度对的中间互关联信息。
[0261]
第七获得子模块，用于根据与第一预定尺度对应的第一自关联信息、第二自关联信息和中间互关联信息，得到与第一预定尺度对应的互关联信息。
[0262]
根据本公开的实施例，第四获得子模块可以包括第七获得单元和第八获得单元。
[0263]
第七获得单元，用于对与第一预定尺度对应的支持特征信息和掩码特征信息进行点积操作，得到与第一预定尺度对应的第四中间信息。
[0264]
第八获得单元，用于对与第一预定尺度对应的第四中间信息进行全连接操作，得到与第一预定尺度对应的第一自关联信息。
[0265]
根据本公开的实施例，第五获得子模块可以包括第九获得单元。
[0266]
第九获得单元，用于对与第一预定尺度对应的查询特征信息进行全连接操作，得到与第一预定尺度对应的第二自关联信息。
[0267]
根据本公开的实施例，第六获得子模块可以包括第十获得单元。
[0268]
第十获得单元，用于对与第一预定尺度对应的支持特征信息和查询特征信息进行全连接操作，得到与第一预定尺度对应的中间互关联信息。
[0269]
根据本公开的实施例，第七获得子模块可以包括第十一获得单元和第十二获得单元。
[0270]
第十一获得单元，用于基于第四自注意力策略，根据与第一预定尺度对应的第一自关联信息和中间互关联信息，得到与第一预定尺度对应的第五中间信息。
[0271]
第十二获得单元，用于根据与第一预定尺度对应的第二自关联信息和第五中间信息，得到与第一预定尺度对应的互关联信息。
[0272]
根据本公开的实施例，第三获得模块530可以包括第八获得子模块和第九获得子模块。
[0273]
第八获得子模块，用于根据至少一个第一预定尺度的相关信息，得到第六中间信息。
[0274]
第九获得子模块，用于根据至少一个第二预定尺度的查询特征信息和第六中间信息，得到查询图像的图像分割结果。
[0275]
根据本公开的实施例，至少一个尺度包括n个尺度。至少一个第一预定尺度包括m个第一预定尺度。至少一个第二预定尺度包括(n-m)个第二预定尺度。n是大于1的整数。m是大于或等于1且小于n的整数。
[0276]
根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互相关语义信息以及查询图像和支持图像之间的互关联信息中的一项的情况下，第八获得子模块可以包
括第十三获得单元、第十四获得单元和第一确定单元。
[0277]
在(n-m+1)≤i＜n的情况下，
[0278]
第十三获得单元，用于对与第i个第一预定尺度对应的相关信息进行卷积操作，得到与第i个第一预定尺度对应的第一原始中间信息。
[0279]
第十四获得单元，用于对与第i个第一预定尺度对应的第一原始中间信息和与第(i+1)个第一预定尺度对应的第一目标中间信息进行点积操作，得到与第i个第一预定尺度对应的第一目标中间信息。
[0280]
第一确定单元，用于将与第(n-m+1)个第一预定尺度对应的第一目标中间信息确定为第六中间信息。
[0281]
根据本公开的实施例，第九获得子模块可以包括第十五获得单元、第十六获得单元、第十七获得单元、第十八获得单元和第二确定单元。
[0282]
在j＝n-m的情况下，
[0283]
第十五获得单元，用于对与第(n-m)个第二预定尺度对应的查询特征信息进行卷积操作，得到与第(n-m)个第二预定尺度对应的第一原始中间信息。
[0284]
第十六获得单元，用于对与第(n-m)个第二预定尺度对应的第一原始中间信息和第六中间信息进行点积操作，得到与第(n-m)个第二预定尺度对应的第一目标中间信息。
[0285]
在1≤j＜n-m的情况下，
[0286]
第十七获得单元，用于对与第j个第二预定尺度对应的查询特征信息进行卷积操作，得到与第j个第二预定尺度对应的第一原始中间信息。
[0287]
第十八获得单元，用于对与第j个第二预定尺度对应的第一第一原始中间信息和与第(j+1)个第二预定尺度对应的第一目标中间信息进行点积操作，得到与第j个第二预定尺度对应的第一目标中间信息。
[0288]
第二确定单元，用于根据与第1个第二预定尺度对应的第一目标中间信息，确定查询图像的图像分割结果。
[0289]
根据本公开的实施例，至少一个尺度包括p个尺度。至少一个第一预定尺度包括q个第一预定尺度。至少一个第二预定尺度包括(p-q)个第二预定尺度。p是大于1的整数。q是大于或等于1且小于p的整数。
[0290]
根据本公开的实施例，在相关信息包括查询图像和支持图像之间的互相关语义信息以及查询图像和支持图像之间的互关联信息的情况下，第八获得子模块可以包括第十九获得单元、第二十获得单元、第二十一获得单元和第三确定单元。
[0291]
在(p-q+1)≤k＜p的情况下，
[0292]
第十九获得单元，用于对与第k个第一预定尺度对应的互相关语义信息和互关联信息进行点积操作，得到与第k个第一预定尺度对应的第二原始中间信息。
[0293]
第二十获得单元，用于对与第k个第一预定尺度对应的第二原始中间信息进行卷积操作，得到与第k个第一预定尺度对应的第三原始中间信息。
[0294]
第二十一获得单元，用于对与第k个第一预定尺度对应的第三原始中间信息和与第(k+1)个第一预定尺度对应的第二目标中间信息进行点积操作，得到与第k个第一预定尺度对应的第二目标中间信息。
[0295]
第三确定单元，用于将与第(p-q+1)个第一预定尺度对应的第二目标中间信息确
定为第六中间信息。
[0296]
根据本公开的实施例，第九获得子模块可以包括第二十二获得单元、第二十三获得单元、第二十四获得单元、第二十五获得单元和第四确定单元。
[0297]
在l＝p-q的情况下，
[0298]
第二十二获得单元，用于对与第(p-q)个第二预定尺度对应的查询特征信息进行卷积操作，得到与第(p-q)个第二预定尺度对应的第二原始中间信息。
[0299]
第二十三获得单元，用于对与第(p-q)个第二预定尺度对应的第二原始中间信息和第六中间信息进行点积操作，得到与第(p-q)个第二预定尺度对应的第二目标中间信息。
[0300]
在1≤l＜p-q的情况下，
[0301]
第二十四获得单元，用于对与第l个第二预定尺度对应的查询特征信息进行卷积操作，得到与第l个第二预定尺度对应的第二原始中间信息。
[0302]
第二十五获得单元，用于对与第l个第二预定尺度对应的第二原始中间信息和与第(l+1)个第二预定尺度对应的第二目标中间信息进行点积操作，得到与第l个第二预定尺度对应的第二目标中间信息。
[0303]
第四确定单元，用于根据与第1个第二预定尺度对应的第二目标中间信息，确定查询图像的图像分割结果。
[0304]
图6示意性示出了根据本公开实施例的图像分割模型的训练装置的框图。
[0305]
如图6所示，图像分割模型的训练装置600可以包括第四获得模块610、第五获得模块620、第六获得模块630和第七获得模块640。
[0306]
第四获得模块610，用于根据样本查询图像的样本查询图像数据、样本支持图像的样本支持图像数据和与所述样本支持图像对应的样本掩码图像的样本掩码图像数据，得到至少一个尺度的样本特征信息。所述样本特征信息包括所述样本查询图像的样本查询特征信息、所述样本支持图像的样本支持特征信息和所述样本掩码图像的样本掩码特征信息。
[0307]
第五获得模块620，用于根据所述至少一个尺度的样本特征信息，得到至少一个第一预定尺度的样本相关信息。所述样本相关信息包括以下至少一项：所述样本查询图像和所述样本支持图像之间的互相关样本语义信息以及所述样本查询图像和所述样本支持图像之间的互关联样本信息，所述样本查询图像和所述样本支持图像之间的互相关样本语义信息是根据所述样本支持图像的第一自相关样本语义信息和所述样本查询图像的第二自相关样本语义信息确定的，所述样本查询图像和所述样本支持图像之间的互关联样本信息是根据所述样本支持图像的第一自关联样本信息和所述样本查询图像的第二自关联样本信息确定的。
[0308]
第六获得模块630，用于根据至少一个第二预定尺度的样本特征信息和所述至少一个第一预定尺度的样本相关信息，得到所述样本查询图像的预测图像分割结果。
[0309]
第七获得模块640，用于根据所述样本查询图像的真实图像分割结果和预测图像分割结果训练所述图像分割模型，得到训练完成的图像分割模型。
[0310]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0311]
根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少
一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
[0312]
根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
[0313]
根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
[0314]
图7示意性示出了根据本公开实施例的适于实现图像分割方法和图像分割模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0315]
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0316]
电子设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0317]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像分割方法或图像分割模型的训练方法。例如，在一些实施例中，图像分割方法或图像分割模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的图像分割方法或图像分割模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分割方法或图像分割模型的训练方法。
[0318]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0319]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0320]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0321]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0322]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0323]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
[0324]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0325]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。