全景分割方法、装置和系统及存储介质与流程

本发明涉及计算机领域，更具体地涉及一种全景分割方法、装置和系统以及存储介质。

背景技术：

全景分割是计算机视觉技术中提出的一个新的任务。全景分割相对于语义分割，增加了实例信息，相对于实例分割，增加了无定形区域的分割。因此，全景分割是语义分割和实例分割的集成，但是又引入了新的算法挑战，例如，现有的全景分割技术采用两种独立的网络分别处理语义分割任务和实例分割任务，这种方式参数量大，网络性能不够好。

技术实现要素：

考虑到上述问题而提出了本发明。本发明提供了一种全景分割方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种全景分割方法。该方法包括：获取待处理图像；将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将语义分割结果和实例分割结果融合，以获得全景分割结果。

示例性地，实例分割结果包括与至少两个实例框分别相关的实例信息，将语义分割结果和实例分割结果融合，以获得全景分割结果包括：

对于待融合实例集合中的任一待融合实例框，计算该待融合实例框与相关实例集合中的任一相关实例框之间的重叠面积与该待融合实例框所占面积之比，以获得该待融合实例框与该相关实例框之间的重叠比率，其中，待融合实例集合包括至少两个实例框中的至少一个实例框，相关实例集合包括至少两个实例框中除该待融合实例框之外的至少一个实例框；根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级；至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。

示例性地，根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级包括：如果在该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率中，存在预设数目的重叠比率大于预设阈值，则确定该待融合实例框的层级为高，否则，确定该待融合实例框的层级为低，其中，层级高的实例框具有覆盖层级低的实例框的资格。

示例性地，预设数目为1和/或预设阈值为0.5。

示例性地，实例信息包括置信度，至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。

示例性地，实例信息包括类别信息和实例标识信息，至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：对于待融合实例集合中存在重叠的第一实例框和第二实例框，如果第一实例框和第二实例框的层级不同，则确定在第一实例框和第二实例框的重叠区域中，将第一实例框和第二实例框之中层级高的实例框的类别信息和实例标识信息分配给重叠区域的像素；如果第一实例框和第二实例框的层级相同，则确定在重叠区域中，将第一实例框和第二实例框之中置信度高的实例框的类别信息和实例标识信息分配给重叠区域的像素。

示例性地，语义分割结果包括与待处理图像上的至少部分像素分别相关的材料类别信息，材料类别信息用于指示对应像素所属的材料类别，将语义分割结果和实例分割结果融合，以获得全景分割结果包括：将语义分割结果中的材料类别信息映射到全景分割结果图像上；根据至少两个实例框在融合过程中的覆盖优先级将至少两个实例框映射到全景分割结果图像上，以获得全景分割结果，其中，如果在映射到全景分割结果图像的任一像素上时，实例分割结果中与该像素相对应的实例信息和语义分割结果中与该像素相对应的材料类别信息存在冲突，则将实例分割结果中与该像素相对应的实例信息分配给该像素。

示例性地，在待融合实例集合由至少两个实例框中的与其他实例框存在重叠的实例框组成的情况下，至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：对于至少两个实例框中除待融合实例集合以外的任一实例框，确定该实例框在融合过程中的覆盖优先级为预设的优先级。

示例性地，待融合实例集合由至少两个实例框中的与其他实例框存在重叠的实例框组成；或者，待融合实例集合由至少两个实例框组成。

示例性地，相关实例集合由待融合实例集合中除该待融合实例框之外的实例框组成；或者，相关实例集合由至少两个实例框中与该待融合实例框存在重叠的实例框组成；或者，相关实例集合由至少两个实例框中除该待融合实例框之外的实例框组成。

示例性地，共享特征提取模块包括第一卷积模块、第二卷积模块和第三卷积模块，语义分割分支包括第四卷积模块和第五卷积模块，实例分割分支包括第六卷积模块和第七卷积模块，其中，第四卷积模块的空洞卷积扩张参数为2，步长参数为1；第五卷积模块的空洞卷积扩张参数为4，步长参数为1；第六卷积模块的空洞卷积扩张参数为1，步长参数为2；第七卷积模块的空洞卷积扩张参数为1，步长参数为2。

示例性地，第四卷积模块和第六卷积模块采用相同的卷积核权重，第五卷积模块和第七卷积模块采用相同的卷积核权重。

根据本发明另一方面，提供了一种全景分割装置，包括：获取模块，用于获取待处理图像；第一输入模块，用于将所述待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；第二输入模块，用于将所述共享特征图分别输入所述全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及融合模块，用于将所述语义分割结果和所述实例分割结果融合，以获得全景分割结果。

根据本发明另一方面，提供了一种全景分割系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述全景分割方法。

根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述全景分割方法。

根据本发明实施例的全景分割方法、装置、系统及存储介质，通过使语义分割和实例分割两个子任务共享基础模型的参数，可以有效降低网络的参数量，从而减小计算量，加快网络处理速度。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的全景分割方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的全景分割方法的示意性流程图；

图3示出根据本发明一个实施例的全景分割方法所涉及的算法模块的示意图；

图4示出根据本发明一个实施例的全景分割装置的示意性框图；以及

图5示出根据本发明一个实施例的全景分割系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

本发明实施例提供了一种全景分割方法、装置和系统以及存储介质。根据本发明实施例，提出了新的端到端的全景分割网络框架，它能够使语义分割和实例分割两个子任务共享基础模型的参数，同时保证一定的精度。根据本发明实施例的全景分割方法和装置可以应用于任何需要进行全景分割的领域，例如地理信息系统、自动驾驶、医疗影像分析、机器人技术等领域。

首先，参照图1来描述用于实现根据本发明实施例的全景分割方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、微处理器中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(cpu)、图像处理器(gpu)、专用的集成电路(asic)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。

所述图像采集装置110可以采集图像，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头等。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备100。

示例性地，用于实现根据本发明实施例的全景分割方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的全景分割方法。图2示出根据本发明一个实施例的全景分割方法200的示意性流程图。如图2所示，全景分割方法200包括以下步骤s210、s220、s230和s240。

在步骤s210，获取待处理图像。

待处理图像可以是任何需要进行全景分割的图像。待处理图像可以是静态图像，也可以是视频中的视频帧。待处理图像可以是图像采集装置采集到的原始图像，也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。

示例性地，可以将待处理图像提取为张量的形式，获得图像张量，该图像张量可以代表待处理图像。在这种情况下，将待处理图像输入全景分割网络可以是将上述图像张量输入全景分割网络。

在步骤s220，将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图。

在步骤s230，将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果。

图3示出根据本发明一个实施例的全景分割方法所涉及的算法模块的示意图。全景分割方法所涉及的算法模块可以包括全景分割网络和融合模块。根据本发明实施例的全景分割网络可以包括基础网络(即共享特征提取模块)和两个分支(即语义分割分支和实例分割分支)。

示例性地，共享特征提取模块可以包括第一卷积模块、第二卷积模块和第三卷积模块，语义分割分支可以包括第四卷积模块和第五卷积模块，实例分割分支可以包括第六卷积模块和第七卷积模块，其中，第四卷积模块的空洞卷积扩张参数为2，步长参数为1；第五卷积模块的空洞卷积扩张参数为4，步长参数为1；第六卷积模块的空洞卷积扩张参数为1，步长参数为2；第七卷积模块的空洞卷积扩张参数为1，步长参数为2。

如图3所示，共享特征提取模块可以包括三个卷积模块，第一卷积模块、第二卷积模块和第三卷积模块。示例性而非限制性地，第一卷积模块、第二卷积模块和第三卷积模块可以分别采用与残差网络(例如resnet-50、resnet-101等)的前三个卷积模块res1、res2、res3层相似的结构实现。在图3中，语义分割分支中包括一个金字塔池化模块(图3中已标记)，图3中其余未标记的模块为残差模块。

通过共享特征提取模块，语义分割和实例分割这两个子任务可以共享基础网络的所有卷积参数。两个子任务共享基础网络，可以减少网络的超参数，使得计算量减小，网络处理速度加快，同时不会影响网络的检测精度。

在基础网络下方，具有两个分支。左边的分支表示语义分割分支，其可以用于预测无定形区域，右边的分支表示实例分割分支，其可以用于预测实例。在本文中，用材料(stuff)表示无定形区域，无定形区域是指具有相同或相似纹理或物质的区域，例如草地、天空、道路等。此外，在本文中，用实例(things)表示可数的、独立的事物，例如人、动物、车辆等。本领域技术人员可以理解在全景分割中材料和实例的含义及其区别，本文不做赘述。

语义分割分支可以包括第四卷积模块和第五卷积模块，实例分割分支可以包括第六卷积模块和第七卷积模块。示例性而非限制性地，第四卷积模块和第五卷积模块可以分别采用与残差网络(例如resnet-50、resnet-101等)的后两个卷积模块res4、res5层相似的结构实现。此外，示例性而非限制性地，第六卷积模块和第七卷积模块也可以分别采用与残差网络(例如resnet-50、

resnet-101等)的后两个卷积模块res4、res5层相似的结构实现。

语义分割分支和实例分割分支可以在res4、res5层处分别采用不同的空洞卷积扩张参数(dilation)和步长参数(stride)。例如，对于语义分割分支，res4层的dilation＝2，stride＝1；res5层的dilation＝4，stride＝1。又例如，对于实例分割分支，res4层的dilation＝1，stride＝2；res5层的dilation＝1，stride＝2。

示例性地，第四卷积模块和第六卷积模块可以采用相同的卷积核权重，第五卷积模块和第七卷积模块可以采用相同的卷积核权重。

如图3所示，在res4、res5层中，语义分割网络和实例分割网络可以共享相同的卷积核权重(即卷积核所对应的矩阵中的各个元素是相同的)，这样做可以在一定程度上降低网络参数量，同时保证一定的预测精度。

此外，图3还示出了第二卷积模块、第三卷积模块、第六卷积模块和第七卷积模块的一种示例性结构，即，第二卷积模块、第三卷积模块、第六卷积模块和第七卷积模块可以组成与maskrcnn类似的网络结构。第二卷积模块、第三卷积模块、第六卷积模块和第七卷积模块中的每一个可以分别实施不同分辨率上的实例预测，获得不同分辨率的实例分割结果。可以将各不同分辨率的实例分割结果结合起来，获得总的实例分割结果。本领域技术人员可以理解与maskrcnn类似的网络结构的工作方式，本文不做赘述。

采用如图3所示的全景分割网络，可以在语义分割分支和实例分割分支的输出端处分别获得语义分割结果和实例分割结果。

示例性地，语义分割结果可以包括与待处理图像上的每个像素相关的语义分割信息，该语义分割信息可以用于指示对应像素所属的类别。语义分割可以判断的类别既可以包括材料类别，也可以包括实例类别。相应地，语义分割信息可以包括材料类别信息和实例类别信息，材料类别信息可以用于指示对应像素所属的材料类别，实例类别信息可以用于指示对应像素所属的实例类别。示例性地，语义分割结果可以用一张语义分割热力图表示，该语义分割热力图可选地与待处理图像大小一致，二者的像素一一对应。语义分割热力图上的每个像素具有上述语义分割信息，用于指示待处理图像上的对应像素属于何种材料或者何种实例。

示例性地，实例分割结果可以包括与一个或多个实例框(instbbox)分别相关的实例信息。所述实例信息可以包括以下一项或多项：用于指示对应实例框所在位置的位置信息、用于指示对应实例框所属类别(即实例类别)的类别信息、用于指示对应实例框所属实例的实例标识信息、用于指示对应实例框的分类准确性的置信度(score)。

在步骤s240，将语义分割结果和实例分割结果融合，以获得全景分割结果。

如图3所示，可以在融合模块中将语义分割结果和实例分割结果融合，以获得全景分割结果。图3所示的融合模块内的算法仅是示例而非对本发明的限制，可以采用任何合适的融合方法将语义分割结果和实例分割结果融合。

虽然语义分割结果和实例分割结果中均包含实例类别信息，但是由于实例分割子任务在针对实例的分割上更准确可靠，因此，可以可选地从语义分割结果中获取材料类别信息，从实例分割结果中获取实例信息，将材料类别信息和实例信息融合在一起，获得全景分割结果。

示例性地，融合过程可以是将语义分割结果中的材料类别信息和实例分割结果中的实例信息映射到全景分割结果图像(或称全景分割热力图)上。在映射之前，全景分割结果图像可以视为是与待处理图像大小一致的空白图像。通过映射，可以为全景分割结果图像上的每个像素赋予对应的全景分割信息，该全景分割信息来自于语义分割结果中的材料类别信息和实例分割结果中的示例信息。全景分割结果图像上的每个像素的全景分割信息可以用于指示待处理图像上的对应像素属于何种类别，该类别包括材料类别和实例类别，并且在待处理图像上的对应像素属于实例类别的情况下，还可以指示待处理图像上的对应像素所属的实例标识(id)。这样，在映射完成之后，可以获得针对每个像素具有类别信息和实例id信息的全景分割结果图像，全景分割结果可以用该全景分割结果图像表示。

根据本发明实施例的全景分割方法，通过使语义分割和实例分割两个子任务共享基础模型的参数，可以有效降低网络的参数量，从而减小计算量，加快网络处理速度。

示例性地，根据本发明实施例的全景分割方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的全景分割方法可以部署在图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的全景分割方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在客户端获取图像，客户端将获取的图像传送给服务器端(或云端)，由服务器端(或云端)进行全景分割。

根据本发明实施例，实例分割结果包括与至少两个实例框分别相关的实例信息，将语义分割结果和实例分割结果融合，以获得全景分割结果(步骤s240)可以包括：对于待融合实例集合中的任一待融合实例框，计算该待融合实例框与相关实例集合中的任一相关实例框之间的重叠面积与该待融合实例框所占面积之比，以获得该待融合实例框与该相关实例框之间的重叠比率，其中，待融合实例集合包括至少两个实例框中的至少一个实例框，相关实例集合包括至少两个实例框中除该待融合实例框之外的至少一个实例框；根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级；至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。

可以理解，实例分割子任务有可能检测不到任何实例，即实例分割结果可以是空结果，这可以在待处理图像中不包括任何实例或者虽然待处理图像包括实例但是实例分割子任务未准确检测的情况下发生。在这种情况下，经过结果融合之后，全景分割结果中的实例信息也可以是空的。

在另一个示例中，实例分割子任务有可能仅检测到一个实例，即实例分割结果可以包括与一个实例框相关的实例信息，这可以在待处理图像仅包括一个实例或者虽然待处理图像包括多个实例但是实例分割子任务未全部检测出的情况下发生。在这种情况下，可以将检测到的一个实例框的实例信息直接映射到全景分割结果图像上，无需计算覆盖优先级。

在又一个示例中，实例分割子任务有可能检测到至少两个实例，即实例分割结果可以包括与至少两个实例框相关的实例信息。在这种情况下，在进行结果融合时，可能存在不同实例框重叠的情况。对于不与其他实例框重叠的实例框，可以直接将该实例框的实例信息映射到全景分割结果图像上。而对于存在重叠的任意两个实例框，则可以考虑这两个实例框之间的覆盖优先级，即应该由哪个实例框覆盖哪个实例框。可以理解，在两个实例框的重叠区域，覆盖优先级低的实例框的实例信息可以被覆盖掉，即在全景分割结果中不予考虑，而覆盖优先级高的实例框的实例信息则可以映射到全景分割结果图像上，以获得全景分割结果。

示例性地，在确定各实例框在融合过程中的覆盖优先级时，可以考虑实例框的层级关系，该层级关系可以基于实例框的重叠比率确定。下面描述重叠比率的计算方式。

待融合实例框可以是待融合实例集合中的任一实例框，相关实例框可以是相关实例集合中的任一实例框。为了进行区分，将待融合实例集合中的实例框称为待融合实例框，将相关实例集合中的实例框称为相关实例框，二者并没有特殊含义。待融合实例集合和相关实例集合所包含的实例框可以是哪些实例框将在下文描述。

假设某一待融合实例框用bboxa表示，某一相关实例框用bboxbi表示，则可以通过以下公式计算bboxa与bboxbi之间的重叠比率：

其中，a∩b表示两个实例框bboxa和bboxbi的重叠面积，a、bi分别表示两个实例框bboxa和bboxbi所占的面积，i＝1，2……m，m为相关实例集合中的实例框的数目。

针对不同的相关实例框，可以利用以上公式获得bboxa与各相关实例框bboxbi之间的重叠比率。

计算bboxa与相关实例集合中的所有相关实例框之间的重叠比率之后，可以基于这些重叠比率计算bboxa的层级。例如，可以判断这些重叠比率中最大的重叠比率是否大于一个预设阈值，例如0.5，如果是，则可以确定bboxa的层级为高(即上层)，如果最大的重叠比率不大于该阈值，则可以确定bboxa的层级为低(即下层)。上层的实例在全景分割结果图像上显示的优先级更高，不会被下层的实例覆盖。

虽然在本文的描述中，将层级关系分为两层(即二值化)，但是这并非对本发明的限制，层级关系可以具有更多的值(即多值化)。类似地，覆盖优先级也可以具有两个或多于两个的优先级值，并不局限于高和低这两种优先级。

对于待融合集合中的每一个待融合实例框，均可以执行与bboxa类似的操作，以确定每个待融合实例框的覆盖优先级。可以理解的是，对于不同的待融合实例框来说，其所对应的相关实例集合是不同的，每个待融合实例框均单独具有与其对应的相关实例集合。

在融合过程中，可以基于各实例框的覆盖优先级来将其实例信息映射到全景分割结果图像上，以获得全景分割结果。

上述确定覆盖优先级的方式考虑到待融合实例框与其他实例框之间的重叠比率，可以减少在结果融合过程中对实例框的不恰当覆盖。例如，bboxa与其他实例框之间的重叠过大，妨碍bboxa的显示，但有可能通过重叠比率将其层级确定为高，进而使得其覆盖优先级为高，使其优先显示，从而避免被其他实例框覆盖。经研究，在语义分割和实例分割两个子任务的结果融合中，基于层级关系进行像素上的分割结果的融合，这种方式可以使全景分割系统的预测精度得到极大的优化和提升。

根据本发明实施例，待融合实例集合可以由至少两个实例框中的与其他实例框存在重叠的实例框组成；或者，待融合实例集合可以由至少两个实例框组成。

在一个示例中，待融合实例集合可以包括实例分割分支获得的所有实例框(即本文描述的至少两个实例框)，即，可以将至少两个实例框中的每一个分别视为待融合实例框，计算其与所对应的相关实例集合中的所有相关实例框之间的重叠比率。可以理解，如果某一待融合实例框与另一相关实例框不重叠，则二者之间的重叠比率为0，如果某一待融合实例框不与任何实例框重叠，则该待融合实例框与所有相关实例框之间的重叠比率均为0。

在一个示例中，待融合实例集合可以仅包括实例分割分支获得的所有实例框(即本文描述的至少两个实例框)中与其他实例框存在重叠的实例框。例如，可以基于实例框的位置信息判断不同实例框之间是否存在重叠，并从至少两个实例框中选择与其他实例框存在重叠的实例框，以组成待融合实例集合。

根据本发明实施例，相关实例集合可以由待融合实例集合中除该待融合实例框之外的实例框组成；或者，相关实例集合可以由至少两个实例框中与该待融合实例框存在重叠的实例框组成；或者，相关实例集合可以由至少两个实例框中除该待融合实例框之外的实例框组成。

在一个示例中，对于任一待融合实例框来说，相关实例集合可以仅包括待融合实例集合中除该待融合实例框之外的实例框。在待融合实例集合包括实例分割分支获得的所有实例框(即本文描述的至少两个实例框)的情况下，与任一待融合实例框对应的相关实例集合可以包括至少两个实例框中除该待融合实例框之外的实例框，即，可以将至少两个实例框中的每一个分别视为待融合实例框，计算其与至少两个实例框中的剩余实例框之间的重叠比率。在待融合实例集合仅包括至少两个实例框中与其他实例框存在重叠的实例框的情况下，与任一待融合实例框对应的相关实例集合可以包括与其他实例框存在重叠的实例框中除该待融合实例框之外的实例框，即，可以将与其他实例框存在重叠的实例框中的每一个分别视为待融合实例框，计算其与与其他实例框存在重叠的实例框中的剩余实例框之间的重叠比率。

在一个示例中，对于任一待融合实例框来说，相关实例集合可以仅包括与该待融合实例框存在重叠的实例框。无论待融合实例集合包括实例分割分支获得的所有实例框还是仅包括存在重叠的那部分实例框，均可以仅计算待融合实例框和与其存在重叠的实例框之间的重叠比率。

在一个示例中，对于任一待融合实例框来说，相关实例集合可以仅包括实例分割分支获得的所有实例框(即本文描述的至少两个实例框)中除该待融合实例框之外的实例框。无论待融合实例集合包括实例分割分支获得的所有实例框还是仅包括存在重叠的那部分实例框，均可以计算待融合实例框和实例分割分支获得的所有实例框中除待融合实例框之外的实例框之间的重叠比率。

根据本发明实施例，在待融合实例集合由至少两个实例框中的与其他实例框存在重叠的实例框组成的情况下，至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括：对于至少两个实例框中除待融合实例集合以外的任一实例框，确定该实例框在融合过程中的覆盖优先级为预设的优先级。

对于待融合实例集合中的待融合实例框，即与其他实例框存在重叠的实例框，至少基于待融合实例集合中的所有待融合实例框的层级，可以直接确定这些实例框的覆盖优先级。

而对于不属于待融合实例框中的实例框，即对于不与其他实例框重叠的实例框，可以将其覆盖优先级设置为预设的优先级。该预设的优先级可以是固定的，也可以是从若干预设的优先级中随机选定的。当然，预设的优先级也可以是空结果(null)。由于不存在重叠，实例框的覆盖优先级可以任意设置。

根据本发明实施例，根据该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率，确定该待融合实例框的层级包括：如果在该待融合实例框与相关实例集合中的所有相关实例框之间的重叠比率中，存在预设数目的重叠比率大于预设阈值，则确定该待融合实例框的层级为高，否则，确定该待融合实例框的层级为低，其中，层级高的实例框具有覆盖层级低的实例框的资格。

示例性地，预设数目为1和/或预设阈值为0.5。预设数目和预设阈值均可以根据需要设定，其可以是任何合适的值，本发明不对此进行限制。示例性地，预设数目可以是1、2、5等等。示例性地，预设阈值可以是0.5、0.6、0.8等等。

例如，假设实例分割共获得10个实例框，则可以针对每个实例框计算其与另外9个实例框之间的重叠比率，获得9个重叠比率。例如，假设对于第1个实例框来说，其所对应的9个重叠比率有1个为0.6，8个为0。如果预设数目是2，则第1个实例框的层级为低。如果预设数目是1且预设阈值是0.7，则第1个实例框的层级为低。如果预设数目是1且预设阈值是0.5，则第1个实例框的层级为高。

根据本实施例，如果一个实例框与其他实例框之间的重叠比率超过预设阈值时，说明该实例框被过多遮挡，其信息损失会比较大，因此可以选择让该实例框拥有较高的层级，以优先覆盖其他实例框。反之，如果一个实例框与其他实例框之间的重叠比率较小，未超过预设阈值，则说明该实例框有足够多的部分是可以显示的，其信息损失会比较小，这种情况下，可以选择让该实例框拥有较低的层级，以优先显示其他实例框。

根据本发明实施例，实例信息可以包括置信度，至少基于待融合实例集合中的所有待融合实例框的层级，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级可以包括：至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级。

在一个示例中，在结果融合时，可以优先考虑层级关系，基于层级关系确定待融合实例框的覆盖优先级，在层级相同的情况下，再考虑置信度，基于置信度确定待融合实例框的覆盖优先级。

例如，对于两个存在重叠的实例框，可以首先将两个实例框的层级进行比较。在两个实例框的重叠区域，层级高的待融合实例框可以覆盖层级低的待融合实例框。本领域技术人员可以理解，融合过程中的覆盖是指为全景分割结果图像上在重叠区域中的像素赋予覆盖优先级高的待融合实例框的实例信息，而忽略覆盖优先级低的待融合实例框的实例信息。

如果两个实例框的层级相同，例如都是高或低的，则可以将两个实例框的置信度进行比较。在两个实例框的重叠区域，置信度高的待融合实例框可以覆盖置信度低的待融合实例框。

在另一个示例中，可以结合每个待融合实例框的层级和置信度计算一个综合评分，用来衡量该待融合实例框是否可以被覆盖。例如，可以将每个待融合实例框的层级用对应数值表示，与其置信度进行诸如加权平均的计算，获得一个综合评分，并基于综合评分获得覆盖优先级。示例性地，在两个实例框的重叠区域，综合评分高的待融合实例框可以覆盖综合评分低的待融合实例框。

根据本发明实施例，实例信息可以包括类别信息和实例标识信息，至少基于待融合实例集合中的所有待融合实例框的层级和置信度，确定至少两个实例框中的每个实例框在融合过程中的覆盖优先级可以包括：对于待融合实例集合中存在重叠的第一实例框和第二实例框，如果第一实例框和第二实例框的层级不同，则确定在第一实例框和第二实例框的重叠区域中，将第一实例框和第二实例框之中层级高的实例框的类别信息和实例标识信息分配给重叠区域的像素；如果第一实例框和第二实例框的层级相同，则确定在重叠区域中，将第一实例框和第二实例框之中置信度高的实例框的类别信息和实例标识信息分配给重叠区域的像素。

上文已经描述了基于层级和置信度确定覆盖优先级的方案，此处不再赘述。

根据本发明实施例，语义分割结果可以包括与待处理图像上的至少部分像素分别相关的材料类别信息，材料类别信息用于指示对应像素所属的材料类别，将语义分割结果和实例分割结果融合，以获得全景分割结果(步骤s240)可以包括：将语义分割结果中的材料类别信息映射到全景分割结果图像上；根据至少两个实例框在融合过程中的覆盖优先级将至少两个实例框映射到全景分割结果图像上，以获得全景分割结果，其中，如果在映射到全景分割结果图像的任一像素上时，实例分割结果中与该像素相对应的实例信息和语义分割结果中与该像素相对应的材料类别信息存在冲突，则将实例分割结果中与该像素相对应的实例信息分配给该像素。

示例性地，可以首先将语义分割结果中的材料类别信息映射到全景分割结果图像上。即，将语义分割结果中指示每个像素属于何种材料类别的材料类别信息分别分配给全景分割结果图像上的对应像素，获得包含材料类别信息的全景分割结果图像。

随后，可以将实例分割结果中的实例信息映射到全景分割结果图像上。即，将实例分割结果中指示每个像素属于何种实例类别的类别信息以及实例id信息分别分配给全景分割结果图像上的对应像素，获得包含实例信息的全景分割结果图像。

在实例分割结果映射时，可以基于先前确定的覆盖优先级分配实例信息。例如，对于不与其他实例框重叠的实例框，可以直接将该实例框的实例信息分配给全景分割结果图像上的对应像素。对于存在重叠的实例框，可以将覆盖优先级高的实例框的实例信息分配给全景分割结果图像上的对应像素。

此外，在实例分割结果映射时，如果存在某个实例框与语义分割结果中的材料类别信息发生矛盾的情况，可以选择以实例分割结果为准。例如，语义分割结果显示坐标为(100，200)的像素点属于天空，而实例分割结果显示该像素点属于车辆且该车辆的id为“车辆4”，则可以为该像素点赋予“车辆”这样的类别信息以及“车辆4”这样的实例id信息。

语义分割结果和实例分割结果映射到全景分割结果图像上的顺序并不局限于本文描述的顺序，其可以采用任何合适的顺序实现。

根据本发明另一方面，提供一种全景分割装置。图4示出了根据本发明一个实施例的全景分割装置400的示意性框图。

如图4所示，根据本发明实施例的全景分割装置400包括获取模块410、第一输入模块420、第二输入模块430和融合模块440。所述各个模块可分别执行上文中结合图2-3描述的全景分割方法的各个步骤/功能。以下仅对该全景分割装置400的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

获取模块410用于获取待处理图像。获取模块410可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

第一输入模块420用于将所述待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图。第一输入模块420可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

第二输入模块430用于将所述共享特征图分别输入所述全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果。第二输入模块430可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

融合模块440用于将所述语义分割结果和所述实例分割结果融合，以获得全景分割结果。融合模块440可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图5示出了根据本发明一个实施例的全景分割系统500的示意性框图。全景分割系统500包括图像采集装置510、存储装置(即存储器)520、以及处理器530。

所述图像采集装置510用于采集图像。图像采集装置510是可选的，全景分割系统500可以不包括图像采集装置510。在这种情况下，可以利用其他图像采集装置采集图像，并将采集的图像发送给全景分割系统500。

所述存储装置520存储用于实现根据本发明实施例的全景分割方法中的相应步骤的计算机程序指令。

所述处理器530用于运行所述存储装置520中存储的计算机程序指令，以执行根据本发明实施例的全景分割方法的相应步骤。

在一个实施例中，所述计算机程序指令被所述处理器530运行时用于执行以下步骤：获取待处理图像；将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将语义分割结果和实例分割结果融合，以获得全景分割结果。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的全景分割方法的相应步骤，并且用于实现根据本发明实施例的全景分割装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的全景分割装置的各个功能模块，并和/或者可以执行根据本发明实施例的全景分割方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：获取待处理图像；将待处理图像输入全景分割网络的共享特征提取模块进行特征提取，以获得共享特征图；将共享特征图分别输入全景分割网络的语义分割分支和实例分割分支，以分别获得语义分割结果和实例分割结果；以及将语义分割结果和实例分割结果融合，以获得全景分割结果。

根据本发明实施例的全景分割系统中的各模块可以通过根据本发明实施例的实施全景分割的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的全景分割装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。