一种实例分割方法及装置、电子设备、存储介质与流程

本公开涉及图像处理技术领域，尤其涉及一种实例分割方法及装置、电子设备、存储介质。

背景技术：

图像的实例分割，是计算机视觉中的一个基本任务，广泛地应用于人脸检测、移动娱乐应用和自动驾驶中，物体检测要求用矩形框定位物体并且预测类别，而实例分割则更具有挑战性，要求定位出属于该物体的像素点，即用掩膜来表示该物体。

一般地，在实例分割算法maskr-cnn中，先用卷积神经网络提取图片的特征图，然后再用区域提议网络得到图片的若干个建议区域，对每个建议区域通过roialign在图片的特征图的基础上提取每个建议区域的特征，然后经过两个分支，分别预测物体框和物体框中的掩膜；然而，由于每个分支预测物体框和物体框中的掩膜的能力有限，导致实例分割的准确率较低。

技术实现要素：

本公开实施例期望提供一种实例分割方法及装置、电子设备、存储介质，旨在提高实例分割的准确率。

本公开实施例的技术方案是这样实现的：

本公开实施例提供了一种实例分割方法，包括：

获取图像的一个以上建议区域，以及每个建议区域的特征；

将所述每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果；其中，n为大于等于2的正整数。

在上述方案中，所述将所述每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：

将所述每个建议区域的特征输入至包含n个层级的预测网络中，分别进行n级物体框预测和物体掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。

在上述方案中，所述将所述每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：

将所述每个建议区域的特征输入至包含n个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行n级物体框预测和物体框中的掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。

在上述方案中，所述将所述每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：

获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；

根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框和第i级物体框中的掩膜；

i更新为i+1，返回至所述获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；

直至得到所述每个建议区域的第n级物体框和第n级物体框中的掩膜，将所述每个建议区域的第n级物体框和第n级物体框中的掩膜，作为所述图像的实例分割的结果；

其中，i大于等于1小于等于n；

当i＝1时，从所述每个建议区域的第i-1级物体框中提取出的特征为所述每个建议区域的特征。

在上述方案中，所述根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框中的掩膜，包括：

当i>1时，获取所述每个建议区域的第i-1级物体框，以及获取所述每个建议区域进行第i-1级物体框中的掩膜预测的特征；

根据从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中的掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征；

根据所述第i级物体框中的掩膜预测的融合特征，进行所述每个建议区域的第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框中的掩膜。

在上述方案中，所述获取所述每个建议区域进行第i-1级物体框中的掩膜预测的特征，包括：

对从所述每个建议区域的第i-1级物体框中提取出的特征进行特征变换，得到所述每个建议区域的第i-1级物体框中的掩膜预测的中间特征；

对所述第i-1级物体框中的掩膜预测的中间特征进行特征编码，得到所述每个建议区域进行第i-1级物体框中的掩膜预测的特征。

在上述方案中，在获取图像的一个以上建议区域，以及每个建议区域的特征之后，所述方法还包括：

对所述图像的特征进行缩放和相加处理，得到处理后的图像的特征；

对所述处理后的图像的特征进行特征变换，得到变换后的特征；

对所述变换后的特征分别进行语义分割处理，得到所述图像的语义分割的特征。

在上述方案中，所述根据从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征，包括：

根据所述图像的语义分割的特征、从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到所述第i级物体框中的掩膜预测的融合特征。

在上述方案中，所述根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测，得到所述每个建议区域的第i级物体框，包括：

根据所述图像的语义分割的特征和从所述每个建议区域的第i-1级物体框中提取出的特征，进行特征融合，得到第i级物体框预测的融合特征；

根据所述第i级物体框预测的融合特征，进行第i级物体框预测，得到所述每个建议区域的第i级物体框。

本公开实施例提供了一种实例分割装置，所述实例分割装置包括：

获取模块，用于获取图像的一个以上建议区域，以及每个建议区域的特征；

预测模块，用于将所述每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果；其中，n为大于等于2的正整数。

在上述语义分割装置中，所述预测模块，具体用于：

将所述每个建议区域的特征输入至包含n个层级的预测网络中，分别进行n级物体框预测和物体掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。

在上述语义分割装置中，所述预测模块，具体用于：

将所述每个建议区域的特征输入至包含n个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行n级物体框预测和物体框中的掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。

在上述语义分割装置中，所述预测模块，包括：

第一获取子模块，用于获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；

第一预测子模块，用于根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框和第i级物体框中的掩膜；

更新子模块，用于i更新为i+1，返回至所述获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；

确定子模块，用于直至得到所述每个建议区域的第n级物体框和第n级物体框中的掩膜，将所述每个建议区域的第n级物体框和第n级物体框中的掩膜，作为所述图像的实例分割的结果；

其中，i大于等于1小于等于n；

当i＝1时，从所述每个建议区域的第i-1级物体框中提取出的特征为所述每个建议区域的特征。

在上述语义分割装置中，第一预测子模块，包括：

第二获取子模块，用于当i>1时，获取所述每个建议区域的第i-1级物体框，以及获取所述每个建议区域进行第i-1级物体框中的掩膜预测的特征；

融合子模块，用于根据从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中的掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征；

第二预测子模块，用于根据所述第i级物体框中的掩膜预测的融合特征，进行所述每个建议区域的第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框中的掩膜。

在上述语义分割装置中，所述第一获取子模块获取所述每个建议区域进行第i-1级物体框中的掩膜预测的特征中，具体用于：

对从所述每个建议区域的第i-1级物体框中提取出的特征进行特征变换，得到所述每个建议区域的第i-1级物体框中的掩膜预测的中间特征；

对所述第i-1级物体框中的掩膜预测的中间特征进行特征编码，得到所述每个建议区域进行第i-1级物体框中的掩膜预测的特征。

在上述语义分割装置中，所述实例分割装置，还包括语义分割模块，

语义分割模块，用于：

在获取图像的一个以上建议区域，以及每个建议区域的特征之后，对所述图像的特征进行缩放和相加处理，得到处理后的图像的特征；

对所述处理后的图像的特征进行特征变换，得到变换后的特征；

对所述变换后的特征分别进行语义分割处理，得到所述图像的语义分割的特征。

在上述语义分割装置中，融合子模块，具体用于：

根据所述图像的语义分割的特征、从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到所述第i级物体框中的掩膜预测的融合特征。

在上述语义分割装置中，所述第二预测子模块根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测，得到所述每个建议区域的第i级物体框中，具体用于：

根据所述图像的语义分割的特征和从所述每个建议区域的第i-1级物体框中提取出的特征，进行特征融合，得到第i级物体框预测的融合特征；

根据所述第i级物体框预测的融合特征，进行第i级物体框预测，得到所述每个建议区域的第i级物体框。

本公开实施例提供了一种电子设备，所述电子设备包括：处理器、存储器和通信总线；其中，

所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；

所述处理器，用于执行所述存储器中存储的实例分割程序，以实现上述实例分割方法。

本公开提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述实例分割方法。

由此可见，在本公开实施例提供的一种实例分割方法及装置、电子设备、存储介质，实例分割装置获取图像的一个以上建议区域，以及每个建议区域的特征，将每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到图像的实例分割的结果，其中，n为大于等于2的正整数；也就是说，在本公开实施例的技术方案中，在获取图像的一个以上建议区域，以及每个建议区域的特征之后，将每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，这样，不仅仅只对每个建议区域的特征进行一级的物体框预测和物体框中的掩膜预测，而是对每个建议区域的特征进行n级的物体框预测和物体框中的掩膜预测，如此，对每个建议区域的特征进行多次修正预测物体框的位置和分类置信度，从而能够有效地提高实例分割的准确率。

附图说明

图1为本公开实施例提供的一种实例分割方法的流程示意图；

图2为本公开实施例提供的第一种示例性的实例分割方法的流程示意图；

图3为本公开实施例提供的第二种示例性的实例分割方法的流程示意图；

图4为本公开实施例提供的第三种示例性的实例分割方法的流程示意图；

图5为本公开实施例提供的第四种示例性的实例分割方法的流程示意图；

图6为本公开实施例提供的第五种示例性的实例分割方法的流程示意图；

图7为本公开实施例提供的第六种示例性的实例分割方法的流程示意图；

图8为本公开实施例提供的一种实例分割装置的结构示意图；

图9为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

实施例一

本公开提供了一种实例分割方法。图1为本公开实施例提供的一种实例分割方法的流程示意图，如图1所示，上述实例分割方法可以包括：

s101：获取图像的一个以上建议区域，以及每个建议区域的特征；

目前，实例分割中采用两个分支，一个用于预测物体框，记为b，一个用于预测物体框中的掩膜m，由于每个分支预测物体框和物体框中的掩膜的能力有限，导致实例分割的准确率较低。

为了提高实例分割的准确率，首先，在获取到图像之后，对获取到图像进行特征提取，得到图像的特征，对图像进行区域划分，得到一个以上建议区域，根据图像的特征，确定每个建议区域的特征。

具体来说，利用卷积神经网络提取图像的特征，得到图像的特征；其中，上述卷积神经网络也可以称为主干网络。

在得到图像的特征之后，然后用区域提议网络得到图像的若干个建议区域，例如，得到图像的1000个建议区域。

在得到图像的特征和图像的一个以上建议区域之后，通过roialign在图像的特征的基础上，提取出每个建议区域的特征，从而得到每个建议区域的特征。

s102：将每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到图像的实例分割的结果；

其中，n为大于等于2的正整数。

通过s101可以得到每个建议区域的特征，在本公开实施例中，不只是仅仅采用两个分支，而是在两个分支的基础上每个分支采用级联结构，例如，n＝3，采用3级级联的两个分支，例如，第1级物体框预测记为b1，第1级物体框中掩膜预测记为m1，第2级物体框预测记为b2，第2级物体框中掩膜预测记为m2，第3级物体框预测记为b3，第3级物体框中掩膜预测记为m3。

其中，b1与b2和m2相连接，b2与b3和m3相连接。

在每一级进行物体框预测和物体框中的掩膜预测中，可以通过以下两种实现方式实现：

在一种可选的实施例中，s102可以包括：

将每个建议区域的特征输入至包含n个层级的预测网络中，分别进行n级物体框预测和物体框中的掩膜预测，得到每个建议区域的物体框和每个建议区域的物体框中的掩膜。

具体地，针对每一级的预测，可以分别执行物体框预测和物体框中的掩膜预测，例如，将每个建议区域的特征分别输入至b1和m1中，分别执行第1级物体框预测和第1级物体框中的掩膜预测，第2级和第3级同理，从而可以得到每个建议区域的物体框和每个建议区域的物体框中的掩膜。

在一种可选的实施例中，s102可以包括：

将每个建议区域的特征输入至包含n个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行n级物体框预测和物体框中的掩膜预测，得到每个建议区域的物体框和每个建议区域的物体框中的掩膜。

具体地，针对每一级中的预测，可以分先后顺序，执行物体框预测和物体框中的掩膜预测，例如，将每个建议区域的特征分别输入至b1，得到第1级物体框之后，将第1级物体框的特征输入至m1中，得到第1级物体框中的掩膜，第2级和第3级同理，从而可以得到每个建议区域的物体框和每个建议区域的物体框中的掩膜。

也就是说，针对每一级的两个分支而言，可以分别执行预测，也可以先执行b分支，得到b分支的结果，利用b分支的结果来执行m分支，也就是说，在得到第i级物体框，然后将第i级物体框的特征输入至mi，得到第i级物体框中的掩膜；这样，通过先后顺序的执行方式提高对对物体框中的掩膜预测的准确性。

为了提高图像进行实例分割的结果的准确性，采用了级联的预测结构，在一种可选的实施例中，s102可以包括：

获取每个建议区域的第i-1级物体框，并从每个建议区域的第i-1级物体框中提取特征；

根据从每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到每个建议区域的第i级物体框和第i级物体框中的掩膜；

i更新为i+1，返回至获取每个建议区域的第i-1级物体框，并从每个建议区域的第i-1级物体框中提取特征；

直至得到每个建议区域的第n级物体框和第n级物体框中的掩膜，将每个建议区域的第n级物体框和第n级物体框中的掩膜，作为图像的实例分割的结果；

其中，i大于等于1小于等于n；

当i＝1时，从每个建议区域的第i-1级物体框中提取出的特征为每个建议区域的特征。

图2为本公开实施例提供的第一种示例性的实例分割方法的流程示意图，参考图2所示，上述实例分割的方法可以包括：

在图2中，n＝3，每一级的两个分支分别执行，首先，经过主干网络f和区域建议网络rpn得到每个建议区域的特征，在得到每个建议区域的特征之后，当i＝1时，将每个建议区域的特征进行汇合pool后输入至b1和m1中，分别进行第1级物体框预测和第1级物体框中的掩膜预测，得到第1级物体框和第1级物体框中的掩膜，i更新为2，然后，对第1级物体框进行pool，再从第1级物体框中提取出特征，分别输入至b2和m2，分别进行第2级物体框预测和第2级物体框中的掩膜预测，之后，i更新为3，对第2级物体框进行pool，再从第2级物体框中提取出特征，分别输入至b3和m3，得到第3级物体框和第3级物体框中的掩膜；最后，将第3级物体框和第3级物体框中的掩膜作为图像的实例分割的结果。

图3为本公开实施例提供的第二种示例性的实例分割方法的流程示意图，参考图3所示，上述实例分割的方法可以包括：

在图3中，n＝3，每一级的两个分支先后执行，经过主干网络f和区域建议网络rpn得到每个建议区域的特征，在得到每个建议区域的特征之后，当i＝1时，将每个建议区域的特征进行汇合pool后输入至b1，先进行第1级物体框预测，得到第1级物体框，然后，对第1级物体框进行pool，再从第1级物体框中提取出特征，输入至m1进行第1级物体框中的掩膜预测得到第1级物体框中的掩膜，i更新为2，将第1级物体框中提取出特征输入至b2中进行第2级物体框预测得到第2级物体框，然后，对第2级物体框进行pool，再从第2级物体框中提取出特征，输入至m2进行第2级物体框中的掩膜预测得到第2级物体框中的掩膜，i更新为3，将第2级物体框中提取出特征输入至b3中进行第3级物体框预测得到第3级物体框，最后，对第3级物体框进行pool，再从第3级物体框中提取出特征，输入至m3中，进行第3级物体框中的掩膜预测，得到第3级物体框中的掩膜。

为了提高对物体框中掩膜预测的准确性，在一种可选的实施例中，根据从每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框中的掩膜预测，得到每个建议区域的第i级物体框中的掩膜，包括：

当i>1时，获取每个建议区域的第i-1级物体框，以及获取每个建议区域进行第i-1级物体框中的掩膜预测的特征；

根据从每个建议区域的第i-1级物体框中提取出的特征和每个建议区域进行第i-1级物体框中的掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征；

根据第i级物体框中的掩膜预测的融合特征，进行每个建议区域的第i级物体框中的掩膜预测，得到每个建议区域的第i级物体框中的掩膜。

针对第2级物体框预测和物体框中掩膜的预测中，不仅仅是利用每个建议区域的上一级物体框中提取出的特征，还考虑到每个建议区域进行上一级物体框中的掩膜预测的特征，将每个建议区域的上一级物体框中提取出的特征和每个建议区域进行上一级物体框中的掩膜预测的特征进行特征融合，得到该级物体框中的掩膜预测的融合特征，然后利用该级物体框中的掩膜预测的融合特征再进行该级物体框中掩膜的预测。

为了获取到每个建议区域进行第i-1级物体框中的掩膜预测的特征，在一种可选的实施例中，获取每个建议区域进行第i-1级物体框中的掩膜预测的特征，包括：

对从每个建议区域的第i-1级物体框中提取出的特征进行特征变换，得到每个建议区域的第i-1级物体框中的掩膜预测的中间特征；

对第i-1级物体框中的掩膜预测的中间特征进行特征编码，得到每个建议区域进行第i-1级物体框中的掩膜预测的特征。

图4为本公开实施例提供的第三种示例性的实例分割方法的流程示意图，参考图4所示，上述实例分割的方法可以包括：

在图4中，当i>1时，针对第i级物体框中的掩膜预测mi来说，获取到第i-1级物体框的特征х，以及获取进行第i-1级物体框中的掩膜预测的特征，然后，对第i-1级物体框的特征х和进行第i-1级物体框中的掩膜预测的特征进行特征融合，得到第i级物体框中的掩膜预测的融合特征，然后利用4个3×3的卷积层(图4中的mi中的4个3×3conv)对第i级物体框中的掩膜预测的融合特征进行特征变换，得到每个建议区域的第i级物体框中的掩膜预测的中间特征，再利用1个2×2的反卷积层(图4中的deconv)对第i级物体框中的掩膜预测的中间特征进行特征变换，得到每个建议区域第i级物体框中的掩膜，并利用1个1×1的反卷积层(图4中的mi+1中的1个1×1conv)对第i级物体框中的掩膜预测的中间特征进行编码，得到进行第i级物体框中的掩膜预测的特征。

针对第i+1级物体框中的掩膜预测mi+1来说，获取到第i级物体框的特征х，以及获取进行第i级物体框中的掩膜预测的特征，对第i级物体框的特征х和进行第i级物体框中的掩膜预测的特征进行特征融合，得到第i+1级物体框中的掩膜预测的融合特征，然后，利用4个3×3的卷积层(图4中的mi+1中的4个3×3conv)对第i+1级物体框中的掩膜预测的融合特征进行特征变换，得到每个建议区域的第i+1级物体框中的掩膜预测的中间特征，再利用1个2×2的反卷积层(图4中的mi+1中的deconv)对第i+1级物体框中的掩膜预测的中间特征进行特征变换，得到每个建议区域进行第i+1级物体框中的掩膜，并利用1个1×1的反卷积层(图4中的mi+1中的1个1×1conv)对第i+1级物体框中的掩膜预测的中间特征进行编码，得到进行第i+1级物体框中的掩膜预测的特征。

图5为本公开实施例提供的第四种示例性的实例分割方法的流程示意图，参考图5所示，上述实例分割的方法可以包括：

在图5中，n＝3，每一级的两个分支先后执行，首先，经过主干网络f和区域建议网络rpn得到每个建议区域的特征，在得到每个建议区域的特征之后，当i＝1时，将每个建议区域的特征进行汇合pool后输入至b1，先进行第1级物体框预测，得到第1级物体框，然后对第1级物体框进行pool，再从第1级物体框中提取出特征，输入至m1进行第1级物体框中的掩膜预测，得到第1级物体框中的掩膜，i更新为2，将从第1级物体框中提取出特征输入至b2中进行第2级物体框的预测得到第2级物体框，然后，对第2级物体框进行pool，再从第2级物体框中提取出特征，输入至m2进行第2级物体框中的掩膜预测，得到第2级物体框中的掩膜，i更新为3，将从第2级物体框中提取出特征输入至b3进行第3级物体框的预测，得到第3级物体框，在m2中，先用b1输出的特征与m1的特征(相当于前述进行第1级物体框中的掩膜预测的特征)进行特征融合，然后再进行第2级物体框中的掩膜预测，得到第2级物体框中的掩膜，最后，对第3级物体框进行pool，再从第3级物体框中提取出特征，输入至m3中，在m3中，先用b2输出的特征与m2(相当于前述进行第2级物体框中的掩膜预测的特征)的特征进行特征融合，然后再进行第3级物体框中的掩膜预测，得到第3级物体框中的掩膜。

为了得到语义分割的特征，在一种可选的实施例中，在s101之后，上述方法可以包括：

对图像的特征进行缩放和相加处理，得到处理后的图像的特征；

对处理后的图像的特征进行特征变换，得到变换后的特征；

对变换后的特征分别进行语义分割处理，得到图像的语义分割的特征。

图6为本公开实施例提供的第五种示例性的实例分割方法的流程示意图，参考图6所示，上述实例分割的方法可以包括：

具体地，在物体框和掩膜分支之外，额外增加了一个语义分割的分支，来预测全图每个像素点的类别。这个分支可以和现有分支一起，利用多任务损失来联合训练。

具体来说，该分支的详细结构如图6所示：首先，将主干网络的多层特征图通过5个1×1的卷积层(图6中的1×1conv)、缩放(图6中的4×up、2×up、4×down、2×down)和相加处理得到单层特征图，得到一个融合了多层次信息的特征图，然后利用4个3×3(图6中的3×3conv)的卷积层进一步进行特征变换，在变换后的特征图上添加两个分支，其中一个利用1×1的卷积层(图6中的1×1conv)进行语义分割(segmentationprediction)的预测，另一个利用1×1的卷积层(图6中的1×1conv)对特征进行编码得到语义分割的特征(semanticfeature)，最后用语义分割的特征、物体框及物体框中的掩膜分支进行特征融合。

为了提高实例分割的准确性，在一种可选的实施例中，根据从每个建议区域的第i-1级物体框中提取出的特征和每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到第一融合特征，包括：

根据图像的语义分割的特征、从每个建议区域的第i-1级物体框中提取出的特征和每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征。

也就是说，将图像的语义分割的特征，与从每个建议区域的第i-1级物体框中提取出的特征和每个建议区域进行第i-1级物体框中掩膜预测的特征进行特征融合，即考虑到图像的语义分割的特征，得到第i级物体框中的掩膜预测的融合特征，然后，再用第i级物体框中的掩膜预测的融合特征进行物体框中的掩膜预测，可以提高物体框中掩膜预测的准确性。

在一种可选的实施例中，根据从每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测，得到每个建议区域的第i级物体框，包括：

根据图像的语义分割的特征和从每个建议区域的第i-1级物体框中提取出的特征，进行特征融合，得到第i级物体框预测的融合特征；

根据第i级物体框预测的融合特征，进行第i级物体框预测，得到每个建议区域的第i级物体框。

这里，在物体框的预测中，先用图像的语义分割的特征和从每个建议区域的第i-1级物体框中提取出的特征，进行特征融合，得到第i级物体框预测的融合特征，利用第二融合特征进行第i级物体框预测，得到每个建议区域的第i级物体框，可以提高物体框预测的准确性。

图7为本公开实施例提供的第六种示例性的实例分割方法的流程示意图，参考图7所示，上述实例分割的方法可以包括：

在图7中，n＝3，每一级的两个分支先后执行，首先，经过主干网络f和区域建议网络rpn得到每个建议区域的特征，在得到每个建议区域的特征之后，当i＝1时，将每个建议区域的特征进行汇合pool后，先将每个建议区域的特征与语义分割特征进行特征融合，将融合后的特征输入至b1，进行第1级物体框预测，得到第1级物体框，然后对第1级物体框进行pool，再从第1级物体框中提取出特征，将语义分割特征和从第1级物体框中提取出的特征，进行特征融合，得到第1级物体框中的掩膜预测的融合特征，输入至m1中进行预测，得到第1级物体框中的掩膜。

i更新为2，将语义分割的特征和从第1级物体框中提取出的特征，进行特征融合，得到第1级物体框预测的融合特征，输入至b2中进行预测，得到第2级物体框；然后，对第2级物体框进行pool，再从第2级物体框中提取出特征，将语义分割特征、从第2级物体框中提取出的特征和m1的特征，进行特征融合，得到第2级物体框中的掩膜预测的融合特征，输入至m2中进行预测，得到第2级物体框中的掩膜。

i更新为3，将第2级物体框的特征与语义分割特征进行融合，得到第2级物体框预测的融合特征，输入至b3中进行预测，得到第3级物体框；对第3级物体框进行pool，再从第3级物体框中提取出特征，将语义分割特征、从第3级物体框中提取出的特征和m2的特征，进行特征融合，得到第3级物体框中的掩膜预测的融合特征，输入至m3中进行预测，得到第3级物体框中的掩膜。

在本公开实施例提供的一种实例分割方法，实例分割装置获取图像的一个以上建议区域，以及每个建议区域的特征，将每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到图像的实例分割的结果，其中，n为大于等于2的正整数；也就是说，在本公开实施例的技术方案中，在获取图像的一个以上建议区域，以及每个建议区域的特征之后，将每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，这样，不仅仅只对每个建议区域的特征进行一级的物体框预测和物体框中的掩膜预测，而是对每个建议区域的特征进行n级的物体框预测和物体框中的掩膜预测，如此，对每个建议区域的特征进行多次修正预测物体框的位置和分类置信度，从而能够有效地提高实例分割的准确率。

实施例二

图8为本公开实施例提供的一种实例分割装置的结构示意图。如图8所示，该实例分割装置包括：

获取模块81，用于获取图像的一个以上建议区域，以及每个建议区域的特征；

预测模块82，用于将每个建议区域的特征输入至包含n个层级的预测网络中，进行n级物体框预测和物体框中的掩膜预测，输出得到图像的实例分割的结果；

其中，n为大于等于2的正整数。

可选的，预测模块82，具体用于：

将每个建议区域的特征输入至包含n个层级的预测网络中，分别进行n级物体框预测和物体掩膜预测，得到每个建议区域的物体框和每个建议区域的物体框中的掩膜。

可选的，预测模块82，具体用于：

将每个建议区域的特征输入至包含n个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行n级物体框预测和物体框中的掩膜预测，得到每个建议区域的物体框和每个建议区域的物体框中的掩膜。

可选的，预测模块82，包括：

第一获取子模块，用于获取每个建议区域的第i-1级物体框，并从每个建议区域的第i-1级物体框中提取特征；

第一预测子模块，用于根据从每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到每个建议区域的第i级物体框和第i级物体框中的掩膜；

更新子模块，用于i更新为i+1，返回至获取每个建议区域的第i-1级物体框，并从每个建议区域的第i-1级物体框中提取特征；

确定子模块，用于直至得到每个建议区域的第n级物体框和第n级物体框中的掩膜，将每个建议区域的第n级物体框和第n级物体框中的掩膜，作为图像的实例分割的结果；

其中，i大于等于1小于等于n；

当i＝1时，从每个建议区域的第i-1级物体框中提取出的特征为每个建议区域的特征。

可选的，第一预测子模块，包括：

第二获取子模块，用于当i>1时，获取每个建议区域的第i-1级物体框，以及获取每个建议区域进行第i-1级物体框中的掩膜预测的特征；

融合子模块，用于根据从每个建议区域的第i-1级物体框中提取出的特征和每个建议区域进行第i-1级物体框中的掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征；

第二预测子模块，用于根据第i级物体框中的掩膜预测的融合特征，进行每个建议区域的第i级物体框中的掩膜预测，得到每个建议区域的第i级物体框中的掩膜。

可选的，第二获取子模块获取每个建议区域进行第i-1级物体框中的掩膜预测的特征中，具体用于：

对从每个建议区域的第i-1级物体框中提取出的特征进行特征变换，得到每个建议区域的第i-1级物体框中的掩膜预测的中间特征；

对第i-1级物体框中的掩膜预测的中间特征进行特征编码，得到每个建议区域进行第i-1级物体框中的掩膜预测的特征。

可选的，实例分割装置还包括：语义分割模块；

语义分割模块，用于：

在获取图像的一个以上建议区域，以及每个建议区域的特征之后，对图像的特征进行缩放和相加处理，得到处理后的图像的特征；

对处理后的图像的特征进行特征变换，得到变换后的特征；

对变换后的特征分别进行语义分割处理，得到图像的语义分割的特征。

可选的，融合子模块，具体用于：

根据图像的语义分割的特征、从每个建议区域的第i-1级物体框中提取出的特征和每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征。

可选的，第二预测子模块根据从每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测，得到每个建议区域的第i级物体框中，具体用于：

根据图像的语义分割的特征和从每个建议区域的第i-1级物体框中提取出的特征，进行特征融合，得到第i级物体框预测的融合特征；

根据第i级物体框预测的融合特征，进行第i级物体框预测，得到每个建议区域的第i级物体框。

图9为本公开实施例提供的一种电子设备的结构示意图，如图9所示，该电子设备包括：处理器91、存储器92和通信总线93；其中，

所述通信总线93，用于实现所述处理器91和所述存储器92之间的连接通信；

所述处理器91，用于执行所述存储器92中存储的实例分割程序，以实现上述实例分割方法。

本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述实例分割方法。计算机可读存储介质可以是是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；或者非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，rom)，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。