图像分割神经网络的训练方法及图像分割方法、装置与流程

本发明涉及计算机视觉技术，尤其涉及一种图像分割神经网络的训练方法及图像分割方法、装置、存储介质、计算机设备。

背景技术：

在实际生活中广泛存在着各种各样的长条状的物体，例如光学相干断层扫描(OCT，Optical Coherence Tomography)图像中的视网膜层、道路上的车道线等。从图像理解这些长长条状对象体是一项重要的计算机视觉任务，例如，OCT图像中视网膜层的分割是诊断某些眼部疾病的关键步骤，车道线检测作为自动驾驶中的一个子任务在交通场景中起着重要的作用。

从图像中分割出长条状的物体，通常采用分割技术的通用范式，即对图像的每一个像素预测一个标签，基于各个像素的标签来确定长长条状对象体的位置，这种像素级的分割方法普遍遇到了拓扑错误的问题。

技术实现要素：

为解决上述技术问题，本发明实施例提供了一种图像分割神经网络的训练方及图像分割方法、装置、计算机产品程序、存储介质、计算机设备。

本发明实施例提供的图像分割神经网络的训练方法，包括：

利用图像分割神经网络获取样本图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息；其中，所述样本图像标注有所述需要分割的长条状对象的位置标注信息；

基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，对所述图像分割神经网络进行训练。

本发明实施例中，所述获取样本图像中的至少一个长条状对象所在的目标区域，包括：

将所述样本图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；

分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的感兴趣区域(ROI，Region Of Interest)，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；

基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

本发明实施例中，所述获取所述目标区域中的需要分割的长条状对象的位置信息，包括：

分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

本发明实施例中，所述利用图像分割神经网络获取样本图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息，包括：

利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

本发明实施例中，所述利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域之前，所述方法还包括：

利用所述图像分割神经网络中的第三子网络获取所述样本图像的特征图；

相应地，所述利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域，包括：

利用图像分割神经网络中的第一子网络对所述样本图像的特征图进行处理，得到所述样本图像中的至少一个长条状对象所在的目标区域。

本发明实施例中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。

本发明实施例中，所述基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，对所述图像分割神经网络进行训练，包括：

基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，获取第一损失函数值；

确定所述第一损失函数值是否满足第一预设条件；

响应于所述第一损失函数值不满足第一预设条件，基于所述第一损失函数值对所述图像分割神经网络的参数值进行调整，然后迭代执行如下操作，直至所述第一损失函数值满足第一预设条件：利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

本发明实施例中，所述至少一个长条状对象所在的目标区域、所述目标区域中的需要分割的长条状对象的位置信息以及所述需要分割的长条状对象的位置标注信息，均通过热度信息表示。

本发明实施例提供的图像分割方法，包括：

获取目标图像；

利用图像分割神经网络获取目标图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息，基于所述长条状对象的位置信息获得所述长条状对象的分割结果。

本发明实施例中，所述获取目标图像中的至少一个长条状对象所在的目标区域，包括：

将所述目标图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；

分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；

基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

本发明实施例中，所述获取所述目标区域中的需要分割的长条状对象的位置信息，包括：

分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

本发明实施例中，所述利用图像分割神经网络获取目标图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息，包括：

利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

本发明实施例中，所述利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域之前，所述方法还包括：

利用所述图像分割神经网络中的第三子网络获取所述目标图像的特征图；

相应地，所述利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域，包括：

利用图像分割神经网络中的第一子网络对所述目标图像的特征图进行处理，得到所述目标图像中的至少一个长条状对象所在的目标区域。

本发明实施例中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。

本发明实施例中，所述至少一个长条状对象所在的目标区域、所述目标区域中的需要分割的长条状对象的位置信息以及所述需要分割的长条状对象的位置标注信息，均通过热度信息表示。

本发明实施例提供的图像分割神经网络的训练装置，包括：

获取单元，用于利用图像分割神经网络获取样本图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息；其中，所述样本图像标注有所述需要分割的长条状对象的位置标注信息；

训练单元，用于基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，对所述图像分割神经网络进行训练。

本发明实施例中，所述获取单元，用于将所述样本图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

本发明实施例中，所述获取单元，用于分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

本发明实施例中，所述获取单元包括：

第一获取子单元，用于利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域；

第二获取子单元，用于利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

本发明实施例中，所述获取单元还包括：

第三获取子单元，用于利用所述图像分割神经网络中的第三子网络获取所述样本图像的特征图；

所述第一获取子单元，用于利用图像分割神经网络中的第一子网络对所述样本图像的特征图进行处理，得到所述样本图像中的至少一个长条状对象所在的目标区域。

本发明实施例中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。

本发明实施例中，所述训练单元，用于基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，获取第一损失函数值；确定所述第一损失函数值是否满足第一预设条件；响应于所述第一损失函数值不满足第一预设条件，基于所述第一损失函数值对所述图像分割神经网络的参数值进行调整，然后迭代执行如下操作，直至所述第一损失函数值满足第一预设条件：利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

本发明实施例中，所述至少一个长条状对象所在的目标区域、所述目标区域中的需要分割的长条状对象的位置信息以及所述需要分割的长条状对象的位置标注信息，均通过热度信息表示。

本发明实施例提供的图像分割装置，包括：

第一获取单元，用于获取目标图像；

第二获取单元，用于利用图像分割神经网络获取目标图像中的至少一个长条状对象所在的目标区域，并利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息；

分割单元，用于基于所述长条状对象的位置信息获得所述长条状对象的分割结果。

本发明实施例中，所述第二获取单元，用于将所述目标图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

本发明实施例中，所述第二获取单元，用于分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

本发明实施例中，所述第二获取单元包括：

第一获取子单元，用于利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域；

第二获取子单元，用于利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

本发明实施例中，所述第二获取单元还包括：

第三获取子单元，用于利用所述图像分割神经网络中的第三子网络获取所述目标图像的特征图；

所述第一获取子单元，用于利用图像分割神经网络中的第一子网络对所述目标图像的特征图进行处理，得到所述目标图像中的至少一个长条状对象所在的目标区域。

本发明实施例中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。

本发明实施例中，所述至少一个长条状对象所在的目标区域、所述目标区域中的需要分割的长条状对象的位置信息以及所述需要分割的长条状对象的位置标注信息，均通过热度信息表示。

本发明实施例提供的计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的图像分割神经网络的训练方法或图像分割方法。

本发明实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的图像分割神经网络的训练方法或图像分割方法。

本发明实施例提供的计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的图像分割神经网络的训练方法或图像分割方法。。

本发明实施例的技术方案中，利用图像分割神经网络获取样本图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息；其中，所述样本图像标注有所述需要分割的长条状对象的位置标注信息；基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，对所述图像分割神经网络进行训练。基于训练后的图像分割神经网络，利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。采用本发明实施例的技术方案，提出了一个端到端可训练的神经网络来分割长条状对象，将原本神经网络不擅处理的狭长区域分割问题，转化成在固定宽度上预测目标区域，然后精确定位该目标区域内长条状对象的位置，降低了任务的复杂度，提高了分割的精度。

附图说明

图1为本发明实施例的图像分割神经网络的训练方法的流程示意图；

图2为本发明实施例的图像分割方法的流程示意图；

图3为本发明实施例的图像分割神经网络的架构图；

图4为本发明实施例的图像分割神经网络的训练装置的结构组成示意图；

图5为本发明实施例的图像分割装置的结构组成示意图；

图6为本发明实施例的计算机设备的结构组成示意图。

具体实施方式

为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

本发明实施例的技术方案，提出一个端到端可训练的神经网络来实现图像的分割处理，将这个端到端可训练的神经网络称为图像分割神经网络。采用本发明实施例的图像分割神经网络对图像中的长条状对象进行分割处理，主要包括以下两步：1)将图像划分成多个区段，预测每个区段内覆盖所有长条状对象的ROI，这里，ROI是指在需要处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，以便进行后续2)中的处理；2)提取每个ROI内的特征，对每个长条状对象的位置进行精确定位。本发明实施例的图像分割神经网络可以应用但不局限于以下场景：

场景一：用户将采集到的包含长条状对象的图像通过网络传输到云端，由云端采用本发明实施例的图像分割神经网络对图像进行分割处理。

场景二：用户将采集到的包含长条状对象的图像输入到本地计算机设备中，由计算机设备采用本发明实施例的图像分割神经网络对图像进行分割处理。

本发明实施例的技术方案，利用标注过的包含长条状对象的图像(称为样本图像)训练图像分割神经网络，在训练结束后，可以利用该图像分割神经网络对各场景下的长条状对象进行分割处理。

以下对本发明实施例的图像分割神经网络的训练方法进行描述。

图1为本发明实施例的图像分割神经网络的训练方法的流程示意图，如图1所示，所述图像分割神经网络的训练方法包括以下步骤：

步骤101：利用图像分割神经网络获取样本图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息；其中，所述样本图像标注有所述需要分割的长条状对象的位置标注信息。

本发明实施例中，样本图像的数量越多，图像分割神经网络的训练结果越好，另一面，样本图像的数量越多，需要消耗的计算机资源越多。实际应用中，可以准备好几百张或更多的包含有长条状对象的图像作为样本图像，同时，需要获取样本图像中需要分割的长条状对象的位置标注信息，例如：将需要分割的长条状对象所对应的像素用任意方式表示出来，例如将不同的长条状对象用不同的颜色标识出来，长条状对象的位置标注信息可以由能识别出长条状对象的人通过图形编辑工具(如photoshop)来标注出。进一步，需要将位置标注信息转化成需要的格式，从而后续可以通过该位置标注信息获得标注的长条状对象在图像中的位置，这里，将位置标注信息转化成需要的格式包括但不限于热度图、坐标点等。

本发明实施例中，图像分割神经网络至少包括第一子网络和第二子网络，利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

本发明实施例中，在利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域之前，需要执行如下步骤：

利用所述图像分割神经网络中的第三子网络获取所述样本图像的特征图。

而后，利用图像分割神经网络中的第一子网络对所述样本图像的特征图进行处理，得到所述样本图像中的至少一个长条状对象所在的目标区域。

这里，第三子网络的结构不做限定，以分割OCT图像中的视网膜神经层，使用VGG16卷积神经网络为例，将样本图像通过网络的conv1层至conv5层进行处理，得到W×H×C的特征图，其中，W×H为特征图的空间尺寸，C为特征图的通道数。

本发明实施例中，除上述第三子网络以外，图像分割神经网络最重要的两个部分分别为第一子网络和第二子网络，以下分别对第一子网络和第二子网络的处理过程进行详细描述。

1)利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域。

具体地，将所述样本图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

这里，多个区段可以是垂直方向排布的等宽区段，或者水平方向排布的等宽区段；通过第一子网络预测图像的每个等宽区段中覆盖全部长条状对象的区域，作为ROI。这里，预测ROI的方式包括但不局限于回归预测热度图、回归预测坐标、滑窗预测。

2)利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

具体地，分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

这里，通过ROIAlign层或ROI Pooling层从特征图中提取ROI区域的特征，将将特征映射到固定高度的特征向量，从而预测每个ROI区域中长条状对象的精确位置，这里，预测长条状对象的精确位置的方式包括但不局限于回归预测热度图、回归预测坐标、滑窗预测。其中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。若ROI中有多个长条状对象，则对每个长条状对象的精确位置分别进行预测。

步骤102：基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，对所述图像分割神经网络进行训练。

具体地，将步骤101预测的长条状对象的位置信息输入到损失层，损失层可以根据预测的长条状对象的位置信息来调整图像分割神经网络的参数值，从而对所述图像分割神经网络的参数值进行训练。具体地，基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，获取第一损失函数值；确定所述第一损失函数值是否满足第一预设条件；响应于所述第一损失函数值不满足第一预设条件，基于所述第一损失函数值对所述图像分割神经网络的参数值进行调整，然后迭代执行如下操作，直至所述第一损失函数值满足第一预设条件：利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

图2为本发明实施例的图像分割方法的流程示意图，如图3所示，所述图像分割方法包括以下步骤：

步骤201：获取目标图像。

本发明实施例中，目标图像可以是通过摄像头采集到的图像，也可以是本地存储的图像，还可以是从网络上下载的图像。

步骤202：利用图像分割神经网络获取目标图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息，基于所述长条状对象的位置信息获得所述长条状对象的分割结果。

本发明实施例中，所述获取目标图像中的至少一个长条状对象所在的目标区域，包括：将所述目标图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；

基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

本发明实施例中，所述获取所述目标区域中的需要分割的长条状对象的位置信息，包括：分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

本发明实施例中，图像分割神经网络至少包括第一子网络和第二子网络，利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

此外，所述利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域之前，所述方法还包括：

利用所述图像分割神经网络中的第三子网络获取所述目标图像的特征图；

相应地，所述利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域，包括：利用图像分割神经网络中的第一子网络对所述目标图像的特征图进行处理，得到所述目标图像中的至少一个长条状对象所在的目标区域。

本发明实施例中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。

本发明实施例中，所述至少一个长条状对象所在的目标区域、所述目标区域中的需要分割的长条状对象的位置信息以及所述需要分割的长条状对象的位置标注信息，均通过热度信息表示。

本发明实施例中，获取到长条状对象的位置信息后，可以基于所述长条状对象的位置信息获得所述长条状对象的分割结果，具体地，从图像中将所述长条状对象的区域提取出来，进一步，可以通过计算机识别算法对提取出来的长条状对象进行识别等处理。

图3为本发明实施例的图像分割神经网络的架构图，本发明实施例的图像分割神经网络用于分割长而连续的长条状对象。它将原始分割问题分解为更容易解决的局部边界预测问题，同时通过结构化输出保持拓扑一致性。本发明实施例的图像分割神经网络遵循从粗到精的理念，由两个阶段组成：粗略长条状对象定位和精确边界回归。

1)粗略长条状对象定位：利用图像分割神经网络中的第一子网络获取样本图像/目标图像中的至少一个长条状对象所在的目标区域。

具体地，将整个图像垂直或水平地分成多个区段，并粗略地定位每个区段中的长条状对象。

2)精确边界回归：利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

具体地，精确地回归每个区段中的长条状对象的边界。

以下结合视网膜层分割任务，对本发明实施例的技术方案进行举例说明。

1)粗略长条状对象定位

粗略长条状对象定位旨在以粗略的方式定位整个长条状对象的区域。具体地，将整个图像垂直或水平地分成区段，并且粗略地定位每个区段中的长条状对象，即定位可覆盖每个区段的整个视网膜层的ROI的边界。对于具体的任务，需要根据长条状对象的总体方向来确定预测结构化输出的方向(垂直或水平)。由于视网膜层水平分布，图像分割神经网络预测水平方向的输出序列。因此整个图像被均匀分割成固定宽度(例如16个像素的宽度)的区段，且预测将按每个区段进行。

这里，图像分割神经网络只预测整个视网膜层的上下边界。具体地，将垂直高斯核g与上下边界的二值图像Bu和Bd进行卷积来生成预测标记Gu和Gd：

Gu(v)＝g(p)×Bu(v),v＝1,2,...,V

Gd(v)＝g(p)×Bd(v),v＝1,2,...,V

其中，σ是高斯核的方差，在实验中可以规定σ＝8。G和B都是16×下采样。

将深度模型VGG16作为骨干网络，并将两个1×1卷积层置于16×下采样conv5_3图的顶部以生成回归分数图。此外，将BN层和ReLU层设置在每个卷积层之后，应用激活层(sigmoid激活函数)将回归分数图中的数据转换为0到1的范围。损失层采用L2损失函数对网络进行训练。如此，可以预测输入图像的特征图，该特征图通过热图表示。

对预测的热图进行处理，可以获得热图上的每列的ROI，ROI包含视网膜层而没有太多背景噪声。假设第i个ROI由其上边界和下边界的坐标(hi⁰,hi¹)定义，(hi⁰,hi¹)可以通过以下方式得出：

首先确定预测的热图Pu和Pd中每列最高响应的位置：

为了补偿热图的不准确性并确保所有视网膜层都包含在ROI中，将搜索区域放大一个常数η：

在获得每一列的上述边界之后，提取ROI中的有用特征用于精确边界回归以回归视网膜层之间的精确边界。

2)精确边界回归

精确边界回归旨在回归视网膜层之间的边界。为了达到这个目标，预测热图以确定任何两个相邻视网膜层之间的边界。假设有N个视网膜层被分割，那么有N-1个内部边界和两个上下边界，总计为共N+1个边界。第t个边界图的预测标注为：

Rt＝g*Bt,t＝1,2,...,N+1

其中，Bt表示第t个边界图。

对于特征图中的每一列，RoIAlign层用于提取特征并将其大小调整为固定高度的特征向量。这里采用与回归上下边界相同的架构，具体地，在RoIAlign层的顶部设置两个个1×1卷积层和激活层(sigmoid激活函数)以生成分数图，其中，将BN层和ReLU层设置在每个卷积层之后。

3)后期处理

在标准的单向高斯峰值中，中心值可能非常接近其两个直接邻居。如此小的差异增加了定位中心的难度，因此如果直接找到分数图的最大值，则会导致较小的偏差。此外，L2损失函数只能保证预测与标注图之间的相似性，这是一个高斯峰值，但对最高值的位置几乎没有监督。本发明实施例提出一种通过滑动高斯峰值(SGP)精确选择目标位置的方法。沿着分数图以与训练过程相同的σ滑动单向高斯峰值，并计算两个向量之间的L2距离。最终的预测坐标是L2距离达到最小值的位置：

其中，s是从网络输出的T×1分数向量，R是最终回归坐标。gt是具有放置在t中的单向高斯内核的向量。ρ是防止边界无序的参数，N＝1时设为1，N≥2时设为RN-1。这样，损失函数的监督就完全被利用了，最终预测由整个分数图确定。

为了获得最终结果，首先计算在精确边界回归中回归的边界的确切位置，这给出了在y轴上离散的n个等距点。按顺序连接这些点，并且由于获得了4个组织的5个边界和最终分割结果的预测，从上到下生成5倍折线。通过这样做，确保在分割结果中既不会出现孔也不会出现孤立区域，因为在属于同一层的相同边界之间分配了区域。因为一个边界只对应一条连接线，所以不会出现任何故障，并且满足拓扑约束。

以下结合车道分割任务，对本发明实施例的技术方案进行举例说明。

如图3所示，每个车道只覆盖水平方向的一个小范围，而它们几乎出现在相同的行上。所以利用图像分割神经网络来预测垂直方向的输出序列。此外，由于车道之间的间隙较大，采用图像分割神经网络来分别定位每条车道。具体地，分别预测每条车道的左右边界的两个热图。与OCT图像不同的是，由于遮挡或任何其他原因，图片中不会有车道标记，尽管车道可能仍然存在并且需要预测。与OCT不同的是，车道并不总是从一侧走向另一侧，因此，在车道检测中，对于每个ROI，还预测分数以表明是否存在车道区段。由于车道宽度固定，因此更改为预测车道中心。通过这些细微的修改，可以轻松准确地获得车道线的斜率和位置。

值得注意的是，只有当ROI的分数大于阈值(例如0.5)时，才会进一步处理热图，否则，ROI被视为非车道区域。通过一个热图的每一行的argmax操作，可以获得左边界和右边界的确切相对位置。在给定左右位置的情况下，由于边界框的高度较小，并且车道区段通常从上到下贯穿边界框，因此使用拓扑先验，将每个边界框中的车道区段视为直线。这些中心直接连接以获得最终输出。

本发明实施例的图像分割神经网络在不同的图像模式下分割长而连续的条状图案。图像分割神经网络避免了通过特定的结构化输出来进行拓扑分割错误，这种结构化输出将原始分割问题分解为更容易解决的边界回归问题。实验结果表明，图像分割神经网络在视网膜层分割和车道检测任务方面都达到了最先进的性能，并且在数据集和骨干架构中具有良好的泛化能力。

图4为本发明实施例的图像分割神经网络的训练装置的结构组成示意图，如图4所示，所述图像分割神经网络的训练装置包括：

获取单元401，用于利用图像分割神经网络获取样本图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息；其中，所述样本图像标注有所述需要分割的长条状对象的位置标注信息；

训练单元402，用于基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，对所述图像分割神经网络进行训练。

在一实施方式中，所述获取单元401，用于将所述样本图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

在一实施方式中，所述获取单元401，用于分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

在一实施方式中，所述获取单元401包括：

第一获取子单元4011，用于利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域；

第二获取子单元4012，用于利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

在一实施方式中，所述获取单元401还包括：

第三获取子单元4013，用于利用所述图像分割神经网络中的第三子网络获取所述样本图像的特征图；

所述第一获取子单元4011，用于利用图像分割神经网络中的第一子网络对所述样本图像的特征图进行处理，得到所述样本图像中的至少一个长条状对象所在的目标区域。

在一实施方式中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。

在一实施方式中，所述训练单元402，用于基于所述需要分割的长条状对象的位置信息和所述需要分割的长条状对象的位置标注信息，获取第一损失函数值；确定所述第一损失函数值是否满足第一预设条件；响应于所述第一损失函数值不满足第一预设条件，基于所述第一损失函数值对所述图像分割神经网络的参数值进行调整，然后迭代执行如下操作，直至所述第一损失函数值满足第一预设条件：利用图像分割神经网络中的第一子网络获取样本图像中的至少一个长条状对象所在的目标区域，利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

在一实施方式中，所述至少一个长条状对象所在的目标区域、所述目标区域中的需要分割的长条状对象的位置信息以及所述需要分割的长条状对象的位置标注信息，均通过热度信息表示。

本领域技术人员应当理解，图4所示的图像分割神经网络的训练装置中的各单元的实现功能可参照前述图像分割神经网络的训练方法的相关描述而理解。图4所示的图像分割神经网络的训练装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

图5为本发明实施例的图像分割装置的结构组成示意图，如图5所示，所述图像分割装置包括：

第一获取单元501，用于获取目标图像；

第二获取单元502，用于利用图像分割神经网络获取目标图像中的至少一个长条状对象所在的目标区域，并获取所述目标区域中的需要分割的长条状对象的位置信息；

分割单元503，用于基于所述长条状对象的位置信息获得所述长条状对象的分割结果。

在一实施方式中，所述第二获取单元502，用于将所述目标图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个长条状对象对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；基于所述多个区段中的ROI，确定至少一个长条状对象所在的目标区域。

在一实施方式中，所述第二获取单元502，用于分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的长条状对象的位置信息。

在一实施方式中，所述第二获取单元502包括：

第一获取子单元5021，用于利用图像分割神经网络中的第一子网络获取目标图像中的至少一个长条状对象所在的目标区域；

第二获取子单元5022，用于利用所述图像分割神经网络中的第二子网络获取所述目标区域中的需要分割的长条状对象的位置信息。

在一实施方式中，所述第二获取单元502还包括：

第三获取子单元5023，用于利用所述图像分割神经网络中的第三子网络获取所述目标图像的特征图；

所述第一获取子单元5021，用于利用图像分割神经网络中的第一子网络对所述目标图像的特征图进行处理，得到所述目标图像中的至少一个长条状对象所在的目标区域。

在一实施方式中，所述目标区域中的需要分割的长条状对象的个数为一个或多个。

在一实施方式中，所述至少一个长条状对象所在的目标区域、所述目标区域中的需要分割的长条状对象的位置信息以及所述需要分割的长条状对象的位置标注信息，均通过热度信息表示。

本领域技术人员应当理解，图5所示的图像分割装置中的各单元的实现功能可参照前述图像分割方法的相关描述而理解。图5所示的图像分装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明实施例上述图像分割神经网络的训练装置或图像分割装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

相应地，本发明实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本发明实施例的上述图像分割神经网络的训练方法或图像分割方法。

图6为本发明实施例的计算机设备的结构组成示意图，如图6所示，计算机设备100可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable Gate Array)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备100还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。

存储器1004可用于存储应用软件的软件程序以及模块，如本发明实施例中的方法对应的程序指令/模块，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备100的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。