一种图像语义分割、智能行驶控制方法及装置与流程
本公开涉及计算机技术领域，具体而言，涉及一种图像语义分割、智能行驶控制方法及装置。
背景技术：
图像语义分割是图像处理和机器视觉技术中重要的组成部分。语义分割即对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。目前，语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。
相关技术中，在进行图像语义分割时，一般通过神经网络直接对待分割的图像进行分割，但是由于神经网络的感受野有限，这就可能导致将属于同一对象的两个部分分割成不同的类别，从而影响分割结果。
技术实现要素：
本公开实施例至少提供一种图像语义分割、智能行驶控制方法及装置。
第一方面，本公开实施例提供了一种图像语义分割方法，包括：
对待分割图像进行第一特征提取，得到原始特征图；
基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；
基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征；
基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。
这里，属于同一对象的区域特征相似，根据原始特征图所确定的偏移特征图中每一个特征点的值表示原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值，在通过偏移特征图对原始特征图中的特征点进行偏移后，能够使得原始特征图中属于同一对象的区域特征更聚集，这样，属于同一对象的特征区域中所包含的特征点就更全面，根据偏移特征图和原始特征图能够区分出原始特征图中的属于边缘的特征部分(即边缘特征图)以及属于主体的特征部分(即主体特征图)；另外，由于通过偏移特征图对原始特征图中的特征点进行偏移后，能够使得原始特征图中属于同一对象的区域特征更聚集，这相当于在生成主体特征图的过程中扩大了神经网络的感受野，因此基于边缘特征图和主体特征图所生成的语义分割图像，精度更高。
一种可能的实施方式中，所述基于所述原始特征图，生成所述原始特征图对应的偏移特征图，包括：
对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图；
根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图。
这里，由于待分割图像中属于同一目标对象的区域之间的特征应该是相似的，对原始特征图进行特征提取生成的深度特征图中包括原始特征图中的高层次特征，也即包括了属于同一目标对象的高层次的特征，根据原始特征图和深度特征图生成的偏移特征图既包含了原始特征图中的特征，又包括了原始特征图中属于同一目标对象的高层次的特征，因此，基于偏移特征图控制原始特征图中的特征点进行偏移，能够使得属于同一目标对象特征点聚集，从而从原始特征图中提取出主体特征部分。
一种可能的实施方式中，所述基于所述原始特征图，生成所述原始特征图对应的深度特征图，包括：
对所述原始特征图进行下采样处理，并对进行所述下采样处理后的特征图进行上采样处理，得到所述原始特征图对应的深度特征图。
一种可能的实施方式中，所述根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图，包括：
将所述原始特征图和所述深度特征图进行级联，并对级联后的特征图进行特征提取，得到所述偏移特征图。
一种可能的实施方式中，所述基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图，包括：
基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图；
基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图，包括：
将所述原始特征图中的每个特征点按照所述偏移特征图中与该特征点对应的需要偏移的值进行偏移，得到所述原始特征图对应的中间特征图；
将所述中间特征图中的每个特征点的值按照所述偏移特征图中对应位置的权重进行双线性差值计算，得到所述原始特征图对应的主体特征图。
一种可能的实施方式中，所述基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图，包括：
将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述方法还包括：
对所述待分割图像进行第二特征提取，得到低层次特征图；所述低层次特征图对应的卷积次数小于所述原始特征图对应的卷积次数；
所述将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图，包括：
将所述原始特征图和所述主体特征图在对应位置处的特征点的值相减，得到初始边缘特征图；
将所述低层次特征图与所述初始边缘特征图进行级联，并对级联后的特征图进行特征提取，得到所述待分割图像对应的边缘特征图。
在低层次特征图中，原始图像中目标对象的边缘特征更加明显，将低层次特征图与初始边缘特征图进行级联，可以对初始边缘特征图中的边缘特征进行补充，从而提高边缘特征图的边缘识别精度。
一种可能的实施方式中，所述基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像，包括：
将所述边缘特征图和所述主体特征图在对应位置处的特征点的值相加，得到所述待分割图像对应的语义特征图；
对所述语义特征图进行卷积运算，得到所述待分割图像对应的语义分割图像。
一种可能的实施方式中，所述语义分割图像为通过神经网络对所述待分割图像进行处理得到；
所述神经网络采用以下方法训练得到：
获取带有第一标注信息和第二标注信息的样本图像，所述第一标注信息为对所述样本图像中的目标对象的像素区域所添加的标注，所述第二标注信息为对所述样本图像中的目标对象的边缘所添加的标注；
将所述样本图像输入至所述神经网络中，得到所述样本图像对应的边缘特征图、主体特征图、以及语义特征图；
基于所述边缘特征图，确定所述样本图像对应的预测边缘图像；以及，基于所述主体特征图，确定所述样本图像对应的预测主体图像；以及，基于所述语义特征图，确定所述样本图像对应的预测语义分割图像；
基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值，并基于所述损失值，对所述神经网络进行训练。
上述训练过程中，对于原始特征图的边缘特征部分和主体特征部分是分开监督的，因此，相比将所有的损失值加在一起进行监督训练而言，上述方法能够进行针对性的训练，通过这种方法训练出的神经网络，分割精度更高。
一种可能的实施方式中，所述基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值，包括：
基于所述预测主体图像、所述样本图像的第一标注信息，确定第一损失值；以及，
基于所述预测边缘图像、所述样本图像的第一标注信息和第二标注信息，确定第二损失值；以及，
基于所述预测语义分割图像和所述样本图像的第一标注信息，确定第三损失值；
基于所述第一损失值、所述第二损失值、以及所述第三损失值，确定本次训练过程中的损失值。
一种可能的实施方式中，所述基于所述预测边缘图像、所述样本图像的第一标注信息和第二标注信息，确定第二损失值，包括：
基于所述预测边缘图像和所述样本图像的第二标注信息，确定本次训练过程中的第一边缘预测损失；以及，基于所述预测边缘图像和所述样本图像的第一标注信息，确定本次训练过程中的第二边缘预测损失；
将所述第一边缘预测损失和所述第二边缘预测损失进行加权求和，得到所述第二损失值。
这里，第二损失值中包括边缘预测精度的损失、以及在预测为边缘的基础上，对于边缘语义预测的损失，通过这种损失在训练神经网络时，可以分别对边缘预测及边缘语义预测进行优化。
一种可能的实施方式中，所述基于所述第一损失值、所述第二损失值、以及所述第三损失值，确定本次训练过程中的损失值，包括：
将所述第一损失值、所述第二损失值、以及所述第三损失值进行加权求和，得到本次训练过程中的损失值。
第二方面，本公开实施例还提供了一种智能行驶控制方法，包括：
获取行驶装置在行驶过程中采集的图像；
通过基于如第一方面或第一方面任一种可能的实施方式所述的图像语义分割方法对所述图像进行语义分割；
基于语义分割结果，控制所述行驶装置。
第三方面，本公开实施例还提供一种图像语义分割装置，包括：
特征提取模块，用于对待分割图像进行第一特征提取，得到原始特征图；
第一生成模块，用于基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；
第二生成模块，用于基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征；
图像分割模块，用于基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。
一种可能的实施方式中，所述第一生成模块，在基于所述原始特征图，生成所述原始特征图对应的偏移特征图时，用于：
对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图；
根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图。
一种可能的实施方式中，所述第一生成模块，在对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图时，用于：
对所述原始特征图进行下采样处理，并对进行所述下采样处理后的特征图进行上采样处理，得到所述原始特征图对应的深度特征图。
一种可能的实施方式中，所述第一生成模块，在根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图时，用于：
将所述原始特征图和所述深度特征图进行级联，并对级联后的特征图进行特征提取，得到所述偏移特征图。
一种可能的实施方式中，所述第二生成模块，在基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图时，用于：
基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图；
基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述第二生成模块，在基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图时，用于：
将所述原始特征图中的每个特征点按照所述偏移特征图中与该特征点对应的需要偏移的值进行偏移，得到所述原始特征图对应的中间特征图；
将所述中间特征图中的每个特征点的值按照所述偏移特征图中对应位置的权重进行双线性差值计算，得到所述原始特征图对应的主体特征图。
一种可能的实施方式中，所述第二生成模块，在基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图时，用于：
将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述特征提取模块，还用于：
对所述待分割图像进行第二特征提取，得到低层次特征图；所述低层次特征图对应的卷积次数小于所述原始特征图对应的卷积次数；
所述图像分割模块，在将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图时，用于：
将所述原始特征图和所述主体特征图在对应位置处的特征点的值相减，得到初始边缘特征图；
将所述低层次特征图与所述初始边缘特征图进行级联，并对级联后的特征图进行特征提取，得到所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述图像分割模块，在基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像时，用于：
将所述边缘特征图和所述主体特征图在对应位置处的特征点的值相加，得到所述待分割图像对应的语义特征图；
对所述语义特征图进行卷积运算，得到所述待分割图像对应的语义分割图像。
一种可能的实施方式中，所述语义分割图像为通过神经网络对所述待分割图像进行处理得到；
所述装置还包括训练模块，所述训练模块用于根据以下方法训练所述神经网络：
获取带有第一标注信息和第二标注信息的样本图像，所述第一标注信息为对所述样本图像中的目标对象的像素区域所添加的标注，所述第二标注信息为对所述样本图像中的目标对象的边缘所添加的标注；
将所述样本图像输入至所述神经网络中，得到所述样本图像对应的边缘特征图、主体特征图、以及语义特征图；
基于所述边缘特征图，确定所述样本图像对应的预测边缘图像；以及，基于所述主体特征图，确定所述样本图像对应的预测主体图像；以及，基于所述语义特征图，确定所述样本图像对应的预测语义分割图像；
基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值，并基于所述损失值，对所述神经网络进行训练。
一种可能的实施方式中，所述训练模块，在基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值时，用于：
基于所述预测主体图像、所述样本图像的第一标注信息，确定第一损失值；以及，
基于所述预测边缘图像、所述样本图像的第一标注信息和第二标注信息，确定第二损失值；以及，
基于所述预测语义分割图像和所述样本图像的第一标注信息，确定第三损失值；
基于所述第一损失值、所述第二损失值、以及所述第三损失值，确定本次训练过程中的损失值。
一种可能的实施方式中，所述训练模块，在基于所述预测边缘图像、所述样本图像的第一标注信息和第二标注信息，确定第二损失值时，用于：
基于所述预测边缘图像和所述样本图像的第二标注信息，确定本次训练过程中的第一边缘预测损失；以及，基于所述预测边缘图像和所述样本图像的第一标注信息，确定本次训练过程中的第二边缘预测损失；
将所述第一边缘预测损失和所述第二边缘预测损失进行加权求和，得到所述第二损失值。
一种可能的实施方式中，所述训练模块，在基于所述第一损失值、所述第二损失值、以及所述第三损失值，确定本次训练过程中的损失值时，用于：
将所述第一损失值、所述第二损失值、以及所述第三损失值进行加权求和，得到本次训练过程中的损失值。
第四方面，本公开实施例还提供了一种智能行驶控制装置，包括：
获取模块，用于获取行驶装置在行驶过程中采集的图像；
图像分割模块，用于通过基于如第一方面或第一方面任一种可能的实施方式所述的图像语义分割方法对所述图像进行语义分割；
控制模块，用于基于语义分割结果，控制所述行驶装置。
第五方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤，或执行上述第二方面所述的步骤。
第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤，或执行上述第二方面所述的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像语义分割方法的流程图；
图2示出了本公开实施例所提供的一种生成原始特征图对应的偏移特征图的流程图；
图3示出了本公开实施例所提供的一种边缘特征图和主体特征图生成方法的流程图；
图4示出了本公开实施例所提供的一种图像语义分割方法的示意图；
图5示出了本公开实施例所提供的一种神经网络的训练方法的流程示意图；
图6示出了本公开实施例所提供的一种神经网络训练过程的示意图；
图7示出了本公开实施例所提供的一种智能行驶控制方法的流程示意图；
图8示出了本公开实施例所提供的一种图像语义分割装置的架构示意图；
图9示出了本公开实施例所提供的一种智能行驶控制装置的架构示意图；
图10示出了本公开实施例所提供的一种计算机设备1000的结构示意图；
图11示出了本公开实施例所提供的一种计算机设备1100的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中，在进行图像语义分割时，一般直接通过神经网络对待分割图像直接进行分割，但是由于神经网络的感受野有限，这就可能导致将属于同一对象的两个部分分割成不同的类别，例如，可能会将车辆的车轮和车体部分分割成不同的两个类别。
另外，由于在进行图像语义分割时，需要对待分割图像进行下采样，以对待分割图像进行特征提取，在下采样的过程中，待分割图像中对象的边缘信息可能会丢失，从而影响最终的语义分割结果中对象边缘的分割结果。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像语义分割方法进行详细介绍，本公开实施例所提供的图像语义分割方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(userequipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personaldigitalassistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该电子方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的图像语义分割方法的流程图，所述方法包括步骤101～步骤104，其中：
步骤101、对待分割图像进行第一特征提取，得到原始特征图。
步骤102、基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值。
步骤103、基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征。
步骤104、基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。
可以基于待分割图像的原始特征图，生成偏移特征图，然后根据偏移特征图和原始特征图，生成待分割图像对应的边缘特征图和主体特征图，然后根据边缘特征图和主体特征图，生成待分割图像对应的语义分割图像。
根据原始特征图所确定的偏移特征图中每一个特征点的值表示原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值，在通过偏移特征图对原始特征图中的特征点进行偏移后，能够使得原始特征图中属于同一对象的区域特征更聚集，这样，属于同一对象的特征区域中所包含的特征点就更全面，根据偏移特征图和原始特征图能够区分出原始特征图中的属于边缘的特征部分(即边缘特征图)以及属于主体的特征部分(即主体特征图)；另外，由于通过偏移特征图对原始特征图中的特征点进行偏移后，能够使得原始特征图中属于同一对象的区域特征更聚集，这相当于在生成主体特征图的过程中扩大了神经网络的感受野，因此基于边缘特征图和主体特征图所生成的语义分割图像，精度更高。
以下是对上述步骤101～步骤104的详细介绍，需要说明的是，上述步骤101～步骤104中的方法均由神经网络执行，所述语义分割图像为通过神经网络对待分割图像进行处理得到的。
针对步骤101、
所述神经网络中包括卷积神经子网络，所述对待分割图像进行第一特征提取，可以是将待分割图像输入至所述神经网络网络中的卷积神经子网络中，进行多次卷积操作。在一种可能的实施方式中，所述卷积神经子网络可以为深度残差网络resnet。
针对步骤102、
在基于原始特征图，生成原始特征图对应的偏移特征图时，可以参照如图2所示的方法，包括以下几个步骤：
步骤201、对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图。
具体实施中，在对原始特征图进行特征提取，生成原始特征图对应的深度特征图时，可以对原始特征图进行下采样处理，以提取原始特征图对应的高层次的特征，然后再对下采样处理的特征图进行上采样处理，得到原始特征图对应的深度特征图。
其中，在对原始特征图进行下采样处理后，经过下采样处理后的特征图的尺寸要比原始特征图要小，因此，可以通过再对下采样处理后的特征图进行上采样处理，此时，经过上采样处理后的特征图中所包含的特征与经过下采样处理后的特征图中所包含的特征相同，但是经过上采样后的特征图的尺寸与原始特征图保持一致，经过上采样处理后的特征图即为原始特征图对应的深度特征图。
步骤202、根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图。
具体实施中，在根据原始特征图和深度特征图，生成原始特征图对应的偏移特征图时，可以先将原始特征图和深度特征图进行级联，然后对级联后的特征图进行特征提取，得到所述偏移特征图。
在对原始特征图和深度特征图进行级联时，示例性的，若原始特征图的尺寸为h×w×c，深度特征图与原始特征图的尺寸相同，也为h×w×c，则级联后的特征图的尺寸为h×w×2c，再对级联后的特征图进行特征提取，得到偏移特征图，所述偏移特征图的尺寸也与原始特征图的尺寸相同，为h×w×c；其中，h×w表示长和宽，c表示通道数。
所述对级联后的特征图进行特征提取，可以是对级联后的特征图进行卷积操作，卷积核的大小为预先设置好的，具体实施中可以根据实际的情况进行调整。
针对步骤103、
本公开一示例中，在基于偏移特征图和原始特征图，生成待分割图像对应的边缘特征图和主体特征图时，可以参照图3所示的方法，包括以下几个步骤：
步骤301、基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图。
具体的，在基于偏移特征图和原始特征图，生成待分割图像对应的主体特征图时，可以先将原始特征图中每个特征点按照偏移特征图中与该特征点对应的需要偏移的值进行偏移，得到原始特征图对应的中间特征图，然后将中间特征图中的每个特征点的值按照偏移特征图中对应位置的权重进行双线性差值计算，得到原始特征图对应的主体特征图。
由于偏移特征图和原始特征图的尺寸相同，因此在原始特征图中每个位置与偏移特征图中的位置是一一对应的关系，偏移特征图中每个位置的取值包括，原始特征图中与该位置处的特征点对应的需要偏移的值，原始特征图中每个特征点可以根据该特征点所在位置对应的需要偏移的值进行偏移。
示例性的，若在原始特征图中位置a的坐标是(x1，y1)，偏移特征图中与位置a对应的位置为位置b，位置b的需要偏移的值的取值为(x2，y2)，则将位置a的取值偏移至坐标(x1+x2，y1+y2)对应的位置。
在将各个特征点进行偏移之后，属于同一对象区域对应的特征点将聚集在一起，因此，通过偏移特征图，可以使原始特征图中属于主体部分的特征点更加聚集。
偏移特征图中每一个位置的取值除需要偏移的值外，还包括权重，所述权重为进行双线性差值时各个位置点的权重。具体的，在将中间特征图中的每个特征点的值按照偏移特征图中对应位置的权重进行双线性差值计算时，可以参照如下公式：
其中，fbody表示主体特征图，fbody(px)表示主体特征图中的特征点px的取值，ωp表示偏移特诊图中第p个特征点的权重，n(pl)表示将原始特征图进行偏移后的中间特征图中与特征点pl相邻的特征点(一般为四个特征点)，f(p)表示第p个特征点在中间特征图中的取值。
步骤302、基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图。
原始特征图中包括主体特征和边缘特征，基于步骤301得到主体特征之后，可以将原始特征图中除主体特征外的其他特征作为边缘特征。
具体的，可以将原始特征图和主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成待分割图像对应的边缘特征图。
在一种可能的实施方式中，还可以先对待分割图像进行第二特征提取，得到低层次特征图，低层次特征图对应的卷积次数小于原始特征图对应的卷积次数，然后基于低层次特征图和相减后得到的特征图，生成待分割图像对应的边缘特征图。
其中，在对待分割图像进行第二特征提取时，可以使用步骤101中对待分割图像进行第一特征提取时所使用的神经网络，对待分割图像进行卷积的次数越多，待分割图像中的主体特征越突出，边缘特征越弱化，卷积次数越少，边缘特征越突出，主体特征越弱化，低层次特征图用于对边缘细节进行补充，因此，低层次特征图对应的卷积次数小于原始特征图对应的卷积次数。
具体实施中，在生成待分割图像对应的边缘特征图时，可以先将原始特征图和主体特征图在对应位置处的特征点的值相减，得到初始边缘特征图，然后将初始边缘特征图和初始边缘特征图进行级联，并对级联后的特征图进行特征提取，得到待分割图像对应的边缘特征图。
其中，所述对级联后的特征图进行特征提取，可以是对级联后的特征图进行卷积操作，得到待分割图像对应的边缘特征图。
针对步骤104、
边缘特征图和主体特征图的尺寸相同，均与原始特征图尺寸一致，在基于边缘特征图和主体特征图，生成待分割图像对应的语义分割图像时，可以将边缘特征图和主体特征图在对应位置处的特征点的值相加，得到待分割图像对应的语义特征图，然后对语义特征图进行卷积运算，得到待分割图像对应的语义分割图像。
下面将结合详细的附图，对上述图像语义分割方法进行介绍。
参见图4所示，为本公开实施例提供的一种图像语义分割方法的示意图，所述方法包括两部分，一部分是主体特征图的生成过程，另一部分是边缘特征图的生成部分。
首先将对主体特征图的生成过程进行介绍。图中f表示待分割图像对应的原始特征图，先将原始特征图f进行下采样处理得到特征图flow，然后对特征图flow进行上采样处理，得到原始特征图f对应的深度特征图fα；再将原始特征图f和深度特征图fα进行级联(concatenation)，然后通过3*3的卷积核进行卷积操作，进行特征提取，得到偏移特征图δ；然后根据原始特征图f和偏移特征图δ进行扭曲warp操作(即先根据需要偏移的值进行偏移，然后根据权重进行双线性差值计算)，最终得到主体特征图fbody。
在边缘特征图的生成过程中，先从原始特征图f减去主体特征图fbody的部分，得到特征图fβ，然后将特征图fβ和低层次特征图ffine进行级联(concatenation)，级联后通过1*1的卷积核进行卷积操作，得到边缘特征图fedge。
得到主体特征图fbody和边缘特征图fedge后，将主体特征图fbody和边缘特征图fedge对应位置的特征点的取值相加，得到语义特征图ffinal，然后对语义特征图ffinal通过1*1的卷积核进行卷积操作，得到待分割图像对应的语义分割图像。
下面将对上述过程中使用的神经网络的训练过程展开介绍。参见图5所示，为本公开实施例所提供的一种神经网络的训练方法的流程示意图，包括以下几个步骤：
步骤501、获取带有第一标注信息和第二标注信息的样本图像，所述第一标注信息为对所述样本图像中的目标对象的像素区域所添加的标注，所述第二标注信息为对所述样本图像中的目标对象的边缘所添加的标注。
其中，样本图像的标注信息可以是对样本图像中的每一个像素点添加标注，也可以是对样本图像的目标对象的像素区域添加标注，所述目标对象包括样本图像中的对象以及样本图像中的背景。
在一种可能的实施方式中，可以为样本图像中属于同一目标对象的像素区域添加同一种标注，不同目标对象之间的标注不同。
在为样本图像添加第二标注信息时，可以为样本图像中每一个像素点添加标注，该标注用于表示该像素点是否为边缘像素点。示例性的，可以为每个像素点添加0-1标注，0表示该像素点不是边缘像素点，1表示该像素点是边缘像素点。
步骤502、将所述样本图像输入至所述神经网络中，得到所述样本图像对应的边缘特征图、主体特征图、以及语义特征图。
对应于图4所示的图，将样本图像输入至所述神经网络中之后，可以得到样本图像对应的边缘特征图fedge、主体特征图fbody、以及语义特征图ffinal。
步骤503、基于所述边缘特征图，确定所述样本图像对应的预测边缘图像；以及，基于所述主体特征图，确定所述样本图像对应的预测主体图像；以及，基于所述语义特征图，确定所述样本图像对应的预测语义分割图像。
在基于边缘特征图，确定所述样本图像对应的预测边缘图像时，可以通过1*1的卷积核对边缘特征图进行卷积操作，得到所述预测边缘图像；在基于所述主体特征图，确定所述样本图像对应的预测主体图像时，可以通过1*1的卷积核对主体特征图进行卷积操作，得到所述预测主体图像；在基于所述语义特征图，确定所述样本图像对应的预测语义分割图像时，可以通过1*1的卷积核对语义特征图进行卷积操作，得到所述预测语义分割图像。
步骤504、基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值，并基于所述损失值，对所述神经网络进行训练。
具体实施中，在基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值时，可以包括以下三部分：
(一)基于所述预测主体图像、所述样本图像的第一标注信息，确定第一损失值。
其中，所述第一损失值可以用来表示本次训练过程中主体部分识别的精度。
(二)基于所述预测边缘图像、所述样本图像的第一标注信息和第二标注信息，确定第二损失值。
所述第二损失值包括两部分的损失值，一部分是识别像素点是否为边缘像素点的损失值，另一部分是识别边缘像素点语义识别的损失值。
具体的，在确定第二损失值时，可以先基于预测边缘图像和样本图像的第二标注结果，确定本次训练过程中的第一边缘预测损失(即识别像素点是否为边缘像素点的损失)；以及，基于预测边缘图像和样本图像的第一标注信息，确定本次训练过程中的第二边缘预测损失(即识别边缘像素点语义识别的损失值)，然后将第一边缘预测损失和第二边缘预测损失进行加权求和，将求和结果作为第二损失值。
其中，在确定本次训练过程中的第二边缘预测损失时，为提高计算效率，可以先计算预测边缘图像中每个像素点对应的交叉熵损失值，然后按照交叉熵损失值进行从大到小的顺序，选择排在前k位像素点进行优化，然后选取前k位像素点中，对应的置信度大于预设置信度阈值的像素点作为目标像素点，并计算目标像素点的交叉熵损失值，将计算结果作为第二边缘预测损失。
这里，由于在对边缘像素点进行语义预测时，由于边缘像素点可能是位于两个物体之间的像素点，示例性的，若图像中包括“人”和“车”，人依靠在车外，则对于图像中人和车交接位置的像素点，模型在预测时，预测难度会比较大。
基于此，本公开所提供的方法采用了困难样本挖掘的方式计算第二边缘预测损失，具体可以为，通过交叉熵损失排在前k位的像素点的损失值计算第二边缘预测损失，像素点对应的交叉熵损失值越高，模型预测的准确率可能越低，从样本图像的多个像素点中，选取出交叉熵损失值较高的像素点(即困难样本)，并基于这些选取出的像素点计算第二边缘预测损失值，在基于第二边缘预测损失值调整网络参数时，能够加强对困难样本的识别精度，从而提高神经网络的对于边缘预测的识别精度。
示例性的，第二边缘预测损失可以根据以下公式进行计算：
k表示待优化的像素点的个数，为预设值；n表示样本图像中像素点的个数；
(三)基于所述预测语义分割图像和所述样本图像的第一标注信息，确定第三损失值。
在通过以上方法计算出第一损失值、第二损失值、以及第三损失值之后，可以将第一损失值、第二损失值和第三损失值分别按照各自对应的权重进行加权求和，得到本次训练过程中的损失值。
下面，将结合具体的实施例，对上述神经网络的训练过程进行详细的介绍。
参见图6所示，为本公开实施例提供的一种神经网络训练过程的示意图，首先将待分割图像(可以为rgb图像)输入至深度残差网络中，输出得到待分割图像对应的原始特征图f和低层次特征图ffine，然后通过语义分割算法(图6中所示通过aspp模块)对原始特征图f进行语义分割，将原始特征图中主体特征部分和边缘特征部分分割开来，得到主体特征图；然后在分割出的边缘特征部分中加入低层次特征图ffine的特征，得到边缘特征图，然后分别确定主体特征图的第一损失值lbody，和边缘特征图的第二损失值ledge，根据边缘特征图和主体特征图确定出语义特征图ffinal之后，再确定语义特征图ffinal的第三损失值lfinal，最后根据第一损失值lbody、第二损失值ledge、以及第三损失值lfinal计算本次训练过程中的损失值，然后根据本次训练过程中的损失值，对神经网络进行训练。
示例性的，可以通过如下公式确定本次训练过程中的损失值：
l＝λ1lbody+λ2ledge+λ3lfinal
其中，λ1、λ2、λ3分别表示第一损失值、第二损失值、第三损失值对应的权重，lbody表示第一损失值，ledge表示第二损失值、以及lfinal表示第三损失值，l表示本次训练过程中的损失值。
上述训练过程中，对于原始特征图的边缘特征部分和主体特征部分是分开监督的，因此，相比较而言将所有的损失值加在一起进行监督训练，本公开实施例所提供的方法，能够进行针对性的训练，通过这种方法训练出的神经网络，分割精度更高。
另外，本公开实施例还提供了一种智能行驶控制方法，参见图7所示，为本公开实施例所提供的一种智能行驶控制方法的流程示意图，包括以下几个步骤：
步骤701、获取行驶装置在行驶过程中采集的图像。
其中，行驶装置包括但不仅限于自动驾驶车辆、装有高级驾驶辅助系统(advanceddrivingassistancesystem，adas)的车辆、或者机器人等。
步骤702、对所述图像进行语义分割。
具体实施中，可以通过图1所示的图像语义分割方法，对图像进行语义分割。
步骤703、基于语义分割结果，控制所述行驶装置。
其中，在控制行驶装置时，可以控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像语义分割方法对应的图像语义分割装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像语义分割方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例提供的一种图像语义分割装置的架构示意图，所述装置包括：特征提取模块801、第一生成模块802、第二生成模块803、图像分割模块804、以及训练模块805；其中，
特征提取模块801，用于对待分割图像进行第一特征提取，得到原始特征图；
第一生成模块802，用于基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；
第二生成模块803，用于基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征；
图像分割模块804，用于基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。
一种可能的实施方式中，所述第一生成模块802，在基于所述原始特征图，生成所述原始特征图对应的偏移特征图时，用于：
对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图；
根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图。
一种可能的实施方式中，所述第一生成模块802，在对所述原始特征图进行特征提取，生成所述原始特征图对应的深度特征图时，用于：
对所述原始特征图进行下采样处理，并对进行所述下采样处理后的特征图进行上采样处理，得到所述原始特征图对应的深度特征图。
一种可能的实施方式中，所述第一生成模块802，在根据所述原始特征图和所述深度特征图，生成所述原始特征图对应的偏移特征图时，用于：
将所述原始特征图和所述深度特征图进行级联，并对级联后的特征图进行特征提取，得到所述偏移特征图。
一种可能的实施方式中，所述第二生成模块803，在基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图时，用于：
基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图；
基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述第二生成模块803，在基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的主体特征图时，用于：
将所述原始特征图中的每个特征点按照所述偏移特征图中与该特征点对应的需要偏移的值进行偏移，得到所述原始特征图对应的中间特征图；
将所述中间特征图中的每个特征点的值按照所述偏移特征图中对应位置的权重进行双线性差值计算，得到所述原始特征图对应的主体特征图。
一种可能的实施方式中，所述第二生成模块803，在基于所述原始特征图和所述主体特征图，生成所述待分割图像对应的边缘特征图时，用于：
将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述特征提取模块801，还用于：
对所述待分割图像进行第二特征提取，得到低层次特征图；所述低层次特征图对应的卷积次数小于所述原始特征图对应的卷积次数；
所述图像分割模块804，在将所述原始特征图和所述主体特征图对应位置处的特征点的值相减，根据相减后得到的值，生成所述待分割图像对应的边缘特征图时，用于：
将所述原始特征图和所述主体特征图在对应位置处的特征点的值相减，得到初始边缘特征图；
将所述低层次特征图与所述初始边缘特征图进行级联，并对级联后的特征图进行特征提取，得到所述待分割图像对应的边缘特征图。
一种可能的实施方式中，所述图像分割模块804，在基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像时，用于：
将所述边缘特征图和所述主体特征图在对应位置处的特征点的值相加，得到所述待分割图像对应的语义特征图；
对所述语义特征图进行卷积运算，得到所述待分割图像对应的语义分割图像。
一种可能的实施方式中，所述语义分割图像为通过神经网络对所述待分割图像进行处理得到；
所述装置还包括训练模块805，所述训练模块805用于根据以下方法训练所述神经网络：
获取带有第一标注信息和第二标注信息的样本图像，所述第一标注信息为对所述样本图像中的目标对象的像素区域所添加的标注，所述第二标注信息为对所述样本图像中的目标对象的边缘所添加的标注；
将所述样本图像输入至所述神经网络中，得到所述样本图像对应的边缘特征图、主体特征图、以及语义特征图；
基于所述边缘特征图，确定所述样本图像对应的预测边缘图像；以及，基于所述主体特征图，确定所述样本图像对应的预测主体图像；以及，基于所述语义特征图，确定所述样本图像对应的预测语义分割图像；
基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值，并基于所述损失值，对所述神经网络进行训练。
一种可能的实施方式中，所述训练模块805，在基于所述预测边缘图像、预测主体图像、预测语义分割图像，以及所述样本图像的第一标注信息和第二标注信息，确定本次训练过程中的损失值时，用于：
基于所述预测主体图像、所述样本图像的第一标注信息，确定第一损失值；以及，
基于所述预测边缘图像、所述样本图像的第一标注信息和第二标注信息，确定第二损失值；以及，
基于所述预测语义分割图像和所述样本图像的第一标注信息，确定第三损失值；
基于所述第一损失值、所述第二损失值、以及所述第三损失值，确定本次训练过程中的损失值。
一种可能的实施方式中，所述训练模块805，在基于所述预测边缘图像、所述样本图像的第一标注信息和第二标注信息，确定第二损失值时，用于：
基于所述预测边缘图像和所述样本图像的第二标注信息，确定本次训练过程中的第一边缘预测损失；以及，基于所述预测边缘图像和所述样本图像的第一标注信息，确定本次训练过程中的第二边缘预测损失；
将所述第一边缘预测损失和所述第二边缘预测损失进行加权求和，得到所述第二损失值。
一种可能的实施方式中，所述训练模块805，在基于所述第一损失值、所述第二损失值、以及所述第三损失值，确定本次训练过程中的损失值时，用于：
将所述第一损失值、所述第二损失值、以及所述第三损失值进行加权求和，得到本次训练过程中的损失值。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一发明构思，本公开实施例中还提供了与智能行驶控制方法对应的智能行驶控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述智能行驶控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参见图9所示，为本公开实施例所提供的一种智能行驶控制装置的架构示意图，包括获取模块901、图像分割模块902、以及控制模块903；具体的：
获取模块，用于获取行驶装置在行驶过程中采集的图像；
图像分割模块，用于通过本公开实施例提供的图像语义分割方法对所述图像进行语义分割；
控制模块，用于基于语义分割结果，控制所述行驶装置。
基于同一技术构思，本申请实施例还提供了一种计算机设备。参照图10所示，为本申请实施例提供的计算机设备1000的结构示意图，包括处理器1001、存储器1002、和总线1003。其中，存储器1002用于存储执行指令，包括内存10021和外部存储器10022；这里的内存10021也称内存储器，用于暂时存放处理器1001中的运算数据，以及与硬盘等外部存储器10022交换的数据，处理器1001通过内存10021与外部存储器10022进行数据交换，当计算机设备1000运行时，处理器1001与存储器1002之间通过总线1003通信，使得处理器1001在执行以下指令：
对待分割图像进行第一特征提取，得到原始特征图；
基于所述原始特征图，生成所述原始特征图对应的偏移特征图，所述偏移特征图中每个特征点的值表示所述原始特征图中与该特征点所在位置对应位置处的特征点需要偏移的值；
基于所述偏移特征图和所述原始特征图，生成所述待分割图像对应的边缘特征图和主体特征图；所述边缘特征图包括所述待分割图像中的对象边缘特征，所述主体特征图包括所述待分割图像中的对象主体特征；
基于所述边缘特征图和所述主体特征图，生成所述待分割图像对应的语义分割图像。
基于同一技术构思，本申请实施例还提供了一种计算机设备。参照图11所示，为本申请实施例提供的计算机设备1100的结构示意图，包括处理器1101、存储器1102、和总线1103。其中，存储器1102用于存储执行指令，包括内存11021和外部存储器11022；这里的内存11021也称内存储器，用于暂时存放处理器1101中的运算数据，以及与硬盘等外部存储器11022交换的数据，处理器1101通过内存11021与外部存储器11022进行数据交换，当计算机设备1100运行时，处理器1101与存储器1102之间通过总线1103通信，使得处理器1101在执行以下指令：
获取行驶装置在行驶过程中采集的图像；
通过基于上述实施例提供的图像语义分割方法对所述图像进行语义分割；
基于语义分割结果，控制所述行驶装置。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像语义分割、智能行驶控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像语义分割方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像语义分割、智能行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(softwaredevelopmentkit，sdk)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！