一种图像特征提取方法、装置、设备及可读存储介质与流程

本发明涉及图像处理技术领域，更具体地说，涉及一种图像特征提取方法、装置、设备及可读存储介质。

背景技术：

在现有技术中，一般通过cnn网络提取图像中的特征。其中，cnn网络由卷积块堆叠构建而成，无法探索图像的行和列上的空间关系，因此在针对长距离连续形状目标的图像进行特征提取时，会导致提取出的特征的精度和准确度有所降低。而当提取出的特征的精度和准确度降低时，当利用该特征进行图像分类、图像识别或图像语义分割时，或导致结果不够准确。需要说明的是，长距离连续形状目标即为车道、电线杆或墙面等具有连续形状的物体。

例如：当提取出的特征的精度和准确度不够时，当将该提取方法应用于自动驾驶领域时，对于车前方的街景图像的识别将不够准确。具体会体现为：车道、行人或街边基础设施的轮廓识别有误，从而导致无法正常进行自动驾驶或使自动驾驶的安全性得不到保障。

因此，如何更精准地提取图像中具有长距离连续形状目标的特征，是本领域技术人员需要解决的问题。

技术实现要素：

本发明的目的在于提供一种图像特征提取方法、装置、设备及可读存储介质，以实现更精准地提取图像中具有长距离连续形状目标的特征。

为实现上述目的，本发明实施例提供了如下技术方案：

一种图像特征提取方法，包括：

获取具有长距离连续形状目标的目标图像；

采用fpn算法对所述目标图像进行多尺度特征提取，得到多个尺度的特征图；

通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图；

利用dag模型将多个所述连贯特征图融合为所述目标图像的目标特征图。

其中，所述采用fpn算法对所述目标图像进行多尺度特征提取，得到多个尺度的特征图，包括：

将所述目标图像按照预设的多个比例分别进行缩小，得到多个尺度的图像；

针对每个尺度的图像，获得对应的特征图的步骤为：结合近邻尺度的图像将当前尺度的图像进行还原，得到当前尺度的特征图。

其中，所述通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图，包括：

针对每个尺度的特征图，获得对应的连贯特征图的步骤为：分别从不同方向按序对当前尺度的特征图进行卷积，并将卷积得到的多个方向上的卷积结果进行合并，得到当前尺度的特征图对应的连贯特征图。

其中，所述分别从不同方向按序对当前尺度的特征图进行卷积，包括：

分别从上到下、从右到左、从左到右按序对当前尺度的特征图进行卷积；

其中，在一个方向的卷积过程中，将前次通道的输出结果添加至当前处理通道。

其中，所述利用dag模型将多个所述连贯特征图融合为所述目标图像的目标特征图，包括：

在所述多个所述连贯特征图随机选取两个连贯特征图；

将所述两个连贯特征图中的尺度较大的连贯特征图确定为第一图像，尺度较小的连贯特征图确定为第二图像；

根据所述第一图像对所述第二图像进行上采样，便将上采样得到的图像与所述第一图像进行融合，得到融合图像；

判断剩余的连贯特征图的个数是否为零；

若是，则将所述融合图像确定为所述目标图像的目标特征图；

若否，则在剩余的多个所述连贯特征图中随机选取一个连贯特征图，比较选取到的连贯特征图的尺度与所述融合图像的尺度的大小，将尺度较大的确定为第一图像，尺度较小的确定为第二图像，并至少所述根据所述第一图像对所述第二图像进行上采样，便将上采样得到的图像与所述第一图像进行融合，得到融合图像的步骤。

其中，所述利用dag模型将多个所述连贯特征图融合为所述目标图像的目标特征图之后，还包括：

通过反卷积网络对所述目标特征图进行语义分割。

一种图像特征提取装置，包括：

获取模块，用于获取具有长距离连续形状目标的目标图像；

提取模块，用于采用fpn算法对所述目标图像进行多尺度特征提取，得到多个尺度的特征图；

处理模块，用于通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图；

融合模块，用于利用dag模型将多个所述连贯特征图融合为所述目标图像的目标特征图。

其中，所述提取模块包括：

缩小单元，用于将所述目标图像按照预设的多个比例分别进行缩小，得到多个尺度的图像；

还原单元，用于针对每个尺度的图像，获得对应的特征图的步骤为：结合近邻尺度的图像将当前尺度的图像进行还原，得到当前尺度的特征图。

一种图像特征提取设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一项所述的图像特征提取方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的图像特征提取方法的步骤。

通过以上方案可知，本发明实施例提供的一种图像特征提取方法，包括：获取具有长距离连续形状目标的目标图像；采用fpn算法对所述目标图像进行多尺度特征提取，得到多个尺度的特征图；通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图；利用dag模型将多个所述连贯特征图融合为所述目标图像的目标特征图。

可见，所述方法利用fpn算法对目标图像进行多尺度特征提取，能够将目标图像中的细小物体的特征提取出来，并丢弃较大物体中的不必要特征，提高特征提取的精度和准确度；通过scnn算法分别处理每个尺度的特征图，能够更好的探索图像的行和列上的空间关系，即：更好的提取具有空间连贯性的特征；最后利用dag模型融合得到目标图像的目标特征图。其中，fpn算法结合scnn算法可以更精准地提取目标图像中具有长距离连续形状目标的特征，使得获得的目标特征图具有良好的分割效果或识别效果。

相应地，本发明实施例提供的一种图像特征提取装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种图像特征提取方法流程图；

图2为本发明实施例公开的一种提取图像特征的过程示意图；

图3为本发明实施例公开的fpn算法提取图像多尺度特征的过程示意图；

图4为本发明实施例公开的scnn算法处理图像的过程示意图；

图5为本发明实施例公开的dag模型融合图像的过程示意图；

图6为本发明实施例公开的一种图像特征提取装置示意图；

图7为本发明实施例公开的一种图像特征提取设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种图像特征提取方法、装置、设备及可读存储介质，以实现更精准地提取图像中具有长距离连续形状目标的特征。

参见图1，本发明实施例提供的一种图像特征提取方法，包括：

s101、获取具有长距离连续形状目标的目标图像；

具体的，具有长距离连续形状目标的目标图像即为：具有类似车道、电线杆、墙壁等长距离连续形状的物体的图像。

s102、采用fpn算法对目标图像进行多尺度特征提取，得到多个尺度的特征图；

其中，采用fpn算法对目标图像进行多尺度特征提取，得到多个尺度的特征图，包括：

将目标图像按照预设的多个比例分别进行缩小，得到多个尺度的图像；

针对每个尺度的图像，获得对应的特征图的步骤为：结合近邻尺度的图像将当前尺度的图像进行还原，得到当前尺度的特征图。

例如：将目标图像分别缩小二分之一、四分之一、八分之一，那么得到三个尺度的图像。将这三个尺度的图像顺序标记，二分之一尺度的图像标记为a，四分之一尺度的图像标记为b，八分之一尺度的图像标记为c。

当对c进行还原时，结合b进行还原，得到c对应的特征图；当对b进行还原时，结合a进行还原，得到b对应的特征图；当对a进行还原时，结合目标图像，也就是原图进行还原，得到a对应的特征图；从而可得到三个尺度分别对应的特征图。

s103、通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图；

其中，通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图，包括：

针对每个尺度的特征图，获得对应的连贯特征图的步骤为：分别从不同方向按序对当前尺度的特征图进行卷积，并将卷积得到的多个方向上的卷积结果进行合并，得到当前尺度的特征图对应的连贯特征图。

其中，分别从不同方向按序对当前尺度的特征图进行卷积，包括：分别从上到下、从右到左、从左到右按序对当前尺度的特征图进行卷积。

具体的，若上述图像a对应的特征图为a1，那么通过scnn算法对a1进行卷积时，首先从上到下对a1进行卷积，进而从右到左接着进行卷积，最后从左到右接着进行卷积，最后得到的特征图即为a1对应的连贯特征图。处理其他尺度的特征图的步骤可参见此表述，故本说明书在此不再赘述。

其中，在一个方向的卷积过程中，将前次通道的输出结果添加至当前处理通道。例如，当从上到下对a1进行卷积时，第一次的卷积结果输出到第二次的卷积通道中，并结合该第一次的卷积结果进行第二次卷积，其他以此类推，直至输出最后一个卷积结果。当然，其他方向上的卷积过程与此相同。

s104、利用dag模型将多个连贯特征图融合为目标图像的目标特征图。

其中，利用dag模型将多个连贯特征图融合为目标图像的目标特征图之后，还包括：通过反卷积网络对目标特征图进行语义分割。

具体的，图像语义分割的就是分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，分割后应当将人、车以及背景用不同的颜色进行标注。图像语义分割在自动驾驶领域内有广泛的应用。

可见，本实施例提供了一种图像特征提取方法，方法利用fpn算法对目标图像进行多尺度特征提取，能够将目标图像中的细小物体的特征提取出来，并丢弃较大物体中的不必要特征，提高特征提取的精度和准确度；通过scnn算法分别处理每个尺度的特征图，能够更好的探索图像的行和列上的空间关系，即：更好的提取具有空间连贯性的特征；最后利用dag模型融合得到目标图像的目标特征图。其中，fpn算法结合scnn算法可以更精准地提取目标图像中具有长距离连续形状目标的特征，使得获得的目标特征图具有良好的分割效果或识别效果。

基于上述实施例，需要说明的是，利用dag模型将多个连贯特征图融合为目标图像的目标特征图，包括：

在多个连贯特征图随机选取两个连贯特征图；

将两个连贯特征图中的尺度较大的连贯特征图确定为第一图像，尺度较小的连贯特征图确定为第二图像；

根据第一图像对第二图像进行上采样，便将上采样得到的图像与第一图像进行融合，得到融合图像；

判断剩余的连贯特征图的个数是否为零；

若是，则将融合图像确定为目标图像的目标特征图；

若否，则在剩余的多个连贯特征图中随机选取一个连贯特征图，比较选取到的连贯特征图的尺度与融合图像的尺度的大小，将尺度较大的确定为第一图像，尺度较小的确定为第二图像，并至少根据第一图像对第二图像进行上采样，便将上采样得到的图像与第一图像进行融合，得到融合图像的步骤。

本发明实施例公开了一种图像特征提取实现流程，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

请参见图2，图2为本实施例的实现过程，虚线框内为利用fpn算法处理原图像的过程，处理后的结果输入scnn算法，进而输入dag模型，从而可得到原图像的特征图。

具体的，利用fpn算法处理原图像的过程为：通过卷积层和池化层进行不同尺度的特征提取，形成不同尺度的特征图。具体的，请参见图3，图3左边是down-top过程，把原图依次缩小1/2，1/4，1/8；右边的是top-down过程，就是把高层的低分辨强语义的图像进行最近邻上采样，得到当前尺度的特征图。

具体的，scnn算法处理特征图的过程请参见图4。一般地，scnn应用于三维张量c×h×w上，其中，w为张量的通道数，h为片数(即把特征分割成h片)，也为行数，c为列数。

为了实现空间信息传递，将张量切分成h片，先将第一片送到尺寸为c×w的卷积层(w为卷积核的宽度)，将当前片的输出相加到下一片作为新的一片，接着下一片继续应用卷积(这里卷积核共享)，直到处理完所有片。

图4中scnn_d表示把三维特征分成h片后，从上到下把第一片送入大小为c×w的卷积核中，得到的结果与第二片相加，再把第二片送入c×w的卷积核处理，直到处理完最后一片。scnn_u、scnn_r、scnn_l则分别表示从下到上，从右到左，从左到右处理每一片，最后再把它们合并在一起，得到当前特征图对应的连贯特征图。

具体的，假设我们有一个三维卷积核k，那么ki，j，k表示上一片第i个通道的一个元素和当前片第j个通道的元素(且两个元素之间的列偏移为k)之间的权重。输入的三维特征图为x，那么xi，j，k分别表示特征图的通道，行，列，因此，在一个方向上进行卷积的过程可用下述公式表示：

x′i，j，k＝xi，j，k，j＝1

其中，x′i，j，k为更新后的xi，j，k，xi，j，k表示在i通道上j行k列的元素，ki，j，k表示上一片中通道i的元素1与当前片通道j的元素2之间的权重，其中元素1和2的偏置量为k个列；f为激活函数，用于向网络中加入非线性特性；m为通道数；n为两元素之间的偏置量；h为片数(即把特征分割成h片)，也为行数。

具体的，dag模型融合连贯特征图的过程请参见图5。在图5中，pool3为尺度较小的连贯特征图，pool1为尺度较小的连贯特征图。当从pool3开始进行融合时，可以直接上采样到预设大小的特征图(直线箭头)，也可以上采样到与pool2一样大小的特征图，再与pool2融合，再上采样到预设大小的特征图(虚线箭头)；进而基于pool3和pool2融合得到的特征图，再上采样到与pool1大小一样，再与pool1融合，再上采样得到预设大小的特征图(平行箭头)，从而得到pool3、pool2和pool1融合得到的目标特征图。

可见，输入图像到fpn网络中，fpn网络会输出各个不同尺度的特征图，每个特征图输入到scnn中进行处理。其中，尺度较小的特征图通过scnn处理，可以得到图像中较大的且空间连贯性强的目标，而尺度较大的特征图通过scnn处理则能够得到图像中较细小的空间连贯性强但外观连贯性弱的目标。最后利用dag模型融合scnn处理后的特征图，得到可以更精准地反映原图像中的长距离连续形状目标的目标特征图。

下面对本发明实施例提供的一种图像特征提取装置进行介绍，下文描述的一种图像特征提取装置与上文描述的一种图像特征提取方法可以相互参照。

参见图6，本发明实施例提供的一种图像特征提取装置，包括：

获取模块601，用于获取具有长距离连续形状目标的目标图像；

提取模块602，用于采用fpn算法对目标图像进行多尺度特征提取，得到多个尺度的特征图；

处理模块603，用于通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图；

融合模块604，用于利用dag模型将多个连贯特征图融合为目标图像的目标特征图。

其中，提取模块包括：

缩小单元，用于将目标图像按照预设的多个比例分别进行缩小，得到多个尺度的图像；

还原单元，用于针对每个尺度的图像，获得对应的特征图的步骤为：结合近邻尺度的图像将当前尺度的图像进行还原，得到当前尺度的特征图。

其中，处理模块具体用于：

针对每个尺度的特征图，获得对应的连贯特征图的步骤为：分别从不同方向按序对当前尺度的特征图进行卷积，并将卷积得到的多个方向上的卷积结果进行合并，得到当前尺度的特征图对应的连贯特征图。

其中，处理模块具体用于：

分别从上到下、从右到左、从左到右按序对当前尺度的特征图进行卷积；

其中，在一个方向的卷积过程中，将前次通道的输出结果添加至当前处理通道。

其中，融合模块包括：

选取单元，用于在多个连贯特征图随机选取两个连贯特征图；

第一确定单元，用于将两个连贯特征图中的尺度较大的连贯特征图确定为第一图像，尺度较小的连贯特征图确定为第二图像；

融合单元，用于根据第一图像对第二图像进行上采样，便将上采样得到的图像与第一图像进行融合，得到融合图像；

判断单元，用于判断剩余的连贯特征图的个数是否为零；

第一执行单元，用于当剩余的连贯特征图的个数为零时，将融合图像确定为目标图像的目标特征图；

第二执行单元，用于当剩余的连贯特征图的个数不为零时，在剩余的多个连贯特征图中随机选取一个连贯特征图，比较选取到的连贯特征图的尺度与融合图像的尺度的大小，将尺度较大的确定为第一图像，尺度较小的确定为第二图像，并至少根据第一图像对第二图像进行上采样，便将上采样得到的图像与第一图像进行融合，得到融合图像的步骤。

其中，还包括：

图像语义分割模块，用于通过反卷积网络对目标特征图进行语义分割。

可见，本实施例提供了一种图像特征提取装置，包括：获取模块、提取模块、处理模块以及融合模块。首先由获取模块获取具有长距离连续形状目标的目标图像；然后提取模块采用fpn算法对目标图像进行多尺度特征提取，得到多个尺度的特征图；进而处理模块通过scnn算法分别处理每个尺度的特征图，得到与每个尺度的特征图对应的连贯特征图；最后融合模块利用dag模型将多个连贯特征图融合为目标图像的目标特征图。如此各个模块之间分工合作，各司其职，从而可以更精准地提取目标图像中具有长距离连续形状目标的特征，使得获得的目标特征图具有良好的分割效果或识别效果。

下面对本发明实施例提供的一种图像特征提取设备进行介绍，下文描述的一种图像特征提取设备与上文描述的一种图像特征提取方法及装置可以相互参照。

参见图7，本发明实施例提供的一种图像特征提取设备，包括：

存储器701，用于存储计算机程序；

处理器702，用于执行所述计算机程序时实现上述任意实施例所述的图像特征提取方法的步骤。

下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种图像特征提取方法、装置及设备可以相互参照。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的图像特征提取方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。