一种用于深度神经网络的图像特征提取方法与流程

本发明涉及一种图像处理方法，尤其涉及一种用于深度神经网络的图像特征提取方法。

背景技术：

随着科技的发展，计算机视觉的关注度不断提高，并且计算机视觉已经在多个领域进行应用。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。因此，在计算机视觉首先需要对图像进行处理，即对输入的图像进行目标检测和分割。现有技术中，需要通过多个神经网络对图像分别进行目标检测和分割处理，在对目标检测和分割处理之前都需要对图像进行分别处理。现有技术中，都是基于得到区域建议框后，在建议框中进行多任务的目标检测和语义分割，实现全图特征提取后再进行多任务输出，由于信息不足不能得到工程上合理的结果，不能实现一个神经网络对图像处理的多任务输出的要求，使得神经网络的结构繁杂，导致图像处理的效率低。在交通运输领域，由于车辆行驶环境复杂，且现有技术的图像特征提取方法效率低或准确性差，导致计算机视觉的识别效率低，难以在实际中应运。

技术实现要素：

本发明的目的在于提供一种用于深度神经网络的图像特征提取方法，解决图像特征提取准确性差的问题。

为实现上述发明目的，本发明提供一种用于深度神经网络的图像特征提取方法，包括：

s1.对原始图像进行卷积及池化处理生成第一特征图像，其中进行卷积处理的卷积层为n组，进行池化处理的池化层为n-1层；

s2.对所述第一特征图像进行第一组扩张卷积处理生成第二特征图像，以及将所述第一特征图像进行池化处理生成第三特征图像；

s3.将所述第三特征图像与所述第二特征图像进行拼接生成第四特征图像。

根据本发明的一个方面，所述第三特征图像与所述第二特征图像的分辨相同。

根据本发明的一个方面，对所述第一特征图像进行第一组扩张卷积处理生成第二特征图像的步骤中，所述第一组扩张卷积处理的扩张卷积处理次数为三次。

根据本发明的一个方面，对原始图像进行卷积及池化处理生成第一特征图像的步骤中，进行卷积处理的卷积层为四组，进行池化处理的池化层为三层。

根据本发明的一个方面，还包括：

s4.对所述第四特征图像进行映射处理生成第五特征图像。

根据本发明的一个方面，对原始图像进行卷积及池化处理生成第一特征图像的步骤包括：

s11.将原始图像输入第一组卷积层进行第一组卷积处理；

s12.将第一组卷积处理后生成的特征图像输入第一池化层进行第一次池化处理；

s13.将第一次池化处理后生成的特征图像输入第二组卷积层进行第二组卷积处理；

s14.将第二组卷积处理后生成的特征图像输入第二池化层进行第二次池化处理；

s15.将第二次池化处理后生成的特征图像输入第三组卷积层进行第三组卷积处理；

s16.将第三组卷积处理后生成的特征图像输入第三池化层进行第三次池化处理；

s17.将第三次池化处理后生成的特征图像输入第四组卷积层进行第四组卷积处理生成所述第一特征图像。

根据本发明的一个方面，所述第一组卷积处理的卷积处理次数为2或3次，所述第二组卷积处理的卷积处理次数为2或3次，所述第三组卷积处理的卷积处理次数为2或3次，所述第四组卷积处理的卷积处理次数为2或3次。

根据本发明的一个方面，对所述第一特征图像进行第一组扩张卷积处理生成第二特征图像，以及将所述第一特征图像进行池化处理生成第三特征图像的步骤包括：

s21.将所述第一特征图像输入第一组扩张卷积层进行第一次扩张卷积处理；

s22.将第一次扩张卷积处理后生成的特征图像进行第二次扩张卷积处理；

s23.将第二次扩张卷积处理后生成的特征图像进行第三次扩张卷积处理生成所述第二特征图像；

s24.将所述第一特征图像输入第四池化层进行池化处理生成所述第三特征图像。

根据本发明的一个方面，对所述第四特征图像进行映射处理生成第五特征图像的步骤包括：

s41.将所述第四特征图像输入第二组扩张卷积层进行扩张卷积处理；

s42.将经过扩张卷积处理后生成的特征图像输入第五组卷积层进行映射处理生成所述第五特征图像。

根据本发明的一个方面，所述第五组卷积层为1*1卷积层；

所述第五组卷积层中的卷积核个数为1024或2048。

根据本发明的一个方案，对原始图像的池化处理次数减少，改用扩张卷积处理保证了输出的第二特征图像中的图像特征丰富，避免了由于池化处理使第二特征图像的分辨率降低而导致的图像特征的丢失，从而进一步保证了后续处理过程中能够获得完整的图像特征信息；将第一特征图像进行池化后生成的第三特征图像与第二特征图像进行拼接得到第四特征图像，通过拼接层使得第四特征图像的特征层涵盖更多的图像特征，从而进一步保证了后续处理过程中能够获得完整的图像特征信息。由于丰富了特征，使得整个卷积架构能良好的适应不同种类的任务。本发明所提出的特征提取方法丰富了特征图像的信息，为后续的分类或回归提供了鲁棒的特征图像信息，提高结果的准确度。

根据本发明的一个方案，通过第一组扩张卷积层对第一特征图像进行多次扩张卷积处理，使得在对第一特征图像进行卷积处理的过程中起到扩大感受视野的作用。同时，通过上述第一组扩张卷积层的设置，替代原有的池化层既使得图像中的特征的尺寸缩小，又使得第二特征图像中涵盖更多的信息，避免了信息的损失，保证了后续过程中图像特征提取的准确。通过本发明的方法，有效保留了对原始图像卷积和池化处理后生成的特征图像中的信息，进一步提高了后续进行的图像特征提取过程中的精度。同时，通过第一组扩张卷积层丰富了第二特征图像的质量，不需要对图像进行池化处理，提高了图像特征提取的信息密集度，又将第三特征图像与第二特征图像拼接，加大了第四特征图像的特征个数。

根据本发明的一个方案，由于第一组扩张卷积层使用扩张卷积处理，使得第二特征图像能保留更多第一特征图像的边缘信息。通过本发明的方法，有效的保证了经过处理后的图像能够同时具有丰富的边缘信息和类别特征信息。根据本发明的方法，使得生成的图像能够同时满足目标检测和语义分割两种要求，从而使得采用本发明的方法生成的图像能够满足多任务输出的要求，从而简化了传统深度神经网络图像特征提取过程中单任务输出的弊端，丰富了特征图像的信息，为后续的分类或回归提供了鲁棒的特征图像信息，提高结果的准确度。

附图说明

图1示意性表示根据本发明的一种实施方式的图像特征提取方法的步骤框图；

图2示意性表示根据本发明的一种实施方式的图像特征提取方法的深度神经网络前端的结构图；

图3示意性表示传统图像特征提取方法生成的第二特征图像；

图4示意性表示根据本发明的一种实施方式的图像特征提取方法生成的第二特征图像；

图5示意性表示根据本发明的一种实施方式的图像特征提取方法中第二特征图像经过第二组扩张卷积层后生成的特征图像；

图6示意性表示根据本发明的一种实施方式的图像特征提取方法中第四特征图像经过第二组扩张卷积层后生成的特征图像。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，根据本发明的一种实施方式，本发明的一种用于深度神经网络的图像特征提取方法，包括：

s1.对原始图像进行卷积及池化处理生成第一特征图像，其中进行卷积处理的卷积层为n组，进行池化处理的池化层为n-1层；

s2.对第一特征图像进行第一组扩张卷积处理生成第二特征图像，以及将第一特征图像进行池化处理生成第三特征图像；

s3.将第三特征图像与第二特征图像进行拼接生成第四特征图像；

s4.对第四特征图像进行映射处理生成第五特征图像。

如图2所示，根据本发明的一种实施方式，本发明的图像特征提取方法通过共同的深度神经网络前端对输入的原始图像进行处理。在本实施方式中，用于本发明的图像特征提取方法的深度神经网络前端包括依次设置的第一组卷积层1、第一池化层11、第二组卷积层2、第二池化层21、第三组卷积层3、第三池化层31、第四组卷积层4、第一组扩张卷积层5、拼接层7、第二组扩张卷积层8和第五组卷积层9。本发明的深度神经网络前端还包括第四池化层41，第四池化层41分别与第四组卷积层4和拼接层7相连接。

结合图1和图2所示，根据本发明的一种实施方式，步骤s1中的原始图像输入到第一组卷积层1进行第一组卷积处理，其中第一组卷积处理的卷积处理次数为2或3次；将第一组卷积处理后生成的特征图像输入第一池化层11进行第一次池化处理；将第一次池化处理后生成的特征图像输入第二组卷积层2进行第二组卷积处理，其中第二组卷积处理的卷积处理次数为2或3次；将第二组卷积处理后生成的特征图像输入第二池化层21进行第二次池化处理；将第二次池化处理后生成的特征图像输入第三组卷积层3进行第三组卷积处理，其中第三组卷积处理的卷积处理次数为2或3次；将第三组卷积处理后生成的特征图像输入第三池化层31进行第三次池化处理；将第三次池化处理后生成的特征图像输入第四组卷积层4进行第四组卷积处理生成第一特征图像，其中第四组卷积处理的卷积处理次数为2或3次。在本实施方式中，第一卷积层1的卷积核数为64，第二卷积层2的卷积核数为128，第三卷积层3的卷积核数为256，第四卷积层4的卷积核数为512。

在本实施方式中，第一组卷积处理、第二组卷积处理、第三组卷积处理和第四组卷积处理均满足以下公式：

其中，卷积处理的输出结果为yij，输入的特征图像为xij，则1≤i≤m，1≤j≤n；卷积核为fuv，则1≤u≤m，1≤v≤n；同时，m<<m，n<<n。

如图2所示，根据本发明的一种实施方式，第一组扩张卷积层5包括依次设置的第一扩张卷积层51、第二扩张卷积层52和第三扩张卷积层53。在本实施方式中，步骤s2中，第一扩张卷积层51接收生成的第一特征图像，并对第一特征图像进行第一次扩张卷积处理，将第一次扩张卷积处理后生成的特征图像输入第二扩张卷积层52进行第二次扩张卷积处理，将第二次扩张卷积处理后生成的特征图像输入第三扩张卷积层53进行第三次扩张卷积处理生成第二特征图像。在本实施方式中，第一组扩张卷积层5的卷积核数为512。在本实施方式中，扩张卷积中卷积核的大小设置为7*7，扩张大小为2，步长为1(相当于13*13的卷积计算操作)。第一次扩张卷积处理、第二次扩张卷积处理和第三次扩张卷积处理的公式与前述卷积公式相同，在此不再赘述。

根据本发明的方法，通过第一组扩张卷积层5对第一特征图像进行多次扩张卷积处理，使得在对第一特征图像进行卷积处理的过程中起到扩大感受视野的作用。同时，通过上述第一组扩张卷积层5的设置，扩张卷积有替代池化层作用，使得图像中的特征的尺寸缩小，使得第二特征图像中涵盖更多的信息，避免了信息的损失，保证了后续过程中图像特征提取的准确。对比图3和图4所示，根据本发明的方法生成的第二特征图像(如图4)中的图像特征明显比传统图像特征提取方法生成的第二特征图像(如图3)中的图像特征丰富，即图4中黑暗区域比图3中的黑暗区域小，而明亮区域(即图像特征)大。由此可知，通过本发明的方法，有效保留了对原始图像卷积和池化处理后生成的特征图像中的信息，进一步提高了后续进行的图像特征提取过程中的精度。同时，通过第一组扩张卷积层5丰富了第二特征图像的信息质量，不需要对图像进行池化处理，提高了图像特征提取的信息密集度。

如图2所示，根据本发明的一种实施方式，步骤s2中，第一特征图像还被输送到第四池化层41进行第四次池化处理生成第三特征图像。在本实施方式中，第四池化层41中对第一特征图像进行下采样使生成的第三特征图像与第二特征图像具有相同的分辨率。在本实施方式中，将第三特征的分辨率为32*32。

结合图1和图2所示，根据本发明的一种实施方式，步骤s3中将第二特征图像和第三特征图像拼接生成第四特征图像。在本实施方式中，在第一组扩张卷积层5之后添加拼接层7。拼接层7同时接收第二特征图像和第三特征图像。将具有相同分辨率的第二特征图像和第三特征沿着深度进行排列，拼接生成第四特征图像，使第四特征图像中的特征图像增加。通过拼接层将第二特征图像和第三特征图像拼接成更多的特征层，使得特征层涵盖更多的图像特征，从而进一步保证了后续处理过程中能够获得完整的图像特征信息。由于丰富了特征，使得整个卷积架构能良好的适应不同种类的任务。

结合图1和图2所示，根据本发明的一种实施方式，步骤s4中，对第四特征图像进行映射处理生成第五特征图像。在本实施方式中，第四特征图像通过第二组扩张卷积层8和第五组卷积层9进行映射处理。将第四特征图像输入第二组扩张卷积层8进行扩张卷积处理，将扩张卷积处理后生成的特征图像输入第五组卷积层9进行映射处理生成第五特征图像。在本实施方式中，第五组卷积层9为1*1卷积层，第五组卷积层9中的卷积核个数为1024或2048。

根据本发明的方法，经过第四次卷积处理后生成的第一特征图像中的边缘信息比第一组扩张卷积处理后生成的第二特征图像的边缘信息多，第一组扩张卷积处理使得第二特征图像能保留更多第一特征图像的边缘信息。图5为第二特征图像经过第二组扩张卷积层8进行扩张卷积后的图像，图6为第四特征图像经过第二组扩张卷积层8进行扩张卷积后的图像。对比图5和图6所示，图6中拥有更多的边缘信息，并且图6中保留有与图5相同的特征信息。因此，将第二特征图像和第三特征图像拼接后，有效的保证了经过处理后的图像能够同时具有丰富的边缘信息和类别特征信息。根据本发明的方法，使得生成的图像能够同时满足目标检测和语义分割两种要求，从而使得采用本发明的方法生成的图像能够满足多任务输出的要求，从而简化了传统深度网络图像特征提取过程中单任务输出的弊端，丰富了特征图像的信息，为后续的分类或回归提供了鲁棒的特征图像信息，提高结果的准确度。

上述内容仅为本发明的具体方案的例举，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。

以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。