深度学习网络模型、特征提取方法、装置及存储介质与流程

1.本发明涉及深度学习技术领域，具体涉及一种轻量型具有注意力机制的深度学习网络模型、特征提取方法、装置及存储介质。


背景技术：

2.图像属性识别是在给出的大量图像中利用机器视觉识别出图片内容是否具备所关注的特点及各种属性，例如在安全驾驶领域，可以通过机器视觉学习驾驶员监控图片的内容，识别驾驶员的状态，实现实时监控安全驾驶。但是现有技术中采用传统的resnet(残差网络)、googlenet(深度学习结构)等经典网络模型计算参数量大、速度慢，因此提取图像特征信息时速度慢且精度低，无法满足实际场景的应用需求。


技术实现要素：

3.本发明主要解决的技术问题是采用传统的网络模型提取图像特征信息时速度慢且精度低，基于此技术问题，本技术提出一种轻量型具有注意力机制的深度学习网络模型，其目的在于提高特征信息提取的速度和精度。
4.一种轻量型具有注意力机制的深度学习网络模型,其包括：基础卷积模块、特征提取模块、维度变换模块、分类概率输出模块；
5.所述基础卷积模块的输入端用于输入待处理图像，基础卷积模块的输出端与所述特征提取模块的输入端连接，所述特征提取模块的输出端与所述维度变换模块的输入端连接，所述维度变换模块的输出端与所述分类概率输出模块的输入端连接；
6.所述基础卷积模块用于对待处理图像做初步特征提取处理以获取初步特征信息，所述特征提取模块用于对所述初步特征信息进行深度特征提取以及融合以得到特征矩阵；所述维度变换模块用于对所述特征矩阵进行降维处理，将其变换为与输出的维度相匹配的特征向量；所述分类概率输出模块用于对所述特征向量进行概率计算，得到各状态分类对应的概率；
7.其中，所述特征提取模块包括多个串行连接的特征提取子模块。
8.在一种实施例中，所述特征提取子模块包括第一卷积模块、第二卷积模块、第一通道、第二通道、第三通道、第四通道、第一加法器；
9.所述第一卷积模块的输出端分别与所述第一通道、第二通道、第三通道、第四通道的输入端连接，所述第一通道、第二通道、第三通道、第四通道的输出端经过所述第一加法器后与所述第二卷积模块的输入端连接；
10.其中，所述第一通道包括第一注意力机制模块、第一ag模块和第一乘法器，所述第一注意力机制模块的输出端还与所述第一ag模块的输入端连接，所述第一ag模块的输出端与所述第一注意力机制模块的输出端经过所述第一乘法器后与所述第一加法器连接；其中，本实施例的ag模块可以理解为聚合门，ag模块的实现就是用全局平均池化加全连接，ag模块和se模块类似，但是没有se模块复杂，ag模块最终输出的结果就是各信息流的权重值。
11.所述第二通道包括第三卷积模块、第二注意力机制模块、第二ag模块和第二乘法器；所述第三卷积模块的输入端与所述第一卷积模块的输出端连接，第三卷积模块的输出端与所述第二注意力机制模块的输入端连接；所述第二注意力机制模块的输出端与所述第二ag模块连接的输入端连接，所述第二注意力机制模块的输出端和第二ag模块的输出端经过所述第二乘法器后也与所述第一加法器连接；
12.所述第三通道包括第四卷积模块、第五卷积模块、第三注意力机制模块、第三ag模块和第三乘法器；所述第四卷积模块的输入端与所述第一卷积模块的输出端连接，该第四卷积模块的输出端与所述第五卷积模块的输入端连接；所述第五卷积模块的输出端与所述第三注意力机制模块的输入端连接，第三注意力机制模块的输出端和所述第三ag模块的输入端连接，该第三ag模块的输出端和第三注意力机制模块的输出端经过所述第三乘法器后也与所述第一加法器连接；
13.所述第四通道包括第六卷积模块、第七卷积模块、第八卷积模块、第四注意力机制模块、第四ag模块和第四乘法器；所述第六卷积模块的输入端与所述第一卷积模块的输出端连接，第六卷积模块的输出端与所述第七卷积模块的输入端连接，第七卷积模块的输出端与所述第八卷积模块的输入端连接；所述第八卷积模块的输出端与所述第四注意力机制模块的输入端连接，该第四注意力机制模块的输出端与所述第四ag模块的输入端连接，所述第四ag模块的输出端与第四注意力机制模块的输出端经过所述第四乘法器后与所述第一加法器连接。
14.在一种实施例中，所述第一卷积模块用于对输入的特征信息进行维度处理得到目标维度的特征信息；
15.所述第一通道、第二通道、第三通道、第四通道分别用于对所述目标维度的特征信息进行特征提取，得到不同尺度的特征流；
16.其中，在所述第一通道中，所述第一注意力机制模块用于对所述目标维度的特征信息进行特征提取并加入注意力机制以得到第一特征流；所述第一ag模块用于对第一注意力机制模块输出的第一特征流分配对应的权重得到第一权重特征流；最后将所述第一特征流和第一权重特征流相乘得到第一尺度特征流；
17.在所述第二通道中，所述第三卷积模块用于对所述目标维度的特征信息进行特征提取，得到粗粒度的特征信息；所述第二注意力机制模块用于对所述粗粒度的特征信进行进一步的特征提取，得到细粒度的第二特征流；所述第二ag模块用于对所述第二特征流分配对应的权重得到第二权重特征流；最后将所述第二特征流和第二权重特征流相乘得到第二尺度特征流；
18.在所述第三通道中，所述第四卷积模块和第五卷积模块分别用于依次对所述目标维度的特征信息进行特征提取，然后再对提取出的特征再经过所述第三注意力机制模块进行进一步的特征提取，得到第三特征流；所述第三ag模块用于对所述第三特征分配对应的权重得到第三权重特征流；最后将所述第三特征流和第三权重特征流相乘得到第三尺度特征流；
19.在所述第四通道中，所述第六卷积模块、第七卷积模块和第八卷积模块分别用于依次对所述目标维度的特征信息进行特征提取，然后再对提取出的特征再经过所述第四注意力机制模块进行进一步的特征提取，得到第四特征流；所述第四ag模块用于对所述第四
特征分配对应的权重得到第四权重特征流；最后将所述第四特征流和第四权重特征流相乘得到第四尺度特征流；
20.将所述第一尺度特征流、第二尺度特征流、第三尺度特征流和第四尺度特征流通所述第一加法器进行相加后，得到所述的不同尺度的特征流；
21.所述第二卷积模块用于对输出的不同尺度的特征流进行维度调整，使得其维度相同。
22.在一种实施例中，还包括残差模块和第二加法器；
23.所述第二卷积模块的输出端与所述第二加法器连接，所述第一卷积模块还经过所述残差模块后与所述第二加法器连接；
24.输入的特征信息经过所述残差模块进行残差处理后与第二卷积模块输出的同一维度的特征流经过所述第二加法器进行相加处理后输出。
25.在一种实施例中，所述第一卷积模块和第二卷积模块均为1
×
1卷积模块；
26.所述第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块均为lite3
×
3卷积模块。
27.在一种实施例中，所述第一注意力机制模块、第二注意力机制模块、第三注意力机制模块、第四注意力机制模块均包括psa模块(pyramid split attention，切分注意力模块)；psa模块将input tensor(输入数据)从通道上分成s组。每一组进行不同卷积核大小的卷积,以获取不同尺度的感受野,提取不同尺度的信息。再通过se模块,提取每组的通道的加权值,最后对s组的加权值进行softmax(归一化指数函数)归一化并加权。
28.所述psa模块包括第五通道、第六通道、第七通道、第八通道、第一se模块、第二se模块、第三se模块、第四se模块；
29.所述第五通道包括第九卷积模块，所述第九卷积模块的输入端用于输入分裂后的特征信息，其输出端与第一se模块的输入端连接；
30.所述第六通道包括第十卷积模块和第十一卷积模块，所述第十卷积模块的输入端用于输入分裂后的特征信息，其输出端与所述第十一卷积模块的输入端连接，第十一卷积模块的输出端与所述第二se模块的输入端连接；
31.所述第七通道包括第十二卷积模块、第十三卷积模块、第十四卷积模块；所述第十二卷积模块的输入端用于输入分裂后的特征信息，所述第十二卷积模块的输出端与所述第十三卷积模块的输入端连接，所述第十三卷积模块的输出端与所述第十四卷积模块的输入端连接，第十四卷积模块的输出端与所述第三se模块的输入端连接；
32.所述第八通道包括第十五卷积模块、第十六卷积模块、第十七卷积模块、第十八卷积模块；所述第十五卷积模块的输入端用于输入分裂后的特征信息，第十五卷积模块的输出端与所述第十六卷积模块的输入端连接，第十六卷积模块的输出端与所述第十七卷积模块的输入端连接，第十七卷积模块的输出端与所述第十八卷积模块的输入端连接，第十八卷积模块的输出端与所述第四se模块的输入端连接；
33.所述第九卷积模块的输出端、第十一卷积模块的输出端、第十四卷积模块的输出端、第十八卷积模块的输出端依次连接；
34.所述第一se模块的输出端、第二se模块的输出端、第三se模块的输出端和第四se模块的输出端依次连接。
35.在一种实施例中，还包括第五乘法器；
36.所述第五通道、第六通道、第七通道、第八通道分别用于对输入的分裂后的特征信息进行特征提取，以得到不同维度的特征流；
37.所述第一se模块、第二se模块、第三se模块、第四se模块分别用于对所述第五通道、第六通道、第七通道、第八通道输出的特征流赋予权重；
38.将第五通道、第六通道、第七通道、第八通道输出的不同维度的特征流进行拼接，并将拼接后的特征流与拼接后的权重向量经过所述第五乘法器相乘，以完成对特征流的重新标定，得到多尺度的特征信息。
39.一种图像信息的特征提取方法，其包括：
40.将图像信息输入到如上所述的深度学习网络模型中，得到多个特征向量及每个特征向量对应的概率。
41.一种特征提取装置，其包括：
42.存储器，用于存储构建如上所述的深度学习网络模型的程序；
43.处理器，用于通过执行所述存储器存储的程序以实现对图像信息的特征提取。
44.一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上所述的图像信息的特征提取方法。
45.依据上述实施例的具有注意力机制的深度学习网络模型，其包括：基础卷积模块、特征提取模块、维度变换模块、分类概率输出模块。基础卷积模块的输入端用于输入待处理图像，基础卷积模块的输出端与特征提取模块的输出入端连接，特征提取模块的输出端与维度变换模块的输入端连接，维度变换模块的输出端用于输出提取的图像特征；基础卷积模块用于对待处理图像做初步特征提取以处理获取初步特征信息，特征提取模块用于对所述初步特征信息进行深度特征提取以及融合以得到特征矩阵；维度变换模块用于对特征矩阵进行降维处理，得到一维特征向量；分类概率输出模块用于对一维特征向量进行概率提取，得到特征向量对应的概率；其中，特征提取模块包括多个串行连接的特征提取子模块。采用本实施例的网络模型提取图像特征信息时，多个特征子模块可以对图像进行多尺度空间特征提取，使得提取出来的特征信息包括多个属性信息，提高了特征提取的精度，同时提高了特征信息提取的速度。
附图说明
46.图1为本技术实施例的网络模型总体结构示意图；
47.图2为本技术实施例的特征提取子模块的整体结构示意图；
48.图3为本技术实施例的特征提取子模块具体的结构示意图；
49.图4为本技术实施例的psa模块整体结构示意图；
50.图5为本技术实施例的psa模块整体具体结构示意图；
51.图6为本技术实施例的特征提取装置结构示意图。
具体实施方式
52.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了
使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
53.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
54.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
55.本技术提出的一种具有注意力机制的深度学习网络模型，其可以应用于多个领域，用于对特征信息进行提取，使得提取出来的特征信息包括多个属性信息，提高了特征提取的精度，同时提高了特征信息提取的速度。例如采用本技术的网络模型对驾驶员状态进行提取，首先提取大量的驾驶员监控图片的多个关注的特征信息组成训练集，采用训练集对模型进行训练后适得其提取精度达到要求，可以将训练好的网络模型部署与设备，以实时的对监控的图片进行特征提取，进而识别出驾驶员当前状态是否满足安全驾驶，当检测到当前状态不满足安全驾驶时，及时的进行外界干预，以避免危险驾驶。例如识别出驾驶员存在低头、眯眼的状态信息时，判定驾驶员可能存在犯困、瞌睡的情况，则立即发出报警提示声音，提醒驾驶员安全驾驶。
56.实施例一：
57.请参考图1，本实施例提供一种具有注意力机制的深度学习网络模型,其包括：基础卷积模块1、特征提取模块2、维度变换模块3、分类概率输出模块4。
58.其中，基础卷积模块1的输入端用于输入待处理图像，基础卷积模块1的输出端与特征提取模块2的输入端连接，特征提取模块2的输出端与维度变换模块3的输入端连接，维度变换模块3的输出端与分类概率输出模块4的输入端连接。本实施例的基础卷积模块1为本领域技术人员常规选择的基础卷积模块，基础卷积模块1用于对待处理图像做初步特征提取处理以获取初步特征信息。特征提取模块2用于对初步特征信息进行深度特征提取以及融合以得到特征矩阵；维度变换模块3用于对特征矩阵进行降维处理，将其变换为与输出的维度相匹配的特征向量，输出维度就是指状态量，比如3个状态，每个状态是两个分类，则输出维度就是3*2；分类概率输出模块4用于对特征向量进行概率计算，得到各状态分类对应的概率，例如状态1：是否闭眼分闭眼、未闭眼，状态2：是否抽烟分抽烟、未抽烟等等。其中，本实施例的维度变换模块3包括reshape函数(reshape函数是matlab中将指定的矩阵变换成特定维数矩阵一种函数，且矩阵中元素个数不变，函数可以重新调整矩阵的行数、列数、维数)，分类概率输出模块4包括softmax函数。
59.本实施例的网络模型特征提取模块2包括多个串行连接的特征提取子模块21，一般情况下可以设置4-6个串行连接的特征提取子模块21，在某些情况下也可以根据实际情况增加串联的特征提取子模块21的个数，每个特征提取子模块21的结构相同，多个特征提取子模块21可以使得提取的特征信息的精度更高。
60.本实施例的特征提取子模块加入了注意力机制，一次性可以提取图像的多维度特征信息，同时提高了特征信息提取得精度。具体的，本实施例的特征提取子模块如图2，其包括第一卷积模块、第二卷积模块、第一通道、第二通道、第三通道、第四通道、第一加法器。
61.其中，第一卷积模块的输出端分别与第一通道、第二通道、第三通道、第四通道的输入端连接，第一通道、第二通道、第三通道、第四通道的输出端经过第一加法器后与第二卷积模块的输入端连接。其中，第一通道包括第一注意力机制模块、第一ag模块和第一乘法器，第一注意力机制模块的输出端还与第一ag模块的输入端连接，第一ag模块的输出端与第一注意力机制模块的输出端经过第一乘法器后与所述第一加法器连接。
62.第二通道包括第三卷积模块、第二注意力机制模块、第二ag模块和第二乘法器；第三卷积模块的输入端与第一卷积模块的输出端连接，第三卷积模块的输出端与第二注意力机制模块的输入端连接；第二注意力机制模块的输出端与第二ag模块连接的输入端连接，第二注意力机制模块的输出端和第二ag模块的输出端经过第二乘法器后也与第一加法器连接。
63.第三通道包括第四卷积模块、第五卷积模块、第三注意力机制模块、第三ag模块和第三乘法器；第四卷积模块的输入端与第一卷积模块的输出端连接，该第四卷积模块的输出端与第五卷积模块的输入端连接；第五卷积模块的输出端与第三注意力机制模块的输入端连接，第三注意力机制模块的输出端和第三ag模块的输入端连接，该第三ag模块的输出端和第三注意力机制模块的输出端经过第三乘法器后也与第一加法器连接。
64.第四通道包括第六卷积模块、第七卷积模块、第八卷积模块、第四注意力机制模块、第四ag模块和第四乘法器；第六卷积模块的输入端与第一卷积模块的输出端连接，第六卷积模块的输出端与第七卷积模块的输入端连接，第七卷积模块的输出端与第八卷积模块的输入端连接；第八卷积模块的输出端与第四注意力机制模块的输入端连接，该第四注意力机制模块的输出端与第四ag模块的输入端连接，第四ag模块的输出端与第四注意力机制模块的输出端经过第四乘法器后与第一加法器连接。
65.本实施例中，第一卷积模块用于对输入的特征信息进行维度处理得到目标维度的特征信息；第一通道、第二通道、第三通道、第四通道分别用于对所述目标维度的特征信息进行特征提取，得到不同尺度的特征流。
66.其中，在第一通道中，第一注意力机制模块用于对目标维度的特征信息进行特征提取并加入注意力机制以得到第一特征流；第一ag模块用于对第一注意力机制模块输出的第一特征流分配对应的权重得到第一权重特征流；最后将第一特征流和第一权重特征流相乘得到第一尺度特征流。在第二通道中，第三卷积模块用于对目标维度的特征信息进行特征提取，得到粗粒度的特征信息；第二注意力机制模块用于对粗粒度的特征信进行进一步的特征提取，得到细粒度的第二特征流；第二ag模块用于对第二特征流分配对应的权重得到第二权重特征流；最后将第二特征流和第二权重特征流相乘得到第二尺度特征流。在第三通道中，第四卷积模块和第五卷积模块分别用于依次对目标维度的特征信息进行特征提取，然后再对提取出的特征再经过第三注意力机制模块进行进一步的特征提取，得到第三特征流；第三ag模块用于对第三特征分配对应的权重得到第三权重特征流；最后将第三特征流和第三权重特征流相乘得到第三尺度特征流。在第四通道中，第六卷积模块、第七卷积模块和第八卷积模块分别用于依次对目标维度的特征信息进行特征提取，然后再对提取出
的特征再经过第四注意力机制模块进行进一步的特征提取，得到第四特征流；第四ag模块用于对第四特征分配对应的权重得到第四权重特征流；最后将第四特征流和第四权重特征流相乘得到第四尺度特征流。最后，将第一尺度特征流、第二尺度特征流、第三尺度特征流和第四尺度特征流通所述第一加法器进行相加后，得到不同尺度的特征流。第二卷积模块用于对输出的不同尺度的特征流进行维度调整，使得其维度相同。
67.在一种实施例中，深度学习网络模型还包括残差模块和第二加法器，第二卷积模块的输出端与第二加法器连接，第一卷积模块还经过残差模块后与第二加法器连接；输入的特征信息经过残差模块进行残差处理后与第二卷积模块输出的同一维度的特征流经过第二加法器进行相加处理后输出。
68.本实施例的网络模型将通道多尺度特征提取与空间多尺度特征提取相融合，在osnet网络结构的基础上进行了改进，加入注意力机制的epsa模块，数据处理的整体实现流程如图1，其中主要单元结构见图2。本实施例中的第一注意力机制模块、第二注意力机制模块、第三注意力机制模块、第四注意力机制模块均为epsa模块(即efficient pyramid split attention，注意力分割模块，图三中简写为epsa)。第一ag模块、第二ag模块、第三ag模块、第四ag模块可以称统一聚合门，里面的实现就是用全局平均池化加全连接，和se模块类似，没有se模块复杂，最终得到的结果就是各信息流的权重值。osnet网络本身因采用了深度可分离卷积，即lite3*3卷积，模型参数少，计算快，本实施例在不增加太多计算量的前提下加入多尺度通道注意力机制，以提高模型对图片关键特征的提取能力。
69.具体的，请参考图3，本实施例的第一卷积模块和第二卷积模块均为1
×
1卷积模块；第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块均为lite3
×
3卷积模块。
70.在另一种实施例中，该网络模型也可以改变图3中的epsa模块和lite3*3模块的相对位置和数量，本实施例选择在进行了深层特征提取后再进行通道特征图权重校准的结构，即将epsa模块置于lite3*3下方，为了不增加计算参数，本实施例在此处每个通道只使用了1个epsa模块。
71.其中，第一注意力机制模块、第二注意力机制模块、第三注意力机制模块、第四注意力机制模块均包括psa模块。psa模块是epsa模块的核心模块，首先将特征图在通道维度上均分为4份，对每份通道特征分别进行1至4次3*3卷积，会得到不同感受野的卷积结果，这里为减少参数，采用了osnet中的lite3*3卷积结构。对最终得到的四部分通道特征再分别进行se模块的处理，即提取通道注意力权重，最终将得到的4部分值进行softmax后与前面通道得到的特征流进行concat(拼接)操作，最后将四部分通道特征流相乘，得到多尺度特征信息注意力加权之后的特征图。
72.本实施例图3中，input为上层网络传入的特征信息，经1*1卷积变换成合适的维度后，分别送入4个通道中，第一个通道由1个epsa模型提取特征，第二个通道先通过lite3*3模块提取，再接入epsa深度提取，第三个通道先依次通过2个lite3*3，再接入epsa，第四个通道为3个lite3*3，再进行epsa。四个通道因经过的lite3*3模块的数量不同，而获得了不同大小的感受野，再经epsa加入注意力机制，该模块可以有效地提取更细粒度的多尺度空间信息，对特征信息进行重新标定。4个通道分别得到不同尺度的特征流，为了学习全尺度特征，以动态的方式组合这些特征流，即将这些特征流均由统一聚合门ag分配不同的权重，
此处ag是4通道共享的。之后四通道信息相加再由1*1卷积调整维度。此外，input信息(即输入的信息)还经一个shortcut(即直接或捷径)直接与以上处理后的特征信息相接，即残差设计，这种shotcut连接允许在当前层中学习到的较小尺度的特性在下一层中有效地保存，从而使最终的特性能够捕获整个空间尺度范围，并可以有效减小梯度消失和梯度爆炸问题。
73.其中，如图4，本实施例的psa模块包括第五通道、第六通道、第七通道、第八通道、第一se模块、第二se模块、第三se模块、第四se模块。
74.具体的，第五通道包括第九卷积模块，第九卷积模块的输入端用于输入分裂后的特征信息，其输出端与第一se模块的输入端连接。第六通道包括第十卷积模块和第十一卷积模块，第十卷积模块的输入端用于输入分裂后的特征信息，其输出端与所述第十一卷积模块的输入端连接，第十一卷积模块的输出端与第二se模块的输入端连接。第七通道包括第十二卷积模块、第十三卷积模块、第十四卷积模块；第十二卷积模块的输入端用于输入分裂后的特征信息，第十二卷积模块的输出端与所述第十三卷积模块的输入端连接，第十三卷积模块的输出端与所述第十四卷积模块的输入端连接，第十四卷积模块的输出端与所述第三se模块的输入端连接；第八通道包括第十五卷积模块、第十六卷积模块、第十七卷积模块、第十八卷积模块；所述第十五卷积模块的输入端用于输入分裂后的特征信息，第十五卷积模块的输出端与第十六卷积模块的输入端连接，第十六卷积模块的输出端与所述第十七卷积模块的输入端连接，第十七卷积模块的输出端与所述第十八卷积模块的输入端连接，第十八卷积模块的输出端与第四se模块的输入端连接。
75.第九卷积模块的输出端、第十一卷积模块的输出端、第十四卷积模块的输出端、第十八卷积模块的输出端依次连接，分别输出不同维度的特征流(也可以理解为特征信息或者特征矩阵)，将这些不同维度的特征流组合(也可以理解为拼接)后得到多尺度特征信息。第一se模块的输出端、第二se模块的输出端、第三se模块的输出端和第四se模块的输出端依次连接，四个se模块分别用于对四个通道输出的特征流分配对应的权重，然后将拼接后的特征流与赋予权重后的特征流相乘得到多尺度的特征信息。
76.在一种实施例中，该网络模型还包括第五乘法器，第五通道、第六通道、第七通道、第八通道分别用于对输入的分裂后的特征信息进行特征提取，以得到不同维度的特征流。第一se模块、第二se模块、第三se模块、第四se模块分别用于对所述第五通道、第六通道、第七通道、第八通道输出的特征流赋予权重。将第五通道、第六通道、第七通道、第八通道输出的不同维度的特征流进行拼接，并将拼接后的特征流与拼接后的权重经过所述第五乘法器相乘，以完成对特征流的重新标定，得到多尺度的特征信息。
77.请参考图5，本实施例的第九卷积模块、第十卷积模块、第十一卷积模块、第十二卷积模块、第十三卷积模块、第十四卷积模块、第十五卷积模块、第十六卷积模块、第十七卷积模块、第十八卷积模块均为lite3
×
3卷积模块，第一se模块、第二se模块、第三se模块、第四se模块为了方便简写成se模块，其结构均相同。本实施例中，图2中的聚合门ag只是在spatial即空间上进行了特征加权，epsa模块则不仅在spatial(空间)维度上也在channel(通道)维度上对特征做重标定。该模块在获得输入特征后，会将特征在channel维度上分为4组，第一组进入一个lite3*3模块进行特征提取，第二组进入2个lite3*3模块提取，以此类推。lite3*3的不同数量的使用，会得到不同尺度的featuremap(特征地图)，即spatial维度
上不同，4组又分别为不同channel组成，即channel维度上不同。以上处理后得到的4组特征流，分别经过se模块和softmax函数的处理得到得到新的多尺度通道交互之后的注意力权重，再将4组特征流在channel维度拼接后与拼接的权重相乘，进行特征重新标定。这样处理后得到的特征图多尺度信息表示能力更丰富。
78.实施例二：
79.一种图像信息的特征提取方法，其包括：将图像信息输入到如实施例一提供的深度学习网络模型中，得到多个特征向量及每个特征向量对应的概率。采用本实施例的方法提取的图形特征更加精确，且包括的特征维度更多，可以反应更多的细节信息。
80.实施例三：
81.一种特征提取装置，如图6，其包括存储器51、处理器52，存储器51用于存储构建上述实施例一提供的深度学习网络模型的程序。可以理解的是，网络模型是通过程序实现的，处理器52用于通过执行存储器51存储的程序以实现对图像信息的特征提取。
82.实施例四：
83.本实施例提供一种计算机可读存储介质，介质上存储有程序，程序能够被处理器执行以实现图像信息的特征提取方法。
84.本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
85.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。