用于图像分类的轻量型多任务分类模型、方法及边缘设备与流程

1.本发明涉及深度学习网络，具体涉及一种用于图像分类的轻量型多任务分类模型、方法及边缘设备。


背景技术：

2.目前，大量基于机器视觉人工智能的边缘端设备应用于城市管理、交通安全、电力工业等领域。边缘智能盒采用深度学习进行相关计算，具有配置灵活、体积小、价格低、支持温度范围宽、环境适应性强、易于维护管理等优点，可以应用于边缘侧智能分析场景。但边缘智能盒具有硬件设备内存小的缺点，从而导致边缘智能盒内的深度学习算法的计算量有限。
3.深度学习在图像方面的应用发展迅速，图像分类算法已经非常成熟，但在推理速度和模型大小方面仍有改进空间。为了在不损失模型精度的前提下，对模型进行相应瘦身，以减小模型的占用内存和计算量具有一定的难度。


技术实现要素：

4.为解决上述问题，本发明提供一种轻量型多任务分类模型及边缘端设备。
5.根据第一方面，一种实施例中提供一种用于图像分类的轻量型多任务分类模型，包括：
6.基础卷积模块，用于接收待处理图像，并对待处理图像的初步特征进行提取以得到浅层特征的特征图；
7.特征提取模块，用于对所述浅层特征的特征图进行深度特征提取以得到深层特征的特征图；所述特征提取模块包括多个串行的特征提取子模块，所述特征提取子模块包括若干复用的深度可分离卷积模块，用于对所述浅层特征的特征图进行深度特征提取；
8.分类模块，用于根据所述深层特征的特征图计算所述深层特征的特征图的类别概率，以对所述待处理图像进行分类。
9.一种实施例中，所述特征提取子模块包括：第一卷积模块、第一通道、第二通道、第三通道、第四通道、ag模块和第二卷积模块；
10.所述第一通道包括第一深度可分离卷积模块，所述第一深度可分离卷积模块的输入端连接所述第一卷积模块的输出端，所述第一深度可分离卷积模块的输出端连接所述ag模块的输入端；
11.所述第二通道包括第二深度可分离卷积模块，并且复用所述第一通道中的第一深度可分离卷积模块，所述第二深度可分离卷积模块的输入端连接所述第一深度可分离卷积模块，所述第二深度可分离卷积模块的输出端连接所述ag模块的输入端；
12.所述第三通道包括第三深度可分离卷积模块，并且复用所述第一通道的第一深度可分离卷积模块和所述第二通道的第二深度可分离卷积模块，所述第三深度可分离卷积模块的输入端依次连接所述第一深度可分离卷积模块和所述第二深度可分离卷积模块，所述
第三深度可分离卷积模块的输出端连接所述ag模块的输入端；
13.所述第四通道包括第四深度可分离卷积模块，并且复用所述第一通道的第一深度可分离卷积模块、所述第二通道的第二深度可分离卷积模块和所述第三通道的第三深度可分离卷积模块，所述第四深度可分离卷积模块的输入端依次连接所述第一深度可分离卷积模块、所述第二深度可分离卷积模块和所述第三深度可分离卷积模块，所述第四深度可分离卷积模块的输出端连接所述ag模块的输入端；
14.所述ag模块的输出端连接所述第二卷积模块的输入端。
15.一种实施例中，所述ag模块包括se注意力机制和残差模块；
16.第一卷积模块将所述浅层特征的特征图转换为设定维度下的特征图，第一通道、第二通道、第三通道和第四通道将所述设定维度下的特征图转换为不同感受野的特征图；se注意力机制对所述不同感受野的特征图赋予对应的注意力权重，根据所述不同感受野的特征图和所述不同感受野的特征图对应的注意力权重得到多尺度融合的特征图；第二卷积模块和残差模块将所述多尺度融合的特征图的维度转换为设定维度，以得到所述深层特征的特征图。
17.一种实施例中，所述基础卷积模块用于接收待处理图像，并对待处理图像的初步特征进行提取以得到浅层特征的特征图，包括：
18.利用均衡策略对待处理图像进行处理，所述待处理图像对应不同种类，提高种类数量低于设定值的待处理图像的选中概率，以均衡不同种类的待处理图像的选中概率。
19.一种实施例中，所述均衡策略包括batch均衡策略。
20.一种实施例中，所述用于根据所述深层特征的特征图计算所述深层特征的特征图的类别概率，以对所述待处理图像进行分类，包括：
21.根据所述深层特征的特征图得到所述深层特征的特征图对应类别概率，通过损失函数将所述深层特征的特征图对应类别的概率与所述待处理图中对应的标签进行比对，对所述待处理图像进行分类。
22.一种实施例中，所述损失函数包括focalloss损失函数。
23.根据第二方面，一种实施例中提供一种用于图像分类的轻量型多任务分类方法，包括：
24.获取待处理图像；
25.将所述待处理图像输入到上述的轻量型多任务分类模型中，得到所述待处理图像的类别。
26.根据第三方面，一种实施例中提供一种边缘设备，包括：
27.存储器，存储有程序；
28.处理器，用于通过执行所述存储器的程序以实现上述的方法。
29.根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述的方法。
30.根据上述实施例的用于图像分类的轻量型多任务分类模型、方法及边缘设备和计算机可读存储介质，包括基础卷积模块、特征提取模块、分类模块和比对模块，利用基础卷积模块对待处理图像的初步特征进行提取以得到浅层特征的特征图，利用特征提取模块对浅层特征的特征图进行深度特征提取以得到深层特征的特征图，特征提取模块中的特征提
取子模块包括了多个重复利用的深度可分离卷积模块，对深度可分离卷积模块进行复用以减小模型的占用内存、降低模型的计算量，并且能够保证不破坏模型原有的精度。
附图说明
31.图1为一种实施例中用于图像分类的轻量型多任务分类模型工作流程图；
32.图2为一种实施例中特征提取子模块示意图；
33.图3为一种实施例中se注意力机制示意图；
34.图4为一种实施例中se注意力机制工作流程图；
35.图5为一种实施例中特征提取子模块结构图；
36.图6为一种实施例中原始特征提取子模块结构图；
37.图7为一种实施例中模型参数量和计算速度对比图；
38.图8为一种实施例中用于图像分类的轻量型多任务分类方法的流程图；
39.图9为一种实施例中边缘设备示意图。
具体实施方式
40.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
41.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
42.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
43.本技术提供的用于图像分类的轻量型多任务分类模型，首先对图像进行预处理后生成待处理图像送入该模型，经过一个基础卷积模块后，分类送入特征提取模块中的多个特征提取子模块，这些特征提取子模块为串行组合结构，得到深度特征的特征图，将该深度特征的特征图送入多个分类模块中，经过分类模块后得到深度特征的特征图概率，最后利用比对模块将深层特征的特征图对应的概率和待处理图像的标签进行比对，以确定待处理图像的类别。在对待处理图像进行分类时，包括多个任务，每个任务对应一个类别。以待处理图像中的图像为动物为例，此处的待处理图像的类别并不是确定待处理图像中的动物具体为猫或狗或其他动物，而是确定待处理图像中动物的颜色或其他特征，颜色或其他特征的分类分别在对应任务中进行分类，以确定对应的类别。
44.请参考图1，本技术一些实施例提供一种用于图像分类的轻量型多任务分类模型，
包括基础卷积模块100、特征提取模块200、分类模块300和比对模块400，下面进行具体说明。
45.基础卷积模块100用于接收待处理图像，并对待处理图像的初步特征进行提取以得到浅层特征的特征图。一些实施例中，基础卷积模块100为常规卷积conv单元块。
46.一些实施例中，利用均衡策略对待处理图像进行处理，待处理图像对应不同种类，提高种类数量低于设定值的待处理图像的选中概率，以均衡不同种类的待处理图像的选中概率。以待处理图像的图像为猫和狗为例，当图像为狗的待处理图像远少于图像为猫的待处理图像时，利用均衡策略提高图像为狗的待处理图像的选中概率，以使得所有的待处理图像的选中概率接近于相等。一些实施例中，均衡策略包括batch均衡策略。
47.特征提取模块200用于对浅层特征的特征图进行深度特征提取以得到深层特征的特征图，特征提取模块包括多个串行的特征提取子模块210，特征提取子模块包括若干复用的深度可分离卷积模块，用于对浅层特征的特征图进行深度特征提取。
48.请参考图2，一些实施例中，特征提取子模块210包括第一卷积模块211、第一通道212、第二通道213、第三通道214、第四通道215、ag模块216和第二卷积模块217，下面进行具体说明。
49.第一通道212包括第一深度可分离卷积模块212a，第一深度可分离卷积模块212a的输入端连接第一卷积模块211的输出端，第一深度可分离卷积模块212a的输出端连接ag模块216的输入端。
50.第二通道213包括第二深度可分离卷积模块213a，并且复用第一通道212中的第一深度可分离卷积模块212a，第二深度可分离卷积模块213a的输入端连接第一深度可分离卷积模块212a，第二深度可分离卷积模块213a的输出端连接ag模块216的输入端。
51.第三通道214包括第三深度可分离卷积模块214a，并且复用第一通道212的第一深度可分离卷积模块212a和第二通道213的第二深度可分离卷积模块213a，第三深度可分离卷积模块214a的输入端依次连接第一深度可分离卷积模块212a和第二深度可分离卷积模块213a，第三深度可分离卷积模块214a的输出端连接ag模块216的输入端。
52.第四通道215包括第四深度可分离卷积模块215a，并且复用第一通道212的第一深度可分离卷积模块212a、第二通道213的第二深度可分离卷积模块213a和第三通道214的第三深度可分离卷积模块214a，第四深度可分离卷积模块215a的输入端依次连接第一深度可分离卷积模块212a、第二深度可分离卷积模块213a和第三深度可分离卷积模块214a，第四深度可分离卷积模块215a的输出端连接ag模块216的输入端。
53.ag模块216的输出端连接第二卷积模块217的输入端。
54.一些实施例中，请参考图3，ag模块216包括se注意力机制216a。第一卷积模块211将浅层特征的特征图转换为设定维度下的特征图，第一通道212、第二通道213、第三通道214和第四通道215将设定维度下的特征图转换为不同感受野的特征图；se注意力机制216a对不同感受野的特征图赋予对应的注意力权重，根据不同感受野的特征图和不同感受野的特征图对应的注意力权重得到多尺度融合的特征图；第二卷积模块217将多尺度融合的特征图的维度转换为设定维度，以得到深层特征的特征图。
55.一些实施例中，请参考图4，se注意力机制216a的主要流程包括以下步骤：
56.步骤s1：将不同感受野的特征图中的特征矩阵输入se注意力机制216a。
57.步骤s2：对不同感受野的特征图中的特征矩阵进行压缩和扩张。
58.步骤s3：对特征图进行sigmoid操作，以得到不同感受野的特征图的注意力权重。
59.一些实施例中，se注意力机制216a可以替换为cbam(convolutional block attention module)注意力机制或ca(coordinate attention)注意力机制等。一些实施例中，sigmoid函数是一个在生物学中常见的s型函数，也称为s型生长曲线。由于其单增以及反函数单增等性质，sigmoid函数为神经网络的激活函数，将变量映射到0,1之间。一些实施例中，sigmoid函数可以替换为softmax函数。
60.一些实施例中，请参考图5，特征提取子模块210以图5为例，input为上层网络传入的特征信息，即基础卷积模块100输入的浅层特征的特征图。第一卷积模块211为1
×
1卷积模块501。第一深度可分离卷积模块212a、第二深度可分离卷积模块213a、第三深度可分离卷积模块214a和第四深度可分离卷积模块215a均为lite3
×
3单元块502。第二卷积模块217为1
×
1卷积模块503。此外，input还经一个1
×
1卷积模块504直接与以上处理后的特征图相接，即残差设计，这种残差设计连接允许在当前层中学习到的较小尺度的特性在下一层中有效地保存，从而使最终的特性能够捕获整个空间尺度范围，并可以有效减小梯度消失和梯度爆炸问题。一些实施例中，图5中特征提取子模块210是四个lite3
×
3单元块502的串并联操作，也可以根据需要减少或增加其数量。
61.特征提取子模块210为用于图像分类的轻量型多任务分类模型的主要单元模块，在用于图像分类的轻量型多任务分类模型中多次堆叠使用。本技术的特征提取子模块210在osnet网络(全尺度网络)结构的基础上进行修改，在保留原有提取特征图思路的前提下，对lite3
×
3单元块502进行复用。如请参考图6，为原始特征提取子模块共包括有10个lite3
×
3单元块502，本技术对lite3
×
3单元块502进行复用，在每个特征提取子模块210中减少了6个lite3
×
3单元块502，则会极大的提高整个特征提取模块200的特征使用率，减少了内存消耗和计算消耗，提高了模型训练和推理速度。
62.一些实施例中，在经过不同数量的lite3x3单元块502提取的特征会具有不同的感受野，在此过程中将各次得到的不同感受野的特征图保留复用，得到不同尺度的特征流，为了学习全尺度特征，以动态的方式组合这些特征流，即将这些特征流均由统一聚合门ag模块216分配不同的权重，此处ag模块216是四通道共享的。之后四通道信息相加再由第二卷积模块217调整维度。
63.分类模块300用于根据深层特征的特征图计算深层特征的特征图的类别概率，以对待处理图像进行分类。
64.一些实施例中，分类模块将深层特征的特征图进行计算得到深层特征的特征图对应的类别概率，通过损失函数将该类别概率与待处理图像中对应的标签进行比对，以对待处理图像进行分类。
65.一些实施例中，获取深层特征的特征图中最大的类别概率，通过损失函数将最大的列别概率与待处理图像对应的标签进行比对，从而确定待处理图像的类别。
66.本技术提供的用于图像分类的轻量型多任务分类模型中的特征提取子模块采用深度可分离卷积模块lite3x3单元块代替conv3x3，模型参数量减少大约10倍。在保留使用lite3x3单元块的前提下，减少其数量，以达到模型参数量少，且提高推理速度的效果。同时，通过单元块提取特征的复用，实现空间多尺度特征的提取，并计算不同尺度特征图权
重，在实现特征动态融合的同时，使得模型可以将注意力集中到细节特征上。请参考图7，本发明在cifar10数据集进行测试，其精度相较于原始特征提取子模块对应的原始模型基本没有损失，而模型计算量减少21％、参数量减少18％，推理速度提高至近1.7倍。cifar10数据集为包括10个类别的rgb彩色图片：飞机、汽车、鸟类、猫、鹿、狗、蛙类、马、船和卡车。图片的尺寸为32
×
32，数据集中一共有50000张训练图片和10000张测试图片。
67.请参照图8，本技术另外一些实施例提供一种用于图像分类的轻量型多任务分类方法，包括以下步骤：
68.步骤s4：获取待处理图像。待处理图像可以通过诸如摄像头等来获取。
69.步骤s5：将待处理图像输入到用于图像分类的轻量型多任务分类模型中，得到待处理图像的类别。一些实施例中，步骤s5中所涉及到的用于图像分类的轻量型多任务分类模型可以是本文中任一实施例中的用于图像分类的轻量型多任务分类模型，其具体描述可以参见上文，此处不再赘述。
70.请参考图9，本技术还有一些实施例提供一种边缘设备600，包括存储器610和处理器620，一些实施例中边缘设备600还包括输入/输出接口630，下面进行具体说明。
71.存储器610用于存储程序。
72.处理器620用于通过执行存储器的程序以实现本技术实施例中提供的用于图像分类的轻量型多任务分类方法。
73.一些实施例中，处理器620分别与存储器610、输入/输出接口630连接，一些实施例中还可通过总线系统和/或其他形式的连接机构进行连接。存储器610可用于存储程序和数据，包括本技术实施例中涉及的用于图像分类的轻量型多任务分类模型，处理器通过运行存储在存储器的程序从而执行边缘设备的各种功能应用以及数据处理。
74.本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
75.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。