一种构建基于卷积神经网络多任务二阶段结构的方法与流程

本发明涉及机器学习，具体涉及一种构建基于卷积神经网络多任务二阶段结构的方法。

背景技术：

1、目前深度学习技术发展较快，其中u型结构的卷积神经网络模型有比较突出的特点。首先它是一个大写u的形状，包括左右两支，分别对应对图像的编码和解码功能。每一支都是一个多层结构，拥有对于图像特征的提取和组合的功能。同时两个支路之间有长距离的连接，从而保证了图像特征信息流在不同阶段上的充分保护和流通。通常认为，越位于深层的卷积网络，越是拥有处理高尺寸图像的能力，而对于细粒度较高的细节部分则显得不强。反之亦然。基于神经网络模型的图像识别技术在各个领域获得了深入而广泛的使用。

2、然而实际应用中发现，一些较大的项目通常有多个子任务组成。这些子任务之间常常在图像数据上具有高度相似性，却在图像分割识别上不同，无法很好的复用机器学习模型。比如脑部ct医疗数据的处理，子任务包括脑梗的检测、骨折的检测、出血的分割、肿瘤的分割等。这些子任务互不不同，但是都是在相同患者的脑部区域的图像数据上进行的。因此设计多个不同的模型分别处理这些子任务就显得非常累赘。各个子任务之间由于是单独的模型也没有互相通融信息的效果，增加了训练机器学习模型的负担。因此有必要研究一种能够方便进行迁移、复用的多任务机器学习模型，以实现在数据具有相似性的子任务之间进行复用的技术方案。

技术实现思路

1、本发明所要解决的技术问题：目前缺乏适宜在相同图像数据上执行多任务的机器学习模型的技术问题。提出了一种构建基于卷积神经网络多任务二阶段结构的方法，能够实现在数据具有相似性的子任务之间进行复用，提高整体项目的效率。

2、解决上述技术问题，本发明采用如下技术方案：一种构建基于卷积神经网络多任务二阶段结构的方法，所述卷积神经网络为u型卷积神经网络，包括左侧分支模型和右侧分支模型，左侧分支模型和右侧分支模型之间具有长连接，分别用于图像的编码和解码，包括以下步骤：

3、建立分割头，所述分割头的输入为u型卷积神经网络的输出分割图；

4、建立检测头，检测头的输入为u型卷积神经网络右侧的多层特征图；

5、所述分割头和检测头作为一阶段模型；

6、建立分类头，所述分类头的输入为u型卷积神经网络最下一层特征图、分割头的输出及检测头的输出，所述分类头的输出作为最终的分割图，所述分类头作为二阶段模型；

7、获取若干个样本图像，将样本图像输入所述u型卷积神经网络，以所述分类头的输出计算损失函数，训练u型卷积神经网络、分割头、检测头及分类头的参数，直到所述分类头的输出达到预设准确度，完成多任务二阶段结构的构建。

8、作为优选，空置所述分割头，所述分类头直接与u型卷积神经网络的输出分割图连接，或者建立的分割头为无参数的连接。

9、作为优选，为所述检测头添加aspp金字塔结构前置头，所述aspp金字塔结构前置头连接在所述检测头和u型卷积神经网络右侧的多层特征图之间，所述aspp金字塔结构前置头的输入为u型卷积神经网络右侧的多层特征图，所述aspp金字塔结构前置头的输出作为所述检测头的输入。

10、作为优选，还包括后处理模块，所述后处理模块设置在所述分类头之前，u型卷积神经网络最下一层特征图、分割头的输出及检测头的输出连接后处理模块，所述后处理模块的输出为经裁剪出检测框内的图像，所述后处理模块的输出作为所述分类头的输入。

11、作为优选，所述分类头为resnet18模型。

12、作为优选，训练u型卷积神经网络、分割头、检测头及分类头的参数时，在前若干个样本图像的训练中，停用所述u型卷积神经网络的长连接。

13、作为优选，训练u型卷积神经网络、分割头、检测头及分类头的参数时，首先使用若干个样本图像对所述u型卷积神经网络进行单独训练，而后再将分割头、检测头及分类头与所述u型卷积神经网络连接，再使用样本图像对u型卷积神经网络、分割头、检测头及分类头的参数机械能训练。

14、作为优选，获取样本图像的方法为：获取若干个图像，随机遮盖图像的部分区域，由所述分类头输出复原的图像，复原的图像与原图像的差异作为损失函数。

15、作为优选，复原的图像与原图像的差异为遮盖区域内复原的图像与原图像全部像素的差值的和。

16、作为优选，还包括迁移训练方法，用于在已被训练过的u型卷积神经网络及二阶段结构用于新的图像识别，所述迁移训练方法包括：

17、重新获取若干个样本图像，随机遮盖样本图像的部分区域，由所述分类头输出复原的图像，复原的图像与原图像的差异作为损失函数；

18、将所述u型卷积神经网络左侧编码器的参数固定，仅训练所述u型卷积神经网络左侧解码器、分割头、检测头及分类头的参数，直到所述分类头的输出达到预设准确度；

19、结束训练或者开放所述u型卷积神经网络左侧编码器的参数的训练，继续训练直到所述分类头的输出达到预设准确度。

20、本发明的有益技术效果包括：本发明提供的二阶段结构能够灵活的进行模型叠加，支持预训练和迁移训练，能够方便的在数据相同或相似的多个子任务之间进行切换，有效降低模型训练的负担，提高项目实施效率。

21、本发明的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。

技术特征：

1.一种构建基于卷积神经网络多任务二阶段结构的方法，所述卷积神经网络为u型卷积神经网络，包括左侧分支模型和右侧分支模型，左侧分支模型和右侧分支模型之间具有长连接，分别用于图像的编码和解码，其特征在于，

2.根据权利要求1所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

3.根据权利要求1或2所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

4.根据权利要求1或2所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

5.根据权利要求1或2所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

6.根据权利要求1或2所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

7.根据权利要求1或2所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

8.根据权利要求1或2所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

9.根据权利要求8所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

10.根据权利要求8所述的一种构建基于卷积神经网络多任务二阶段结构的方法，其特征在于，

技术总结
本发明涉及机器学习技术领域，具体涉及一种构建基于卷积神经网络多任务二阶段结构的方法，包括以下步骤：建立分割头，分割头的输入为U型卷积神经网络的输出分割图；建立检测头，检测头的输入为U型卷积神经网络右侧的多层特征图；分割头和检测头作为一阶段模型；建立分类头，分类头的输入为U型卷积神经网络最下一层特征图、分割头的输出及检测头的输出，分类头的输出作为最终的分割图，分类头作为二阶段模型；获取若干个样本图像，训练U型卷积神经网络、分割头、检测头及分类头，直到分类头的输出达到预设准确度，完成二阶段结构的构建。本发明的有益技术效果包括：能够方便的在数据相同或相似的多个子任务之间进行切换，提高项目实施效率。

技术研发人员：李德轩,徐枫,郭雨晨
受保护的技术使用者：杭州涿溪脑与智能研究所
技术研发日：
技术公布日：2024/1/12