网络模型解耦的开集合类别训练方法、装置及其存储介质与流程

本发明涉及深度学习，具体讲是网络模型解耦的开集合类别训练方法、装置及其存储介质。

背景技术：

1、通用的分类模型，大多为固定类别，如新增推理类别则需要对模型再次训练，不利于开发者的维护以及使用者在不确定类别情况下的使用。对于开集合任务类别来说，模型应具备更多的泛化性和较精确的识别能力，而固定类别的推理则不具备这种泛化能力，如在一些交通复杂的场景中对于未训练过的车辆无法进行识别。

2、目前现有的绝大部分模型都是由backbone（骨干网络）、neck（颈部网络）、head（头部网络）三个部分组成，backbone进行特征提取，neck进行特征融合，head进行检测，大多数网络的backbone在进行多任务学习时采用的都是从一而终的共享权重，而开集合类别往往需要更多不同方向（如颜色，形状，以及一些抽象）的特征信息，而在训练过程中，不同方向的特征信息在训练过程中会相互影响，导致训练过程不佳，造成误检较多。

技术实现思路

1、因此，为了解决上述不足，本发明在此提供一种网络模型解耦的开集合类别训练方法、装置及其存储介质，所述训练方法是基于多任务模型解耦，能够获取到模型的不同层次信息，将同个目标划分出多个特征并对应到模型的深层浅层，将多个特征结合后在能判断出已训练类别的同时更有利于判断未经训练的类别。

2、第一方面，本发明提供了一种网络模型解耦的开集合类别训练方法，所述网络模型为至少包括backbone（骨干网络）的多任务模型，该方法包括：

3、通过对多任务模型的backbone进行数次解耦来获取输入图片的特征信息，该特征信息包括解耦分离出的浅层、较深层和深层的特征信息；

4、依据所述多任务模型得到的特征信息进行推理判断。

5、通过上述技术特征能够获取到模型的不同层次信息，将同个目标划分出多个特征并对应到网络的深层浅层，再将特征信息进行推理判断，不同层次信息在解耦后训练阶段梯度不互相影响，提高了模型的学习能力。

6、可选的，通过对多任务模型的backbone进行数次解耦来获取输入图片的特征信息的方法是：

7、对多任务模型的backbone经过多次block（算法块）计算，从而分别解耦分离出浅层、较深层的特征信息，并在多任务模型的最后block后得到深层的特征信息。

8、通过多次调用block,能够更好的获取到不同层次的特征信息，对不同方向的特征学习效果更好，提高了模型精度。

9、可选的，上述解耦的次数取决于任务的个数和需要学习的方向；其中block的调用次数根据任务的复杂程度以及部署时对多任务模型参数的限制进行确定。

10、可选的，所述推理判断的方法是：

11、将被对比图片与对比图片预处理后分别送入多任务模型进行推理，得到被对比图片的特征信息及对比图片的特征信息；

12、依据不同需要，分别对所述浅层、较深层和深层的特征信息预设阈值；

13、索引取出被对比图片的所述浅层、较深层和深层的特征信息及对比图片的所述浅层、较深层和深层的特征信息，并依次进行相似度对比；

14、通过相似度对比得到被对比图片的所述浅层、较深层和深层的特征信息与对比图片的所述浅层、较深层和深层的特征信息的方向相似度值，将多个任务及方向相似度值与预设阈值的阈值依次对比，得到多个bool型矩阵；

15、将多个bool型矩阵转换为float类型，再将多个矩阵的值进行对位相加；

16、根据对位相加的值判断多个任务及方向的多任务模型输出是否为同一物体。

17、上述技术特征在基于提取多层特征信息后，能够更好的进行推理判断，将同个目标划分出多个特征并对应到模型的相应层，将多个特征结合后在能判断出已训练类别的同时更有利于判断未经训练的类别。

18、可选的，判断多个任务及方向的多任务模型输出是否为同一物体的方法是：

19、当对位相加的值等于任务方向的个数，则为同一类物体；

20、若存在多个物体皆满足对位相加的值等于任务方向的个数，取最大相似度的物体。

21、可选的，所述相似度对比的方法包括但不限于欧氏距离和余弦相似度。

22、所述网络模型解耦的开集合类别训练方法的技术原理是：将不同方向的信息单独分离出去从而进行不同方向的学习，因为浅层网络提取的特征和输入比较接近，且浅层网络的感受野较小，包含更多的像素点信息，分辨率也高，更有利于识别一些局部特征明显的信息（如颜色，纹理，边缘等）。

23、较深层网络即有一部分局部信息，又包含部分局部和整体信息之间的关联，更有利于识别轮廓信息。

24、深层网络随着感受野的增加，提取的特征包含的是更抽象的信息，即语义信息，获取的是图像整体的信息。

25、第二方面，本发明提供了一种网络模型解耦的开集合类别训练方法的装置，包括：

26、训练信息获取模块，用于通过对多任务模型的backbone进行解耦来获取特征训练的训练信息，该训练信息包括解耦分离出的浅层、较深层和深层的特征信息；

27、推理模块，用于将所述多任务模型得到的多个任务及方向特征信息与所述训练信息进行推理。

28、第三方面，本发明提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现所述网络模型解耦的开集合类别训练方法。

29、本发明具有如下优点：

30、本发明能够获取到了网络的不同层次信息后，将同个目标划分出多个特征并对应到网络的深层浅层，再将多个特征结合后在能判断出已训练类别的同时更有利于判断未经训练的类别，并且解决了现有技术中由于不同方向的特征信息在训练过程中会相互影响，导致训练过程不佳，造成误检较多的问题，该发明可以运用于交通场景中，对获取的图片进行分析，有助于实现车辆信息的精确判断。

技术特征：

1.一种网络模型解耦的开集合类别训练方法，所述网络模型为至少包括骨干网络的多任务模型，其特征在于，该方法包括：

2.根据权利要求1所述网络模型解耦的开集合类别训练方法，其特征在于，通过对多任务模型的骨干网络进行数次解耦来获取输入图片的特征信息的方法是：

3.根据权利要求1所述网络模型解耦的开集合类别训练方法，其特征在于，所述推理判断的方法是：

4.根据权利要求3所述网络模型解耦的开集合类别训练方法，其特征在于，判断多个任务及方向的多任务模型输出是否为同一物体的方法是：

5.根据权利要求3所述网络模型解耦的开集合类别训练方法，其特征在于：在对多任务模型的推理过程中对不同任务及方向的标签和多任务模型输出做损失并累计总损失。

6.根据权利要求3所述网络模型解耦的开集合类别训练方法，其特征在于：所述相似度对比的方法包括但不限于欧氏距离和余弦相似度。

7.一种网络模型解耦的开集合类别训练方法的装置，其特征在于，包括：

8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述网络模型解耦的开集合类别训练方法。

技术总结
本发明涉及深度学习技术领域，公开了一种网络模型解耦的开集合类别训练方法、装置及其存储介质，所述多任务模型包括骨干网络，所述方法包括：通过对多任务模型的骨干网络进行数次解耦来获取输入图片的特征信息，该特征信息包括解耦分离出的浅层、较深层和深层的特征信息；依据所述多任务模型得到的特征信息进行推理判断方法；本发明能够获取到模型的不同层次信息，将同个目标划分出多个特征并对应到模型的深层浅层，将多个特征结合后在能判断出已训练类别的同时更有利于判断未经训练的类别；该发明可以运用于交通场景中，对获取的图片进行分析，有助于实现车辆信息的精确判断。

技术研发人员：曾钦勇,尹小杰,周菡
受保护的技术使用者：成都浩孚科技有限公司
技术研发日：
技术公布日：2024/3/17