一种基于小样本和迁移学习的自监督预训练方法与流程

本发明涉及一种基于小样本和迁移学习的自监督预训练方法，属于输电线路巡检。

背景技术：

1、近年来，随着计算机技术的发展，人们浏览的信息日益丰富，每天都有大量图片被上传到网络，由于数量巨大，人工已经无法对此进行分类。在很多大样本图像分类任务上，机器的识别性能已经超越人类。然而，当样本量比较少时，机器的识别水平仍与人类存在较大差距。因此，研究高效可靠的图片分类算法有很迫切的社会需求。

2、小样本场景是指在机器学习和数据挖掘中，训练数据量很小的情况。通常情况下，训练数据的规模很小，而且无法通过增加数据量来解决问题，这就称为小样本场景。小样本场景通常具有数据量小,数据标注难,模型泛化能力要求高的特点。传统的机器学习算法往往无法在小样本场景下取得好的效果，需要采用一些特殊的算法和技术来提高模型的性能。常见的算法包括元学习、迁移学习、增强学习等。

3、另一方面,随着chatgpt的出现,预训练大模型开始受到重视。大模型是指具有大型神经网络的机器学习模型，通常需要大量的计算资源和数据集进行训练。大模型的出现是为了应对自然语言处理、计算机视觉等复杂任务的需求，相较于传统的小型模型，大模型能够更好地处理大量的数据，并展现出更强的学习能力。

4、在计算机视觉领域,预训练图像大模型在各种视觉任务上取得了显著的成果。预训练图像大模型的优势在于，它们在大量数据上进行了训练，学到了丰富的特征表示，这些特征具有很强的泛化能力。因此，在处理新的视觉任务时，预训练模型可以迅速适应，并取得良好的性能。

5、目前，预训练图像大模型已经成为计算机视觉领域的核心技术之一，未来随着计算资源的不断优化和算法的进步，预训练图像大模型将继续发展，为各种视觉任务带来更多的突破。

6、在电力场景中，新型电力系统典型业务数字化过程中广泛涉及到人工智能视觉模型，现有电力视觉模型在构建过程中存在模型识别精度受限、标注样本数据需求量大、模型可迁移性弱等问题，小样本技术和大模型技术的出现提供了解决思路。结合实际情况，采用迁移学习、元学习、增强学习等技术，将大模型的优势应用到小样本学习中，提高电力系统的智能化水平。

技术实现思路

1、为了解决上述现有技术中存在的问题，本发明提出了一种基于小样本和迁移学习的自监督预训练方法。

2、本发明的技术方案如下：

3、一方面，本发明提供一种基于小样本和迁移学习的自监督预训练方法，包括以下步骤：

4、获取原始数据并进行预处理，原始数据包括大量无标注图像样本数据和部分有标注图像样本数据；

5、构建目标检测基础网络模型，包括基于注意力机制的网络模块和视觉基础模型网络架构；

6、基于原始数据构建基础目标检测数据集，输入至目标检测基础网络模型中，进行预训练，得到基础目标检测模型；

7、收集包括导线断股和线路覆冰异常情况的输电线路巡检图像并进行预处理，放入小样本巡检专业数据集中；

8、利用小样本巡检专业数据集，在基础目标检测模型之上进行迁移学习，得到用于识别导线断股和线路覆冰的输电线路巡检目标识别模型；

9、通过容器化部署的方式将输电线路巡检目标识别模型封装为镜像，将该镜像部署于输电线路巡检设备中，进行输电线路巡检。

10、作为优选实施方式，在所述构建目标检测基础网络模型的步骤中，引入自注意力机制，具体包括以下步骤：

11、进行自注意力机制初始化，对于输入至目标检测基础网络模型的每个数据，通过一个嵌入层将其转化为向量形式；

12、对于每个输入数据，计算其与其它输入数据的key-value键值对；

13、通过键值对之间的点积，计算每个输入数据与其它数据的注意力权重，并进行归一化处理令所有注意力权重之和为1；

14、对于每一输入数据，基于对应的注意力权重和特征值计算注意力得分；

15、通过注意力得分计算每个输入数据与其它数据的关联矩阵；

16、利用关联矩阵和注意力权重生成每个输入数据的自注意力特征表示。

17、作为优选实施方式，在构建基础目标检测数据集，输入至目标检测基础网络模型中，进行预训练的步骤中，具体采用自监督学习的方法进行模型训练。

18、作为优选实施方式，所述通过容器化部署的方式将输电线路巡检目标识别模型封装为镜像的步骤具体为：

19、利用docker技术将输电线路巡检目标识别模型的模型代码、依赖项和相关配置文件打包为一个docker镜像；同时创建一个dockerfile文件，包含对输电线路巡检目标识别模型的应用描述、依赖描述和运行描述。

20、另一方面，本发明还提供一种基于小样本和迁移学习的自监督预训练系统，包括：

21、原始数据获取模块，用于获取原始数据并进行预处理，原始数据包括大量无标注图像样本数据和部分有标注图像样本数据；

22、基础模型构建模块，用于构建目标检测基础网络模型，包括基于注意力机制的网络模块和视觉基础模型网络架构；

23、模型预训练模块，基于原始数据构建基础目标检测数据集，输入至目标检测基础网络模型中，进行预训练，得到基础目标检测模型；

24、小样本集构建模块，用于收集包括导线断股和线路覆冰异常情况的输电线路巡检图像并进行预处理，放入小样本巡检专业数据集中；

25、迁移学习模块，利用小样本巡检专业数据集，在基础目标检测模型之上进行迁移学习，得到用于识别导线断股和线路覆冰的输电线路巡检目标识别模型；

26、巡检部署模块，用于通过容器化部署的方式将输电线路巡检目标识别模型封装为镜像，将该镜像部署于输电线路巡检设备中，进行输电线路巡检。

27、再一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于小样本和迁移学习的自监督预训练方法。

28、再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于小样本和迁移学习的自监督预训练方法。

29、本发明具有如下有益效果：

30、1、本发明一种基于小样本和迁移学习的自监督预训练方法，针对电力场景中样本数量欠缺问题,数据层面利用先验知识对数据集进行增强,提高数据量。并在模型层面利用多任务学习缩小假设空间范围。算法层面利用参数调整在假设空间内提升搜索效率。通过以上技术解决样本数量不足的问题,提升模型训练效率。

31、2、本发明一种基于小样本和迁移学习的自监督预训练方法，针对电力场景中数据集特征分布与目标任务特征分布不同的问题,提出一种基于迁移学习的机器学习方法。通过将成熟应用场景中的模型迁移到新场景中,可以加速新模型的学习过程,提高模型性能和泛化能力。

32、3、本发明一种基于小样本和迁移学习的自监督预训练方法，针对电力场景中模型质量良莠不齐的问题,一种模型预训练和微调方法。通过大量无标注的数据训练出基础模型,然后用少量高质量标注数据微调,解决巡检场景下导线断股和线路覆冰识别任务,节省模型训练所需要的时间和计算资源。