一种基于半监督学习的火焰分割数据集构建方法及装置与流程

本发明涉及图像处理，尤其涉及一种基于半监督学习的火焰分割数据集构建方法及装置。

背景技术：

1、近年来，火灾频发，各式各样的火灾给人们带来了不容小觑的伤害。火灾发生时间地点的随机性增加了火灾防控的难度，利用技术手段快速准确的检测出火焰能有效降低人力与财力的损失，精准的火焰区域分割对火势度量、灭火方案制定及灭火评价具有重要意义。一个带标记的多场景火焰分割数据集可以有效提升火焰区域分割的准确性。

2、然而，目前缺少公开带标注的火焰分割图像数据集，而火焰分割数据集构建需要精准标注火焰像素，且火焰形状不规则，导致人工构建工作量巨大。专利文献cn112092798a公开了一种基于半监督学习策略的火灾实例分割方法，对现有实例分割模型进行改进，通过引入注意力机制、可变形卷积提升模型精度；针对火灾实例分割任务缺乏数据样本及标注的问题，提出一种基于火灾场景的实例分割模型半监督学习策略，引入火焰和烟雾的颜色与形态学特征，对半监督学习中生成的伪标签进行置信度筛选，降低错误伪标签引入的精度损失；针对数据集中类别不均衡问题和半监督学习错误伪标签的精度损失问题，通过改进的“copy-paste”算法对混合训练集进行图像增强。

3、但是上述方法并不能够解决目前火焰分割图像训练集缺少、人工标注工作量大的问题。

技术实现思路

1、本发明提供了一种基于半监督学习的火焰分割数据集构建方法及装置，能够有效解决目前火焰分割图像训练集缺少、人工标注工作量大的问题。

2、一种基于半监督学习的火焰分割数据集构建方法，包括：

3、采集原始火焰燃烧图像；

4、将所述原始火焰燃烧图像按照不同的照度和场景进行分类存储，获得分类图像数据集；

5、对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，获得火焰标注数据集；

6、从所述火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集；

7、根据所述训练集对火焰分割模型进行训练直到所述火焰分割模型收敛；

8、从所述分类图像数据集中选取未标注的原始火焰图像输入至所述火焰分割模型，获得分割结果图像；

9、对分割结果图像进行优选，将优选后的分割结果图像加入至所述训练集中，直到训练集的规模满足预设值，获得火焰分割数据集。

10、进一步地，所述分类图像数据集包括白天城市场景数据集、白天自然场景数据集、白天工业场景数据集、夜晚城市场景数据集、夜晚自然场景数据集以及夜晚工业场景数据集。

11、进一步地，所述图像标注对包括原始火焰燃烧图像及对应的标注二值化图像。

12、进一步地，对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，包括：

13、从每个分类图像数据集中，选取相似度最低的原始火焰燃烧图像，利用掩膜方法生成尺寸相同的二值化图像，将获得的二值化图像与原始火焰燃烧图像对应并放入火焰标注数据集中，删除分类图像数据集中对应的原始火焰燃烧图像，重复该步骤预设次数，直到火焰标注数据集中的二值化图像及对应的原始火焰燃烧图像达到预设数量；

14、将所述火焰标注数据集中相应的原始火焰燃烧图像作为第一图层，其对应的二值化图像作为第二图层且设置透明度为预设值，勾勒火焰区域闭合轮廓，并设置火焰区域闭合轮廓内外的像素值，去除第一图层并保留第二图层，形成标注二值化图像，将所述标注二值化图像和对应的原始火焰燃烧图像作为图像标注对。

15、进一步地，所述火焰区域闭合轮廓内的像素值设置为255，火焰区域闭合轮廓外部的像素值设置为0。

16、进一步地，获得火焰标注数据集之后，还包括：

17、对所述火焰标注数据集中的所有图像设置增强标记mark<g(x,y),g’(x,y)>＝[0,0,0,0]，其中，g(x,y)表示所述火焰标注数据集中的任一原始火焰燃烧图像，g’(x,y)表示g(x,y)对应的标注二值化图像；

18、从所述火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集，包括：

19、建立旋转增强数据集、镜像增强数据集、缩放增强数据集以及亮度变化增强数据集并初始化；

20、从所述火焰标注数据集中选出满足条件第一条件的标注图像对加入所述旋转增强数据集将加入的标注图像对标记为mark<f(x,y),f’(x,y)>[0]＝1，令mark<g(x,y),g’(x,y)>[0]＝1，重复该步骤直到所述旋转增强数据集的长度达到预设长度，f(x,y)表示从所述火焰标注数据集中选出的原始火焰燃烧图像副本，f’(x,y)表示f(x,y)对应的标注二值化图像；

21、从所述火焰标注数据集中选出满足条件第二条件的标注图像对加入所述镜像增强数据集，将加入的标注图像对标记为mark<f(x,y),f’(x,y)>[1]＝1，令mark<g(x,y),g’(x,y)>[1]＝1，重复该步骤直到所述镜像增强数据集的长度达到预设长度；

22、从所述火焰标注数据集中选出满足条件第三条件的标注图像对加入所述缩放增强数据集，将加入的标注图像对标记为mark<f(x,y),f’(x,y)>[2]＝1，令mark<g(x,y),g’(x,y)>[2]＝1，重复该步骤直到所述缩放增强数据集的长度达到预设长度；

23、从所述火焰标注数据集中选出满足条件第四条件的标注图像对加入所述亮度变化增强数据集，将加入的标注图像对标记为mark<f(x,y),f’(x,y)>[3]＝1，令mark<g(x,y),g’(x,y)>[3]＝1，重复该步骤直到所述亮度变化增强数据集的长度达到预设长度；

24、生成预设长度的随机向量；

25、根据所述随机向量，从所述旋转增强数据集中选取相应的标注图像对生成不同角度的旋转图对并放入所述火焰标注数据集中；

26、根据所述随机向量，从所述镜像增强数据集中选取相应的标注图像对生成不同的镜像图对并放入所述火焰标注数据集中；

27、根据所述随机向量，从所述缩放增强数据集中选取相应的标注图像对生成不同的缩放图对并放入所述火焰标注数据集中；

28、根据所述随机向量，从所述亮度变化增强数据集中选取相应的标注图像对生成不同的亮度变化图对并放入所述火焰标注数据集中；

29、至此获得的火焰标注数据集为所述训练集。

30、进一步地，所述第一条件为：

31、

32、其中，表示所选择的标注图像对的原始火焰燃烧图像副本f(x,y)与火焰标注数据集中的原始火焰燃烧图像g(x,y)相似度最小，mark<f(x,y),f’(x,y)>[0]≠1表示所选择的图像标注对f(x,y),f’(x,y)未做过旋转操作，mark<g(x,y),g’(x,y)>[0]＝1表示所述火焰标注数据集中的图像标注对g(x,y),g’(x,y)已做过旋转操作；

33、所述第二条件为：

34、

35、其中，表示所选择的标注图像对的原始火焰燃烧图像副本f(x,y)与火焰标注数据集中的原始火焰燃烧图像g(x,y)相似度最小，mark<f(x,y),f’(x,y)>[1]≠1表示所选择的图像标注对f(x,y),f’(x,y)未做过镜像操作，mark<g(x,y),g’(x,y)>[1]＝1表示所述火焰标注数据集中的图像标注对g(x,y),g’(x,y)已做过镜像操作；

36、所述第三条件为：

37、

38、其中，表示所选择的标注图像对的原始火焰燃烧图像副本f(x,y)与火焰标注数据集中的原始火焰燃烧图像g(x,y)相似度最小，mark<f(x,y),f’(x,y)>[2]≠1表示所选择的图像标注对f(x,y),f’(x,y)未做过缩放操作，mark<g(x,y),g’(x,y)>[2]＝1表示所述火焰标注数据集中的图像标注对g(x,y),g’(x,y)已做过缩放操作；

39、所述第四条件为：

40、

41、其中，表示所选择的标注图像对的原始火焰燃烧图像副本f(x,y)与火焰标注数据集中的原始火焰燃烧图像g(x,y)相似度最小，mark<f(x,y),f’(x,y)>[3]≠1表示所选择的图像标注对f(x,y),f’(x,y)未做过亮度变化操作，mark<g(x,y),g’(x,y)>[3]＝1表示所述火焰标注数据集中的图像标注对g(x,y),g’(x,y)已做过亮度变化操作。

42、进一步地，将相应的标注图像对分别旋转90°、180°、270°，形成旋转图对；

43、将相应的标注图像对分别进行水平镜像操作和垂直镜像操作，形成镜像图对；

44、将相应的标注图像对分别缩小或者放大预设倍数，形成缩放图像对；

45、将相应的标注图像对的亮度调节为预设亮度，形成亮度变化图对。

46、进一步地，对分割结果图像进行优选，包括：

47、将火焰分割模型的输入图像作为第一个图层，将对应的分割结果图像作为第二个图层并调整透明度；

48、判断第二个图层中像素值为255的区域是否为火焰区域，且像素值为0的区域是否为非火焰区域，若是，则将所述输入图像和对应的分割结果图像加入至所述训练集中并设置增强标记。

49、一种应用于上述的基于半监督学习的火焰分割数据集构建装置，包括：

50、采集模块，用于采集原始火焰燃烧图像；

51、分类模块，用于将所述原始火焰燃烧图像按照不同的照度和场景进行分类存储，获得分类图像数据集；

52、标注模块，用于对各个分类图像数据集中的部分原始火焰燃烧图像进行处理和标注形成多个标注图像对，获得火焰标注数据集；

53、增强模块，用于从所述火焰标注数据集中选取标注图像对进行无监督数据增强处理，形成训练集；

54、训练模块，用于根据所述训练集对火焰分割模型进行训练直到所述火焰分割模型收敛；

55、图像分割模块，从所述分类图像数据集中选取未标注的原始火焰图像输入至所述火焰分割模型，获得分割结果图像；

56、优选模块，用于对分割结果图像进行优选，将优选后的分割结果图像加入至所述训练集中，直到训练集的规模满足预设值，获得火焰分割数据集。

57、本发明提供的基于半监督学习的火焰分割数据集构建方法及装置，至少包括如下有益效果：

58、能够基于少量标注的互联网火焰燃烧图像，使用无监督的数据增强方法迭代扩充数据集，并结合火焰分割模型的输出的分割图像进一步扩充数据集，形成半监督学习的火焰分割数据集构建方法，可构建出大规模、场景数量均衡的火焰分割数据集，支撑模型训练、验证及测试，减少人工标注的工作量，提高工作效率并减少生产成本。