一种基于弱监督学习的图像识别检测方法及系统与流程

本发明涉及物体识别，更具体的，涉及一种基于弱监督学习的图像识别检测方法及系统。

背景技术：

1、制烟场所环境和设备复杂，现代的卷烟草机设备也回随着时代进步而升级，那么卷烟草机在制烟场所的具体很难判断准确，所以我们需要识别进行物体识别。突出物体检测(salient object detection，sod)是一个常用的物体识别的手段，它旨在检测图像或视频中最吸引人的区域，以模仿人类的注意机制。目前在图像处理领域受到了越来越多的关注，可以进一步应用于各种计算机视觉领域，如物体识别、图像字幕和人员重新鉴定。完全监督的显著目标检测模型依靠有效设计的模块实现了优异的性能。然而，这些方法严重依赖于精确的逐像素注释的大型数据集，这是一个乏味且低效的过程。

2、现有一种稀疏标记方法(sparse labeling methods)引起了越来越多的关注，其目的是在时间消耗和性能之间实现平衡。一些方法尝试使用图像水平标签检测显著对象。一些方法使用噪声标签来训练网络，噪声标签通常由其他sod方法生成。划线注释是通过降低标记时间消耗提出的。此外，与以前的方法相比，它可以提供局部真相标签。

3、随着弱监督学习在密集预测任务中的发展，一些工作尝试使用稀疏注释来获取显著对象。《supervision by fusion:towards unsupervised learning of deep salientobject detector》利用几种无监督启发式sod方法提供的融合显著性图作为伪标签来训练最终自验机模型，通过合并密集条件随机场(conditional random field，crf)作为后处理步骤。最近，《weakly-supervised salient object detection via scribbleannotations》提出了用于显著性检测的潦草注释，这是一种更方便用户的注释方法，其中使用边缘检测器生成的边缘图来提供结构信息。此外，《structure-consistent weaklysupervised salient object detection with local saliency coherence》通过引入显著结构一致性损失和门控crf损失来增强显著图的结构一致性，以提高模型在可写数据集上的性能。

4、关于弱监督分割中的点注释，已有几项工作和实例分割。语义分割侧重于特定于类的类别，但显著性检测不侧重于类别财产，并且经常会出现一个对象在一种情况下是重要的，而在另一种情况中不是重要的。也就是说，显著性检测专门用于对象和当前场景之间的对比。基于点的实例分割方法主要用于交互式管道。从自然语言处理(natural languageprocessing，nlp)中的transformer引入的面向视觉处理的transformer在计算机视觉的多个领域引起了广泛关注。视觉变换器(vision transformer，vit)计算机视觉任务中引入了纯变换器模型，并在图像分类任务中实现了最先进的性能。通过使用vit作为主干，分段变换器(segmentation transformer，setr)添加了一个解码头，以最小的修改生成最终的分段结果。检测转换器在对象检测上利用编码器-解码器转换器和标准卷积网络。考虑到自然语言和图像之间的尺度差异，《weakly-supervised salient object detection withsaliency bounding boxes》设计了一种移位窗口方案，以提高效率和准确性。

5、考虑现有弱监督自验机存在只能覆盖图像的一部分，无法忽略无效对象，导致效率低的问题，如何发明一种基于弱监督学习的图像识别检测方法及系统，是本技术领域亟需解决的技术问题。

技术实现思路

1、本发明为了解决现有图像识别检测技术只能覆盖图像的一部分，无法忽略无效对象，导致效率低的问题，提供了一种基于弱监督学习的图像识别检测方法及系统，其具有监督能力强的特点。

2、为实现上述本发明目的，采用的技术方案如下：

3、一种基于弱监督学习的图像识别检测方法，包括以下步骤：

4、s1、收集待检测图像；通过点注释、边缘检测器、自适应洪水填充算法生成待检测图像的初始伪标签；

5、s2、构建一种基于从的点监督显著目标检测模型；

6、s3、将待检测图像输入点监督显著目标检测模型，结合待检测图像的初始伪标签对点监督显著目标检测模型进行第1轮训练，得到最终显著图；

7、s4、抑制最终显著图的非显著性目标，对点监督显著目标检测模型进行第2轮训练，优化最终显著图，完成图像的识别。

8、优选的，通过点注释、边缘检测器、自适应洪水填充算法生成待检测图像的初始伪标签，具体为：

9、s201、手动标记待检测图像，对图像中的不同对象或物体进行点注释；

10、s202、使用边缘检测器来检测待检测图像的边缘图：e＝e(i)，其中e(·)表示边缘检测器，i表示图像，e表示检测到的边缘图；

11、s203、将i的标记地真值表示为:其中sb和分别表示背景像素和第i个标记显著物的位置坐标；设计针对边缘解码器生成半径根据图像大小而变化的自适应掩模；

12、将掩模的集合定义为其中r(i)为图像i对应的掩码半径、c代表以下角为圆心，以上角为半径的圆；

13、s204、将e和并集，根据并集将图像i分成多个连通区域；对区分好的图像i采用自适应洪水填充算法，得到待检测图像的初始伪标签：

14、

15、其中，g表示得到的初始伪标签，f(·)表示自适应洪水填充算法。

16、进一步的，自适应掩模的半径r(i)为:

17、

18、其中，hi和ωi分别为输入图像的长度和宽度，γ是超参数。

19、更进一步的，所述的步骤s204中，对区分好的图像i采用自适应洪水填充算法，得到待检测图像的初始伪标签，具体为：

20、s2101、设起始注释点为(x,y)；

21、s2102、根据自适应洪水填充算法从图像i的一个起始注释点开始填充生成图像i的伪标签：f((x,y),i,α)，如果满足x≥0and x<width和y≥0和y<height这个条件，并且满足a<i(x,y)–old<b和i(x,y)＝α，那么通过来更新m(x,y)；

22、s2103、搜索起始注释点的邻域，并提取与它相连的附近注释点，直到多个连通区域内的所有注释点的伪标签都被填充完毕：flood filling((x+1,y),i,α)；flood filling((x-1,y),i,α)；flood filling((x,y+1),i,α)；flood filling((x,y-1),i,α)；

23、s2104、填充自适应掩模，得到待检测图像的初始伪标签。

24、更进一步的，所述的点监督显著目标检测模型包括视觉转换器、边缘保持解码器；

25、所述的视觉转换器包括编码器、卷积神经网络、resnet-50网络；

26、所述的边缘图保持解码器包括显著性解码器、近似边缘检测器；所述的显著性解码器是四个级联的卷积层；

27、所述近似边缘检测器用于生成缺乏结构和细节的弱标注边缘。

28、更进一步的，所述的步骤s3中，将待检测图像输入点监督显著目标检测模型，结合待检测图像的伪标签进行第1轮训练，得到最终显著图，具体为：

29、s301、将将待检测图像输入点监督显著目标检测模型的视觉转换器，通过卷积神经网络提取待检测图像的图像特征；通过resnet-50网络记录图像特征；将图像特征的位置嵌入和平化特征输入编码器，得到编码特征；

30、s302、将编码特征输入边缘保持解码器中得到显性特征；

31、s303、通过保持编码器结合编码特征和显性特征；近似边缘检测器针对显性特征中缺乏结构和细节的弱标注，根据编码特征和显性特征生成边缘结构；将边缘结构结合e，得到显著图，将显著图结合初始伪标签对点监督显著目标检测模型进行第1轮训练，得到最终显著图。

32、更进一步的，所述的步骤s303中，将边缘结构结合真实边缘检测器生成的边缘图约束，得到最终显著图，具体为：

33、s3101、近似边缘检测器的输出fe＝σ(cat(r,d))，其中r为编码特征，d为显性特征，σ表示边缘保持解码器的1个卷积层，cat表示合并操作；

34、s3102、将fe与d合并，结合e，经过边缘保持解码器的另外两个卷积层，得到显著图。

35、更进一步的，所述的步骤s4中，抑制最终显著图的非显著性目标，具体为：

36、s401、通过自适应洪水填充算法得到的显著目标区域pf：

37、pf＝f(s-sb,p1st)

38、其中，f()表示自适应洪水填充算法，s表示显著图，p1st表示最终显著图；

39、s402、对pf进行展开操作得到扩展区域将扩展区域指定为不确定区域，其余区域指定为背景区域；将不确定区域记为p2st，并将p2st用作第2轮训练的伪标签进行训练。

40、更进一步的，进行第1轮和第2轮训练时，采用了二进制交叉熵损失来约束e：

41、

42、其中，lbce表示二元交叉熵损失，y表示基准真相,r和c表示行坐标和列坐标；对于显著性解码器，采用部分交叉熵损失和门控crf损失；部分二元交叉损耗关注确定区域，而忽略不确定区域:

43、

44、其中，lpbce表示部分交叉熵损失，j为标记区域，g为设置的基准值,s为预测显著性图；

45、在损失函数中使用门控crf，获得更好的对象结构和边缘:

46、

47、其中，lgcrf表示门控crf损失，ki为像素i周围k×k核覆盖的面积，d(i,j)定义为:

48、d(i,j)＝|si-sj|,

49、其中si、sj为s在i、j位置的显著性值，||为l1距离；f(i,j)为高斯核带宽滤波器:

50、

51、其中为设定的归一化权重，ir()和p t()为图像像素的rgb值和位置，σpt和σir为设定的控制高斯核尺度的超参数；

52、进行第1轮和第2轮训练时所采用的总损失函数为；

53、l＝α1lbce+α2lpbce+α3lgcrf

54、其中α1,α2,α3是权值。

55、一种基于弱监督学习的图像识别检测系统，包括伪标签生成模块、模型构建模块、弱监督学习模块、非显著性目标抑制模块、检测识别模块；

56、所述的伪标签生成模块用于收集待检测图像；通过点注释、边缘检测器、自适应洪水填充算法生成待检测图像的初始伪标签；

57、所述的模型构建模块用于构建一种基于视觉转换器的点监督显著目标检测模型；

58、所述的弱监督学习模块用于将待检测图像输入点监督显著目标检测模型，结合待检测图像的初始伪标签对点监督显著目标检测模型进行第1轮训练，得到最终显著图；

59、所述非显著性目标抑制模块用于抑制最终显著图的非显著性目标，对点监督显著目标检测模型进行第2轮训练，优化最终显著图，完成图像的识别。

60、本发明的有益效果如下：

61、本发明公开了一种基于弱监督学习的图像识别检测方法。本发明通过点注释、边缘检测器、自适应洪水填充算法生成待检测图像的初始伪标签；本发明提出。提出一种基于视觉转换器的点监督显著目标检测模型，将待检测图像输入点监督显著目标检测模型，结合待检测图像的初始伪标签对点监督显著目标检测模型进行第1轮训练，得到最终显著图，并抑制最终显著图的非显著性目标，对点监督显著目标检测模型进行第2轮训练，优化最终显著图，完成图像的识别。本发明所提出的方法能忽略无效对象，实现高效的图像识别检测，具有监督能力强的特点。