一种目标检测方法、装置、存储介质、传感器及控制器与流程

本发明属于人工智能ai(artificial intelligence)，尤其涉及一种目标检测方法、装置、存储介质、传感器及控制器。

背景技术：

1、目标检测是人工智能ai的重要分支，基于智能算法的机器视觉作为重要支撑，已取得了长足的发展；相关应用已在图像分类、目标检测、语义分割等领域部分或一定程度地达到了替代人类工作的水平。

2、以工业领域应用为例，基于深度学习的自动化检测已经能够部分替代人类目检过程，进而可达到节省人力资源、提高检测速度等效果，并可有效避免人员疲劳和情绪波动等引入的检出率波动。

3、与常规目标检测不同的是，大多数工业缺陷检测任务要求缺陷类别的召回率达到100％；其中，工业缺陷的识别难度一方面来自于其受限的样本空间，另一方面来自于识别过程自身的难度。

4、基于上述原因，如何在训练数据有限、缺陷类别不平衡、缺陷难以区分等场景下实现更为可靠、稳定的目标检测，成为工业缺陷检测过程中亟需克服的关键技术问题。

技术实现思路

1、本发明实施例公开了一种目标检测方法，包括第一正负样本构建步骤、第二监督对比学习步骤；其第一正负样本构建步骤基于标签分配过程获取正负样本集，该标签分配过程基于无锚定框anchor free结构的锚定点anchor point进行标签分配,也可以于锚定框anchor based结构中确定用于输出结果的锚定框并向应当输出结果的锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的锚定框之间互为正样本，使不同类别目标所匹配到的锚定框互为负样本。

2、进一步地，其第二监督对比学习步骤使用与实际目标匹配到的锚定框进行对比学习；该对比学习过程使用目标的类别信息辅助表征学习。

3、具体地，该目标检测方法实施中，其标签分配过程向一个标签分配多个锚定框进行预测，以确保目标检测过程的检出率达到100％或尽量的高。

4、其中，检测过程中可采用解耦头作为检测头；该解耦头采用单独的分类特征图抽取特征向量。

5、具体地，若第二监督对比学习步骤采用特征金字塔结构fpn，则仅在fpn的同一层之内进行对比学习。

6、进一步地，基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数据进行筛分；其中，该目标检测方法的对比学习过程可采用如下的损失函数lcontrasive，使得：

7、

8、式中，l∈l为特征金字塔的层序号，nl为该层标签分配到的所有锚定框的个数，ntotal为特征金字塔所有层总共分配的锚定框的个数，i∈i为第一训练数据集内所有匹配到的锚定框的序号，p9i)为与i同类别的锚定框，a(i)为除了i以外其他的锚定框；qi和qp为0和1之间的质量系数qi；其质量系数qi用以表征锚定框输出的回归坐标与对应目标的真实区域的重叠度。

9、进一步地，基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支的信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重；其中，该目标检测方法还可引入第三样本质量筛选步骤；该第三样本质量筛选步骤采用如下的质量系数qi；使得：

10、

11、式中，i为对应锚定框的编号，pi为基于该锚定框预测出的回归坐标，gi为该锚定框对应样本的真实位置；其质量系数qi将回归分支的信息引入到对比学习的损失函数中，动态地调整不同正样本间的权重。

12、进一步地，还采用了包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加；其中，学习过程还可采用检测框类别损失函数lcls和坐标损失函数lcor；使得目标检测过程的损失函数loverall满足：

13、loverall＝wcls·lcls+wcor·lcor+wcontrasive·lcontrasive；

14、式中，wi为各损失函数的权重。

15、相应地，本发明实施例还公开一种目标检测装置，包括第一正负样本构建单元、第二监督对比学习单元；其第一正负样本构建单元基于标签分配过程获取正负样本集，标签分配过程基于无锚定框anchor free结构的锚定点anchor point进行标签分配，也可以于锚定框anchor based结构中确定用于输出结果的锚定框并向应当输出结果的锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的锚定框之间互为正样本，不同类别目标所匹配到的锚定框互为负样本。

16、其中，第二监督对比学习单元使用与实际目标匹配到的锚定框进行对比学习；其对比学习过程使用目标的类别信息辅助表征学习。

17、同样地，为了改善检出率，其标签分配过程可向一个标签分配多个锚定框进行预测。具体地，可采用解耦头作为检测头；该类解耦头采用单独的分类特征图抽取特征向量。其中：若第二监督对比学习单元采用特征金字塔结构fpn，则仅在fpn的同一层之内进行所述对比学习。

18、进一步地，基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数据进行筛分；其中，其对比学习可采用如下的损失函数lcontrasive，使得：

19、

20、式中，l∈l为特征金字塔的层序号，nl为该层标签分配到的所有锚定框的个数，ntotal为特征金字塔所有层总共分配的锚定框的个数，i∈i为第一训练数据集内所有匹配到的锚定框的序号，p(i)为与i同类别的锚定框，a(i)为除了i以外其他的锚定框；qi和qp为0和1之间的质量系数qi；质量系数qi用以表征锚定框输出的回归坐标与对应目标的真实区域的重叠度。

21、进一步地，基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支的信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重；其中，该目标检测装置还可设置第三样本质量筛选单元，并引入如下的质量系数qi；使得：

22、

23、式中，i为对应锚定框的编号，pi为基于该锚定框预测出的回归坐标，gi为该锚定框对应样本的真实位置；该质量系数q将回归分支的信息引入到对比学习的损失函数中，动态地调整不同正样本间的权重。

24、具体地，还可采用了包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加；其中，学习过程还可采用检测框类别损失函数lcls和坐标损失函数lcor；使得目标检测过程的损失函数loverall满足：

25、loverall＝wcls·lcls+wcor·lcor+wcontrasive·lcontrasive；

26、式中，wi为各损失函数的权重。

27、相应地，上述方法和产品还可在计算机存储介质、传感器或控制器中得到实施。

28、具体地，其计算机存储介质可设置用于存储计算机程序的存储介质本体；其计算机程序在被微处理器执行时，可实现如上任一项目标检测方法；其传感器可设置如上任一项的目标检测装置和/或计算机存储介质，并实现同样的检测方案；其控制器的实现过程与传感器的方案类似；不再赘述。

29、综上，本发明基于监督目标检测框架，通过引入自监督对比学习过程，加强了对类别特征向量(embedding)的学习能力；进而在拉近同类别特征向量的同时推远了其他类别的特征向量；利于在小数据量场景下对难于识别的少量实例进行区分；同时，基于特征对比学习过程的目标检测方法，还引入了候选框质量自适应的对比损失函数，可进一步提升目标检测效果，改善学习过程的收敛速度；其产品可用于工业缺陷检测领域，在确保召回率的同时，节省人力并提高检测速度；此外，其方法和产品可集成于已有的目标检测系统，利于现有系统升级。

30、需要说明的是，在本文中采用的“第一”、“第二”等类似的语汇，仅仅是为了描述技术方案中的各组成要素，并不构成对技术方案的限定，也不能理解为对相应要素重要性的指示或暗示；带有“第一”、“第二”等类似语汇的要素，表示在对应技术方案中，该要素至少包含一个。