一种基于机器视觉的布匹缺陷检测评分方法

本发明涉及布匹缺陷检测处理领域，具体涉及一种基于机器视觉的布匹缺陷检测评分方法。

背景技术：

1、由于纺织业工业生产中对整段布匹的缺陷存在所谓的接受程度，并非是存在缺陷即舍弃和回收，即在此接受范围内，该段布匹可是为合格产品，若超过了可接受的范围，则需舍弃该段布匹。但此接受范围的设定往往受纺织工人对缺陷判断的主观因素影响较大，因此需要探究一种合理的缺陷评分机制来指导布匹缺陷的检测和处理；传统的布匹缺陷评估方案由图像采集、缺陷标注和缺陷评分三个步骤组成。

2、例如，现有技术1(专利号为cn114723705a)提出了一种基于图像处理的布匹瑕疵的检测方法；该方案将采集到的布匹图像分割成多个窗口并获取相应的频率直方图，再根据平均相似度绘制相似度曲线，根据相似度曲线得出相似度值的最大值，根据相似度值的最大值确定标准窗口图像，基于标准窗口图像计算位置缺陷窗口图像的布匹纹理的周期符合率，通过周期符合率确定缺陷像素点，从而有效避免布匹自身纹理的干扰，准确的定位缺陷位置；尽管此技术方案提出的方法有较强的抗自身纹理干扰能力，但是在获取图像的过程中采用了直接获取图像频率的策略，相较于获取彩色图像本身后再处理成灰度图的方案，会丢失更多采集到的图像细节。

3、又如，现有技术2(专利号为cn114529549a)提出了一种基于机器视觉的布匹缺陷标注方法，解决了上述方案中存在的图像采集细节丢失问题；该方案获取包括布匹的纹理的表面图像，得到表面图像对应的灰度图像；根据灰度图像得到包含边缘信息的频域图像，进一步获取灰度图像中纹理的周期方向和纹理方向；根据周期方向和纹理方向对应的灰度共生矩阵，选取灰度共生矩阵中出现频数大于预设阈值时对应的每组像素点对为一个纹理单元；获取每个纹理单元在周期方向和纹理方向对应的共生游程矩阵，根据灰度共生矩阵和共生游程矩阵获取异常纹理单元，根据异常纹理单元获取中断像素点对，根据中断像素点对获取缺陷像素点。尽管此技术方案提出的方法在获取所采集的图像细节的同时兼顾缺陷点的标注，但是并未提出标注后的评分方案。

4、因此，针对上述问题，现有技术3(cn114494259a)提出了一种基于人工智能的布匹缺陷检测方法：根据布匹灰度图像的灰度值范围对其进行不同等级的划分，得到不同等级的布匹灰阶图像；对布匹灰阶图像进行区域划分得到多个周期区域；计算布匹灰阶图像上所有周期区域的纹理复杂程度之和，得到布匹灰阶图像的纹理复杂度；根据布匹灰阶图像的纹理复杂度选择最优等级的布匹灰阶图像，记为最优布匹图像；根据最优布匹图像计算布匹的缺陷率，缺陷率大于设定阈值的布匹为有缺陷；此技术方案提出的方法不仅解决了布匹缺陷检测的自动化标注问题，也提出了一种基于边缘复杂度的评分方案，通过计算布匹灰阶图像中所有缺陷点的纹理复杂度之和进行综合评分；但是此方案的评分方法只是涉及缺陷数量，而在实际的生产中，缺陷的种类、大小、横纵走向以及检测模型对当前检测出的缺陷的置信度都应当作为评分的标准。

5、对上述技术分析后可知，现有布匹缺陷评分方案具有以下3个特点：

6、1、现有评分方案使用采集图像的灰度图进行后续处理；

7、2、现有评分方案只使用缺陷的数量作为缺陷评估；

8、3、已有现有技术关注到布匹缺陷的综合评分，但是评分依据存在局限性。

9、根据上述方案的特点，现有布匹缺陷评分方法的应用存在以下困难：

10、1、由于布匹缺陷种类多，并且不同种类的缺陷形貌相近，因此，上述的现有方案，在实际的复杂工业环境中的应用无法细致地分辨不同的缺陷类型；

11、2、实际工业生产中的布匹通过辊筒装置进行收卷，如何通过判断当前布匹的头尾并使能缺陷评分，是一个需要解决的问题；

12、3、上述技术方案中的缺陷评分只涉及缺陷数量，但是在实际工业生产中，缺陷的种类、大小、横纵走向都是影响布匹质量的因素，如何使用更合理的评分方案去综合评价布匹的含缺陷程度也是一个需要解决的问题。

13、为了解决上述问题，提升布匹缺陷评分的准确度和可靠性，本发明通过预训练的神经网络进行缺陷定位和类别识别，以解决上述问题中缺陷类型无法细致分辨的问题；并且，通过外部硬件如光敏传感器，实时识别待检测评分的布匹头尾的位置，以此进行缺陷评分的功能启闭；同时，针对缺陷评分参考较少的问题，本发明提出了一种基于布匹缺陷种类、大小、横纵走向、缺陷置信度的综合评分标准，并设置可接受的正常布匹评分阈值，当超过阈值时则当前布匹为含缺陷布匹；缺陷评分计算公式的各个参数可以通过机器学习训练得到。

技术实现思路

1、本发明的目的是提供一种基于机器视觉的布匹缺陷检测评分方法。

2、通过一种基于布匹缺陷种类、大小、横纵走向、缺陷置信度的综合评分标准，可以对需要检测的布匹进行综合缺陷评分，使得布匹缺陷评分客观化，以解决现有布匹缺陷评分受人工检测的主观因素影响较大的问题；

3、并且，在此基础上，通过机器视觉对含缺陷布匹进行快速缺陷检测和评分，可以提升工业生产中布匹缺陷检测的效率。

4、实现本发明所涉及的技术包括机器视觉、缺陷标注、图像采集，实现自动化布匹缺陷综合评分。

5、为了实现上述发明目的，本发明采用的技术方案为：

6、一种基于机器视觉的布匹缺陷检测评分方法，包括以下6个步骤：

7、步骤1、图像采集；

8、步骤2、缺陷检测；

9、步骤3、缺陷标注；

10、步骤4、缺陷分析；

11、步骤5、综合评分；

12、步骤6、返回评分及后续处理。

13、缺陷检测评分具体实现方法如下：

14、步骤1，图像采集，通过上位机连接工业相机获取其视频流，然后整理为输入待检测视频流供步骤2使用；

15、步骤2，缺陷检测，将获取到的待检测视频流送入预训练的基于faster r-cnn的缺陷检测模型，模型将当前输入视频流中每一帧图像检测出的缺陷以“缺陷种类+置信度+位置”的形式返回，供步骤3使用；

16、步骤3，缺陷标注，将步骤2中以“缺陷种类+置信度+位置”的形式逐帧返回的缺陷检测处理结果标注在输出视频流的当前帧上，并将标注后的每一帧作为输出视频流的当前刷新帧，则输出视频流即为缺陷标注后的视频流；

17、步骤4，缺陷分析，由于上述步骤只返回并标注“缺陷种类+置信度+位置”的信息，而无法对当前识别出的缺陷的面积大小和横纵走向进行深度的分析，因此需要通过基于计算机视觉的图像处理方法进行缺陷像素面积计算，并分析横纵走向，以供后续步骤5综合评分使用；

18、所述步骤4缺陷分析具体步骤为：

19、步骤4.1，分解标注信息，获取输出视频流中当前刷新帧的缺陷标注信息，对已有的缺陷标注信息进行分解，以字典的形式返回所有检测到的缺陷的类型以及对应的缺陷置信度；

20、步骤4.2，计算横纵走向评分，获取分解后的标注信息中的缺陷位置及对应的缺陷标注框的信息，对上述信息进行处理，计算得到当前帧中各个缺陷对应的横纵走向参数信息；

21、步骤4.3，面积占比计算，截取当前帧已进行标注的缺陷标注框中的内容，通过基于计算机视觉的实例分割方法，将各个缺陷本体与当前帧的布匹图像进行分割，并计算得到该缺陷本体在当前帧中的面积占比；

22、步骤4.4，数据整理，对上述步骤中计算得到的数据进行整理，以字典内元素的形式添加当前帧中检测到各个缺陷的面积占比和横纵走向参数，返回一个“缺陷序号号：缺陷种类+置信度+面积占比+横纵走向参数”形式的字典以供后续使用；

23、步骤5，综合评分，缺陷评分系统获取进行缺陷标注后的视频流，当光敏传感器判断有遮挡物时，即为判断到布匹头部入镜，通过预训练的缺陷评分模型对步骤4缺陷分析后得到的参数字典内容进行综合评分；

24、所述步骤5综合评分的具体步骤为：

25、步骤5.1，使能综合评分功能，缺陷评分系统获取进行缺陷标注后的视频流；

26、步骤5.2，使用光敏传感器和预训练的布匹头尾判断模型，实时判断当前视频流中待检测的布匹头部是否入镜；若是，则进入步骤5.3，若否，则抛出异常并循环做上述判断；

27、步骤5.3，当步骤5.2返回布匹头部入镜的信号，评分系统开始调用预训练的缺陷评分模型，进入当前布匹的缺陷评分；缺陷评分模型由预设的缺陷评分公式组成，评分公式的参数可通过人工设置和机器学习训练得到；

28、步骤5.4，缺陷评分系统根据标注后的视频流进行缺陷评分，选取第一帧的评分作为基础评分，再判断后续新的输入帧中是否识别到新的缺陷，即判断步骤4.4中获取的字典中是否新增了缺陷序号；若是，则更新缺陷评分的参数字典并重新计算评分，若否，则保持当前的基础评分；

29、步骤5.5，当光敏传感器和预训练的布匹头尾判断模型返回当前布匹尾部入镜的信号时，锁定步骤5.4中计算得到的当前布匹段的布匹缺陷评分作为此布匹段最终的缺陷评分，则此布匹段的综合评分完成；

30、步骤6，返回评分及后续处理，针对步骤5中返回的当前批次的通过缺陷检测评分的布匹段综合评分，对其进行主界面ui的显示和本地存储，可以为后续生产环节的流程提供处理依据；

31、至此，则整体流程已完成。

32、本发明可以获得以下技术效果：

33、1、提升布匹生产环节中布匹缺陷检测的效率；

34、2、提升含缺陷布匹评分的普适性和准确性；

35、3、促进含缺陷布匹的高价值化回收利用。

36、因此，本发明对于现有技术，具有以下优点：

37、1、本专利的方法可检测多种类的布匹缺陷，现有技术下的布匹缺陷检测方案多采用对视频流灰度化后返回异常像素区域的处理，具有模型搭建简易、检测环境光源低依赖的特点，但是其在对图像进行灰度化的过程中舍弃了大量的图像细节；

38、而对于从视频流中直接获取图像进行缺陷检测的方法，由于布匹缺陷种类多检测难度大，因而现有工业界对于布匹缺陷检测仍然依赖于上述的传统方法，导致只能检测出缺陷的数量而无法检测出缺陷的类别，而且识别不同缺陷种类的同时还需保证识别的准确度，增大了布匹缺陷检测智能化的难度；

39、因此，本专利使用与传统布匹缺陷检测不同的方案，将缺陷检测方案由异常像素区域的判断改变为基于计算机视觉的多种类布匹缺陷检测，在保证可识别缺陷的同时，可以实现缺陷的类型识别，在一定程度上提升现有布匹缺陷检测的普适性和准确性，提升布匹缺陷检测在生产环节中的作用；

40、2、缺陷检测评分方法的引入使得布匹缺陷检测的依据合理化、定量化，已有现有相关技术应用于实际工业生产中的布匹缺陷检测环节，但其本质仍然为简单的缺陷数量统计，在高品质要求的布匹段缺陷检测中应用效果不佳；而本专利技术中提出的基于布匹缺陷种类、大小、横纵走向、缺陷置信度的综合评分标准，实现了更定量化的、合理化的缺陷评估及检测评分；

41、现有布匹缺陷检测只关注缺陷数量的情况，其源于现有布匹缺陷检测只在布匹前期生产过程中部署的局限性；由于无法判断缺陷的类型及其对应的面积大小和横纵走向，在生产过程中当缺陷的数量超过预设的阈值时，只能对此布匹段做舍弃处理，因而更需要一种合适的缺陷检测评分方法的引入以解决含缺陷布匹的评估问题；

42、因此本专利创新地提出了一种基于布匹缺陷种类、大小、横纵走向、缺陷置信度的综合评分标准以解决上述问题；

43、3、本布匹缺陷检测评分方法同时也提出了一种基于光敏传感器和头尾部入镜判断的自动化缺陷检测模块使能方案；当算法判断到布匹头部入镜且光敏传感器返回受遮挡的信号时，使能缺陷检测模块；当算法判断到布匹尾部入镜且光敏传感器返回不受遮挡的信号时，返回当前检测到的含缺陷布匹的相关信息并进入循环等待；通过此方案，可以提升布匹缺陷检测的自动化水平。