一种基于线结构光与深度学习的绞线缺陷检测方法

本发明涉及绞线缺陷检测，具体为一种基于线结构光与深度学习的绞线缺陷检测方法。

背景技术：

1、电缆电线是国民经济部门不可缺少的重要配套产品,从超高压输电线路到各种微电机，人们生产和生活的各个环节都离不开电线电缆。电线电缆的质量直接关系到电力工程质量安全性的关键性问题。大体上看，目前国内电线电缆的质量水平明显低于国外。传统的电缆绞线生产检测,很多指标都是通过人工检测，比如工作人员拿持千分尺来测量电缆的尺寸，工作人员观察电线电缆的外观是否完好(即视觉检测)，这种人工检测电线电缆的方式不仅会存在效率低下、人工成本高昂的问题，还容易造成漏检、误检、成品损伤，甚至会损伤电缆绞线本身。

2、劣质电缆给人们的人身安全和财产安全造成极大的安全隐患，所以这种传统的电缆质量检测方式一定要向计算机检测方向转变。之前也有利用计算机进行电缆绞线权限检测的案例，但是，存在以下弊端，第一：基于二维图像观测不到深度信息，存在一定的局限性；第二：由于需要借助激光光源，因此在某些环境光强度较大的情况下，结构光图像的前景和背景容易混淆，光斑边缘模糊；所以对于金属的三维重建比较稀少；第三：计算时间太长，加上绞线工艺制作过程传送带比较快，并不能实时并有效检测出电线电缆缺陷。

技术实现思路

1、本发明的目的在于提供一种基于线结构光与深度学习的绞线缺陷检测方法，旨在改善人工检测电缆绞线缺陷检测存在风险高、成本高、检测效率低下的缺点，以及传统计算机缺陷检测二维图像的局限性、对金属检测的鲁棒性较差的问题。

2、本发明是这样实现的：一种基于线结构光与深度学习的绞线缺陷检测方法，包括

3、步骤一：硬件实验平台搭建，具体的，将工业相机、投影仪、计算机和标定板固定设置在支架。

4、步骤二：获取相机的参数、图像的单帧位移量，光平面标定，并提取激光线，利用相机拍摄多帧电缆绞线图像，并进行三维重建。

5、步骤三：对三维重建的数据进行图像分割、滤波处理，获取电缆绞线缺陷突出的三维点云信息，并对三维点云信息进行处理后得到缺陷数据集。

6、步骤四：对步骤三中带有典型缺陷的电缆绞线二维深度图进行缺陷标注，制作电缆绞线缺陷深度图像数据集，并将图像数据集输入基于深度学习的目标检测算法模型中进行训练，引入ca注意力机制，得到训练权重。

7、步骤五：将步骤四中的权重输入pl端加速器模块中，利用并行化和流水化的方法加速神经网络推理，将缺陷检测结果转化为可视化数据，并通过数据输出模块输出。

8、步骤六：按照7:2:1的比例分成训练集、验证集和测试集，并对采集的电缆绞线信息进行区别，进而识别出电缆绞线的缺陷，且可测量二维深度图中电缆绞线的截距和直径。

9、优选的，在硬件实验平台搭建中，需要将工业相机和相机镜头组成摄像模具；投影仪提供结构光的光源，并照射在物体上；计算机收集拍摄的图像，并为软件和算法提供运行环境。

10、优选的，为三维重建需要对相机标定处理，具体的是利用标定板获取相机的内外参数、畸变参数以及误差值。

11、优选的，为三维重建还需要根据位移平台标定，获取标定板在几帧图像下的外参，并求得单帧位移量。

12、优选的，为三维重建另外需要进行光平面标定，确定好光平面方程，并根据灰度重心法或者steger算法提取到激光线，通过工业相机拍摄多帧激光器打在电缆绞线上的图像，通过图像数据三维重建。

13、优选的，三维重建后获取pcd或者ply格式的三维点云信息，图像分割使电缆绞线与背景区分开来，滤波处理消除噪声，获取到缺陷突出的三维绞线点云信息。

14、优选的，对具有缺陷的三维点云信息进行高度映射后经过高斯平滑、形态学梯度、缺陷分割等图像处理得到最终的缺陷数据集。

15、优选的，缺陷标注的图像数据集分为六种不同类型，分别为划痕(scratch)、松股(loose strand)、夹杂物(inclus ion)、污点(stain)、凸起(protresion)以及散股(scatter strand)。

16、优选的，基于深度学习的目标检测算法设置为yolov8目标检测算法，yolov8目标检测算法包括backbone、检测头、损失函数和样本匹配策略；数据的权重和偏置使用pytorch训练，yolov8运行需要软件版本python>＝3.7.0与pytorch>＝1.7。

17、优选的，backbone使用c2f模块，检测头使用了anchor-free+decoupled-head，损失函数使用了分类bce、回归ciou+vfl的组合，匹配策略由静态匹配改为了task-al ignedass igner匹配方式、最后10个epoch关闭mosaic的操作、训练总epoch数从300提升到了500。

18、与现有技术相比，本发明的有益效果是：能在三维层面观测电缆绞线的深度信息，抓取更多细节，而且融合了fpga硬件加速深度学习卷积层的训练方法，使得检测效率更高，同时也降低的成本，除此之外，还利用点云数据测量了绞线截矩与线径。

技术特征：

1.一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，包括

2.根据权利要求1所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，在硬件实验平台搭建中，需要将工业相机和相机镜头组成摄像模具；投影仪提供结构光的光源，并照射在物体上；计算机收集拍摄的图像，并为软件和算法提供运行环境。

3.根据权利要求1所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，为三维重建需要对相机标定处理，具体的是利用标定板获取相机的内外参数、畸变参数以及误差值。

4.根据权利要求3所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，为三维重建还需要根据位移平台标定，获取标定板在几帧图像下的外参，并求得单帧位移量。

5.根据权利要求4所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，为三维重建另外需要进行光平面标定，确定好光平面方程，并根据灰度重心法或者steger算法提取到激光线，通过工业相机拍摄多帧激光器打在电缆绞线上的图像，通过图像数据三维重建。

6.根据权利要求1所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，三维重建后获取pcd或者ply格式的三维点云信息，图像分割使电缆绞线与背景区分开来，滤波处理消除噪声，获取到缺陷突出的三维绞线点云信息。

7.根据权利要求6所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，对具有缺陷的三维点云信息进行高度映射后经过高斯平滑、形态学梯度、缺陷分割等图像处理得到最终的缺陷数据集。

8.根据权利要求7所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，缺陷标注的图像数据集分为六种不同类型，分别为划痕(scratch)、松股(loosestrand)、夹杂物(inclusion)、污点(stain)、凸起(protresion)以及散股(scatterstrand)。

9.根据权利要求1所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，基于深度学习的目标检测算法设置为yolov8目标检测算法，yolov8目标检测算法包括backbone、检测头、损失函数和样本匹配策略；数据的权重和偏置使用pytorch训练，yolov8运行需要软件版本python>＝3.7.0与pytorch>＝1.7。

10.根据权利要求9所述的一种基于线结构光与深度学习的绞线缺陷检测方法，其特征在于，backbone使用c2f模块，检测头使用了anchor-free+decoupled-head，损失函数使用了分类bce、回归ciou+vfl的组合，匹配策略由静态匹配改为了task-aligned assigner匹配方式、最后10个epoch关闭mosaic的操作、训练总epoch数从300提升到了500。

技术总结
本发明公开了一种基于线结构光与深度学习的绞线缺陷检测方法，包括步骤一：硬件实验平台搭建，具体的，将工业相机、投影仪、计算机和标定板固定设置在支架；步骤二：获取相机的参数、图像的单帧位移量，光平面标定，并提取激光线，利用相机拍摄多帧电缆绞线图像，并进行三维重建；步骤三：对三维重建的数据进行图像分割、滤波处理，获取电缆绞线缺陷凸出的三维点云信息，并对三维点云信息进行处理后得到缺陷数据集；本发明能在三维层面观测电缆绞线的深度信息，抓取更多细节，而且融合了FPGA硬件加速深度学习卷积层的训练方法，使得检测效率更高，同时也降低的成本，除此之外，还利用点云数据测量了绞线截矩与线径。

技术研发人员：薛琦,胡文哲,孙钢灿,郝万明
受保护的技术使用者：郑州大学
技术研发日：
技术公布日：2024/2/19