一种新能源汽车紧固件智能检测系统的制作方法

1.本发明涉及汽车紧固件检测技术领域，特别是涉及一种新能源汽车紧固件智能监测系统。


背景技术：

2.近年来，随着汽车行业竞争的逐步加剧，客户对汽车的质量标准也正在逐步提高。其中，汽车紧固件的可靠性强弱直接决定了汽车的可靠性能。
3.汽车紧固件异常有多种形式，如紧固件承受过大拉力导致紧固件伸长从而产生异常；紧固件螺纹因承受过大压力引起压溃产生异常；紧固件因剪切应力引起变形产生异常；紧固件长期处于震动环境中会逐渐产生异常。紧固件是最重要的连接部件，若紧固件的强度不满足要求而导致在驾驶过程中发生松脱或者断裂的问题，将直接对车辆的行驶安全造成巨大的威胁。
4.汽车制造行业想要充分满足消费者需求,更好的适应社会发展环境,就要做好全面分析工作,采取科学优化措施,不断提高汽车制造质量。而应用智能化检测技术,能够为汽车制造各环节管控奠定良好基础。结合实践来看,智能化技术的引入,可以实现自动化检测功能,不仅能够提高汽车生产效率,还能够保证检测精度,同时有利于提高资源利用率,这无论对优化改进汽车制造工艺、还是促进产业持续发展而言,都有十分重要的影响。由此可见,对智能检测技术进行深入研究,已经成为推动行业发展的大势所趋,有利于为汽车制造行业进军国际市场助力。因此，本发明提供了一种新能源汽车紧固件智能检测系统，从根源上减少紧固件的质量问题和潜在隐患的产生。


技术实现要素：

5.本发明的目的是针对现有技术的不足，提供一种新能源汽车紧固件智能检测系统，通过结合紧固件定位、关键点检测及校对实现对紧固件的快速异常检测，并对检测异常的紧固件进行预警提示。
6.为实现上述目的，本发明提供了如下方案：
7.一种新能源汽车紧固件智能检测系统，包括：
8.紧固件图像获取模块：用于获取紧固件区域图像；
9.紧固件定位检测模块：用于通过所述紧固件区域图像对紧固件进行定位并检测，获得检测结果；
10.数据服务器模块：用于对所述检测结果存储和分析所述紧固件的信息；
11.警示模块：用于根据所述数据服务器模块提供的信息提供预警提示；
12.其中，所述紧固件图像获取模块、所述紧固件定位检测模块、所述数据服务器模块、所述警示模块依次连接。
13.优选地，所述紧固件图像获取模块用于获取新能源汽车中不同部位的零部件图像，并在相对位置和角度不变的条件下对同一部位的所述零部件图像进行拍摄。
14.优选地，所述紧固件定位检测模块包括：
15.紧固件定位单元：用于根据所述紧固件区域图像对紧固件位置进行定位；
16.关键点检测单元：用于基于所述紧固件位置对所述紧固件进行异常检测，获取所述紧固件的异常信息；
17.关键点校对单元：用于校对所检测的紧固件数量；
18.所述紧固件定位单元、所述关键点检测单元、所述关键点校对单元依次连接。
19.优选地，所述紧固件定位单元通过单阶段检测算法yolo-v3实现所述紧固件的定位，其中，所述紧固件定位单元与所述紧固件图像获取模块连接。
20.优选地，所述单阶段检测算法yolo-v3用于对所述紧固件区域图像进行网格划分，每个网格通过cnn预测b个边界框，其中每个所述边界框包含目标紧固件的坐标、类别以及含有目标紧固件的置信度信；基于预设阈值过滤置信度低的边界框，之后通过非极大值抑制去除冗余的边界框，获得定位结果。
21.优选地，所述关键点检测单元用于基于所述定位结果检测所有紧固件的边界框，通过所述边界框在所述定位结果图像中索引每个所述紧固件区域，并放大索引区域，完成紧固件关键点的回归检测，获得每个所述紧固件的关键点特征信息，基于所述关键点特征信息获取所述紧固件是否具有异常信息。
22.优选地，所述紧固件的异常信息包括紧固件漏装、紧固件连接状态是否可靠、紧固件是否与螺柱发生分离和紧固件生产质量问题。
23.优选地，所述数据服务器模块包括：
24.判断单元：用于基于所述检测结果分析所述紧固件是否与接地螺柱发生分离，所述紧固件是否漏装，确认扳手的拧紧次数，分析所述紧固件的姿态以及连接状态；所述判断单元与关键点检测单元连接。
25.优选地，所述数据服务器模块还包括生产线控制单元，所述生产线控制单元若接收到所述判断单元判断出的紧固件生产质量问题，则控制生产线启停开关，对所述紧固件的制作工序进行标记。
26.优选地，所述警示模块包括曝音设备和灯光设备中的一种或者两种结合，用于发出带有警示作用的声音和灯光中的一种或者两种结合。
27.本发明的有益效果为：
28.本发明可自动采集和获取大量图像样本，实时检测紧固件的状态，如若发现遗漏或具有异常的紧固件，则发出警示，大大提高了检测效率和成品的合格率，减少了不必要的流程。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明实施例中一种新能源汽车紧固件智能检测系统结构示意图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
33.一种新能源汽车紧固件智能检测系统，如图1，包括：
34.紧固件图像获取模块：用于获取紧固件区域图像；
35.紧固件定位检测模块：用于通过所述紧固件区域图像对紧固件进行定位并检测，获得检测结果；
36.数据服务器模块：用于基于所述检测结果存储和分析所述紧固件信息；
37.警示模块：用于根据所述数据服务器模块提供的信息提供预警提示；
38.其中，所述紧固件图像获取模块、所述紧固件定位检测模块、所述数据服务器模块、所述警示模块依次连接。
39.进一步优化方案，所述紧固件图像获取模块用于获取新能源汽车中不同部位的零部件图像，并在相对位置和角度不变的条件下对同一部位的所述零部件图像进行拍摄。
40.由于在利用异常紧固件在时序维度上的特征不同进行异常检测时，需要对不同时间拍摄的同一紧固件区域进行配对，若拍摄角度和位置发生变化将会使配对问题变得极为复杂，故在本技术中在相对位置和角度不变的前提下采集紧固件图片，针对不同时间采集的同一场景下的两幅图片得到图像中每个紧固件的异常信息。
41.进一步优化方案，所述紧固件定位检测模块包括：
42.紧固件定位单元：用于根据所述紧固件区域图像对所述紧固件位置进行定位；
43.关键点检测单元：用于基于所述紧固件位置对所述紧固件进行异常检测，获取所述紧固件的异常信息；
44.关键点校对单元：用于校对所检测的紧固件数量；
45.所述紧固件定位单元、所述关键点检测单元、所述关键点校对单元依次连接。
46.所述紧固件定位单元通过单阶段检测算法yolo-v3实现所述紧固件的定位，其中，所述紧固件定位单元与所述紧固件图像获取模块连接。
47.紧固件的定位速度关系着最终检测效率，在保证精度的同时要注重检测速度，因此选择单阶段检测算法yolo-v3来实现紧固件检测任务。yolo是以实时检测为目标的卷积神经网络，通过单阶段的回归方式把目标类别、bounding_box坐标通过网格的形式直接预测出来，有了目标检测中相对耗时的生成建议区域阶段，网络的检测速度得以大幅度提升，具体检测过程如下：
48.1)将输入图像分成s
×
s个网格，如果某个目标的中心落在这个网格中，则这个网格就负责这个目标；
49.2)每个网格通过cnn预测b个边界框。其中每个边界框包含目标的坐标、类别以及含有目标的置信度信息。
50.3)使用阈值过滤置信度较低的边界框，之后通过非极大值抑制(nms)去除冗余的
边界框，得到检测结果。
51.yolo检测网络在追求速度的同时不断提高检测精度，在检测器部分，借鉴了ssd使用了多尺度融合的方式进行预测，即分大小不同的网格进行回归预测，密集的网格负责检测小目标，疏散的网格负责检测大目标，使得网络对小目标检测效果有了明显提升。在训练策略上，由于使用微调技术，为保证已有特征不被破坏，起始学习率设置较小，本实施例中设置初始学习率0.0001，并随着训练次数指数衰减。因为实际场景中目标紧固件的长宽比固定，故anchor box长宽比设为1∶1。在训练阶段使用多尺度训练以适应不同场景下的检测。
52.进一步优化方案，所述关键点检测单元用于基于所述定位结果检测所有紧固件的边界框，通过所述边界框在所述定位结果图像中索引每个所述紧固件区域，并放大索引区域，完成所述紧固件关键点的回归检测，获得每个所述紧固件的关键点特征信息，基于所述关键点特征信息获取所述紧固件是否具有异常信息。
53.由于原图中紧固件所占区域较小且所含紧固件数目不定，直接从原图中提取关键点信息误差较大，难以得到准确的异常信息，故选择先检测紧固件区域，后放大检测区域进行关键点预测。紧固件关键点有着类别一致分布对称的特点，使用以往全连接的方式进行回归预测时其坐标排列顺序难以合理设定，这使得以全连接的方式进行回归时网络难以收敛。在yolo算法的启发下，结合紧固件关键点的分布特点对tinyyolo的检测器做了改进，得到以网格形式输出的全卷积关键点回归网络，能够结合紧固件关键点周围信息有效的检测出紧固件关键点位置。
54.紧固件的异常信息包括紧固件漏装、紧固件连接状态是否可靠、紧固件是否与螺柱发生分离和紧固件生产质量问题。
55.关键点校对单元先使用训练好的模型进行定位，再把输出结果依次送入关键点检测网络，最后计算对应紧固件归一化的度量结果，由于在进行异常检测时异常情况的漏检所导致的危害往往比错检严重，故对检测结果进行综合评价应考虑错检的同时更加注重漏检情况。在使用紧固件异常数据集进行测试时，由于已知紧固件对的标签，故漏检的评价指标可转化为异常紧固件召回率指标，在实际应用中根据紧固件异常造成的危害程度可通过调整阈值改变异常紧固件召回率和检测的准确率。
56.进一步优化方案，所述数据服务器模块包括：
57.判断单元：用于基于所述检测结果分析所述紧固件是否与接地螺柱发生分离，所述紧固件是否漏装，确认扳手的拧紧次数，分析所述紧固件的姿态以及连接状态；所述判断单元与关键点检测单元连接。
58.判断单元分别判断若干螺杆和接地螺柱是否漏装，并对需要拧紧螺母的接地螺柱进行判断，确认扳手的拧紧次数；完成螺母的拧紧后，选择性调整姿态，对各接地螺柱的螺母的侧表面依次施加与拧紧方向相反的推力，检测螺母与接地螺柱的连接状态是否可靠。
59.数据服务器模块还包括生产线控制单元，所述生产线控制单元若接收到所述判断单元判断出的紧固件生产质量问题，则控制生产线启停开关，对所述紧固件的制作工序进行标记。
60.进一步优化方案，所述警示模块包括曝音设备和灯光设备中的一种或者两种结合，用于发出带有警示作用的声音和灯光中的一种或者两种结合。
61.工人收到警示灯的警示后检查产品，将未按紧固扭力要求紧固划线零件进行紧固划线，工人在所在工位上返工完成后通过生产线启停开关启动生产线继续运行。
62.本发明可自动采集和获取大量图像样本，实时检测紧固件的状态，如若发现遗漏或具有异常的紧固件，则发出警示，大大提高了检测效率和成品的合格率，减少了不必要的流程。
63.以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。