一种汽车VIN刻蚀图像定位与缺陷检测方法与流程

本发明涉及图像识别，具体涉及是一种汽车vin刻蚀图像定位与缺陷检测方法。

背景技术：

1、新能源汽车作为国家大力发展的现代化新型产业，正在蓬勃发展，新能源汽车vin码(车辆识别码，vehicle identification number)是制造厂商为了识别新能源车辆而指定的一组编码。

2、由于不同厂家或同一厂家不同型号车辆在刻蚀vin码时所采用的字体、字号、字形位置等均有不同，因此目前车检部门通常采用人工观察的方式对vin刻蚀图像进行检查。由于每天需要审核大量的刻蚀图像，长时间重复性工作车检人员容易产生疲劳，导致审核效率下降，造成漏检、误检等问题，而且在vin码刻蚀过程中容易出现肉眼不易发现的缺陷，如刻蚀过程中电压不稳定，容易造成字符深浅不一等情况。现已研发出专业vin检测仪器，它可以通过更精确的方式读取vin码并检测出缺陷，不会因疲劳乏味而造成漏检、误检等问题。其缺点也很明显，需要车企培养专业操作人员且价格十分昂贵，不利于中小型车企低成本长时间使用。

3、开展vin刻蚀图形定位与缺陷检测有两个重要的意义:第一是提高vin码的审核速度，降低审核成本，帮助车企快速检测出刻蚀过程中产生的缺陷vin字符。由于现有的人工审核的方法需要耗费大量人力，如果能够利用机械视觉实现自动定位vin字符区域、检测缺陷并识别字符等功能，就可以直接替代人工检测vin字符缺陷和读取vin码等环节，检测效率将会大大提高，同时降低企业生产成本。第二是监控vin码刻蚀质量，及时发现和解决车辆vin码刻蚀过程中出现的质量问题。刻蚀在车架上的vin码不仅仅是车辆的身份证明，还是车辆的制造过程的一个重要环节，它也是保证车辆品质的一部分，它直接关乎车企的产品质量、效益产出和制造水平。因此开展vin刻蚀图形定位与缺陷检测研究具有重要的学术与工程价值。

技术实现思路

1、本发明针对以上问题，提供一种汽车vin刻蚀图像定位与缺陷检测方法。

2、采用的技术方案是，一种汽车vin刻蚀图像定位与缺陷检测方法，包括vin刻蚀图像定位部分、vin刻蚀图像字符分割部分、vin刻蚀图像字符检测部分和bp神经网络字符识别部分。

3、可选的，所述vin刻蚀图像定位部分，包括以下步骤：

4、s1.读取含有vin刻蚀图像的图片；

5、s2.对图片进行预处理；

6、s3.对预处理后的图像进行形态学处理；

7、s4.完成图像定位。

8、进一步的，先将rgb彩色的vin刻蚀图像进行灰度处理，然后通过x梯度的soble算子对灰度处理后的图像边缘进行检查和特征提取，最后对灰度处理后的图像进行二值化处理，得到包含黑白两种像素值的图像；

9、s3中，先通过闭运算去除二值化处理后图像中的孔洞与连接部紧密区域，然后通过膨胀运算扩大特征区域图像，最后顺序遍历二值化图像中的所有素，为每个像素分配一个初始标记，获得vin刻蚀图像的最大连通域；

10、s4中，将获得最大连通域应用在s2中获得灰度图与s1中rgb彩色图中，提取含有vin刻蚀图像的图片中vin原始刻蚀图像，完成vin字符定位。

11、可选的，s2中，二值化处理时，设置一个阈值将图像中灰度高于阈值的像素设为白色，低于阈值的像素设为黑色；

12、s3中，闭运算中，先是对原图像进行膨胀操作，将结构元素放置在图像的每一个像素点上从左到右，从上到下逐一与像素匹配，从而膨胀并扩大物体的边界，同时填充物体内部的小孔洞。接着对膨胀后的图像进行腐蚀操作，再次将结构元素在图像上移动并与像素匹配，从而收缩物体的边界，去除不必要的细节信息。最终得到的图像是经过平滑处理后的新图像，图像内部的小孔被填充，结构连接紧密；

13、s4中，应用最大连通域中按顺序遍历二值化图像中的所有像素，为每个像素分配一个初始标记。如果该像素属于前景色，检查其相邻像素。如果找到一个相邻像素属于前景色且已经被标记，则将当前像素的标记设置为与相邻像素相同的标记。如果相邻像素都未被标记，则为当前像素分配一个新标记。

14、进一步的，vin刻蚀图像字符分割部分，包括以下步骤：

15、a1.对完成vin刻蚀图像定位后的图像进行字符分割前处理；

16、a2.对图像进行字符分割。

17、可选的，a1中，字符分割前处理包括直方图投影字符分割、sobel算子和直方图投影字符分割组合、字符细化算法与直方图投影组合字符分割和滤波后canny算子与直方图投影组合字符分割中的一种。

18、进一步的，所述直方图投影字符分割中，先逐行遍历二值化图像进行水平投影计算投影直方图,统计出每行中前景像素的数量，得到水平投影直方图，然后逐列遍历二值化图像进行垂直投影，统计每列中前景像素的数量,得到垂直投影直方图，根据直方图找到局部最小值，且最小值为对应字符间的空隙，根据字符间的空隙，切分出单个字符图像；

19、所述sobel算子和直方图投影字符分割中，通过sobel算子对直方图投影中的水平梯度和垂直梯度进行计算来检测边缘；

20、所述字符细化算法与直方图投影组合字符分割中，通过字符细化算法，将二值化图像中线条组转化为单像素线条，然后进行直方图投影；

21、所述滤波后canny算子与直方图投影组合字符分割中，通过中值滤波、均值滤波对canny算子进行处理，然后通过canny算子进行直方图投影。

22、可选的，所述vin刻蚀图像字符检测部分，包括以下步骤：

23、b1.将字符模板图和待检测缺陷图进行像素减法运算；

24、b2.对减法运算后图像通过二值化增强，寻找缺陷字符，并记录位置。

25、进一步的，b1中，设第一幅图像为a(x，y)，第二幅图像为b(x，y)，则它们的差值图像c(x，y)可以表示：

26、c(x，y)＝a(x，y)-b(x，y)；

27、其中，c(x，y)的取值范围是[-255，255]或[0，255]，表示两幅图像的像素值之间差异；

28、b2中，逐一遍历图像像素点，计算白色像素点个数对二值图像中的白色像素点的统计。

29、进一步的，所述bp神经网络字符识别部分，包括以下步骤：

30、c1.拆分字符，对样本进行分类并训练人工神经网络；

31、c2.导出mlpmodel.xml，对字符进行识别和预测。

32、本发明的有益效果至少包括以下之一；

33、1、在预处理过程中对vin刻蚀图像降噪处理，以提高后续定位的准确性和降低干扰，并将图像归一化处理，便于图像批量操作。

34、2、在定位过程中进行边缘检测，比较了sobel算子和canny算子对vin刻蚀图像边缘提取的优异性，经过对比采用水平梯度的sobel算子边缘检测，然后进行形态学处理，填补孔洞和细小间隙，利用最大连通域算法得到vin字符边界，最后将此边界应用于vin图像，实现vin刻蚀图像定位。

35、3.比较sobel算子和直方图投影算法组合、细化算法和直方图投影算法组合和滤波后canny算子和直方图投影算法组合的优异性，在进行图像处理之前进行滤波操作，解决字符容易出现粘粘的问题。

36、4.使用深度学习bp神经网络，从vin单字符图像中提取字符特征并实现字符预测，缺陷检测过程中结合了经典的图像模板匹配算法，制作标准模板库，将待检测图像与模板进行减法运算，得到与模板不同的区域，通过二值化后将区域增强放大，统计该区域的白色像素的大小，设定阈值判断白色像素大小来确定字符缺陷类型。