一种基于机器视觉的车门外观检测方法与流程

本发明涉及外观检测方法领域，尤其涉及一种基于机器视觉的车门外观检测方法。

背景技术：

在汽车车门的焊接工艺中，由于各种不确定的因素可能会造成车门漏焊、焊接不均匀。在车门焊后的检测中，采用人工目检检测速度慢，且容易出现错检、漏检问题，效率低下，不能满足生产要求。在批量的车门焊接外观检测中，需要快速、高效对焊接缺陷、焊接完整性进行检测判断，以便于缩短汽车生产周期。为解决人工目检方法带来的弊端，需要一种新型的检测方法，结合现代机器视觉技术，对检测的车门外观进行检测分析及问题分析追溯。

技术实现要素：

针对现有技术的不足，本发明提出一种基于机器视觉的车门外观检测方法，将车门外观图像系列处理后输入提前建立好的神经网络，通过阈值判定焊接缺陷与焊接完整性，再使用分级方法呈现出其外观检测的分级结果，以实现车门外观检测的自动化与智能化。

本发明的技术方案是这样实现的：

步骤1、使用工业相机获取车门焊接的外观图像，并对所述外观图像进行滤波处理；

步骤2、设所述滤波处理后的外观图像为图像1，复制所述图像1得到图像2，对所述图像1采用步骤21进行处理，所述图像2采用步骤进行22进行处理：

步骤21、对图像1进行缩放处理；

步骤22、对图像2进行颜色通道转换，再通过全局图像分割得到图像块，提取焊接区域特征并将其归一化为颜色特征；

步骤3、将步骤21所述的缩放处理后的图像输入到神经网络a中，所述神经网络a输出图像缺陷置信度，将所述缺陷置信度与设定阈值a进行比较，并统计及标记出焊接缺陷，对所述焊接缺陷的面积与数量进行分级a，得出外观焊接缺陷分级结果；

步骤4、将步骤22所述的颜色特征输入到神经网络b中，所述神经网络b输出图像未焊概率，将所述未焊概率与设定阈值b进行比较，并统计及标记出未焊区域，对所述未焊区域的面积进行分级b，得出外观焊接完整性分级结果。

步骤1中、所述工业相机为ccd相机，所述的车门外观图像为rgb图像。

步骤1中、所述滤波预处理采用3x3中值滤波法。

步骤22中、所述颜色通道转换是将rgb颜色空间转换到hsv颜色空间，所述的rgb颜色空间中的r表示红色，g表示绿色，b表示蓝色，所述hsv颜色空间中h表示色彩，s表示深浅，v表示明暗。

步骤22中、所述全局图像分割采用三角形自动全局阈值分割。

步骤22中、所述焊接区域特征采用三阶颜色矩提取。

步骤3中、所述神经网络a的模型采用yolov3。

步骤3中、所述分级a中,设定被标为焊接缺陷区域的面积为s0，设定缺陷面积检测区域[s1，s2]，设定缺陷数量阈值n,遍历焊接缺陷区域：

情况31、若s0>s2,分为不及格级；

情况32、若s0∈[s1，s2]，且其数量大于n，分为不及格级；

情况33、不同于情况1及情况2，分为及格级。

步骤4中、所述分级b中,设定被标为未焊接区域的面积a0,设定未焊面积检测阈值a1，遍历未焊接区域：若a0>a1，分为不及格级，其余分为及格级。

分析所述的外观焊接缺陷分级结果与所述外观焊接完整性分级结果，若两者皆是及格级，流水线控制车门流入下一生产线，否则，流水线控制车门流入回收线。

本发明的有益效果为：

本发明提供的基于机器视觉的车门外观检测方法，采用机器视觉的方法检测车门焊接的外观，一方面大幅减轻检测人员的劳动强度，避免出现人工检测中存在的错检、漏检问题，另一方面加快了车门生产时间，节约了生产成本，提高了车门的生产效率，且可利用计算机的存储功能，可以轻易跟踪车门产品质量、焊接良品率等一系列参数，实现对车门生产的现代化管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明具体实施方式中提供的一种基于机器视觉的车门外观检测方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例中提供的一种基于机器视觉的车门外观检测方法，包括以下步骤：

步骤1、使用工业相机获取车门焊接的外观图像，并对外观图像进行滤波处理。

使用的工业相机为ccd相机，在拍照时设置好相机参数，直至传到计算机中能够显示清晰的车门外观，且工业相机采集的图像是rgb图像；

滤波预处理采用3x3中值滤波法，消除图像噪声，将周围像素和中心像素排序以后，取中值；

步骤2、设滤波处理后的外观图像为图像1，复制图像1得到图像2，对所图像1采用步骤21进行处理，图像2采用步骤进行22进行处理：

步骤21、对图像1进行缩放处理；

将图像缩放为448x448像素的图像，调高其清晰度与平滑度；

步骤22、对图像2进行颜色通道转换，再通过全局图像分割得到图像块，提取焊接区域特征并将其归一化为颜色特征；

颜色通道转换是将rgb颜色空间转换到hsv颜色空间，rgb颜色空间中的r表示红色，g表示绿色，b表示蓝色，hsv颜色空间中h表示色彩，s表示深浅，v表示明暗，hsv颜色空间有利于颜色分割，用h和s分量来表示颜色距离，颜色距离指代表两种颜色之间的数值差异，对于不同的彩色区域，混合h与s变量，为分割图像作准备；

全局图像分割采用三角形自动全局阈值分割，利用全局信息对整幅图像求出最优分割阈值，根据阈值对图像作出分割，得到若干图像块；

焊接区域特征采用三阶颜色矩提取，将图像块的特征转变为数学信息，图像中任何的颜色分布均可以用颜色矩来表示，颜色分布信息主要集中在低阶矩中，三阶颜色矩可满足图像的颜色分布表达，每个图像块得到九个分量，九个分量中包含三个颜色分量，每个颜色分量中包含3个低阶矩，且三阶颜色矩无需对特征进行向量化，颜色特征较为简洁；

步骤3、将步骤21中的缩放处理后的图像输入到神经网络a中，神经网络a输出图像缺陷置信度，将缺陷置信度与设定阈值a进行比较，并统计及标记出焊接缺陷，对焊接缺陷的面积与数量进行分级a，得出外观焊接缺陷分级结果。

神经网络a的模型采用yolov3，采用实验采集的车门样本作为训练集得到模型，将缺陷置信度为设定阈值a以上的预测结果标记为缺陷；

分级a中,设定被标为焊接缺陷区域的面积为s0，设定缺陷面积检测区域[s1，s2]，设定缺陷数量阈值n,遍历焊接缺陷区域：

情况31、若s0>s2,分为不及格级；

情况32、若s0∈[s1，s2]，且其数量大于n，分为不及格级；

情况33、不同于情况1及情况2，分为及格级；

对所有统计及标记的缺陷区域进行检测，焊接缺陷区域的面积大于设定阈值，即分级为不及格级，焊接缺陷区域的面积达到阈值区间的数量达到设定值也分级为不及格级，其余情况分级为及格级；

步骤4、将步骤22的颜色特征输入到神经网络b中，神经网络b输出图像未焊概率，将未焊概率与设定阈值b进行比较，并统计及标记出未焊区域，对未焊区域的面积进行分级b，得出外观焊接完整性分级结果。

神经网络b为神经网络分类器，可以由实验中预训练的模型直接使用，也可在生产中自行训练，未焊概率在设定阈值b以上的预测结果标为未焊区域；

分级b中,设定被标为未焊接区域的面积a0,设定未焊面积检测阈值a1，遍历未焊接区域：若a0>a1，分为不及格级，其余分为及格级；

分析的外观焊接缺陷分级结果与外观焊接完整性分级结果，若两者皆是及格级，流水线控制车门流入下一生产线，否则，流水线控制车门流入回收线，在计算机系统中，还可对车门焊接缺陷或焊接完整性为不及格级的车门进行追踪分析，快速修复不良品，且方便建立不良品数据分析，改善工艺方法，提高车门检测的自动化与智能化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。