一种清洗质量评价方法与流程

本发明涉及清洗设备领域，尤其涉及一种清洗质量评价方法。

背景技术：

目前，在汽车零部件清洗、工业产品零部件清洗、高铁动车转向架及其组件清洗领域，通常采用清洗设备，在清洗后，常常会存在未清洗到的部位，或者存在未清洗干净的区域。现有清洗设备不具备自动进行清洗质量评价的功能，因而通常需要通过人工识别污迹，进行清洗质量评分，然后根据需要决定是否进行二次补洗。

但是，通过人工进行清洗质量评价，存在如下问题：不同员工之间对清洗质量评价标准参差不齐；员工进行持续性工作时，容易产生工作疲劳，会有遗漏污迹未进行统计；同一员工也很难对多个零部件保证清洗评价标准始终如一。

技术实现要素：

基于以上问题，本发明的目的在于提供一种清洗质量评价方法，解决现有清洗设备缺乏自动进行清洗质量评价的功能，以及评价标准缺乏一致性、评价方法效率低、评价结果准确性难以保证等问题。

为达上述目的，本发明采用以下技术方案：

一种清洗质量评价方法，包括以下步骤：

s1、通过多个视觉相机采集清洗后的零部件图像，对零部件图像进行预处理和拼接，并采用卷积神经网络对零部件的污迹进行目标识别与分割；

s2、对污迹的颜色深度进行量化评分，并与污迹的面积相乘，得到每块污迹的评分，零部件的所有污迹的评分总和与零部件表面的总面积之比得到评分a；

s3、根据污迹的形状及分布，对二次补洗的能量消耗进行分析，根据分散的多个污迹的拓扑结构进行合并，采用形态学膨胀操作计算二次补洗时所需的清洗面积，获得无需清洗的面积与零部件表面的总面积之比，得到评分b；

s4、对评分a和评分b进行加权计算，得到零部件清洗质量总评分。

作为本发明的清洗质量评价方法的优选方案，零部件图像的预处理包括采用中值滤波和高斯滤波进行降噪以及采用直方图均衡化消除亮度差异。

作为本发明的清洗质量评价方法的优选方案，生成一系列的目标候选区域，使用卷积神经网络提取目标图像中的卷积特征，对目标图像数据进行分类，对调整后的样本候选框使用非极大值抑制，去除掉重合程度过大的样本候选框，得到样本目标候选框。

作为本发明的清洗质量评价方法的优选方案，对识别出的污迹进行分类，在零部件内的污迹定义为有效污迹，在零部件外的污迹定义为环境污迹。

作为本发明的清洗质量评价方法的优选方案，对每个有效污迹的颜色深度进行评分，污迹颜色深度的评分由深至浅分别为1分、2分、3分、4分和5分，清洗干净部分记为5分。

作为本发明的清洗质量评价方法的优选方案，多个视觉相机获得的零部件表面的像素总和记为零部件表面的总面积，每块污迹的像素个数记为每块污迹的面积，计算得到评分其中，si为第i处污迹的面积，xi为第i处的污迹颜色深度值，sclear为零部件中清洗干净部分的总面积，s总为零部件表面的总面积。

作为本发明的清洗质量评价方法的优选方案，以清洗刷头的最小清洗面积所占像素个数作为卷积核，对污迹进行形态学膨胀操作，计算后续二次补洗时需要清洗的面积。

作为本发明的清洗质量评价方法的优选方案，对污迹进行归一化处理，将所有污迹的颜色定义为白色，像素值为255，清洗干净部分定义为黑色，像素值为0，对图像进行形态学膨胀操作，填充污迹的小洞及连接相近的污迹，将目标像素的值替换成卷积核覆盖区域内的局部最大值，膨胀后，白色部分的面积为二次补洗的实际清洗面积，计算无需清洗的面积占零件总面积之比，评分其中，s总为零部件表面的总面积，s清洗为二次补洗的实际清洗面积。

作为本发明的清洗质量评价方法的优选方案，评分b的满分为5分，评分b越高，补洗代价越小，评分b越低，补洗代价越大。

作为本发明的清洗质量评价方法的优选方案，零部件清洗质量总评分为a*c+b*(1-c)，其中c的取值范围为0至1。

本发明的有益效果为：

本发明提供的清洗质量评价方法，首先，通过多个视觉相机采集清洗后的零部件图像，对零部件图像进行预处理和拼接，并采用卷积神经网络对零部件的污迹进行目标识别与分割；其次，对污迹的颜色深度进行量化评分，并与污迹的面积相乘，得到每块污迹的评分，零部件的所有污迹的评分总和与零部件表面的总面积之比得到评分a；然后，根据污迹的形状及分布，对二次补洗的能量消耗进行分析，根据分散的多个污迹的拓扑结构进行合并，采用形态学膨胀操作计算二次补洗时所需的清洗面积，获得无需清洗的面积与零部件表面的总面积之比，得到评分b；最后，对评分a和评分b进行加权计算，得到零部件清洗质量总评分。本发明提供的清洗质量评价方法，采用多个视觉相机采集零部件图像，获得零部件表面的全貌，将零部件表面在图片中所占像素个数作为零部件表面积，省去了从图片像素个数到零部件实际面积的计算过程，提高了清洗质量评价算法的实时性；引入评分a，在对清洗质量进行评价时，考虑了污迹的颜色深度，同时考虑污迹在零部件中所占面积，将污迹面积作为权重，计算加权平均分，使评分更加公正合理；在评分时，不仅考虑污迹的颜色深度及面积，同时考虑了污迹的形状及分布，对没清洗干净的污迹进行形态学膨胀操作，计算二次补洗时刷头实际需要清洗的面积，加以量化得到补洗代价评分b，据此可以分析后续采用人工或机械臂等清洗设备二次补洗时所需能量消耗的影响，量化的补洗代价，使得本发明清洗质量评价方法更加直观；对评分a与补洗代价评分b两项评分进行处理时，并没有进行固定求和，采用权值加权的方式，对不同的应用场景，选取不同的权值，使得本发明清洗质量评价方法更加灵活。本发明有效解决了现有清洗设备缺乏自动进行清洗质量评价的功能，以及评价标准缺乏一致性、评价方法效率低、评价结果准确性难以保证等问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明具体实施方式提供的清洗质量评价方法的流程示意图；

图2是本发明具体实施方式提供的清洗质量评价方法的原理示意图；

图3是本发明实施例的第一种污迹分布方式示意图；

图4是本发明实施例的第二种污迹分布方式示意图；

图5是本发明实施例的对第二种污迹分布方式中的污迹进行形态学膨胀操作示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性。其中，术语“第一位置”和“第二位置”为两个不同的位置。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1和图2所示，本实施例提供一种清洗质量评价方法，用于解决清洗质量难以评价、评价标准缺乏一致性、评价方法效率低、评价结果准确性难以保证的问题，包括以下步骤：

s1、通过多个视觉相机采集清洗后的零部件图像，对零部件图像进行预处理和拼接，并采用卷积神经网络对零部件的污迹进行目标识别与分割；

s2、对污迹的颜色深度进行量化评分，并与污迹的面积相乘，得到每块污迹的评分，零部件的所有污迹的评分总和与零部件表面的总面积之比得到评分a；

s3、根据污迹的形状及分布，对二次补洗的能量消耗进行分析，根据分散的多个污迹的拓扑结构进行合并，采用形态学膨胀操作计算二次补洗时所需的清洗面积，获得无需清洗的面积与零部件表面的总面积之比，得到评分b；

s4、对评分a和评分b进行加权计算，得到零部件清洗质量总评分。

零部件图像的预处理包括采用中值滤波和高斯滤波进行降噪以及采用直方图均衡化消除亮度差异。

对目标图像进行中值滤波，中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。

具体方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。二维中值滤波输出为g(x,y)＝med{f(x-k,y-l),(k,l∈w)}，其中，f(x，y)，g(x，y)分别为原始图像和处理后图像。w为二维模板，通常为3*3，5*5区域，也可以是不同的形状，如线状、圆形、十字形、圆环形等。中值滤波对脉冲噪声有良好的滤除作用，特别是在滤除噪声的同时，能够保护信号的边缘，使之不被模糊。中值滤波法对消除椒盐噪声非常有效。

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。图像大多数噪声均属于高斯噪声，因此高斯滤波器应用也较广泛。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声。高斯滤波的具体操作是：用一个用户指定的模板(或称卷积、掩膜)去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

一维高斯分布：

二维高斯分布：

直方图均衡化又称直方图平坦化，实质上是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内像素值的数量大致相等。这样，原来直方图中间的峰顶部分对比度得到增强，而两侧的谷底部分对比度降低，输出图像的直方图是一个较平的分段直方图：如果输出数据分段值较小的话，会产生粗略分类的视觉效果。

直方图是表示数字图像中每一灰度出现频率的统计关系。直方图能给出图像灰度范围、每个灰度的频度和灰度的分布、整幅图像的平均明暗和对比度等概貌性描述。直方图均衡化是一种简单有效的图像增强技术，通过改变图像的直方图来改变图像中各像素的灰度，主要用于增强动态范围偏小的图像的对比度。原始图像由于其灰度分布可能集中在较窄的区间，造成图像不够清晰。例如，过曝光图像的灰度级集中在高亮度范围内，而曝光不足将使图像灰度级集中在低亮度范围内。采用直方图均衡化，可以把原始图像的直方图变换为均匀分布(均衡)的形式，这样就增加了像素之间灰度值差别的动态范围，从而达到增强图像整体对比度的效果。

换言之，直方图均衡化的基本原理是：对在图像中像素个数多的灰度值(即对画面起主要作用的灰度值)进行展宽，而对像素个数少的灰度值(即对画面不起主要作用的灰度值)进行归并，从而增大对比度，使图像清晰，达到增强的目的。

由于基于卷积神经网络的训练依赖于高质量的图像，而由于清洗场景环境复杂多变，相机直接获得的图像质量差，因此需要进行图像预处理，之后再输入到神经网络进行训练，以此得到较好的识别效果。图像预处理包括：采用中值滤波和高斯滤波对图像进行降噪，然后使用直方图均衡化消除亮度差异，即可得到预处理之后的图像。

为了提高目标识别与分割的精度，生成一系列的目标候选区域，使用卷积神经网络提取目标图像中的卷积特征，对目标图像数据进行分类，对调整后的样本候选框使用非极大值抑制，去除掉重合程度过大的样本候选框，得到样本目标候选框。

基于卷积神经网络的方法对目标进行识别的过程主要包括：首先生成一系列的目标候选区域，接着使用卷积神经网络提取目标图像中的卷积特征，最后对目标图像数据进行分类，对调整后的样本候选框使用非极大值抑制，去除掉重合程度过大的样本候选框，得到样本目标候选框。

卷积神经网络具有局部感知、共享权值和多核卷积等特性，卷积神经网络基本结构由输入层、隐藏层、全连接层和目标函数几部分构成，其中隐藏层包括有若干个卷积层、激活函数层和池化层。

在计算机视觉方面，输入层是为网络提供原始图像数据的。隐藏层中的卷积层是通过对提供的原始图像数据进行卷积操作，提取图像中的特征信息。其中，卷积核矩阵中元素的权值是在网络训练后再确定的。

隐藏层中的激活函数层是将卷积操作后的结果作为输入，目的是引入非线性因素，使网络表示能力更强，常见的激活函数有sigmoid函数、tanh函数和relu函数。池化层也被称为下采样层，用来降低特征图的维度，减少网络计算参数的数量，同时使网络提取到更为重要的特征。在池化层中，常使用的池化操作方法有最大池化和平均池化。

全连接层是将隐藏层所提取到了局部特征信息进行融合，并将最后的结果输给分类器。目标函数也为损失函数，用来计算网络输出的预测值与所提供的真实值之间的误差。在回归任务和分类任务中，最常用的目标函数分别为二次损失函数和交叉熵损失函数。

其中，w表示网络的权重向量，b为网络的偏置向量，m表示输入样本数据的数量，x表示输入样本数据，y为样本数据的真实值，l为网络最大层数，a^l表示网络的预测值。

其中，表征网络输出的预测值，y⁽ⁱ⁾表示第i组对应的样本类别标签0或者1。

首先卷积神经网络层对原图进行卷积特征提取，然后将特征图输入到rpn网络进行候选框提取，最后对候选框进行分类与边框回归，从而实现目标检测。

对识别出的污迹进行分类，在零部件内的污迹定义为有效污迹，在零部件外的污迹定义为环境污迹，不对其进行评价与计算。

对每个有效污迹的颜色深度进行评分，污迹颜色深度的评分由深至浅分别为1分、2分、3分、4分和5分，清洗干净部分记为5分。

多个视觉相机获得的零部件表面的像素总和记为零部件表面的总面积，每块污迹的像素个数记为每块污迹的面积，计算得到评分a＝其中，si为第i处污迹的面积，xi为第i处的污迹颜色深度值，sclear为零部件中清洗干净部分的总面积，s总为零部件表面的总面积。

如图3和图4所示，若图中零部件面积大小及污迹面积大小、颜色深度相同，则两图片评分a相等。但是，在后续补洗时，对图4中污迹补洗所需能量大于图3中污迹所需能量。

考虑到污迹形状以及分布对后续采用人工或机械臂等清洗设备二次补洗时所需能量消耗的影响，对没有清洗干净的若干污迹进行形态学膨胀操作，计算二次补洗时刷头实际需要清洗的面积，以清洗刷头的最小清洗面积所占像素个数作为卷积核，对污迹进行形态学膨胀操作，如图5所示，计算后续二次补洗时需要清洗的面积。

对污迹进行归一化处理，将所有污迹的颜色定义为白色，像素值为255，清洗干净部分定义为黑色，像素值为0，对图像进行形态学膨胀操作，填充污迹的小洞及连接相近的污迹，将目标像素的值替换成卷积核覆盖区域内的局部最大值，膨胀后，白色部分的面积为二次补洗的实际清洗面积，计算无需清洗的面积占零件总面积之比，评分其中，s总为零部件表面的总面积，s清洗为二次补洗的实际清洗面积。

评分b的满分为5分，评分b越高，补洗代价越小，评分b越低，补洗代价越大。零部件清洗质量总评分为a*c+b*(1-c)，其中c的取值范围为0至1。

为方便理解，举例说明，将零部件表面所占像素个数作为零部件表面积，若识别出零部件总面积像素个数为6000个像素，有5块污迹，每块污迹面积大小分别为900、400、800、500、300，则清洗干净部分的总面积为3100，对各污迹评分分别为2、4、1、3、1，则评分以清洗刷头所能清洗的最小面积所占像素个数作为卷积核，形态学膨胀操作后，则二次补洗实际面积，即白色部分面积为4331个像素，则评分则总得分＝3.58*c+1.39*(1-c)，取c＝0.7,则总得分＝3.58*0.7+1.39*(1-0.7)＝2.923分。

本实施例提供的清洗质量评价方法，采用多个视觉相机采集零部件图像，获得零部件表面的全貌，将零部件表面在图片中所占像素个数作为零部件表面积，省去了从图片像素个数到零部件实际面积的计算过程，提高了清洗质量评价算法的实时性；引入评分a，在对清洗质量进行评价时，考虑了污迹的颜色深度，同时考虑污迹在零部件中所占面积，将污迹面积作为权重，计算加权平均分，使评分更加公正合理；在评分时，不仅考虑污迹的颜色深度及面积，同时考虑了污迹的形状及分布，对没清洗干净的污迹进行形态学膨胀操作，计算二次补洗时刷头实际需要清洗的面积，加以量化得到补洗代价评分b，据此可以分析后续采用人工或机械臂等清洗设备二次补洗时所需能量消耗的影响，量化的补洗代价，使得本发明清洗质量评价方法更加直观；对评分a与补洗代价评分b两项评分进行处理时，并没有进行固定求和，采用权值加权的方式，对不同的应用场景，选取不同的权值，使得本发明清洗质量评价方法更加灵活。本发明有效解决了现有清洗设备缺乏自动进行清洗质量评价的功能，以及评价标准缺乏一致性、评价方法效率低、评价结果准确性难以保证等问题。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。