基于图像处理的金属零件缺陷程度评估方法与流程

1.本发明涉及图像处理技术领域，具体涉及基于图像处理的金属零件缺陷程度评估方法。


背景技术：

2.金属材料因其可锻性、冲压性、冷弯性、热处理工艺性等特点，是现代工业中非常重要和应用广泛的一类物质。对于金属零件生产企业而言，金属在其生产过程中，其表面或多或少会产生模具痕、磨擦痕、凹坑、镀前划伤等缺陷，严重影响产品质量，降低企业效益。所以对金属零件表面瑕疵缺陷进行程度评估显得尤为重要。
3.目前，常用的对金属零件进行缺陷检测的方法为漏磁检测、红外线检测、超声波探伤检测等，这些缺陷检测方法适用范围小，对检测设备的要求较高，且不能给出金属零件的具体缺陷程度。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供基于图像处理的金属零件缺陷程度评估方法，所采用的技术方案具体如下：采集零件图像，对所述零件图像进行预处理得到预处理图像；对所述预处理图像进行多方向的gabor变换，得到多张纹理特征图；提取所述纹理特征图中多个像素点为纹理像素点，由所述纹理像素点构建多张纹理图；对所述纹理图进行连通域分析得到多个纹理连通域；根据所述纹理连通域内纹理像素点的数量和灰度值，计算每个所述纹理像素点和各所述纹理特征图的适配程度；根据所述纹理像素点对应的适配程度均值和最大适配程度得到所述纹理像素点的适配程度阈值；计算纹理像素点对应的各适配程度和所述适配程度阈值的差值作为融合权重，根据所述融合权重对多张纹理特征图进行融合得到融合纹理图；计算所述融合纹理图中各像素点对应的局部离群因子得到缺陷像素点，由所述局部离群因子得到各缺陷像素点的像素点异常值；根据各缺陷像素点的像素点异常值和灰度值得到融合纹理图的缺陷程度。
5.优选的，所述对所述零件图像进行预处理得到预处理图像，包括：对所述零件图像进行灰度化得到灰度图像；对所述灰度图像进行滤波去噪得到滤波图像；对所述滤波图像进行图像增强得到预处理图像。
6.优选的，所述对所述预处理图像进行多方向的gabor变换，包括：对所述预处理图像进行八个方向的gabor变换；所述八个方向分别为：。
7.优选的，所述根据所述纹理连通域内纹理像素点的数量和灰度值，计算每个所述纹理像素点和各所述纹理特征图的适配程度，包括：
第个纹理像素点与对应的第个纹理特征图的适配程度的计算公式为：其中，为第个纹理像素点和第个纹理特征图的适配程度；为第个纹理像素点所属纹理连通域内纹理像素点的数量；为第个纹理像素点的纹理灰度值；为除第个纹理像素点外的第个纹理像素点的纹理灰度值；为适配程度优化系数。
8.优选的，所述根据所述纹理像素点对应的适配程度均值和最大适配程度得到所述纹理像素点的适配程度阈值，包括：所述适配程度阈值的计算公式为：其中，第个纹理像素点的适配程度阈值；为第个纹理像素点与其对应的第个纹理特征图的所述适配程度；为第个纹理像素点的所述适配程度均值；为第个纹理像素点对应的适配程度序列中的所述最大适配程度。
9.优选的，所述根据所述融合权重对多张纹理特征图进行融合得到融合纹理图，包括：获取多张纹理特征图中各像素点的第一灰度值；所述第一灰度值和所述融合权重加权求和得到融合灰度值，构建融合纹理图。
10.优选的，所述计算所述融合纹理图中各像素点对应的局部离群因子得到缺陷像素点，包括：对于每个所述纹理像素点，构建适配程度序列；根据所述适配程度序列利用局部离群因子算法计算融合纹理图中各像素点的局部离散因子；所述局部离群因子小于等于预设离散阈值的适配程度序列对应的像素点为正常像素点；所述局部离散因子大于预设离散阈值的适配程度序列对应的像素点为缺陷像素点。
11.优选的，所述根据各缺陷像素点的像素点异常值和灰度值得到融合纹理图的缺陷程度，包括：获取所述融合纹理图中所述正常像素点的灰度均值；计算所述缺陷像素点的灰度值和所述灰度均值的绝对值作为灰度差异值；所述缺陷像素点对应的像素点异常值和灰度差异值相乘得到所述缺陷像素点的异常程度；所述融合纹理图中各缺陷像素点对应的异常程度相加得到融合纹理图的缺陷程
度。
12.优选的，所述纹理像素点的获取方法为：所述纹理特征图中灰度值大于预设灰度阈值的像素点为纹理像素点。
13.本发明实施例至少具有如下有益效果：本发明实施例利用图像处理技术首先采集零件图像，对零件图像进行预处理得到预处理图像；对预处理图像进行多方向的gabor变换，得到多张纹理特征图；采用多方向gabor变换得到多张纹理特征图，提高了对零件表面的缺陷检测的精准性，因为同一零件的纹理方向可能有所变化，对预处理图像采用多方向gabor变换，避免了单一方向gabor变换得到的纹理特征图中会存在缺陷不明显的问题。提取纹理特征图中多个像素点为纹理像素点，构建多张纹理图，对纹理图进行连通域分析得到多个纹理连通域；根据纹理连通域计算每个纹理像素点和各纹理特征图的适配程度；根据纹理像素点对应的适配程度均值和最大适配程度得到纹理像素点的适配程度阈值；计算纹理像素点对应的各适配程度和适配程度阈值的差值作为融合权重，根据融合权重对多张纹理特征图进行融合得到融合纹理图，该融合纹理图是根据各像素点的适配程度得到权重进行融合的，融合后的融合纹理图更能清楚的显示出缺陷，避免了纹理和缺陷一同被提取而导致的纹理特征不明显的问题；获取融合纹理图中的缺陷像素点，并计算各缺陷像素点的像素点异常值；根据各缺陷像素点的像素点异常值和灰度值得到融合纹理图的缺陷程度。对多张通过多方向gabor变换得到的纹理特征图进行融合得到融合纹理图，并得到融合纹理图的缺陷程度，达到了判断待检测金属零件表面的缺陷程度的目的。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明一个实施例所提供的基于图像处理的金属零件缺陷程度评估方法的方法流程图；图2为本发明一个实施例所提供的获取融合纹理图的方法流程图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于图像处理的金属零件缺陷程度评估方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.本发明实施例提供了基于图像处理的金属零件缺陷程度评估方法的具体实施方法，该方法适用于金属零件缺陷检测场景。该场景部署由一个rgb相机用于采集待检测金属
零件的零件图像，该相机光轴垂直于待检测金属零件的表面，以检测到一个真实完整的零件图像。为了解决常用缺陷检测不能给出具体的金属零件的缺陷程度的纹理，本发明实施例利用rgb相机采集零件图像，对零件图像进行分析，并通过多方向的gabor变换得到纹理特征图，根据各纹理特征图中像素点的特征来获取融合权重，将多张纹理特征图进行融合得到融合纹理图，最后能够明显反应出缺陷纹理特征的融合纹理图进行缺陷程度评估，达到了判断待检测金属零件表面的缺陷程度的目的，同时采用多方向gabor变换提高了对零件表面的缺陷检测的精准性。
19.下面结合附图具体的说明本发明所提供的基于图像处理的金属零件缺陷程度评估方法的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的基于图像处理的金属零件缺陷程度评估方法的步骤流程图，该方法包括以下步骤：步骤s100，采集零件图像，对零件图像进行预处理得到预处理图像；对预处理图像进行多方向的gabor变换，得到多张纹理特征图。
21.利用rgb相机采集待检测金属零件的零件图像，对零件图像进行预处理得到预处理图像。对零件图像进行预处理的步骤，具体的：首先，对零件图像进行灰度化得到灰度图像；再对灰度图像进行滤波去噪得到滤波图像；最后，对滤波图像进行图像增强得到预处理图像。需要说明的是，灰度化、滤波去噪和图像增强等图像预处理手段均为现有技术。
22.使用二维gabor滤波器表示一个倾角为θ的椭圆形高斯包络被一个正弦载波调制，能够体现出不同的方向性和尺度性，十分适用于图像纹理信息的提取，故通过gabor变换对图像进行纹理信息提取是提取纹理信息时常用的技术手段。
23.其二维gabor核函数的函数式为：其中，，。
24.其中，为空间域内像素的横坐标；为空间域内像素的纵坐标；为gabor滤波器的中心频率；为gabor小波的方向参数，也即gabor滤波器的方向参数；为高斯函数沿两个坐标轴的标准方差；为自然常数。需要说明的是gabor滤波器的中心频率也即调制正弦波的频率，决定gabor滤波器在频域的中心位置，则控制gabor滤波器的方向。
25.对于二维gabor滤波器中的方向参数θ，当滤波器的方向参数θ接近待检测金属零件的本身纹理方向时，滤波后的纹理特征图中待检测金属零件表面的缺陷会比较明显，而当滤波器的方向参数θ与待检测金属零件的本身纹理方向不一致或者差异较大时，待检测金属零件本身的纹理会和缺陷纹理一起被提取出来，从而会影响对缺陷纹理分析的有效性，且此时缺陷纹理不能被完全表征，降低了对待检测金属零件的缺陷程度的评估准确性。
26.本发明实施例对预处理图像进行多方向的gabor变换，通过改变滤波器的方向参数θ的值，得到多张纹理特征图。具体的：基于经验值设置gabor滤波器的不变参数，在本发
明实施例中设置滤波器的中心频率为，滤波器的方向参数为，其中，该滤波器的方向参数的取值范围为。本发明实施例对预处理图像进行八个方向的gabor变换，八个方向分别为：，也即设置共8个不同方向的滤波器，分别与预处理后的预处理图像进行卷积操作得到多张纹理特征图，在本发明实施例中为得到8张纹理特征图。
27.步骤s200，提取纹理特征图中多个像素点为纹理像素点，由纹理像素点构建多张纹理图；对纹理图进行连通域分析得到多个纹理连通域；根据纹理连通域内纹理像素点的数量和灰度值，计算每个纹理像素点和各纹理特征图的适配程度；根据纹理像素点对应的适配程度均值和最大适配程度得到纹理像素点的适配程度阈值；计算纹理像素点对应的各适配程度和适配程度阈值的差值作为融合权重，根据融合权重对多张纹理特征图进行融合得到融合纹理图。
28.预处理后的预处理图像为灰度图像，预处理图像中像素点的灰度值越大，其对纹理信息的表征程度越大，纹理信息中也包含缺陷纹理信息。从纹理特征图中提取多个像素点作为纹理像素点，该纹理像素点用于表征图像中的纹理信息，具体的：纹理特征图中灰度值大于预设灰度阈值的像素点为纹理像素点；纹理特征图中灰度值小于等于预设灰度阈值的像素点为背景像素点。在本发明实施例中预设灰度阈值为200，在其他实施例中实施者可根据实际情况调整该阈值。
29.提取每张纹理特征图中的纹理像素点，由属于同一张纹理特征图中的纹理像素点构建纹理图，得到8张纹理图。
30.对于每张纹理图，对纹理图进行连通域分析得到多个纹理连通域。即可得到各纹理像素点的所属纹理连通域，根据纹理图中各纹理像素点和其所属纹理连通域中其他纹理像素点的灰度差异反映纹理像素点和对应的纹理特征图的适配程度。具体的：获取纹理连通域中各纹理像素点的数量和各纹理像素点的灰度值。
31.根据纹理连通域内纹理像素点的数量和灰度值，计算每个纹理像素点和各纹理特征图的适配程度。该适配程度与待判断纹理像素点和所属纹理连通域中其他纹理像素点之间的灰度差异呈负相关，呈负相关是因为若对应方向的gabor滤波得到的纹理特征图合适，则能提取到待检测金属零件本身的纹理特征或者缺陷的纹理特征，得到的纹理连通域内的各纹理像素点的灰度值差异相对较小。而若对应方向的gabor滤波器得到的纹理特征不合适，则可能会同时提取到待检测金属零件本身和缺陷的纹理特征，得到的纹理连通域内的各纹理像素点的灰度值差异较大。故适配程度与待判断纹理像素点和所属纹理连通域中其他纹理像素点之间的灰度差异成负相关。
32.该适配程度与待判断纹理像素点所属纹理连通域的纹理像素点的数量呈正相关，呈正相关是因为若对应方向的gabor滤波得到的纹理特征图合适，则对待检测金属零件本身或者对缺陷的纹理表征完成度较高，能更全面地反映待检测金属零件本身或者缺陷的纹
理特征。故适配程度与待判断纹理像素点所属纹理连通域的纹理像素点的数量呈正相关。
33.第个纹理像素点与其对应的第个纹理特征图的适配程度的计算公式为：其中，为第个纹理像素点所属纹理连通域内纹理像素点的数量；为第个纹理像素点的纹理灰度值；为除第个纹理像素点外的第个纹理像素点的纹理灰度值；为适配程度优化系数。在本发明实施例中适配程度优化系数为0.5。
34.对该适配程度进行归一化，将适配程度更新为归一化后的适配程度，使更新后的适配程度的取值范围为，且该适配程度越大，第个纹理像素点与其对应的第个纹理特征图的适配程度越高。
35.需要说明的是背景像素点与其对应的纹理特征图的适配程度为0。
36.得到每张纹理特征图和每个纹理像素点的适配程度。由于在本发明实施例中利用了8个不同方向的gabor变换，所以共有8张纹理特征图，每个纹理像素点均有8个对应的适配程度。
37.对于每个纹理像素点，构建适配程度序列。需要说明的是，由于本发明实施例是对每张纹理特征图均提取出了纹理像素点，在不同纹理特征图中同一位置处的像素点，其所对应的适配程度序列相同的。如第1张纹理特征图中像素坐标为（11,20）的像素点为纹理像素点，第3张纹理特征图中像素坐标为（11,20）的像素点也为纹理像素点，则相同位置处的纹理像素点的坐标对应的适配程度序列相同。
38.请参阅图2，基于每个纹理像素点所对应的适配程度序列进行融合纹理图的权重选取，得到每张纹理特征图的融合权重，根据融合权重融合多张纹理特征图得到融合纹理图。具体的：步骤s210，根据纹理像素点对应的适配程度均值和最大适配程度得到纹理像素点的适配程度阈值。
39.该第个纹理像素点的适配程度阈值的计算公式为：其中，为第个纹理像素点与其对应的第个纹理特征图的适配程度；为第个纹理像素点的适配程度均值；为第个纹理像素点对应的适配程度序列中的最大适配程度。
40.纹理像素点对应的8个适配程度的适配程度均值可表征纹理像素点经过不同方向的滤波器后提取到的整体纹理性；而最大适配程度可表征纹理像素点经过不同方向的滤波器后提取到的极限纹理性，综合考虑纹理像素点的整体纹理性和极限纹理性，根据纹理像
素点的适配程度为各纹理像素点设置自适应的适配程度阈值。
41.步骤s220，计算纹理像素点对应的各适配程度和适配程度阈值的差值作为融合权重。
42.根据各纹理特征图中各纹理像素点的适配程度和适配程度阈值之间的差值来得到每张纹理特征图的融合权重。需要说明的是，仅选取适配程度大于适配程度阈值的纹理特征图进行融合；对于适配程度小于等于适配程度阈值的纹理特征图不再计算其融合权重，后续的融合也不再选取该纹理特征图进行融合。
43.第个纹理特征图中第个纹理像素点的融合权重的计算公式为：其中，为第个纹理像素点与其对应的第个纹理特征图的适配程度；为第个纹理像素点的适配程度阈值；为第个纹理像素点和每个纹理特征图的适配程度与适配程度阈值的差值之和。
44.需要说明的是，该融合权重的计算公式在计算各纹理像素点的适配程度和适配程度阈值的差值的同时，对该差值进行了归一化。融合权重的取值范围为，各纹理特征图的融合权重之和为1。
45.若同一位置处的像素点在8张纹理特征图中均为背景像素点，由于其与所有纹理特征图的适配程度均为0，则该背景像素点对应的融合权重为0。
46.步骤s230，根据融合权重对多张纹理特征图进行融合得到融合纹理图。
47.获取每张纹理特征图中各像素点的第一灰度值。第一灰度值和融合权重加权求和得到融合灰度值。
48.第个融合像素点的融合灰度值的公式为：其中，为第个纹理特征图中第个像素点的灰度值；为第个纹理特征图中第个像素点的融合权重；为融合纹理图的像素点数量，也即纹理特征图中的像素点数量。
49.纹理特征图中每个像素点都有对应的融合灰度值，由多个融合像素点构建融合纹理图。该融合纹理图为与初始的零件图像等大的图像。
50.步骤s300，计算融合纹理图中各像素点对应的局部离群因子得到缺陷像素点，由局部离群因子得到各缺陷像素点的像素点异常值；根据各缺陷像素点的像素点异常值和灰度值得到融合纹理图的缺陷程度。
51.由于待检测金属零件本身的纹理信息保持不变，则正常像素点对应的适配程度序列中适配程度的变化较小，而对于缺陷处的像素点，其对应的适配程度序列中适配程度的变化差异比正常像素点对应的适配程度序列中适配程度的变化差异大。
52.可将各像素点的适配程度序列作为一个高维数据。根据适配程度序列利用局部因子算法（lof算法）计算融合纹理图中各像素点的局部离散因子。
53.将局部离散因子小于等于预设离散阈值的适配程度序列对应的像素点作为正常像素点；将局部离散因子大于预设离散阈值的适配程度序列对应的像素点作为缺陷像素点。在本发明实施例中预设离散阈值为1，在其他实施例中由实施者根据实际情况进行调整该阈值。
54.根据局部离群因子计算第n个缺陷像素点的像素点异常值，其中，为第n个缺陷像素点的局部离散因子。该像素点异常值越大，对应像素点的异常程度越高。
55.进一步，基于dbscan密度聚类算法对缺陷像素点进行聚类得到多个聚类类别，认为每个聚类类别对应的像素点位置均为缺陷点，得到各缺陷的缺陷位置。
56.根据融合纹理图中缺陷像素点的像素点异常值，以及缺陷像素点和正常像素点的灰度值差异得到融合缺陷纹理图的缺陷程度。具体的：获取融合纹理图中多个正常像素点的灰度均值。
57.计算融合纹理图中缺陷像素点的灰度值和该正常像素点的灰度均值的绝对值，作为该缺陷像素点的灰度差异值。
58.缺陷像素点对应的像素点异常值和灰度差异值相乘得到该缺陷像素点的异常程度。
59.融合纹理图中各缺陷像素点对应的异常程度相加得到该融合纹理图的缺陷程度，该缺陷程度反映了由相机采集到的待检测金属零件的缺陷程度。
60.缺陷程度的计算公式为：其中，为第个缺陷像素点的像素点异常值；为第个缺陷像素点的灰度值；为正常像素点的灰度均值；为第个缺陷像素点对应的灰度差异值。
61.对缺陷程度进行归一化，使其缺陷程度的取值范围为，该融合纹理图的缺陷程度越大，则对应的待检测金属零件的缺陷程度则越大。
62.综上所述，本发明实施例利用图像处理技术首先采集零件图像，对零件图像进行预处理得到预处理图像；对预处理图像进行多方向的gabor变换，得到多张纹理特征图。提取纹理特征图中多个像素点为纹理像素点，构建多张纹理图，对纹理图进行连通域分析得到多个纹理连通域；根据纹理连通域计算每个纹理像素点和各纹理特征图的适配程度；根据纹理像素点对应的适配程度均值和最大适配程度得到纹理像素点的适配程度阈值；计算纹理像素点对应的各适配程度和适配程度阈值的差值作为融合权重，根据融合权重对多张纹理特征图进行融合得到融合纹理图；获取融合纹理图中的缺陷像素点，并计算各缺陷像素点的像素点异常值；根据各缺陷像素点的像素点异常值和灰度值得到融合纹理图的缺陷程度。对多张通过多方向gabor变换得到的纹理特征图进行融合得到融合纹理图，并得到融合纹理图的缺陷程度，达到了判断待检测金属零件表面的缺陷程度的目的，同时采用多方
向gabor变换提高了对零件表面的缺陷检测的精准性。
63.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
64.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。