基于多特征融合机器学习的汽车座椅缺陷检测方法与流程

本发明涉及机器视觉检测领域，尤其涉及一种基于多特征融合机器学习的汽车座椅缺陷检测方法。

背景技术：

工业机器人作为面向工业领域的多关节机械手或多自由度机器装置，现今已广泛应用于各行各业，旨在实现工业生产线上各类应用的自动化操控，如码垛、搬运、分拣等，从而节省时间和经济成本。随着人工智能和工业4.0的发展，机器视觉作为代替人眼的辅助工具，对图像进行处理、分析、计算，配合工业机器人，被广泛应用于工业领域外观检测、识别、定位，实现上下料、分拣等功能。

不同行业，相似的视觉应用需求，机器视觉方案会有所不同。例如3c行业物料缺陷检测方案较简单、通用，由于物料种类单一，只需要模板匹配，即可获取物料位置信息，将来料图像进行仿射变换，与模板图像对齐，并作差分比较，实现缺陷检测。然而，该方法在汽车制造业并不适用，例如同一汽车座椅生产线会处理不同品牌的汽车座椅，而每一品牌的汽车座椅在形状、颜色、材质等方面也会有所区别，因此，同一生产线的汽车座椅物料非常多，甚至多达几十种，通过单一模板匹配无法解决物料种类丰富的视觉应用问题。

中国发明专利申请cn106226325b公开了一种基于机器视觉的汽车座椅表面缺陷检测系统及检测方法，系统包括光源装置、单片机数控系统装置、图像采集装置、图像处理和分析平台、数据库系统和硬件装置，在此系统基础上，结合颜色识别、模板匹配等机器视觉算法，判断座椅是否存在缺陷，提供了一套完整的汽车座椅表面缺陷检测系统及方案。该缺陷检测视觉方案的关键在于通过数据库系统，对检测图像进行多模板匹配，依次计算该来料在每个搜索空间与每个模板的相似度，确定检测图像类型，再获取检测图像颜色和材质特征，与模板数据进行比较。汽车座椅的形状、颜色、材质种类丰富，若每一种物料建立一个模板，对新的检测图像进行多模板匹配效率太低，上述方法适合种类单一或较少、时效性要求不高的场景。

技术实现要素：

本发明旨在一种基于多特征融合机器学习的汽车座椅缺陷检测方法，无需多模板匹配，通过预训练的基于多特征融合机器学习算法识实现物料类别信息，检测物料类别异常缺陷；根据分类结果进行分组blob分析判断是否存在破损、污渍缺陷，筛选不合格品。

为解决以上技术问题，本发明的技术方案为：基于多特征融合机器学习的汽车座椅缺陷检测方法，其步骤包括：

步骤1：通过提取多类别物料样本图像的颜色特征和纹理特征，采用机器学习算法训练多特征融合分类器；

步骤2：采集汽车座椅图像，提取汽车座椅当前物料的颜色特征和纹理特征，并将颜色和纹理特征变量融合为综合特征向量，运用训练的多特征融合分类器进行识别，输出当前物料所属类别；

步骤3：对汽车座椅图像的灰度图像进行动态阈值分割，获取目标区域和背景；对目标区域进行blob分析，获取连通区域，并计算连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，进行缺陷检测。

按以上方案，所述步骤1具体为：

步骤1.1：将每种物料的图像colorimg进行类别标注label，表征为<colorimg,label>,添加至样本集，每种类别包含num张图像；

步骤1.2：对样本集彩色图像colorimg进行高斯滤波预处理，作噪声平滑，高斯滤波的核函数为：

其中x,y表示相对中心的偏移量，σ控制高斯核函数的径向范围，σ值越大，局部影响范围越大；

步骤1.3：将经预处理的彩色图像分解为r、g、b灰度图像；

步骤1.4：将r、g、b灰度图像转换至hsv空间，提取h通道图像hue，其中h∈[0,2π]；

步骤1.5：对h通道图像进行特征提取，提取颜色特征变量，即直方图变量abshistohue；

步骤1.6：将步骤1.2经高斯滤波预处理的彩色图像转换为灰度图像grayimg：

grayimg＝0.299r+0.587g+0.114b

步骤1.7：对灰度图像grayimg进行特征提取，提取纹理特征变量，调整灰度区分数量ldgray和方向direction参数，生成灰度共生矩阵matrixcooc，根据matrixcooc分别计算能量engery、相关性correlation、熵homogeneity、对比度contrast，用以描述纹理特征；

步骤1.8：采用边缘检测sobel算子对灰度图像grayimg进行一阶导数提取边缘幅值edgeamp，并计算其梯度直方图变量abshistoedgeamp；

步骤1.9：融合描述样本集颜色特征和纹理特征的多个特征变量，记特征向量

feature＝(abshistohue,energy,correlation,homogeneity,contrast,abshistoedgeamp)；

步骤1.10：根据特征向量训练多层感知器即mlp，保存多特征融合分类器c参数；加载多特征融合分类器即可识别物料种类，若有未知类别，分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练。

按以上方案，所述步骤2具体为：

步骤2.1：采集当前图像；

步骤2.2：根据上述步骤1.2-1.5提取采集图像的颜色特征变量abshistohue；

步骤2.3：根据步骤1.6-1.8对采集图像进行处理，得到灰度图像grayimg的纹理特征变量，即engery、correlation、homogeneity、contrast、abshistoedgeamp；

步骤2.4：根据步骤1.9，将颜色特征和纹理特征融合为综合特征向量feature，特征向量作为输入层，运用上述步骤1.10得到的多特征融合分类器c进行识别，分类器输出当前物料所属类别label，若当前分类器c无法识别标注类别，输出ng，表示物料种类异常。

按以上方案，所述步骤3具体为：

步骤3.1：对步骤2.3获得的灰度图像grayimg进行动态阈值分割，获取目标区域和背景；

步骤3.2：对目标区域进行blob分析，获取连通区域，并计算连通区域特征；

步骤3.3：设置用于检测不同类型缺陷的连通区域特征阈值，筛选出满足阈值条件的不合格品，输出污渍、破损、合格品检测结果。

按以上方案，所述连通区域特征包括连通区域的质心、面积、周长、长轴、短轴、角度、圆度、矩形度和紧凑度。

按以上方案，所述方法还包括步骤4，具体为：

步骤4：工业机器人根据缺陷检测结果，抓取工件，分拣物料种类异常、破损、污渍和合格品四类物料至指定区域。

按以上方案，所述步骤1.10具体为：

步骤1.10a：调整网络结构参数：网络层数为n，第l(l＝1,2,…,n)层神经元个数为nl，第一层为输入特征，神经单元个数n1＝|feature|，即特征feature的维度,中间层为隐含层网络，共n-2层，根据输入层和输出层及样本调整网络节点个数nl，最后一层为输出层，节点个数nn为分类的类别数量；

步骤1.10b：mlp反向传播学习：在每层中首先计算特征向量或上层结果的线性组合，即

然后将结果传递给非线性激活函数，即

其中表示第l层第j单元的激活值，为特征向量，为l层结果向量，和为l层权值，非线性激活函数选用双曲正切函数，即

最后一层隐藏层到输出层归结为多类别回归问题，采用softmax激活函数，即

步骤1.10c：保存分类器c参数：加载分类器即可识别物料种类，若有未知类别分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练。

本发明具有如下有益效果：

1、本发明融合图像多维特征，无需多模板匹配，利用机器学习训练分类器，自动分类汽车座椅物料类别，分类不同颜色、材质的物料，筛选出物料种类异常缺陷；匹配效率高，时效性高；

2、本发明采用动态阈值分割目标和背景，计算目标区域特征，结合blob分析进行缺陷检测，筛选出破损、污渍、合格品；

3、工业机器人根据检测结果，抓取工件，智能分拣物料种类异常、破损、污渍和合格品四类物料至指定区域。

附图说明

图1为本发明检测方法流程示意图；

图2为本发明实施例中多特征融合分类器训练流程示意图；

图3为本实施例中多层感知器网络结构示意图；

图4为本实施例中多层感知器处理方法示意图；

图5为本实施例中汽车座椅检测部位示意图；其中图5(a)为汽车前排座椅示意图；图5(b)为汽车后排座椅示意图；

图6为本实施例中汽车座椅不同颜色和材质的局部图；其中图6(a)为汽车座椅黑色绒布局部图；图6(b)为汽车座椅黑色皮革局部图；图6(c)为汽车座椅灰色皮革局部图。

附图标记：1、头枕；2、靠背；3、坐垫；4、手枕。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。

请参考图1至图6，本发明提出一种基于多特征融合机器学习的汽车座椅缺陷检测方法，适用于不同颜色、材质的物料，无需多模板匹配，代替多模板匹配的方法，通过提取多类别汽车座椅物料的颜色和纹理特征，基于多特征融合机器学习算法以识别物料类别信息，筛选物料类别异常缺陷，根据分类结果，利用blob缺陷检测，分析判断是否存在破损、污渍，筛选不合格品，工业机器人根据检测结果抓取工件，自动分拣物料类别异常、破损、污渍和合格品至指定区域。具体方法为：

步骤1：通过提取多类别物料样本图像的颜色特征和纹理特征，采用机器学习算法训练多特征融合分类器；具体为：

步骤1.1：将每种物料的图像colorimg进行类别标注label，表征为<colorimg,label>,添加至样本集，每种类别包含num张图像；

步骤1.2：对样本集彩色图像colorimg进行高斯滤波预处理，作噪声平滑，高斯滤波的核函数为：

其中x,y表示相对中心的偏移量，σ控制高斯核函数的径向范围，σ值越大，局部影响范围越大；

步骤1.3：将经预处理的彩色图像分解为r、g、b灰度图像；

步骤1.4：将r、g、b灰度图像转换至hsv空间，提取h通道图像hue，其中h∈[0,2π]；

步骤1.5：对h通道图像进行特征提取，提取颜色特征变量，即直方图变量abshistohue；

步骤1.6：将步骤1.2经高斯滤波预处理的彩色图像转换为灰度图像grayimg：

grayimg＝0.299r+0.587g+0.114b

步骤1.7：对灰度图像grayimg进行特征提取，提取纹理特征变量，由于汽车座椅材质不一样，纹理差别很大，需要提取灰度图像的特征，调整合适的灰度区分数量ldgray和方向direction参数，生成灰度共生矩阵matrixcooc，根据matrixcooc分别计算能量engery、相关性correlation、熵homogeneity、对比度contrast，用以描述纹理特征；

步骤1.8：采用边缘检测sobel算子对灰度图像grayimg进行一阶导数提取边缘幅值edgeamp，并计算其梯度直方图变量abshistoedgeamp；

步骤1.9：融合描述样本集颜色特征和纹理特征的多个特征变量，记特征向量

feature＝(abshistohue,energy,correlation,homogeneity,contrast,abshistoedgeamp)；

步骤1.10：根据特征向量训练多层感知器(mlp)，保存多特征融合分类器c参数；加载多特征融合分类器即可识别物料种类，若有未知类别，分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练；步骤1.10具体为：

步骤1.10a：调整网络结构参数：网络层数为n，第l(l＝1,2,…,n)层神经元个数为nl，第一层为输入特征，神经单元个数n1＝|feature|，即特征feature的维度,中间层为隐含层网络，共n-2层，根据输入层和输出层及样本调整网络节点个数nl，最后一层为输出层，节点个数nn为分类的类别数量；

步骤1.10b：mlp反向传播学习：在每层中首先计算特征向量或上层结果的线性组合，即

然后将结果传递给非线性激活函数，即

其中表示第l层第j单元的激活值，为特征向量，为l层结果向量，和为l层权值，非线性激活函数选用双曲正切函数，即

最后一层隐藏层到输出层归结为多类别回归问题，采用softmax激活函数，即

步骤1.10c：保存分类器c参数：加载分类器即可识别物料种类，若有未知类别分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练。

步骤2：采集汽车座椅图像，提取汽车座椅当前物料的颜色特征和纹理特征，并将颜色特征和纹理特征变量融合为综合特征向量，运用预训练的多特征融合分类器进行识别，输出当前物料所属类别；具体为：

步骤2.1：利用相机模块采集当前图像；

步骤2.2：根据上述步骤1.2-1.5提取采集图像的颜色特征变量abshistohue；

步骤2.3：根据步骤1.6-1.8对采集图像进行处理，得到灰度图像grayimg的纹理特征变量，即engery、correlation、homogeneity、contrast、abshistoedgeamp；

步骤2.4：根据步骤1.9，将颜色特征和纹理特征融合为综合特征向量feature，特征向量作为输入层，运用上述步骤1.10得到的多特征融合分类器c进行识别，分类器输出当前物料所属类别label，若当前分类器c无法识别标注类别，输出ng，表示物料种类异常。

步骤3：对汽车座椅图像的灰度图像进行动态阈值分割，获取目标区域和背景；对目标区域进行blob分析，即获取连通区域，并计算连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，进行缺陷检测；具体为：

步骤3.1：考虑汽车座椅图像目标区域和背景区别显著，尤其包含破损、污渍情况，无法通过全局阈值分割目标区域和背景，对步骤2.3获得的灰度图像grayimg进行动态阈值分割，获取目标区域和背景；

步骤3.2：对上述目标区域进行blob分析，获取连通区域，并计算连通区域特征；连通区域特征包括质心、面积、周长、长轴、短轴、角度、圆度、矩形度、紧凑度等；

步骤3.3：根据污渍、破损情况，选择合适的一个或多个连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，即合适的上、下限值，筛选出满足阈值条件的不合格品，进行缺陷检测，输出污渍、破损、合格品检测结果。

步骤4：工业机器人根据缺陷检测结果，抓取工件，分拣物料种类异常、破损、污渍和合格品四类物料至指定区域。

下面给出一种具体实施例：以某一生产线上几种不同座椅缺陷检测和分拣为例,说明本方案的具体实现方法：

本实施例以汽车座椅为对象，包括前排和后排座椅，如图5所示，座椅是汽车整车的核心部件之一，由头枕1、靠背2、坐垫3、手枕4组成，识别座椅不同部位的颜色、材质，包括黑色绒布、黑色皮革、灰色皮革，判断是否存在物料类别异常，如图6所示，并检测各部位是否存在破损、污渍问题，筛选出不合格品，根据分类识别和缺陷检测结果，工业机器人抓取工件，自动分拣物料类别异常、破损、污渍、合格品四类至指定区域。本实施例的具体检测方法为：

步骤1：标注样本集物料类别，再提取样本图像的颜色特征和纹理特征，采用机器学习算法训练多特征融合分类器；具体为：

步骤1.1：根据部位、颜色、材质信息，每个类别挑选num＝100张彩色图像，并标注，作为训练样本；

步骤1.2：对样本集彩色图像colorimg进行高斯滤波预处理，作噪声平滑，其核大小设为3×3，σ＝0.670；

步骤1.3：将经高斯滤波预处理的彩色图像分解为r、g、b灰度图像；

步骤1.4：将r、g、b灰度图像转换至hsv空间，提取h通道图像hue，其中h∈[0,2π]；

步骤1.5：对上述图像hue进行特征提取，提取颜色特征变量，即直方图变量abshistohue；

步骤1.6：将步骤1.2经高斯滤波预处理的彩色图像转换为灰度图像grayimg：

步骤1.7：对灰度图像grayimg进行特征提取，提取纹理特征变量，调整合适的灰度区分数量和方向参数，设置ldgray＝6，direction＝0，生成灰度共生矩阵matrixcooc，根据matrixcooc分别计算能量engery、相关性correlation、熵homogeneity、对比度contrast，用以描述纹理特征；

步骤1.8：采用边缘检测sobel算子对灰度图像grayimg进行一阶导数提取边缘幅值edgeamp，并计算其梯度直方图变量abshistoedgeamp；

步骤1.9：融合描述样本集颜色特征和纹理特征的多个特征向量，记特征向量

feature＝(abshistohue,energy,correlation,homogeneity,contrast,abshistoedgeamp)；

步骤1.10：设计网络结构：由于输出样本个数少，可适当减少隐含层层数，输入层为步骤1.9的特征向量feature，调整网络参数，设置输入层神经元个数n1＝|feature|，输出层节点即类别数量，隐含层为1层，节点数为5，反向传播训练分类器网络，并保存分类器参数。

步骤2：采集汽车座椅图像，提取汽车座椅当前物料的颜色特征和纹理特征，将颜色和纹理特征变量融合为综合特征向量，运用训练的多特征融合分类器进行识别，输出当前物料所属类别；具体为：

步骤2.1：利用相机模块采集当前图像；

步骤2.2：根据上述步骤1.2-1.5提取采集图像的颜色特征变量abshistohue；

步骤2.3：根据步骤1.6-1.8对采集图像进行处理，得到灰度图像grayimg的纹理特征变量，即engery、correlation、homogeneity、contrast、abshistoedgeamp；

步骤2.4：根据步骤1.9，将颜色特征和纹理特征融合为综合特征向量feature，特征向量作为输入层，运用上述步骤1.10得到的多特征融合分类器c进行识别，分类器输出当前物料所属类别label，若当前分类器c无法识别标注类别，输出ng，表示物料种类异常，类别识别成功率达99.9％。

步骤3：采用动态阈值分割目标和背景，计算目标区域特征，结合blob分析进行缺陷检测，筛选出破损、污渍、合格品，具体为：

步骤3.1：考虑汽车座椅图像目标区域和背景区别显著，尤其包含破损、污渍情况，无法通过全局阈值分割目标区域和背景，对步骤2.3获得的灰度图像grayimg进行动态阈值分割，获取目标区域和背景；

步骤3.2：对上述目标区域进行blob分析，获取连通区域，并计算连通区域特征；连通区域特征包括质心、面积、周长、长轴、短轴、角度、圆度、矩形度和紧凑度等；

步骤3.3：根据污渍、破损情况，选择面积、长轴、圆度3个连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，即合适的上、下限值，筛选出满足阈值条件的不合格品，进行缺陷检测，输出污渍、破损、合格品检测结果。

步骤4：工业机器人根据上述分类识别和缺陷检测结果，抓取工件，分拣物料种类异常、破损、污渍和合格品四类物料至指定区域，分拣正确率达99.5％。

本发明未涉及部分均与现有技术相同或采用现有技术加以实现。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。