一种基于移动终端视觉图像的检测配电柜的方法与流程

本发明属于工业视觉检测的工艺检测技术，特别涉及需要较灵活的视觉检测方式的应用，基于移动终端进行识别；具体涉及一种基于移动终端视觉图像的检测配电柜的方法。

背景技术：

近年来随着我国工业智能化程度的不断深入，越来越多的工艺过程趋于智能化和自动化，大大的提高了效率和准确度，在各种大型工业设备中，配电柜是保证设备运行的重要组成部分，检测配电柜中的接线状态是工艺过程中的重要一环，现有的配电柜接线状态检测方法主要依赖于传统的人工操作，效率低、主观性强。在该类型的工艺过程中引入机器视觉代替工人进行检测将极大的提升工作效率，减少人工成本，提高识别准确性。

集成于设备上的配电柜受限于自身结构和设备整体布局，一般具有空间狭小、光照条件恶劣、配电柜集成度高、接线状态多样的特点，另外，对不同的设备、不同的配电柜的检测需要设备具有较高的适应性和便携性。传统的机器视觉工业检测系统位置和视场均固定，要求检测环境统一、可控，这种检测方式并不能很好的适应于大量的应用模式。

基于移动终端的工艺检测方式不但能够达到自动化检测的效率和准确性，同时克服了传统视觉检测系统的局限，移动终端可以采集到高像素图像，同时自带闪光灯具有补光照明效果，拍摄角度和距离范围较大，能够满足各种恶劣环境下的检测。但是由于拍摄角度和视场的不确定，导致采集的图像具有较大的差异，较难进行自动化检测。一方面开放的检测环境使得前景和背景均很复杂，需要考虑大量的实际情况，另一方面，灵活的检测方式也提高了对操作人员的要求。

目前，国内外在机器视觉的检测方面进行大量的研究并且成果颇丰，很多特定场景的工业识别系统已经实现了完全替代人工，但是在基于移动终端的工艺检测方面研究较少。现有的检测算法存在如下缺陷：采集图像均来自相同的环境、对于采集角度和尺度不确定的情况鲁棒性较差，图像分割基于背景简单的情况，对于复杂背景的识别能力差，识别算法多是基于高配置的PC机，识别算法复杂度高不适合移动终端的嵌入式使用。

技术实现要素：

本发明的目的在于克服目前基于移动终端的检测配电柜的方法存在的上述缺陷，提出了一种新的基于移动终端的检测配电柜的方法，该方法能够通过移动终端采集工艺过程图像，并进行实时匹配和显示匹配度，能够对操作人员拍照提供指导作用，并且对目标区域进行分割，提取目标字符区域并进行识别判定。

为了实现上述目的，本发明提出了一种基于移动终端视觉图像的检测配电柜的方法，所述方法包括：

建立配电柜的典型形状的形状特征分类器；

对通过移动终端采集的配电柜图像进行预处理后进行图像的三级小波分解子图，然后，在形状特征分类器的三级低频子空间中对三级小波分解子图、二级低频子空间中对二级小波分解子图分别进行形状匹配；

如果匹配成功，获取位置信息，然后在高频子空间中进行形状精确匹配定位；否则，调整移动终端的距离和角度，重新采集配电柜图像；

根据采集的图像和位置信息，对配电柜进行检测。

作为上述方法的一种改进，所述方法具体包括：

步骤1)选取典型形状配电柜的多组标准样本和配电柜中的实际样本在支持向量机中进行训练，得到形状特征分类器；

步骤2)对通过移动终端采集的配电柜图像进行预处理；

步骤3)对预处理后的图像进行小波塔式变换：选取Haar小波基，得到图像的三级小波分解子图；

步骤4)在三级低频子空间中，基于图像的三级小波分解子图利用形状特征分类器进行配电柜的形状特征识别，将识别出的形状与模板库中的形状进行特征匹配，如果匹配成功，则转入步骤5)；否则，在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别，将识别出的形状与模板库中的形状进行特征匹配，如果匹配成功，则转入步骤5)；否则，转入步骤2)；

步骤5)在正确匹配的形状位置范围内，在高频子空间中进行形状精确匹配定位；根据实时检测的采集图像和先验知识图像之间的形状的位置关系，利用仿射变换得到采集图像相对于先验知识图像的相对位置；

步骤6)将匹配的位置关系实时在移动终端中进行显示，如果匹配位置关系处于后续分割识别的可控范围；转入步骤7)；否则，提示操作人员调整距离和角度，转入步骤2)；

步骤7)对于采集的图像和位置信息，对待检测目标区域内的图像进行局部自适应二值化，检测的字符区域和杂质区域经过级联式的筛选器，然后对前景和背景进行区分，再对前景进行字符识别和工艺过程状态信息进行判定。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤101)选取配电柜的典型形状；

所述典型形状包括块形和条形，所述多边形和弧边形，所述多边形包括：正方形，矩形，三角形，十字形，菱形和T字形；所述弧边形包括：圆形，环形和椭圆形；所述条形包括：直线，平行线和弧形；

步骤102)提取典型形状的配电柜的多组标准样本和实际样本的图像，对图像进行尺寸归一化，并将图像中每个像素的灰度值作为特征向量；

对于二分类的样本x：x＝{x₁,x₂,x₃,…,x_n}，其中x_i为m维向量，假设该分类问题为线性可分的，则分类面(线，面，超平面)s(x)：

s(x)＝ω^Tx+d＝0；

其中，为样本x的权重向量，ω^Tx＝θ₁x₁+θ₂x₂+…+θ_nx_n，θ_i为分量x_i对应的权重参数，d为常量参数；

使所有样本对分类面的距离|s(x)|≥1，即距离分类面最近的样本与分类面的距离为1；由点面距离公式：可得，对于任何分类面，距离分类面最近的两类样本的距离为

为求得最优分类面，即取最大值等价于||ω||取最小值，即求：

定义Lagrange方程：

其中，λ＝{λ₁,λ₂,λ₃,…,λ_n}为拉格朗日乘子。

对ω,d求偏导数，得到：

ω^*为ω的伴随矩阵；

最优分类函数t(x)为：

其中，sgn为符号函数，d^*为d的伴随矩阵；

通过核函数定义的非线性变换将原特征空间转换到高位特征空间，在新的特征空间中实现先行分类；

步骤103)将样本的特征向量输入支持向量机进行训练，训练好的支持向量机为形状特征分类器；

选用径向基核函数作为核函数：

上式中，x_i和x_j分别为支持向量和待分类模式，σ为高斯函数的标准差，代表了该支持向量在特征空间的影响范围，由此可得到基于支持向量的形状特征分类器模型。

作为上述方法的一种改进，所述步骤2)的预处理包括：对图像进行灰度化和直方图均衡化。

作为上述方法的一种改进，所述步骤3)具体为：

选取Haar小波基对图像进行小波塔式变换，将图像分解为一系列小波图像的叠加，母小波经过位移τ后，再在不同尺度a伸缩的小波系列ψ_a,τ(t)为：

ψ(t)表示母小波，小波变换如下：

ψ^*(t)表示母小波ψ(t)的共轭，x(t)为变换函数，WT_x(a,τ)为变换后的函数；

对于图像函数f(x,y)，二维小波基ψ(x,y)表示二维母小波，则二维连续小波为：

其中，a为尺度伸缩量，bx、by为二维位移；

二维小波变换如下：

将一维离散小波变换分别用于图像灰度矩阵的行和列上，小波尺度函数φ生成的镜像滤波器为H和G，原始图像C₀，则小波变换可把图像表示成一系列各尺度上的细节图像和一幅尺度近似图像，若进行N级小波分解，则可有N个分辨率；每个分辨率的D¹、D²和D³子带保留，C₁子带继续分解，共得到3N+1个子带。k表示分解尺度，r表示每次分解对应的高频信息编号；

根据基于信息熵的判断标准进行三级小波分解，得到图像的三级小波分解子图。

作为上述方法的一种改进，所述步骤4)具体包括：

步骤4-1)在三级低频子空间中对三级小波分解子图进行局部二值化和全局二值化，对图像中提取的形状输入形状特征分类器，对图像进行识别；

步骤4-2)将识别出的多个形状的种类和位置信息同模板库图像中已知的多个形状种类和位置信息进行互相关的图像匹配，匹配依据是计算特征点相关区域的相关系数CC：

其中，W为特征点的邻域，I₁(x,y)为待检测图像的像素灰度值，I₂(x,y)为模板图像的像素灰度值。

对其进行归一化后为：

其中，和分别表示待检测图像和模板图像特征点相关邻域内像素灰度值的均值。形状匹配时选取相关系数中最大的相关系数对应的形状作为该参考点的匹配点；

步骤4-3)如果步骤4-2)中所识别出的形状与先验知识中的形状的特征不匹配，转入步骤4-4)；如果匹配成功，转入步骤5)；

步骤4-4)在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别，将识别出的形状与模板库中的形状进行特征匹配，如果匹配成功，转入步骤4-5)；否则，则认为该图像拍摄失败；转入步骤2)。

作为上述方法的一种改进，所述步骤4)还包括：

对于不能正确匹配的情况，在移动终端的屏幕上进行提示重新选取拍摄角度；对于步骤4)中正确匹配的情况，在移动终端的屏幕上通过四边形显示图像的拍摄角度，四边形对边中短边相对于长边表示该边应该将拍摄距离移近，当屏幕中显示的四边形近似为矩形的时候表示拍摄角度正确；通过箭头表示视场的偏移，选取8个方向的箭头提示操作人员进行视场移动；选用阈值pthres＝0.88，当采集图像的角度和视场偏移相对于先验知识图像的误差小于阈值pthres，则认为该采集图像满足检测条件，进行后续识别。

作为上述方法的一种改进，所述步骤7)具体包括：

步骤7-1)由步骤4)、步骤5)和步骤6)确定的采集图像的定位信息，将先验知识图像中需要检测的目标区域映射到采集图像中，对于待检测目标区域内的图像进行局部自适应二值化，得到目标区域的二值图像，每个目标区域中获得包括字符和杂质的多个区域；

步骤7-2)将这些区域经过级联式筛选器，对前景和杂质根据形态学中的多种几何条件进行判定，每种几何条件作为一个特征进行分类，将区域分为字符区域和杂质区域，同时得到该特征的权重，初始权重为0.5；

步骤7-3)对判定为字符的区域选取下一组几何条件作为特征进一步判定，并得到该特征的权重，并且根据比例更新之前所有特征的权重，最终对于所有的特征和最终的权重，得到满足条件的字符区域和判定为杂质的区域，对字符区域进行排序，进行后续的字符识别和工艺过程状态信息判定。

本发明的优势在于：

本发明的方法能够克服移动终端在配电柜检测过程中的角度和位置差异问题，能够指导操作人员进行检测拍照，同时能够克服工艺检测中复杂背景和照明恶劣的情况，解决了基于移动终端的工艺视觉检测中的实际问题。

附图说明

图1为本发明的基于移动终端视觉图像的配电柜检测方法的流程图；

图2为本发明的选取的配电柜中的典型的形状及分类；

图3为本发明的级联式筛选器的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细的说明。

如图1所示，一种基于移动终端视觉图像的检测配电柜方法，所述方法包括：

步骤1)选取典型形状配电柜的多组标准样本和配电柜中的实际样本在支持向量机中进行训练，得到形状特征分类器，用于后续形状筛选；具体包括：

步骤101)选取配电柜的典型形状；

如图2所示，所述典型形状包括块形和条形，所述多边形和弧边形，所述多边形包括：正方形，矩形，三角形，十字形，菱形和T字形；所述弧边形包括：圆形，环形和椭圆形；所述条形包括：直线，平行线和弧形；

步骤102)提取典型形状的配电柜的多组标准样本和实际样本的图像，对图像进行尺寸归一化，并将图像中每个像素的灰度值作为特征向量；

由于配电柜形状的识别筛选是典型的小样本分类，因此选取基于支持向量机的分类器，对于二分类的样本x：x＝{x₁,x₂,x₃,…,x_n}，其中x_i为m维向量，假设该分类问题为线性可分的，则分类面(线，面，超平面)s(x)：

s(x)＝ω^Tx+d＝0；

其中，为样本x的权重向量，ω^Tx＝θ₁x₁+θ₂x₂+…+θ_nx_n，θ_i为分量x_i对应的权重参数，d为常量参数。

为了提高准确率，需对模型进行规范化，使所有样本对分类面的距离|s(x)|≥1，即距离分类面最近的样本与分类面的距离为1。由点面距离公式：可得，对于任何分类面，距离分类面最近的两类样本的距离为

为求得最优分类面，即取最大值等价于||ω||取最小值，即求：

定义Lagrange方程：

其中，λ＝{λ₁,λ₂,λ₃,…,λ_n}为拉格朗日乘子。

对ω,d求偏导数，得到：

ω^*为ω的伴随矩阵。

最优分类函数t(x)为：

其中，sgn为符号函数，d*为d的伴随矩阵。

通过核函数定义的非线性变换将原特征空间转换到高位特征空间，在新的特征空间中实现先行分类。

步骤103)将样本的特征向量输入支持向量机进行训练，训练好的支持向量机为形状特征分类器；

本发明选用径向基核函数作为核函数，其表现稳定能够达到较好的分类效果，核函数为：

上式中，x_i和x_j分别为支持向量和待分类模式，σ为高斯函数的标准差，代表了该支持向量在特征空间的影响范围，由此可得到基于支持向量的形状特征分类器模型。

步骤2)对通过移动终端采集的配电柜图像进行预处理，所述预处理包括：对图像进行灰度化和直方图均衡化；

步骤3)对预处理后的图像进行小波塔式变换：选取Haar小波基，得到图像的三级小波分解子图；(这个三级包括1级，2级和3级)

选取Haar小波基对图像进行小波塔式变换，将图像分解为一系列小波图像的叠加，母小波经过位移τ后，再在不同尺度a伸缩的小波系列ψ_a,τ(t)为：

ψ(t)表示母小波。

小波变换如下：

ψ^*(t)表示母小波ψ(t)的共轭，x(t)为变换函数，WT_x(a,τ)为变换后的函数。

对于图像函数f(x,y)，二维小波基ψ(x,y)表示二维母小波，则二维连续小波为：

其中，a为尺度伸缩量，bx、by为二维位移。

二维小波变换如下：

本实施例将一维离散小波变换分别用于图像灰度矩阵的行和列上，小波尺度函数φ生成的镜像滤波器为H和G，原始图像C₀，则小波变换可把图像表示成一系列各尺度上的细节图像和一幅尺度近似图像，若进行N级小波分解，则可有N个分辨率；每个分辨率的D¹、D²和D³子带保留，C₁子带继续分解，共得到3N+1个子带。k表示分解尺度，r表示每次分解对应的高频信息编号。

根据紧致性、正交性、正则性、幅值响应单调、相位响应线性的特点，本发明选取dbN系列小波基函数，dbN小波基由Daubechies推导得来，N代表小波函数的消失矩，消失矩越大，它的支撑长度就越大，对应的滤波器就越平滑。当N＝4时，小波函数和尺度函数均可微，故选用db4小波基。根据Mallat多分辨率理论，小波分解过程可以无限进行下去，但是，随着分解级数的增加，除了计算量变大，重构后的图像会出现失真，失去识别能力。本发明的方法根据基于信息熵的判断标准进行三级小波分解，得到图像的三级小波分解子图。

步骤4)在三级低频子空间中，基于图像的三级小波分解子图利用形状特征分类器进行配电柜的形状特征识别，将识别出的形状与模板库中的形状进行特征匹配，如果匹配成功，则转入步骤5)；否则，在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别，将识别出的形状与模板库中的形状进行特征匹配，如果匹配成功，则转入步骤5)；否则，转入步骤2)；具体包括：

步骤4-1)对三级低频子空间中对三级小波分解子图进行局部二值化和全局二值化，对图像中提取的形状输入形状特征分类器，对图像进行识别；

步骤4-2)对识别出的多个形状的种类和位置信息，同模板库图像中已知的多个形状种类和位置信息进行互相关的图像匹配，匹配依据是计算特征点相关区域的相关系数CC：

其中，W为特征点的邻域，I₁(x,y)为待检测图像的像素灰度值，I₂(x,y)为模板图像的像素灰度值。

对其进行归一化后为：

其中，和分别表示待检测图像和模板图像特征点相关邻域内像素灰度值的均值。形状匹配时选取相关系数中最大的相关系数对应的形状作为该参考点的匹配点。

步骤4-3)如果步骤4-2)中所识别出的形状与先验知识中的形状的特征不匹配，转入步骤4-4)；如果匹配成功，转入步骤5)；

步骤4-4)在二级低频子空间中利用形状特征分类器进行配电柜的形状特征识别，将识别出的形状与模板库中的形状进行特征匹配，如果匹配成功，转入步骤4-5)；否则，则认为该图像拍摄失败；转入步骤2)；

步骤5)在正确匹配的形状位置范围内，在高频子空间中进行形状精确匹配定位；

在高频子空间中进行形状精确匹配定位；对于实时检测的采集图像和先验知识图像之间的形状的位置关系，利用仿射变换得到采集图像相对于先验知识图像的相对位置；

步骤6)将匹配的位置关系实时在移动终端中进行显示，如果匹配位置关系处于后续分割识别的可控范围；转入步骤7)；否则，提示操作人员调整距离和角度，转入步骤2)；

对于步骤4)中不能正确匹配的情况，在移动终端的屏幕上进行提示重新选取拍摄角度；对于步骤4)中能正确匹配的情况，在移动终端的屏幕上通过四边形显示图像的拍摄角度，四边形对边中短边相对于长边表示该边应该将拍摄距离移近，当屏幕中显示的四边形近似为矩形的时候表示拍摄角度正确；本发明通过箭头表示视场的偏移，选取8个方向的箭头提示操作人员进行视场移动；本发明选用阈值pthres＝0.88，当采集图像的角度和视场偏移相对于先验知识图像的误差小于阈值pthres，则认为该采集图像满足检测条件，可以进行后续识别。

步骤7)对于采集的图像和位置信息，对待检测目标区域内的图像进行局部自适应二值化，检测的字符区域和杂质区域经过级联式的筛选器，然后对前景和背景进行区分，再对前景进行字符识别和工艺过程状态信息判定；具体包括:

步骤7-1)由步骤4)、步骤5)和步骤6)确定的采集图像的定位信息，将先验知识图像中需要检测的目标区域映射到采集图像中，对于待检测目标区域内的图像进行局部自适应二值化，得到目标区域的二值图像，每个目标区域中获得包括字符和杂质的多个区域；

步骤7-2)将这些区域经过级联式筛选器，如图3所示，对前景和杂质根据形态学中的多种几何条件进行判定，每种几何条件作为一个特征进行分类，将区域分为字符区域和杂质区域，同时得到该特征的权重，初始权重为0.5；

步骤7-3)对判定为字符的区域选取下一组几何条件作为特征进一步判定，并得到该特征的权重，并且根据比例更新之前所有特征的权重，最终，对于所有的特征和最终的权重，得到满足条件的字符区域和判定为杂质的区域，对字符区域进行排序，进行后续的字符识别和工艺过程状态信息判定。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。