一种基于字符分割级联二分类器的自适应汽车仪表检测方法与流程

本发明属于汽车仪表指针视觉检测技术领域。

背景技术：

汽车仪表作为汽车和驾驶员的人机交互界面，是汽车的重要组成部分。汽车仪表对信号的响应精度会直接影响驾驶过程中的安全性以及舒适性。机械式指针仪表上对指针的检测是仪表检测中最为重要的检测项之一，仪表指针对速度指令信号的响应精度直接决定了生产的仪表质量好坏，因此，对指针响应的精确测量要求检测算法具有很高的精度。此外，汽车仪表生产厂商会生产不同种类批次的仪表，所以希望检测算法具有良好的通用性和适应性。

对于汽车仪表指针检测而言，汽车仪表视觉检测系统的工作流程为：

汽车仪表检测系统通过工控机向汽车仪表发送can信号，仪表指针收到信号后对信号进行响应，完成偏转后工业相机对表盘进行图像采集和处理，得到当前仪表实际偏转读数，和给定信号进行对比，计算实际读数和给定信号的误差，判断仪表对信号的响应是否满足精度要求。

汽车仪表视觉检测系统在检测阶段的基本步骤为图像采集，指针提取，刻度点定位，指针读数的计算等。其中，指针提取旨在通过拟合指针位置获得指针角度，传统的指针提取方法主要采用霍夫直线拟合来提取指针位置直线，例如，文献《automaticcalibrationofanaloganddigitalmeasuringinstrumentsusingcomputervision》(《利用计算机视觉的模拟和数字测量仪表自动校正方法》)利用帧差法，通过对图像阈值分割以及采用细化算法，采用hough变换检测指针的位置；文献《computervisionappliedtotheautomaticcalibrationofmeasuringinstruments》(《计算机视觉在测量仪表自动校正中的应用》)首先计算图像的梯度，对图像进行二值化后进而采用hough直线拟合的方式检测指针直线；文献《machinevisionbasedautomaticdetectionmethodofindicatingvaluesofapointergauge》(《基于机器视觉的仪表指针读数自动测量方法》)采用了求取整幅图像的边缘图，对指针边缘进行hough直线拟合，等。上述的方法均没有考虑在指针和表盘数字发生重叠的情况拟合直线带来的偏差，该种情况下采用上述方法拟合得到的直线会有一定幅度的偏离指针中心线，使测量精度不高。

刻度点定位旨在确定刻度点在图像坐标系中的位置继而确定转角和速度的对应关系。文献《machinevisionbasedautomaticdetectionmethodofindicatingvaluesofapointergauge》(《基于机器视觉的仪表指针读数自动测量方法》)利用边界填充的方法对刻度点区域进行提取，并在极坐标系下采用改进的中心投影的方法确定刻度区域，根据角度直方图中角度频率大小确定主刻度点的角度位置。这种方式默认刻度点分布在一个环形灰度连通域上，对于独立分布的仪表刻度点，该种方法显然无法提取有效的刻度区域。文献《automaticcalibrationofanaloganddigitalmeasuringinstrumentsusingcomputervision》(《利用计算机视觉的模拟和数字测量仪表自动校正方法》)将笛卡尔坐标系转变为极坐标系，将环型的刻度变换为直线后进行处理，该种方法默认刻度均匀分布，检测零点和最大值刻度点即可得到角度与速度之间的关系，但是这种方法很难适用于汽车仪表这种仪表板存在两个表盘的情况，由于摄像头检测每一个表盘均存在视差，所以刻度点在表盘上并不是均匀地分布，按照该方法所得到的角度速度关系会让会让误差变大。此外，以上的各种仪表检测方法对于特定的单表盘仪表可能有较好的检测效果，但是当仪表的形状，背景发生改变的时候，算法往往需要更改大量的参数，这是因为以上算法所选取的仪表特征并不具有通用性。此外，刻度点对应的速度值算法无法从表盘自动读取，需要人手工赋值，算法自动化程度不高。

综上所述，将现有的仪表检测系统在汽车仪表检测领域存在的问题总结如下：

1)传统基于帧差法及细化算法进而通过霍夫直线拟合所得到的仪表指针直线拟合精度低；

2)传统的方法主要用于检测单表盘且背景单一的仪表，对于有双表盘且背景复杂的汽车仪表检测适应性差，检测精度低；

3)传统的方法自适应性差，对于仪表生产厂商生产出的不同类型的表不能自适应的检测，算法的泛化能力低；

4)传统的方法无法直接自动获得仪表刻度具体的读数，需要手工赋值，自动化程度低。

技术实现要素：

本发明是为了解决现有的仪表检测系统在汽车仪表检测领域存在的问题，现提供一种基于字符分割级联二分类器的自适应汽车仪表检测方法。

一种基于字符分割级联二分类器的自适应汽车仪表检测方法，包括以下步骤：

步骤一：当待测仪表输入信号值为i时，采集整个汽车表盘的彩色图像作为原始图像，对原始图像中的roi图像进行预处理获得二值图像，采用基于轮廓分析的方法提取二值图像中指针连通域的指针图像，对指针图像进行细化操作并拟合，获得当前指针响应值对应的拟合直线，并根据拟合直线的角度获得指针角度

步骤二：使i＝i+q，判断i是否小于等于待测仪表最大刻度值，是则存储当前指针响应值对应的拟合直线并返回步骤一，否则执行步骤三，其中，i的初始值为0，q表示待测仪表相邻主刻度的示数差值；

步骤三：利用字符分割级联二分类器对roi图像进行多尺度检测，获得待测表盘上的数字字符区域，所述字符分割级联二分类器由hog/svm字符分割二分类器、字符滤波器和cnn数字分类器级联构成；

步骤四：将指针旋转中心与每个数字字符区域中心相连并做延长线，延长线长度为定长λ，以每条延长线的末端点为每个数字字符区域所对应刻度点区域的搜索中心；在以每个搜索中心为圆心、搜索半径为r的圆形区域内搜索每个数字字符区域对应的主刻度点，获得每个数字字符区域对应的主刻度点；

步骤五：将指针角度作为自变量，指针响应值作为因变量，将主刻度点的角度和其对应的示数作为插值点，利用牛顿插值多项式建立待测仪表的牛顿插值线性描述关系，将指针角度代入该牛顿插值线性描述关系中，获得步骤二存储的每条拟合直线对应的指针响应值，所述主刻度点的角度为：主刻度点连线与坐标系的横坐标轴正方向所形成的夹角，所述主刻度点连线为主刻度点在以指针旋转中心为坐标原点的坐标系中的位置坐标与坐标原点的连线；

步骤六：分别计算待测仪表每个输入信号值和指针响应值之间的误差，判断该误差大小是否小于误差标准阈值，是则待测仪表合格，否则待测仪表不合格。

本发明的有益效果如下：

1)本发明提出的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，在检测过程中无需更改大量参数，自适应性强，灵活度高。在实际检测系统应用的训练阶段得到一个鲁棒性强，可靠性高的字符分割级联二分类器，利用该分类器能够检测仪表上数字字符区域，并以此为基准提取刻度点，同时得到刻度点的角度和对应示数。

2)本发明所述方法包含了一种基于轮廓分析的指针提取方法，相比于传统的hough直线拟合方法，能够最大程度保证提取的指针精度，进而保证识别精度。图2显示了对仪表盘图像进行二值化后指针在数字区域存在遮挡的情况，图3图4显示通过指针提取算法，能够将去除数字引入的干扰，对仪表指针精确拟合，提高了算法的精确度。

3)本发明所述方法还包含一种基于字符分割级联二分类器的字符识别方法，相较于普通hog/svm二分类器，鲁棒性高，适用范围广，图6和图8显示训练得到的级联分类器对不同类型的速度表均能正确检测，图5和图7显示训练得到的级联分类器对不同类型转速表均能进行正确检测，代表性的显示了该算法鲁棒性强，适用范围广。

4)本发明所述方法够检测绝大多数汽车仪表，包括不同形状，分布结构的汽车仪表，且对相对复杂的背景仍能准确检测，算法鲁棒性高，应用范围广。

5)本发明建立的汽车仪表指针角度和对应响应值的牛顿插值线性关系的精度高。在一种典型的实验情况下：暗环境，采集图像的分辨率为1280*628，针对同一款汽车仪表，现有技术提出的方法和本发明提出的识别方法的相对误差对比如图14所示。

6)本发明提出的基于字符分割级联二分类器的自适应汽车仪表检测方法也可以适用于形状不同的单表盘仪表的检测和校正过程。

附图说明

图1为本发明所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法的流程图；

图2为具体实施方式二所述的提取指针连通域图像的过程示意图；

图3为具体实施方式二所述的提取指针连通域图像过程中各中间图像的示意图，其中(a)为指针粗提取图像的轮廓示意图，(b)为轮廓拟合直线示意图，(c)为最大内轮廓的示意图，(d)为指针连通域的示意图；

图4为具体实施一步骤三提出的对指针进行最小二乘拟合得到的拟合直线示例图，其中(a)对应速度信号为80km/h的仪表指针图像，(b)对应速度信号为100km/h的仪表指针图像；

图5为具体实施方式八采用鲁棒性强的级联二分类器对待测的转速表得到的字符区域；

图6为具体实施方式八采用鲁棒性强的级联二分类器对待测的速度表得到的字符区域；

图7为具体实施方式八采用鲁棒性强的级联二分类器检测不同类型的转速表得到的字符区域；

图8为具体实施方式八采用鲁棒性强的级联二分类器检测不同类型的速度表得到的字符区域；

图9为具体实施九中确定搜索中心点的示例图；

图10为具体实施九中搜索范围的示例图；

图11为具体实施九中搜索主刻度点的局部分析图；

图12为具体实施九提取得到主刻度的示例图；

图13为具体实施九中以指针旋转中心(xcenter,ycenter)为坐标原点建立的坐标系；为第i个刻度点质心在图像坐标系下的坐标；△θⁱ为图像坐标系中(xcenter,ycenter)与形成直线与横坐标轴形成的锐角；为△θⁱ在指针旋转中心(xcenter,ycenter)为坐标原点建立的坐标系中的角度；

图14为论文《automaticcalibrationofanaloganddigitalmeasuringinstrumentsusingcomputervision》(《利用计算机视觉的模拟和数字测量仪表自动校正方法》)提出的算法和本发明提出的识别算法的相对人工读取仪表的误差对比图。

具体实施方式

具体实施方式一：参照图1和图4具体说明本实施方式，本实施方式所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法，包括以下步骤：

步骤一：当待测仪表输入信号值为i时，仪表指针响应该信号，旋转获得响应值，采集整个汽车表盘的彩色图像作为原始图像，在原始图像中获取待测仪表(速度表或转速表)的roi(regionofinterest，感兴趣区域)图像，对roi图像进行灰度化处理并采用ostu算法进行阈值分割获得二值图像，对二值图像的每个连通域进行二值化标记，然后执行步骤二；

步骤二：采用基于轮廓分析的方法对二值化标记后的二值图像进行仪表指针精提取，获得仪表指针连通域图像，然后执行步骤三；

步骤三：对指针连通域图像进行细化操作，获得细化结果，采用最小二乘直线拟合方法对细化结果进行拟合，获得当前指针响应值对应的拟合直线，根据拟合直线确定拟合直线角度△θ^j，然后执行步骤四；

步骤四：使i＝i+q，判断i是否小于等于待测仪表最大刻度值，是则存储当前指针响应值对应的拟合直线并返回步骤一，否则利用已存储的m条拟合直线建立仪表指针信息列表，然后执行步骤五，其中，i的初始值为0，m为正整数，q表示待测仪表相邻主刻度的示数差值；

所述仪表指针信息列表包括以下数据：

m个输入信号值、m个指针响应值、每个响应值对应的拟合直线在图像坐标系下的斜率、m个拟合直线角度△θ^j、多个两两相交的拟合直线的交点(xk,yk)和m个指针角度所述指针角度为拟合直线角度△θ^j在以仪表指针旋转中心(xcenter,ycenter)为原点的坐标系中对应的角度；

步骤五：设计鲁棒性强的字符分割级联二分类器(鲁棒性强指同一个分类器能够识别不同种类的汽车仪表图像中的字符)对roi图像进行多尺度检测，获得待测表盘上的数字字符区域，所述字符分割级联二分类器由hog/svm字符分割二分类器、字符滤波器和cnn(卷积神经网络)数字分类器级联构成；

hog/svm字符分割二分类器用于对roi图像进行多尺度检测，获得多个数字字符候选区域，

字符滤波器用于将每个数字字符候选区域中的元素分割，滤除非字符元素，获得每个数字字符候选区域的字符元素，

cnn数字分类器用于对每个数字字符候选区域的字符元素进行识别，获得每个数字字符候选区域的视数，利用每个数字字符候选区域的视数对数字字符候选区域进行筛选，获得多个数字字符区域；

步骤六：以数字字符区域为基础搜索仪表主刻度点，将指针旋转中心与每个数字字符区域中心相连并做延长线，延长线长度为定长λ，以每条延长线的末端点为每个数字字符区域所对应刻度点区域的搜索中心；在以每个搜索中心为圆心，搜索半径为r的圆形区域内搜索每个数字字符区域对应的主刻度点，并获得每个数字字符区域的主刻度点；

步骤七：将指针角度作为自变量，指针响应值作为因变量，将主刻度点的角度和对应的示数作为插值点，利用牛顿插值多项式建立汽车表盘牛顿插值线性描述关系，将指针角度代入利用该线性描述关系中，获得仪表指针信息列表中m个指针响应值，所述主刻度点的角度为：主刻度点连线与坐标系的横坐标轴正方向所形成的夹角，所述主刻度点连线为主刻度点在以指针旋转中心为坐标原点的坐标系中的位置坐标与坐标原点的连线；

步骤八：分别计算待测仪表每个输入信号值和指针响应值之间的误差，判断该误差大小是否小于误差标准阈值，是则待测仪表合格，否则待测仪表不合格，所述误差标准阈值根据《gb/t12548-2016汽车速度表、里程表检验校正方法》设定。

m个指针位置，对应m个指针的输入信号值、m条拟合直线、m个指针响应值。步骤八中将m个指针位置对应的指针的输入信号值与获得的m个指针响应值分别一一计算误差值。

本实施方式通过1)对原始图像进行阈值分割，形态学及连通域分析处理；2)采用基于轮廓分析的方法精提取指针，建立指针姿态信息列表；3)构建由hog/svm二分类器，字符滤波器，cnn数字分类器组成的字符分割级联二分类器，字符分割级联二分类器能够获得待测表盘上的数字字符区域和该区域主刻度点所对应的示数；4)采用级联二分类器识别仪表数字字符区域；5)以数字区域中心为基础进行局部分析，确定刻度点对应的角度位置；6)建立仪表指针角度与响应值之间的牛顿插值线性描述关系，确定指针对应的响应值等步骤实现的。本实施方式适用于汽车仪表指针视觉检测领域。

具体实施方式二：参照图2和3具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤二中仪表指针连通域图像的具体获得方法为：

对二值化标记后面积最大的连通域进行指针粗提取，获得指针粗提取图像，

提取指针粗提取图像的轮廓，获得轮廓图像，

采用ppht(progressiveprobabilistichoughtransform，概率霍夫变换)算法对轮廓图像拟合，获得具有轮廓拟合直线的轮廓图像，

在具有轮廓拟合直线的轮廓图像中寻找面积最大的内轮廓，提取该内轮廓所对应的连通域图像作为仪表指针连通域图像。

具体实施方式三：参照图4具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤四中，利用以下公式获得第k个两两相交的拟合直线的交点(xk,yk)：

(两拟合直线斜率k1和k2均存在)

(其中一条拟合直线斜率k2不存在)

其中，b1和b2分别为两拟合直线的截距，k1和k2分别为两拟合直线的斜率；

将n个拟合直线交点的平均值作为仪表指针旋转中心(xcenter,ycenter)，利用如下公式获得仪表指针旋转中心(xcenter,ycenter)，

其中，n和k均为正整数。

具体实施方式四：参照图13具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，根据下式获得第j个指针位置所对应的拟合直线角度△θ^j：

式中，k*为第j条拟合直线的斜率；

根据下式获得指针角度

式中，为拟合直线上任意一点的坐标，quadrant表示象限。

具体实施方式五：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中hog/svm字符分割二分类器的获得方法为：

步骤五一：制作包括有正样本集和负样本集的训练样本集合，所述正样本集为不同类型仪表盘图像中数字字符区域，负样本集包括不同类型仪表盘图像中的指针图像元素、指示灯图像元素和刻度点图像元素；

步骤五二：将训练样本集合中所有样本图像的尺寸进行归一化处理，获得具有相同尺寸样本的训练样本集合；

步骤五三：对每个相同尺寸的训练样本提取hog特征，生成特征向量矩阵，并将正样本标记为1，负样本标记为0，获得所有样本标签；

步骤五四：将特征向量矩阵以及样本标签都输入到线性svm中进行训练，获得hog/svm字符分割二分类器。

在实际操作中，针对转速表，样本图像尺寸归一化为32*32；针对速度表，样本图像尺寸归一化为48*32，单位为像素。

具体实施方式六：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中字符滤波器的滤波方法为：

对每个数字字符候选区域进行阈值分割，获得多个连通域元素，

对每个连通域元素进行标记并求取每个连通域元素轮廓的最小外接矩形，

分别对每个连通域元素进行筛选，获得每个数字字符候选区域的字符元素，

所述筛选条件如下：

每个连通域元素的高度大于12个像素，小于30个像素；

连通域元素的像素与其最小外接矩形的像素比值小于0.8；

连通域的最小外接矩形的长宽比大于0.1且小于0.85。

具体实施方式七：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中，cnn数字分类器的获得方法为：

建立汽车仪表数字数据集，该数据集包括训练集和测试集，

对训练集和测试集中的每一张图片进行标记，获得10个分类图集；

将训练集中的图片尺寸归一化为28*28；

将测试集和归一化后的训练集输入到cnn网络中进行训练，获得cnn数字分类器；

所述cnn网络采用lenet5架构，共有七层，

第一层为输入层，为28*28大小的图片输入层，

第二层为卷积层，卷积核大小为3*3，卷积核个数为32个，采用relu(rectifiedlinearunits，修正线性单元)激活函数激活，

第三层为池化层，采用maxpooling(最大池化)的方式降低卷积层输出的特征向量，采样核的大小为2*2，

第四层为卷积层，卷积核大小为3*3，卷积核个数为64个，采用relu激活函数激活，

第五层为与第三层相同的池化层，

第六层和第七层均为全连接层，第六层的神经元个数为120个，采用relu激活函数激活，第七层神经元个数为10个，采用softmax(多项逻辑斯特回归)方式激活。

本实施方式中，采用反向传播算法对cnn中的权值和偏置进行更新，两个全连接层均采用设置dropout(舍弃率)方式抑制训练cnn网络中的过拟合现象，第六层全连接层加入dropout采用的比例为0.5，第七层加入dropout采用的比例为0.25，本例中训练网络的迭代次数为50次，训练集大小为10000张图片，测试集大小为2000张。最后得到的cnn网络在测试集上的识别精度为99.63％。

实际应用时，汽车仪表表盘数字没有9，因此，本实施方式中的数据集包括0～8九个数字分类和由汽车仪表上其他非数字元素所组成的第10个分类。

具体实施方式八：参照图5至图8具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤五中，利用每个字符候选区域的视数对字符候选区域进行筛选的具体过程为：

将每个数字字符候选区域的视数与待测仪表上的数字集合作比较，将视数属于仪表数字集合的区域作为数字字符区域。

在实际应用时，若待测仪表为速度表(如图6所示)，其对应的仪表上的数字集合为{0km/h,20km/h,...240km/h}，若待测仪表为为转速表(如图5所示)，其对应的仪表上的数字集合为{0,1,...,8}*1000r/min。对检测到的数字字符区域采用矩形框标记，该矩形框的中心则为该字符区域的中心。

具体实施方式九：参照图9、10、11、12和13具体说明本实施方式，本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤六中每个数字字符区域的搜索中心坐标通过以下方法获得：

联立直线方程和圆方程，获得两个交点坐标，将与指针旋转中心距离大的交点坐标作为搜索中心坐标

所述直线方程为指针旋转中心(xcenter,ycenter)与数字字符区域中心连线的方程，如式(1)所示，

所述圆方程为以数字字符区域中心为圆心，λ为半径的圆的方程，如式(2)所示，

xⁱ为直线方程的自变量、yⁱ为直线方程的因变量、(xrcenter,yrcenter)为字符区域中心点的坐标；

步骤六中每个数字字符区域对应的主刻度点的搜索方法为：

在圆形区域内搜索面积最大的连通域作为待测仪表的第i个主刻度点，求取主刻度点的质心在图像坐标系下的坐标作为主刻度点的估计位置；

将主刻度点的坐标由图像坐标系变换到以指针旋转中心(xcenter,ycenter)为坐标原点的矩形坐标系下，变换的目的为让角度的变化为单调递增的变化规律，

在以指针旋转中心(xcenter,ycenter)为坐标原点的坐标系内，质心的角度通过下式获得：

式中，△θⁱ为图像坐标系中指针旋转中心(xcenter,ycenter)与等效质心形成的直线与横坐标轴形成的锐角；当时，△θⁱ＝90°；在以(xcenter,ycenter)为坐标原点的坐标系中，以顺时针为正。

具体实施方式十：本实施方式是对具体实施方式一所述的一种基于字符分割级联二分类器的自适应汽车仪表检测方法作进一步说明，本实施方式中，步骤七中建立汽车仪表牛顿插值线性描述关系的具体过程为：

牛顿插值多项式如下：

一阶差商f[xi,xi+1]为：

二阶差商f[xi,xi+1,xi+2]为：

xi为第i个插值点的横坐标，

k阶差商f[x0,x1,...,xk]为：

xk为第k个插值点的横坐标，

k次多项式为：

nn(x)＝f(x0)+f[x0,x1](x-x0)+…+f[x0,x1,...,xn](x-x0)(x-x1)…(x-xn-1)

上式中，x为指针的角度，nn(x)为指针角度所对应的指针响应值；{(x0,f(x0)),(x1,f(x1)),...,(xn,f(xn))}为参与插值的插值点集合，n≥3；{x0,x1,...,xn}为每个字符区域的主刻度点在以指针旋转中心(xcenter,ycenter)为坐标原点的坐标系中对应的角度值，{f(x0),f(x1),...,f(xn)}为主刻度点所对应的示数集合。