一种指针式仪表的智能识别方法与流程

【技术领域】

本发明属于人工智能技术领域，具体是指一种指针式仪表的智能识别方法。

背景技术：

变电站智能辅助系统是变电站现代化发展的需求，通过前端采集，结合平台智能视频、人工智能识别算法以及平台大数据分析模型，实现对变电站的智能视频监控、巡检，对仪表的读数进行分析，对设备状态进行分析报警，从而减少人工到站例行巡检和异常查勘的次数，提高运维工作效率和质量，代替巡检人员进行巡视检查，保证供电系统的安全运行。

传统的智能识别算法采用图片比对、颜色统计等方法，算法运行速度慢，识别效果不佳。

技术实现要素：

本发明所要解决的技术问题在于提供一种算法执行速度快、识别效果佳的指针式仪表的智能识别方法。

本发明是这样实现的：

一种指针式仪表的智能识别方法，包括如下步骤：

步骤101：对输入的图像根据仪表参数模型设置的识别范围进行图像剪裁，并对偏斜的图像根据仪表参数模型设置的偏斜角度进行畸变校正；

步骤102：对校正过的图像，进行图像预处理：

包括图像增强、图像平滑、图像二值化、形态学处理去除杂点、保留连通域，寻找关注区域位置；

步骤103：对预处理后的图像，进行hough直线检测，得到图像中各条直线的位置；

步骤104：根据仪表参数模型的参数，对步骤103得到的各条直线进行判断及过滤，找出指针直线；

步骤105：根据已找到的指针直线结合仪表参数模型，确定指针直线的方向；具体包括：

在找出指针直线后，结合仪表参数模型的仪表中心点的坐标，根据直线两个端点距离指针中心点的距离，确定指针的方向，端点距离中心点近的为指针的针端，端点距离中心点远的为指针的针尖；

步骤106：根据仪表参数模型的仪表量程参数，并结合指针直线的方向，计算出仪表读数，输出结果。

进一步地，所述步骤101中的畸变校正，具体包括：

假定未畸变前，图像中各点的像素坐标可以通过公式(1)得到：

其中，xc—像机坐标系x值，yc—像机坐标系y值，zc—像机坐标系z值，x’，y’—像机坐标系xc，yc，zc归一化的中间产物，量纲是倍数，fx，fy—比例因子，cx，cy—内参数，u--图像坐标系x值，v--图像坐标系y值；

如果不存在畸变，那么理想情况下，摄像机成像的坐标转换就可以按照式(1)来进行计算；

在有畸变的情况下，畸变后的坐标：

其中，x”,y”—畸变后摄像机坐标x值、y值，k1,k2,k3—切向畸变参数，p1,p2—径向畸变参数，x’,y’—像机坐标系xc,yc,zc归一化的中间产物，量纲是倍数，r²＝x′²+y′²(3)；

与此同时可以得到畸变图像的各个像素的新坐标为：

其中，ud,vd—畸变后图像坐标x值、y值，fx,fy—比例因子，cx,cy—内参数，x”,y”—畸变后摄像机坐标x值、y值；

由此，得到了一个图像从摄像机坐标系，然后经过畸变，最后得到畸变图像的整个坐标变换过程中的各个点的映射关系；

畸变校正的目的是要找到对应点对的像素值关系，将畸变后的位置的像素值赋给原位置，即：

f(u，v)＝f(h(u，v))＝f(ud，vd)(5)，

由非畸变图像到畸变图像的映射关系为：

f(ud，vd)＝f(u，v)(6)，

由于存在畸变，畸变前坐标为整数，畸变后并不一定为整数，而在图像像素坐标系中，坐标都是整数，因此在这个赋值过程中往往存在取整或者插值操作。

进一步地，所述步骤102中的图像预处理，具体包括：

步骤10201：对校正过的图像进行图像增强处理，增加识别区域的清晰度；

对于灰度图像使用基于空域的算法，具体包括：直接对图像灰度级做运算，分为点运算算法和邻域增强算法；(1)点运算也即对比度增强、对比度拉伸或灰度变换，是对图像中的每一个点单独地进行处理，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。新图像的每个像素点的灰度值仅由相应输入像点运算，只是改变了每个点的灰度值，而没有改变它们的空间关系；(2)邻域增强算法分为图像平滑和锐化两种，平滑一般用于消除图像噪声，但是也容易引起边缘的模糊，常用算法有均值滤波、中值滤波；锐化的目的在于突出物体的边缘轮廓，便于目标识别，常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法；

对于彩色的图像使用基于频域的算法，具体包括：把图像看成一种二维信号，采用图像傅立叶变换实现对图像的增强处理，基础是卷积定理，是一种间接增强的算法；采用低通滤波法，只让低频信号通过，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰；

步骤10202：接着进行图像平滑处理，图像平滑采用高斯滤波器；

高斯滤波是将输入数组的每一个像素点与高斯内核卷积将卷积和当作输出像素值；二维的高斯函数如下：

其中g0(x，y)为输出像素值，μ为均值，即峰值对应位置，σ代表标准差，变量x和变量y各有一个均值，也各有一个标准差；

步骤10203：接着进行图像二值化处理，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程；

图像二值化处理采用otsu算法；

otsu算法又称为最大类间方差法，其中心思想是阈值t应使目标与背景两类的类间方差最大；

对于一幅图像，设当前景与背景的分割阈值为t时，前景点占图像比例为w0，均值为u0，背景点占图像比例为w1，均值为u1，则整个图像的均值u为

u＝w0*u0+w1*u1(8)；

建立目标函数g(t)＝w0*(u0-u)^2+w1*(u1-u)^2(9)；

其中，g(t)就是当分割阈值为t时的类间方差表达式；

otsu算法使得g(t)取得全局最大值，当g(t)为最大时所对应的t称为最佳阈值；

步骤10203：接着进行形态学处理去除杂点处理，采用开运算，先腐蚀后膨胀的过程称为开运算，用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积；

步骤10204：接着进行保留连通域运算，寻找最大连通域作为关注区域，连通域算法采用two-pass两遍扫描法算法；

两遍扫描法，就是通过扫描两遍图像，就可以将图像中存在的所有连通区域找出并标记；第一遍扫描时赋予每个像素位置一个label，扫描过程中同一个连通区域内的像素集合中可能会被赋予一个或多个不同label，因此需要将这些属于同一个连通区域但具有不同值的label合并，也就是记录它们之间的相等关系；第二遍扫描就是将具有相等关系的equal_labels所标记的像素归为一个连通区域并赋予一个相同的label，通常这个label是equal_labels中的最小值；

下面给出two-pass算法的简单步骤：

(1)第一次扫描：

访问当前像素b(x，y)，如果b(x，y)＝＝1：

a、如果b(x，y)的领域中像素值都为0，则赋予b(x，y)一个新的label：

label+＝1，b(x,y)＝label；

b、如果b(x，y)的领域中有像素值>1的像素neighbors：

1)将neighbors中的最小值赋予给b(x，y):

b(x，y)＝min{neighbors}

2)记录neighbors中各个值(label)之间的相等关系，即这些值(label)同属同一个连通区域；

labelset[i]＝{label_m,..,label_n}，labelset[i]中的所有label都属于同一个连通区域；

(2)第二次扫描：

访问当前像素b(x，y)，如果b(x，y)>1：

找到与label＝b(x,y)同属相等关系的一个最小label值，赋予给b(x,y)；完成扫描后，图像中具有相同label值的像素就组成了同一个连通区域。

进一步地，所述步骤103，具体包括：

在图像预处理完成后，接着进行直线检测，找出图像中直线的位置信息，直线检测采用hough直线检测算法；

hough变换是图像处理中从图像识别几何形状的方法，利用点与线的对偶性，将原始图像空间的给定曲线通过曲线表达形式变为hough参数空间中的一个点，所以原始图像给定曲线的检测问题就转化为在hough参数空间的峰值问题，即检测整体特性转化为检测局部特性；欧式空间中一条直线上的点在hough参数空间中为一条正弦曲线；欧式空间中同一条直线上的多个点在hough参数空间中为一个正弦曲线簇且曲线簇相交于一点，称此点为峰值点；而hough参数空间下的峰值点，则对应了欧式空间下的一条直线；

直线方程为：

xcosθ+ysinθ＝ρ(10)

其中，x,y—欧式空间中数据点的x值,y值，ρ—极坐标的直线到原点的距离，θ—极坐标的直线上点的角度；

在欧式空间中数据点的表示为(x，y)，而在hough参数空间内表示为(ρ,θ)；

变换的算法具体流程如下：

(1)初始并网格化hough参数空间；

(2)对于欧氏空间中的每个(x，y)执行步骤(3)；

(3)对于θ＝-90°～180°，执行ρ＝xcosθ+ysinθ与h(ρ,θ)＝h(ρ,θ)+1；

(4)设立阈值，寻找参数空间的峰值点，参数空间每一个峰值点对应欧式空间中一条直线；

进一步地，步骤106，具体包括：

确定了指针的方向后，即可计算出指针的角度θ，结合仪表参数模型的仪表量程参数，计算出仪表读数，计算的公式如下,

其中，v--仪表量程值，θmin--最小量程角度，θmax--最大量程角度，vmin--量程最小值，vmax--量程最大值。

本发明的优点在于：突破了传统的图像比对识别算法，采用对象建模、图像预处理技术和图像解析算法，克服了识别过程慢、识别结果不准确的问题，做到了识别对象的快速识别，识别结果准确的目的，达到了实时在线识别的效果。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1是本发明的流程示意图。

图2是本发明中的指针式仪表图像增强前后对比示意图。

图3是本发明中的欧式参数空间转换为hough参数空间示意图。

【具体实施方式】

一种指针式仪表的智能识别方法，如图1所示，包括如下步骤：

步骤101：对输入的图像根据仪表参数模型设置的识别范围进行图像剪裁，并对偏斜的图像根据仪表参数模型设置的偏斜角度进行畸变校正。

具体包括以下步骤：

步骤10101：对输入的图像根据仪表参数模型设置的识别范围进行图像剪裁。

步骤10102：偏斜的图像根据仪表参数模型设置的偏斜角度进行畸变校正。

图像预处理过程中，对图像进行畸变校正处理：

畸变是在图像的获取或显示过程中往往会产生各种失真(畸变)：几何形状失真、灰度失真、颜色失真。引起图像失真的原因有：成像系统的象差、畸变、带宽有限、拍摄姿态、扫描非线性、相对运动等；传感器件自身非均匀性导致响应不一致、传感器件工作状态、非均匀光照条件或点光源照明等；显示器件光电特性不一致；图像畸变的存在影响视觉效果，也是影响图像检测系统的形状检测和几何尺寸测量精度的重要因素之一。

从摄像机成像畸变的产生是“天生”的，不可避免的，这主要是由于透镜成像原理导致的。其畸变的原理可以参考相机模型。它的畸变按照原理可以分解为切向畸变和径向畸变。

其中，[x′,y′][x′,y′]为畸变后的位置，[x,y][x,y]为畸变前的位置,[ki,pi][ki,pi]为畸变系数。当然，其实畸变系数远远不止这么四个，但通常情况下可以仅考虑这四个。

畸变校正的关键之处就是要找到畸变前后的点位置的对应关系。

假定未畸变前，图像中各点的像素坐标可以通过公式得到：

xc—像机坐标系x值，

yc—像机坐标系y值，

zc—像机坐标系z值，

x’，y’—像机坐标系xc，yc，zc归一化的中间产物，量纲是倍数，

fx，fy—比例因子，

cx，cy—内参数，

u--图像坐标系x值，

v--图像坐标系y值；

如果不存在畸变，那么理想情况下，摄像机成像的坐标转换就可以按照式(1)来进行计算；

在有畸变的情况下，畸变后的坐标：

x”,y”—畸变后摄像机坐标x值、y值，

k1,k2,k3—切向畸变参数，

p1,p2—径向畸变参数，

x’,y’—像机坐标系xc,yc,zc归一化的中间产物，量纲是倍数，

其中r²＝x′²+y′²(3)；

与此同时可以得到畸变图像的各个像素的新坐标为：

ud,vd—畸变后图像坐标x值、y值，

fx,fy—比例因子，

cx,cy—内参数，

x”,y”—畸变后摄像机坐标x值、y值，

由此，得到了一个图像从摄像机坐标系，然后经过畸变，最后得到畸变图像的整个坐标变换过程中的各个点的映射关系；

畸变校正的目的是要找到对应点对的像素值关系，将畸变后的位置的像素值赋给原位置，即：

f(u，v)＝f(h(u，v))＝f(ud，vd)(5)，

由非畸变图像到畸变图像的映射关系为：

f(ud，vd)＝f(u，v)(6)，

由于存在畸变，畸变前坐标为整数，畸变后并不一定为整数，而在图像像素坐标系中，坐标都是整数，因此在这个赋值过程中往往存在取整或者插值操作。

步骤102：对校正过的图像，进行图像预处理：包括图像增强、图像平滑、图像二值化、形态学处理去除杂点、保留连通域，寻找关注区域位置；

对校正过的图像，进行图像预处理，主要包括以下步骤：

步骤10201：对校正过的图像进行图像增强处理，增加识别区域的清晰度。

对于灰度图像使用基于空域的算法，对于彩色的图像使用基于频域的算法。

1、基于空域的算法

直接对图像灰度级做运算，分为点运算算法和邻域增强算法。

(1)点运算也即对比度增强、对比度拉伸或灰度变换，是对图像中的每一个点单独地进行处理，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。新图像的每个像素点的灰度值仅由相应输入像点运算，只是改变了每个点的灰度值，而没有改变它们的空间关系。

(2)邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊，常用算法有均值滤波、中值滤波；锐化的目的在于突出物体的边缘轮廓，便于目标识别，常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。

2、基于频域的算法

把图像看成一种二维信号，采用图像傅立叶变换实现对图像的增强处理，基础是卷积定理，是一种间接增强的算法。采用低通滤波法，只让低频信号通过，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具体的增强效果如图2所示。

步骤10202：接着进行图像平滑处理，图像平滑采用高斯滤波器(gaussianfilter)。

高斯滤波是将输入数组的每一个像素点与高斯内核卷积将卷积和当作输出像素值。二维的高斯函数如下：

其中g0(x，y)为输出像素值，μ为均值，即峰值对应位置，σ代表标准差，变量χ和变量y各有一个均值，也各有一个标准差；

步骤10203：接着进行图像二值化处理，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程；

图像二值化处理采用otsu算法；

otsu算法又称为最大类间方差法，其中心思想是阈值t应使目标与背景两类的类间方差最大；

对于一幅图像，设当前景与背景的分割阈值为t时，前景点占图像比例为w0，均值为u0，背景点占图像比例为w1，均值为u1，则整个图像的均值u为

u＝w0*u0+w1*u1(8)；

建立目标函数g(t)＝w0*(u0-u)^2+w1*(u1-u)^2(9)；

其中，g(t)就是当分割阈值为t时的类间方差表达式；

otsu算法使得g(t)取得全局最大值，当g(t)为最大时所对应的t称为最佳阈值；

步骤10203：接着进行形态学处理去除杂点处理，采用开运算，先腐蚀后膨胀的过程称为开运算，用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积；

步骤10204：接着进行保留连通域运算，寻找最大连通域作为关注区域，连通域算法采用two-pass两遍扫描法算法；

两遍扫描法，就是通过扫描两遍图像，就可以将图像中存在的所有连通区域找出并标记；第一遍扫描时赋予每个像素位置一个label，扫描过程中同一个连通区域内的像素集合中可能会被赋予一个或多个不同label，因此需要将这些属于同一个连通区域但具有不同值的label合并，也就是记录它们之间的相等关系；第二遍扫描就是将具有相等关系的equal_labels所标记的像素归为一个连通区域并赋予一个相同的label，通常这个label是equal_labels中的最小值；

下面给出two-pass算法的简单步骤：

(1)第一次扫描：

访问当前像素b(x，y)，如果b(x，y)＝＝1：

a、如果b(x，y)的领域中像素值都为0，则赋予b(x，y)一个新的label：

label+＝1，b(x,y)＝label；

b、如果b(x，y)的领域中有像素值>1的像素neighbors：

1)将neighbors中的最小值赋予给b(x，y):

b(x，y)＝min{neighbors}

2)记录neighbors中各个值(label)之间的相等关系，即这些值(label)同属同一个连通区域；

labelset[i]＝{label_m,..,label_n}，labelset[i]中的所有label都属于同一个连通区域；

(2)第二次扫描：

访问当前像素b(x，y)，如果b(x，y)>1：

找到与label＝b(x,y)同属相等关系的一个最小label值，赋予给b(x,y)；完成扫描后，图像中具有相同label值的像素就组成了同一个连通区域。

步骤103：在图像预处理完成后，接着进行直线检测，找出图像中直线的位置信息，直线检测采用hough直线检测算法；

hough变换是图像处理中从图像识别几何形状的方法，利用点与线的对偶性，将原始图像空间的给定曲线通过曲线表达形式变为hough参数空间中的一个点，所以原始图像给定曲线的检测问题就转化为在hough参数空间的峰值问题，即检测整体特性转化为检测局部特性；欧式空间中一条直线上的点在hough参数空间中为一条正弦曲线；欧式空间中同一条直线上的多个点在hough参数空间中为一个正弦曲线簇且曲线簇相交于一点，称此点为峰值点；而hough参数空间下的峰值点，则对应了欧式空间下的一条直线；如图3所示，

直线l方程为：

xcosθ+ysinθ＝ρ(10)

x,y--欧式空间中数据点的x值,y值，ρ—极坐标的直线到原点的距离，θ--极坐标的直线上点的角度。

在欧式空间中数据点的表示为(x，y)，而在hough参数空间内表示为(ρ,θ)，p点即为hough参数空间中的峰值点，它所表示的含义即为欧式空间的l直线。

变换的算法具体流程如下：

(1)初始并网格化hough参数空间；

(2)对于欧氏空间中的每个(x，y)执行步骤(3)；

(3)对于θ＝-90°～180°，执行ρ＝xcosθ+ysinθ与h(ρ,θ)＝h(ρ,θ)+1；

(4)设立阈值，寻找参数空间的峰值点，参数空间每一个峰值点对应欧式空间中一条直线；

步骤105：在找出指针直线后，结合仪表参数模型的仪表中心点的坐标，根据直线两个端点距离指针中心点的距离，确定指针的方向，端点距离中心点近的为指针的针端，端点距离中心点远的为指针的针尖；

步骤106：确定了指针的方向后，即可计算出指针的角度θ，结合仪表参数模型的仪表量程参数，计算出仪表读数，计算的公式如下,

其中，v--仪表量程值，θmin--最小量程角度，θmax--最大量程角度，vmin--量程最小值，vmax--量程最大值。

本发明突破了传统的图像比对识别算法，采用对象建模、图像预处理技术和图像解析算法，克服了识别过程慢、识别结果不准确的问题，做到了识别对象的快速识别，识别结果准确的目的，达到了实时在线识别的效果。

以上所述仅为本发明的较佳实施用例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。