一种电力设备铭牌的特征匹配方法及系统与流程

本发明涉及计算机视觉技术领域，更具体地说，涉及一种电力设备铭牌特征匹配方法及系统。

背景技术：

在计算机视觉技术领域里，许多图像的识别问题归结在图像内容检索问题上，图像内容检索则是基于提取的图像特征进行特征匹配来实现。图像特征匹配问题一方面依赖于提取有益的特征点对，即完整性、区分性高的特征点；另一方面则是特征相似度计算方法的实现，在特征相似度计算实现方法上，一般采用基于向量或二进制串的距离计算方法，根据距离大小进行判断。

但是，电力设备铭牌图像具备局部相似性，目前的特征匹配算法无法在特征正确匹配数量的同时，保证图像的匹配准确率。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术无法在特征正确匹配数量的同时，保证图像的匹配准确率缺陷，提供一种基于文本区域，进行电力设备铭牌特征匹配的方法及系统。

本发明解决其技术问题所采用的技术方案是：构造一种电力设备铭牌的特征匹配方法，包括以下步骤：

s1、依次从模板库中获取匹配图像，通过图像采集装置采集待匹配的电力设备铭牌图像；在对所述匹配图像、待匹配图像进行预处理、区域分割后，依次得到与匹配图像、待匹配图像相适应的文字区域特征图；其中，使用ocr算法和sift算法，从所述文字区域特征图中，获取每个文字区域的索引标签和图像特征；

s2、首先，从待匹配图像的文字区域特征图中，读取第一文字区域a；其次，对所述匹配图像包含的所有文字区域进行遍历，每次遍历的过程中，将所述第一文字区域a与匹配图像中且未与区域a进行匹配的第二文字区域b，进行索引标签的匹配以及特征点匹配，在索引标签和特征点均匹配成功的情况下，则默认第一文字区域a与第二文字区域b为同一文字区域，将所述第一文字区域a进行入栈存储；其中，在索引标签匹配失败或特征点匹配失败的情况下，将依据索引标签，从匹配图像中，重新选取一个未与第一文字区域a进行相关匹配操作的文字区域，再重新进行索引标签和特征点的匹配；

s3、遍历结束后，统计栈中包含的第一文字区域a的总数m，若总数m占匹配图像所包含的文字区域数量总数n的份量的x％，则认为所述待匹配的电力设备铭牌图像与模板图像为同一类的图像，当前以匹配图像作为待匹配电力设备铭牌图像的匹配对象，实现了对待匹配的电力设备铭牌图像的特征匹配；其他情况下，则认为匹配失败，将返回步骤s1，重新读取一张待处理的铭牌图像；其中，x的范围调控区间控制在[80,100]。

进一步的，步骤s1中，获取文字区域的索引标签和图像特征的步骤包括：

s11：获取待处理的铭牌图像；

s12：使用canny算子对所述铭牌图像进行边缘检测，针对铭牌所在位置，进行区域裁剪，进而得到铭牌的位置区域，所述区域采集指的是针对图像中的背景区域进行裁剪和滤除；

s13：使用mser算法将铭牌图像分解为多个不同的连通域后，在使用nms算法遍历每个连通域，通过对相关连通域进行过滤与合并，将相关连通域合并，其中，合并得到的区域将作为文字区域；

s14：使用ocr算法对步骤s13获取的文字区域进行文字识别，其中，识别结果将进一步作为文字区域的索引标签；

s15：针对每个文字区域，使用sift算法对铭牌图像进行特征点提取。

进一步的，对于获取的各个第一文字区域、以识别到的索引标签进行一次存储，以s15步骤中提取到的特征点进行二次存储。

进一步的，步骤s2中根据读取的第一文字区域a，进行索引标签匹配的步骤包括：

首先，依据第一文字区域a的索引标签，从模板图像中任取一个未与文字区域a进行索引匹配的第二文字区域b，并读取第二文字区域b的索引标签；

其次，比较区域a与区域b的索引标签相似度，在相似度大于m％的时候，则认为区域a与区域b的索引标签匹配成功，进一步执行步骤s23；若否，则返回步骤s21，依据第一文字区域a的索引标签，从匹配图像中重新读取一个未与第一文字区域a进行索引匹配的文字区域；其中，m的范围调控区间控制在[70,100]；

最后，将所述第二文字区域b存入第一文字区域a的标记队列中。

进一步的，步骤s2中，通过第一文字区域a的标记队列，对第一文字区域a的特征点进行相关匹配，其步骤包括：

首先，从第一文字区域a的标记队列中，读取一个未与第一文字区域a进行特征点匹配的第二文字区域b，并读取第二文字区域b的特征点；

其次，匹配区域a、b的特征相似度，在相似度大于n％的时候，则认为匹配区域a和b的特征匹配成功；若否，则返回步骤s21，直到从第一文字区域a的标记队列中选取到相关文字区域，并完成特征匹配之后，在进一步执行步骤s3；其中，n的范围调控区间控制在[70,100]。

本发明公开的一种电力设备铭牌的特征匹配系统，包括以下模块：

文字区域特征图获取模块，用于依次从模板库中获取匹配图像，通过图像采集装置采集待匹配的电力设备铭牌图像；在对所述匹配图像、待匹配图像进行预处理、区域分割后，依次得到与匹配图像、待匹配图像相适应的文字区域特征图；其中，使用ocr算法和sift算法，从所述文字区域特征图中，获取每个文字区域的索引标签和图像特征；

索引标签匹配模块，用于从文字区域特征图获取模块中获取匹配图像、待匹配图像的文字区域特征图，其中，在所述待匹配图像的文字区域特征图中，读取任意一个第一文字区域a；其次，对所述匹配图像包含的所有文字区域进行遍历，每次遍历的过程中，将所述第一文字区域a与匹配图像中且未与区域a进行匹配的第二文字区域b，进行索引标签的匹配；

数据存储模块，用于存储数据；

特征点匹配模块，用于在遍历过程中，调用索引标签匹配模块，将索引匹配成功的第二文字区域b与第一文字区域a，进行特征点的匹配；其中，针对待匹配图像，其特征匹配成功的第二文字区域b将进一步存入数据存储模块；

统计模块，用于在遍历结束后，从数据存储模块中获取第一文字区域a的总数m，通过将总数m与匹配图像所包含的文字区域数量总数n进行比较，判断所述待匹配的电力设备铭牌图像与模板图像是否为同一类的图像。

进一步的，文字区域特征图获取模块中还包括以下子模块：

数据获取模块，用于获取待处理的铭牌图像；

位置区域划分模块，用于使用canny算子对所述铭牌图像进行边缘检测，针对铭牌所在位置，进行区域裁剪，进而得到铭牌的位置区域，所述区域采集指的是针对图像中的背景区域进行裁剪和滤除；

文字区域分割模块，用于使用mser算法将铭牌图像分解为多个不同的连通域后，在使用nms算法遍历每个连通域，通过对相关连通域进行过滤与合并，将相关连通域合并，其中，合并得到的区域将作为文字区域；

索引标签获取模块，用于使用ocr算法对文字区域分割模块获取的文字区域进行文字识别，其中，识别结果将进一步作为文字区域的索引标签；

特征点提取模块，用于针对每个文字区域，使用sift算法对铭牌图像进行特征点提取。

进一步的，数据存储模块中，对于存储的各个文字区域、以识别到的索引标签进行一次存储，以提取到的特征点进行二次存储。

在本发明所述的一种电力设备铭牌的特征匹配方法及系统中，基于文字区域的电力设备铭牌特征点匹配方法，无论在匹配效果上，还是在算法性能效率上，相较于传统的特征匹配方法，对电力设备铭牌图像具有更优的匹配能力。

本发明综合考虑了电力设备铭牌图像特点，在特征匹配对数量和特征匹配准确率上保证了较好的平衡。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明公开的电力设备铭牌的特征匹配方法流程图；

图2是位置区域实施效果图；

图3是文字区域实施效果图；

图4是本发明公开的电力设备铭牌的特征匹配系统的结构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

在本发明所述的一种电力设备铭牌的特征匹配方法及系统中，基于文字区域的电力设备铭牌特征点匹配方法，相较于传统的特征匹配方法，综合考虑了文本区域的索引匹配与特征点匹配，使得对电力设备铭牌图像的匹配处理上具有更优的匹配能力。

请参考图1，其为本发明提供的一种电力设备铭牌的特征匹配方法流程图，该方法包括以下步骤：

s1、依次从模板库中获取匹配图像，使用rgb图像采集头，针对变压器，采集其的铭牌图像；在对所述匹配图像、待匹配图像进行灰度化、降噪处理、区域分割后，依次得到与匹配图像、待匹配图像相适应的文字区域特征图；其中，使用ocr算法和sift算法，从所述文字区域特征图中，获取每个文字区域的索引标签和图像特征；当中，获取文字区域的索引标签和图像特征的步骤包括：

s11、获取待处理的铭牌图像；

s12、使用canny算子对所述铭牌图像进行边缘检测，针对铭牌所在位置，进行区域裁剪，进而得到铭牌的位置区域，所述区域采集指的是针对图像中的背景区域进行裁剪和滤除；得到的位置区域效果图，请参考图2，其为将图像中的背景区域滤除后，所得到的铭牌位置区域；

s13、使用mser算法将铭牌图像分解为多个不同的连通域后，在使用nms算法遍历每个连通域，通过对相关连通域进行过滤与合并，将相关连通域合并，其中，合并得到的区域将作为文字区域；得到的文字区域效果图，请参考图3，其中矩形或方形框所圈定的区域即为分割得到的连通域，通过将相邻或具有文字链接管的连通域进行合并后，得到的完整区域即为文字区域。

s14、使用ocr算法对步骤s13获取的文字区域进行文字识别，其中，识别结果将进一步作为文字区域的索引标签；

s15、针对每个文字区域，使用sift算法对铭牌图像进行特征点提取；其中，使用sift算法进行铭牌图像的特征提取步骤包括：

s151、基于获取到的铭牌图像，建立dog多尺度金字塔模型，并利用所述dog多尺度金字塔模型，在计算图像的局部极值后，通过去除图像中的不稳定性、边缘化特征点，进一步得到图像中所有特征点的位置；

s152、根据步骤s51获取的所有特征点的位置，计算特征点描述子；

s153、基于所述特征描述子，生成铭牌的图像特征。

s2、从待匹配图像的文字区域特征图中，读取任意一个文字区域a；其次，对所述匹配图像包含的所有文字区域进行遍历，每次遍历的过程中，将所述文字区域a与匹配图像中且未与区域a进行匹配的文字区域b，进行索引标签的匹配以及特征点匹配，在索引标签和特征点均匹配成功的情况下，则默认文字区域a与文字区域b为同一文字区域，将所述第一文字区域a进行入栈存储；其中，在索引标签匹配失败或特征点匹配失败的情况下，将依据索引标签，从匹配图像中，重新选取一个未与文字区域a进行相关匹配操作的文字区域，再重新进行索引标签和特征点的匹配；：

在所述文字区域a未与所述匹配图像中所有的文字区域完成索引标签匹配操作的时候，则返回步骤s1，从模板库中获取一新的匹配图像后，在重复执行步骤s2；

本步骤中，对于读取的文字区域a进行标签匹配的步骤包括：

首先，依据文字区域a的索引标签，从模板图像中任取一个未与文字区域a进行索引匹配的文字区域b，并读取b的索引标签；

其次，匹配区域a与区域b的索引标签，若两者的索引标签的相似度大于70％，则认为a与b的索引标签匹配成功，进一步执行步骤s23；若否，则认为索引标签匹配失败，返回步骤s21，重新从匹配图像中选取一个文字区域；

最后，在匹配成功的情况下，将文字区域b存入文字区域a的标记队列中。

在将待匹配的图像与匹配图像进行特征匹配的时候，其匹配的数据源为文字区域a的标记队列，进一步的，在进行特征匹配时，从文字区域a的标记队列中，提取未与所述文字区域a进行特征点匹配的文字区域b(当前的文字区域已完成了与文字区域a的索引标签的匹配)，将当前提取的文字区域b与文字区域a进行特征点的匹配；若特征匹配成功，则认为待匹配的图像与匹配图像的相关文字区域a已完成了对应的索引标签、特征匹配，默认文字区域a与文字区域b为同一文字区域，将所述文字区域a进行入栈存储；其他情况下，在当前遍历过程中，完成了对应的匹配操作后，则进入到下一次的遍历过程，返回步骤s21，在所述待匹配的文字区域特征图中重新选定一个文字区域，再依次执行后续步骤；

本步骤中，对文字区域a进行特征点匹配的步骤包括：

首先，从文字区域a的标记队列中，读取一个未与文字区域a进行特征点匹配的文字区域b，并读取b的特征点；

其次，匹配区域a、b的特征相似度，若两者的相似度大于70％，则认为区域a与区域b的特征匹配成功；若否，则返回步骤s21，直到从文字区域a的标记队列中，匹配到对应特征的文字区域b。

s3、统计栈中包含的文字区域的总数m，若总数m大于匹配图像所包含的文字区域数量总数n的80％，则认为所述待匹配的电力设备铭牌图像与模板图像为同一类的图像，当前以匹配图像作为待匹配电力设备铭牌图像的匹配对象，实现了对待匹配的电力设备铭牌图像的特征匹配。

本实施例中，对于获取的各个文字区域、以识别到的索引标签进行一次存储，以s15步骤中提取到的特征点进行二次存储，其存储方式如表1所示；对于步骤s13获取的各文字区域(编号1，2，3，…，n)，以步骤s14步骤识别结果为索引标签(编号1，2，……，n)进行一次存储，以s15步骤识别结果为特征点(编号1，2，……，n)进行二次存储：

表1

请参考图4，其为特征匹配系统的结构图，该系统包括文字区域特征图获取模块l1、索引标签匹配模块l2、数据存储模块l3、特征点匹配模块l4和统计模块l5，其中：

文字区域特征图获取模块l1用于依次从模板库中获取匹配图像，通过rgb图像采集头采集待匹配电力设备的rgb铭牌图像；在对所述匹配图像、待匹配图像进行预处理、区域分割后，依次得到与匹配图像、待匹配图像相适应的文字区域特征图；其中，使用ocr算法和sift算法，从所述文字区域特征图中，获取每个文字区域的索引标签和图像特征；其中：当前模块中由以下子模块进一步构成：

数据获取模块l11用于获取待处理的铭牌图像；

位置区域划分模块l12用于使用canny算子对所述铭牌图像进行边缘检测，针对铭牌所在位置，进行区域裁剪，进而得到铭牌的位置区域，所述区域采集指的是针对图像中的背景区域进行裁剪和滤除；

文字区域分割模块l13用于使用mser算法将铭牌图像分解为多个不同的连通域后，在使用nms算法遍历每个连通域，通过对相关连通域进行过滤与合并，将相关连通域合并，其中，合并得到的区域将作为文字区域；

索引标签获取模块l14用于使用ocr算法对文字区域分割模块获取的文字区域进行文字识别，其中，识别结果将进一步作为文字区域的索引标签；

特征点提取模块l15用于针对每个文字区域，使用sift算法对铭牌图像进行特征点提取。

索引标签匹配模块l2用于从文字区域特征图获取模块中获取匹配图像、待匹配图像的文字区域特征图，其中，在所述待匹配图像的文字区域特征图中，读取任意一个文字区域a；其次，对所述匹配图像包含的所有文字区域进行遍历，每次遍历的过程中，将所述文字区域a与匹配图像中且未与区域a进行匹配的文字区域b，进行索引标签的匹配；其中，匹配原则依据两者索引标签的相似度，做进一步判断；

数据存储模块l3用于存储数据；当前模块中，其数据存储模块，对应将存储的各个文字区域、以识别到的索引标签进行一次存储，以提取到的特征点进行二次存储，当前存储模式，请参考上文表1所展示的内容。

特征点匹配模块l4用于在遍历过程中，调用索引标签匹配模块，将索引匹配成功的文字区域b与文字区域a，进行特征点的匹配；其中，针对待匹配图像，其特征匹配成功的第二文字区域b将进一步存入数据存储模块；匹配原则依据两者特征的相似度，做进一步判断；

统计模块l5用于在遍历结束后，从数据存储模块中获取文字区域a的总数m，通过将总数m与匹配图像所包含的文字区域数量总数n进行比较，判断所述待匹配的电力设备铭牌图像与模板图像是否为同一类的图像。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。