融合巡检机器人定位信息的电力表计检测方法与流程

本发明涉及到目标检测方法，具体涉及一种融合巡检机器人定位信息的电力表计检测方法。

背景技术：

电力巡检机器人需要实现变电站内自主定位与导航、现场仪表示数识别、自动充电等基本功能。其中核心的功能就是检测和识别现场电力设备的仪器仪表的示数，如放电计数器、油位表、电压表、温度表等仪表示数，这些仪表基本都是机械式仪表，需要机器人依靠视觉传感器进行仪表示数读取。而准确识别仪表示数的前提是准确检测到视觉图像中仪表的位置，且大多数仪表在室外，目前大多数方法，利用传统的图像处理手段进行检测和识别，在光照条件变化的情况下，检测效果不好，一般一种光照条件就需要一组参数，这就需要提出一种较为通用的检测和识别方法，应对不同光照、姿态条件下的仪表检测任务。

技术实现要素：

本发明的目的在于提供了一种融合巡检机器人定位信息的电力表计检测方法，解决现有仪表检测技术中存在的机器人位置不定时，目标尺度、角度变化大，目标受光照影响大从而导致检测不准确的问题。

实现本发明目的的技术方案为：一种融合巡检机器人定位信息的电力表计检测方法，具体步骤为：

步骤1、利用仪表图像数据集训练分类器，并为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人到达指定巡检点获取待检测仪表图片；

步骤2、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标仪表区域进行粗定位；

步骤3、利用机器学习的方法对目标仪表区域进行精确定位，将待检测图像送入训练过的分类器，得到若干个目标候选区域；

步骤4、计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标。

优选地，步骤4中计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标的具体步骤为：

步骤4-1、分别将每个目标候选区域与粗定位目标仪表区域求交并比参数iou；

步骤4-2、分别将每个目标候选区域图像与模板图像中的仪表区域图像做感知哈希计算，获得感知哈希指标；

步骤4-3、分别计算每个目标候选区域图像与模板图像的互信息指标；

步骤4-4、将每一目标候选区域的交并比iou、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果；

步骤4-5、若备选检测结果的iou满足同时小于设定阈值thresholdiou且(phash+1/i(g(x),h(y)))大于阈值thresholda时，将步骤2确定的粗定位目标仪表区域作为最终目标，否则以备选检测结果作为最终目标，phash为备选检测结果感知哈希指标，i(g(x),h(y))为互信息指标。

优选地，步骤4-1将每个目标候选区域与粗定位目标仪表区域求交并比参数iou的公式为：

式中，c为粗定位目标仪表区域，ni为目标候选区域。

优选地，步骤4-2分别将每个目标候选区域图像与模板图像中的仪表区域图像做感知哈希计算的具体方法为：

将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的部分低频区域，去除坐标(0,0)的直流分量得到一共n维特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标。

优选地，步骤4-3每个目标候选区域图像与模板图像的互信息指标的计算公式为：

g(x)、h(y)分别为模板图像与候选图像灰度像素的数目，w、h分别为候选区域图像宽、高。

优选地，步骤4-4中置信度的计算公式为：

confidence＝1-(phash+1/i(g(x),h(y)))/(iou+d)

式中，i(g(x),h(y))为互信息指标，phash为感知哈希指标，iou为交并比指标，d为设定的常数。

优选地，阈值thresholdiou取值范围0.1～0.4，阈值thresholda取值范围10～50。

优选地，步骤1中的分类器为adaboost分类器。

本发明与现有技术相比，其显著优点为：1)本发明在分类器筛选的基础上，基于机器人定位导航，利用图像的频域进行，进行相位相关计算，使用图像位移指标做大限度的减少了漏检的误检问题；2)本发明融合了机器人定位信息，利用机器人已有的定位信息，尽量使得位置重复度高(比如低于5cm的定位)，尺度、旋转等变化较小，在此基础上利用相位相关进行粗检测，基本所有表都能检到；3)本发明利用机器学习，能检测到多种光照、姿态变化下的仪表。

附图说明

图1为本发明总体流程示意图。

图2为训练数据示意图。

图3为采集的模板图像示意图。

图4为实施案例1的结果图。

图5实施案列2的结果图。

图6为本发明流程示意图。

具体实施方式

如图1和图6所示，一种融合巡检机器人定位信息的电力表计检测方法，具体步骤为：

步骤1、利用仪表图像数据集训练分类器，并为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人到达指定巡检点获取待检测仪表图片；

步骤2、利用梅林傅里叶变换和相位相关技术对待检测仪表图片中的目标仪表区域进行粗定位；

步骤3、利用机器学习的方法对目标仪表区域进行精确定位，将待检测图像送入训练过的分类器，得到若干个目标候选区域；

步骤4、计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标。

进一步的实施例中，步骤4中计算多个候选区域的感知哈希、互信息和交并比三种参数指标，筛选目标候选区域得到最终目标的具体步骤为：

步骤4-1、分别将每个目标候选区域与粗定位目标仪表区域求交并比参数iou；

步骤4-2、分别将每个目标候选区域图像与模板图像中的仪表区域图像做感知哈希计算，获得感知哈希指标；

步骤4-3、分别计算每个目标候选区域图像与模板图像的互信息指标；

步骤4-4、将每一目标候选区域的交并比iou、互信息指标以及感知哈希三种指标做加权求出每一目标候选区域的置信度，将置信度最大的目标候选区域作为备选检测结果；

步骤4-5、若备选检测结果的iou满足同时小于设定阈值thresholdiou且(phash+1/i(g(x),h(y)))大于阈值thresholda时，将步骤2确定的粗定位目标仪表区域作为最终目标，否则以备选检测结果作为最终目标，phash为备选检测结果感知哈希指标，i(g(x),h(y))为互信息指标。

进一步的实施例中，步骤4-1将每个目标候选区域与粗定位目标仪表区域求交并比参数iou的公式为：

式中，c为粗定位目标仪表区域，ni为目标候选区域。

进一步的实施例中，步骤4-2分别将每个目标候选区域图像与模板图像中的仪表区域图像做感知哈希计算的具体方法为：

将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的部分低频区域，去除坐标(0,0)的直流分量得到一共n维特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标。

进一步的实施例中，步骤4-3每个目标候选区域图像与模板图像的互信息指标的计算公式为：

g(x)、h(y)分别为模板图像与候选图像灰度像素的数目，w、h分别为候选区域图像宽、高。

进一步的实施例中，步骤4-4中置信度的计算公式为：

confidence＝1-(phash+1/i(g(x),h(y)))/(iou+d)

式中，i(g(x),h(y))为互信息指标，phash为感知哈希指标，iou为交并比指标，d为设定的常数。

进一步的实施例中，阈值thresholdiou取值范围0.1～0.4，阈值thresholda取值范围10～50。

进一步的实施例中，步骤1中的分类器为adaboost分类器。

本发明解决了解决现有仪表检测技术中存在的不足，如：1)机器人位置不定时，目标尺度、角度变化大；2)目标受光照影响大，比如过亮、过暗等等。为解决上述两个问题采用了两种检测方法结合的技术方案：1)利用机器人已有的定位信息。由于机器人导航定位技术的精确度，定位误差小于5cm，因此摄像头拍出的图像尺度、旋转等变化较小，在此基础上利用相位相关进行粗检测；2)针对图像的光照变化、检测目标的姿态变化，采用机器学习的方法进行精确检测。

下面结合实施例对本发明做进一步说明。

实施例1

一种融合巡检机器人定位信息的电力表计检测方法，具体步骤为：

步骤1-1、收集巡检机器人采集的现场巡检点的图片，从中提取电表的图像，按照仪表分类制作成48*48的灰度图像数据集，如图2所示，将图像数据集送入分类器中训练；

步骤1-2、从各个巡检点拍摄到的图片中各选取一张巡检仪表居中的图像，如图3所示，作为检测的模板图像；

步骤1-3、巡检机器人通过定位导航达到指定巡检点，导航误差5cm，拍摄一张图像a用于仪表检测；

步骤2、将巡检机器人拍摄的图像a与当前巡检点模板图像b进行梅林傅里叶变换和相位相关计算，求出横坐标与纵坐标的图像偏移指标(-20,30)，计算得到图像a中的仪表估计位置(728,891,201,198)；

步骤3、利用提前训练好的机器学习adaboost分类器对待检测图像进行精确定位，得到多个目标候选区域，如图4为分类器筛选出来的目标区域，其中图1根据adaboost分类器得到三个候选框；

步骤4、分别计算每个候选框的iou、互信息和phash以及置信度，候选框中数值第一行为感知哈希phash，第二行为互信息，第三行为iou，第四行为置信度confidence。；

步骤4-1、分类器得到的候选区域与步骤2中的仪表估计位置(区域c)求交并比参数iou，分别得到三个交并比参数指标(0.7,0.0,0.0)，计算方式如公式(1)所示：

步骤4-2、计算感知哈希phash指标。分类器得到的候选区域图像a与截取模板图像中仪表区域图像b做感知哈希phash计算。感知哈希phash计算是将两张图片缩放到32*32的大小，进行余弦变换，选取余弦变换后的图像左上角的8*8的区域，去除坐标(0,0)的直流分量得到63维特征向量，计算图像a和图像b的特征向量的汉明距离，作为感知哈希phash指标，计算得到的指标如图4所示。

步骤4-3、计算互信息指标。利用公式(2)～(5)计算候选区域图像与模板图像的互信息指标：

其中x,y为灰度像素值，g(x)、h(y)为模板图像与候选图像灰度像素的数目。.

步骤4-4、将每一候选区域的交并比iou、互信息、感知哈希phash三种指标按照公式(6)做加权求出该候选区域的置信度,其中d为一常数。

confidence＝1-(phash+1/i(g(x),h(y)))/(iou+d)(6)

按照所有候选区域的置信度从大到小排序，求出置信度最大的区域，作为最终区域。

实施例2

一种融合巡检机器人定位信息的电力表计检测方法，具体步骤为：

步骤1、巡检机器人通过定位导航达到指定巡检点，导航误差5cm，拍摄一张图像a用于仪表检测；

步骤2、将巡检机器人拍摄的图像a与当前巡检点模板图像b进行梅林傅里叶变换和相位相关计算，求出横坐标与纵坐标的图像位移偏移指标(-12,33)，计算得到图像a中的仪表估计位置(984,502,103,86)；

步骤3、利用提前训练好的机器学习adaboost分类器对待检测图像进行精确定位，得到多个目标候选区域如图5所示；根据adaboost分类器得到1个候选框(有数字的)，不含数值的方框为步骤2得出。

步骤4、计算每个候选框的iou、互信息和phash以及置信度，候选框中数值第一行为phash，第二行为互信息，第三行为iou，第四行为confidence。

步骤4-1、分类器得到的候选区域与仪表估计位置求交并比参数iou，如公式(7)所示，结果为图5方框中数值第四行：

步骤4-2、计算感知哈希phash指标。分类器得到的候选区域图像a与截取模板图像中仪表区域图像b做感知哈希phash计算。感知哈希phash计算是将两张图片缩放到32*32的大小，进行余弦变换，选取余弦变换后的图像左上角的8*8的区域，去除坐标(0,0)的直流分量得到63维特征向量，计算图像a和图像b的特征向量的汉明距离，作为感知哈希phash指标计算得到的指标如图5所示。

步骤4-3、计算互信息指标。利用公式(8)-(11)计算候选区域图像与模板图像的互信息指标。

其中x,y为灰度像素值，g_((x))、h_((y))为模板图像与候选图像灰度像素的数目。

步骤4-4、将每一候选区域的交并比iou、互信息、感知哈希phash三种指标按照公式(12)做加权求出该候选区域的置信度,其中d为一常数。

confidence＝1-(phash+1/i(g(x),h(y)))/(iou+d)(12)

由于iou指标小于阈值thresholdiou(0.3),故放弃adaboost分类器的备选检测区域，采取步骤2得到的估计区域作为检测区域结果输出。