数据中心巡检机器人对于控制柜压板设备状态识别的方法与流程

本发明涉及图像处理识别技术领域，尤其涉及数据中心巡检机器人对于控制柜压板设备状态识别的方法。

背景技术：

中国第201210087308.5发明介绍一种压板开关状态识别方法，用连续多帧图像对设备区域进行了自动定位，使用轮廓检测方法对压板开关状态识别；中国201310317369.0发明利用压板区域的rgb颜色特征进行状态识别；中国第201110386280.0发明利用压板区域的hsv三通道的联合特征进行状态识别，但是目前解决方案主要存在以下几方面问题：

1、很多方案中使用的压板位置切割方法是对整幅图像进行双峰二值化或特征提取，再定位每个压板，由于光照和灯光的不均匀，容易造成分割错误，造成设备的错分或者漏分；

2、目前大部分压板状态识别方法都是对图像的灰度、rgb或hsv的特征向量进行特征描述和识别，对压板的颜色和照片清晰度要求较高，使得识别方法的鲁棒性和扩展性收到较大限制，为此，我们提出了数据中心巡检机器人对于控制柜压板设备状态识别的方法来解决上述问题。

技术实现要素：

本发明的目的是为了解决现有技术中存在的缺点，而提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法。

为了实现上述目的，本发明采用了如下技术方案：

数据中心巡检机器人对于控制柜压板设备状态识别的方法，包括以下步骤：

s1、实现采集图像模板，以矩阵来标定压板设备区域，由于压板区域都是整型矩阵排列，因此能够以矩阵式标定框进行标定；

s2、以模板图片和巡检图像的配准结果来进行透视变换，消除图像的偏差和畸变的影响；

s3、根据配置的矩阵框进行依次提取巡检图像中的roi进行后续处理，并保存该区域在矩阵中的序号；

s4、对roi图像进行相对深度重建，由于采用单目相机，因此绝对深度很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建；

s5、以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割；

s6、搜集数据中心现场各种各类压板形态图片，建立数字识别训练样本集，训练神经网络分类器；

s7、使用训练好的分类器进行识别，并用当前roi序号和标定时矩阵总数对比，未完成就从s3再次进行，已完成全部序号就结束本次识别流程返回压板阵列的识别结。

优选地，所述s4中的roi图像进行相对深度重建，包括以下步骤：

s1、标定出roi区域图像；

s2、对矩阵区域外背景建模、计算纹理灰度特征、计算图像雾度、计算图像纹理梯度特征进行提取；

s3、比对背景建模；

s4、生成相对深度图像。

优选地，所述roi为感兴趣区域。

优选地，所述压板设备为压板开关。

优选地，所述图像相对深度重建为相对背景深度信息分布的计算过程。

优选地，所述图论分割为一种能量优化算法。

优选地，所述压板形态包括压板分离、压板合起、压板竖直以及压板倾斜等形态。

优选地，所述s4中的其他特征包括：纹理灰度特征、图像雾度和图像纹理梯度特征。

优选地，所述矩阵框由多个大小相同的矩形框组成。

本发明中，使用时，通过巡检机器人对数据中心内进行巡检，巡检机器人通过单目相机对控制柜压板设备进行拍照，在图片中用矩形框标出roi区域，通过矩阵框进行依次提取巡检图像中的roi进行后续处理，并保存该区域在矩阵中的序号，对roi图像进行相对深度重建，由于采用单目相机，因此很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建，从而能快速有效的对图片进行处理，而且对于相机本身质量或者光照问题造成的成像模糊情况，也可以得到很好的识别效果，以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割，从而方便将图片进行分类，并根据之前所收集的压板分离、压板合起、压板竖直以及压板倾斜等形态来进行比对，通过神经网络分类器的判断进行进行识别，并用当前roi序号和标定时矩阵总数对比，未完成就继续提取巡检图像中的roi进行后续处理，并保存该区域在矩阵中的序号，已完成全部序号就结束本次识别流程返回压板阵列的识别结果，本发明对现场光线干扰表现出较好的鲁棒性，在巡检得到较为模糊的图像或光照不足的低亮度图像，依然可以取得很好的识别效果，并且可以适应数据中心中各种大小或样式不同的压板，显著提高了数据中心巡检机器人对多情形下压板状态识别的正确率，有效的减少了数据中心现场工作人员的巡检强度。

附图说明

图1为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的流程框图；

图2为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的深度重建流程框图；

图3为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的第一矩阵标定框图；

图4为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的第二矩阵标定框图；

图5为本发明提出的数据中心巡检机器人对于控制柜压板设备状态识别的方法的识别结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-5，数据中心巡检机器人对于控制柜压板设备状态识别的方法，包括以下步骤：

s1、实现采集图像模板，以矩阵来标定压板设备区域，由于压板区域都是整型矩阵排列，因此能够以矩阵式标定框进行标定，方便快速分类和进行标记，从而便于进行提取图像；

s2、以模板图片和巡检图像的配准结果来进行透视变换，消除图像的偏差和畸变的影响，提高图像的准确度，消除因拍摄角度出现的偏差和畸变，从而保证图片的准确性，提高识别的准确度；

s3、根据配置的矩阵框进行依次提取巡检图像中的roi进行后续处理，并保存该区域在矩阵中的序号，roi是指感兴趣区域，感兴趣区域是机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域；

s4、对roi图像进行相对深度重建，图像相对深度重建是指根据背景特征和其余区域的综合特征比对获得相对背景的深度信息分布的计算过程，由于采用单目相机，因此绝对深度很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建，单目相机结构简单成本低，但是在单张图片里，无法确定一个物体的真实大小，它可能是一个很大但很远的物体，也可能是一个很近很小的物体，通过相机的运动形成视差，可以测量物体相对深度，但是单目slam估计的轨迹和地图将与真实的轨迹和地图相差一个因子，也就是尺度，单凭图像无法确定这个真实尺度，所以称尺度不确定性；

s5、以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割，图论分割是一种十分有用和流行的能量优化算法，在计算机视觉领域普遍应用于前背景分割、立体视觉、抠图等；

s6、搜集数据中心现场各种各类压板形态图片，建立数字识别训练样本集，训练神经网络分类器，压板形态包括压板分离、压板合起、压板竖直以及压板倾斜等形态，能提高神经网络分类器的分类准确度，提高识别质量；

s7、使用训练好的分类器进行识别，并用当前roi序号和标定时矩阵总数对比，未完成就从s3再次进行，已完成全部序号就结束本次识别流程返回压板阵列的识别结，方便进行识别，提高了数据中心巡检机器人对多情形下压板状态识别的正确率，有效的减少了数据中心现场工作人员的巡检强度。

本发明中，s4中的roi图像进行相对深度重建，包括以下步骤：

s1、标定出roi区域图像，是指处理图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域；

s2、对矩阵区域外背景建模、计算纹理灰度特征、计算图像雾度、计算图像纹理梯度特征进行提取，从而有效提取图片中的特征，方便使用；

s3、比对背景建模，提高建模的精准度，从而方便使用，便于计算相对深度；

s4、生成相对深度图像，从而准确的得出图片的相对深度信息，方便进行使用，提高识别的准确度，对于相机本身质量或者光照问题造成的成像模糊情况。

本发明中，roi为感兴趣区域，感兴趣区域是机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，压板设备为压板开关，方便进行控制，图像相对深度重建为相对背景深度信息分布的计算过程，既根据背景特征和其余区域的综合特征比对获得相对背景的深度信息分布的计算过程，图论分割为一种能量优化算法，在计算机视觉领域普遍应用于前背景分割、立体视觉、抠图等，压板形态包括压板分离、压板合起、压板竖直以及压板倾斜等形态，从而能方便进行识别，提高识别的准确度，s4中的其他特征包括：纹理灰度特征、图像雾度和图像纹理梯度特征，方便进行对比和计算图片相对深度，矩阵框由多个大小相同的矩形框组成，方便进行标定，从而方便快速进行提取图片，提高识别的效率。

本发明中，使用时，通过巡检机器人对数据中心内进行巡检，巡检机器人通过单目相机对控制柜压板设备进行拍照，在图片中用矩形框标出roi区域，通过矩阵框进行依次提取巡检图像中的roi进行后续处理，并保存该区域在矩阵中的序号，对roi图像进行相对深度重建，由于采用单目相机，因此很难精确计算，但可以根据背景建模利用其他特征对比来进行相对背景的深度重建，从而能快速有效的对图片进行处理，而且对于相机本身质量或者光照问题造成的成像模糊情况，也可以得到很好的识别效果，以计算得出的相对深度信息，作为图片的掩模，可以对应图论分割中的疑似前景和疑似背景，进行图论分割，从而方便将图片进行分类，并根据之前所收集的压板分离、压板合起、压板竖直以及压板倾斜等形态来进行比对，通过神经网络分类器的判断进行进行识别，并用当前roi序号和标定时矩阵总数对比，未完成就继续提取巡检图像中的roi进行后续处理，并保存该区域在矩阵中的序号，已完成全部序号就结束本次识别流程返回压板阵列的识别结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。