一种机房设备显示面板数据的智能采集方法与流程

本发明涉及图像识别技术领域，具体涉及一种机房设备显示面板数据的智能采集方法。

背景技术：

当今时代人工智能迅速发展，传统行业逐渐寻求从人工密集型向自动化的转型。数据中心机房安装有数量众多的it设备，包括服务器、网络设备等，这些设备装有各种各样的显示面板，需要人工全天候记录面板读数以检查设备当前的运行状况，不仅会耗费大量的人工成本，而且无法保证数据采集的准确性，容易出现读数或抄录错误的情况，人工全天候抄录数据及其枯燥且效率低下。而现代化测量要求尽可能实现自动化，节省人力同时减少人为因素对测量结果的影响。

针对上述情况，虽然一些机房已经采用机器人进行面板数据采集，但从工业界已有的采集方法来看，是基于传统的图像处理，对机器人采集的图片，通过人工标注数字区域，并提取数字区域进行图像预处理，然后用投影法分割单个数字，最后对分割后的数字用穿线法识别。该方法存在以下缺点：

（1）由于机房显示面板的种类繁多，数字在面板中的相对位置也各不相同，通过人工标注数字区域的方法确定数字位置，操作复杂不能实现真正的智能化、自动化，且标注的准确性易受主观因素的影响，从而影响最终的识别结果。

（2）由于现有技术所使用的图像预处理、投影法等传统方法依赖图像二值化的效果，而二值化等预处理操作对光照适应性较差，光照变化对最终识别结果的影响较大。

（3）考虑使用主流的ocr识别库等其他文本识别方法，但往往针对印刷体面板效果较好，而七段数码管数字本身由七小段数码管组成，数码管之间并不粘连，现有的ocr库识别容易将小段数码管单独识别，无法识别整体数字含义，识别精度较低。

因此，现有方法的智能化程度低，仍不可避免的需要人工辅助识别，难以达到自动化要求，针对数据中心机房中大量存在的七段数码管类型的数字显示面板，本发明提出一种机房设备显示面板数据的智能采集方法。

技术实现要素：

本发明为了克服以上技术的不足，提供了一种机房设备显示面板数据的智能采集方法，尤其是一种针对机房设备上七段数码管类型的数字显示面板的智能采集方法。

本发明克服其技术问题所采用的技术方案是：

一种机房设备显示面板数据的智能采集方法，包括如下步骤：

s1、机器人采集若干张显示面板的图像，作为训练数据集；

s2、将训练数据集输入到改进的faster-rcnn算法中，训练得到文本检测模型；

s3、机器人实时采集显示面板的图像并将其输入到步骤s2训练得到的文本检测模型中，自动标注出所有文本从而得到检测框，输出图像中所有检测框在显示面板中的位置坐标和尺寸信息；

s4、提取检测框中的roi图像，对roi图像进行图像预处理，保留提取后的数字骨架图像并作为训练样本集；

s5、根据训练样本集训练svm分类器，通过svm分类器对单个数字进行分类识别；

s6、将数字拼接成字符串输出到客户端显示。

进一步地，步骤s1具体包括：机器人自主导航至待检测设备显示面板的正前方，调用提前设定好的摄像头预置点，自动调整拍摄角度，拍摄至少1000张显示面板的图像，将其作为训练数据集。

进一步地，步骤s2中，所述改进的faster-rcnn算法至少包括：特征提取模块、rpn模块以及用于衔接特征提取模块与rpn模块的嵌套lstm模块。

进一步地，所述特征提取模块采用改进的vgg16作为卷积特征提取模块，用于提取训练样本中文本图像像素的空间特征；所述特征提取模块至少包括四个卷积块conv1、conv2、conv3和conv4，池化层pool以及目标检测特殊层roipooling，其中，每个卷积块均连接一个最大池化层maxpool，第一个卷积块的第二个卷积层conv1_2包括两个不同尺寸的卷积核和c个1*1的卷积核，其中，c的取值为2~5，第三个卷积块的第三个卷积层conv3_3包括两对不同尺寸的非规则交叉卷积核和一个1*1的卷积核。

进一步地，所述特征提取模块提取卷积特征的过程包括如下：

步骤一、将面板图像输入到特征提取模块，在第一个卷积块的第二个卷积层conv1_2采用两个不同尺寸的卷积核；

步骤二、经步骤一中两个不同尺寸的卷积核继续卷积，然后加入c个1*1的卷积核；

步骤三、经第一个卷积块conv1卷积后，进入第二个卷积块conv2，经第二个卷积块conv2卷积后分为两部分，一部分进入池化层pool，另一部分进入第三个卷积块conv3进行卷积；

步骤四、第三个卷积块的第三个卷积层conv3_3采用两对不同尺寸的非规则交叉卷积核进行卷积以提取不同尺度的特征；

步骤五、经第三个卷积块conv3卷积后，进入第四个卷积块conv4进行卷积；

步骤六、将步骤三中经池化层pool下采样和经步骤五中第四个卷积块conv4进行卷积后得到的各个卷积块生成的卷积特征图通过目标检测特殊层roipooling融合，得到最终的卷积特征图。

进一步地，所述特征提取模块提取的空间特征输入到嵌套lstm模块，所述嵌套lstm模块用于提取空间特征中特征向量之间的关系，把空间特征当作逐帧的特征序列，使得某一帧像素的特征与前一帧或后一帧具备特征上的连续性，生成带有空间特征和时序特征的特征序列。

进一步地，所述rpn模块用于将嵌套lstm模块生成的特征序列按照固定参考框anchor返回到原始输入图像，在原始图像中生成符合待检测文本实际尺寸的检测框，检测框表示文本检测模型的检测结果。

进一步地，所述rpn模块生成检测框的过程包括如下：

步骤一、经过1024维的全连接层，得到n*1024*h*w的输出，全连接层的输出包括两部分，分别为rpn_bbox_pred和rpn_cls_score两个分支，其中，rpn_cls_score的后方依次连接rpn_cls_score_reshape、rpn_cls_prob和rpn_cls_prob_reshape，所述rpn_bbox_pred用于输出检测框的位置坐标，所述rpn_cls_score用于输出前景和背景分类的得分，所述rpn_cls_prob用于计算固定参考框anchor为前景的概率和为背景的概率；

步骤二、所述rpn_bbox_pred输出n*20*h*w，返回预测固定参考框anchor的坐标，坐标包含固定参考框anchor的中心y坐标和高度值，针对它在全连接层特征图上的每个像素点，预测一组不同尺寸不同位置的固定参考框anchor；

步骤三、所述rpn_cls_score的输出维度为n*20*h*w，生成背景或前景为2×anchor的二分类输出，rpn_cls_score_reshape将二分类输出的维度转换为n*2*10h*w，rpn_cls_prob输出固定参考框anchor为前景的概率和为背景的概率，rpn_cls_prob_reshape将前景的概率和背景的概率的维度转换为n*20*h*w；

步骤四、最终proposal模块综合检测框的位置坐标以及前景和背景的得分获取检测框，同时剔除超出边界的检测框和小于预设值的检测框。

进一步地，步骤s4中，在提取检测框中的roi图像之前，还包括：文本检测模型根据检测框在显示面板中的位置坐标和尺寸信息自动规避掉无效信息。

进一步地，步骤s4中，对roi图像进行图像预处理至少包括：

滤波，采用高斯滤波或均值滤波减少图像噪声；

自适应二值化，通过图像的局部特征自适应的设定阈值，对图像作二值化处理，用于将文本和背景分离；

字符分割，用于分割出白色像素的字符；

骨架提取，用于对图像进行细化操作。

本发明的有益效果是：

1、本发明改进传统的faster-rcnn算法用于七段数码管数据的检测，保证精准地定位数字位置，将svm机器学习方法应用于七段数码管数字的识别；用深度学习等技术代替传统的图像处理算法，降低了算法对图像质量的要求，增强识别算法的光照适应性，较好的解决了玻璃面板反光的问题，减轻了光照对图像二值化的影响，使得面板数据采集方案更加稳定。

2、为应对七段数码管数字的特定场景，对传统的faster-rcnn算法进行改进，能够提取更深层的图像特征，有效解决七段数码管数字检测容易分段和漏检的问题；本发明针对现有数据集对文本检测模型验证分析得到0.94的准确率和0.85的召回率，文本检测模型效果对比传统的faster-rcnn有了较大提升。

3、为应对数据中心机房种类多样，数据显示样式复杂的显示面板，本发明在保证识别精度的情况下，将深度学习与传统方法结合，精准采集七段数码管面板数据，兼顾通用性与准确性，极大节省人工成本。提高了机房巡检机器人的智能化程度和工作效率。

4、本发明通过机器人实时采集机房it设备显示面板的数据，使得数据采集工作自动化进行，极大降低人工成本，提高数据中心运维效率。

附图说明

图1为本发明实施例所述机房设备显示面板数据的智能采集方法的流程图。

图2为本发明实施例所述机器人的结构示意图。

图3为本发明实施例所述机器人在机房采集图像时的状态示意图。

图4为本发明实施例所述特征提取模块提取卷积特征的流程示意图。

图5为本发明实施例所述rpn模块生成检测框的流程示意图。

图中，1、云台摄像头；2、升降底座；3、机器人外壳；4、待检测设备；5、显示面板。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

如图1所示，本实施例所述的一种机房设备显示面板数据的智能采集方法，包括如下步骤：

s1、机器人采集若干张显示面板的图像，作为训练数据集。

具体地，本实施例中，如图2和3所示，机器人自主导航至待检测设备4显示面板的正前方，其中，为了保证有足够的视野采集面板数据，在机器人外壳3的上方安装一款可上下左右四个方向转动的云台摄像头1，云台摄像头1搭载于升降底座2上，升降底座2最高升降高度可达1.8米，确保可覆盖机房设备中所有高度的显示面板5；所述机器人调用提前设定好的摄像头预置点，自动调整拍摄角度，拍摄至少1000张显示面板的图像，将其作为训练数据集，为了训练更好的效果，图像数量越多越好，一般选择上万张图像。

s2、将训练数据集输入到改进的faster-rcnn算法中，训练得到文本检测模型。

准确定位七段数码管数字的位置是保证识别准确率的基础；由于用来表征数字的每段数码管之间并不粘连，现有的文本检测模型在检测时容易错误地将数字分段或者漏检，而且对较长的七段数码管数字检测并不理想；为解决数字定位存在的问题，本发明对传统的faster-rcnn算法做出改进，传统的faster-rcnn算法仅有特征提取模块和rpn模块，本发明改进的faster-rcnn算法至少包括：特征提取模块、rpn模块以及用于衔接特征提取模块与rpn模块的嵌套lstm模块，并且对原有的特征提取模块和rpn模块也做了改进，以适应对七段数码管的检测。

为增强模型的拟合能力，实现更充分的特征提取，本实施例中，所述特征提取模块采用改进的vgg16作为卷积特征提取模块，用于提取训练样本中深层的卷积特征，主要是文本图像像素的空间特征。现有的vgg16共有五个卷积块，改进之后的vgg16采用四个卷积块，如图4所示，所述特征提取模块至少包括四个卷积块conv1、conv2、conv3和conv4，池化层pool以及目标检测特殊层roipooling，其中，每个卷积块均连接一个最大池化层maxpool。首先，为综合考虑模型深度、网络结构的复杂性和算力成本等因素，本实施例通过差异化提取特征，在同一卷积块采取不同尺寸的卷积核，具体是，第一个卷积块的第二个卷积层conv1_2包括7*7和5*5两个不同尺寸的卷积核，这样能够合理利用图像的空间特征，再加入c个1*1的卷积核，其中，c的取值为2~5，通过调节c的大小调节信道维度（c调小是降低信道维度），使得计算速度加快，节约计算成本；其次，由于七段数码管数字形状不规则，存在矩形或多边形并存在倾斜体的情况，在后续卷积过程中，本实施例采用非规则交叉卷积核，具体是，第三个卷积块的第三个卷积层conv3_3包括一对5*1和1*5的非规则交叉卷积核、一对3*1和1*3的非规则交叉卷积核以及一个1*1的卷积核，通过非规则交叉卷积核能够增强对多尺度特征的适应性和非线性表达能力，改善卷积效果。

本实施例中，所述特征提取模块提取卷积特征的过程包括如下：

步骤一、将面板图像输入到特征提取模块，在第一个卷积块的第二个卷积层conv1_2采用7*7和5*5两个不同尺寸的卷积核；

步骤二、经步骤一中7*7和5*5两个不同尺寸的卷积核继续卷积，然后加入c个1*1的卷积核，本实施例中是加入了3个1*1的卷积核；

步骤三、经第一个卷积块conv1卷积后，进入第二个卷积块conv2，经第二个卷积块conv2卷积后分为两部分，一部分进入池化层pool，另一部分进入第三个卷积块conv3进行卷积；

步骤四、第三个卷积块的第三个卷积层conv3_3采用两对不同尺寸的非规则交叉卷积核进行卷积以提取不同尺度的特征，其中两对不同尺寸的非规则交叉卷积核分别为一对5*1和1*5和一对3*1和1*3的非规则交叉卷积核；

步骤五、经第三个卷积块conv3卷积后，进入第四个卷积块conv4进行卷积；

步骤六、将步骤三中经池化层pool下采样和经步骤五中第四个卷积块conv4进行卷积后得到的各个卷积块生成的卷积特征图通过目标检测特殊层roipooling融合，即，将深层和浅层的卷积特征有效融合，得到最终的卷积特征图，可以提取更加负责多样的特征。

本实施例中，为了应对较长数据的检测，在特征提取模块与rpn模块之间添加嵌套lstm模块进行衔接。嵌套lstm模块是传统lstm的改进算法，相对传统lstm有更深层的网络架构，其内部记忆单元可以灵活地改变深度并自由访问，能够记忆与当前时刻更久远的状态。所述特征提取模块提取的空间特征输入到嵌套lstm模块，所述嵌套lstm模块用于提取空间特征中特征向量之间的关系（找到空间上有连续性的特征向量），把空间特征当作逐帧的特征序列，使得某一帧像素的特征与前一帧或后一帧具备特征上的连续性，能够保证是连续的文本行，生成带有空间特征和时序特征的特征序列。本实施例中，嵌套lstm模块结合特征提取模块，这两个模块的融合既可以提取数字图像的空间特性，也能够提取空间特征像素间的时序特征，这种融合特征能够提高整个数字检测模型的效果。

本实施例中，所述rpn模块用于将嵌套lstm模块生成的特征序列按照固定参考框anchor返回到原始输入图像，在原始图像中生成符合待检测文本实际尺寸的检测框，检测框表示文本检测模型的检测结果。

本实施例中，如图5所示，所述rpn模块生成检测框的过程包括如下：

步骤一、经过1024维的全连接层，得到n*1024*h*w的输出，全连接层的输出包括两部分，分别为rpn_bbox_pred和rpn_cls_score两个分支，其中，rpn_cls_score的后方依次连接rpn_cls_score_reshape、rpn_cls_prob和rpn_cls_prob_reshape，所述rpn_bbox_pred用于输出检测框的位置坐标，所述rpn_cls_score用于输出前景和背景分类的得分，所述rpn_cls_prob用于计算固定参考框anchor为前景的概率和为背景的概率；

步骤二、所述rpn_bbox_pred输出n*20*h*w，返回预测固定参考框anchor的坐标，坐标包含固定参考框anchor的中心y坐标和高度值，针对它在全连接层特征图上的每个像素点，预测一组不同尺寸不同位置的固定参考框anchor（固定参考框anchor就是最终检测框的候选），覆盖几乎所有的位置和尺寸，每个固定参考框负责检测与其交并比（“预测边框”与“真实边框”的交集和并集的比值）是否大于训练预设阈值的目标，交并比越接近1，说明检测越准确；本实施例中，预测10个不同尺寸不同位置的固定参考框anchor，比如每个anchor的宽度固定为10像素，高度可为10、13、18、26、36、48、68、97、139、198像素这10种情况，这样可以定位大小不一，形状多样的数字文本位置；

步骤三、所述rpn_cls_score的输出维度为n*20*h*w，生成背景或前景为2×anchor的二分类输出，rpn_cls_score_reshape将二分类输出的维度转换为n*2*10h*w，rpn_cls_prob输出固定参考框anchor为前景的概率和为背景的概率，rpn_cls_prob_reshape将前景的概率和背景的概率的维度转换为n*20*h*w，其中，rpn_cls_score_reshape和rpn_cls_prob_reshape的作用是使输出的数据维度与损失函数保持在同一维度，便于计算损失函数；

步骤四、最终proposal模块综合检测框的位置坐标以及前景和背景的得分获取检测框，同时剔除超出边界的检测框和小于预设值的检测框，其中，小于预设值的检测框是指很小的检测框。

s3、机器人实时采集显示面板的图像并将其输入到步骤s2训练得到的文本检测模型中，自动标注出所有文本从而得到检测框，输出图像中所有检测框在显示面板中的位置坐标和尺寸信息。

s4、文本检测模型根据检测框在显示面板中的位置坐标和尺寸信息自动规避掉无效信息，并提取检测框中的roi图像，对roi图像进行图像预处理，保留提取后的数字骨架图像并作为训练样本集。其中，对roi图像进行图像预处理至少包括：

滤波，采用高斯滤波或均值滤波减少图像噪声，提高图像质量；

自适应二值化，通过图像的局部特征自适应的设定阈值，对图像作二值化处理，用于将文本和背景分离；

字符分割，直接对自适应二值化后的图像像素操作，分割出白色像素的字符；

骨架提取，用于对图像进行细化操作，值二值化图像的骨架化，由于有各种大小粗细不一的七段数码管数字，为方便识别，统一去识别细化的数字骨架。

s5、将提取后的数字骨架图像制作样本集，根据训练样本集训练svm分类器，通过svm分类器对单个数字进行分类识别。

s6、将数字拼接成字符串，通过网页等方式输出到客户端显示给用户，以便实时观察设备运行情况，及时应对突发情况。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。