一种基于计算机视觉的无人机房监控方法及系统与流程

[0001]
本发明涉及轨道交通智能运维技术领域，尤其涉及一种基于计算机视觉的无人机房监控方法及系统。


背景技术：

[0002]
随着城市地铁轨道交通的迅速发展，所建设的地铁站数量越来越多，而每个地铁站有相应机房放置列车控制机柜，人工对于巡检这些机房的方式越来越不能满足城市地铁轨道交通智能化运维的要求。
[0003]
其中，对于机柜信息识别的方法分为两类，一类为以卷积神经网络构造的视觉技术，该类方法构造机柜信号灯数据集并输入神经网络进行训练，进而完成识别任务，但是该方法由于计算量较大，在实时监控时候，往往会出现丢帧的情况，实现实时监控较为困难，另外，在构造故障灯的数据集时，数据集获取较为困难，导致训练数据集较小，模型鲁棒性不高；另一类为手工构造待识别目标特征，该类方法适合于环境温度待识别目标背景较为简单的情况。


技术实现要素：

[0004]
本发明实施例提供一种基于计算机视觉的无人机房监控方法及系统，用以解决现有技术中无法实现自动对机房机柜信息进行监测和预警的缺陷。
[0005]
第一方面，本发明实施例提供一种基于计算机视觉的无人机房监控方法，包括：
[0006]
获取轨道维护机房的机柜图像；
[0007]
对所述机柜图像进行预处理，得到待识别机柜区域；
[0008]
对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果。
[0009]
进一步地，所述对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果，具体包括：
[0010]
对所述待识别机柜区域进行信号灯状态识别，获得信号灯识别结果；
[0011]
提取所述待识别机柜区域中的数值并进行判断处理，获得数值信号识别结果。
[0012]
进一步地，该方法还包括：
[0013]
若判断获知所述信号灯识别结果中存在故障灯信号和/或所述数值信号识别结果中存在数值异常，则进行告警处理。
[0014]
进一步地，所述对所述机柜图像进行预处理，得到待识别机柜区域，具体包括：
[0015]
对所述机柜图像进行仿射变换，得到正面显示的机柜图像；
[0016]
基于颜色阈值去除所述正面显示的机柜图像的背景，得到机柜前景图像；
[0017]
将所述机柜前景图像中的信号灯状态和数值区域分别按照预设信号灯状态颜色阈值范围和预设数值颜色阈值范围进行掩模处理，得到二值化信号灯图像和二值化数值图像；
[0018]
对所述二值化信号灯图像和所述二值化数值图像进行预设形态学图像操作，得到
所述信号灯识别结果和所述数值信号识别结果。
[0019]
进一步地，所述对所述待识别机柜区域进行信号灯状态识别，获得信号灯识别结果，具体包括：
[0020]
根据预设轮廓查找算法对所述待识别机柜区域进行信号灯轮廓查找和定位，将第一预设信号灯状态和第二预设信号灯状态进行区分和标注，得到所述信号灯识别结果。
[0021]
进一步地，所述提取所述待识别机柜区域中的数值并进行判断处理，获得数值信号识别结果，具体包括：
[0022]
采用高斯滤波对所述待识别机柜区域进行降噪，并进行二值化处理，将显示数值和背景区域进行分离；
[0023]
将所述显示数值进行水平投影，得到初始切割的数值图像；
[0024]
将所述初始切割的数值图像进行竖直方向投影，得到分割的数字；
[0025]
将所述分割的数字输入卷积神经网络完成数字识别，获得所述数值信号识别结果。
[0026]
第二方面，本发明实施例还提供一种基于计算机视觉的无人机房监控系统，包括：
[0027]
获取模块，获取轨道维护机房的机柜图像；
[0028]
预处理模块，用于对所述机柜图像进行预处理，得到待识别机柜区域；
[0029]
处理模块，用于对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果。
[0030]
进一步地，所述预处理模块具体包括：
[0031]
第一预处理子模块，用于对所述待识别机柜区域进行信号灯状态识别，获得信号灯识别结果；
[0032]
第二预处理子模块，用于提取所述待识别机柜区域中的数值并进行判断处理，获得数值信号识别结果。
[0033]
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于计算机视觉的无人机房监控方法的步骤。
[0034]
第四方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于计算机视觉的无人机房监控方法的步骤。
[0035]
本发明实施例提供的基于计算机视觉的无人机房监控方法及系统，通过基于计算机视觉技术实现依靠自动采集机柜视频图像，代替人工进行巡检，对机房的机柜指示灯及lcd屏幕数值进行实时监控，实现了高效机房维护。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1是本发明实施例提供的一种基于计算机视觉的无人机房监控方法的流程示意
图；
[0038]
图2是本发明实施例提供的颜色阈值分割效果图；
[0039]
图3是本发明实施例提供的膨胀腐蚀效果图；
[0040]
图4是本发明实施例提供的数值区域效果图；
[0041]
图5是本发明实施例提供的数值区域分割效果图；
[0042]
图6是本发明实施例提供的投影法效果图；
[0043]
图7是本发明实施例提供的数值切割效果图；
[0044]
图8是本发明实施例提供的数值识别网络结构图；
[0045]
图9是本发明实施例提供的一种基于计算机视觉的无人机房监控装置的结构示意图；
[0046]
图10是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0047]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
通常，对于地铁机房控制柜的识别，是针对控制柜信号灯的识别和电流电压读数的识别，机柜背景常为米白色，通常绿灯常亮代表设备正常运行，而发现有红色灯亮起时，代表设备出现异常，此时需要运维人员进行检修；同样电流值电压值常常在一定范围内波动，若波动范围超过设定阈值时，代表设备出现异常，此时也需要运维人员进行检修。
[0049]
针对这一问题，本发明实施例提出一种基于计算机视觉技术的机房监控方法，通过对机房进行无人化的智能监控，该方法通过摄像头对机柜信号灯信息及lcd屏幕显示的数字信息进行实时采集，将采集的视频数据传输到图像处理平台进行处理，根据所设计的视觉算法完成对机柜的实时监控。
[0050]
图1是本发明实施例提供的一种基于计算机视觉的无人机房监控方法的流程示意图，如图1所示，包括：
[0051]
s1，获取轨道维护机房的机柜图像；
[0052]
首先通过安装在轨道交通的地铁机房内摄像头拍摄获得待监控维护的机柜图像。
[0053]
s2，对所述机柜图像进行预处理，得到待识别机柜区域；
[0054]
然后对获取的机柜图像进行一系列的预处理，将感兴趣的待识别区域识别出来，去掉其余不需要处理的部分。
[0055]
s3，对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果。
[0056]
分别对感兴趣的待识别区域进行信号灯状态和数值显示的判断，得到机柜的状态识别结果，以该状态识别结果作为日常维护的参考依据。
[0057]
本发明实施例通过基于计算机视觉技术实现依靠自动采集机柜视频图像，代替人工进行巡检，对机房的机柜指示灯及lcd屏幕数值进行实时监控，实现了高效机房维护。
[0058]
基于上述实施例，该方法中步骤s3具体包括：
[0059]
对所述待识别机柜区域进行信号灯状态识别，获得信号灯识别结果；
[0060]
提取所述待识别机柜区域中的数值并进行判断处理，获得数值信号识别结果。
[0061]
具体地，对待识别区域主要进行两个方面的监测，一是信号灯的状态识别，二是对数值进行判断，即分别从信号灯和显示电流电压数值的大小，来进一步判断当前机柜的状态是否异常。
[0062]
本发明实施例通过从信号灯状态以及数值区域分别进行识别判断，对机柜的异常状态的判断更有针对性。
[0063]
基于上述任一实施例，该方法还包括：
[0064]
若判断获知所述信号灯识别结果中存在故障灯信号和/或所述数值信号识别结果中存在数值异常，则进行告警处理。
[0065]
具体地，针对最后得到的识别结果，若存在有故障灯，以及识别出的数值超过阈值范围，则认为处于异常状态，系统会生成相应的告警信息，并通知相关的运维人员进行处理。
[0066]
基于上述任一实施例，所述对所述机柜图像进行预处理，得到待识别机柜区域，具体包括：
[0067]
对所述机柜图像进行仿射变换，得到正面显示的机柜图像；
[0068]
基于颜色阈值去除所述正面显示的机柜图像的背景，得到机柜前景图像；
[0069]
将所述机柜前景图像中的信号灯状态和数值区域分别按照预设信号灯状态颜色阈值范围和预设数值颜色阈值范围进行掩模处理，得到二值化信号灯图像和二值化数值图像；
[0070]
对所述二值化信号灯图像和所述二值化数值图像进行预设形态学图像操作，得到所述信号灯识别结果和所述数值信号识别结果。
[0071]
具体地，通过摄像头获得的机柜图像，对机柜图像进行仿射变换，将处于各种倾斜角度的图像调整为正面显示的机柜图像，再通过感兴趣区域筛选获得局部机柜区域，为感兴趣区域筛选得到的待识别机柜区域，将获取的机柜图像由rgb图像转换为hsv模型，这个模型中的三个参数分别是：h(色调)、s(饱和度)和v(亮度)，为后续颜色分割作铺垫。
[0072]
如图2所示，根据故障显示的红灯，正常状态的绿灯，未亮灯时候的红色底灯和绿灯底灯确定四种状态的信号灯颜色阈值范围，建立掩模对图像进行处理，将非信号灯区域图像素值置为0(即变黑)，将信号灯区域像素值置为255，此时图像成为一幅二值化的图像。又如图3所示，通过图像处理方法中的形态学操作，对白色区域进行膨胀和腐蚀，获得完整的信号灯区域，其中腐蚀具有消除细小物体的作用，膨胀可以填充物体内细小空洞。
[0073]
同理，对数值屏幕区域进行相同的操作，如图4所示，获取数值屏幕区域。
[0074]
基于上述任一实施例，所述对所述待识别机柜区域进行信号灯状态识别，获得信号灯识别结果，具体包括：
[0075]
根据预设轮廓查找算法对所述待识别信号灯区域进行信号灯轮廓查找和定位，将第一预设信号灯状态和第二预设信号灯状态进行区分和标注，得到所述信号灯识别结果。
[0076]
具体地，将待识别信号灯区域提取出来，通过预设轮廓查找算法，此处采用opencv中的轮廓查找方法确定图中的绿色信号灯位置，并绘制大小近似的矩形框对将该区域框出，若存在红色故障灯，则通知运维人员，其中opencv是一个跨平台计算机视觉库，能够在多种操作系统上运行，查找轮廓的函数为findcontours(inputoutputarray image,
outputarrayofarrays contours,outputarray hierarchy)函数中inputoutputarray image可以是灰度图或者二值图像，outputarrayofarrays contours为查找到的轮廓构成的点的集合的向量，outputarray hierarchy为查找轮廓的编号索引。
[0077]
基于上述任一实施例，所述提取所述待识别机柜区域中的数值并进行判断处理，获得数值信号识别结果，具体包括：
[0078]
采用高斯滤波对所述待判断数值区域进行降噪，并进行二值化处理，将显示数值和背景区域进行分离；
[0079]
将所述显示数值进行水平投影，得到初始切割的数值图像；
[0080]
将所述初始切割的数值图像进行竖直方向投影，得到分割的数字；
[0081]
将所述分割的数字输入卷积神经网络完成数字识别，获得所述数值信号识别结果。
[0082]
具体地，如图5所示，获得数值屏幕区域后，将该区域设置为新的感兴趣区域。采用高斯滤波的方法对该区域进行降噪，之后，采用二值化方法，将背景区域像素置变为0，而显示的数值则为255；
[0083]
如图6所示，将该图像数值进行水平方向的投影，由于投影的区域由于黑色数值为0，白色数值为255，最开始像素数值投影为0，而出现大于0的数值时候，意味着该像素为数值的横向起始切割坐标，当像素值投影归0时，意味着该像素为横向结束切割坐标，通过该操作，将图中无关区域减少；切割的图像进行竖直方向投影，同理，切割出每个字符的区域，效果如图7所示；
[0084]
最后将分割完成的数字输入卷积神经网络中完成数字识别，卷积神经网络结构如图8所示，根据识别结果，若数值异常则通知相关运维人员。
[0085]
下面对本发明实施例提供的一种基于计算机视觉的无人机房监控装置进行描述，下文描述的一种基于计算机视觉的无人机房监控装置与上文描述的一种基于计算机视觉的无人机房监控方法可相互对应参照。
[0086]
图9是本发明实施例提供的一种基于计算机视觉的无人机房监控装置的结构示意图，如图9所示，包括：获取模块91、预处理模块92和处理模块93；其中：
[0087]
获取模块91获取轨道维护机房的机柜图像；预处理模块92用于对所述机柜图像进行预处理，得到待识别机柜区域；处理模块93用于对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果。
[0088]
本发明实施例通过基于计算机视觉技术实现依靠自动采集机柜视频图像，代替人工进行巡检，对机房的机柜指示灯及lcd屏幕数值进行实时监控，实现了高效机房维护。
[0089]
基于上述实施例，所述预处理模块92具体包括：
[0090]
第一预处理子模块，用于对所述待识别信号灯区域进行信号灯状态识别，获得信号灯识别结果；
[0091]
第二预处理子模块，用于提取所述待判断数值区域中的数值并进行判断处理，获得数值信号识别结果。
[0092]
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(communications interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完
成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行基于计算机视觉的无人机房监控方法方法，该方法包括：获取轨道维护机房的机柜图像；对所述机柜图像进行预处理，得到待识别机柜区域；对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果。
[0093]
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0094]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于计算机视觉的无人机房监控方法方法，该方法包括：获取轨道维护机房的机柜图像；对所述机柜图像进行预处理，得到待识别机柜区域；对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果。
[0095]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于计算机视觉的无人机房监控方法方法，该方法包括：获取轨道维护机房的机柜图像；对所述机柜图像进行预处理，得到待识别机柜区域；对所述待识别机柜区域进行状态识别和数值判断，获得机柜状态识别结果。
[0096]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0097]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0098]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。