一种巡检方法、设备及计算机可读存储介质与流程

本发明涉及通信技术领域，特别是涉及一种巡检方法、设备、服务器及计算机可读存储介质。

背景技术：

在工业自动化领域，现有大型旋转机械设备的监测手段大都是采用有布线或者人工巡检方式。其中，布线方式需要布置大量的线路以及需要对现有设备进行改造以便进行传感器的安装，系统也容易损坏，开发费用和维护成本都比较高；而人工巡检方式也存在较大的安全性问题，巡检人员人身安全无法得到保障。因此，提供一种安全且易维护的巡检方式是很有必要的。

技术实现要素：

本发明提供一种巡检方法、设备、服务器及计算机可读存储介质，用以解决现有的巡检方式维护成本高且安全性无法保障的问题。

为实现上述发明目的，本发明采用下述的技术方案：

依据本发明的一个方面，提供一种巡检方法，用于巡检侧，包括：

根据深度相机采集的图像构建三维点云地图，将所述三维点云地图发送至服务器，并获取服务器基于所述三维点云地图转换为二维障碍栅格地图；

在进行巡检时，根据所述服务器发送的在所述三维点云地图标定的监测点的位姿和根据深度相机采集的当前图像确定的初始位姿在所述二维障碍栅格地图中规划巡检路径；

根据所述巡检路径到达所述监测点，对所述监测点进行数据采集，并将数据发送至所述服务器。

可选的，所述根据深度相机采集的图像构建三维点云地图，包括：

对深度相机采集的深度图像与rgb图像进行orb特征提取，获取关键帧图像序列；

根据上一帧关键帧图像得到的初始位姿以及对应的特征点，将关键帧图像序列转换成三维点云地图及关键帧对应的位姿。

可选的，在根据深度相机采集的当前图像确定初始位姿时，具体包括：

对采集到的深度图像与rgb图像进行orb特征提取，获得当前图像帧；

将所述当前图像帧与所述三维点云地图中的关键帧图像进行匹配，获取匹配关键帧图像所对应的初始位姿。

可选的，所述根据所述巡检路径到达所述监测点之后，所述方法还包括：

在当前监测位置搜索服务器发送的监测点的目标图像，当搜索到所述目标图像时，提取目标图像的特征点；

根据服务器发送的监测点的关键帧从所述特征点中匹配出监测点所对应的特征点；

根据所述特征点的位置对所述当期监测位置进行调整。

可选的，所述对所述监测点进行数据采集，包括：

根据当前监测位置的位姿与所述监测点的位姿确定采集部件的调整参数，以根据所述调整参数将所述采集部件调整至所述监测点。

依据本发明的一个方面，提供一种巡检方法，用于服务器侧，包括：

获取巡检设备根据深度相机采集图像构建的三维点云地图，并将所述三维点云地图转换成二维障碍栅格地图后，发送至所述巡检设备；

在进行巡检时，将在所述三维点云地图中标定的监测点的位姿发送至所述巡检设备；

待接收到所述巡检设备采集的监测点的数据后，基于所述数据对所述监测点进行故障诊断。

可选的，所述将所述三维点云地图转换成二维障碍栅格地图，包括：

提取所述巡检设备所在高度的三维点云数据及关键帧对应的位姿；

将所述三维点云数据在水平方向进行投影，并根据所述巡检设备当前所在的位姿得到所述二维障碍栅格地图。

可选的，所述将在所述三维点云地图中标定的监测点的位姿发送至所述巡检设备，具体包括：

获取在三维点云地图中标定的监测点的目标区域，并根据该区域orb特征点获取对应的关键帧和位姿；

将该监测点的目标区域、关键帧和位姿一并发送至所述巡检设备。

依据本发明的一个方面，提供一种巡检设备，包括深度相机、存储器和处理器：其中，所述存储器中存储有可执行指令，当所述可执行指令被所述处理器执行时用于实现上述所述的巡检侧的巡检方法。

依据本发明的一个方面，提供一种巡检设备，包括存储器和处理器：其中，所述存储器中存储有可执行指令，当所述可执行指令被所述处理器执行时用于实现上述所述的服务器侧的巡检方法。

依据本发明的一个方面，提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储有一个或者多个计算机程序，所述计算机程序被处理器执行时实现上述所述的用于巡检侧的巡检方法。

依据本发明的一个方面，提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储有一个或者多个计算机程序，所述计算机程序被处理器执行时实现上述所述的服务器侧的巡检方法。

本发明有益效果如下：

本发明所提供的巡检方法，采用了廉价的rgbd深度相机即可实现高精度的空间标定与定位，并实现传感器自动安装与数据采集，减少了安装成本和设备改造流程，可极大提高生产效率和安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有中的方案，下面将对实施例或现有描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例所提供的巡检方法的流程图；

图2为本发明一实施例中巡检设备位置调整前后的示意图；

图3为本发明第二实施例所提供的巡检方法的流程图；

图4为本发明一具体实施例中提供的巡检设备的结构示意图；

图5为本发明一具体实施例中提供的巡检方法的流程图；

图6为本发明第四实施例中所提供的巡检设备的原理框图；

图7为本发明第五实施例中所提供的巡检设备的原理框图。

具体实施方式

以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

实施例1

本发明实施例所提供的巡检方法，如图1所示，包括如下步骤：

步骤11，根据深度相机采集的图像构建三维点云地图，将所述三维点云地图发送至服务器，并获取服务器基于所述三维点云地图转换为二维障碍栅格地图；

步骤12，在进行巡检时，根据所述服务器发送的在所述三维点云地图标定的监测点的位姿和根据深度相机采集的当前图像确定的初始位姿在所述二维障碍栅格地图中规划巡检路径；

步骤13，根据所述巡检路径到达所述监测点，对所述监测点进行数据采集，并将采集数据发送至所述服务器。

本实施例中的巡检方法应用于巡检设备中，通过深度相机采集的空间场景图像构建三维点云地图，根据三维点云地图可以进行监测点的标定，同时还可转换成二维障碍栅格地图，用于精准的监测点定位。基于此可知，本发明实施例的巡检方法，通过利用rgbd深度相机即可实现高精度的空间标定与定位，实现监测点的巡检，极大提高生产效率和安全性。

本发明一可选实施例中，巡检设备在执行巡检任务前，需要对当前所在的空间场景进行建图，以便后续巡检进行监测点的定位。本发明实施例中通过采用深度rgbd相机采集的图像进行三维点云地图的构建。具体地，在进行三维点图的构建时，巡检设备通过对所在的空间场景进行图像的遍历：

根据遍历后的深度图像和rgb彩色图像进行orb(orientedfastandrotatedbrief)的特征提取，以构建关键帧序列；

而后根据上一帧关键帧图像得到的初始位姿以及对应的特征点，将所有关键帧图像转换成三维点云地图及关键帧对应的位姿。

其中，在确定初始位姿时，可通过orbslam算法实现。由于orbslam算法是本领域技术人员所熟知的算法，因此，对于如何确定初始位姿，这里不再进行详述。在确定初始位姿后，可以对位姿进行优化。具体地，提取keyframe关键帧中的orb特征构建dbow(视觉词袋)，当前关键帧与dbow中的单词进行相似性比较，实现闭环关键帧检测，得到全局最优的机器人位姿。

巡检设备在构建完成三维点云地图及关键帧对应的位姿后，将其发送至服务器侧。而后通过服务器侧的处理将三维点云地图及关键帧对应的位姿转换成二维障碍栅格地图。这里的二维障碍栅格地图，用于后续进行监测点的精准定位和路径规划导航，每一个栅格值代表自由空间、未知区域或障碍。因此巡检设备在获得服务器侧发送的二维障碍栅格地图后，就可以进入巡检模式，执行服务器侧发送的巡检任务。

本发明一可选实施例中，在进行巡检时，接收服务器发送的巡检指令。该巡检指令中包含所要巡检的监测点的信息。其中，服务器侧根据巡检设备发送三维点云地图，可对地图中标定的监测点信息进行记录。在执行相应监测点的任务时，则将监测点信息发送至巡检设备中。具体的，包括监测点的位姿、监测点的目标图像以及关键帧信息。

在执行巡检任务时，首先确定的是巡检的路径。这里是根据服务器发送的在三维点云地图标定的监测点的位姿和根据深度相机采集的当前图像确定的初始位姿在所述二维障碍栅格地图中规划巡检路径。

具体地，根据深度相机采集的当前图像确定的初始位姿，需要进行重定位处理，来获得初始位姿，具体包括如下：

对采集到的深度图像与rgb图像进行orb特征提取，获得当前图像帧；

将所述当前图像帧与所述三维点云地图中的关键帧图像进行匹配，获取匹配关键帧图像所对应的初始位姿。

由于二维障碍栅格地图中，标识了巡检设备所在的环境中的障碍信息，因此，该地图可以确定一条无障碍的巡检路径。其中，巡检路径的确定可以采用dijkstra路径规划算法，使巡检设备沿着导航路径走到监测点附近。

在获取巡检设备当前所在位置的位姿以及监测点的位姿后，分别根据两个位置的水平面上的坐标即可在二维障碍栅格地图中确定起始点以及终点。这里在确定终端时，可选的将监测点位姿作为终点或者可选的将监测点附近(预设距离)的点作为终点。这里将监测点附近的点作为终点，可以利用后续进行监测点的目标图像的识别。

由于巡检路径是根据二维的信息处理得到的，而监测点是位于三维空间中，因此巡检设备在根据所述巡检路径到达监测点的位置后，需要进一步确定监测点在三维空间的位置。

本发明一可选实施例中，根据所述巡检路径到达所述监测点之后，所述方法还包括：

在当前监测位置搜索服务器发送的监测点的目标图像，当搜索到所述目标图像时，提取目标图像的特征点；

根据服务器发送的监测点的关键帧从所述特征点中匹配出监测点所对应的特征点；

根据所述特征点的位置对所述当期监测位置进行调整。

上述提到服务器侧发送的监测点信息还包括监测点的目标图像、关键帧信息。其中，这里的目标图像用于对监测点的位置进行初步确认。这里，在进行监测点目标图像的搜索时，可以采用目标识别算法进行识别，例如r-cnn算法。当然还可以采用其他算法，这里不做特定的限定。而关键帧信息则用于对巡检设备的监测位置进行调整，以保证巡检设备正对监测点，实现最佳位置的监测。

例如，图2所示，这里的监测对象为传感器。而传感器的目标图像则对大的一个区域，以快速确定传感器的大致位置；而采集的位置则位于目标图像中的某个特定区域，而该区域的确定则是通过相应的特征点来确定的。因此，通过特征点位置的确定可以对巡检设备进行准确调整，以使巡检设备正对监测点的位置。

在确定巡检设备的监测位置之后，可以对监测点进行数据的采集。在巡检设备中需要通过特定的采集部件来对监测点进行采集。而为使采集部件能够快速且准确定位至监测点，需要对采集部件的动作路径进行规划。

本发明一可选实施例中，对所述位置处的目标进行数据采集，包括：

根据当前监测位置的位姿与所述监测点的位姿确定采集部件的调整参数，以根据所述调整参数将所述采集部件调整至所述监测点。

可选的，采集部件为巡检设备的机械臂结构，而机械臂的控制需要通过各个方位的电机控制实现。因此，这里的调整参数为各个电机的参数信息，从而实现巡检设备的机械臂端的夹手到达监测点的位置进行巡检工作。可选的，根据服务器发送的监测点所需监测的数据类型，对采集部件进行调整。例如，机械臂结构将加速度传感器放置于监测点后，可以进行加速度数据的采集；或者机械臂结构上设置红外测速仪，通过红外测速仪转速数据的采集。这里，由于加速度传感器和红外测速仪设置的位置不同，因此调整的参数也会有所不同。后续进行说明

基于上述可知，本发明采集部件的定位通过监测点以及监测位置的位姿来决定，使得定位更加准确且快速，有效提高巡检的速度和准确度。

实施例2

本发明另一实施例还提供了一种巡检方法，如图3所示，包括如下步骤：

步骤301，获取巡检设备根据深度相机采集图像构建的三维点云地图，并将所述三维点云地图转换成二维障碍栅格地图后，发送至所述巡检设备；

步骤302，在进行巡检时，将在所述三维点云地图中标定的监测点的位姿发送至所述巡检设备；

步骤303，待接收到所述巡检设备采集的监测点的数据后，基于所述数据对所述监测点进行故障诊断。

本实施例中的巡检方法应用于服务器中，服务器通过接收巡检设备基于深度相机采集的空间场景图像构建的三维点云地图可实现监测点的标定，同时还可生成用于巡检的二维障碍栅格地图。基于此，本发明实施例的巡检方法，通过利用rgbd深度相机即可实现高精度的空间标定与定位，利于监测点的巡检，极大提高生产效率和安全性。

其中，二维障碍栅格地图是用于巡检设备进行障碍的避除以及导航路线的确定，每一个栅格值包括自由可行空间、未知区域和障碍。本发明一可选实施例中，将所述三维点云地图转换成二维障碍栅格地图时，包括：

提取所述巡检设备所在高度的三维点云数据及关键帧对应的位姿；

将所述三维点云数据在水平方向进行投影，并根据巡检设备当前所在的位姿得到所述二维障碍栅格地图。

也就是说，以巡检设备所在的高度作为避障的标准，只有该高度范围内的障碍才可构成威胁，因此将该高度的三点云数据在水平方向进行投影，并从机器人当前关键帧所在的位姿向该点云数据发出射线，射线穿过的区域为自由可行空间，射线末端为障碍，射线未穿过的区域即为未知区域，对所有关键帧进行处理即可获取二维障碍栅格地图。在进行巡检路径的选取时，根据二维障碍栅格地图中是否有栅格即可确定障碍物是否存在，当若在时，选取其他路径即可。

本发明一可选实施例中，根据在所述三维点云地图中标定的监测点，并将监测点的位姿发送至所述巡检设备，具体包括：

获取三维点云地图中标定的监测点的目标区域，并根据该区域orb特征点获取对应的关键帧和位姿；

将该监测点的目标区域、关键帧和位姿一并发送至所述巡检设备。

其中，这里在进行三维点云地图的标定时，可以通过客户端或者其他交互设备进行设置。而后由服务器处理标定的监测点的目标区域和所需监测的数据类型。在服务器处理标定的目标区域时，并根据该区域orb特征点获取对应的关键帧和位姿。而若监测点无明显的特征点，则可事先在传感器标定点贴上二维码或者其他类型的标识进行标注。将该监测点的目标区域、数据类型、关键帧和位姿一并发送至巡检设备。

实施例3

本发明实施例中所提供的巡检设备采用如图4所示的结构。该巡检设备为巡检机器人，包括移动底盘41，两个差分轮42、控制器、rgbd深度相机43、红外测速仪器44、机械臂45以及磁吸式加速度传感器46。其中，

rgbd深度相机43安装在机器人底座上方，rgbd深度相机43可实现精准定位及避障功能；红外测速仪安装在机械臂45上，并与控制器相连，可实现在指定位置测量机器转速；磁吸式加速度传感器46通过有线连接到移动底盘41上；机械臂45安装在移动底盘41左侧，与移动底座和处理器；机械臂45顶端设置有四自由度机械夹手，机械夹手通过机械臂45和移动底座及控制中心相连。机械夹手在水平方向上的移动及转动由移动底座上的差分轮42实现，差分轮42由第一电机模块(共两个电机，图中未示出)控制；垂直方向上的移动由机械臂45与移动底座上的电机以及机械夹手与机械臂45上的电机实现(第二电机模块，图中未示出)，控制四个电机可实现左转、右转、前进、停止，上升、下降功能，从而实现机器人到达指定位置实现巡检工作；机械夹手由第三电机模块控制，共一个电机，实现机械夹手47的夹紧与松开的动作。

本发明实施例所提供的巡检方法，基于实施例1和实施例2，如图5所示，具体分为建图和巡检两个部分；其中，在建图模式包括如下步骤501～步骤505，巡检模式则包括步骤506～510：具体如下：

步骤501，机器人进入建图模式对所在区域遍历扫描方式，通过orbslam算法，对观测到的rgb图像及深度图像提取orb特征，获取keyframe关键帧序列，并根据上一帧关键帧图像得到对应的特征点及初始位姿，将关键帧图像转换成三维点云地图及关键帧对应的位姿，并发送至服务器；

其中，可选的，在确定机器人位姿时，通过提取keyframe关键帧中的orb特征构建dbow，当前关键帧与dbow中的单词进行相似性比较，实现闭环关键帧检测，得到全局最优的机器人位姿。

步骤502，服务端对三维点云地图进行处理，取机器人高度范围内的三维点云数据及关键帧对应的位姿，并在水平方向投影，根据机器人关键帧对应位姿到三维点云发出的射线，射线穿过的区域为自由可行空间，射线末端为障碍，射线未穿过的区域即为未知区域，对所有数据进行处理得到水平方向二维障碍栅格地图，将二维障碍栅格地图发送至机器人，并将三维点云数据在客户端进行显示；

步骤503，机器人获取二维障碍栅格地图并保存至本地；

步骤504，客户端获取三维点云地图后，在三维点云图中标定需要监测点所在的目标区域以及监测的数据类型(加速度传感器46监测点或者为转速监测点)发送至服务器；

步骤505，服务器根据客户端标定的监测点的目标区域的orb特征点，获取对应的关键帧和位姿，将目标区域、关键帧、位姿以及检测的数据类型等监测点的信息进行保存。在进行巡检时，将相应监测点的信息发送至巡检机器人中；

步骤506，巡检机器人进入巡检模式，首先原地旋转一圈，采用orbslam算法进行重定位，通过采集到的深度图像与rgb图像与所有关键帧进行匹配，得到初始位姿；从服务器获取监测点的信息，得到监测点的位置信息(x1,y1,z1)，机器人以当前位置(x0，y0，0)为起点，将监测点所在二维平面位置(x1,y1,0)作为终点，以二维障碍栅格地图为基础，采用dijkstra路径规划算法，规划出机器人的导航路径，使机器人沿着导航路径走到监测点附近；

步骤507，搜索监测点对应的目标图像；机器人按照10°/s的转速旋转360°，并采用目标识别算法，寻找传感器所在的图像区域，当出现所采集传感器目标图像时，电机停止旋转；使用orbslam算法提取目标图像的特征点，根据关键帧确定从特征点选取传感器对应的特征点，根据特征点微调机器人监测位置使其能正对监测点。

步骤508，当机器人正对监测点后，机器人通过计算当前监测位置与监测点所在位姿的关系确定机械臂45的调整参数，调整后采集完监测点的加速度数据和转速数据后，将数据发送至服务器。这里，机器人需要采集加速度和转速数据。

当监测点为加速度传感器46，则机器人通过计算当前位置与采集点所在位姿的关系，通过电机调整机械臂45旋转角度及差分轮42，使得机械夹手47能将传感器传递到监测点所在的空间位置(x1,y1,z1)以便加速度传感器46能顺利吸附在采集点所在位置，此时机械夹手47松开，开始采集加速度数据；当数据采集完毕，机械夹手47重新夹住加速度传感器46，控制电机旋转，将机械臂45收回至初始位置。

当监测点为转速信息时，则根据红外测速仪位置与采集点位姿，调整机械臂45旋转角度，使红外测速仪能对准采集点，距离在预设距离(例如，1到2米左右)采集完毕后，将机械臂45重新收回至初始位置。

步骤509，服务器将机器人上报的机组运行的数据进行处理，分析得到故障种类及严重程度。

其中，在进行数据处理时，将加速度时域信息转换为频域信息，通过提取频谱幅值信息及对应的转速，与故障信息库中特征数据进行比较，分析得到故障的种类及严重程度。其中，故障信息库中预先存储有各种故障类型以及对应故障程度的特征数据，通过与故障信息库中的数据进行匹配，即可分析得到最终的故障结果。

基于上述可知，本发明实施例提供了一种低复杂度低成本且不影响生产的监测方式，通过采用低成本的移动巡检机器人取代传统的传感器监测手段，无需巡检人员进行现场作业，通过远程即可实现巡检。

实施例4

本发明实施例还提供了一种巡检设备，如图6所示，该设备包括深度相机、处理器62以及存储有处理器62可执行指令的存储器61。其中，所述存储器中存储有可执行指令，当所述可执行指令被所述处理器执行时用于实施例1中的巡检方法。

其中，处理器62可以是通用处理器，例如中央处理器(centralprocessingunit，cpu)，还可以是数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器61，用于存储程序代码，并将该程序代码传输给cpu。存储器61可以包括易失性存储器(volatilememory)，例如随机存取存储器(randomaccessmemory，ram)；存储器61也可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)；存储器61还可以包括上述种类的存储器的组合。

实施例5

本发明实施例还提供了一种巡检设备，如图7所示，该设备包括处理器72以及存储有处理器72可执行指令的存储器71。其中，所述存储器中存储有可执行指令，当所述可执行指令被所述处理器执行时用于实施例2中的巡检方法。

其中，处理器72可以是通用处理器，例如中央处理器，还可以是数字信号处理器、专用集成电路，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器71，用于存储程序代码，并将该程序代码传输给cpu。存储器71可以包括易失性存储器，例如随机存取存储器；存储器71也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器71还可以包括上述种类的存储器的组合。

实施例6

本发明实施例还提供了一种计算机可读存储介质。这里的计算机可读存储介质存储有一个或者多个程序。其中，计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。当计算机可读存储介质中所述一个或者多个程序可被一个或者多个处理器执行，以实现实施例1中所提供的巡检方法。

实施例7

本发明实施例还提供了一种计算机可读存储介质。这里的计算机可读存储介质存储有一个或者多个程序。其中，计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。当计算机可读存储介质中所述一个或者多个程序可被一个或者多个处理器执行，以实现实施例2中所提供的巡检方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

虽然通过实施例描述了本申请，本领域的技术人员知道，本申请有许多变形和变化而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。