一种巡检机器人目标图像抓取方法及系统

本发明属于机器人技术领域，尤其涉及一种巡检机器人目标图像抓取方法及系统。

背景技术：

目前，在智能机器人领域，巡检机器人执行巡检任务时，按照巡检路线运行到巡检目标位置，停下来后通过自带的拍摄单元拍摄目标物，然后继续向下一个巡检目标位置运动，运动过程中，机器人对之前拍摄的目标无图片进行自动识别，读取并备份其中的表计数值、或开关位置信息。对于机器人自主抓取问题，传统方案主要包括几何分析方法和数据驱动推理两种方法。但是几何分析方法人工复杂度高，数据驱动推理方法在复杂场景下表现差，且在自动定位抓取点时，效率偏低。因此，亟需一种新的巡检机器人目标图像抓取方法。

通过上述分析，现有技术存在的问题及缺陷为：传统解决机器人自主抓取问题的方法中，几何分析方法人工复杂度高，数据驱动推理方法在复杂场景下表现差，且在自动定位抓取点时，效率偏低。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种巡检机器人目标图像抓取方法及系统。

本发明是这样实现的，一种巡检机器人目标图像抓取方法，所述巡检机器人目标图像抓取方法以下步骤：

步骤一，通过抓取位置检测模块利用位置检测程序对巡检机器人目标物体的抓取位置进行检测；

进一步，步骤一中，所述通过抓取位置检测模块利用位置检测程序对巡检机器人目标物体的抓取位置进行检测，包括：

(1.1)采集目标物体在不同视角下的目标rgb图像和目标depth图像；

(1.2)将每一所述目标rgb图像输入至目标物体分割网络进行计算，得到所述目标rgb图像中目标物体的rgb像素区域及所述目标depth图像中目标物体的depth像素区域；

(1.3)将所述目标物体的rgb像素区域输入至抓取位置生成网络，得到所述目标物体的抓取位置；

步骤二，通过抓取位置优化模块利用位置优化程序对检测得到的巡检机器人目标物体的抓取位置进行优化，得到最优抓取位置；

步骤三，通过中央控制模块利用中央处理器控制所述巡检机器人目标图像抓取系统各个模块的正常运行；

步骤四，通过目标图像获取模块利用巡检机器人搭载的图像获取设备，根据检测得到的巡检机器人目标物体的最优抓取位置，拍摄待抓取目标物体的目标参考图像及巡检图像，确定目标图像；

步骤五，通过图像特征提取模块利用特征提取程序对获取的目标图像特征进行提取，并生成对应图像的特征数据集；

步骤六，通过网络模型构建模块构建卷积神经网络，通过模型构建程序将获取的图像特征数据集输入卷积神经网络中进行离线训练，得到卷积神经网络模型；

所述通过模型构建程序将获取的图像特征数据集输入卷积神经网络中进行离线训练，得到卷积神经网络模型包括：

(6.1)获取包括多个类别的训练数据的图像特征数据集；针对每一训练轮次，基于所述总训练集，对每个所述类别的训练数据进行采样，得到采样后的训练数据组成的子训练集；

(6.2)根据神经网络对所述子训练集中的每个所述类别的所述训练数据进行特征提取，得到特征向量；基于当前训练轮次的子训练集中每个所述类别的训练数据的所述特征向量；

(6.3)分别对所述特征向量对应类别的历史中心向量进行更新，得到每个所述类别的当前训练轮次的所述中心向量；所述历史中心向量为前一训练轮次的所述中心向量，对于第一训练轮次，前一训练轮次的所述中心向量为预设的每个所述类别的初始中心向量；

(6.4)基于所述中心向量和所述特征向量获得损失函数的值，根据所述损失函数的值调整所述神经网络的参数；

步骤七，通过目标图像抓取模块利用图像抓取程序利用构建的卷积神经网络模型对巡检机器人目标物体图像进行抓取；

步骤八，通过云存储模块利用云数据库服务器存储检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果；

步骤九，通过更新显示模块利用显示器对检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果的实时数据进行更新显示。

进一步，步骤(1.1)中，所述目标rgb图像和目标depth图像中的像素点一一对应。

进一步，步骤二中，所述通过抓取位置优化模块利用位置优化程序对检测得到的巡检机器人目标物体的抓取位置进行优化，得到最优抓取位置，包括：

(1)将所述目标物体的depth像素区域及所述抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；

(2)选择最高得分对应的抓取位置作为巡检机器人全局最优抓取位置。

进一步，步骤四中，所述通过目标图像获取模块利用巡检机器人搭载的图像获取设备拍摄待抓取目标物体的目标参考图像及巡检图像，确定目标图像，包括：

(1)巡检机器人行走至预定目标位置，拍摄目标物的目标参考图像；

(2)巡检机器人移动巡检时，连续拍摄巡检图像；

(3)巡检机器人将巡检图像与目标参考图像进行对比分析，如果巡检图像与目标参考图像重合，则巡检机器人将该巡检图像作为目标图像。

进一步，所述巡检机器人在行走至预定目标位置过程中，按照固定间隔拍摄行走参考图像；所述固定间隔包括固定时间间隔或固定距离间隔；行走参考图像和目标参考图像按照拍照时间的先后顺序建立路径图像排列。

进一步，步骤五中，所述通过图像特征提取模块利用特征提取程序对获取的目标图像特征进行提取，包括：

(1)获取目标图像所对应的rgb三个单通道图，并选出清晰度和对比度最高的单通道图；

(2)选取相应的域值，对单通道图进行域值提取，得到域值提取图；

(3)从域值提取图中获得最大的连通域，并对所述连通域进行填充；获取填充的连通域轮廓，进而获得目标图像的轮廓特征。

进一步，所述目标图像的轮廓特征包括柜边、柜角、人工标志点、仪表边线或角、铭牌边线或角、图形中心点或重心点。

本发明的另一目的在于提供一种实施所述巡检机器人目标图像抓取方法的巡检机器人目标图像抓取系统，所述巡检机器人目标图像抓取系统包括：

抓取位置检测模块、抓取位置优化模块、中央控制模块、目标图像获取模块、图像特征提取模块、网络模型构建模块、目标图像抓取模块、云存储模块、更新显示模块。

抓取位置检测模块，与中央控制模块连接，用于通过位置检测程序对巡检机器人目标物体的抓取位置进行检测；

抓取位置优化模块，与中央控制模块连接，用于通过位置优化程序对检测得到的巡检机器人目标物体的抓取位置进行优化，得到最优抓取位置；

中央控制模块，与抓取位置检测模块、抓取位置优化模块、目标图像获取模块、图像特征提取模块、网络模型构建模块、目标图像抓取模块、云存储模块、更新显示模块连接，用于通过中央处理器控制所述巡检机器人目标图像抓取系统各个模块的正常运行；

目标图像获取模块，与中央控制模块连接，用于通过巡检机器人搭载的图像获取设备，根据检测得到的巡检机器人目标物体的最优抓取位置，拍摄待抓取目标物体的目标参考图像及巡检图像，确定目标图像；

图像特征提取模块，与中央控制模块连接，用于通过特征提取程序对获取的目标图像特征进行提取，并生成对应图像的特征数据集；

网络模型构建模块，与中央控制模块连接，用于构建卷积神经网络，通过模型构建程序将获取的图像特征数据集输入卷积神经网络中进行离线训练，得到卷积神经网络模型；

目标图像抓取模块，与中央控制模块连接，用于通过图像抓取程序利用构建的卷积神经网络模型对巡检机器人目标物体图像进行抓取；

云存储模块，与中央控制模块连接，用于通过云数据库服务器存储检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果；

更新显示模块，与中央控制模块连接，用于通过显示器对检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果的实时数据进行更新显示。

本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的巡检机器人目标图像抓取方法。

本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的巡检机器人目标图像抓取方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的巡检机器人目标图像抓取方法，通过抓取位置检测模块和抓取位置优化模块可以实现机器人自动在最优抓取位置抓取目标物体；采用合成特征数据训练卷积神经网络，能够避免对特定数据集分布的过度拟合，具有可靠性高、鲁棒性强且实时性好的优点。同时，采用本发明进行巡检，可以减少巡检时间、提高巡检效率；同样，无需前后期定位和校准，减少运维人员的工作量，降低系统复杂度，能够满足巡检机器人图像识别定位精度要求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的巡检机器人目标图像抓取系统结构框图；

图中：1、抓取位置检测模块；2、抓取位置优化模块；3、中央控制模块；4、目标图像获取模块；5、图像特征提取模块；6、网络模型构建模块；7、目标图像抓取模块；8、云存储模块；9、更新显示模块。

图2是本发明实施例提供的巡检机器人目标图像抓取方法流程图。

图3是本发明实施例提供的通过抓取位置检测模块利用位置检测程序对巡检机器人目标物体的抓取位置进行检测的方法流程图。

图4是本发明实施例提供的通过目标图像获取模块利用巡检机器人搭载的图像获取设备拍摄待抓取目标物体的目标参考图像及巡检图像，确定目标图像的方法流程图。

图5是本发明实施例提供的通过图像特征提取模块利用特征提取程序对获取的目标图像特征进行提取的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种巡检机器人目标图像抓取方法及系统，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的巡检机器人目标图像抓取方法包括：

s101，通过抓取位置检测模块利用位置检测程序对巡检机器人目标物体的抓取位置进行检测；

s102，通过抓取位置优化模块利用位置优化程序对检测得到的巡检机器人目标物体的抓取位置进行优化，得到最优抓取位置；

s103，通过中央控制模块利用中央处理器控制所述巡检机器人目标图像抓取系统各个模块的正常运行；

s104，通过目标图像获取模块利用巡检机器人搭载的图像获取设备，根据检测得到的巡检机器人目标物体的最优抓取位置，拍摄待抓取目标物体的目标参考图像及巡检图像，确定目标图像；

s105，通过图像特征提取模块利用特征提取程序对获取的目标图像特征进行提取，并生成对应图像的特征数据集；

s106，通过网络模型构建模块构建卷积神经网络，通过模型构建程序将获取的图像特征数据集输入卷积神经网络中进行离线训练，得到卷积神经网络模型；

s107，通过目标图像抓取模块利用图像抓取程序利用构建的卷积神经网络模型对巡检机器人目标物体图像进行抓取；

s108，通过云存储模块利用云数据库服务器存储检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果；

s109，通过更新显示模块利用显示器对检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果的实时数据进行更新显示。

如图2所示，本发明实施例提供的巡检机器人目标图像抓取系统包括：抓取位置检测模块1、抓取位置优化模块2、中央控制模块3、目标图像获取模块4、图像特征提取模块5、网络模型构建模块6、目标图像抓取模块7、云存储模块8、更新显示模块9。

抓取位置检测模块1，与中央控制模块3连接，用于通过位置检测程序对巡检机器人目标物体的抓取位置进行检测；

抓取位置优化模块2，与中央控制模块3连接，用于通过位置优化程序对检测得到的巡检机器人目标物体的抓取位置进行优化，得到最优抓取位置；

中央控制模块3，与抓取位置检测模块1、抓取位置优化模块2、中央控制模块3、目标图像获取模块4、图像特征提取模块5、网络模型构建模块6、目标图像抓取模块7、云存储模块8、更新显示模块9连接，用于通过中央处理器控制所述巡检机器人目标图像抓取系统各个模块的正常运行；

目标图像获取模块4，与中央控制模块连3接，用于通过巡检机器人搭载的图像获取设备，根据检测得到的巡检机器人目标物体的最优抓取位置，拍摄待抓取目标物体的目标参考图像及巡检图像，确定目标图像；

图像特征提取模块5，与中央控制模块3连接，用于通过特征提取程序对获取的目标图像特征进行提取，并生成对应图像的特征数据集；

网络模型构建模块6，与中央控制模块3连接，用于构建卷积神经网络，通过模型构建程序将获取的图像特征数据集输入卷积神经网络中进行离线训练，得到卷积神经网络模型；

目标图像抓取模块7，与中央控制模块3连接，用于通过图像抓取程序利用构建的卷积神经网络模型对巡检机器人目标物体图像进行抓取；

云存储模块8，与中央控制模块3连接，用于通过云数据库服务器存储检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果；

更新显示模块9，与中央控制模块3连接，用于通过显示器对检测得到的巡检机器人目标物体的最优抓取位置、目标图像数据、图像特征数据集、卷积神经网络模型以及目标图像抓取结果的实时数据进行更新显示。

下面结合具体实施例对本发明的技术方案作进一步说明。

实施例1

本发明实施例提供的巡检机器人目标图像抓取方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过抓取位置检测模块利用位置检测程序对巡检机器人目标物体的抓取位置进行检测，包括：

s201，采集目标物体在不同视角下的目标rgb图像和目标depth图像，其中，所述目标rgb图像和目标depth图像中的像素点一一对应；

s202，将每一所述目标rgb图像输入至目标物体分割网络进行计算，得到所述目标rgb图像中目标物体的rgb像素区域及所述目标depth图像中目标物体的depth像素区域；

s203，将所述目标物体的rgb像素区域输入至抓取位置生成网络，得到所述目标物体的抓取位置。

实施例2

本发明实施例提供的巡检机器人目标图像抓取方法如图1所示，作为优选实施例，本发明实施例提供的通过抓取位置优化模块利用位置优化程序对检测得到的巡检机器人目标物体的抓取位置进行优化，得到最优抓取位置，包括：

将所述目标物体的depth像素区域及所述抓取位置输入至抓取位置质量评估网络，计算所述最优抓取位置的得分；选择最高得分对应的抓取位置作为巡检机器人全局最优抓取位置。

实施例3

本发明实施例提供的巡检机器人目标图像抓取方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过目标图像获取模块利用巡检机器人搭载的图像获取设备拍摄待抓取目标物体的目标参考图像及巡检图像，确定目标图像，包括：

s301，巡检机器人行走至预定目标位置，拍摄目标物的目标参考图像；

s302，巡检机器人移动巡检时，连续拍摄巡检图像；

s303，巡检机器人将巡检图像与目标参考图像进行对比分析，如果巡检图像与目标参考图像重合，则巡检机器人将该巡检图像作为目标图像。

本发明实施例提供的巡检机器人在行走至预定目标位置过程中，按照固定间隔拍摄行走参考图像；所述固定间隔包括固定时间间隔或固定距离间隔；行走参考图像和目标参考图像按照拍照时间的先后顺序建立路径图像排列。

实施例4

本发明实施例提供的巡检机器人目标图像抓取方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的通过图像特征提取模块利用特征提取程序对获取的目标图像特征进行提取，包括：

s401，获取目标图像所对应的rgb三个单通道图，并选出清晰度和对比度最高的单通道图；

s402，选取相应的域值，对单通道图进行域值提取，得到域值提取图；

s403，从域值提取图中获得最大的连通域，并对所述连通域进行填充；获取填充的连通域轮廓，进而获得目标图像的轮廓特征。

本发明实施例提供的目标图像的轮廓特征包括柜边、柜角、人工标志点、仪表边线或角、铭牌边线或角、图形中心点或重心点。

实施例5

本发明实施例提供的巡检机器人目标图像抓取方法如图1所示，作为优选实施例，本发明实施例提供的通过模型构建程序将获取的图像特征数据集输入卷积神经网络中进行离线训练，得到卷积神经网络模型包括：

获取包括多个类别的训练数据的图像特征数据集；针对每一训练轮次，基于所述总训练集，对每个所述类别的训练数据进行采样，得到采样后的训练数据组成的子训练集；根据神经网络对所述子训练集中的每个所述类别的所述训练数据进行特征提取，得到特征向量；基于当前训练轮次的子训练集中每个所述类别的训练数据的所述特征向量；

分别对所述特征向量对应类别的历史中心向量进行更新，得到每个所述类别的当前训练轮次的所述中心向量；所述历史中心向量为前一训练轮次的所述中心向量，对于第一训练轮次，前一训练轮次的所述中心向量为预设的每个所述类别的初始中心向量；基于所述中心向量和所述特征向量获得损失函数的值，根据所述损失函数的值调整所述神经网络的参数。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。