机械臂抓取控制方法、装置、存储介质及电子设备与流程

本发明涉及通信技术领域，特别涉及一种机械臂抓取控制方法、装置、存储介质及电子设备。

背景技术

现有的工业机器人只能定向抓取物体，无法做到在物体位置变化之后，对应改变自身的控制程序来实现物体抓取。

因此，现有技术存在缺陷，急需改进。

技术实现要素：

本申请实施例提供一种机械臂抓取控制方法、装置、存储介质及电子设备，可以提高物体抓取灵活性。

本申请实施例提供一种机械臂抓取控制方法，包括以下步骤：

检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；

根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；

根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；

根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；

根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体。

在本发明所述的机械臂抓取控制方法中，所述根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂景深相机之间的相对位置关系的步骤之前还包括：根据该景深照片判断该待抓取的物体的种类信息；

所述根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂景深相机之间的相对位置关系的步骤包括：

根据该待抓取物体的种类信息查询预先建立的模型数据库以获取对应的模型关系组；

根据该多个特征参数值从该模型关系组中的多个模型关系中查询出该待抓取的物体与该机械臂景深相机之间的相对位置关系。

在本发明所述的机械臂抓取控制方法中，所述根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值的步骤包括：

将所述物体从所述景深照片中提取出以得到所述物体的景深图；

根据所述景深图中的景深信息获取所述物体与所述抓取机构之间的距离值。

在本发明所述的机械臂抓取控制方法中，所述机械臂前端的抓取机构处设置有力矩传感器；其特征在于，所述根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体的步骤包括：

根据该相对位置关系、距离值以及该待抓取的物体的种类信息生成控制信号，该控制信号用于控制该机械臂移动至对应位置并控制该抓取机构以对应的抓取力来抓取待抓取的物体。

在本发明所述的机械臂抓取控制方法中，所述景深相机设置于所述抓取机构的正中央。

一种机械臂抓取控制装置，包括：

第一获取模块，用于在检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；

第二获取模块，用于根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；

第三获取模块，用于根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；

第四获取模块，用于根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；

控制模块，用于根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体。

在本发明所述的机械臂抓取控制装置中，还包括：判断模块，用于根据该景深照片判断该待抓取的物体的种类信息；

所述第三获取模块包括：

第一查询单元，用于根据该待抓取物体的种类信息查询预先建立的模型数据库以获取对应的模型关系组；

第二查询单元，用于根据该多个特征参数值从该模型关系组中的多个模型关系中查询出该待抓取的物体与该机械臂景深相机之间的相对位置关系。

在本发明所述的机械臂抓取控制装置中，所述第四获取模块用于将所述物体从所述景深照片中提取出以得到所述物体的景深图；根据所述景深图中的景深信息获取所述物体与所述抓取机构之间的距离值。

一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述任一项所述的方法。

一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述任一项所述的方法。

由上可知，本发明通过检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体，可以随着物体位置变化精准工质该机器人抓取到该物体，具有提高抓取的精确度以及灵活性的有益效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一些实施例中的机械臂抓取控制方法的流程图。

图2是本发明一些实施例中的机械臂抓取控制装置的结构图。

图3是本发明一些实施例中的电子设备的结构图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块或单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。

请参照图1，图1是本发明一些实施例中的一种机械臂抓取控制方法的流程图，该方法包括以下步骤：

s101、检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片。

其中，在检测到触发信号时，需要开启光源模块进行补光，使得景深相机可以拍摄到更加清晰明亮的景深照片。该景深照片不仅具有该物体的颜色形状等信息，还具有该物体的景深信息，该景深信息可以用来获取距离值。所述景深相机设置于所述抓取机构的正中央。

s102、根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值。

其中，该特征参数可以为该物体的长宽高等尺寸参数，或者形状参数，颜色参数等。由于不同的物体往往特征各不相同，要想提取到最能表现该物体特征的特征参数，在设定特征参数时就需要参考该预设物体的种类信息，需要根据该预设物体的种类信息来选择多个参数作为特征参数。对于已知物体种类信息的情况下，可以直接该物体的种类信息选择需要提取的该景深照片的特征参数，在确定要提取哪些特征参数的特征参数值后，就可以很快从该景深照片中提取出该特征参数的特征参数值。

在一些实施例中，在该待抓取的物体为未知物体的情况下，在执行该步骤s102之前，还需要执行：根据该景深照片获取该待抓取的物体的种类信息。可以采用图片识别技术识别出该物体的种类信息，也可以采用手动输入的方式。

s103、根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系。

在该步骤中，该模型数据库为上述实施例中采用机器人学习方法建立的模型数据库。为了提高效率，在一些实施例中，该步骤s103包括：

s1031、根据该待抓取物体的种类信息查询预先建立的模型数据库以获取对应的模型关系组；s1032、根据该多个特征参数值从该模型关系组中的多个模型关系中查询出该待抓取的物体与该机械臂景深相机之间的相对位置关系。

其中，该相对位置关系包括机械臂景深相机或者该机械臂前端的抓取机构与待抓取的物体之间的距离值以及相对方位关系。

s104、根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值。

在该步骤中，先将所述物体从所述景深照片中提取出以得到所述物体的景深图；根据所述景深图中的景深信息获取所述物体与所述抓取机构之间的距离值。其中，如何根据景深信息计算距离值属于现有的算法。但是，由于景深相机与抓取机构可能存在位置差异，因此需要进行数据补偿。

s105、根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体。

在该步骤中，根据所述相对位置关系以及所述距离值生成控制信号，该控制信号包括了该机械臂需要移动或者转动的角度以及距离数据，使得该机械臂可以将该抓取机构移动到该待抓取的物体处。

在一些实施例中，该机械臂前端的抓取机构处设置有力矩传感器；该步骤s105包括：根据该相对位置关系、距离值以及该待抓取的物体的种类信息生成控制信号，该控制信号用于控制该机械臂移动至对应位置并控制该抓取机构以对应的抓取力来抓取待抓取的物体。并且在抓取过程中，该力矩传感器会实时反馈数据给该电子设备。对于不同种类的物体，由于该物体的强度以及重量均不相同，因此需要施加的抓取力也不相同，可以避免损坏物体，也能保证物体不会掉落。

具体地，该步骤根据该相对位置关系以及该待抓取的物体的种类信息生成控制信号包括：根据该物体的种类信息或者该物体的重量信息、外型信息以及材质信息；根据该物体的重量信息、外型信息以及材质信息计算出额定抓取力；

根据该相对位置关系生成移动控制参数信息，根据该移动控制参数信息以及额定抓取力生成控制信号，使得该机械臂可以将该抓取机构移动至对应位置并以该额定抓取力来抓取该物体。

由上可知，本发明通过检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体，可以随着物体位置变化精准工质该机器人抓取到该物体，具有提高抓取的精确度以及灵活性的有益效果。

请参照图2，图2是本发明一些实施例中的一种机械臂抓取控制装置的结构图，该装置包括：第一获取模块201、第二获取模块202、第三获取模块203第四获取模块204以及控制模块205。

其中，该第一获取模块201用于在检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片。其中，在检测到触发信号时，需要开启光源模块进行补光，使得景深相机可以拍摄到更加清晰明亮的景深照片。

其中，该第二获取模块202用于根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值。其中，该特征参数可以为该物体的长宽高等尺寸参数，或者形状参数，颜色参数等。由于不同的物体往往特征各不相同，要想提取到最能表现该物体特征的特征参数，在设定特征参数时就需要参考该预设物体的种类信息，需要根据该预设物体的种类信息来选择多个参数作为特征参数。对于已知物体种类信息的情况下，可以直接该物体的种类信息选择需要提取的该景深照片的特征参数，在确定要提取哪些特征参数的特征参数值后，就可以很快从该景深照片中提取出该特征参数的特征参数值。

其中，该第三获取模块203用于根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂景深相机之间的相对位置关系。该模型数据库为上述实施例中采用机器人学习方法建立的模型数据库。为了提高效率，在一些实施例中，该第三获取模块303包括：第一获取单元，用于根据该待抓取物体的种类信息查询预先建立的模型数据库以获取对应的模型关系组；查询单元，用于根据该多个特征参数值从该模型关系组中的多个模型关系中查询出该待抓取的物体与该机械臂景深相机之间的相对位置关系。其中，该相对位置关系包括机械臂景深相机或者该机械臂前端的抓取机构与待抓取的物体之间的距离值以及相对方位关系。

该第四获取模块204用于根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值。先将所述物体从所述景深照片中提取出以得到所述物体的景深图；根据所述景深图中的景深信息获取所述物体与所述抓取机构之间的距离值。其中，如何根据景深信息计算距离值属于现有的算法。但是，由于景深相机与抓取机构可能存在位置差异，因此需要进行数据补偿。

其中，该控制模块205用于根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体。根据所述相对位置关系以及所述距离值生成控制信号，该控制信号包括了该机械臂需要移动或者转动的角度以及距离数据，使得该机械臂可以将该抓取机构移动到该待抓取的物体处。

在一些实施例中，该机械臂前端的抓取机构处设置有力矩传感器；该控制模块205用于：根据该相对位置关系以及该待抓取的物体的种类信息生成控制信号，该控制信号用于控制该机械臂移动至对应位置并控制该抓取机构以对应的抓取力来抓取待抓取的物体。并且在抓取过程中，该力矩传感器会实时反馈数据给该电子设备。对于不同种类的物体，由于该物体的强度以及重量均不相同，因此需要施加的抓取力也不相同，可以避免损坏物体，也能保证物体不会掉落。

由上可知，本发明通过检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体，可以随着物体位置变化精准工质该机器人抓取到该物体，具有提高抓取的精确度以及灵活性的有益效果。

本发明实施例还提供一种存储介质，该存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，该计算机执行上述任一实施例所述的基于语音识别的人脸表情装饰方法，从而实现以下功能：检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体。

请参照图3，本发明实施例还提供一种电子设备。该电子设备可以是智能手机、平板电脑等设备。如示，电子设备300包括处理器301和存储器302。其中，处理器301与存储器302电性连接。处理器301是电子设备300的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。

在本实施例中，电子设备300中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现各种功能：检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体。

存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序，从而执行各种机器人的控制方法。

由上可知，本发明通过检测到触发信号时，获取机械臂上设置的景深相机采集到的待抓取的物体的景深照片；根据该景深照片获取预设的多个特征参数在该景深照片中的特征参数值；根据该多个特征参数值查询预先建立的模型数据库，以获取该物体与该机械臂的抓取机构之间的相对位置关系；根据该景深照片携带的景深信息获取该物体与所述抓取机构之间的距离值；根据所述相对位置关系以及所述距离值控制该机械臂将该抓取机构移动至对应位置以抓取所述物体，可以随着物体位置变化精准工质该机器人抓取到该物体，具有提高抓取的精确度以及灵活性的有益效果。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，该存储介质可以包括但不限于：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本申请实施例所提供的机器人学习方法、控制方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。