机器人自主学习系统和机器人控制方法与流程

本申请涉及通信技术领域，特别涉及一种机器人自主学习系统和机器人控制方法。

背景技术：

现有的工业机器人已经成为生产自动化的必要设备，应用于工业化生产的各个行业。目前的机器人系统在装备自动化生产线前，需要针对待抓取的工件进行学习，尤其是现有的视觉机器臂系统，在投入使用前，需由技术人员对其进行训练，拍摄待抓取工件图片样本，设定参数条件进行学习，图片样本越多，学习的次数越多，视觉机器臂抓取就越准确，在此过程中，生成的机器学习程序存储于此机器臂的工控机系统中，这样的学习过程存在两个问题：

（1）需要对投入生产的每一个机器人系统进行单独训练，存储于机器人的工控机系统的机器学习程序通用性差，无法移植使用；

（2）反复拍取样本图片的方式重复性工作多，效率比较低。

因此，现有技术存在缺陷，急需改进。

技术实现要素：

本申请实施例提供一种机器人自主学习系统和机器人控制方法，根据输入的工件视频和拍摄该视频时机器臂前端与预设工件之间的相对位置关系、该机械臂种类信息，采用计算机或工控机模拟机器臂抓取姿态，进行自主学习，节省资源，提高学习效率。

本申请实施例提供一种机器人自主学习系统，包括：

信息获取单元，用于获取、储存预设工件视频以及拍摄该视频时机器臂前端与预设工件之间的相对位置关系、该机械臂种类信息；

运算单元，用于根据获取的数据，自主学习、识别预设工件以及模拟机械臂抓取姿态；

输出单元，用于根据所述运算单元的计算结果，形成并输出所述机械臂抓取姿态与预设工件对应关系的模型数据库，所述模型数据库可移植输出

在本发明所述的机器人自主学习系统中，所述相对位置关系包括机器臂前端与预设工件之间的距离值以及相对方位关系。

在本发明所述的机器人自主学习系统中，所述信息获取单元还用于获取该预设工件的种类信息；

所述输出单元，用于根据所述运算单元的计算结果，根据该预设工件的种类信息建立模型关系组，形成并输出所述机械臂抓取姿态与预设工件对应关系的模型数据库。

在本发明所述的机器人自主学习系统中，所述信息获取单元获取预设工件的视频包括以下步骤：

所述视频包括多帧图像，识别该多帧图像中的预设工件，获取筛选图片；

设定多个特征参数并获取该多个特征参数在所述筛选图像的特征参数值。

在本发明所述的机器人自主学习系统中，所述模型数据库包括根据所述预设工件的种类信息、所述筛选图片的各个特征参数值、对应的相对位置关系和模拟机械臂抓取姿态建立的模型关系。

在本发明所述的机器人自主学习系统中，所述识别该多帧图像中的预设工件，获取筛选图片包括以下步骤：

对于获取的多帧图像进行预处理，去除噪声；

利用减背景技术得到前景目标，同时对于虚假前景予以消除，利用颜色空间法及阴影的方向去除各种阴影；

在所述多帧图像中设置移动框并移动，获取移动框内图像像素；通过预先设定的特征参数从处于所述移动框内的图像像素中识别出所述预设工件。

一种机器人控制方法，其特征在于，包括以下步骤：

检测到工件抓取信号时，获取机器臂前端相机采集到的待抓取的工件的实时视频；

根据该实时视频查询预先输出的模型数据库，以获取该工件与该机器臂前端的相对位置关系和该机器臂抓取姿态；

根据所述相对位置关系生成控制信号，该控制信号用于控制机器臂抓取该待抓取的工件。

本发明通过根据输入的工件视频和拍摄该视频时机器臂前端与预设工件之间的相对位置关系、该机械臂种类信息，采用计算机或工控机模拟机器臂抓取姿态，进行自主学习，提高视觉机械臂学习效率，节省资源。另外，通过将经过模拟学习生成的模型数据库，移植到相同种类型号的机械臂系统，通过拍取待抓取的工件的实时视频即可实现对该待抓取的工件的快速精准的抓取，不需反复拍取样本图片，提高了机器人的训练效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一些实施例中的机器人自主学习系统的系统框图。

图2是本发明一些实施例中的信息获取单元获取预设工件的视频信息的流程图；

图3是本发明一些实施例中的筛选图片方法的流程图。

图4是本发明一些实施例中的机器人控制方法的流程图。

附图标记：100—信息获取单元，200—运算单元，300—输出单元。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块或单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。

参考图1，图1为本发明一些实施例中的机器人自主学习系统，包括：

信息获取单元100，用于获取、储存预设工件视频以及拍摄该视频时机器臂前端与预设工件之间的相对位置关系、该机械臂种类信息；

在实际应用中，拍摄该预设工件视频可采用任意相机，拍摄位置可以选择为该相机正对该工件的正面及不同角度，并且，在获取到该预设工件视频时，还同时获取到了该机械臂种类信息，也即是该机械臂的名称、型号等。可以通过手动输入的方式获取，不同种类、型号的机械臂的信息可预先存储于数据库中，通过查询数据库的方式获得该机械臂的各项信息，当然，其并不限于此。

其中，该相对位置关系包括机器臂前端或者该机器臂前端的抓取机构与预设工件之间的距离值以及相对方位关系。

运算单元200，用于根据所述信息获取单元100获取的数据，自主学习、识别预设工件以及模拟机械臂抓取姿态；

在实际应用中，该运算单元200为计算机、工控机或云处理器，该机器学习的方法可采用现有技术中的算法，通过建模的方法模拟机械臂抓取该预设工件各姿态和该预设工件在三维空间里的位置和深度信息。

输出单元300，用于根据运算单元200的计算结果，形成并输出所述机械臂抓取姿态与预设工件对应关系的模型数据库，该模型数据库可移植输出。

在实际应用中，运算单元200把各计算优化的结果输入到该输出单元300，形成该机械臂抓取姿态与预设工件对应关系的模型数据库。该模型数据库可移植输出，其具有通用的数据格式，可在训练前输入的相同种类或型号的机器人或机器臂的工控机系统或云处理器中运行。该模型数据库中具有该预设工件的不同位置、角度与机械臂抓取姿态对应的模型关系。数据关系可以采用关系数据模型，它以记录组或数据表的形式组织数据，以便于利用各种地理实体与属性之间的关系进行存储和变换，不分层也无指针，是建立空间数据和属性数据之间关系的一种非常有效的数据组织方法。

在一些实施例中，所述信息获取单元还用于获取该预设工件的种类信息；

具体的，根据该相对位置关系以及该预设工件的种类信息的种类信息，包括：根据该工件的种类信息或者该工件的重量信息、外型信息以及材质信息；根据该工件的重量信息、外型信息以及材质信息，运算单元计算出机械臂抓取该预设工件的抓取力。

输出单元300，用于根据运算单元200的计算结果，根据该预设工件的种类信息建立模型关系组，形成并输出所述机械臂抓取姿态与预设工件对应关系的模型数据库。

在其他的优选的实施方式中，如图2所示，该信息获取单元100获取预设工件的视频信息包括以下步骤：

s101、所述视频包括多帧图像，识别该多帧图像中的预设工件，获取筛选图片；

在该步骤中，在该多帧图像中识别具有预设工件的筛选图片，可采用现有技术中的图片识别算法，在此不再赘述。

s102、设定多个特征参数并获取该多个特征参数在所述筛选图片的特征参数值；

在该步骤中，该特征参数可以为该工件的长宽高等尺寸参数，或者形状参数，颜色参数等。由于不同的工件往往特征各不相同，要想提取到最能表现该工件特征的特征参数，在设定特征参数时就需要参考该预设工件的种类信息，储存于该信息获取单元100的数据库中，根据该预设工件的种类信息来选择多个参数作为特征参数。对于已知工件种类信息的情况下，可以直接该工件的种类信息选择需要提取的该筛选图片的特征参数，在确定要提取哪些特征参数的特征参数值后，就可以很快从该筛选图片中提取出该特征参数的特征参数值。

在一些优选的实施方式中，该模型数据库包括根据该预设工件的种类信息、筛选图片的各个特征参数值、对应的相对位置关系和模拟机械臂抓取姿态建立的模型关系。其中，该模型数据库为上述实施例中采用机器人学习方法建立的模型数据库。

在一些优选的实施方式中，参见图3，步骤s101、识别该多帧图像中的预设工件，获取筛选图片包括以下步骤：

s1011、对于获取的多帧图像进行预处理，去除噪声；

在此步骤中，可以利用差分技术大致区分多帧图像的前景与背景的轮廓，去除噪声。

s1012、利用减背景技术得到前景目标，同时对于虚假前景予以消除，利用颜色空间法及阴影的方向去除各种阴影；

在此步骤中，可利用前景目标与高通滤波模板进行卷积运算找出图像物体的边界轮廓，根据轮廓的连续性与封闭性分离出图像物体，对虚假前景予以消除。

s1013、在所述多帧图像中设置移动框并移动，获取移动框内图像像素；通过预先设定的特征参数从处于所述移动框内的图像像素中识别出所述预设工件。

在此步骤中，移动框内图像像素与预先设定的特征参数进行卷积运算，得到筛选图片;

具体的，该特征参数可以为该工件的长宽高等尺寸参数，或者形状参数，颜色参数等。由于不同的工件往往特征各不相同，要想提取到最能表现该工件特征的特征参数，在设定特征参数时就需要参考该预设工件的种类信息，需要根据该预设工件的种类信息来选择多个参数作为特征参数。

请参照图4，图4是本发明一些实施例中的一种机器人控制方法的流程图，

该方法包括以下步骤：

s201、检测到工件抓取信号时，获取机器臂前端相机采集到的待抓取的工件的实时视频；

其中，在检测到工件抓取信号时，可以开启光源模块进行补光。

s202、根据该实时视频查询预先移入的模型数据库，以获取该工件与该机器臂前端的相对位置关系和该机器臂抓取姿态；

在该步骤中，该模型数据库为上述实施例中采用机器人学习方法建立的模型数据库。

s203、根据所述相对位置关系生成控制信号，该控制信号用于控制机器臂抓取该待抓取的工件。

在该步骤中，该控制信号包括了该机械臂需要移动或者转动的角度以及距离数据，及其抓取姿态，使得该机械臂可以将该抓取机构移动到该待抓取的工件处，完成抓取。具体地，该步骤根据该相对位置关系以及该待抓取的工件的种类信息生成控制信号包括：根据该工件的种类信息或者该工件的重量信息、外型信息以及材质信息；根据该工件的重量信息、外型信息以及材质信息计算出额定抓取力；

具体地，该步骤根据该相对位置关系以及该待抓取的工件的种类信息生成控制信号包括：根据该工件的种类信息或者该工件的重量信息、外型信息以及材质信息；根据该工件的重量信息、外型信息以及材质信息计算出额定抓取力。

根据该相对位置关系生成移动控制参数信息，根据该移动控制参数信息以及额定抓取力生成控制信号，使得该机器臂可以将该抓取机构移动至对应位置并以该额定抓取力来抓取该工件。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，该存储介质可以包括但不限于：只读存储器（rom，readonlymemory）、随机存取存储器（ram，randomaccessmemory）、磁盘或光盘等。

以上对本申请实施例所提供的自主学习系统和机器人控制方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。