一种工件抓取模板的生成方法及系统与流程

本发明实施例涉及三维重建技术领域，尤其涉及一种工件抓取模板的生成方法及系统。

背景技术：

由于人工智能技术的发展，对于机器人的自动化要求逐渐变高，这就要求机器人能够根据人的指令对物体进行自主的抓取以及搬运等操作。

目前，在流水线上利用机器人抓取工件时，都是通过摄像头获取工件图像数据，并通过图像处理等方式进行工件的定位及抓取。但是，现有技术的这种机器人视觉抓取方法具有若干缺点。具体地，该机器人视觉抓取方法需要很大的计算量，需要从照片信息计算出产品尺寸和产品位置。其次，由于计算过程复杂，从而导致操作的时效性较差。而且，无法对抓取点进行定位，只能进行粗略地抓取，容易损伤工件。

技术实现要素：

有鉴于此，本发明的目的是提出一种工件抓取模板的生成方法及系统，以提高机器人三维视觉抓取系统的部署速度。

为实现上述目的，本发明采用如下技术方案：

一方面，本发明实施例提供了一种工件抓取模板的生成方法，包括：

获取机器人对参考工件多角度拍摄的图像，其中，所述参考工件的表面贴附有抓取点标记；

根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。

进一步地，所述获取机器人对参考工件多角度拍摄的图像，包括：

利用机器人力控拖动技术，通过拖动机器人末端调整所述机器人末端上深度相机的位姿，以改变所述深度相机的拍摄视角且拍摄到全部所述抓取点标记；

在每个所述拍摄视角下利用所述深度相机拍摄所述参考工件的单帧二维图像和单帧三维图像。

进一步地，所述根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，包括：

在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的工件三维模型数据；

基于所述二维图像和所述三维图像，识别所述抓取点标记，得到所述抓取点标记在所述机器人基坐标系下的标记点坐标数据；

合并所述工件三维模型数据和所述标记点坐标数据；

重设工件坐标系，将合并后的所述工件三维模型数据和所述标记点坐标数据变换至所述工件坐标系中，得到所述工件抓取模板。

进一步地，在机器人基坐标系下对所述三维图像进行配准，包括：

基于所述深度相机在所述机器人基坐标系下的位姿，对所述三维图像进行粗配准；

基于最近点迭代算法对经粗配准后的三维图像进行精配准。

另一方面，本发明实施例提供了一种工件抓取模板的生成系统，包括机器人、参考工件和处理器；

所述机器人用于对所述参考工件进行多角度拍摄，所述参考工件的表面贴附有抓取点标记；

所述处理器用于获取机器人对参考工件多角度拍摄的图像，并根据所述图像对所述参考工件的三维模型进行重建，生成工件抓取模板，其中，所述工件抓取模板包括所述抓取点标记所标示的所述参考工件上可抓取点的位置。

进一步地，所述机器人包括拖动示教系统、机器人末端和设置于所述机器人末端的深度相机；

所述拖动示教系统用于利用机器人力控拖动技术，通过拖动机器人末端进行示教；

所述机器人末端用于通过力控拖动来调整所述深度相机的位姿，以改变所述深度相机的拍摄视角且拍摄到全部所述抓取点标记；

所述深度相机用于在每个所述拍摄视角下拍摄所述参考工件的单帧二维图像和单帧三维图像。

进一步地，所述机器人上还设置有拖动示教按钮和相机采集按钮；

所述机器人末端具体用于在所述拖动示教按钮被按下时，通过力控拖动来调整所述深度相机的位姿，以改变所述深度相机的拍摄视角且拍摄到全部所述抓取点标记；

所述深度相机具体用于在所述相机采集按钮被按下时，在每个所述拍摄视角下拍摄所述参考工件的单帧二维图像和单帧三维图像。

进一步地，所述处理器包括图像获取模块、图像配准模块、图像识别模块、图像合并模块和抓取模板生成模块；

所述图像获取模块用于获取所述二维图像和所述三维图像；

所述图像配准模块用于在机器人基坐标系下对所述三维图像进行配准，得到所述参考工件在所述机器人基坐标系下的工件三维模型数据；

所述图像识别模块用于基于所述二维图像和所述三维图像，识别所述抓取点标记，得到所述抓取点标记在所述机器人基坐标系下的标记点坐标数据；

所述图像合并模块用于合并所述工件三维模型数据和所述标记点坐标数据；

所述抓取模板生成模块用于重设工件坐标系，将合并后的所述工件三维模型数据和所述标记点坐标数据变换至所述工件坐标系中，得到所述工件抓取模板。

进一步地，所述抓取点标记具有至少一对用于标示夹爪夹取点的夹取点图案，或者至少一个用于标示吸盘吸取点的吸取点图案，所述夹取点图案和所述吸取点图案为不同的图案。

进一步地，所述抓取点标记包括依次层叠的胶层和印刷层；

所述胶层用于将所述印刷层贴附于所述参考工件的表面；

所述印刷层印刷有所述夹取点图案或所述吸取点图案。

本发明的有益效果是：本发明提供的工件抓取模板的生成方法及系统，通过对表面贴附有抓取点标记的参考工件进行多角度拍摄，再根据拍摄的图像对参考工件的三维模型进行重建，预先生成具有可抓取点位置信息的工件抓取模板。由此，在之后的正常流水线上抓取不具有抓取点标记的同种工件时，只需识别出工件的位姿，便可根据工件抓取模板确定抓取点的位置，实现对工件的精准抓取，解决了抓取工件时导入模型工作量大及难于指定抓取点的问题，提高了机器人三维视觉抓取系统的部署速度。

附图说明

下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：

图1是本发明实施例提供的工件抓取模板的生成方法的流程示意图；

图2是本发明实施例提供的工件抓取模板的生成方法的具体流程示意图；

图3是本发明实施例提供的工件抓取模板的生成系统的结构示意图；

图4是本发明实施例提供的拖动机器人末端的示意图；

图5是图3中区域a的放大示意图；

图6是本发明实施例提供的采用吸盘吸取参考工件时的示意图；

图7是本发明实施例提供的采用夹爪夹取参考工件时的示意图；

图8是本发明实施例提供的抓取点标记的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1是本发明实施例提供的工件抓取模板的生成方法的流程示意图。该方法适用于对可抓取的工件进行三维重建的情况，该方法可以由工件抓取模板的生成系统来执行。如图1所示，该工件抓取模板的生成方法包括：

步骤110、获取机器人对参考工件多角度拍摄的图像。

其中，所述参考工件的表面贴附有抓取点标记。通常，对工件的抓取操作可包括夹爪末端执行器的夹取操作和吸盘末端执行器的吸取操作，相应地，抓取点标记可以包括夹取点标记和吸取点标记，其中，夹取点标记为至少一对，吸取点标记为至少一个。上述参考工件可贴附一对夹取点标记或一个吸取点标记，若参考工件具有多个可抓取点，则参考工件各可抓取点的位置均可贴附相应的抓取点标记。

本实施例中，机器人可以为6自由度关节型机器人，机器人由一系列连杆串联组成，连杆之间的机器人关节由驱动器驱动控制，关节的相对运动带动连杆运动，到达指定位置以实现所需位姿。本实施例可通过调整机器人的位姿，来改变对参考工件的拍摄视角，实现对参考工件的多角度拍摄，进而获取机器人对参考工件多角度拍摄的图像。其中，该图像可以为二维图像和/或三维图像。

另外，为后续快速准确地抓取工件，在完成多角度拍摄后，应至少拍摄到一对夹取点标记或一个吸取点标记。

步骤120、根据图像对参考工件的三维模型进行重建，生成工件抓取模板。

其中，工件抓取模板包括抓取点标记所标示的参考工件上可抓取点的位置。本发明实施例中的参考工件为一合格的工件样品，与同种一般工件相比，该参考工件的表面贴附有抓取点标记，而同种一般工件的表面并未贴附抓取点标记，该抓取点标记仅用于标示参考工件上可抓取点的位置，便于从获取的图像中识别出该抓取点标记，进而确定参考工件上可抓取点的位置。

本实施例可根据不同视角的多帧二维图像，利用缝合技术重建参考工件的三维模型，也可根据不同视角的多帧三维图像，通过对三维图像的配准重建参考工件的三维模型，使得重建的参考工件的三维模型可体现参考工件的轮廓在基坐标下的位置。

本实施例提供的工件抓取模板的生成方法，通过对表面贴附有抓取点标记的参考工件进行多角度拍摄，再根据拍摄的图像对参考工件的三维模型进行重建，预先生成具有可抓取点位置信息的工件抓取模板。由此，在之后的正常流水线上抓取不具有抓取点标记的同种工件时，只需识别出工件的位姿，便可根据工件抓取模板确定抓取点的位置，实现对工件的精准抓取，解决了抓取工件时导入模型工作量大及难于指定抓取点的问题，提高了机器人三维视觉抓取系统的部署速度。

可选的，上述方案中，获取机器人对参考工件多角度拍摄的图像，包括：

利用机器人力控拖动技术，通过拖动机器人末端调整机器人末端上深度相机的位姿，以改变深度相机的拍摄视角且拍摄到全部抓取点标记；

在每个拍摄视角下利用深度相机拍摄参考工件的单帧二维图像和单帧三维图像。

另外，根据图像对参考工件的三维模型进行重建，生成工件抓取模板，包括：

在机器人基坐标系下对三维图像进行配准，得到参考工件在机器人基坐标系下的工件三维模型数据；

基于二维图像和三维图像，识别抓取点标记，得到抓取点标记在机器人基坐标系下的标记点坐标数据；

合并工件三维模型数据和标记点坐标数据，保存为工件抓取模板。

相应的，如图2所示，本发明实施例提供的工件抓取模板的生成方法具体可包括：

步骤111、利用机器人力控拖动技术，通过拖动机器人末端调整机器人末端上深度相机的位姿，以改变深度相机的拍摄视角且拍摄到全部抓取点标记。

示例性的，机器人上可设置有拖动示教按钮，在拖动示教按钮被按下后，可启动机器人的拖动示教系统，此时，可利用机器人力控拖动技术来拖动机器人末端，改变机器人的位姿，进而改变机器人末端上深度相机的位姿。而且，在拖动示教过程中，可实时记录机器人的运动轨迹以及机器人的位姿。

本实施例通过拖动机器人末端调整机器人末端上深度相机的位姿，可以根据现场观察到的参考工件的位姿，很容易地将深度相机的拍摄视角调整到所需的角度，便于拍摄到全部抓取点标记。

步骤112、在每个拍摄视角下利用深度相机拍摄参考工件的单帧二维图像和单帧三维图像。

示例性的，深度相机可具有二维/三维可切换拍照模式，机器人上可设置有相机采集按钮，在单击相机采集按钮时，深度相机可拍摄单帧三维图像；在双击相机采集按钮时，深度相机可拍摄单帧二维图像和单帧三维图像。由此，在通过拖动机器人末端调整机器人末端上深度相机到合适的位姿后，双击相机采集按钮，可在同一拍摄视角下拍摄到参考工件的单帧二维图像和单帧三维图像。

步骤121、在机器人基坐标系下对三维图像进行配准，得到参考工件在机器人基坐标系下的工件三维模型数据。

示例性的，本实施例可将机器人的底座作为机器人基坐标系的原点。可先基于深度相机在机器人基坐标系下的位姿，对三维图像进行粗配准；再基于最近点迭代算法对经粗配准后的三维图像进行精配准。由于重建后的三维模型需要坐落在一个机器人基坐标系中，每一帧三维图像对应的点云模型是在深度相机的局部三维坐标系中，而不同的深度相机的位姿(即不同帧)对应着不同的局部三维坐标系，因此必须先在拖动示教过程中根据记录的机器人的位姿确定深度相机在机器人基坐标系下的位姿，再根据三维图像的深度信息换算拍摄图像中的参考工件在机器人基坐标系下的坐标。

步骤122、基于二维图像和三维图像，识别抓取点标记，得到抓取点标记在机器人基坐标系下的标记点坐标数据。

示例性的，可先根据拍摄到抓取点标记的单帧二维图像，识别出抓取点标记，再根据同一拍摄视角下的单帧三维图像确定对应位置处抓取点标记在上述机器人基坐标系下的坐标，从而得到抓取点标记在机器人基坐标系下的标记点坐标数据。

步骤123、合并工件三维模型数据和标记点坐标数据。

本实施例可将得到的二维图像和三维图像上传到服务器，通过服务器处理得到工件三维模型数据和标记点坐标数据，以提高图像数据处理速度，同时降低处理器的负荷。

步骤124、重设工件坐标系，将合并后的工件三维模型数据和标记点坐标数据变换至工件坐标系中，得到工件抓取模板。

示例性的，可以工件的几何中心或工件承载台上的一点为原点建立工件坐标系，利用三维平移变换和三维旋转变换将合并后的工件三维模型数据和标记点坐标数据变换至工件坐标系中。

本实施例提供的工件抓取模板的生成方法，通过拖动机器人末端调整机器人末端上深度相机的位姿，可以根据现场观察到的参考工件的位姿，更加灵活地将深度相机的拍摄视角调整到所需的角度，便于拍摄到全部抓取点标记；根据多角度拍摄的二维图像和三维图像，分别运算出工件三维模型数据和标记点坐标数据，并合并工件三维模型数据和标记点坐标数据，得到工件抓取模板，在之后的正常流水线上抓取不具有抓取点标记的同种工件时，只需识别出工件的位姿，便可根据工件抓取模板确定抓取点的位置，实现对工件的精准抓取，提高了机器人三维视觉抓取系统的部署速度。

本发明实施例还提供了一种工件抓取模板的生成系统，用于执行本发明实施例提供的工件抓取模板的生成方法。图3是本发明实施例提供的工件抓取模板的生成系统的结构示意图。如图3所示，该工件抓取模板的生成系统包括机器人10、参考工件20和处理器(图中未示出，可集成于机器人10中，也可设置于一远程终端中)。

其中，机器人10用于对参考工件20进行多角度拍摄，参考工件20的表面贴附有抓取点标记21；参考工件20可放置于工件承载台30上。

处理器用于获取机器人10对参考工件20多角度拍摄的图像，并根据图像对参考工件20的三维模型进行重建，生成工件抓取模板，其中，工件抓取模板包括抓取点标记所标示的参考工件20上可抓取点的位置。

可选的，机器人10可包括拖动示教系统、机器人末端11和设置于机器人末端11的深度相机12；

拖动示教系统用于利用机器人力控拖动技术，通过拖动机器人末端11进行示教；

机器人末端11用于通过力控拖动来调整深度相机12的位姿，以改变深度相机12的拍摄视角且拍摄到全部抓取点标记21(参考图3和图4)；

深度相机12用于在每个拍摄视角下拍摄参考工件20的单帧二维图像和单帧三维图像。

可选的，如图5所示，机器人上还设置有拖动示教按钮13和相机采集按钮14；示例性的，拖动示教按钮13和相机采集按钮14设置于上述机器人末端11上。

相应的，机器人末端11具体用于在拖动示教按钮13被按下时，通过力控拖动来调整深度相机12的位姿，以改变深度相机12的拍摄视角且拍摄到全部抓取点标记21；

深度相机12具体用于在相机采集按钮14被按下时，在每个拍摄视角下拍摄参考工件20的单帧二维图像和单帧三维图像。

可选的，上述处理器可包括图像获取模块、图像配准模块、图像识别模块、图像合并模块和抓取模板生成模块。

其中，图像获取模块用于获取二维图像和三维图像；图像配准模块用于在机器人基坐标系下对三维图像进行配准，得到参考工件在机器人基坐标系下的工件三维模型数据；图像识别模块用于基于二维图像和三维图像，识别抓取点标记，得到抓取点标记在机器人基坐标系下的标记点坐标数据；图像合并模块用于合并工件三维模型数据和标记点坐标数据；抓取模板生成模块用于重设工件坐标系，将合并后的工件三维模型数据和标记点坐标数据变换至工件坐标系中，得到工件抓取模板。

可选的，抓取点标记具有至少一对用于标示夹爪夹取点的夹取点图案，或者至少一个用于标示吸盘吸取点的吸取点图案，夹取点图案和吸取点图案为不同的图案。

示例性的，吸取点图案可以为圆形，夹取点图案可以为菱形；夹取点图案和吸取点图案也可以为其他便于识别的规则图形，本实施例对此不作限制。

上述抓取点标记可包括吸取点标记和抓取点标记。如图6所示，针对可吸取的参考工件20，参考工件20的表面贴附有吸取点标记22，机器人10的末端执行器设置有一吸盘15，通过吸盘15与吸取点标记22的上下对准，可实现对参考工件20的精准吸取；如图7所示，针对可夹取的参考工件20，参考工件20的表面贴附有抓取点标记23，机器人10的末端执行器设置有一夹爪16，通过夹爪16与抓取点标记23的水平向对准，可实现对参考工件20的精准夹取。

相应的，在识别出不同的抓取点标记及确定抓取点标记的坐标后，在保存标记点坐标数据时可用不同的标志来区分不同类型的抓取点标记。

另外，夹取点图案和吸取点图案也可以是相同的图案，此时，抓取点标记仅用于标示参考工件上可抓取点的位置，在后续保存标记点坐标数据时可用不同的标志来区分不同类型的抓取点标记。

可选的，如图8所示，抓取点标记可包括依次层叠的胶层201和印刷层202；胶层201用于将印刷层202贴附于参考工件的表面；印刷层202印刷有夹取点图案或吸取点图案。其中，胶层201可以为不干胶层，印刷层202可以为塑料印刷层。

本实施例提供的工件抓取模板的生成系统，与本发明任意实施例所提供的工件抓取模板的生成方法属于同一发明构思，可执行本发明任意实施例所提供的工件抓取模板的生成方法，具备相应的功能和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的工件抓取模板的生成方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整、相互结合和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。