一种物体抓取设备的物体抓取方法、装置及物体抓取设备与流程

本发明属于计算机技术领域，尤其涉及一种物体抓取设备的物体抓取方法、装置及物体抓取设备。

背景技术：

现有的通过机械臂进行物体抓取的设备上通常只安装有一个视觉传感器。当视觉传感器安装在机械臂上时，视觉传感器获取物体在传感器坐标系下的坐标，然后机械臂根据物体的坐标进行下一步抓取动作，缺点是视场小，当物体不在传感器视场范围时无法定位物体。当视觉传感器安装在设备基座上的相对固定位置时，视觉传感器获取物体在传感器坐标系下的坐标，然后机械臂根据物体的坐标进行下一步抓取动作，缺点是当机械臂进行抓取时机械臂会遮挡传感器视场，若物体与传感器相对位置发生变化时无法快速准确地重新定位。

技术实现要素：

本发明的目的在于提供一种物体抓取设备的物体抓取方法、装置及物体抓取设备，旨在解决现有技术难以快速准确地通过机械臂抓取物体，导致用户通过机械臂抓取物体的效率不高的问题。

一方面，本发明提供了一种物体抓取设备的物体抓取方法，所述方法包括下述步骤：

通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图像与位置信息，并向用户输出所述获取到的图像；

接收所述用户输入的待抓取物体，获取所述待抓取物体的位置信息，根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂，以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内；

当所述待抓取物体处于所述机械臂的可抓取视场范围内时，通过所述机械臂上的第二视觉传感器获取所述待抓取物体的图像和位置信息；

根据所述第二视觉传感器获取到的位置信息移动所述机械臂，通过所述机械臂末端夹持器抓取所述待抓取物体。

另一方面，本发明提供了一种物体抓取设备的物体抓取装置，所述装置包括：

图像输出单元，用于通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图像与位置信息，并向用户输出所述获取到的图像；

机械臂移动单元，用于接收所述用户输入的待抓取物体，获取所述待抓取物体的位置信息，根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂，以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内；

第一获取单元，用于当所述待抓取物体处于所述机械臂的可抓取视场范围内时，通过所述机械臂上的第二视觉传感器获取所述待抓取物体的图像和位置信息；以及

机械臂抓取单元，用于根据所述第二视觉传感器获取到的位置信息移动所述机械臂，通过所述机械臂末端夹持器抓取所述待抓取物体。

另一方面，本发明提供了一种物体抓取设备，所述物体抓取设备包括设置在物体抓取设备基座上的第一视觉传感器、控制器、机械臂、设置在机械臂上的第二视觉传感器，其中：

所述第一视觉传感器用于获取所述基座前方视场范围内物体的图像与位置信息；

所述控制器用于获取用户输入的待抓取物体的位置信息，根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂，以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内；

所述第二视觉传感器用于当所述待抓取物体处于所述机械臂的可抓取视场范围内时，获取所述待抓取物体的图像和位置信息；

所述机械臂用于根据所述第二视觉传感器获取到的位置信息抓取所述待抓取物体。

本发明通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息，并向用户输出获取到的图像，接收用户输入的待抓取物体，获取待抓取物体的位置信息，根据待抓取物体的位置信息移动物体抓取设备上的机械臂，以使机械臂末端夹持器移动到待抓取物体的抓取范围内，当待抓取物体处于机械臂的可抓取视场范围内时，通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息，根据第二视觉传感器获取到的位置信息移动机械臂，通过机械臂末端夹持器抓取待抓取物体，从而提高了通过机械臂抓取物体的准确性，进而提高抓取效率。

附图说明

图1是本发明实施例一提供的物体抓取设备的物体抓取方法的实现流程图；

图2是带有机械臂的轮椅的结构示意图；

图3是本发明实施例二提供的物体抓取设备的物体抓取方法的实现流程图；

图4是本发明实施例三提供的物体抓取设备的物体抓取装置的结构示意图；

图5是本发明实施例四提供的物体抓取设备的物体抓取装置的结构示意图；以及

图6是本发明实施例五提供的物体抓取设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的物体抓取设备的物体抓取方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息，并向用户输出获取到的图像。

本发明实施例适用于设置有机械臂的物体抓取设备，尤其适用于可抓取物体的带机械臂轮椅。作为示例地，如图2所示，图中示出了带有机械臂的轮椅，其中，21表示轮椅的基座，22表示轮椅基座上的第一视觉传感器，该视觉传感器通过支架固定在基座上，23表示机械臂上的第二视觉传感器，24表示轮椅的机械臂。

在本发明实施例中，在物体抓取设备的基座上设置第一视觉传感器，在物体抓取设备的机械臂上设置第二视觉传感器，第一视觉传感器和第二视觉传感器为视觉深度传感器。当用户需要机械臂抓取物体时，通过第一视觉传感器获取基座前方视场范围内物体的图像与位置信息，以获取基座前方视场范围内物体的分布状况。

在本发明实施例中，在获取到基座前方视场范围内物体的图像与位置信息之后，向用户输出获取到的图像，以方便用户获取基座前方视场范围内物体的分布状况，从而方便用户根据需求从前方视场范围内的物体中选择待抓取物体。具体地，在向用户输出获取到的图像时，可以通过物体抓取设备自带的显示屏幕向用户输出，也可以通过与物体抓取设备连接的移动终端向用户输出，从而优化了向用户输出图像的过程。

在步骤s102中，接收用户输入的待抓取物体，获取待抓取物体的位置信息，根据待抓取物体的位置信息移动物体抓取设备上的机械臂，以使机械臂末端夹持器移动到待抓取物体的抓取范围内。

在本发明实施例中，在用户选择了待抓取物体之后，根据用户输入的待抓取物体，获取第一视觉传感器提供的待抓取物体的位置信息，根据第一视觉传感器提供的待抓取物体的位置信息移动机械臂，以使机械臂末端夹持器移动到待抓取物体的抓取范围内，从而方便机械臂末端的夹持器抓取用户需要的物体。

在步骤s103中，当待抓取物体处于机械臂的可抓取视场范围内时，通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。

在本发明实施例中，通过第二视觉传感器判断待抓取物体是否处于可抓取视场范围内，如果待抓取物体处于机械臂的可抓取视场范围内，则通过第二视觉传感器获取待抓取物体的图像和位置信息，以得到待抓取物体的当前位置，从而提高抓取物体的准确性。优选地，在第二视觉传感器获取到待抓取物体的图像后，将获取到的图像向用户输出，以确认抓取物体，进而提高抓取物体的准确性。

在步骤s104中，根据第二视觉传感器获取到的位置信息移动机械臂，通过机械臂末端夹持器抓取待抓取物体。

在本发明实施例中，在第二视觉传感器获取到待抓取物体的位置后，根据待抓取物体的位置移动机械臂，以通过机械臂末端夹持器抓取待抓取物体，从而提高通过机械臂抓取物体的效率。

实施例二：

图3示出了本发明实施例二提供的物体抓取设备的物体抓取方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s301中，通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像以及物体在基座坐标系中的位置坐标。

本发明实施例适用于设置有机械臂的物体抓取设备，尤其适用于可抓取物体的带机械臂轮椅。在本发明实施例中，在物体抓取设备的基座上设置第一视觉传感器，在物体抓取设备的机械臂上设置第二视觉传感器，第一视觉传感器和第二视觉传感器为视觉深度传感器。为了对物体抓取设备基座前方视场范围内的物体进行定位，根据基座的位置建立基座坐标系，然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应的物体在基座坐标系中的位置坐标，以准确获取基座前方视场范围内物体的分布状况。

在步骤s302中，接收用户输入的待抓取物体，根据待抓取物体在基座坐标系中的位置坐标和基座坐标系与机械臂坐标系之间的转换关系，计算待抓取物体在机械臂坐标系中的位置坐标。

在本发明实施例中，根据机械臂的位置建立了机械臂坐标系，基座坐标系与机械臂坐标系之间有预先确定的转换关系，在接收到用户输入的待抓取物体之后，获取第一视觉传感器提供的待抓取物体在基座坐标系中的位置信息，根据坐标系之间预先确定的转换关系，计算待抓取物体在机械臂坐标系中的位置坐标，从而方便后续的之前动作的进行。

在步骤s303中，在机械臂坐标系中根据待抓取物体的位置坐标，生成机械臂的运动规划路线，以使机械臂末端夹持器移动到待抓取物体的抓取范围内。

在步骤s304中，判断待抓取物体是否处于可抓取视场范围内，是则执行步骤s306，否则执行步骤s305。

在步骤s305中，当待抓取物体不处于机械臂的可抓取视场范围内时，在预设范围内调节机械臂上的第二视觉传感器的视角。

在本发明实施例中，如果待抓取物体不处于机械臂的可抓取视场范围内，则说明待抓取物体可能超出了机械臂的抓取范围，因此，在预设范围内调节第二视觉传感器的视角，以在第二视觉传感器周围寻找待抓取物体，从而实现运动物体的快速定位。

优选地，通过运动传感器获取待抓取物体的运动参数，根据待抓取物体的运动参数在预设范围内调节第二视觉传感器的视角，从而提高对运动物体定位的准确性。

优选地，如果第二视觉传感器的视角调节不到可抓取待抓取物体的视角范围内时，向用户输出提示信息，以提醒用户重新输入待抓取物体。

在步骤s306中，当待抓取物体处于机械臂的可抓取视场范围内时，通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。

在本发明实施例中，如果待抓取物体处于机械臂的可抓取视场范围内，则通过第二视觉传感器获取待抓取物体的图像和位置信息，以得到待抓取物体的当前位置，从而提高抓取物体的准确性。优选地，在第二视觉传感器获取到待抓取物体的图像后，将获取到的图像向用户输出，以确认抓取物体，进而提高抓取物体的准确性。

在步骤s307中，根据第二视觉传感器获取到的位置信息移动机械臂，通过机械臂末端夹持器抓取待抓取物体。

在本发明实施例中，在第二视觉传感器获取到待抓取物体的位置后，根据待抓取物体的位置移动机械臂，以通过机械臂末端夹持器抓取待抓取物体，从而提高通过机械臂抓取物体的效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。

实施例三：

图4示出了本发明实施例三提供的物体抓取设备的物体抓取装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

图像输出单元41，用于通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息，并向用户输出获取到的图像。

在本发明实施例中，在物体抓取设备的基座上设置第一视觉传感器，在物体抓取设备的机械臂上设置第二视觉传感器，第一视觉传感器和第二视觉传感器为视觉深度传感器。当用户需要机械臂抓取物体时，第一获取单元通过第一视觉传感器获取基座前方视场范围内物体的图像与位置信息，以获取基座前方视场范围内物体的分布状况。

在本发明实施例中，在获取到基座前方视场范围内物体的图像与位置信息之后，图像输出单元向用户输出获取到的图像，以方便用户获取基座前方视场范围内物体的分布状况，从而方便用户根据需求从前方视场范围内的物体中选择待抓取物体。具体地，在向用户输出获取到的图像时，可以通过物体抓取设备自带的显示屏幕向用户输出，也可以通过与物体抓取设备连接的移动终端向用户输出，从而优化了向用户输出图像的过程。

机械臂移动单元42，用于接收用户输入的待抓取物体，获取待抓取物体的位置信息，根据待抓取物体的位置信息移动物体抓取设备上的机械臂，以使机械臂末端夹持器移动到待抓取物体的抓取范围内。

在本发明实施例中，在用户选择了待抓取物体之后，机械臂移动单元根据用户输入的待抓取物体，获取第一视觉传感器提供的待抓取物体的位置信息，根据第一视觉传感器提供的待抓取物体的位置信息移动机械臂，以使机械臂末端夹持器移动到待抓取物体的抓取范围内，从而方便机械臂末端的夹持器抓取用户需要的物体。

第一获取单元43，用于当待抓取物体处于机械臂的可抓取视场范围内时，通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。

在本发明实施例中，通过第二视觉传感器判断待抓取物体是否处于可抓取视场范围内，如果待抓取物体处于机械臂的可抓取视场范围内，则第一获取单元通过第二视觉传感器获取待抓取物体的图像和位置信息，以得到待抓取物体的当前位置，从而提高抓取物体的准确性。

机械臂抓取单元44，用于根据第二视觉传感器获取到的位置信息移动机械臂，通过机械臂末端夹持器抓取待抓取物体。

在本发明实施例中，图像输出单元通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息，并向用户输出获取到的图像，机械臂移动单元接收用户输入的待抓取物体，获取待抓取物体的位置信息，根据待抓取物体的位置信息移动物体抓取设备上的机械臂，以使机械臂末端夹持器移动到待抓取物体的抓取范围内，当待抓取物体处于机械臂的可抓取视场范围内时，第一获取单元通过第二视觉传感器获取待抓取物体的图像和位置信息，机械臂抓取单元根据第二视觉传感器获取到的位置信息移动机械臂，通过机械臂末端夹持器抓取待抓取物体，从而提高了通过机械臂抓取物体的准确性，进而提高抓取效率。

在本发明实施例中，物体抓取设备的物体抓取装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例四：

图5示出了本发明实施例四提供的物体抓取设备的物体抓取装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

图像输出单元51，用于通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物体的图像与位置信息，并向用户输出获取到的图像。

在本发明实施例中，在物体抓取设备的基座上设置第一视觉传感器，在物体抓取设备的机械臂上设置第二视觉传感器，第一视觉传感器和第二视觉传感器为视觉深度传感器。为了对物体抓取设备基座前方视场范围内的物体进行定位，第一获取单元根据基座的位置建立基座坐标系，然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应的物体在基座坐标系中的位置坐标，以准确获取基座前方视场范围内物体的分布状况。

机械臂移动单元52，用于接收用户输入的待抓取物体，获取待抓取物体的位置信息，根据待抓取物体的位置信息移动物体抓取设备上的机械臂，以使机械臂末端夹持器移动到待抓取物体的抓取范围内。

在本发明实施例中，机械臂移动单元根据待抓取物体的位置信息移动机械臂。优选地，在本发明实施例中，根据机械臂的位置建立了机械臂坐标系，基座坐标系与机械臂坐标系之间有预先确定的转换关系，在接收到用户输入的待抓取物体之后，获取第一视觉传感器提供的待抓取物体在基座坐标系中的位置信息，根据坐标系之间预先确定的转换关系，计算待抓取物体在机械臂坐标系中的位置坐标，从而方便后续的之前动作的进行，然后在机械臂坐标系中根据待抓取物体的位置坐标，生成机械臂的运动规划路线，以使机械臂末端夹持器移动到待抓取物体的抓取范围内，从而提高对待抓取物体定位的准确性。

视角调节单元53，用于当待抓取物体不处于机械臂的可抓取视场范围内时，在预设范围内调节机械臂上的第二视觉传感器的视角。

在本发明实施例中，如果待抓取物体不处于机械臂的可抓取视场范围内，则说明待抓取物体可能超出了机械臂的抓取范围，因此，视角调节单元在预设范围内调节第二视觉传感器的视角，以在第二视觉传感器周围寻找待抓取物体，从而实现运动物体的快速定位。

优选地，通过运动传感器获取待抓取物体的运动参数，根据待抓取物体的运动参数在预设范围内调节第二视觉传感器的视角，从而提高对运动物体定位的准确性。

用户提示单元54，用于当第二视觉传感器的视角调节不到可抓取待抓取物体的视角范围内时，向用户输出提示信息，以提醒用户重新输入待抓取物体。

第一获取单元55，用于当待抓取物体处于机械臂的可抓取视场范围内时，通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。

在本发明实施例中，如果待抓取物体处于机械臂的可抓取视场范围内，则第一获取单元通过第二视觉传感器获取待抓取物体的图像和位置信息，以得到待抓取物体的当前位置，从而提高抓取物体的准确性。

机械臂抓取单元56，用于根据第二视觉传感器获取到的位置信息移动机械臂，通过机械臂末端夹持器抓取待抓取物体。

在本发明实施例中，在第二视觉传感器获取到待抓取物体的位置后，机械臂抓取单元根据待抓取物体的位置移动机械臂，以通过机械臂末端夹持器抓取待抓取物体，从而提高通过机械臂抓取物体的效率。

因此，优选地，该图像输出单元51包括：

第二获取单元511，用于通过基座上的第一视觉传感器获取前方视场范围内物体的图像与物体在基座坐标系中的位置坐标；

优选地，该机械臂移动单元52包括：

坐标转换单元521，用于接收用户输入的待抓取物体，根据待抓取物体在基座坐标系中的位置坐标和基座坐标系与机械臂坐标系之间的转换关系，得到待抓取物体在机械臂坐标系中的位置坐标；以及

规划移动单元522，用于在机械臂坐标系中根据待抓取物体的位置坐标，生成机械臂的运动规划路线，以使机械臂末端夹持器移动到待抓取物体的抓取范围内。

在本发明实施例中，物体抓取设备的物体抓取装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例五：

图6示出了本发明实施例五提供的物体抓取设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，提供了一种物体抓取设备6，该物体抓取设备6包括设置在基座上的第一视觉传感器61、控制器62、设置在机械臂上的第二视觉传感器63、机械臂64，其中：

该第一视觉传感器61用于获取基座前方视场范围内物体的图像与位置信息。

在本发明实施例中，在获取到基座前方视场范围内物体的图像与位置信息之后，向用户输出获取到的图像，以方便用户获取基座前方视场范围内物体的分布状况，从而方便用户根据需求从前方视场范围内的物体中选择待抓取物体。具体地，在向用户输出获取到的图像时，可以通过物体抓取设备自带的显示屏幕向用户输出，也可以通过与物体抓取设备连接的移动终端向用户输出，从而优化了向用户输出图像的过程。

该控制器62用于获取用户输入的待抓取物体的位置信息，根据待抓取物体的位置信息移动物体抓取设备上的机械臂64，以使机械臂64末端夹持器移动到待抓取物体的抓取范围内。

在本发明实施例中，为了对物体抓取设备基座前方视场范围内的物体进行定位，根据基座的位置建立基座坐标系，然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应的物体在基座坐标系中的位置坐标，以准确获取基座前方视场范围内物体的分布状况。

在本发明实施例中，根据机械臂的位置建立了机械臂坐标系，基座坐标系与机械臂坐标系之间有预先确定的转换关系，在接收到用户输入的待抓取物体之后，获取第一视觉传感器提供的待抓取物体在基座坐标系中的位置信息，根据坐标系之间预先确定的转换关系，计算待抓取物体在机械臂坐标系中的位置坐标，从而方便后续的之前动作的进行，然后在机械臂坐标系中根据待抓取物体的位置坐标，生成机械臂的运动规划路线，以使机械臂末端夹持器移动到待抓取物体的抓取范围内。

该第二视觉传感器63用于当待抓取物体处于机械臂64的可抓取视场范围内时，获取待抓取物体的图像和位置信息。

在本发明实施例中，如果待抓取物体不处于机械臂的可抓取视场范围内，则说明待抓取物体可能超出了机械臂的抓取范围，因此，在预设范围内调节第二视觉传感器的视角，以在第二视觉传感器周围寻找待抓取物体，从而实现运动物体的快速定位。如果待抓取物体处于机械臂的可抓取视场范围内，则通过第二视觉传感器获取待抓取物体的图像和位置信息，以得到待抓取物体的当前位置，从而提高抓取物体的准确性。

该机械臂64用于根据第二视觉传感器63获取到的位置信息抓取待抓取物体。

在本发明实施例中，在第二视觉传感器获取到待抓取物体的位置后，根据待抓取物体的位置移动机械臂，以通过机械臂末端夹持器抓取待抓取物体，从而提高通过机械臂抓取物体的效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。