服务机器人、服务机器人控制方法、系统及存储介质与流程

文档序号:30583703发布日期:2022-06-29 14:05阅读:142来源:国知局
服务机器人、服务机器人控制方法、系统及存储介质与流程

1.本技术涉及机器人技术领域,特别涉及一种服务机器人、服务机器人控制方法、系统及存储介质。


背景技术:

2.机器人的应用越来越广泛,结合机械臂、腿足式机器人、轮式机器人、无人机中两种或多种形式进行结合的复合型服务机器人已应用于餐饮、物流等领域。
3.相关技术中,通常由工作人员将物品放置于服务机器人的舱体内,由服务机器人将物品配送至目标位置,最后由工作人员或用户将物品从服务机器人取下并摆放。上述过程需要人工参与,餐具配送效率较低。
4.因此,如何提高物品配送效率是本领域技术人员目前需要解决的技术问题。


技术实现要素:

5.本技术的目的是提供有一种服务机器人、一种服务机器人控制方法、一种服务机器人控制系统及一种存储介质,能够提高物品配送效率。
6.为解决上述技术问题,本技术提供一种服务机器人,所述服务机器人包括存储器、处理器、机器人本体、机械臂和相机,所述存储器中存储有可在所述处理器上运行的计算机可读指令,所述处理器用于执行所述计算机可读指令时实现如下步骤:
7.在所述服务机器人移动至配送起点后,获取所述相机采集的起点区域图像,所述起点区域图像包含目标物品的图像;
8.根据所述起点区域图像确认所述目标物品的位置,并控制所述机械臂将所述目标物品放置于所述机器人本体;
9.在所述服务机器人移动至配送终点后,获取所述相机采集的终点区域图像,所述终点区域图像包含物品待摆放区域;
10.根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域;
11.若所述物品待摆放区域具有用于放置所述目标物品的所述空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
12.可选的,所述处理器用于执行所述计算机可读指令时还实现如下步骤:
13.若所述物品待摆放区域不具有用于放置所述目标物品的所述空闲区域,通过所述机械臂对所述物品待摆放区域的物品的位置进行调整,直至所述物品待摆放区域具有用于放置所述目标物品的空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
14.可选的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
15.相应的,所述处理器实现获取所述相机采集的起点区域图像的步骤包括:
16.利用所述第一相机在所述配送起点采集第一环境图像;
17.判断所述第一环境图像中是否包括所述目标物品;
18.若是,将所述第一环境图像设置为所述起点区域图像;
19.若否,利用所述第二相机在所述配送起点采集第二环境图像,根据所述第一环境图像和所述第二环境图像确定第一朝向偏差信息,并根据所述第一朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,并将所述第一相机采集的新的第一环境图像设置为所述起点区域图像。
20.可选的,所述处理器实现根据所述第一环境图像和所述第二环境图像确定第一朝向偏差信息,包括:
21.确定所述第一环境图像和所述第二环境图像中的相似区域,根据相似区域分别在所述第一环境图像和所述第二环境图像中的位置确定所述第一朝向偏差信息。
22.可选的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
23.相应的,所述处理器实现获取所述相机采集的起点区域图像的步骤包括:
24.利用所述第二相机在所述配送起点采集第二环境图像;
25.根据所述目标物品在所述第二环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,将所述第一相机采集的第一环境图像设置为所述起点区域图像。
26.可选的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
27.相应的,所述处理器实现获取所述相机采集的终点区域图像的步骤包括:
28.利用所述第一相机在所述配送终点采集第三环境图像;
29.判断所述第三环境图像中是否包括物品待摆放区域;
30.若是,将所述第三环境图像设置为所述终点区域图像;
31.若否,利用所述第二相机在所述配送终点采集第四环境图像,根据所述第三环境图像和所述第四环境图像确定第二朝向偏差信息,并根据所述第二朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,并将所述第一相机采集的新的第三环境图像设置为所述终点区域图像。
32.可选的,所述处理器实现根据所述第三环境图像和所述第四环境图像确定第二朝向偏差信息,包括:
33.确定所述第三环境图像和所述第四环境图像中的相似区域,根据相似区域分别在所述第三环境图像和所述第四环境图像中的位置确定所述第二朝向偏差信息。
34.可选的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
35.相应的,所述处理器实现获取所述相机采集的终点区域图像的步骤包括:
36.利用所述第二相机在所述配送终点采集第四环境图像;
37.根据所述物品待摆放区域在所述第四环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,将所述第一相机采集的第三环境图像设置为所述终点区域图像。
38.可选的,所述处理器用于执行所述计算机可读指令时还实现如下步骤:
39.在控制所述服务机器人运动至所述配送起点之前,接收物品配送指令,并根据所述物品配送指令确定所述配送起点和所述配送终点。
40.可选的,所述处理器实现控制所述机械臂将所述目标物品放置于所述机器人本体的步骤包括:
41.确定所述目标物品的抓取参数;
42.根据所述抓取参数确定所述机械臂的运动轨迹和抓取位姿;
43.控制所述机械臂按照所述运动轨迹和所述抓取位姿将所述目标物品放置于所述机器人本体。
44.可选的,所述处理器实现根据所述抓取参数确定所述机械臂的运动轨迹的步骤包括:
45.将所述抓取参数输入预设功能包,以便所述预设功能包进行避障轨迹规划得到所述机械臂的运动轨迹。
46.本技术还提供了一种服务机器人控制方法,所述服务机器人包括机器人本体、机械臂和相机,所述服务机器人控制方法包括:
47.在所述服务机器人移动至配送起点后,获取所述相机采集的起点区域图像,所述起点区域图像包含目标物品的图像;
48.根据所述起点区域图像确认所述目标物品的位置,并控制所述机械臂将所述目标物品放置于所述机器人本体;
49.在所述服务机器人移动至配送终点后,获取所述相机采集的终点区域图像,所述终点区域图像包含物品待摆放区域;
50.根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域;
51.若所述物品待摆放区域具有用于放置所述目标物品的所述空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
52.本技术还提供了一种服务机器人控制系统,所述服务机器人包括机器人本体、机械臂和相机,所述服务机器人控制系统包括:
53.起点图像采集模块,用于在所述服务机器人移动至配送起点后,获取所述相机采集的起点区域图像,所述起点区域图像包含目标物品的图像;
54.第一物品放置模块,用于根据所述起点区域图像确认所述目标物品的位置,并控制所述机械臂将所述目标物品放置于所述机器人本体;
55.终点图像采集模块,用于在所述服务机器人移动至配送终点后,获取所述相机采集的终点区域图像,所述终点区域图像包含物品待摆放区域;
56.第二物品放置模块,用于根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域;还用于若所述物品待摆放区域具有用于放置所述目标物品的所述空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
57.本技术还提供了一种存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述服务机器人所实现的步骤。
58.本技术提供了一种服务机器人,所述服务机器人包括存储器、处理器、机器人本体、机械臂和相机,所述存储器中存储有可在所述处理器上运行的计算机可读指令,所述处
理器用于执行所述计算机可读指令时实现如下步骤:在所述服务机器人移动至配送起点后,获取所述相机采集的起点区域图像,所述起点区域图像包含目标物品的图像;根据所述起点区域图像确认所述目标物品的位置,并控制所述机械臂将所述目标物品放置于所述机器人本体;在所述服务机器人移动至配送终点后,获取所述相机采集的终点区域图像,所述终点区域图像包含物品待摆放区域;根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域;若所述物品待摆放区域具有用于放置所述目标物品的所述空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
59.本技术在所述服务机器人移动至配送起点后,根据在配送起点采集的起点区域图像确定目标物品的位置,进而将目标物品放置于机器人本体。在所述服务机器人移动至配送终点后,本技术采集终点区域图像,并判断终点区域图像包含的物品待摆放区域中是否存在可以防止目标物品的空闲区域,若存在空闲区域则将目标物品放置于空闲区域。在上述过程中,目标物品的配送和放置操作可以自动化实现,无需人工参与,能够提高物品配送效率。本技术同时还提供了一种服务机器人控制方法、一种服务机器人控制系统及一种存储介质,具有上述有益效果,在此不再赘述。
附图说明
60.为了更清楚地说明本技术实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
61.图1为本技术实施例所提供的一种服务机器人控制方法的流程图;
62.图2为本技术实施例所提供的一种服务机器人送餐流程图;
63.图3为本技术实施例所提供的一种基于视觉的机器人抓取与放置示意图;
64.图4为本技术实施例所提供的一种服务机器人控制系统的结构示意图。
具体实施方式
65.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
66.本技术实施例提供了一种服务机器人,所述服务机器人包括存储器、处理器、机器人本体、机械臂和相机。上述服务机器人可以为能够将物品从配送起点运送至配送终点并摆放目标餐具的机器人,例如上述服务机器人可以为送餐机器人或物流机器人。请参见图1,图1为本技术实施例所提供的一种服务机器人控制方法的流程图,该方法基于上述服务机器人实现,所述存储器中存储有可在所述处理器上运行的计算机可读指令,所述处理器用于执行所述计算机可读指令时实现如下步骤:
67.s101:在所述服务机器人移动至配送起点后,获取所述相机采集的起点区域图像。
68.在本步骤之前还可以存在接收物品配送指令的操作,以使处理器对物品配送指令进行响应;具体的,所述处理器在控制所述服务机器人运动至配送起点之前,实现的步骤还包括:接收物品配送指令,并根据所述物品配送指令确定所述配送起点和所述配送终点。配
送起点附近可以存在需要配送的目标物品,上述目标物品包括但不限于餐具、食物、邮件、手术器具中的任一种物品或任几种物品的组合。具体的,若服务机器人的当前位置不在配送起点,则可以控制服务机器人移动至配送起点。在所述服务机器人移动至配送起点后,处理器可以向相机发送拍照指令,以便在配送起点采集对应的起点区域图像,上述起点区域图像包含目标物品的图像。
69.s102:根据所述起点区域图像确认所述目标物品的位置,并控制所述机械臂将所述目标物品放置于所述机器人本体。
70.在得到起点区域图像的基础上,可以根据起点区域图像确定目标物品的位置,进而控制服务机器人的机械臂抓取目标物品并将目标物品放置于机器人本体。在将目标物品放置于机器人本体后,本实施例可以控制服务机器人承载目标物品运动至配送终点。作为一种可行的实施方式,本实施例可以根据配送起点和配送终点生成配送路线,并按照配送路线控制服务机器人运动至配送终点。
71.s103:在所述服务机器人移动至配送终点后,获取所述相机采集的终点区域图像。
72.终点区域图像指机器人移动至配送终点后相机拍摄的图像,终点区域图像包含物品待摆放区域;上述物品待摆放区域指用于将目标物品从机器人本体拿起并摆放至的区域,例如物品待摆放区域可以为餐桌的桌面、传送带、茶几的上表面等。
73.s104:根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域;
74.摆放目标物品需要占用物品待摆放区域的部分区域,在将目标物品放置在物品待摆放区域之前,本实施例可以根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域,若存在空闲区域则执行摆放操作。需要说明的是,目标物品的信息可以包括目标物体的形状、尺寸、位置信息中的至少一个。
75.s105:若所述物品待摆放区域具有用于放置所述目标物品的所述空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
76.其中,若存在上述空闲区域,本实施例可以根据空闲区域确定目标物品的放置位置和放置角度,以便控制所述机械臂按照上述放置位置和放置角度放置所述目标物品。
77.本实施例在所述服务机器人移动至配送起点后,根据在配送起点采集的起点区域图像确定目标物品的位置,进而将目标物品放置于机器人本体。在所述服务机器人移动至配送终点后,本实施例采集终点区域图像,并判断终点区域图像包含的物品待摆放区域中是否存在可以防止目标物品的空闲区域,若存在空闲区域则将目标物品放置于空闲区域。在上述过程中,目标物品的配送和放置操作可以自动化实现,无需人工参与,能够提高物品配送效率。
78.作为对于图1对应实施例的进一步介绍,若物品待摆放区域不具有用于放置所述目标物品的空闲区域,则可以执行以下方案:
79.方案1:生成提示空闲区域不足的信息,以便在用户或工作人员对物品待摆放区域的物品的位置进行调整后将目标物品摆放至新的空闲区域。
80.方案2:通过所述机械臂对所述物品待摆放区域的物品的位置进行调整,直至所述物品待摆放区域具有用于放置所述目标物品的空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
81.在上述过程中,能够在空闲区域较小时对其他物品进行整理,以便将目标物品摆放至新的空闲区域,提高了目标物品的摆放成功率。
82.作为对于图1对应实施例的进一步介绍,服务机器人的相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角。需要说明的是,本技术并不限定第一相机与第二相机的视场角大小及范围,在其它实施例中,第一相机的视场角还可以大于或等于第二相机的视场角。
83.在服务机器人包括上述第一相机和第二相机的基础上,确定起点区域图像的过程可以包括以下步骤:
84.步骤a1:利用所述第一相机在所述配送起点采集第一环境图像。
85.步骤a2:判断所述第一环境图像中是否包括所述目标物品;若是,则进入步骤a3;若否,则进入步骤a4。
86.具体的,本步骤可以利用图像识别技术判断第一环境图像中是否包括所述目标物品,例如将第一环境图像输入图像识别模型,根据图像识别模型的输出结果确定第一环境图像中是否包括所述目标物品。
87.步骤a3:将所述第一环境图像设置为所述起点区域图像。
88.步骤a4:利用所述第二相机在所述配送起点采集第二环境图像,根据所述第一环境图像和所述第二环境图像确定第一朝向偏差信息,并根据所述第一朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,并将所述第一相机采集的新的第一环境图像设置为所述起点区域图像。
89.在服务机器人工作过程中,由于定位精度的问题可能会存在服务机器人无法拍摄到目标物品的情况,本技术提供的服务机器人包括上述第一相机和第二相机,可以根据第一朝向偏差信息对机械臂的位姿进行调整,以便采集到包括目标物品的起点区域图像。具体的,上述第一朝向偏差信息的确定过程如下:确定所述第一环境图像和所述第二环境图像中的相似区域,根据相似区域分别在所述第一环境图像和所述第二环境图像中的位置确定所述第一朝向偏差信息。
90.作为另一种可行的实施方式,还可以通过以下方式获取起点区域图像:利用所述第二相机在所述配送起点采集第二环境图像;根据所述目标物品在所述第二环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,将所述第一相机采集的第一环境图像设置为所述起点区域图像。在上述过程中先利用第二环境图像对目标物品进行粗定位,再根据目标物品在所述第二环境图像中的位置调整所述机械臂的位姿。上述过程可以避免因定位误差而无法拍摄目标物品的起点区域图像的情况,提高了目标物品配送流程的效率。
91.在服务机器人包括上述第一相机和第二相机的基础上,确定终点区域图像的过程可以包括以下步骤:
92.步骤b1:利用所述第一相机在所述配送终点采集第三环境图像;
93.步骤b2:判断所述第三环境图像中是否包括物品待摆放区域;若是,则进入步骤b3;若否,则进入步骤b4。
94.步骤b3:将所述第三环境图像设置为所述终点区域图像;
95.步骤b4:利用所述第二相机在所述配送终点采集第四环境图像,根据所述第三环
境图像和所述第四环境图像确定第二朝向偏差信息,并根据所述第二朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,并将所述第一相机采集的新的第三环境图像设置为所述终点区域图像。
96.在服务机器人工作过程中,由于定位精度的问题可能会存在服务机器人无法拍摄到物品待摆放区域的情况,本技术提供的服务机器人包括上述第一相机和第二相机,可以根据第二朝向偏差信息对机械臂的位姿进行调整,以便采集到包括物品待摆放区域的终点区域图像。具体的,上述第二朝向偏差信息的确定过程如下:确定所述第三环境图像和所述第四环境图像中的相似区域,根据相似区域分别在所述第三环境图像和所述第四环境图像中的位置确定所述第二朝向偏差信息。
97.作为另一种可行的实施方式,还可以通过以下方式获取终点区域图像:利用所述第二相机在所述配送终点采集第四环境图像;根据所述物品待摆放区域在所述第四环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,将所述第一相机采集的第三环境图像设置为所述终点区域图像。在上述过程中先利用第二环境图像对物品待摆放区域进行粗定位,再根据物品待摆放区域在所述第二环境图像中的位置调整所述机械臂的位姿。上述过程可以避免因定位误差而无法拍摄物品待摆放区域的终点区域图像的情况,提高了目标物品配送流程的效率。
98.作为对于图1对应实施例的进一步介绍,处理器实现控制所述机械臂将所述目标物品放置于所述机器人本体的步骤包括:确定所述目标物品的抓取参数;其中,所述抓取参数包括所述目标物品的位置、形状和尺寸;根据所述抓取参数确定所述机械臂的运动轨迹和抓取位姿;控制所述机械臂按照所述运动轨迹和所述抓取位姿将所述目标物品放置于所述机器人本体。所述处理器实现根据所述抓取参数确定所述机械臂的运动轨迹的步骤包括:将所述抓取参数输入预设功能包,以便所述预设功能包进行避障轨迹规划得到所述机械臂的运动轨迹。上述预设功能包可以为moveit!功能包。通过所述机械臂将所述目标物品放置于所述空闲区域的过程与将目标物品放置于所述机器人本体的过程相似,可以确定所述目标物品的抓取参数,根据所述抓取参数确定所述机械臂的新的运动轨迹和新的抓取位姿,控制所述机械臂按照新的运动轨迹和新的抓取位姿将所述目标物品放置于空闲区域。
99.下面通过在实际应用中的服务机器人的送餐方案说明上述实施例描述的流程,本实施例将机械臂与移动平台(腿足式或轮式)相结合,通过移动平台来增加传统机械臂的工作空间来完成餐饮类的服务需求,进而实现机器人端对端送餐,本实施例中的目标物品为餐盘。
100.请参见图2,图2为本技术实施例所提供的一种服务机器人送餐流程图,具体可以包括以下步骤:
101.s201:等待厨房送餐呼叫;
102.s202:导航运动到厨房上菜口;
103.s203:通过物体检测和机械臂运动规划将餐盘送入机器人舱体内;
104.s204:导航运动至餐厅餐桌旁;
105.s205:通过物体检测和机械臂运动规划将餐盘送至餐桌空闲位置。
106.上述实施例中,物体检测、机械臂运动规划、餐盘的抓取与放置等操作都可以由服务机器人自行完成,能够减少上菜员的工作。本实施例实现了从厨房后台到餐厅前台,无服
务员情况下,全流程端对端的送餐服务,解决了传统餐饮机器人不能实现“上菜”的痛点问题。
107.服务机器人上可以布置有两个深度相机,包括分别在移动机器人本体处的eye-to-hand相机和机械臂末端执行器附近的eye-in-hand相机。在机械臂操作舱体内的物体时,由于机械臂与本体是固连的,所以可以采用离线轨迹规划初步到达舱体每一层外,然后使用eye-in-hand相机来实现基于视觉的机器人抓取与放置。在操作厨房上菜口或餐厅餐桌的餐盘时,由于送餐机器人定位精度的问题,会造成移动机器人斜对着桌子,这样很可能离线规划到桌子上方来看到餐盘,所以需要eye-to-hand相机辅助,先扫描到桌子上餐盘或空闲位置,然后给出一个粗定位,让机械臂末端运动到桌子上方,然后利用eye-in-hand相机进行基于视觉的餐盘抓取与放置。
108.请参见图3,图3为本技术实施例所提供的一种基于视觉的机器人抓取与放置示意图,基于视觉的机器人抓取流程包括:物体检测、物体位姿估计、抓取位姿估计和运动规划。上述物体检测算法包括faster rcnn、sdd等算法,物体检测算法可以用来识别需要抓取的餐盘;物体位姿估计将餐盘由所在世界系到相机系,包括yolo6d、pcrnet等算法;抓取位姿估计用于评估合适的抓取位姿,包括gpd、regnet等算法。基于视觉的机器人放置过程需要识别出餐桌或舱体内空闲区域,给出机械臂需要达到的期望位姿即可。本实施例将现有的机械臂基于视觉的抓取算法应用到餐饮机器人领域,实现了餐盘的识别与抓取位姿估计。
109.机械臂运动规划需要考虑的问题点有:从初始点到达抓取/放置点;满足关节运动学约束(位置,速度,加速度,力矩等);满足自碰撞约束;满足自主避障运动(避开固定障碍物,避开动态障碍物);碰撞检测与停止。基于上述需要考虑的问题,本实施例可以采用ros的moveit!功能包来实现运动规划功能。
110.运动规划的过程可以包括以下步骤:
111.步骤d1:获取机械臂的urdf(unified robot description format,统一机器人描述格式)文件;
112.步骤d2:通过moveit!功能包创建机械臂轨迹规划需要的配置和启动文件;
113.步骤d3:利用moveit!对机械臂进行笛卡尔空间的轨迹规划以及避障轨迹规划。
114.在执行步骤d2时需要考虑以下因素:(1)关节的运动学约束;(2)勾选自碰撞模块,以避免轨迹规划过程中自碰撞的可能性;(3)更换moveit!默认的运动学求解器为自编的运动学求解器或ikfast,trac-ik插件,以增加运动学求解效率与准确率。
115.在执行步骤d3时需要考虑以下因素:(1)将末端手爪作为attachedobject;(2)将本体舱体及多层区域分别作为摆放位置collisionobject;(3)eye-in-hand观测到与桌子的位姿变换,将上菜口桌子/餐桌在世界系下变换到机械臂基坐标系下,作为新的摆放位置collisionobject。
116.通过moveit!功能包实现了以上功能,然后还可以在运动控制中考虑碰撞检测停止功能。本实施例将的moveit!功能包做运动规划应用到餐饮机器人领域,实现了餐盘的抓取与放置;同时解决了moveit!中无法解决移动机器人在上菜口/餐桌定位不准确,导致机械臂运动规划可能出现碰撞的问题。
117.本技术实施例还提供一种服务机器人控制方法,所述服务机器人包括机器人本体、机械臂和相机,所述服务机器人控制方法包括:
118.在所述服务机器人移动至配送起点后,获取所述相机采集的起点区域图像,所述起点区域图像包含目标物品的图像;
119.根据所述起点区域图像确认所述目标物品的位置,并控制所述机械臂将所述目标物品放置于所述机器人本体;
120.在所述服务机器人移动至配送终点后,获取所述相机采集的终点区域图像,所述终点区域图像包含物品待摆放区域;
121.根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域;
122.若所述物品待摆放区域具有用于放置所述目标物品的所述空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
123.进一步的,在根据所述目标物品的信息判断所述物品待摆放区域是否具有用于放置所述目标物品的空闲区域之后,还包括:
124.若所述物品待摆放区域不具有用于放置所述目标物品的所述空闲区域,通过所述机械臂对所述物品待摆放区域的物品的位置进行调整,直至所述物品待摆放区域具有用于放置所述目标物品的空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
125.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
126.进一步的,获取所述相机采集的起点区域图像包括:
127.利用所述第一相机在所述配送起点采集第一环境图像;
128.判断所述第一环境图像中是否包括所述目标物品;
129.若是,将所述第一环境图像设置为所述起点区域图像;
130.若否,利用所述第二相机在所述配送起点采集第二环境图像,根据所述第一环境图像和所述第二环境图像确定第一朝向偏差信息,并根据所述第一朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,并将所述第一相机采集的新的第一环境图像设置为所述起点区域图像。
131.进一步的,根据所述第一环境图像和所述第二环境图像确定第一朝向偏差信息,包括:
132.确定所述第一环境图像和所述第二环境图像中的相似区域,根据相似区域分别在所述第一环境图像和所述第二环境图像中的位置确定所述第一朝向偏差信息。
133.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
134.相应的,获取所述相机采集的起点区域图像包括:
135.利用所述第二相机在所述配送起点采集第二环境图像;
136.根据所述目标物品在所述第二环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,将所述第一相机采集的第一环境图像设置为所述起点区域图像。
137.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
138.相应的,获取所述相机采集的终点区域图像包括:
139.利用所述第一相机在所述配送终点采集第三环境图像;
140.判断所述第三环境图像中是否包括物品待摆放区域;
141.若是,将所述第三环境图像设置为所述终点区域图像;
142.若否,利用所述第二相机在所述配送终点采集第四环境图像,根据所述第三环境图像和所述第四环境图像确定第二朝向偏差信息,并根据所述第二朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,并将所述第一相机采集的新的第三环境图像设置为所述终点区域图像。
143.进一步的,根据所述第三环境图像和所述第四环境图像确定第二朝向偏差信息,包括:
144.确定所述第三环境图像和所述第四环境图像中的相似区域,根据相似区域分别在所述第三环境图像和所述第四环境图像中的位置确定所述第二朝向偏差信息。
145.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
146.相应的,获取所述相机采集的终点区域图像包括:
147.利用所述第二相机在所述配送终点采集第四环境图像;
148.根据所述物品待摆放区域在所述第四环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,将所述第一相机采集的第三环境图像设置为所述终点区域图像。
149.进一步的,在控制所述服务机器人运动至配送起点之前,还包括:
150.接收物品配送指令,并根据所述物品配送指令确定所述配送起点和所述配送终点。
151.进一步的,控制所述机械臂将所述目标物品放置于所述机器人本体包括:
152.确定所述目标物品的抓取参数;其中,所述抓取参数包括所述目标物品的位置、形状和尺寸;
153.根据所述抓取参数确定所述机械臂的运动轨迹和抓取位姿;
154.控制所述机械臂按照所述运动轨迹和所述抓取位姿将所述目标物品放置于所述机器人本体。
155.进一步的,根据所述抓取参数确定所述机械臂的运动轨迹包括:
156.将所述抓取参数输入预设功能包,以便所述预设功能包进行避障轨迹规划得到所述机械臂的运动轨迹。
157.请参见图4,图4为本技术实施例所提供的一种服务机器人控制系统的结构示意图,所述服务机器人包括机器人本体、机械臂和相机,所述服务机器人控制系统包括:
158.起点图像采集模块401,用于在所述服务机器人移动至配送起点后,获取所述相机采集的起点区域图像,所述起点区域图像包含目标物品的图像;
159.第一物品放置模块402,用于根据所述起点区域图像确认所述目标物品的位置,并控制所述机械臂将所述目标物品放置于所述机器人本体;
160.终点图像采集模块403,用于在所述服务机器人移动至配送终点后,获取所述相机采集的终点区域图像,所述终点区域图像包含物品待摆放区域;
161.第二物品放置模块404,用于根据所述目标物品的信息判断所述物品待摆放区域
是否具有用于放置所述目标物品的空闲区域;还用于若所述物品待摆放区域具有用于放置所述目标物品的所述空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
162.进一步的,还包括:
163.物品整理模块,用于若所述物品待摆放区域不具有用于放置所述目标物品的所述空闲区域,通过所述机械臂对所述物品待摆放区域的物品的位置进行调整,直至所述物品待摆放区域具有用于放置所述目标物品的空闲区域,通过所述机械臂将所述目标物品放置于所述空闲区域。
164.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
165.相应的,起点图像采集模块401获取所述相机采集的起点区域图像的过程包括:
166.利用所述第一相机在所述配送起点采集第一环境图像;
167.判断所述第一环境图像中是否包括所述目标物品;
168.若是,将所述第一环境图像设置为所述起点区域图像;
169.若否,利用所述第二相机在所述配送起点采集第二环境图像,根据所述第一环境图像和所述第二环境图像确定第一朝向偏差信息,并根据所述第一朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,并将所述第一相机采集的新的第一环境图像设置为所述起点区域图像。
170.进一步的,起点图像采集模块401根据所述第一环境图像和所述第二环境图像确定第一朝向偏差信息的过程包括:
171.确定所述第一环境图像和所述第二环境图像中的相似区域,根据相似区域分别在所述第一环境图像和所述第二环境图像中的位置确定所述第一朝向偏差信息。
172.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
173.相应的,起点图像采集模块401获取所述相机采集的起点区域图像的过程包括:
174.利用所述第二相机在所述配送起点采集第二环境图像;
175.根据所述目标物品在所述第二环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述目标物品,将所述第一相机采集的第一环境图像设置为所述起点区域图像。
176.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
177.相应的,终点图像采集模块403获取所述相机采集的终点区域图像的过程包括:
178.利用所述第一相机在所述配送终点采集第三环境图像;
179.判断所述第三环境图像中是否包括物品待摆放区域;
180.若是,将所述第三环境图像设置为所述终点区域图像;
181.若否,利用所述第二相机在所述配送终点采集第四环境图像,根据所述第三环境图像和所述第四环境图像确定第二朝向偏差信息,并根据所述第二朝向偏差信息调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,并将所述第一相机采集的新的第三环境图像设置为所述终点区域图像。
182.进一步的,终点图像采集模块403根据所述第三环境图像和所述第四环境图像确
定第二朝向偏差信息的过程包括:
183.确定所述第三环境图像和所述第四环境图像中的相似区域,根据相似区域分别在所述第三环境图像和所述第四环境图像中的位置确定所述第二朝向偏差信息。
184.进一步的,所述相机包括设置于所述机械臂的第一相机,以及设置于所述机器人本体的第二相机;所述第一相机的视场角小于所述第二相机的视场角;
185.相应的,终点图像采集模块403获取所述相机采集的终点区域图像的过程包括:
186.利用所述第二相机在所述配送终点采集第四环境图像;
187.根据所述物品待摆放区域在所述第四环境图像中的位置调整所述机械臂的位姿以使所述第一相机的拍摄区域包括所述物品待摆放区域,将所述第一相机采集的第三环境图像设置为所述终点区域图像。
188.进一步的,还包括:
189.指令处理模块,用于在控制所述服务机器人运动至配送起点之前,接收物品配送指令,并根据所述物品配送指令确定所述配送起点和所述配送终点。
190.进一步的,第一物品放置模块402控制所述机械臂将所述目标物品放置于所述机器人本体的过程包括:
191.确定所述目标物品的抓取参数;其中,所述抓取参数包括所述目标物品的位置、形状和尺寸;
192.根据所述抓取参数确定所述机械臂的运动轨迹和抓取位姿;
193.控制所述机械臂按照所述运动轨迹和所述抓取位姿将所述目标物品放置于所述机器人本体。
194.进一步的,第一物品放置模块402根据所述抓取参数确定所述机械臂的运动轨迹的过程包括:
195.将所述抓取参数输入预设功能包,以便所述预设功能包进行避障轨迹规划得到所述机械臂的运动轨迹。
196.由于方法和系统部分的实施例与服务机器人部分的实施例相互对应,因此方法和系统部分的实施例请参见服务机器人部分的实施例的描述,这里暂不赘述。
197.本技术还提供了一种存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
198.说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以对本技术进行若干改进和修饰,这些改进和修饰也落入本技术权利要求的保护范围内。
199.还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1