一种基于机器人的任务配送方法及系统与流程

本发明涉及机器人技术领域，更具体地，涉及一种基于机器人的任务配送方法及系统。

背景技术：

智能配送服务机器人逐渐走进了人们的日常生活，在许多智慧楼宇、酒店等场所，机器人开启承担配送服务员的角色。由楼宇管理员或者外卖平台发起机器人请求，并告知机器人的配送目的地及配送客户的联系方式，当机器人到达或即将到达配送目的地点时，由机器人向云端发起电话通知请求告知用户取物。

在目前的配送场景中，当机器人任务下达后，机器人执行既定的固定的路线，达到预先设定的点位后，等待用户取餐/取物完毕后，返回原先待命点。这与服务人员在配送过程中与客户有交互行为相比，这种按照既定路线运营的配送服务机器人就显得非常死板，且浪费运力。

技术实现要素：

本发明针对现有技术中存在的技术问题，提供一种基于机器人的任务配送方法及系统。

根据本发明的第一方面，提供了一种基于机器人的任务配送方法，包括：接收配送任务请求，所述配送任务请求中包括配送目的地；当机器人到达配送目的地的平层时，对场景中的每一个行人的行人姿势进行检测；将检测到行人姿势为挥手姿势的行人锁定为目标客户；根据目标客户位置，控制机器人移动到目标客户位置进行任务配送。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，当机器人到达配送目的地的平层时，开启人体姿势检测模型对场景中的每一个行人的行人姿势进行检测；所述人体姿势检测模型包括人体姿态检测子模型和人体动作识别子模型，所述人体姿态检测子模型为无锚框单阶段检测网络centernet；将图片输入人体姿态检测子模型，获取图片中行人的位置和行人的多个人体姿态关键点；人体动作识别子模型根据行人的多个人体姿态关键点之间的位置关系，对行人姿势进行识别。

可选的，所述无锚框单阶段检测网络centernet包括骨干网络backbone和检测头head，所述骨干网络backbone采用轻量化网络架构；将图片输入骨干网络backbone，获取图片中的高维特征信息；将所述高维特征信息输入所述检测头head中，获取图片中行人的位置和行人的关键点位置。

可选的，所述行人的关键点位置包括左右肩部关键点位置、左右手肘关键点位置和左右手部关键点位置。

可选的，所述人体动作识别子模型根据行人的多个人体姿态关键点之间的位置关系，对行人姿势进行识别，包括：基于左右手臂的动作对称性，获取行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置；或者，获取行人的右肩部的关键点位置、右手肘关键点位置和右手部关键点位置；人体动作识别模型判断行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置是否同时满足第一动作条件和第二动作条件；或者判断行人的右肩部的关键点位置、右手肘关键点位置和右手部关键点位置是否同时满足第一动作条件和第二动作条件；若满足，则行人姿势为挥手姿势。

可选的，所述第一动作条件为手部关键点位置在手肘关键点位置上方，且手肘关键点位置在肩部关键点位置上方，通过如下公式表达：当pey-psy＞gap且pwy-pey＞gap，判定行人姿势为挥手姿势；其中，psy为肩部关键点位置坐标，pey为手肘关键点位置坐标，pwy为手部关键点位置坐标，gap为预设阈值。

可选的，通过如下方式判断行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置是否满足第二动作条件：利用机器人的前置摄像头按照固定间隔拍摄行人的图片序列，所述图片序列包括多张图片；利用人体姿态检测子模型提取出每一张图片中的行人关键点位置，得到人体关键点序列数据；根据相邻两帧图片中提取的人体关键点位置，计算每相邻两帧图片中的人体关键点的移动变化量，得到移动变化量序列数据；若所述移动变化量序列数据满足预设条件，则判定行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置满足第二动作条件。

可选的，所述根据相邻两帧图片中提取的人体关键点位置，计算每相邻两帧图片中的人体关键点的移动变化量，得到移动变化量序列数据，包括：获取上一帧时间序列t1的人体关键点位置(psx1,pex1,pwx1)和当前帧时间序列t0的人体关键点位置(psx0,pex0,pwx0)，psx1、pex1,pwx1分别为上一帧时间序列t1的人体肩部关键点位置、手肘关键点位置和手部关键点位置，psx0,pex0,pwx0为当前帧时间序列t0的人体肩部关键点位置、手肘关键点位置和手部关键点位置；计算当前帧时间序列t0的手肘和手部的移动变化量(ve0,vω0)：

ve＝(pex0-psx0)-(pex1-psx1)；

vω＝(pωx0-psx0)-(pωx1-psx1)；

计算每相邻两帧人体关键点的移动变化量，得到移动变化量序列数据(ve,vω)＝{(ve0,vω0),(ve1,vω1),(ve2,vω2),...,(ven,vωn)}。

可选的，所述预设条件如下：

mean(topk(ve))＞mine；

且mean(topk(-ve))＞mine；

且mean(topk(vω))＞mine；

且mean(topk(-vω))＞mine；

其中，topk表示移动变化量序列数据中最大的k个移动变化量，k＜n，mean表示取平均值，mine、minw表示移动变化量最小边界条件。

根据本发明的第二方面，提供一种基于机器人的任务配送系统，包括：接收模块，用于接收配送任务请求，所述配送任务请求中包括配送目的地；检测模块，用于当机器人到达配送目的地的平层时，对场景中的每一个行人的行人姿势进行检测；控制模块，用于将检测到行人姿势为挥手姿势的行人锁定为目标客户，以及根据目标客户位置，控制机器人移动到目标客户位置进行任务配送。

根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于机器人的任务配送方法的步骤。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于机器人的任务配送方法的步骤。

本发明提供的一种基于机器人的任务配送方法及系统，当机器人到达目的地平层时，可以对场景中行人的姿势进行识别，当识别到行人的姿势为挥手姿势时，确定目标客户，提前感知目标客户的位置，并根据目标客户的位置重新规划路线，增加了机器人配送任务的灵活性，也增加了机器人和客户的互动。

附图说明

图1为本发明提供的一种基于机器人的任务配送方法流程图；

图2为本发明提供的一种机器人的任务配送方法的整体流程图；

图3为本发明提供的一种基于机器人的任务配送系统的结构示意图；

图4为本发明提供的一种可能的电子设备的硬件结构示意图；

图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明提供的一种基于机器人的任务配送方法流程图，如图1所示，方法包括：101、接收配送任务请求，所述配送任务请求中包括配送目的地；102、当机器人到达配送目的地的平层时，对场景中的每一个行人的行人姿势进行检测；103、将检测到行人姿势为挥手姿势的行人锁定为目标客户；104、根据目标客户位置，控制机器人移动到目标客户位置进行任务配送。

可以理解的是，针对传统的机器人的任务配送方式，本发明提供了一种客户姿势识别的交互方式，客户对机器人挥手示意，机器人检测场景中行人的手势，确认目标客户，提前感知目标客户的位置，提升服务质量，节约服务资源。

具体的，当平台向机器人下发任务配送命令时，机器人接收配送任务请求，其中，任务配送请求中配送目的地以及客户的联系方式。机器人接到任务配送命令时，开始配送，当机器人离开电梯间，达到平层后，开启人体姿势检测模型，当检测到环境中有行人发出挥手动作，锁定该行人为目标客户以及获取目标客户的空间位置，到达目标客户附近后，等待客户取餐，取餐完毕后，返回原先待命点。

本发明中，当机器人到达目的地平层时，可以对场景中行人的姿势进行识别，当识别到行人的姿势为挥手姿势时，确定目标客户，提前感知目标客户的位置，并根据目标客户的位置重新规划路线，增加了机器人配送任务的灵活性，也增加了机器人和客户的互动。

在一种可能的实施例方式中，当机器人到达配送目的地的平层时，开启人体姿势检测模型对场景中的每一个行人的行人姿势进行检测；人体姿势检测模型包括人体姿态检测子模型和人体动作识别子模型，人体姿态检测子模型为无锚框单阶段检测网络centernet；将图片输入人体姿态检测子模型，获取图片中行人的位置和行人的多个人体姿态关键点；人体动作识别子模型根据行人的多个人体姿态关键点之间的位置关系，对行人姿势进行识别。

可以理解的是，当机器人离开电梯到达平层时，开启前置摄像头，对该平层的场景中的行人进行拍摄，获取包括行人的图片，对图片中的行人的位置及行人姿势进行检测。

本发明实施例，利用人体姿势检测模型对图片中的行人的位置和行人姿势进行检测，人体姿势检测模型主要包括人体姿态检测子模型和人体动作识别子模型。

在一种可能的实施例方式中，所述无锚框单阶段检测网络centernet包括骨干网络backbone和检测头head，所述骨干网络backbone采用轻量化网络架构；将图片输入骨干网络backbone，获取图片中的高维特征信息；将高维特征信息输入所述检测头head中，获取图片中行人的位置和行人的关键点位置。

可以理解的是，人体姿态检测子模型采用无锚框单阶段检测网络centernet，从输入图片端到端获得图片中行人的位置及人体姿态关键点。无锚框单阶段检测网络centernet由骨干网络backbone和检测头head构成，骨干网络backbone采用轻量化网络架构shufflenet，易于部署在机器人等边缘端设备上，提取图片中高维特征信息。网络将骨干网络backbone提取的高维特征输入到检测头head中，得到行人在图片中的位置及行人的关键点位置keypoints。

在一种可能的实施例方式中，行人的关键点位置包括左右肩部关键点位置、左右手肘关键点位置和左右手部关键点位置。

可以理解的是，在本发明实施例中，定义机器人与客户交互动作是类似与挥手示意的动作，与之动作相关的人体关键点是左右肩部shoulder、手肘elbow、手部wrist这6个关键点，将机器人摄像头捕获的图片输入给人体姿态检测子模型，即可检测出图片中行人的位置和行人的姿势。

在一种可能的实施例方式中，人体动作识别子模型根据行人的多个人体姿态关键点之间的位置关系，对行人姿势进行识别，包括：基于左右手臂的动作对称性，获取行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置；或者，获取行人的右肩部的关键点位置、右手肘关键点位置和右手部关键点位置；人体动作识别模型判断行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置是否同时满足第一动作条件和第二动作条件；或者判断行人的右肩部的关键点位置、右手肘关键点位置和右手部关键点位置是否同时满足第一动作条件和第二动作条件；若满足，则行人姿势为挥手姿势。

可以理解的是，上述实施例通过人体姿态检测子模型检测出图片中的人体关键点，用(psx，psy)(pointshoulder)、(pex，pey)(pointelbow)、(pwx，pwy)(pointwrist)分别表示左右肩部关键点位置坐标、左右手肘关键点位置和左右手部关键点位置，考虑到左右手臂的动作对称性，任意单边手臂做出挥舞动作即表示客户发出交互动作，本发明实施例获取右手臂的关键点位置。

在判断行人的姿势是否为挥手姿势时，主要设定了两个条件，称为挥手动作条件一和挥手动作条件二(在本发明实施例中，也称为第一动作条件和第二动作条件)，当行人右手臂的肩部关键点位置、手肘关键点位置和手部关键点位置之间的位置关系同时满足挥手动作条件一和挥手动作条件二，则判定行人的姿势为挥手姿势。

在一种可能的实施例方式中，第一动作条件为手部关键点位置在手肘关键点位置上方，且手肘关键点位置在肩部关键点位置上方，通过如下公式表达：

当pey-psy＞gap且pwy-pey＞gap，判定行人姿势为挥手姿势；

其中，psy为肩部关键点位置坐标，pey为手肘关键点位置坐标，pwy为手部关键点位置坐标，gap为预设阈值，本发明实施例中，gap＝10，与图片大小有关。

在一种可能的实施例方式中，通过如下方式判断行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置是否满足第二动作条件：利用机器人的前置摄像头按照固定间隔拍摄行人的图片序列，所述图片序列包括多张图片；利用人体姿态检测子模型提取出每一张图片中的行人关键点位置，得到人体关键点序列数据；根据相邻两帧图片中提取的人体关键点位置，计算每相邻两帧图片中的人体关键点的移动变化量，得到移动变化量序列数据；若移动变化量序列数据满足预设条件，则判定行人的左肩部的关键点位置、左手肘关键点位置和左手部关键点位置满足第二动作条件。

可以理解的是，当机器人到达配送目的地的平层后，开启前置摄像头，间隔50ms采样一次环境图片数据，拍摄到多张图片，对于每一张图片，通过人体姿态检测子模型提取人体关键点，得到人体关键点序列数据。

获取上一帧时间序列t1的人体关键点位置(psx1,pex1,pwx1)和当前帧时间序列t0的人体关键点位置(psx0,pex0,pwx0)，其中，psx1、pex1、pwx1分别为上一帧时间序列t1的人体肩部关键点位置、手肘关键点位置和手部关键点位置，psx0、pex0、pwx0为当前帧时间序列t0的人体肩部关键点位置、手肘关键点位置和手部关键点位置。

计算当前帧时间序列t0的手肘和手部的移动变化量(ve0,vω0)：

ve＝(pex0-psx0)-(pex1-psx1)；

vω＝(pωx0-psx0)-(pωx1-psx1)。

基于上述公式计算每相邻两帧图片中的各部位关键点，比如手肘关键点和手部关键点的移动变化量，考虑到时间信息，得到时间序列数据(ve,vω)＝{(ve0,vω0),(ve1,vω1),(ve2,vω2),...,(ven,vωn)}。比如，本发明实施例由于采样间隔是50ms，取最近20帧数据(ve,vω)＝{(ve0,vω0),(ve1,vω1),(ve2,vω2),...,(ve20,vω20)}，判断20组数据特性，满足预设条件即判断行人做出挥手动作。

在一种可能的实施例方式中，预设条件如下：

mean(topk(ve))＞mine；

且mean(topk(-ve))＞mine；

且mean(topk(vω))＞mine；

且mean(topk(-vω))＞mine；

其中，topk表示移动变化量序列数据中最大的k个移动变化量，k＜n，mean表示取平均值，mine，minw表示移动变化量最小边界条件，本发明实施例中，k取5，mine、minw分别取3和6。

当检测的行人的各个部位的关键点之间的位置关系同时满足第一动作条件和第二动作条件，则行人的姿势为挥手姿势；如果不满足其中的一个动作条件时，则行人的姿势不是挥手姿势，将行人的关键点位置数据保留在历史缓存数据池中。

参见图2，为一种基于机器人的任务配送方法的整体流程图，当需要配送任务时，配送平台向机器人下达配送任务，机器人接收到任务配送命令时，进行任务配送。当机器人到达目标平层时，开启前置摄像头，对目标平层场景中的行人进行拍摄，得到包括行人的图片。将拍摄的图片输入人体姿态检测子模型中，输入人体各关键点位置，根据人体各关键点位置，人体动作识别子模型识别出人体姿势。当识别出行人的姿势为挥手姿势时，该行人即为目标客户，获取该行人的位置，控制机器人改变原始的路线，移动至目标客户的位置。

图3为本发明实施例提供的一种基于机器人的任务配送系统结构图，如图3所示，一种基于机器人的任务配送系统，包括接收模块301、检测模块302和控制模块303，其中：

接收模块301，用于接收配送任务请求，所述配送任务请求中包括配送目的地；检测模块302，用于当机器人到达配送目的地的平层时，对场景中的每一个行人的行人姿势进行检测；控制模块303，用于将检测到行人姿势为挥手姿势的行人锁定为目标客户，以及根据目标客户位置，控制机器人移动到目标客户位置进行任务配送。

可以理解的是，本发明提供的一种基于机器人的任务配送系统与前述各实施例提供的基于机器人的任务配送方法相对应，基于机器人的任务配送系统的相关技术特征可参考基于机器人的任务配送方法的相关技术特征，在此不再赘述。

请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：接收配送任务请求，所述配送任务请求中包括配送目的地；当机器人到达配送目的地的平层时，对场景中的每一个行人的行人姿势进行检测；将检测到行人姿势为挥手姿势的行人锁定为目标客户；根据目标客户位置，控制机器人移动到目标客户位置进行任务配送。

请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：接收配送任务请求，所述配送任务请求中包括配送目的地；当机器人到达配送目的地的平层时，对场景中的每一个行人的行人姿势进行检测；将检测到行人姿势为挥手姿势的行人锁定为目标客户；根据目标客户位置，控制机器人移动到目标客户位置进行任务配送。

本发明实施例提供的一种基于机器人的任务配送方法及系统，当机器人到达目的地平层时，可以对场景中行人的姿势进行识别，当识别到行人的姿势为挥手姿势时，确定目标客户，提前感知目标客户的位置，并根据目标客户的位置重新规划路线，增加了机器人配送任务的灵活性，也增加了机器人和客户的互动。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。