机器人及其行动控制方法、装置和计算机可读存储介质与流程

本发明涉及人工智能技术领域，特别涉及一种机器人的行动控制方法、装置、机器人及计算机可读存储介质。

背景技术：

随着现代社会科技的发展，人工智能领域的机器人得到了很好的发展。目前，机器人的对目标物体的行动操作仅能在固定的三维地图中进行，使得机器人难以适应目标物体的位置变化，无法正确的执行相应的行动操作，导致机器人的行动控制效果不佳。

因此，如何使机器人能够快速便捷的识别真实物理世界中目标物体的位置，从而适应目标物体的位置变化，正确执行相应的行动操作，是现今急需解决的问题。

技术实现要素：

本发明的目的是提供一种机器人的行动控制方法、装置、机器人及计算机可读存储介质，以使机器人能够快速便捷的识别真实物理世界中目标物体的位置，从而适应目标物体的位置变化，正确执行相应的行动操作。

为解决上述技术问题，本发明提供一种机器人的行动控制方法，包括：

获取行动控制指令；其中，所述行动控制指令包括目标物体信息和行动控制信息；

检测机器人的摄像头采集的二维图像中所述目标物体信息对应的目标物体，并确定所述目标物体的二维坐标信息；

将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息；

根据所述三维坐标信息，控制所述机器人到所述行动控制信息对应的位置进行相应的操作。

可选的，所述获取行动控制指令，包括：

对所述机器人的麦克风采集到的语音信息进行语音识别，获取所述行动控制指令。

可选的，所述将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息，包括：

利用增强现实的平面检测功能，将所述二维图像中的所述二维坐标信息映射到三维数字地图中的三维坐标信息。

可选的，所述利用增强现实的平面检测功能，将所述二维图像中的所述二维坐标信息映射到三维数字地图中的三维坐标信息之前，还包括：

利用增强现实的即时定位与地图构建功能，构建所述三维数字地图。

本发明还提供了一种机器人的行动控制装置，包括：

获取模块，用于获取行动控制指令；其中，所述行动控制指令包括目标物体信息和行动控制信息；

检测模块，用于检测机器人的摄像头采集的二维图像中所述目标物体信息对应的目标物体，并确定所述目标物体的二维坐标信息；

转换模块，用于将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息；

控制模块，用于根据所述三维坐标信息，控制所述机器人到所述行动控制信息对应的位置进行相应的操作。

可选的，所述获取模块，包括：

语音识别子模块，用于对所述机器人的麦克风采集到的语音信息进行语音识别，获取所述行动控制指令。

可选的，所述转换模块，包括：

平面检测子模块，用于利用增强现实的平面检测功能，将所述二维图像中的所述二维坐标信息映射到三维数字地图中的三维坐标信息。

可选的，该装置还包括：

即时定位与地图构建模块，用于利用增强现实的即时定位与地图构建功能，构建所述三维数字地图。

本发明还提供了一种机器人，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述所述的机器人的行动控制方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的机器人的行动控制方法的步骤。

本发明所提供的一种机器人的行动控制方法，包括：获取行动控制指令；其中，行动控制指令包括目标物体信息和行动控制信息；检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息；将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息；根据三维坐标信息，控制机器人到行动控制信息对应的位置进行相应的操作；

可见，本发明通过检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，利用摄像头采集的真实物理世界的二维图像识别目标物体，并确定目标物体的二维坐标信息；通过将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息，将目标物体的二维坐标信息转换为机器人所使用的三维坐标系下相应的三维坐标信息，能够确定目标物体在三维坐标系下的实际位置，从而适应目标物体的位置变化，正确执行相应的行动操作，提升用户体验。此外，本发明还提供了一种机器人的行动控制装置、机器人及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种机器人的行动控制方法的流程图；

图2为本发明实施例所提供的一种机器人的行动控制装置的结构框图；

图3为本发明实施例所提供的一种机器人的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的一种机器人的行动控制方法的流程图。该方法可以包括：

步骤101：获取行动控制指令；其中，行动控制指令包括目标物体信息和行动控制信息。

可以理解的是，本步骤中机器人的处理器获取的行动控制指令可以为目标物体对应的行动控制指令，例如家庭场景下，处理器可以根据用户语音输入或文字输入的“到茶几上把苹果拿过来”生成相应的行动控制指令，即茶几和苹果这两个目标物体对应的行动控制指令。

具体的，对于本步骤中的行动控制指令的具体内容和类型，可以由设计人员根据使用场景和用户需求自行设置，如可以采用与现有技术中机器人的行动控制指令相同或相似的方式实现，只要保证本实施例中的行动控制指令与目标物体相对应，即行动控制指令不仅包含行动控制信息，还包括目标物体信息，本实施例对此不做任何限制。

需要说明的是，对于本步骤中处理器获取行动控制指令的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以根据机器人的触摸屏采集的触摸信息，生成行动控制指令；即用户可以通过触摸机器人的触摸屏，控制机器人的行动操作。处理器也可以直接获取机器人的无线接收设备(如蓝牙设备或wifi设备)接收的行动控制指令；例如用户可以通过如手机的智能终端向机器人无线发送行动控制指令，控制机器人的行动操作。处理器还可以对机器人的麦克风采集到的语音信息进行语音识别，获取行动控制指令；即用户可以通过语音(声波)，控制机器人的行动操作；也就是说，机器人运行时，可以实时开启语音识别功能，将用户实时的语音指令，转化为文字(即字符串)信息，通过字符串的转换使机器人可以从中提取得到相应的行动控制指令。本实施例对此不做任何限制。

步骤102：检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息。

可以理解的是，本步骤的目的可以为处理器利用机器人上设置的摄像头采集的实际物理环境的二维图像，确定二维图像中的目标物体和目标物体的二维坐标信息。

具体的，对于本步骤中处理器检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息的具体方式，可以由设计人员自行设置，如处理器可以利用目标检测技术，识别摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息；处理器也可以利用现有技术中的其他检测技术，识别摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息。本实施例对此不做任何限制。

对应的，对于本步骤中处理器检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息的具体方式，可以由设计人员自行设置，如处理器可以仅识别二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，例如处理器可以利用目标检测技术，实时处理和识别二维图像中目标物体信息对应的目标物体，并为目标物体赋予对应的目标物体信息，同时确定出目标物体的二维坐标信息。处理器也可以识别二维图像中的全部物体，并确定每个物体的二维坐标信息；其中，全部物体中包含目标物体；例如处理器可以利用目标检测技术，实时处理和识别二维图像中包含目标物体的全部物体，并为每个物体赋予对应的物体信息，同时确定出每个物体的二维坐标信息。本实施例对此不做任何限制。

步骤103：将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息。

可以理解的是，本步骤的目的可以为处理器通过将二维图像中目标物体的二维坐标信息转换为机器人行动所使用的三维坐标系(即预设三维坐标系)下的三维坐标信息，即将二维图像中目标物体二维坐标映射到预设三维坐标系的三维坐标，使机器人能够确定真实物理世界对应的预设三维坐标系下的目标物体的位置，从而进行后续准确的行动和操作。

其中，本步骤中的预设三维坐标系可以为预先设置的机器人行动所使用的真实物理世界对应的三维坐标系。对于预设三维坐标系的具体类型和获取方式，可以由设计人员根据实用场景和用户需求自行设置，如预设三维坐标系可以为机器人的处理器利用ar(augmentedreality，增强现实)的slam(simultaneouslocalizationandmapping，即时定位与地图构建)功能，构建的三维数字地图(即slam数字地图)；也就是说，本步骤之前还可以包括利用增强现实的即时定位与地图构建功能，构建三维数字地图的步骤，例如处理器在根据机器人的摄像头采集的二维图像检测目标物体检测和确定目标物体的二维坐标信息的同时，可以根据机器人的摄像头采集的二维图像，利用ar的slam实时建图功能对机器人所处的物理环境进行理解，绘制三维数字地图，来对应和记录客观物理结构空间。预设三维坐标系可以为通过其他建图技术构建的三维坐标系。本实施例对此不做任何限制。

具体的，对于本步骤中处理器将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息的具体方式，可以由设计人员自行设置，如预设三维坐标系为利用ar的slam功能构建的三维数字地图时，处理器可以利用ar的平面检测(raycast)功能，将二维图像中的二维坐标信息映射到三维数字地图中的三维坐标信息。只要处理器可以将二维图像中的目标物体的二维坐标信息转换为预设三维坐标系下相应的三维坐标信息，本实施例对此不做任何限制。

对应的，对于本步骤中处理器将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息的具体方式，可以为处理器仅将目标物体的二维坐标信息转换为预设三维坐标系下的三维坐标信息，例如处理器可以利用ar的raycast功能，将二维图像中带有目标物体信息的目标物体的二维坐标映射转化到三维数字地图，由于三维数字地图与真实物理世界相对应，机器人也就相当于了解了真实物理世界中目标物体的位置；处理器也可以将二维图像中包含目标物体的全部物体的二维坐标信息转换为预设三维坐标系下各自对应的三维坐标信息；例如处理器可以利用ar的raycast功能，将二维图像中带有物体信息的全部物体的二维坐标映射转化到三维数字地图，使机器人了解真实物理世界中各个物体的位置。本实施例对此不做任何限制。

步骤104：根据三维坐标信息，控制机器人到行动控制信息对应的位置进行相应的操作。

具体的，本步骤的目的可以为处理器利用目标物体的三维坐标信息，控制机器人到行动控制指令中行动控制信息对应的位置进行行动控制信息对应的操作，从而完成行动控制指令，实现对机器人的行动控制。

具体的，本步骤还可以包括根据目标物体的三维坐标信息，确定行动控制信息对应的位置；根据行动控制信息对应的位置和机器人的三维坐标信息，计算行动路径的步骤，以实现机器人的路径规划，保证机器人能够到行动控制信息对应的位置，进行行动控制信息对应的操作。例如在家庭场景下，处理器获取“到茶几上把苹果拿过来”对应的行动控制指令后，可以在三维数字地图中找到带有茶几信息和苹果信息的物体，并确定其对应的三维坐标信息，之后进行路径规划，执行行动控制指令对应的操作，如拿起苹果。

本实施例中，本发明实施例通过检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，利用摄像头采集的真实物理世界的二维图像识别目标物体，并确定目标物体的二维坐标信息；通过将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息，将目标物体的二维坐标信息转换为机器人所使用的三维坐标系下相应的三维坐标信息，能够确定目标物体在三维坐标系下的实际位置，从而适应目标物体的位置变化，正确执行相应的行动操作，提升用户体验。

请参考图2，图2为本发明实施例所提供的一种机器人的行动控制装置的结构框图。该装置可以包括：

获取模块10，用于获取行动控制指令；其中，行动控制指令包括目标物体信息和行动控制信息；

检测模块20，用于检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息；

转换模块30，用于将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息；

控制模块40，用于根据三维坐标信息，控制机器人到行动控制信息对应的位置进行相应的操作。

可选的，获取模块10，可以包括：

语音识别子模块，用于对机器人的麦克风采集到的语音信息进行语音识别，获取行动控制指令。

可选的，转换模块30，可以包括：

平面检测子模块，用于利用增强现实的平面检测功能，将二维图像中的二维坐标信息映射到三维数字地图中的三维坐标信息。

可选的，该装置还可以包括：

即时定位与地图构建模块，用于利用增强现实的即时定位与地图构建功能，构建三维数字地图。

可选的，检测模块20，可以包括：

目标检测子模块，用于利用目标检测技术，识别摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息。

本实施例中，本发明实施例通过检测模块20检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，利用摄像头采集的真实物理世界的二维图像识别目标物体，并确定目标物体的二维坐标信息；通过转换模块30将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息，将目标物体的二维坐标信息转换为机器人所使用的三维坐标系下相应的三维坐标信息，能够确定目标物体在三维坐标系下的实际位置，从而适应目标物体的位置变化，正确执行相应的行动操作，提升用户体验。

请参考图3，图3为本发明实施例所提供的一种机器人的结构示意图。该设备1可以包括：

存储器11，用于存储计算机程序；处理器12，用于执行该计算机程序时实现如上述实施例所提供的机器人的行动控制方法的步骤。

设备1可以包括存储器11、处理器12和总线13。

其中，存储器11至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备1的内部存储单元。存储器11在另一些实施例中也可以是设备1的外部存储设备，例如设备1上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，存储器11还可以既包括设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备1的应用软件及各类数据，例如：执行机器人的行动控制方法的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行机器人的行动控制方法的程序的代码等。

该总线13可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该设备1与其他电子设备之间建立通信连接。

可选地，该设备1还可以包括用户接口15，用户接口15可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口15还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备1中处理的信息以及用于显示可视化的用户界面。

图3仅示出了具有组件11-15的设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对设备1的限定，可以包括比图示更少或者更多的部件(如麦克风和摄像头)，或者组合某些部件，或者不同的部件布置。

此外，本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述实施例所提供的机器人的行动控制方法的步骤。

其中，该存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、机器人及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本发明所提供的一种机器人的行动控制方法、装置、机器人及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。