指向移动机器人的自主和远程操作传感器的制作方法

本公开涉及用于移动机器人的传感器指向。

背景技术：

1、机器人设备用于自主地或半自主地执行任务，诸如导航到指定位置并利用一个或多个传感器捕获传感器数据。例如，机器人可以被分派任务以导航到兴趣点，并且使用相机捕获兴趣点的图像数据，而无需用户输入或监督。在这些场景中，用户期望传感器数据捕获是准确且可重复的。

技术实现思路

1、本公开的一个方面提供了一种计算机实现的方法，该方法在由机器人的数据处理硬件执行时使数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向，以及机器人的对准姿势，以使传感器指向目标方向朝向目标位置。操作还包括命令机器人从当前姿势移动到对准姿势。在机器人移动到对准姿势并且传感器指向朝向目标位置的目标方向之后，操作包括命令传感器捕获环境中的目标位置的传感器数据。

2、在一些实施方式中，操作还包括响应于接收到传感器指向命令，命令机器人导航到环境中的目标兴趣点。在那些实施方式中，确定目标方向和对准姿势包括在机器人导航到目标兴趣点之后确定目标方向和对准姿势。

3、在一些实施例中，传感器包括相机。

4、在一些示例中，传感器包括摇摄-倾斜-缩放(ptz)传感器。在另外的示例中，在确定用于将ptz传感器指向目标位置的目标方向之后，操作还包括确定ptz传感器的感测场的中心不与目标方向对准。在那些另外的示例中，操作还进一步包括确定用于将ptz传感器的感测场的中心与目标方向对准的ptz对准参数。在那些另外的示例中，操作还进一步包括使用ptz对准参数来命令ptz传感器调整ptz传感器的感测场的中心以与目标方向对准。在更进一步的示例中，在命令ptz传感器调整ptz传感器的感测场的中心之后，操作还包括从ptz传感器接收对准反馈数据，该对准反馈数据指示经调整的ptz传感器的感测场的中心与目标方向之间的误差。在那些更进一步的示例中，确定机器人的对准姿势还基于接收到的对准反馈数据。在另外的示例中，误差指示ptz传感器的感测场的经调整的中心与目标方向之间的差大于阈值差。

5、在一些实施方式中，接收传感器指向命令包括接收指示相对于机器人的已知坐标系的光线或点的选择的用户输入指示。

6、在一些实施例中，传感器指向命令包括对象的模型，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些实施例中，操作还包括使用对象的模型确定对象是否存在于捕获的数据中，并且当对象存在于捕获的图像数据中时，确定目标方向以使对象在传感器的感测场内居中。

7、在一些示例中，传感器指向命令包括来自对象检测器的输出的对象的对象分类，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些示例中，操作还包括使用对象检测器的输出确定分类的对象是否存在于捕获的图像数据中，并且当分类的对象存在于捕获的图像数据中时，确定目标方向以使分类的对象在传感器的感测场内居中。

8、在一些实施方式中，传感器固定到机器人。在一些实施例中，确定使传感器指向目标方向的机器人的对准姿势包括确定机器人的逆运动学。在一些示例中，确定使传感器指向目标方向的机器人的对准姿势包括处理由与传感器不同的第二传感器捕获的图像数据。

9、本公开的另一方面提供了一种系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。所述存储器硬件存储指令，所述指令当在所述数据处理硬件上执行时使所述数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向，以及机器人的对准姿势，以使传感器指向目标方向朝向目标位置。操作还包括命令机器人从当前姿势移动到对准姿势，以及命令传感器捕获环境中的目标位置的传感器数据。

10、在一些实施方式中，操作还包括响应于接收到传感器指向命令，命令机器人导航到环境中的目标兴趣点。在那些实施方式中，确定目标方向和对准姿势包括在机器人导航到目标兴趣点之后确定目标方向和对准姿势。

11、在一些实施例中，传感器包括相机。

12、在一些示例中，传感器包括摇摄-倾斜-缩放(ptz)传感器。在另外的示例中，在确定用于将传感器指向目标位置的目标方向之后，操作还包括确定ptz传感器的感测场的中心不与目标方向对准。在那些另外的示例中，操作还进一步包括确定用于将ptz传感器的感测场的中心与目标方向对准的ptz对准参数。在那些另外的示例中，操作还进一步包括使用ptz对准参数来命令ptz传感器调整ptz传感器的感测场的中心以与目标方向对准。在更进一步的示例中，在命令ptz传感器调整ptz传感器的感测场的中心之后，操作还包括从ptz传感器接收对准反馈数据，该对准反馈数据指示经调整的ptz传感器的感测场的中心与目标方向之间的误差。在那些更进一步的示例中，确定机器人的对准姿势还基于接收到的对准反馈数据。在另外的示例中，误差指示ptz传感器的感测场的经调整的中心与目标方向之间的差大于阈值差。

13、在一些实施方式中，接收传感器指向命令包括接收指示相对于机器人的已知坐标系的光线或点的选择的用户输入指示。

14、在一些实施例中，传感器指向命令包括对象的模型，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些实施例中，操作还包括使用对象的模型确定对象是否存在于捕获的数据中，并且当对象存在于捕获的图像数据中时，确定目标方向以使对象在传感器的感测场内居中。

15、在一些示例中，传感器指向命令包括来自对象检测器的输出的对象的对象分类，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些示例中，操作还包括使用对象检测器的输出确定分类的对象是否存在于捕获的图像数据中，并且当分类的对象存在于捕获的图像数据中时，确定目标方向以使分类的对象在传感器的感测场内居中。

16、在一些实施方式中，传感器固定到机器人。在一些实施例中，确定使传感器指向目标方向的机器人的对准姿势包括确定机器人的逆运动学。在一些示例中，确定使传感器指向目标方向的机器人的对准姿势包括处理由与传感器不同的第二传感器捕获的图像数据。

17、本公开的又一方面提供了一种计算机实现的方法，该方法在由机器人的数据处理硬件执行时使数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向。操作包括在传感器指向目标方向朝向目标位置的情况下，命令传感器捕获环境中的目标位置的传感器数据。

18、在一些实施方式中，操作还包括基于传感器相对于目标位置的取向来确定机器人的对准姿势，以使传感器指向朝向目标位置的目标方向，并命令机器人从当前姿势移动到对准姿势。在进一步的实施方式中，命令传感器捕获传感器数据发生在机器人移动到对准姿势并且传感器指向目标方向朝向目标位置之后。

19、本公开的另一方面提供了一种系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。所述存储器硬件存储指令，所述指令当在所述数据处理硬件上执行时使所述数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向。操作包括在传感器指向目标方向朝向目标位置的情况下，命令传感器捕获环境中的目标位置的传感器数据。

20、在一些实施方式中，操作还包括基于传感器相对于目标位置的取向来确定机器人的对准姿势，以使传感器指向朝向目标位置的目标方向，并命令机器人从当前姿势移动到对准姿势。在进一步的实施方式中，命令传感器捕获传感器数据发生在机器人移动到对准姿势并且传感器指向目标方向朝向目标位置之后。

21、在另一方面，提供了一种自主和远程操作的传感器指向的方法。该方法包括使用机器人的计算系统检测机器人的传感器相对于目标位置的取向，基于检测到的传感器的取向，使用计算系统确定用于指向传感器的目标方向和机器人的对准姿势，控制机器人的一个或多个关节以将机器人从当前姿势移动到对准姿势并将传感器指向目标方向，并且一旦机器人已经移动到对准姿势并且传感器指向目标方向，使用所述传感器捕获传感器数据。

22、在另一方面，提供了一种机器人。所述机器人包括传感器、计算系统、多个关节，所述计算系统被配置为检测所述传感器相对于目标位置的取向，并且基于检测到的取向确定用于指向所述传感器的目标方向和所述机器人的对准姿势，其中所述计算系统还被配置为控制所述多个关节中的一个或多个以将所述机器人从当前姿势移动到所述对准姿势并将所述传感器指向所述目标方向，其中，所述传感器被配置为在所述机器人被定位在所述对准姿势中并且所述传感器指向所述目标方向的情况下捕获传感器数据。

23、在附图和下面的描述中阐述了本公开的一个或多个实施方式的细节。其他方面、特征和优点将从说明书和附图以及权利要求书中显而易见。