基于视觉的机器人控制系统的制作方法

本申请要求2016年6月17日提交的第15/185,241号美国专利申请的优先权的权益，该申请通过引用整体结合于此。

本文描述的实施例一般涉及机器人控制，并且更具体地涉及基于视觉的机器人控制系统。

背景技术：

机器人是能够充当人类操作者的代理的机械或机电机器。某些机器人是自动化的或半自动化的，并且能够以最少人类输入来执行任务。机器人被用于住宅、工业和商业环境。随着电子和制造工艺的扩展，机器人使用正变得越来越普遍。

附图说明

在附图中(这些附图不一定是按比例绘制的)，相同的数字可以描述不同视图中的类似的组件。具有不同的字母后缀的相同的数字可以表示类似组件的不同实例。在所附附图的图中通过示例而非限制性地图示出一些实施例，其中：

图1是例示出根据实施例的在环境中操作的机器人的示图；

图2是例示出根据实施例的数据和控制流程的流程图；

图3是例示出根据实施例的用于控制机器人的基于视觉的机器人控制系统的框图；

图4是例示出根据实施例的用于提供基于视觉的机器人控制系统的方法的流程图；以及

图5是根据示例实施例的例示本文中所讨论的技术(例如，方法)中的任一种或多种可对其执行的示例机器的框图。

具体实施方式

在以下描述中，为了进行解释，阐述了众多具体细节以便提供对一些示例实施例的全面理解。然而，对本领域技术人员将显而易见的是，没有这些具体细节也可实践本公开。

本文公开的是提供基于视觉的机器人控制系统的系统和方法。消费者级机器人正因较低成本制造和较实惠的电子产品而变成现实。机器人可包括用于检测其环境的各种传感器。示例传感器包括邻近度传感器、位置传感器、碰撞传感器以及相机或其他基于图像的传感器。虽然能够使用外壳上的按钮、利用远程控制设备、或者利用辅助控制(诸如，充电站处的控制)来控制某些机器人，但需要的是用于控制机器人的更直观的方式。

图1是例示出根据实施例的在环境102中操作的机器人100的示图。机器人100可以是任何类型的自推进移动机器。机器人100可使用各种装置来移动，诸如轮子、踏板、轨道等。机器人100还可实现一个或多个腿来绕环境跳、走、爬或以其他方式移动(例如，飞)。机器人100可包括机载相机系统，该机载相机系统可包括一个或多个相机。相机系统可包括视觉光相机(例如，rgb相机)、红外(ir)光相机或其他相机。ir相机可被用于夜视(作为深度相机)或热成像。除相机系统之外，机器人100还可装备有其他传感器，诸如声呐系统、雷达系统等以导航环境。机器人100还包括一个或多个通信系统，这一个或多个通信系统可包括无线联网通信系统。无线联网通信系统可使用各种协议或技术(包括wi-fi、3g、4glte/lte-a、wimax网络、蓝牙、近场通信(nfc)等)中的一个或多个。

替代地，机器人100可与一个或多个相机104a、104b、104c、104d(统称为104)接口。当用户106在环境102中四处移动时，相机104可捕捉用户的移动、动作或用户106的其他方面。环境100中的相机104可包括视觉光相机、红外相机或其他类型的相机。可使用有线或无线连接来连接相机104。此外，相机104中的一个或多个可使用一个或多个伺服系统来进行平移和倾斜，以在主体处于相机104的操作视场内时跟随主体。相机104可使用形状识别或者利用主体保持或穿戴且相机104活跃跟踪的物理标记器来跟踪主体。可使用诸如蓝牙之类的技术来将物理标记器无线地连接至相机104。虽然图1中仅例示出四个相机104，但要理解，可基于环境的大小、环境中的阻碍或其他考虑来实现更多或更少的相机。可使用机载相机和环境相机的组合。

用户106可使用各种直观技术来与机器人100接口。一方面，用户206以特定方式做出姿势，该姿势随后可被相机104或机器人100、或者其他环境传感器捕捉。该姿势可基于预配置关联来向机器人100提供指令。例如，用户106可通过以规定方式轻踏他的脚来在标记地板上的斑点。机器人100可以是清洁机器人，诸如半自动化吸尘器。该轻踏可通过用户运动(使用相机104)、通过声音处理(例如，使用麦克风阵列)、通过振动(例如，使用地板中传感器来检测振动位置)、或者通过其他机制或机器的组合来检测。在接收对由用户106执行的姿势的指示之后，机器人100可集中于由姿势指示的区域(诸如，通过执行额外的遍数(pass)或通过暂时的减速)以更彻底地清洁该区域。

要理解，虽然本公开讨论的某些实施例包括相机和图像处理，但可使用其他形式的姿势检测来代替相机和图像处理技术或者与相机和图像处理技术组合。因此，姿势检测被用于标识特定位置以执行机器动作，并且如此，在某些情形中，姿势被用于直观地标识位置(例如，指向地板上的斑点、对区域进行监视、或者用脚轻踏地板等)。

另一方面，用户106可使用具有红外可检测墨水的标记器来提供指令。该墨水对人眼不可见，因此其不会褪色或者损害材料(诸如，地毯或家具装潢)。机器人100可被配置有ir相机，或者环境相机104可以是ir相机，该ir相机能够看到由用户106留下的标记。可使用不同的标记，诸如用于指示额外清洁的盒、用于指令机器人100使用不同清洁器的圆、或者用于避开区域的“x”。可使用其他标记。另一方面，机器人100可在清洁标记区域时清洁ir可检测墨水。如此，墨水标记可充当一次性指令。替代地，ir墨水可被有意地留下，使得标记能够在后续清洁中被观察到。

除视觉形式之外，用户106还可利用其它形式来提供指令，诸如口头或利用地理定位。在示例中，用户106可做出姿势并随后讲出口头命令，该口头命令在机器人100处被接收并随后由机器人100执行。例如，用户106可用激光指向器指向地板上的斑点并讲出“将架子移到这”。机器人100可利用机载相机系统和麦克风来直接接收此类命令。替代地，环境传感器(诸如，相机104和麦克风)可检测用户的动作并将其作为命令传达至机器人100。在接收到可行动指令之际，机器人100可移动至架子，举起它，然后将其移动至由用户的姿势指示的位置。

另一方面，用户106可将地理定位用作附加输入。例如，用户106可使用移动设备108(例如，智能电话、平板、可穿戴设备等)并在保持或穿戴该移动设备的同时执行姿势。用户106还可向移动设备发起口头命令。移动设备108的位置(例如，地理定位)可被获得并连同指令(如，由姿势定义的指令或者由用户106提供的口头指令)被传送至机器人100。

图2是例示出根据实施例的数据和控制流程的流程图。相机系统观察到由用户执行的触发动作(操作200)。例如，用户可执行姿势或者将可见标记留给机器人(例如，利用令牌或者利用对相机系统可见而对未经辅助的人类可见或不可见的墨水)。相机系统解释动作(操作202)。解释可包括姿势识别、模式识别、形状识别或其他形式的分析，用于确定由用户执行的触发动作的类型。如果识别到触发动作，则可进行附加处理以确定用户是否提供任何其他触发命令(操作204)，诸如口头命令。例如，如果识别到口头命令，则该口头命令可被解析并被用于后续操作。此外，在操作204处，可分析地理定位、指向姿势的位置或者其他命令。

参考查找表(操作206)以基于触发输入来确定机器人将执行哪个操作。根据机器人的设计和功能，触发输入的类型和所得机器人操作可不同。例如，可将清洁机器人编程为对特定触发动作做出响应，而将安全性机器人编程为对其他触发动作做出响应。在若干机器人操作于同一环境中的情形中，用户可将触发动作映射成仅触发若干机器人中的一个。替代地，用户可将命令配置成使得单个命令可使多个机器人执行特定功能。

如果触发动作映射到在查找表中找到的动作，则调度机器人执行所得操作(操作208)。机器人可立即执行该操作或者可被配置成在下一工作周期(例如，下一清洁周期)执行该操作。

如果在查找表中未找到触发动作，则控制流程返回至操作200，其中系统监视附加用户触发动作。

图3是例示出根据实施例的用于控制机器人的基于视觉的机器人控制系统300的框图。系统300可被安装在机器人中。替代地，系统300可与机器人分离，但通信地耦合至机器人以便提供控制信号。系统300包括相机系统接口302、触发检测单元304、操作数据库接口306、以及收发机308。

相机系统接口302、触发检测单元304、操作数据库接口306以及收发机308被理解为涵盖有形实体，该有形实体是被物理地构造、具体地配置(例如，硬连线)、或者临时地(例如，瞬态地)配置(例如，编程)来以所指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。可使用一个或多个电路(诸如，利用专用硬件(例如，现场可编程门阵列(fpga)、逻辑门、图形处理单元(gpu)、数字信号处理器(dsp)等))来构造此类有形实体。如此，本文描述的有形实体可称为电路、电路系统、处理单元、子系统等。

相机系统接口302可从相机阵列接收相机信号信息，该相机阵列可被安装在系统300上，或者是远程的但通信地耦合至系统300。例如，相机系统接口302可接收原始视频信号信息或经处理信号信息(例如，经压缩视频信号)。另一方面，相机系统接口302可被用于从相机阵列接收标签信息，其已分析和预处理相机阵列处或附近的原始视频信号。

触发检测单元304能够分析由相机系统接口302接收的图像或视频数据，并且检测和标识通过图像或视频数据中由人执行的移动来展现的姿势。触发检测单元304确定移动是否组成可识别姿势。如果移动组成可识别姿势，则触发检测单元304可触发由机器人执行的操作。

为了检测姿势，触发检测单元304可访问由相机系统捕捉的用户的臂、手指、脚或手运动的图像数据，并且基于图像数据标识姿势。图像数据可以是在其上执行姿势的多个连续图像(例如，视频)。

另一方面，触发检测单元304访问用户的臂、手指、脚或手运动的深度图像数据，并且基于深度图像数据标识姿势。深度图像数据可以是在其上执行姿势的多个连续图像(例如，视频)。

另一方面，触发检测单元304独立于相机系统接口302操作，并且经由不同路径来接收指示姿势的信息或数据。例如，一方面，为了检测选择姿势，触发检测单元304将从辅助设备访问运动数据并基于该运动数据标识姿势，该运动数据描述用户的臂、手指、脚或手运动。辅助设备可以是移动设备，诸如智能电话、可穿戴设备(诸如，智能手表或手套)、或者可由用户在自由空间移动的其他类型的设备。示例包括但不限于智能电话、智能手表、电子织物(例如，衬衫、手套、裤子、鞋等)、智能手镯、智能戒指等。

操作数据库接口306被用于确定姿势是否被检测到并被识别为触发姿势。如果其是经识别触发姿势，则使用收发机308向机器人传送命令。收发机308可被配置成在诸如以下各项的各种无线网络上进行通信：wi-fi网络(例如，根据ieee802.11系列标准)；蜂窝网络，诸如根据长期演进(lte)、lte-高级、5g或全球移动通信系统(gsm)系列标准设计的网络等等。当系统300被合并入机器人中时，则可通过有线连接直接向机器人控制器传达命令。

因此，系统300描述基于视觉的机器人控制系统，系统300包括相机系统接口302、触发检测单元304和收发机308。相机系统接口302可被配置成从相机系统接收图像数据。

触发检测单元304可被配置成从图像数据确定触发动作。

收发机308可被配置成发起与触发动作相关联的机器人操作。在实施例中，为了发起机器人操作，收发机308将通过无线网络向机器人传送命令序列。在实施例中，机器人操作包括清洁任务。

在实施例中，为了接收图像数据，相机系统接口302将接收用户执行姿势的图像。在此类实施例中，为了确定触发动作，触发检测单元304将确定对应于姿势的触发动作。在实施例中，姿势包括指向环境中的位置。在实施例中，姿势包括在环境中的位置处轻踏脚。在实施例中，触发动作是姿势并且机器人操作包括在该环境中的该位置处执行额外清洁。

在实施例中，图像数据包括由用户执行的姿势，并且触发检测单元304将接收由用户发出的语音命令，并使用姿势和语音命令来确定触发动作。在进一步的实施例中，姿势被用于指定环境中的位置，并且语音命令被用于指定机器人要采取的动作。

在实施例中，图像数据包括由用户作出的不可见标记，该不可见标记充当触发动作。在进一步的实施例中，不可见标记包括红外可见墨水标记。在另一实施例中，不可见标记是符号，并且为了发起机器人操作，操作数据库接口306被用于访问查找表并搜索该符号以标识对应机器人操作。

在实施例中，触发检测单元304将获得与触发动作相关联的地理定位，并且收发机308将发起要在该地理定位处执行的机器人操作。在进一步的实施例中，从执行触发动作的用户操作的设备获得地理定位。在另一实施例中，从用户执行的姿势获得地理定位，该姿势在图像数据中被捕捉。

图4是例示出根据实施例的用于提供基于视觉的机器人控制系统的方法400的流程图。在框402处，在基于处理器的机器人控制系统处接收来自相机系统的图像数据。

在框404处，从图像数据确定触发动作。

在框406处，发起与触发动作相关联的机器人操作。在实施例中，发起机器人操作包括通过无线网络向机器人传送命令序列。可使用各种网络，诸如蓝牙、wi-fi等。

在实施例中，机器人操作包括清洁任务。其他机器人任务被理解为在本公开的范围内。

在实施例中，接收图像数据包括接收用户执行姿势的图像。在此类实施例中，确定触发动作包括确定对应于姿势的触发动作。如上所述，姿势可以是任何类型的姿势，并且可包括动作，诸如指向、轻踏一个人的脚、或类似姿势。因此，在实施例中，姿势包括指向环境中的位置。在另一实施例中，姿势包括在环境中的位置上轻踏脚。在此类实施例中，触发动作是姿势并且机器人操作包括执行对环境中的位置处的额外清洁。

在实施例中，图像数据包括由用户执行的姿势。用户可同时发出语音命令以对姿势进行补充，并提供关于姿势命令的进一步的参数。因此，在此类实施例中，方法400包括接收由用户发出的语音命令。确定触发动作则包括使用姿势和语音命令来确定触发动作。

在实施例中，姿势被用于指定环境中的位置，并且语音命令被用于指定机器人要采取的动作。

在实施例中，图像数据包括由用户作出的不可见标记，该不可见标记充当触发动作。如上所述，不可见标记可以是红外墨水。因此，在实施例中，不可见标记包括红外可见墨水标记。可用此类描述做出各种单词、符号或标记，并且机器人控制系统可译解标记并确定命令的含义。因此，在实施例中，不可见标记是符号，并且发起机器人操作包括在查找表中搜索该符号以标识对应的机器人操作。查找表可由用户管理，或者由管理员(诸如，机器人和相关服务的制造者或提供者)管理。

在实施例中，方法400包括获得与触发动作相关联的地理定位，并且发起要在该地理定位处执行的机器人操作。能以各种方式获得地理定位，诸如利用能够确定全球定位系统(gps)位置的移动设备(或类似)、或者通过能够在用户执行姿势或留下标记时能够跟踪和确定用户位置的相机系统。因此，在实施例中，从执行触发动作的用户操作的设备获得地理定位。在另一实施例中，从用户执行的姿势获得地理定位，该姿势在图像数据中捕捉。

各实施例可在硬件、固件和软件中的一者或组合中实现。实施例也可被实现为存储在机器可读存储设备上的指令，该指令可由至少一个处理器读取并执行，以执行本文中所描述的操作。机器可读存储设备可包括用于以可由机器(如，计算机)读取的形式存储信息的任何非瞬态机制。例如，机器可读存储设备可包括只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪存设备、以及其他存储设备和介质。

处理器子系统可被用于执行机器可读介质上的指令。处理器子系统可以包括一个或多个处理器，每个处理器具有一个或多个核。另外，处理器子系统可被设置在一个或多个物理设备上。处理器子系统可以包括一个或多个专用处理器，诸如图形处理单元(gpu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)或固定功能处理器。

如本文中所描述的示例可包括逻辑或者多个组件、模块或机制，或可在逻辑或者多个组件、模块或机制上操作。各模块可以是通信地耦合至一个或多个处理器以实现本文中所描述的操作的硬件、软件或固件。各模块可以是硬件模块，并且如此，各模块可被认为是能够执行指定操作的有形实体且可按特定方式来配置或布置。在示例中，能以规定的方式将电路(例如，内部地或者相对于诸如其他电路之类的外部实体)布置为模块。在示例中，一个或多个计算机系统(例如，独立的客户机或服务器计算机系统)或一个或多个硬件处理器的全部或部分可由固件或软件(例如，指令、应用部分、或者应用)配置为操作用于执行规定操作的模块。在示例中，软件可驻留在机器可读介质上。在示例中，软件在由模块的底层硬件执行时，使得该硬件执行规定的操作。因此，术语硬件模块被理解为涵盖有形实体，该有形实体是被物理地构造、具体地配置(例如，硬连线)、或者临时地(例如，瞬态地)配置(例如，编程)从而以所指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。考虑到其中临时配置模块的示例，这些模块中的每一个不需要在任何一个时刻进行实例化。例如，在模块包括使用软件而配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可以相应地配置硬件处理器，例如以便在一个时间实例处构成特定的模块，并且在不同的时间实例处构成不同的模块。各模块也可以是软件或固件模块，它们操作来执行本文描述的方法。

如在本文档中所使用，电路系统或电路可单独或以任何组合方式包括例如：硬连线电路；可编程电路，诸如包括一个或更多单独指令处理核的计算机处理器；状态机电路；和/或存储由可编程电路执行的指令的固件。电路、电路系统或模块可共同或单独地被具体化为形成较大系统的一部分的电路系统，该较大系统例如，集成电路(ic)、片上系统(soc)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话、等等。

图5是以计算机系统500的示例形式示出的机器的框图，根据示例实施例，该机器中有指令集或指令序列，这些指令集或序列能被执行以使该机器执行本文中讨论的方法中的任意一个方法。在替代实施例中，该机器作为独立设备进行操作，或可以被连接(例如，联网)到其他机器。在联网的部署中，该机器可在服务器-客户机网络环境中作为服务器或客户机来进行操作，或者其可在对等(或分布式)网络环境中充当对等机。该机器可以是可穿戴设备、个人计算机(pc)、平板pc、混合平板、个人数字助理(pda)、移动电话、或能够执行指定要由该机器采取的动作的指令(顺序地或以其他方式)的任何机器。此外，虽然仅示出单个机器，但是，术语“机器”也应当认为包括单独地或联合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一种或更多种方法的机器的任何集合。类似地，术语“基于处理器的系统”应当认为包括由处理器(例如，计算机)控制或操作以单独地或联合地执行指令来执行本文讨论的方法中的任何一种或多种方法的一个或多个机器的任何集合。

示例计算机系统500包括至少一个处理器502(例如，中央处理单元(cpu)、图形处理单元(gpu)或这两者、处理器核、计算节点等)、主存储器504和静态存储器506，这些组件通过链路508(例如，总线)彼此通信。计算机系统500可进一步包括视频显示单元510、字母数字输入设备512(例如，键盘)、以及用户界面(ui)导航设备514(例如，鼠标)。在一个实施例中，视频显示单元510、输入设备512和ui导航设备514被结合到触屏显示器中。计算机系统500可以附加地包括存储设备516(例如，驱动单元)、信号生成设备518(例如，扬声器)、网络接口设备520以及一个或多个传感器(未示出)，该传感器诸如全球定位系统(gps)传感器、罗盘、加速度计、陀螺仪、磁力计、或其他传感器。

存储设备516包括机器可读介质522，在该机器可读介质522上储存有一组或多组数据结构和指令524(例如，软件)，该一组或多组数据结构和指令524具体化本文所描述的方法或功能中的一者或多者，或者由本文中所描述的方法或功能中的一者或多者所利用。在由计算机系统500执行指令524期间，该指令524也可完全地或至少部分地驻留在主存储器504、静态存储器506内，和/或处理器502内，主存储器504、静态存储器506和处理器502也构成机器可读介质。

虽然机器可读介质522在示例实施例中被例示为单个介质，但术语“机器可读介质”可包括存储一条或多条指令524的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”也应当认为包括任何有形介质，该有形介质能够存储、编码或携带由机器执行并且使机器执行本公开的任何一种或多种方法的指令，或者能够储存、编码或携带由此类指令利用或与此类指令相关联的数据结构。术语“机器可读介质”应当相应地认为包括但不限于：固态存储器以及光和磁介质。机器可读介质的特定示例包括非易失性存储器，作为示例，包括但不限于：半导体存储器设备(例如，电可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)和闪存设备；诸如内部硬盘及可移动盘之类的磁盘；磁光盘；以及cd-rom和dvd-rom盘。

可使用传输介质，经由网络接口设备520，利用数个公知的传输协议(例如，http)中的任何一种协议，进一步在通信网络526上传送或接收指令524。通信网络的示例包括：局域网(lan)、广域网(wan)、因特网、移动电话网络、普通老式电话(pots)网络、以及无线数据网络(例如，蓝牙、wi-fi、3g、以及4glte/lte-a或wimax网络)。术语“传输介质”应当认为包括能够存储、编码或携带由机器执行的指令的任何无形的介质，并且包括用于促进此类软件的通信的数字或模拟通信信号或者其他无形的介质。

附加注释和示例：

示例1是一种基于视觉的机器人控制系统，该系统包括：相机系统接口，用于从相机系统接收图像数据；触发检测单元，用于从图像数据确定触发动作；以及收发机，用于发起与触发动作相关联的机器人操作。

示例2中，示例1的主题任选地包括，其中为了接收图像数据，相机系统接口用于接收用户执行姿势的图像；以及其中为了确定触发动作，触发检测单元用于确定对应于姿势的触发动作。

示例3中，示例1的主题任选地包括，其中姿势包括指向环境中的位置。

示例4中，示例2–3中任何一项或多项的主题任选地包括，其中姿势包括在环境中的位置处轻踏脚。

示例5中，示例3–4中任何一项或多项的主题任选地包括，其中触发动作是姿势并且机器人操作包括在环境中的位置处执行额外清洁。

示例6中，示例1–5中任何一项或多项的主题任选地包括，其中图像数据包括由用户执行的姿势，并且其中触发检测单元将接收由用户发出的语音命令，并使用姿势和语音命令来确定触发动作。

示例7中，示例6的主题任选地包括，其中姿势被用于指定环境中的位置，并且其中语音命令被用于指定机器人要采取的动作。

示例8中，示例1–7中任何一项或多项的主题任选地包括，其中图像数据包括由用户作出的不可见标记，该不可见标记充当触发动作。

示例9中，示例8的主题任选地包括，其中不可见标记包括红外可见墨水标记。

示例10中，示例8–9中任何一项或多项的主题任选地包括，其中不可见标记是符号，并且为了发起机器人操作，操作数据库接口被用于访问查找表并搜索符号以标识对应的机器人操作。

示例11中，示例1–10中任何一项或多项的主题任选地包括，触发检测单元用于获得与触发动作相关联的地理定位，并且其中收发机用于发起要在地理定位处执行的机器人操作。

示例12中，示例11的主题任选地包括，其中从执行触发动作的用户操作的设备获得地理定位。

示例13中，示例11–12中任何一项或多项的主题任选地包括，其中从用户执行的姿势获得地理定位，该姿势在图像数据中捕捉。

示例14中，示例1–13中任何一项或多项的主题任选地包括，其中为了发起机器人操作，收发机用于通过无线网络向机器人传送命令序列。

在示例15中，示例1-14中的任何一项或多项的主题任选地包括：其中机器人操作包括清洁任务。

示例16是一种提供基于视觉的机器人控制系统的方法，该方法包括：在基于处理器的机器人控制系统处接收来自相机系统的图像数据；从图像数据确定触发动作；以及发起与触发动作相关联的机器人操作。

示例17中，示例16的主题任选地包括：其中接收图像数据包括接收用户执行姿势的图像；并且其中确定触发动作包括确定对应于姿势的触发动作。

示例18中，示例17的主题任选地包括，其中姿势包括指向环境中的位置。

示例19中，示例17-18中任何一项或多项的主题任选地包括：其中姿势包括在环境中的位置处轻踏脚。

示例20中，示例18-19中任何一项或多项的主题任选地包括，其中触发动作是姿势并且机器人操作包括在环境中的位置处执行额外清洁。

示例21中，示例16-20中任何一项或多项的主题任选地包括，其中图像数据包括由用户执行的姿势，并且其中方法包括接收由用户发出的语音命令，并且其中确定触发动作包括使用姿势和语音命令来确定触发动作。

示例22中，示例21的主题任选地包括：其中姿势被用于指定环境中的位置，并且其中语音命令被用于指定机器人要采取的动作。

示例23中，示例16-22中任何一项或多项的主题任选地包括：其中图像数据包括由用户作出的不可见标记，该不可见标记充当触发动作。

示例24中，示例23的主题任选地包括：其中不可见标记包括红外可见墨水标记。

示例25中，示例23-24中任何一项或多项的主题任选地包括：其中不可见标记是符号，并且其中发起机器人操作包括在查找表中搜索该符号以标识对应的机器人操作。

示例26中，示例16–25中任何一项或多项的主题任选地包括：获得与触发动作相关联的地理定位；以及发起要在该地理定位处执行的机器人操作。

示例27中，示例26的主题任选地包括：其中从执行触发动作的用户操作的设备获得地理定位。

示例28中，示例26-27中任何一项或多项的主题任选地包括：其中从用户执行的姿势获得地理定位，该姿势是在图像数据中捕捉的。

示例29中，示例16-28中任何一项或多项的主题任选地包括：其中发起机器人操作包括通过无线网络向机器人传送命令序列。

在示例30中，示例16-29中的任何一项或多项的主题任选地包括：其中机器人操作包括清洁任务。

示例31是包括指令的至少一种机器可读介质，指令在被机器执行时使机器执行示例16-30的方法中的任一者的操作。

示例32是一种包括用于执行示例16-30的方法中的任一项的装置的设备。

示例33是一种提供基于视觉的机器人控制系统的设备，该设备包括：用于在基于处理器的机器人控制系统处接收来自相机系统的图像数据的装置；用于从图像数据确定触发动作的装置；以及用于发起与触发动作相关联的机器人操作的装置。

示例34中，示例33的主题任选地包括：其中用于接收图像数据的装置包括用于接收用户执行姿势的图像的装置；并且其中用于确定触发动作的装置包括用于确定对应于姿势的触发动作的装置。

示例35中，示例34的主题任选地包括：其中姿势包括指向环境中的位置。

示例36中，示例34-35中任何一项或多项的主题任选地包括：其中姿势包括在环境中的位置轻踏脚。

示例37中，示例35-36中任何一项或多项的主题任选地包括：其中触发动作是姿势并且机器人操作包括在环境中的位置处执行额外清洁。

示例38中，示例33-37中任何一项或多项的主题任选地包括：其中图像数据包括由用户执行的姿势，并且其中设备包括用于接收由用户发出的语音命令的装置，并且其中用于确定触发动作的装置包括用于使用姿势和语音命令来确定触发动作的装置。

示例39中，示例38的主题任选地包括：其中姿势被用于指定环境中的位置，并且其中语音命令被用于指定机器人要采取的动作。

示例40中，示例33-39中任何一项或多项的主题任选地包括：其中图像数据包括由用户作出的不可见标记，该不可见标记充当触发动作。

示例41中，示例40的主题任选地包括：其中不可见标记包括红外可见墨水标记。

示例42中，示例40-41中任何一项或多项的主题任选地包括：其中不可见标记是符号，并且其中用于发起机器人操作的装置包括用于在查找表中搜索该符号以标识对应的机器人操作的装置。

示例43中，示例33-42中任何一项或多项的主题任选地包括：用于获得与触发动作相关联的地理定位的装置；以及用于发起要在该地理定位处执行的机器人操作的装置。

示例44中，示例43的主题任选地包括：其中从执行触发动作的用户操作的设备获得地理定位。

示例45中，示例43-44中任何一项或多项的主题任选地包括：其中从用户执行的姿势获得地理定位，该姿势在图像数据中捕捉。

示例46中，示例33-45中任何一项或多项的主题任选地包括：其中用于发起机器人操作的装置包括用于通过无线网络向机器人传送命令序列的装置。

在示例47中，示例33-46中的任何一项或多项的主题任选地包括：其中机器人操作包括清洁任务。

以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过图示来示出可实践的特定实施例。这些实施例在本文中也被称为“示例”。此类示例可包括除所示出或所描述的那些元件以外的元件。然而，还构想了包括所示出或所描述的元件的示例。此外，还构想了使用所示出或所描述的那些元件(或其一个或多个方面)的任何组合或排列的示例，或参照本文中所示出或所描述的特定示例(或其一个或多个方面)，或参照本文中所示出或所描述的其他示例(或其一个或多个方面)。

在此文档中引用的出版物、专利和专利文档通过引用被整体结合在本文中，就好像通过引用单独地被结合那样。在本文档与通引用结合在的那些文档之间不一致的用法的情况下，所结合的(诸)引用文档中的用法是对此文档的用法的补充；对于不可调和的不一致性，此文档中的用法占主导。

在此文档中，如在专利文档中常见的那样，使用术语“一(a或an)”以包括一个或多于一个，这独立于“至少一个”或“一个或多个”的任何其他实例或用法。在此文档中，使用术语“或”来指非排他性的或，使得除非另外指示，否则“a或b”包括“a但非b”、“b但非a”、以及“a和b”。在所附权利要求书中，术语“包括(including)”和“其中(inwhich)”被用作相应的术语“包括(comprising)”和“其中(wherein)”的普通英语等价词。此外，在所附权利要求书中，术语“包括”和“包含”是开放式的，也就是说，在权利要求中除此类术语之后列举的那些元件之外的元件的系统、设备、制品或过程仍被视为落在那项权利要求的范围内。此外，在所附权利要求书中，术语“第一”、“第二”和“第三”等仅被用作标记，并且不旨在表明对它们的对象的数字顺序。

以上描述旨在是说明性的，而非限制性的。例如，可结合其他实施例来使用以上所描述的示例(或者其一个或多个方面)。诸如，本领域普通技术人员可通过回顾以上描述来使用其他实施例。摘要允许读者快速地确定本技术公开的性质。提交该摘要应当理解，该摘要将不用于限制或解释权利要求的范围或含义。此外，在以上具体实施方式中，各种特征可共同成组以使本公开流畅。然而，权利要求可以不陈述本文中所公开的每一特征，因为实施例的特征可以是所述特征的子集。进一步地，实施例可包括比特定示例中所公开的那些特征更少的特征。因此，所附权利要求书由此被结合到具体实施方式中，一项权利要求作为单独的实施例而独立存在。本文中所公开的实施例的范围应当参照所附权利要求书连同此类权利要求所赋予权利的等价方案的完整范围来确定。