专利名称：用于机器人和用户交互的多状态模型的制作方法
技术领域：
本发明涉及用于机器人和用户交互的多状态模型。
背景技术：
被设计为供人类使用的诸如仪器、汽车、计算机、电话、手持式设备等之类的设备依靠用户的一个或多个显式的物理动作来发起交互，主要是触摸或其他基于手的接触。例如，微波炉等待某人按下其小键盘；计算机等待某人移动鼠标或按下按键；移动电话等待某人触摸其屏幕或按钮，等等。这样的设备在被显式地物理操作(直接地、或间接地通过遥控器)时参与用户，并且由用户的物理动作来支配交互。与之相比，消费者机器人(包括具有传感感知力、计算智能、以及移动性的部件) 展示出与人类交互的完全不同的范畴。其一，显式的物理接触通常不是发起机器人参与的最佳方式。相反，例如任一方(人类或机器人)可以发起或解除另一方的参与，包括通过口头或姿势通信。例如，机器人可以搜索、识别、物理接近特定的人以及使特定的人参与以递送消息、询问问题或提供信息。注意，为了参与的直接交互不是必需的，例如用户可能需要来自机器人的帮助并且将其从另一房间召唤来。与常规电子设备的另一显著差异是，机器人常常不在固定位置等待，而是在某个空间(例如房屋)四周移动，代表用户、所有者、家庭成员、访客或来宾执行任务，或者自主地探索某个空间，记录和报告不寻常的现象或者甚至自我“娱乐”。机器人与人类之间仅仅接近不一定对应于参与，因为双方(机器人和人类)都可能在任何时间忙于独立的任务。例如，二者可以在走廊经过彼此，其中每个都专注于单独的不相关的任务。即使二者都有空参与，参与也是不需要的。然而，当偶然经过(例如在走廊)时，一方可能希望对另一方作出请求。另外，当人和机器人参与时，任一方可以出于各种原因基于情况上下文解除参与。 例如，机器人可能请求从事之前所排定(scheduled)的任务的许可，或者人可能被单独的谈话打断。
发明内容
提供本发明内容以便以简化形式介绍将在以下的具体实施方式
中进一步描述的一些代表性概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。简言之，在此所述的主题的各方面针对一种使机器人包括交互模型的技术，所述交互模型包括多个状态(例如参与(engaged)、用户引导、自身引导、休息)，所述交互模型控制机器人的与任务相关的操作、以及与机器人交互的用户参与操作。该模型控制机器人设备相对于操作状态的操作，包括从机器人执行任务的自主任务状态转变到机器人与用户交互的参与状态，并且反之亦然。该模型基于包括通过机器人的传感器接收到的信息在内的当前上下文来确定何时转变。机器人可以寻求使用户参与，该用户可以寻求使机器人参与，或者用户和机器人可能偶然相遇，其中任一方都可能尝试发起参与。在一方面，通过该模型，机器人在自主任务状态下操作，该自主任务状态包括用户引导模式，其中机器人基于用户输入执行用户任务；以及自身引导模式，其中机器人执行不基于用户输入的任务。机器人还可以处于休息状态，其中机器人可以在与任务相关的触发事件以后或者在检测到用户参与的需要以后离开该休息状态。优先级排序使机器人处于参与状态，该参与状态高于自主状态(用户引导模式)，该自主状态又高于自主状态(自身弓I导模式)，该自主状态又高于休息状态。在另一方面，机器人进入参与状态，并且在其中基于多个刺激中的哪个刺激导致了到参与状态的转变来不同地操作。示例性刺激包括远程代理通信、音频数据(例如对应于机器人名称的语音)、或者检测到对应于用户的运动。机器人可以通过向用户移动或输出针对用户的听觉和/或可视通信数据来发起参与。可以基于用户之前的参与历史来调整参与用户的尝试，例如通过等待直到达到针对参与尝试的由频率确定的时间来不过于频繁地尝试参与。结合附图阅读以下具体实施方式
，本发明的其他优点会变得显而易见。
作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中图I是表示机器人设备的示例性实施例的框图，其中机器人设备的计算智能系统包括确定机器人设备的操作状态的模型。图2是示例性机器人设备的输入模态、输出模态和操作状态的表示。图3是表示机器人设备的状态和这些状态间转变的状态图。图4是表示其中可实现此处所描述各种实施例的一个或多个方面的示例性非限制计算系统或操作环境的框图。
具体实施例方式在此所述的技术的各方面通常针对包括人(或“用户”)和机器人交互模型的机器人设备，所述模型包括多个状态(例如参与、用户引导、自身引导、休息)，所述模型以促进自然、合适、有帮助和令人愉快的交互的方式控制机器人的交互行为。在一方面，该模型支配非参与与参与状态之间的转变、机器人或人类进行发起的方法、以及上下文感知力的使用和管理这些转变的传感能力。该模型可以定义其他机器人行为，比如机器人如何使用传感感知力来仲裁其参与可用性。应当理解，此处的任何示例均是非限制性的。例如，各种模型等等在此都是作为示例来使用的，但是可以使用所例示的模型以外的模型。因此，本发明不限于在此描述的任何具体的实施例、方面、概念、结构、功能或示例。相反，此处所描述的任何实施例、方面、概念、 结构、功能或示例都是非限制性的，并且本发明一般能够以在机器人技术方面提供好处和优点的各种方式来使用。图I是表示机器人设备102的示例性实施方式的框图，该机器人设备102被配置为通过移动性(驱动)机构104用于移动性。计算智能系统106通过合适的指令来驱动移动性机构104。这向机器人设备102提供了移动性，使得计算智能系统106能够基于来自计算智能系统106的指令被运输。一般而言，机器人102包括传感器组108，该传感器组108包括一个或多个传感器， 所述传感器向计算智能系统106提供一个或多个信号以指示当前状态数据等等，比如环境数据、一天中的时间、星期几、当前位置、剩余的电池电量、所识别的附近的人等等。该状态数据、与诸如机器人的时间表、历史数据(例如经调整的和所学习到的知识)等之类的所维护的其他数据一起包括了当前的上下文。传感器组108可以包括任何机械、电气、光学和/或磁传感器，并且每个都可以定位在机器人102上的合适位置处以用于传感，例如被安装在高处以获得特定的视角。传感器组108可以包括一个或多个相机，所述相机能够被计算智能系统106用来检测特定人的物理存在注视方向、手姿势等等。机器人102还包括设备电池109 (或者其他合适的便携式电源)。计算智能系统106包括处理器110、存储器112和接口 114。如下面所述那样，接口 114可以被配置为供机器人102通过各种类型的输入和输出进行通信。如下面还将描述的那样，计算智能系统106包括用户(人类)交互模型120。图2不出了用于与机器人通信的一些不例性机构，包括一个或多个机器人输入机构220和机器人输出机构222。如图2中所表示的那样，机器人可以包括遥控接收机224，其比如用于尤其是从诸如另一房间之类的远程位置接收遥控代理用户命令。注意，一种类型的遥控输入被称为“悬吊(pendant) ”输入，因为用户可能在遥控器的一个实施例中佩戴有该遥控器。机器人也可以从任何有线(如果物理上耦合的话)或者无线源接收遥控命令， 例如用户可以通过因特网连接、通过个人计算机等等与机器人通信。另一类型的输入是由机器人通过语音识别器225来处理的语音。诸如由摄像机或深度传感器所捕捉的图像输入是其他类型的输入，并且可以如图2中所表示的那样由图像识别器(框226)利用面部识别技术、位置检测、注视检测、眼睛跟踪、姿势检测/识别技术、 骨架跟踪等等加以处理。注意，一图像/所捕捉的图像序列仅仅是示例，并且不必是例如红外、运动、深度传感器等全部都能捕捉并由合适相机或类似传感器来检测的常规图像或视频。在图2中还表示了通过框227所检测到的图像和语音输入。这是指语音与姿势组合，这可以组合成不同的含义(例如所讲出的单词“移动”伴随着合适的手姿势可以用于指示机器人移动以及向哪个方向移动，比如向左或向右)。可以将其他类型的输入相组合，例如用户在与机器人交谈时看着机器人可以与在该用户将目光从机器人上移开(例如用户甚至可能根本未与机器人交谈)的情况下不同地来解释。可以接收由合适传感器感测到的其他类型的输入，例如触摸、气味、温度、湿度、用户生物数据等等。框228表示任何这样的其他输入机构和/或传感器。机器人能够通过包括图2所描述的输出机构222中的一些或全部在内的各个输出机构222中的一个或多个、包括通过下列项目来输出信息身体运动、姿态/注视231、视觉表达232(例如动画化的动作，比如眨“眼睛”)、音频233和显示234(比如可通过诸如屏幕或投影仪之类的显示设备来呈递的图形用户界面、图像等等)。诸如震动或气味之类的其他输出通过框235来表不。机器人可以在处于任何状态下使用其输出机构222中的一个或多个来指示其心情、总体状态、任务状态等等。注意，所描述的输出结构222通常针对与人类用户的通信。然而，其他类型的输出可以针对电子设备，比如另一机器人、计算机、电话、仪器等等。这些设备例如可以通过有线或无线无线电信号或音频采样来通信。另外，机器人可以与其他机器人、以及诸如宠物、无生命物体(例如游戏控制台)等之类的其他实体进行交互。因此，人类以及这样的其他实体在此被称为“用户”(但是“人类”在此与“用户”可互换地使用，因为人类是最典型的用户)。图2还示出了机器人可以在任何时候处于的一些示例性操作状态240-244，包括参与状态242，其中在参与状态242下，输入和输出机构220和222被用于机器人_用户交互。尽管下面描述了所表示出的状态240-244，但是应当理解，一个或多个其他状态是可行的，并且状态可以相组合(例如在另一实施方式中，机器人可以运行用户引导的任务的某部分，而在其他情况下处于休息状态)。下面的表概述了示例性状态
权利要求
1.一种在计算环境中的机器人设备，包括传感器组(108)，所述传感器组(108)将信息输入到所述机器人设备中；输出机构(222)，所述输出机构(222)包括用于与用户通信的一个或多个输出模态；以及模型(120)，所述模型(120)被配置为控制所述机器人设备相对于操作状态的操作，所述状态包括自主任务状态(360)，其中所述机器人执行与直接用户输入无关的任务；以及参与状态(364)，其中所述机器人通过所述传感器组和所述输出机构与用户交互，所述模型被配置为基于包括通过所述传感器组接收的信息在内的当前上下文来确定何时从自主任务状态转变到参与状态以及从参与状态转变到自主任务状态。
2.如权利要求I所述的机器人设备，其特征在于，自主任务状态包括用户引导模式， 其中所述机器人基于用户输入执行包括一个或多个用户任务的任务组；以及自身引导模式，其中所述机器人执行不基于用户输入的一个或多个任务。
3.如权利要求2所述的机器人设备，其特征在于，还包括休息状态，并且其中所述模型根据优先级排序来控制所述机器人设备的操作，在所述优先级排序中，参与状态具有比自主任务状态中的用户引导模式更高的优先级，用户引导模式具有比自主任务状态中的自身弓I导模式更高的优先级，并且自主任务状态中的自身引导模式具有比休息状态更高的优先级。
4.如权利要求I所述的机器人设备，其特征在于，当所述机器人发起用户的参与尝试并且该尝试成功时，所述模型将所述机器人从自主任务状态转变到参与状态。
5.如权利要求I所述的机器人设备，其特征在于，当所述机器人检测到偶然相遇的用户并且所述机器人还检测到该用户可能对与所述机器人交互感兴趣时，所述模型将所述机器人从自主任务状态转变到参与状态。
6.如权利要求I所述的机器人设备，其特征在于，当用户在所述机器人执行任务时发起机器人的参与尝试时，所述模型将所述机器人从自主任务状态转变到参与状态，并且在参与状态下，所述机器人与用户通信以确定是恢复该任务还是保持在参与状态。
7.一种在计算环境中至少部分地在至少一个处理器上执行的方法，包括在机器人(102)中运行一个或多个程序，所述程序致使所述机器人自主地操作，包括在自主任务状态 (360)下执行任务组；检测用户；尝试参与所述用户；以及如果该参与尝试成功，则进入参与状态(364)以与所述用户交互。
8.如权利要求7所述的方法，其特征在于，还包括进入参与状态；与所述用户交互； 以及基于当前状态数据的改变从参与状态解除参与。
9.一个或多个具有计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时执行以下步骤，包括在机器人(102)中运行一个或多个程序，所述程序致使所述机器人自主地操作，包括在自主任务状态的自身引导模式下操作，在所述自身引导模式下，所述机器人独立地执行任务；在自主任务状态(360)的用户引导模式下操作，在所述用户引导模式下，所述机器人基于来自用户的之前输入以及对触发事件的检测来执行用户任务；完成所述用户任务；以及在用户引导模式的另一实例中操作，在所述另一实例中，所述机器人执行另一用户任务，包括从自主任务状态转变到参与状态(364);在参与状态下接收对应于所述另一用户任务的信息；以及转变到自主任务状态以执行所述另一用户任务。
10.如权利要求9所述的一个或多个计算机可读介质，其特征在于，具有另外的计算机可执行指令，所述指令包括感测输入数据以确定当前上下文，并且其中所述触发事件基于对应于当前上下文的信息。
全文摘要
本发明涉及用于机器人和用户交互的多状态模型。公开主题针对一种包括模型的机器人设备，该模型控制机器人的与任务相关的操作以执行任务并控制用户参与操作以与机器人交互。该模型控制操作状态，包括基于从各种刺激确定的当前上下文(例如通过机器人的传感器接收的信息和/或学习到的数据)从自主任务状态转变到参与状态。机器人可以寻求使用户参与，该用户可以寻求使机器人参与，或者用户和机器人可能偶然相遇，其中任一方都可能尝试发起参与。
文档编号G06F3/01GK102609089SQ20121000823
公开日2012年7月25日 申请日期2012年1月12日 优先权日2011年1月13日
发明者K·B·克劳斯科普夫, M·M·查拉必, R·I·桑切斯 申请人:微软公司