在确定动作中使用非言语通信的制作方法
【专利说明】
【背景技术】
[0001]言语通信和其他直接输入可以被用于多种多样的不同应用。例如，在与生产力应用、游戏和/或一些其他应用交互时，可以使用语音输入和其他直接输入方法。这些系统可以使用不同类型的直接输入，例如从用户所接收的语音、文本和/或手势。创建解释并响应用户直接输入的系统可以是有挑战性的。
【发明内容】
[0002]本
【发明内容】
被提供来以简化的形式来引入概念的选择，所述概念的选择在下文【具体实施方式】中将会进一步被描述。本
【发明内容】
不是旨在标识所要求保护的主题的关键特征和必要特征，也不是旨在被用来帮助确定要求保护的主题的范围。
[0003]当确定要响应于接收的用户输入而执行的动作时，使用非言语通信(例如，不是文字(words)本身，而只是语音的行为和元素)。接收的输入包括直接输入(例如，语音、文本、手势)和间接输入(例如，非言语通信)。非言语通信包括诸如肢体语言、面部表情、呼吸速率、心跳速率以及人声提示(vocal cue)(例如，韵律提示以及声学提示)等之类的提示(cue),但是不包括文字本身。不同的非言语(nonverbal)通信提示被监控以便将所执行的动作个性化。可以基于所接收的一个或多个间接输入(例如，非言语提示)来调整指定要执行的动作(例如，“执行动作I”)的直接输入。另一个动作可以响应于间接输入而被执行。例如，如果非言语提示就所执行的动作指示挫折，则可以执行修正的动作和/或请求来自用户的澄清。可以将简档与用户相关联以便使用与用户相关联的非言语提示来确定由系统所提供的响应。例如，用于第一用户的简档可以指示用户典型地前倾并且非常大声，而用于第二用户的简档指示第二用户是安静的(例如，很少大声)。针对第二用户所执行的动作可以基于第二用户变得大声而调整，而在第一用户是大声时，可以不调整针对第一用户所执行的动作，这是由于第一用户的简档指示他们典型就是大声的。
【附图说明】
[0004]图1示出了用于使用非言语通信来确定要在会话系统中执行的动作的系统；
图2示出了用于将非言语通信与直接通信一起使用以便确定要执行的动作的图示的过程；
图3示出了可以被用作间接输入的示例性非言语通信提示；
图4图示了用于使用非言语通信的示例性系统；以及
图5-7和相关联的说明书提供了对本发明的实施例可以在其中被实践的多种多样的操作环境的讨论。
【具体实施方式】
[0005]现在参考附图，其中相同的数字表示相同的元素，将描述各种不同的实施例。
[0006]图1示出了用于使用非言语通信来确定要执行的动作的系统。如所图示的，系统100包括应用程序110、理解管理器26、用户简档125、接收的交互120、非言语通信提示121-123以及(多个)设备115。
[0007]为了促进与理解管理器26的通信，一个或多个调回例程(callback routine)可以被实现。根据一个实施例，应用程序110是生产力应用，诸如被包括在微软办公(MICROSOFT OFFICE)应用套件中的应用，其被配置来接收用户交互。该应用程序110可以被配置来与一个或多个不同的计算设备进行交互或者在一个或多个不同的计算设备上进行操作(所述计算设备例如是板式/平板电脑、台式计算机、触摸屏、显示器、膝上型计算机、移动设备等)。可以使用一个或多个不同的感测设备来接收用户交互。例如，(多个)感测设备可以包括摄像机、麦克风、运动捕获设备(例如，微软的KINECT)、触摸面、显示器、感测设备(例如，心跳、呼吸等)等等。
[0008]用户交互包括直接输入(例如，特定的文字、手势、动作)和间接输入(例如，诸如非言语通信提示121-123之类的非言语通信)。用户交互可以包括诸如话音输入、键盘输入(例如，物理键盘和/或SIP)、基于视频的输入等之类的交互。
[0009]理解管理器26可以响应于包括直接输入和间接输入的交互来向应用110提供信息。一般地，非言语通信包括任何形式的检测的通信，其在不使用直接通信(例如，文字、预定义的手势、文本输入等)的情况下捕获事物是如何被通信的。非言语通信可以被用来确认直接通信和/或否认直接通信。非言语通信经常被用于通信中。例如，当用户变得心烦时，用户的话音可能变得更大声和/或改变音调。用户的身体特性也可能会改变。例如，用户的心跳速率和/或呼吸速率可能提高/降低，他们的面部表情、肢体运动、姿势等可以根据情况而改变(例如，用户可以前倾来表示注意，显示厌恶的面容来表示不满等等)。
[0010]在一些示例中，直接输入可能与检测到的非言语通信相冲突。例如，用户可能声明他们喜欢一组结果，但是他们的非言语通信指示减弱的满意度等级(例如，愤怒的音调被检测到)。
[0011]理解管理器26被配置来响应于接收的用户输入/交互来确定要执行的动作。如所提到的，接收的交互包括直接输入(例如，语音、文本、手势)和间接输入(例如，非言语通信)。非言语通信包括诸如肢体语言、面部表情、呼吸速率、心跳速率以及人声提示等之类的提示。如在本文中所使用的，人声提示包括:语调(声调)提示:等级、范围和时间上的轮廓；音量(能量)提示:等级、范围和时间上的轮廓；持续时间模式提示:语音和无声区域的定时，所述无声区域包括等待时间暂停(在机器动作和用户语音之间的时间)；以及话音质量提示:话音音色的频谱和声学特征(指示人声作用力(vocal effort)、张力、气息声、粗糙度)。
[0012]不同的非言语通信提示由理解管理器26来接收和/或监控。理解管理器26可以基于所接收/所检测的一个或多个间接输入(例如，非言语提示)来修正指定要执行的动作(例如，“执行动作I”)的直接输入。也可以由理解管理器26响应于间接输入来执行另一个动作。例如，如果非言语提示就所执行的动作来指示挫折，则理解管理器26可以执行修正的动作，修正的动作可以被执行和/或可以请求来自用户的澄清。
[0013]简档(用户简档125)可以与每个用户相关联，以便使用非言语提示所确定的动作/响应使用与用户相关的非言语通信行为而被确定。每个用户一般地展示不同的非言语通信行为。例如，用于第一用户的简档可以指示该用户典型地前倾并且非常大声，而用于第二用户的简档指示第二用户是安静的(例如，很少大声)。针对第二用户所执行的动作可以基于第二用户变得大声而由理解管理器26调整，而在第一用户是大声时，可能不会调整针对第一用户所执行的动作，这是由于第一用户的简档指示他们典型地是大声的。在下文中提供更多的细节。
[0014]图2示出了用于将非言语通信与直接通信一起使用以便确定要执行的动作的图示的过程200。当阅读对本文中所提出的例程的讨论时，应该意识到的是，各种不同的实施例的逻辑操作被实现(I)为一系列计算机实现的动作或运行在计算系统上的程序模块和/或(2)为在计算系统内的相互连接的机器逻辑电路或电路模块。实现方式是取决于实现本发明的计算系统的性能要求的选择的问题。因此，所图示的和组成本文所描述的实施例的逻辑操作被不同地称之为操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以以软件、固件、专用数字逻辑以及其任何组合来实现。
[0015]在开始操作之后，过程移到操作210，在其中接收用户交互。用户交互可以包括不同形式的交互，例如语音、触摸、手势、文本、鼠标等。例如，用户可以说出命令和/或执行一些其他输入(例如，与输入相关联的手势)。可以使用一个或多个不同的设备来接收用户交互。例如，设备可以包括摄像机、麦克风、运动捕获设备(例如，微软的KINECT)、触摸面、显示器、感测设备(例如，心跳、呼吸等)等等。用户交互包括直接输入(例如，特定的文字、手势、动作)和间接输入(例如，非言语通信)。
[0016]流向操作220，来自用户交互的直接输入被确定。直接输入可以是请求应用/系统执行动作的语音输入、手势(例如，特定的肢体运动)、触摸手势(例如，使用触摸设备)、文本输入等。直接输入是与用户交互相关联的特定文字/命令。
[0017]移到操作230，(多个)间接输入被确定。被监控/被检测的间接输入可以包括多种多样的不同的非言语通信提示。例如，非言语通信提示可以包括人声提示、心跳速率、呼吸速率、面部表情、肢体语言等(参见图3以及相关的讨论)中的一个或多个。间接输入可以被使用来确认直接输入和/或修正直接输入和/或执行一个或多个其他动作。
[0018]转到操作240，与执行交互的用户相关联的简档被访问。根据实施例，该简档包括非言语通信提示/与用户相关联的信息。该简档可以包括一般由用户所使用的非言语通信提示的基准简档。例如，简档可以包括与用户相关联的正常的心跳速率、呼吸速率、姿势、面部表情以及人声提示。每个用户的非言语提示可以是不同的。例如，一个用户可以总是端坐和以单音调话音来谈话，而另一个用户典型地懒散地坐着或站着(slouch)并且大声说话。被包括在简档中的非言语提示可以被用在确定什么时候在用户的非言语通信中存在改变。
[0019]流向操作250，使用直接输入和间接输入来确定要执行的动作。例如，用户可以使用语音输入来指示要执行的动作，但是他们的非言语通信指示犹豫/怀疑。这些非言语提示可以被使用来修正要执行的动作和/或请求来自用户的进一步的输入(例如，要求确认、改变问题等)。例如，系统的话音可以基于从用户的非言语通信中所检测到的愤怒/高兴的等级而改变(自适应的话音响应)。也可以响应于检测到的满意度等级而采取不同的路径/方法。用户界面也可以响应于检