测的非言语通信而被修正(自适应的UI响应)。例如，帮助屏幕可以在其检测到用户对于动作不确定时而被显示。作为另一个示例，在游戏(或者一些其他应用)期间，非言语通信(例如，心跳速率、呼吸、兴奋等)可以被用来改变游戏的强度。
[0020]移到操作260，执行确定的动作。
[0021]转到操作270，响应于执行动作，确定与用户相关联的满意度。根据实施例，非言语通信被监控以便确定用户满意度而不使用/请求直接输入。例如，在执行搜索和返回结果之后，从用户检测到的非言语通信可以指示对该结果的不满意/满意。
[0022]移到操作280，动作/响应可以基于所确定的满意度而调整。例如，与当确定用户是满意的和/或高兴时相比，当确定用户是挫败或愤怒时，系统的话音(例如，平静的话音)可以改变(自适应的话音响应)。响应于所检测的满意度等级，也可以采取不同的路径/方法。例如，可以改变问题来辅助用户(例如，相比于标准问题，更简单的闭合式问题可能对于使得用户逐步通过交互更有帮助)。响应于所确定的用户满意度也可以修正用户界面(自适应的UI响应)。例如，当检测到他们对之前的结果不满意时，在屏幕上显示的搜索结果的数目可通过可能显示更多的结果而改变。类似地，如果从非言语通信确定了用户似乎不确定系统在询问什么或者他们示出了不确定的迹象(例如，耸他们的肩膀)，则系统可以以(多个)不同的问题来进行响应。
[0023]过程然后移到结束操作并且返回以处理其他动作。
[0024]图3示出了可以被用作间接输入的示例性的非言语通信提示。
[0025]非言语通信包括不是直接通信(例如，文字、预定义的手势、文本输入等)形式的所检测的通信。非言语通信可以被用于确认直接通信和/或否认直接通信。非言语通信是普通形式的通信。例如，当用户变得心烦时，用户的话音可能变得更大和/或改变音调。用户的身体特性也可能改变，例如，用户的心跳速率/呼吸速率可能提高/降低，他们的面部表情、肢体运动、姿势等可能根据情况而改变(例如，用户可能前倾来显示注意，显示厌恶的面容来显示不满等等)。
[0026](多个)人声提示305是非言语通信，其不是被包含在直接输入中的文字本身。如上文所讨论的，人声提示包括:语调(声调)提示:等级、范围和时间上的轮廓；音量(能量)提示:等级、范围和时间上的轮廓；持续时间模式提示:语音和无声区域的定时，所述无声区域包括等待时间暂停(在机器动作和用户语音之间的时间)；以及话音质量提示:话音音色的频谱和声学特征(指示人声作用力、张力、气息声、粗糙度)。人声提示305可以包括诸如音调、音量、音调变化、特定于文化的声音、文字的节奏等之类的提示。例如，单音调可以指示厌倦，慢速的语音可以指示沮丧，高话音和/或强调的声调可以指示热情，升高的音调可以指示惊讶，大声/简明的话音可以指示愤怒，在拉长的单词之间的高声调/间隔可能指示怀疑等等。人声的提示可以被使用来确定心理唤醒、感情、情绪以及用户是否讽刺地表现为高傲和/或顺从的风格。
[0027]心跳速率310是非言语通信，其可以指示用户的状态(例如，激动，疲劳、无压力、有压力等)。心跳速率可以使用不同的方法来测量。例如，皮肤颜色的改变可以被使用和/或可以使用一个或多个传感器来监控心跳速率。心跳速率可以被保存在用户简档内和/或可以在用户会话期间被保存。随着与用户会话的过程而升高的心跳速率可以指示用户的满意度等级。
[0028]呼吸速率315可以指示用户的不同状态。例如，用户的呼吸可以指示用户是否在说真话、用户是否对活动感到疲劳等等。检测到的呼吸提示可以包括呼吸速率是否快、是否慢、是否在胸腔处高在胃部低、是否叹气等等。
[0029]面部表情320包括基于(多个)用户的面部表情而检测到的提示。例如，嘴部形状(例如，微笑、皱眉)、斜视等可以被检测，眨眼、嘴唇运动、眉毛运动、咬嘴唇、皮肤颜色改变、吐舌头等可以被检测到。眼睛的位置也可以被检测到(例如，向上和向右/左，在中间线和左/右，向下和右/左)。尽管人们可以学会操纵一些表情(例如，微笑)，但是很多无意识的面部表情(撅起嘴唇、绷紧的嘴部和吐舌头)可以反映用户的真实感觉以及所掩饰的态度。
[0030]诸如用户的姿势、肢体运动之类的肢体语言325被检测。肢体语言可以指示微妙通信以及非微妙通信。肢体语言可以指示感情状态以及身体状态和/或精神状态。所检测的肢体语言可以包括诸如如下各项之类的提示:面部表情320、姿势(例如，前倾、后倾)、手势(例如，点头)、头部位置(倾斜、倚靠、其他改变)、上半身的紧张、肩膀位置(提高、降低)、肢体运动(例如，烦乱、用力挥动、交叉手臂/腿部等)、目光接触、眼睛位置、微笑、来来回回(fro)等等。可以检测多于一个的提示。耸肩被认为是听从、不确定、顺从的标志。耸肩提示可以修正、抵制或反对言语评论。例如，当用户连同抬起肩膀一起声明“是的，我确定”时，这暗示用户可能实际上是在说“我不那么确定”。耸肩可以揭示在对话和口头陈述中误导的、不明确的或者不确定的部分。
[0031]其他非言语通信提示330也可以被检测以及在确定要执行的动作中使用。
[0032]图4图示了用于使用非言语通信的示例性系统。如所图示的，系统1000包括服务1010、数据储存器1045、触摸屏输入设备/显示器1050 (例如，板式显示器)和智能电话1030 等。
[0033]如所图示的，服务1010是基于云的和/或基于企业的服务，其可以被配置来提供诸如游戏服务、搜索服务、电子消息发送服务(例如，微软的EXCHANGE/0UTL00K)、生产力服务(例如，微软的办公365)或者被用来与消息和内容(例如，电子表格、文档、展不、图表、消息等)进行交互的一些其他基于云/在线的服务之类的服务。可以使用不同类型的输入/输出来与服务进行交互。例如，用户可以使用语音、手势、触摸输入、基于硬件的输入、语音输入等。服务可以提供语音输出，其将预先记录的语音和合成的语音进行组合。由服务1010提供的服务/应用中的一个或多个的功能也可以被配置为基于客户端/服务器的应用。尽管系统1000示出了关于会话理解系统的服务，但是其他服务/应用也可以被配置。
[0034]如所图示的，服务1010是多租户服务，其向任意数目的租户(例如，租户1-N)提供资源1015和服务。多租户服务1010是基于云的服务，其向订阅服务的租户提供资源/服务1015并且分开地保持每个租户的数据并且使其免受其他租户数据的影响。
[0035]所图示的系统1000包括检测何时已经接收到触摸输入(例如，手指触摸或者几乎触摸到触摸屏)的触摸屏输入设备/显示器1050(例如，板式/平板设备)和智能电话1030。检测用户触摸输入的任何类型的触摸屏可以被利用。例如，触摸屏可以包括检测触摸输入的一层或多层电容材料。在电容材料的基础上附加地或者替代电容材料，可以使用其他传感器。例如，红外线(IR)传感器可以被使用。根据实施例，触摸屏被配置来检测与可触摸的表面相接触的或者在可触摸的表面上面的对象。尽管在本说明书中使用术语“上面”，但是应该理解的是，触摸面板系统的定向是不相关的。术语“上面”是意指可应用于全部这样的定向。触換屏可以被配置来确定接收触換输入的位置(例如，起始点、中间点和结束点)。在可触摸的表面以及对象之间的实际接触可以通过任何合适的装置来检测，所述装置例如包括被耦合到触摸面板上的振动传感器或者麦克风。用于传感器来检测接触的一组非穷举例子包括基于压力的机制、微机械加速计、压电设备、电容传感器、电阻传感器、感应传感器、激光振动计以及LED振动计。
[0036]智能电话1030和设备/显示器1050也与本文所描述的其他输入感测设备(例如，(多个)麦克风、(多个)摄像机、(多个)运动感测设备)一起被配置。根据实施例，智能电话1030和触摸屏输入设备/显示器1050可以与接收语音输入的应用一起被配置。
[0037]如所图示的，触摸屏输入设备/显示器1050和智能电话1030示出了示例性的显示器1052/1032，其示出了应用的使用并且执行使用直接输入和间接输入(非言语通信)所确定的动作。数据可以被存储在设备上(例如，智能电话1030、板式设备1050)和/或在一些其他位置上(例如，网络数据储存器1045 )。设备所使用的应用可以是基于客户端的应用、基于服务器的应用、基于云的应用和/或其一些组合。
[0038]理解管理器26被配置来执行关于在确定要执行的动作时使用非言语通信的操作，如本文所描述的。尽管管理器26被示出在服务1010内，但是管理器的功能可以被包括在其他位置中(例如，在智能电话1030和/或板式设备1050上)。
[0039]本文所描述的实施例和功能可以经由包括有线和无线计算系统、移动计算系统(例如，移动电话，平板或板式类型的计算机，膝上型计算机等)的大量计算系统来操作。另夕卜，本文所描述的实施例和功能可以通过分布式系统来操作，其中应用功能、存储器、数据存储和检索以及各种不同的处理功能可以通过诸如互联网或者内联网之类的分布式计算网络而被彼此远程地操作。用户界面以及各种不同类型的信息可以经由机载的计算设备显示器或者经由与一个或多个计算设备相关联的远程显示单元而被显示。例如，用户界面和各种不同类型的信息可以被显示在墙面上以及在墙面上与之进行交互，其中用户界面和各种不同类型的信息被投影在所述墙面上。与本发明的实施例可以利用其而被实践的大量计算系统的交互包括键击输入、触摸屏输入、话音或其他音频输入、手势输入，其中相关联的计算设备被安装有用于捕获和解释用户手势的检测(例如，摄像机)功能以用于控制计算设备的功能等。