步应用(未示出)也可以驻留在系统1202上，并且其被编程来与驻留在主机计算机上的对应的同步应用进行交互以便保持存储在非易失性存储装置1268中的信息与存储在主机计算机上的对应的信息同步。如应该被意识到的是，其他应用可以被加载到存储器1262上，并且运行在设备1200上，包括如上文所描述的理解管理器26。
[0055]系统1202具有供电装置1270，其可以被实现为一个或多个电池。供电装置1270可进一步包括诸如对电池进行补充或者再充电的AC适配器或者加电的对接支架之类的外部电源。
[0056]系统1202也可以包括执行传输和接收射频通信的无线电1272。无线电1272经由通信公司或者服务提供商促进在系统1202和“外在世界”之间的无线连通性。去往或者来自无线电1272的传输在OS 1264的控制下进行。换句话说，由无线电1272所接收的通信可以经由OS 1264而被传播到应用程序1266，反之亦然。
[0057]无线电1272允许系统1202例如通过网络来与其他计算设备进行通信。无线电1272是通信媒体的一个示例。通信媒体可以典型地由计算机可读指令、数据结构、程序模块或在已调制数据信号(诸如，载波或者其他输送机制)中的其他数据来体现并且包括任何信息递送媒体。术语“已调制数据信号”意指这样的信号，即:其一个或多个特性以这样的方式而被设置或改变从而在信号中对信息进行编码。作为示例而非限制，通信媒体包括有线媒体(例如有线网络或者直接有线连接)以及无线媒体(例如声学的、RF、红外线和其他无线媒体)。在本文中使用的术语计算机可读媒体包括存储媒体和通信媒体两者。
[0058]利用两种类型的通知输出设备来示出系统1202的这个实施例，所述两种类型的通知输出设备是可以被用来提供可视通知的LED 1220和可以被用来与扬声器1225 —起使用以便提供音频通知的音频接口 1274。这些设备可以直接耦合到供电装置1270上以便当其被启动时，即使处理器1260和其他组件可能会为了保存电池电力而关闭，但是所述设备在一段持续时间(由通知机制所指令的)内也会保持开机。LED 1220可以被编程来无限期地保持开机直到用户采取动作来指示设备的加电状态为止。音频接口 1274被用来向用户提供可听信号并且从用户接收可听信号。例如，除了被耦合到扬声器1225之外，音频接口1274也可以被耦合到麦克风1220来接收可听的输入，例如来促进电话会话。根据本发明的实施例，如下文将要描述的，麦克风1220也可以充当音频传感器来促进通知的控制。系统1202可以进一步包括视频接口 1276，其使得机载的摄像机1230的操作能够记录静态图像、视频流等。
[0059]实现系统1202的移动计算设备可以具有附加的特征或功能。例如，设备也可以包括附加的数据存储设备(可移除的和/或不可移除的)，例如磁盘、光盘或者带等。这样附加的存储装置在图SB中由存储装置1268图示。计算机存储媒体可以包括以任何方法或技术实现以用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的易失性的和非易失性的、可移除的和不可移除的媒体。
[0060]如上文所描述的，由设备1200所生成或捕获的并且经由系统1202而存储的数据/信息可以被本地存储在设备1200上，或者该数据可以被存储在任意数目的存储媒体上，所述存储媒体可以由该设备经由无线电1272或者经由在设备1200和与设备1200相关联的分离的计算设备(例如，在诸如互联网之类的分布式计算网络中的服务器计算机)之间的有线连接而访问。如应该意识到的是，这样的数据/信息可以经由设备1200、经由无线电1272或者经由分布式计算网络而被访问。类似地，根据众所周知的数据/信息传送和存储装置(包括电子邮件和协同数据/信息共享系统)，这样的数据/信息可以在计算设备之间容易地传送以用于存储和使用。
[0061]图7图示了用于推荐在消息项目的创作期间使用的项目的系统架构。
[0062]经由理解管理器26所管理的组件可以被存储在不同的通信信道或者其他存储类型中。例如，组件以及所述组件据之被开发的信息一起可以使用目录服务1322、web入口1324、邮箱服务1326、即时消息发送储存器1328以及社交联网站点1330而被存储。系统/应用26、1320可以使用这些类型的系统等中的任何一种以用于使得能够在储存器1316中管理和存储组件。服务器1332可以提供关于推荐项目的通信和服务。服务器1332可以通过网络1308将服务和内容从web上提供给客户端。可以利用服务器1332的客户端的示例包括计算设备1302，其可以包括任何通用个人计算机、平板计算设备1304和/或可包括智能电话的移动计算设备1306。这些设备中的任何一个可以从储存器1316获得显示组件管理通信和内容。
[0063]参考根据本发明的实施例的方法、系统和计算机程序产品的框图和/或操作图示，在上文中描述了本发明的实施例。在方框中注明的功能/动作可以不按在任何流程图中所示出的顺序而发生。例如，连续示出的两个方框实际上可能是基本上同时执行的或者所述方框有些时候可以以相反的顺序执行，这取决于所涉及的功能/动作。
[0064]上文的说明书、示例和数据提供了本发明的组成的制造和使用的完整描述。因为本发明的许多实施例可以在不脱离本发明的精神和范围的情况下而被做出，所以本发明存在于下文所附的权利要求中。
【主权项】
1.一种用于使用非言语通信来确定意图的动作的方法，包括: 接收包括指定意图的动作的直接输入和包括非言语通信的间接输入的用户交互； 使用语音输入、手势输入以及文本输入中的至少一个来确定所述直接输入； 确定包括所述非言语通信的所述间接输入； 除了从所述直接输入所确定的所述意图的动作之外，还使用所述间接通信来确定要执行的动作；以及执行所述动作。2.如权利要求1所述的方法，进一步包括在执行所述动作之后使用所接收的非言语通信来确定用户满意度。3.如权利要求1所述的方法，进一步包括响应于在执行所述动作之后使用所接收的非言语通信确定用户满意度而执行附加的动作。4.如权利要求3所述的方法，其中响应于确定所述用户满意度而执行所述附加的动作包括请求对所述意图的动作的澄清。5.一种存储用于使用非言语通信的计算机可执行指令的计算机可读介质，包括: 接收包括指定意图的动作的直接输入和包括非言语通信的间接输入的用户交互； 使用语音输入、手势输入以及文本输入中的至少一个确定所述直接输入； 确定包括所述非言语通信的所述间接输入，所述非言语通信包括以下的一个或者多个:人声提示、心跳速率、呼吸速率、面部表情、肢体运动以及姿势； 访问简档，所述简档包括关于与用户相关联的非言语通信提示的基准的信息； 使用所确定的间接通信，确定相对于所述基准的改变； 除了从所述直接输入所确定的所述意图的动作之外，还使用所述间接通信和所确定的改变来确定要执行的动作；以及执行所述动作。6.如权利要求5所述的计算机可读介质，进一步包括在执行所述动作之后使用所接收的非言语通信确定用户满意度。7.如权利要求5所述的计算机可读介质，进一步包括响应于在执行所述动作之后使用所接收的非言语通信确定用户满意度来执行附加的动作。8.一种用于使用非言语通信的系统，包括: 摄像机，其被配置来检测运动； 麦克风，其被配置来接收语音输入； 处理器和存储器； 操作环境，其使用所述处理器来执行； 显示器；以及 理解管理器，其被配置来执行动作，所述动作包括: 接收包括指定意图的动作的直接输入和包括非言语通信的间接输入的用户交互； 使用语音输入、手势输入以及文本输入中的至少一个确定所述直接输入； 确定包括所述非言语通信的所述间接输入，所述非言语通信包括以下的一个或多个:人声提示、心跳速率、呼吸速率、面部表情、肢体运动以及姿势； 访问简档，所述简档包括关于与用户相关联的非言语通信提示的基准的信息； 使用所确定的间接通信，确定相对于所述基准的改变； 除了从所述直接输入所确定的所述意图的动作之外，还使用所述间接通信和所确定的改变来确定要执行的动作；以及执行所述动作。9.如权利要求8所述的系统，进一步包括在执行所述动作之后使用所接收的非言语通信确定用户满意度，以及响应于在执行所述动作之后使用所接收的非言语通信确定用户满意度来执行附加的动作。10.如权利要求8所述的系统，其中在执行所述动作之后使用所接收的非言语通信确定用户满意度包括确定面部表情。
【专利摘要】在响应于所接收的用户输入确定要执行的动作时，使用非言语通信。所接收的输入包括直接输入（例如，语音、文本、手势）和间接输入（例如，非言语通信）。非言语通信包括诸如肢体语言、面部表情、呼吸速率、心跳速率以及人声提示（例如，韵律提示以及声学提示）等之类的提示。监控不同的非言语通信提示以便将所执行的动作个性化。指定要执行的动作（例如，“执行动作1”）的直接输入可以基于所接收的一个或多个间接输入（例如，非言语提示）而被调整。另一个动作也可以响应于间接输入而被执行。可以将简档与用户相关联以便使用与用户相关联的非言语提示来确定由系统所提供的响应。
【IPC分类】G06F3/01
【公开号】CN105144027
【申请号】CN201480004417
【发明人】D.J.彭, M.汉森, R.钱伯斯, E.什里伯格
【申请人】微软技术许可有限责任公司
【公开日】2015年12月9日
【申请日】2014年1月8日
【公告号】EP2943856A1, US20140191939, WO2014110104A1