摸传感器的信号））；和/或确定用户已经将装 置放置在某距离处（例如，保持不动或至少基本不动例如在英寸范围以内）以在该距离处 (例如，其中只要装置保持在该距离处，装置就根据本原理"接听"）提供可听输入。
[0062] 仍然根据本原理，应该理解，本文所描述的眼睛跟踪可以被用于下述实例：在该实 例中，例如用户正在提供可听输入序列时在装置处接收到文本消息，响应于确定用户的眼 睛正注意在文本消息的至少一部分和/或确定用户已经停止提供可听输入和/或完全停止 说话，装置决定其要中止对可听输入序列的处理，然后响应于确定用户正再次给装置提供 可听输入和/或确定关闭了或相反退出了呈现文本消息的画面，装置恢复对可听输入序列 的处理。
[0063] 如另一示例，假设用户根据本原理开始提供可听输入序列，用户中止提供该序列 以进行装置的另一操作，然后基于对被提供且处理的可听输入的重新开始来确定序列的上 下文和/或之前的输入部分应该被改变。在这样的实例中，装置可以例如识别由用户提供 的"关键"词以例如在没有进一步的用户输入的情况下自动地响应于该"关键"词而忽略在 中止之前的最近提供的单词并且因此拒绝将在中止之前的最近提供的单词处理为在中止 之后将要结束的可听输入序列的部分。除了前述以外或代替前述，装置可以例如将在提供 可听输入时被用户的中止分开的两个单词识别为相似的和/或矛盾的，在可听输入中它们 两个都不能被一致地处理以执行命令（例如，两个单词都是名词，两个单词都是不同城市 名但是序列的上下文是指单个城市的信息等）。但是不管怎样，在一些在中止之后改变上下 文的实施方式中，作为在中止之后被修改的上下文和/或在中止之后输入的单词被作为与 序列相关的操作词进行处理。
[0064] 还要注意，虽然没有提供为附图，但是可以在用于执行可听输入应用的装置上呈 现与可听输入应用关联的设置n，从而配置装置的一个或更多个设置。例如，可以由用户设 置其它操作和/或应用的特定选择元素以在Ui(例如n3〇〇)上呈现，用于确定在可听输 入中是否已经发生中止以及确定何时如以上所描述已经恢复可听输入的操作中的一个或 更多个操作可以被启动或不能启动（如，基于切换开/关元件）等。
[0065] 虽然本文示出并且详细描述了具体的"检测对于装置的可听输入中的中止"，但是 应该理解的是本申请包含的主题仅被权利要求限制。
【主权项】
1. 一种用于检测可听输入中的中止的装置，包括： 处理器， 存储器，所述存储器能够被所述处理器访问并且承载有能够被所述处理器执行W实现 如下操作的指令： 处理可听输入序列，所述可听输入序列由所述装置的用户提供； 至少部分地基于来自与所述装置通信的至少一个摄像头的第一信号来确定在提供所 述可听输入序列期间发生了中止； 响应于确定发生了所述中止，停止处理所述可听输入序列； 至少部分地基于来自所述摄像头的第二信号来确定已恢复提供所述可听输入序列；W 及 响应于确定已恢复提供所述可听输入序列，恢复对所述可听输入序列的处理。
2. 根据权利要求1所述的装置，其中，所述中止包括所述装置不能理解的可听序列分 隔符。
3. 根据权利要求2所述的装置，其中，所述指令还能够由所述处理器执行，从而除非还 在对来自所述装置上的加速度计的信号进行处理时至少同时接收到所述可听序列分隔符， 则响应于处理来自所述装置上的加速度计的信号而确定停止处理所述可听输入序列。
4. 根据权利要求2所述的装置，其中，至少部分地基于对至少所述第一信号执行读唇 软件来将所述可听序列分隔符确定为不能理解的，所述第一信号是所述摄像头响应于所述 摄像头采集所述用户的面部的至少一部分的至少一个图像而生成的。
5. 根据权利要求1所述的装置，其中，所述第一信号和所述第二信号分别由所述摄像 头响应于所述摄像头采集所述用户的面部的至少一部分的至少一个图像而生成。
6. 根据权利要求1所述的装置，其中，所述中止包括所述用户向所述装置提供可听输 入序列期间的中止。
7. 根据权利要求6所述的装置，其中，所述至少部分地基于所述第一信号确定发生了 中止包括；确定所述用户的当前面部表情表示不是将要提供可听输入。
8. 根据权利要求7所述的装置，其中，所述确定用户的当前面部表情不是表示将要提 供可听输入包括：确定所述用户的嘴至少大部分闭合。
9. 根据权利要求8所述的装置，其中，所述确定用户的当前面部表情不是表示将要提 供可听输入包括：确定所述用户的嘴是闭合的。
10. 根据权利要求1所述的装置，其中，所述至少部分地基于所述第二信号来确定已恢 复提供所述可听输入序列包括：确定所述用户的嘴是张开的。
11. 根据权利要求1所述的装置，其中，所述至少部分地基于所述第一信号确定已发生 了中止包括；确定所述用户的嘴是张开的并且至少是静止的。
12. 根据权利要求1所述的装置，其中，所述至少部分地基于所述第一信号确定已发生 了中止包括；确定所述用户的眼睛没有在看所述装置或没有朝向所述装置看。
13. -种用于检测装置的可听输入中的中止的方法，包括： 在所述装置处接收可听输入序列，所述可听输入序列由所述装置的用户提供； 响应于接收到来自与所述装置通信的至少一个摄像头的第一信号W及响应于接收到 来自与所述装置至少通信的触控显示器的输入，而确定所述用户已经停止提供所述可听输 入序列；w及 确定所述用户已经恢复提供所述可听输入序列。
14. 根据权利要求13所述的方法，其中，所述确定用户已经恢复提供所述可听输入序 列包括：响应于接收到所述可听输入序列而确定所述用户已经恢复提供可听输入。
15. 根据权利要求13所述的方法，其中，所述确定用户已经恢复提供所述可听输入序 列包括：基于来自所述摄像头的第二信号确定所述用户已经恢复提供可听输入。
16. 根据权利要求13所述的方法，其中，所述确定用户已经恢复提供所述可听输入序 列包括：响应于确定在触控显示器上没有接收到触摸输入的阔值时间已期满，而确定所述 用户已经恢复提供所述可听输入序列。
17. 根据权利要求13所述的方法，所述方法还包括；响应于确定所述用户已经恢复提 供所述可听输入序列，继续在所述装置处接收所述可听输入序列。
18. 根据权利要求13所述的方法，所述方法还包括；响应于确定所述用户已经恢复提 供所述可听输入序列，继续执行如下可听输入序列应用：所述可听输入序列应用被启动W 接收所述可听输入序列，其中，所述可听输入序列应用在确定所述用户已经停止提供所述 可听输入序列之前处理所述可听输入序列，W及其中，所述可听输入序列应用继续在所述 装置处使用所述可听输入序列应用接收所述可听输入序列。
19. 根据权利要求18所述的方法，其中，所述确定用户已经停止提供所述可听输入序 列包括：基于来自所述摄像头的所述第一信号确定所述用户已经停止提供可听输入，W及 基于来自所述触控显示器的输入确定所述用户正在进行所述装置的其它操作。
20. -种用于检测可听输入中的中止的设备，包括： 第一处理器； 网络适配器； 存储装置，所述存储装置承载有经由所述网络适配器通过网络传输的、用W由第二处 理器执行W实现如下操作的指令： 处理可听输入命令，所述可听输入命令由与所述第二处理器关联的装置的用户提供， 对所述可听输入命令的处理响应于如下操作：基于来自与所述第二处理器通信的至少一个 摄像头的至少一个信号确定在所述用户正沿所述装置的方向看的同时所述用户的嘴正在 活动；W及 执行所述可听输入命令。
【专利摘要】本发明提供了一种用于检测可听输入中的中止的装置、设备及方法。所述装置包括：处理器和存储器，所述存储器能够被所述处理器访问并且承载有能够由所述处理器执行的指令，以对装置的用户提供的可听输入序列进行处理，至少部分地基于来自与所述装置通信的至少一个摄像头的第一信号来确定在提供的可听输入序列期间发生了中止，响应于确定发生了中止而停止处理所述可听输入序列，至少部分地基于来自摄像头的第二信号来确定已恢复提供所述可听输入序列；以及响应于确定已恢复提供可听输入序列，来恢复对所述可听输入序列的处理。
【IPC分类】G06F3-16
【公开号】CN104679471
【申请号】CN201410558907
【发明人】拉塞尔·斯佩格特·范布恩, 苏珊娜·玛丽恩·博蒙, 罗德·大卫·沃特曼
【申请人】联想（新加坡）私人有限公司
【公开日】2015年6月3日
【申请日】2014年10月20日
【公告号】DE102014117343A1, US20150154983