一种智能语音交互的方法及电子设备与流程

文档序号:33140895发布日期:2023-02-03 20:12阅读:44来源:国知局
一种智能语音交互的方法及电子设备与流程

1.本技术涉及计算机技术领域,尤其涉及一种智能语音交互的方法及电子设备。


背景技术:

2.移动终端等电子设备接收到消息时,用户可以手动操作设备来获取消息的内容,该消息例如为其他用户通过短信息、社交应用等应用发送的消息,应用程序的通知消息等。但是可能存在用户不方便操作设备的场景,例如学习场景、驾驶场景下,用户需要保持专注,不方便查看消息,或者做饭场景、洗衣场景下,用户可能双手被占用或者沾水沾油,无法手动操作设备来获取消息的内容。用户获取消息的方式不够智能和方便。


技术实现要素:

3.本技术实施例公开了一种智能语音交互的方法及电子设备,可以结合实际场景,根据用户的语音输入和未读消息的索引快速高效地播放未读消息,用户使用更加智能和方便。
4.第一方面,本技术实施例提供了一种智能语音交互的方法,应用于第一设备,该方法包括:确定处于预设场景;接收第一消息;确定并存储所述第一消息的索引,所述第一消息的索引包括以下至少一项:接收所述第一消息的时刻,接收所述第一消息的应用程序,发送所述第一消息的联系人信息,所述第一消息的部分内容或全部内容,所述第一消息的存储路径;接收第一语音命令,所述第一语音命令用于播放未读消息;播放第一信息,所述第一信息包括所述第一消息的索引中的至少一项信息。
5.本技术中,第一设备确定处于预设场景时,若接收到第一消息则确定并存储第一消息的索引。第一设备可以基于第一消息等未读消息的索引响应用户的语音命令,而不是接收到消息后直接播放,兼顾了便捷性和隐私性,用户交互体验更加友好。并且,相比从存储的大量消息中确定播放的第一信息,根据未读消息的索引确定播放的第一信息的方式更加快速高效,功耗也较低。
6.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备的移动速度是否大于或等于预设速度阈值;当所述第一设备的移动速度大于或等于所述预设速度阈值时,判断所述第一设备在第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;当所述第一设备在所述第一时段内未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
7.本技术中,第一设备可以先判断第一设备的移动速度是否大于或等于预设速度阈值,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
8.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备的移动速度是否大于或等于预设速度阈值;当所述第一设备的移动速度大于或等于所述预设速度阈值时,判断所述第一设备是否显示预设的第一应用的用户界面;当所述第一设备显示
所述第一应用的用户界面时,判断所述第一设备在第一时段内是否未接收到触控操作;当所述第一设备未显示所述第一应用的用户界面时,判断所述第一设备在所述第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;在所述第一设备显示所述第一应用的用户界面的情况下,当所述第一设备在所述第一时段未接收到触控操作时,确定处于所述预设场景;或,在所述第一设备未显示所述第一应用的用户界面的情况下,当所述第一设备在所述第一时段未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
9.例如,预设的第一应用为导航应用。
10.本技术中,第一设备可以先判断移动速度是否大于或等于预设速度阈值,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
11.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备是否显示预设的第二应用的用户界面;当所述第一设备显示所述第二应用的用户界面时,判断所述第一设备在第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;当所述第一设备在所述第一时段内未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
12.例如,预设的第二应用为视频应用。
13.本技术中,第一设备可以先判断是否在前台显示预设应用的用户界面,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
14.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备是否通过无线通信协议和第二设备连接;当所述第一设备通过无线通信协议和所述第二设备连接时,判断所述第一设备是否为锁屏状态;当所述第一设备为锁屏状态时,判断所述第一设备在第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;当所述第一设备在所述第一时段内未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
15.例如,无线通信协议为蓝牙、红外线、近距离无线通信技术nfc等近场通信协议,或者无线保真wi-fi等协议。
16.本技术中,第一设备可以先判断第一设备是否通过无线通信协议连接其他设备,以及是否为锁屏状态,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
17.在一种可能的实现方式中,所述方法还包括:保存所述第一消息;所述确定并存储所述第一消息的索引,包括:根据保存的所述第一消息确定所述第一消息的索引;存储所述第一消息的索引。
18.在一种可能的实现方式中,所述方法还包括:在所述第一设备显示所述第一消息的通知时,执行截屏操作,生成第一图像;所述确定并存储所述第一消息的索引,包括:根据所述第一图像确定所述第一消息的索引;存储所述第一消息的索引。
19.在一种可能的实现方式中,所述根据所述第一图像确定所述第一消息的索引,包括:确定所述第一图像中所述第一消息的通知所在的第一区域;识别所述第一区域中的内
容;根据所述第一区域中的内容确定所述第一消息的索引。
20.在一种可能的实现方式中,所述第一消息的索引包括接收所述第一消息的时刻;所述根据所述第一图像确定所述第一消息的索引,包括:当所述第一图像中所述第一消息的通知所在的第一区域包括时间信息时,确定所述第一区域中的时间为接收所述第一消息的时刻;当所述第一区域不包括时间信息时,确定所述第一图像的生成时刻为接收所述第一消息的时刻。
21.在一些实施例中,第一图像的生成时刻是第一设备从第一图像中获取的系统时间。
22.在一种可能的实现方式中,所述根据所述第一图像确定所述第一消息的索引之前,所述方法还包括:根据所述第一图像确定接收所述第一消息的应用程序;判断接收所述第一消息的应用程序是否为预设的第三应用;所述根据所述第一图像确定所述第一消息的索引,包括:当接收所述第一消息的应用程序为所述第三应用时,根据所述第一图像确定所述第一消息的索引。
23.例如,预设的第三应用为即时通讯消息的应用或短信息。
24.在一些实施例中,预设的第三应用是根据用户操作确定的,在另一些实施例中,预设的第三应用是根据用户使用时长或次数确定的。
25.本技术中,可以针对部分应用确定并存储未读消息的索引,避免用户不关注、对用户不重要的未读消息(例如广告消息)的索引占用存储资源和处理资源,产品可用性更高。
26.在一种可能的实现方式中,所述方法还包括:确定所述第一语音命令的关键词;根据所述第一语音命令的关键词确定所述第一消息的索引;根据所述第一消息的索引生成所述第一信息,所述第一信息的类型是根据所述第一语音命令的关键词确定的。
27.在一种可能的实现方式中,所述第一设备存储有第二消息的索引,所述根据所述第一语音命令的关键词确定所述第一消息的索引,包括:根据所述第一语音命令的关键词,从所述第一消息的索引和所述第二消息的索引中选择所述第一消息的索引。
28.在一种可能的实现方式中,所述方法还包括:保存所述第一消息;所述根据所述第一消息的索引生成所述第一信息,包括:根据所述第一消息的索引查找出保存的所述第一消息;根据保存的所述第一消息生成所述第一信息。
29.本技术中,可以根据第一消息的索引查找出保存的第一消息,然后根据保存的第一消息生成播放的第一信息,相比直接根据用户的语音命令从存储的大量消息中查找保存的第一消息,更加快速高效,减少功耗和处理资源。
30.在一种可能的实现方式中,所述方法还包括:当所述第一消息为已读消息时,删除所述第一消息的索引,所述播放第一信息之后所述第一消息为已读消息。
31.在一些实施例中,响应于用户操作显示第一消息的信息之后,所述第一消息为已读消息。
32.本技术中,可以及时删除已读消息的索引,避免占用存储资源和处理资源,产品可用性更高。
33.在一种可能的实现方式中,所述方法还包括:当所述第一设备存储所述第一消息的索引的时长大于或等于预设时长时,删除所述第一消息的索引。
34.本技术中,可以及时删除用户长时间未获取的未读消息的索引,避免对用户不重
要不紧急的未读消息的索引占用存储资源和处理资源,产品可用性更高。
35.第二方面,本技术实施例提供了又一种智能语音交互的方法,应用于第一设备,第一设备和第二设备通过无线通信协议连接,该方法包括:确定处于预设场景;接收第一消息;确定并存储所述第一消息的索引,所述第一消息的索引包括以下至少一项:接收所述第一消息的时刻,接收所述第一消息的应用程序,发送所述第一消息的联系人信息,所述第一消息的部分内容或全部内容,所述第一消息的存储路径;接收第二设备发送的第一指令信息,所述第一指令信息是根据所述第二设备接收的第一语音命令得到的,所述第一语音命令用于播放未读消息;向所述第二设备发送第一信息,所述第一信息包括所述第一消息的索引中的至少一项信息,所述第一信息用于所述第二设备进行播放。
36.例如,无线通信协议为蓝牙、红外线、近距离无线通信技术nfc等近场通信协议,或者无线保真wi-fi等协议。
37.本技术中,第一设备确定处于预设场景时,若接收到第一消息则确定并存储第一消息的索引。当和第一设备连接的第二设备接收到用户的语音命令时,第一设备可以基于第一消息等未读消息的索引指示第二设备响应用户的语音命令,而不是接收到消息后直接播放,兼顾了便捷性和隐私性,用户交互体验更加友好。并且,相比从存储的大量消息中确定播放的第一信息,根据未读消息的索引确定播放的第一信息的方式更加快速高效,功耗也较低。
38.在一种可能的实现方式中,所述第一指令信息为所述第一语音命令。
39.在一种可能的实现方式中,所述第一指令信息是所述第二设备识别所述第一语音命令得到的信息。
40.在一些实施例中,所述第一指令信息包括第一语音命令的关键词。
41.在一种可能的实现方式中,所述第一信息为音频信息,所述第一信息用于所述第二设备直接播放。
42.在一种可能的实现方式中,所述第一信息为字符信息,所述第一信息用于所述第二设备转换为音频信息后进行播放。
43.在一种可能的实现方式中,所述方法还包括:接收所述第一语音命令;所述向所述第二设备发送第一信息,包括:当确定所述第一设备接收到的所述第一语音命令的强度低于所述第二设备接收到的所述第一语音命令的强度时,向所述第二设备发送所述第一信息,所述第一指令信息包括所述第二设备接收到的所述第一语音命令的强度。
44.本技术中,第一设备可以通过向第二设备发送第一信息,以使接收到第二语音命令的第二设备响应用户的语音命令,避免用户距离第一设备较远时第一设备无法有效接收和响应用户的语音命令的情况,拓宽应用场景,用户使用更加方便。
45.在一种可能的实现方式中,该方法还包括:根据所述第一指令信息确定所述第一语音命令的关键词;根据所述第一语音命令的关键词确定所述第一消息的索引;根据所述第一消息的索引生成所述第一信息,所述第一信息的类型是根据所述第一语音命令的关键词确定的。
46.在一种可能的实现方式中,所述第一设备存储有第二消息的索引,所述根据所述第一语音命令的关键词确定所述第一消息的索引,包括:根据所述第一语音命令的关键词,从所述第一消息的索引和所述第二消息的索引中选择所述第一消息的索引。
47.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备的移动速度是否大于或等于预设速度阈值;当所述第一设备的移动速度大于或等于所述预设速度阈值时,判断所述第一设备在第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;当所述第一设备在所述第一时段内未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
48.本技术中,第一设备可以先判断第一设备的移动速度是否大于或等于预设速度阈值,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
49.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备的移动速度是否大于或等于预设速度阈值;当所述第一设备的移动速度大于或等于所述预设速度阈值时,判断所述第一设备是否显示预设的第一应用的用户界面;当所述第一设备显示所述第一应用的用户界面时,判断所述第一设备在第一时段内是否未接收到触控操作;当所述第一设备未显示所述第一应用的用户界面时,判断所述第一设备在所述第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;在所述第一设备显示所述第一应用的用户界面的情况下,当所述第一设备在所述第一时段未接收到触控操作时,确定处于所述预设场景;或,在所述第一设备未显示所述第一应用的用户界面的情况下,当所述第一设备在所述第一时段未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
50.例如,预设的第一应用为导航应用。
51.本技术中,第一设备可以先判断移动速度是否大于或等于预设速度阈值,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
52.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备是否显示预设的第二应用的用户界面;当所述第一设备显示所述第二应用的用户界面时,判断所述第一设备在第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;当所述第一设备在所述第一时段内未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
53.本技术中,第一设备可以先判断是否在前台显示预设应用的用户界面,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
54.在一种可能的实现方式中,所述确定处于预设场景,包括:判断所述第一设备是否通过无线通信协议和所述第二设备连接;当所述第一设备通过无线通信协议和所述第二设备连接时,判断所述第一设备是否为锁屏状态;当所述第一设备为锁屏状态时,判断所述第一设备在第一时段内是否未接收到触控操作,以及所述第一设备在第二时段内物理姿态是否保持不变;当所述第一设备在所述第一时段内未接收到触控操作,以及所述第一设备在所述第二时段内物理姿态保持不变时,确定处于所述预设场景。
55.本技术中,第一设备可以先判断第一设备是否通过无线通信协议连接其他设备,以及是否为锁屏状态,当判断结果为是,第一设备才会执行后续的判断,提高判断预设场景的效率,避免了不必要的功耗和开销。
56.在一种可能的实现方式中,所述方法还包括:保存所述第一消息;所述确定并存储所述第一消息的索引,包括:根据保存的所述第一消息确定所述第一消息的索引;存储所述第一消息的索引。
57.在一种可能的实现方式中,所述方法还包括:在所述第一设备显示所述第一消息的通知时,执行截屏操作,生成第一图像;所述确定并存储所述第一消息的索引,包括:根据所述第一图像确定所述第一消息的索引;存储所述第一消息的索引。
58.在一种可能的实现方式中,所述根据所述第一图像确定所述第一消息的索引,包括:确定所述第一图像中所述第一消息的通知所在的第一区域;识别所述第一区域中的内容;根据所述第一区域中的内容确定所述第一消息的索引。
59.在一种可能的实现方式中,所述第一消息的索引包括接收所述第一消息的时刻;所述根据所述第一图像确定所述第一消息的索引,包括:当所述第一图像中所述第一消息的通知所在的第一区域包括时间信息时,确定所述第一区域中的时间为接收所述第一消息的时刻;当所述第一区域不包括时间信息时,确定所述第一图像的生成时刻为接收所述第一消息的时刻。
60.在一些实施例中,第一图像的生成时刻是第一设备从第一图像中获取的系统时间。
61.在一种可能的实现方式中,所述根据所述第一图像确定所述第一消息的索引之前,所述方法还包括:根据所述第一图像确定接收所述第一消息的应用程序;判断接收所述第一消息的应用程序是否为预设的第三应用;所述根据所述第一图像确定所述第一消息的索引,包括:当接收所述第一消息的应用程序为所述第三应用时,根据所述第一图像确定所述第一消息的索引。
62.本技术中,可以针对部分应用确定并存储未读消息的索引,避免用户不关注、对用户不重要的未读消息(例如广告消息)的索引占用存储资源和处理资源,产品可用性更高。
63.在一种可能的实现方式中,所述方法还包括:保存所述第一消息;所述根据所述第一消息的索引生成所述第一信息,包括:根据所述第一消息的索引查找出保存的所述第一消息;根据保存的所述第一消息生成所述第一信息。
64.本技术中,可以根据第一消息的索引查找出保存的第一消息,然后根据保存的第一消息生成播放的第一信息,相比直接根据用户的语音命令从存储的大量消息中查找保存的第一消息,更加快速高效,减少功耗和处理资源。
65.在一种可能的实现方式中,所述方法还包括:当所述第一消息为已读消息时,删除所述第一消息的索引,所述播放第一信息之后所述第一消息为已读消息。
66.在一些实施例中,响应于用户操作显示第一消息的信息之后,所述第一消息为已读消息。
67.本技术中,可以及时删除已读消息的索引,避免占用存储资源和处理资源,产品可用性更高。
68.在一种可能的实现方式中,所述方法还包括:当所述第一设备存储所述第一消息的索引的时长大于或等于预设时长时,删除所述第一消息的索引。
69.本技术中,可以及时删除用户长时间未获取的未读消息的索引,避免对用户不重要不紧急的未读消息的索引占用存储资源和处理资源,产品可用性更高。
70.第三方面,本技术实施例提供了一种电子设备,包括收发器、处理器和存储器,上述存储器用于存储计算机程序,上述处理器调用上述计算机程序,用于执行本技术实施例第一方面至第二方面,以及第一方面至第二方面的任意一种实现方式提供的智能语音交互的方法。
71.第四方面,本技术实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时,实现本技术实施例第一方面至第二方面,以及第一方面至第二方面的任意一种实现方式提供的智能语音交互的方法。
72.第五方面,本技术实施例提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行本技术实施例第一方面至第二方面,以及第一方面至第二方面的任意一种实现方式提供的智能语音交互的方法。
73.第六方面,本技术实施例提供一种电子设备,该电子设备包括执行本技术任一实施例所介绍的方法或装置。上述电子设备例如为芯片。
74.应当理解的是,本技术中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
75.以下对本技术实施例用到的附图进行介绍。
76.图1是本技术实施例提供的一种电子设备的硬件结构示意图;
77.图2是本技术实施例提供的一种电子设备的软件架构示意图;
78.图3-图4是本技术实施例提供的一些判断是否处于预设场景的流程示意图;
79.图5是本技术实施例提供的一种获取未读消息的索引的流程示意图;
80.图6是本技术实施例提供的一种用户界面实施例;
81.图7是本技术实施例提供的一种智能语音交互的场景示意图;
82.图8是本技术实施例提供的又一种判断是否处于预设场景的流程示意图;
83.图9是本技术实施例提供的又一种智能语音交互的场景示意图;
84.图10是本技术实施例提供的又一种判断是否处于预设场景的流程示意图;
85.图11是本技术实施例提供的又一种智能语音交互的场景示意图;
86.图12是本技术实施例提供的又一种用户界面实施例;
87.图13-图14是本技术实施例提供的一些智能语音交互的方法的流程示意图。
具体实施方式
88.下面结合本技术实施例中的附图对本技术实施例进行描述。本技术实施例的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释,而非旨在限定本技术。
89.本技术实施例提供了一种智能语音交互的方法,应用于电子设备。示例性地,电子设备可以判断是否处于预设场景,例如驾驶场景等用户不方便操作设备的场景。电子设备确定处于预设场景,并且接收到消息时,可以获取并存储消息的索引。电子设备可以根据用户的语音输入和未读消息的索引快速高效地确定播放未读消息的方式(例如是否播放,播放内容),而不是接收到消息后直接播放,兼顾了便捷性和隐私性,用户交互体验更加友好。
90.本技术中,电子设备接收的消息例如但不限于为其他用户通过短信息、社交应用等应用发送的消息,应用程序推送的通知消息等。电子设备接收到消息后,用户未操作电子设备获取消息之前,该消息可以称为未读消息或未查看消息。用户已操作电子设备获取未读消息之后,该消息可以称为已读消息或已查看消息。
91.本技术中,电子设备存储的消息的索引具体为未读消息的索引,在一些实施例中,未读消息被用户获取后,电子设备可以删除该消息的索引。任意一条未读消息的索引可以包括该消息的相关信息,例如但不限于以下至少一项:接收时刻、接收该消息的应用程序的名称或标识、发送该消息的联系人的名称或标识、该消息的具体内容、该消息的部分内容(例如具体内容中的部分字符,可称为内容概要)等、该消息的存储路径。需要说明的是,该消息的具体内容或部分内容不包括消息的接收时刻、应用程序的信息、联系人信息,是该消息本身的字符内容。该消息的存储路径为电子设备存储该消息的详细信息的路径,而非存储该消息的索引的路径。
92.示例性地,电子设备在两点通过短信息接收到用户a发送的消息:在吗,其中“两点”为接收时刻,“短信息”为接收该消息的应用程序的名称,“用户a”为发送该消息的联系人的名称,“在吗”为该消息的具体内容。
93.本技术实施例中涉及的电子设备可以是手机、平板电脑、手持计算机、个人数字助理(personal digital assistant,pda)等用户终端设备,智能电视、智能摄像头等智能家居设备,智能手环、智能手表、智能眼镜等可穿戴设备,或其他桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本、智慧屏等设备。
94.接下来介绍本技术实施例示例性的电子设备100。
95.请参见图1,图1示出了电子设备100的硬件结构示意图。
96.电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
97.可以理解的是,本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
98.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器
(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
99.控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
100.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
101.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
102.i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k,充电器,闪光灯,摄像头193等。例如:处理器110可以通过i2c接口耦合触摸传感器180k,使处理器110与触摸传感器180k通过i2c总线接口通信,实现电子设备100的触摸功能。
103.i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过i2s接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
104.pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中,音频模块170也可以通过pcm接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
105.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过uart接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过uart接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
106.mipi接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface,csi),显示屏串行接口(display serial interface,dsi)等。在一些实施例中,处理器110和摄像头193通过csi接口通信,实
现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信,实现电子设备100的显示功能。
107.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
108.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如虚拟现实设备等。
109.可以理解的是,本技术实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本技术另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
110.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
111.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
112.电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
113.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
114.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
115.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理
后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
116.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
117.在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
118.在一些实施例中,电子设备100可以通过gnss技术(例如gps)确定电子设备100所处的位置。在一些实施例中,电子设备100可以对预设时段的位置进行处理,以得到电子设备100的移动速度。不限于此,在另一些实施例中,电子设备100还可以通过雷达等其他模块来确定移动速度,本技术对测量移动速度的模块不作限定。
119.在一些实施例中,电子设备100确定的移动速度可以为平均速度,例如通过gnss技术实现定位,再基于定位确定的移动速度为平均速度。在另一些实施例中,电子设备100测量的移动速度可以为瞬时速度,例如雷达测量的移动速度为瞬时速度。
120.电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
121.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n
为大于1的正整数。
122.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
123.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
124.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。
125.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
126.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
127.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
128.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
129.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
130.电子设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音,智能语音交互等。
131.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器
110中。
132.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a实现例如收听音乐、收听免提通话、播放未读消息等功能。
133.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。可选地,当电子设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。可选地,电子设备100可以通过受话器170b播放未读消息容。
134.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。在一些实施例中,当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。在另一些实施例中,电子设备100可以通过麦克风170c获取用户的语音输入,以根据用户的语音输入确定播放未读消息的方式,例如是否播放未读消息,播放内容。在一些实施例中,电子设备100可以设置至少一个麦克风170c。在另一些实施例中,电子设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
135.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
136.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短信息应用图标时,执行查看短信息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短信息应用图标时,执行新建短信息的指令。
137.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
138.气压传感器180c用于测量气压。在一些实施例中,电子设备100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。
139.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
140.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
141.距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180f测距以实现快速对焦。
142.接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。
143.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。
144.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
145.温度传感器180j用于检测温度。在一些实施例中,电子设备100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,电子设备100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
146.触摸传感器180k,也称“触控器件”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
147.骨传导传感器180m可以获取振动信号。在一些实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180m也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息,实现心率检测功能。
148.在一些实施例中,电子设备100可以通过上述至少一个传感器判断电子设备100的物理姿态(例如横屏姿态、竖屏姿态等)是否变化,例如通过陀螺仪传感器180b和加速度传感器180e检测电子设备100的角速度和加速度是否变化,通过磁传感器180d判断是否存在翻盖皮套的开合,若电子设备100的角速度和加速度的变化值小于或等于预设变化阈值,不存在翻盖皮套的开合,电子设备100可以确定物理姿态保持不变。不限于此,电子设备还可
以结合或使用其他传感器,或使用其他方式判断电子设备100的物理姿态是否变化,本技术对此不作限定。
149.在一些实施例中,电子设备100可以通过压力传感器180a和/或触摸传感器180k判断是否接收到触控操作,也可以理解为是否接收到触控操作对应的触控事件。不限于此,电子设备还可以结合或使用其他传感器,或使用其他方式是否接收到触控事件,本技术对此不作限定。
150.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
151.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收消息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
152.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
153.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在电子设备100中,不能和电子设备100分离。
154.电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。例如,分层架构的软件系统可以是安卓(android)系统,也可以是华为移动服务(huawei mobile services,hms)系统。不限于此,电子设备100的软件系统还可以是ios系统,本技术对此不作限定。本技术实施例以分层架构的android系统为例,示例性说明电子设备100的软件结构。
155.图2示例性示出了一种电子设备100的软件架构示意图。
156.分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,以及内核层。
157.应用程序层可以包括一系列应用程序包。
158.如图2所示,应用程序包可以包括相机、图库、音乐、浏览器、短信息、导航应用、社交应用、视频应用等应用程序。
159.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
160.如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
161.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
162.内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
163.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
164.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
165.资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
166.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
167.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
168.核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
169.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
170.系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
171.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
172.媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
173.三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
174.2d图形引擎是2d绘图的绘图引擎。
175.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
176.下面结合用户手动操作电子设备100以获取未读消息的过程,示例性说明电子设备100软件以及硬件的工作流程。
177.当触摸传感器180k接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为通知栏中社交应用的通知
控件为例,社交应用调用应用框架层的接口,启动社交应用,进而通过调用内核层启动显示驱动,通过显示屏194显示通知控件对应的未读消息的详细信息。
178.接下来示例性介绍本技术实施例涉及的应用场景以及应用场景下的用户界面实施例。
179.在一种可能的实现方式中,电子设备100可以先判断是否处于预设场景,在一些实施例中,电子设备100可以周期性判断是否处于预设场景。在一些实施例中,电子设备100确定处于预设场景的情况下,若接收到消息,可以直接获取并存储该消息的索引。
180.在另一种可能的实现方式中,电子设备100可以在每次接收到消息时,判断是否处于预设场景。电子设备确定处于预设场景的情况下,获取并存储该消息的索引。
181.不同应用场景下,判断是否处于预设场景的判断过程可以不同,判断过程的示例可参见下图3、图4、图8、图10,其中,图3、图4可以应用于图7所示的场景1,图8可以应用于图9所示的场景2,图10可以应用于图11所示的场景3。
182.场景1:使用电子设备100的用户a为驾驶员,用户a将电子设备100固定在汽车上,并使用电子设备100上的导航应用进行地图导航。在场景1下,用户a的双手被占用且需要保持专注,不方便手动查看未读消息,具体示例可参见图7。
183.请参见图3,图3示例性示出一种判断是否处于第一预设场景的判断过程的流程示意图。该判断过程可以包括但不限于如下步骤:
184.s101:电子设备判断移动速度是否大于或等于预设速度阈值。
185.在一些实施例中,电子设备确定的移动速度可以为平均速度,例如在预设时段内通过gnss技术(例如gps)确定电子设备的位置信息,然后对预设时段内电子设备的位置信息进行处理,以得到预设时段内电子设备的平均速度。例如预设时段为下述第一时段,或者下述第二时段。在另一些实施例中,电子设备确定的移动速度可以为瞬时速度。
186.具体地,电子设备确定移动速度大于或等于预设速度阈值(如20千米每小时)时,跳转到s102,继续执行后续的判断流程,否则确定当前不处于第一预设场景。
187.s102:电子设备判断第一时段内物理姿态是否保持不变。
188.在一些实施例中,物理姿态例如但不限于包括横屏姿态、竖屏姿态、折叠姿态、展开姿态、弯折姿态、显示屏朝上的姿态、显示屏朝下的姿态等。物理姿态可以但不限于通过惯性传感器(例如陀螺仪传感器、加速度传感器)测量的姿态角、磁传感器测量的方位角等来确定,传感器的示例可参见图1。示例性地,电子设备确定第一时段内姿态角和方位角的变化值小于或等于预设变化阈值时,确定物理姿态保持不变。需要说明的是,物理姿态不变不包括移动速度不变。
189.在一些实施例中,第一时段为第一预设时长的时段,第一预设时长例如为10分钟。
190.具体地,若电子设备确定第一时段内物理姿态保持不变,则跳转到s103,否则确定当前不处于第一预设场景。
191.s103:电子设备判断第二时段内是否未接收到触控事件。
192.在一些实施例中,第二时段为第二预设时长的时段,第二预设时长例如为10分钟。在一些实施例中,第一时段和第二时段可以是相同时间长度的时间段。
193.在一些实施例中,触控事件例如为作用于电子设备的触控操作对应的事件,在一些实施例中,该触控操作具体作用于电子设备的显示屏。电子设备可以但不限于通过压力
传感器、触摸传感器等的检测信号来确定是否接收到触控事件,传感器的示例可参见图1。
194.具体地,若电子设备确定第二时段内未接收到触控事件,则确定当前处于第一预设场景,否则确定当前不处于第一预设场景。
195.可以理解地,s102和s103的执行顺序不限于先执行s102,再执行s103,也可以是先执行s103,再执行s102,或者s102和s103同时执行。
196.请参见图4,图4示例性示出又一种判断是否处于第一预设场景的判断过程的流程示意图。该判断过程可以包括但不限于如下步骤:
197.s201:电子设备判断移动速度是否大于或等于预设速度阈值。
198.具体地,电子设备确定移动速度大于或等于预设速度阈值时,跳转到s201,继续执行后续的判断流程,否则确定当前不处于第一预设场景。其中电子设备确定移动速度的说明可参见图3的s101。
199.s202:电子设备判断是否前台运行导航应用。
200.具体地,电子设备前台运行应用具体为:电子设备显示该应用的用户界面,并且用户可以针对该用户界面进行操作,即该应用和该用户界面是用户可见且可交互的。在一些实施例中,电子设备确定前台未运行导航应用,则跳转到s203,在另一些实施例中,电子设备确定前台运行导航应用,则跳转到s204。
201.s203:电子设备判断第一时段内物理姿态是否保持不变。
202.具体地,第一时段和物理姿态的说明可参见图3的s102。若电子设备确定第一时段内物理姿态保持不变,则跳转到s204,否则确定当前不处于第一预设场景。
203.s204:电子设备判断第二时段内是否未接收到触控事件。
204.具体地,第二时段和触控事件的说明可参见图3的s103。若电子设备确定第二时段内未接收到触控事件,则确定当前处于第一预设场景,否则确定当前不处于第一预设场景。
205.可以理解地,s203和s204的执行顺序不限于先执行s203,再执行s204,也可以是先执行s204,再执行s203,或者s203和s204同时执行。
206.可以理解地,在图3-图4示例的判断过程中,电子设备会先判断移动速度是否大于或等于预设速度阈值,当判断结果为是,电子设备才会执行后续的判断,从而避免不必要的功耗和开销。
207.在一些实施例中,电子设备确定处于第一预设场景,并且通过短信息等系统应用接收到信息时,可以使用电子设备本身已有的功能获消息的索引。示例性地,获取并存储未读消息的索引的模块称为智能语音交互模块。当电子设备通过短信息接收到消息时,短信息可以向电子设备内部的模块发送广播消息,该广播消息用于指示短信息接收到消息,可选地该广播消息还可以包括接收到的消息的相关信息。智能语音交互模块接收到短信息的广播消息后,可以根据广播消息确定短信息是否接收到消息,可选地以及获取该消息的相关信息,例如android的android.provider.telephony.sms_received可以实现上述功能。或者,智能语音交互模块可以监测短信息的数据库,当电子设备通过短信息接收到消息时,短信息的数据库会发生变化,此时,智能语音交互模块可以读取短信息的数据库,从而获取到未读消息的相关信息。智能语音交互模块可以根据获取的未读消息的相关信息获取未读消息的索引。
208.在另一些实施例中,电子设备确定处于第一预设场景,并且通过系统应用外的第
三方应用(例如社交应用)接收到消息时,可以使用已授予的第一权限获取消息的索引,第一权限为获取第三方应用的未读消息的相关信息的权限。示例性地,获取并存储未读消息的索引的模块称为智能语音交互模块。当电子设备通过社交应用接收到消息时,若智能语音交互模块已被授予获取社交应用的未读消息的第一权限,则可以使用第一权限确定社交应用接收到信息,以及获取未读消息的相关信息,若智能语音交互模块未被授予第一权限,则可以请求授予第一权限,例如电子设备可以显示请求信息,该请求信息用于请求授予社交应用的第一权限,电子设备可以响应于用户操作,授予或不授予智能语音交互模块第一权限。智能语音交互模块已被授予第一权限后,可以使用第一权限获取未读消息的相关信息。智能语音交互模块可以根据获取的未读信消息的相关信息获取未读消息的索引。不限于上述列举的示例,例如,智能语音交互模块也可以在开启时就请求授予第一权限。
209.在另一些实施例中,电子设备确定处于第一预设场景,并且通过系统应用外的第三方应用(例如社交应用)接收到消息时,可以通过截屏、图像识别等方式获取到未读消息的索引,示例性地,获取并存储未读消息的索引的模块称为智能语音交互模块,上述第三方应用为未授予第一权限给智能语音交互模块的应用。获取未读消息的索引的示例如下图5所示。
210.请参见图5,图5示例性示出一种获取未读消息的索引的获取过程的流程示意图。该获取过程可以包括但不限于如下步骤:
211.s301:电子设备接收第一消息时,截图屏幕界面以获取第一图像。
212.具体地,电子设备接收第一消息时,可以显示第一消息的通知,例如图6所示的用户界面600中,电子设备100在显示屏的顶部以弹窗方式显示通知控件610,通知控件610用于显示通过社交应用接收的消息。在一些实施例中,电子设备接收第一消息时,电子设备的显示屏被点亮。电子设备弹窗显示第一消息时,可以截图当前显示的屏幕界面以获取第一图像。第一图像例如为图6所示的用户界面600。在另一些实施例中,电子设备接收第一消息时,电子设备的显示屏未被点亮,电子设备可以先点亮显示屏,并在显示屏被点亮时弹窗显示第一消息。电子设备弹窗显示第一消息时,可以截图屏幕界面以获取第一图像,截图之后再控制显示屏熄灭。
213.在一些实施例中,获取并存储未读消息的索引的模块称为智能语音交互模块。电子设备接收到第一消息后,可以触发弹窗显示的事件,在触发该事件的情况下弹窗显示第一消息。电子设备可以通知智能语音交互模块该事件已被触发。智能语音交互模块确定该事件已被触发的情况下,执行截屏操作,生成第一图像。
214.s302:电子设备对第一图像进行边缘检测,以确定出第一消息的通知所在的第一区域。
215.在一些实施例中,s302之前,该获取过程还可以包括:电子设备对第一图像进行图像预处理,例如均值滤波、高速滤波、直方图均衡化等。
216.示例性地,第一图像为图6所示的用户界面600,第一消息的通知为用户界面600中的通知控件610,如图6所示,通知控件610的边缘和周围区域有明显的分界,电子设备可以对第一图像进行边缘检测,以确定出第一消息的通知控件610所在的区域。其中,边缘检测的算法可以是通过大量图像样本,深度学习训练得到的。
217.s303:电子设备识别第一区域,以获取第一消息的相关信息。
218.在一些实施例中,电子设备可以通过控件识别技术识别第一区域内的控件(如图标),通过光学字符识别(optical character recognition,ocr)技术提取第一区域内的字符(如文字、字母),从而获取第一消息的相关信息。第一消息的相关信息例如但不限于包括以下至少一项:接收时刻、接收第一消息的应用程序的名称或标识、发送第一消息的联系人的名称或标识、第一消息的具体内容等。
219.示例性地,第一图像为图6所示的用户界面600,第一区域为用户界面600中通知控件610所在的区域。电子设备可以通过图标识别技术识别出通知控件610中社交应用的图标610a,通过ocr技术提取出通知控件610中社交应用的名称610b(即“社交应用”),接收第一消息的时间610c(即“5:35”),发送第一消息的联系人610d(即“用户b”),第一消息的部分内容610e(即“晚上七点有会议
…”
)。
220.不限于上述示例,在另一些示例中,第一消息的通知所在的第一区域中,第一消息的部分信息省略,则电子设备可以仅获取已示出的内容,例如联系人610d和部分内容610e替换为文字:“接收到一条新消息”,则电子设备可以仅获取接收时刻,接收第一消息的应用程序的名称。
221.不限于上述示例,在另一些实施例中,第一区域中接收第一消息的时间610c不为具体的时间,例如为“刚刚”,则电子设备可以获取第一图像的生成时刻作为第一消息的接收时刻。在一些实施例中,电子设备可以从第一图像中获取到系统时间,该系统时间即为第一图像的生成时刻。在另一些实施例中,电子设备可以直接获取生成第一图像的时刻。
222.在一些实施例中,s303之后,该方法还包括:
223.s304:电子设备确定接收第一消息的应用为预设应用。
224.具体地,电子设备可以判断s303中获取的接收第一消息的应用是否为预设应用,若判断结果为是,再存储第一消息的索引。在一些实施例中,预设应用包括电子设备默认设置的短信息、社交应用等用于和其他用户沟通的应用。在一些实施例中,预设应用包括电子设备根据用户浏览时长、使用次数等历史记录确定的使用较多的应用,不限于此,预设应用还可以包括电子设备响应于用户操作确定的应用,本技术对预设应用的具体类型和确定方式不作限定。
225.s305:电子设备存储第一消息的索引。
226.具体地,任意一条未读消息的索引可以包括但不限于以下至少一项:接收时刻、接收该消息的应用程序的名称或标识、发送该消息的联系人的名称或标识、该消息的具体内容、该消息的部分内容(可称为内容概要)、该消息的存储路径。电子设备可以根据s303中获取的第一消息的相关信息,确定第一消息的索引,并存储第一消息的索引。
227.示例性地,假设第一图像为图6所示的用户界面600,第一区域为用户界面600中通知控件610所在的区域。电子设备根据s303中获取的第一消息的相关信息确定的第一消息的索引可以为:五点三十五分(接收时刻)、社交应用(接收消息的应用程序的名称)、用户b(发送消息的联系人的名称)、“七点、会议”(消息的内容概要)。可以理解地,这里的接收时刻仅为示例,在另一些实例中,接收时刻也可以是包括年、月、日、时、分、秒的详细时间,本技术对消息的索引的具体格式不作限定。
228.请参见图7,图7示例性示出一种智能语音交互的场景示意图。
229.如图7所示,电子设备100可以以竖屏姿态固定在汽车上,用户a开车时,可以使用
电子设备100上的导航应用进行地图导航。在一些实施例中,电子设备100可以先判断是否处于第一预设场景,示例性地,用户a上车固定好电子设备100和打开导航应用之后,可以正常开车。电子设备100可以在检测到移动速度大于或等于预设速度阈值的情况下,执行后续的判断,例如图3所示的s102-s103或图4所示的s202-s204。假设电子设备100确定处于第一预设场景,则后续接收到消息时,可以直接获取并存储该消息的索引。在另一些实施例中,电子设备100可以在接收到消息的情况下,再判断是否处于第一预设场景,确定处于第一预设场景时获取并存储消息的索引。
230.在一些实施例中,电子设备可以在确定处于第一预设场景的情况下,开启语音交互功能。开启语音交互功能后,电子设备可以接收用户的语音输入,根据用户的语音输入和存储的未读消息的索引确定播放消息的方式(例如是否播放未读消息,播放的内容等)。在另一些实施例中,电子设备可以在确定处于第一预设场景的情况下,若接收到用户输出的语音唤醒词,则开启语音交互功能。在另一些实施例中,电子设备可以在确定处于第一预设场景的情况下,若存储的未读消息的索引的数量大于或等于数量阈值,则开启语音交互功能并播放提示信息,以提示用户获取未读消息。不限于此,在另一些实施例中,也可以是存储的未读消息的索引的存储时长大于或等于时长阈值,则开启语音交互功能并播放提示信息。在另一些实施例中,电子设备可以接收用户操作,直接响应于用户操作开启语音交互功能。在另一些实施例中,电子设备可以接收用户操作,响应于用户操作持续或周期性判断是否处于第一预设场景,用户操作的示例如下图12所示。本技术对开启语音交互功能的方式不做限定。
231.在一些实施例中,电子设备可以周期性执行是否处于预设场景的判断过程,例如图3或图4所示过程。在一些实施例中,电子设备执行判断过程后,确定处于第一预设场景的情况下,接收到消息可以获取并存储消息的索引,并且开启语音交互功能。电子设备下一次执行判断过程,确定不处于第一预设场景,即使接收到消息也不会获取并存储消息的索引,并且关闭语音交互功能。可以理解为是,电子设备执行判断过程得到的判断结果是实时的,实时的判断结果用于表征是否处于第一预设场景,处于第一预设场景则开启语音交互功能,否则关闭语音交互功能。
232.示例性地,如图7所示,电子设备100确定处于第一预设场景后,开启语音交互的功能。当用户a感知到电子设备100接收到消息,例如听到电子设备100的提示音、振动声,或者看到电子设备100的提示信息(如图6所示的用户界面600中通知控件610),或者当用户a想要了解电子设备100是否接收到信息等情况时,用户a可以输出第一语音:“谁发的消息”。电子设备100接收到第一语音后,可以对第一语音进行识别处理,判断是否存在和第一语音匹配的未读消息的索引,若存在匹配的未读消息的索引,则根据第一语音和该索引确定播放的内容,若不存在匹配的未读消息的索引,可以播放对应的提示,例如“未接收到新消息”。
233.示例性地,电子设备100可以提取出第一语音的关键字:“谁”,然后确定出和关键字匹配的未读消息的索引,即包括发送消息的联系人的未读消息的索引。假设电子设备100存储有第一消息的索引,第一消息的索引为图5的s305中示例的第一消息的索引:五点三十五分(接收时刻)、社交应用(接收第一消息的应用程序的名称)、用户b(发送第一消息的联系人的名称)、“七点、会议”(第一消息的内容概要),则电子设备100可以确定和第一语音匹配的索引为第一消息的索引。电子设备100可以根据第一语音确定播放内容包括发送第一
消息的联系人,根据第一消息的索引确定播放的联系人为:“用户b”。因此,电子设备100可以播放第一音频:“用户b发送了一条消息,需要播放吗”。用户a获取到第一音频后,可以选择播放或不播放,若选择不播放可以回复“不播放”或者不回复,若选择播放,用户a可以输出第二语音:“播放”。电子设备100接收到第二语音后,可以根据第二语音确定播放第一消息的具体内容。电子设备100可以根据第一消息的索引从存储的大量消息中查找出第一消息的具体内容,然后进行播放,例如,电子设备100可以根据第一消息的索引确定在社交应用的存储路径下查找接收时刻为五点三十五分的第一消息,电子设备100可以按照“联系人-接收时刻-接收消息的应用程序的名称-消息的具体内容”的格式播放第一消息,即播放第二音频:“用户b在五点三十五分通过社交应用发送消息:晚上七点有会议
…”

234.在一些实施例中,电子设备可以识别用户语音的语义和/或提取关键词,根据识别出的语义和/或提取出的关键词确定播放内容的类型(可称为第一类型)。在一些实施例中,和用户的语音输入匹配的未读消息的索引,包括第一类型的信息时,电子设备100可以直接根据该未读消息的索引播放对应的内容。在另一些实施例中,和用户的语音输入匹配的未读消息的索引不包括第一类型的信息时,电子设备100可以根据该未读消息的索引查找出存储的该未读消息的详细信息,从该详细信息中获取第一类型的信息,以进行后续的播放。
235.在一些实施例中,电子设备响应于用于获取第一消息的用户操作,输出第一消息后,可以删除第一消息的索引,可以理解为是删除已读消息的索引。例如,上图7所示过程后可以删除第一消息的索引,或者电子设备响应于用于获取第一消息的触控操作,显示第一消息的具体内容后,可以删除第一消息的索引。
236.在一些实施例中,电子设备100可以仅存储预设时段内接收的未读消息的索引,例如仅存储24小时以内接收的未读消息的索引,即仅存储接收时刻和当前时刻的差值小于或等于24小时的未读消息的索引,删除上述差值大于24小时的未读消息的索引。
237.场景2:用户a使用电子设备100的视频应用观看视频,并且用户a正在洗碗,洗碗期间双手被占用,无法手动操作电子设备100,具体示例可参见图9。
238.请参见图8,图8示例性示出一种判断是否处于第二预设场景的判断过程的流程示意图。该判断过程可以包括但不限于如下步骤:
239.s401:电子设备判断是否前台运行视频应用。
240.具体地,前台运行应用的说明可参见图4的s202的说明。若电子设备确定前台运行视频应用,则跳转到s402,继续执行后续的判断流程,否则确定当前不处于第二预设场景。
241.s402:电子设备判断第一时段内物理姿态是否保持不变。
242.具体地,第一时段和物理姿态的说明可参见图3的s102。若电子设备确定第一时段内物理姿态保持不变,则跳转到s403,否则确定当前不处于第二预设场景。
243.s403:电子设备判断第二时段内是否未接收到触控事件。
244.具体地,第二时段和触控事件的说明可参见图3的s103。若电子设备确定第二时段内未接收到触控事件,则确定当前处于第二预设场景,否则确定当前不处于第二预设场景。
245.可以理解地,s402和s403的执行顺序不限于先执行s402,再执行s403,也可以是先执行s403,再执行s402,或者s402和s403同时执行。
246.可以理解地,在图8示例的判断过程中,电子设备会先判断是否前台运行视频应用,当判断结果为是,电子设备才会执行后续的判断,从而避免不必要的功耗和开销。
247.电子设备确定处于第二预设场景,并且接收到消息时,可以获取并存储消息的索引,具体可参见上述电子设备确定处于第一预设场景时获取并存储消息的索引的说明(例如图5)。
248.请参见图9,图9示例性示出又一种智能语音交互的场景示意图。
249.如图9所示,电子设备100可以以横屏姿态放置在桌面上,用户a洗碗时,可以使用电子设备100上的视频应用查看视频。在一些实施例中,电子设备100可以先判断是否处于第二预设场景,示例性地,用户a打开视频应用和固定好电子设备100之后,可以洗碗。电子设备100可以在检测到前台运行视频应用的情况下,执行后续的判断,例如图8所示的s402-s403。假设电子设备100确定处于第二预设场景,则后续接收到消息时,可以直接获取并存储该消息的索引。在另一些实施例中,电子设备100可以在接收到消息的情况下,再判断是否处于第二预设场景,确定处于第二预设场景时获取并存储消息的索引。
250.电子设备100开启语音交互功能的说明可参见上图7中电子设备100开启语音交互功能的说明。
251.示例性地,如图9所示,电子设备100确定处于第二预设场景后,开启语音交互的功能。电子设备可以接收用户的语音输入,根据用户的语音输入和存储的未读消息的索引确定播放消息的方式(例如是否播放未读消息,播放的内容等)。当用户a感知到电子设备100接收到消息,或者想要了解电子设备100是否接收到消息等情况时,用户a可以输出第三语音:“播放最近半个小时的未读消息”。电子设备100接收到第三语音后,可以根据第三语音和未读消息的索引确定播放未读消息的方式。
252.示例性地,电子设备100可以提取出第三语音的关键词:“最近半个小时”,然后确定出和关键词匹配的未读消息的索引,即接收时刻和当前时刻的差值小于或等于30分钟的未读消息的索引,假设为第二消息(消息内容假设为信息a)和第三消息(消息内容假设为信息b)。电子设备100可以根据第三语音、第二消息的索引和第三消息的索引,确定播放内容为第二消息和第三消息的具体内容,则电子设备100可以播放第三音频:“用户c在两点通过短信息发送信息a,用户d在两点十五通过社交应用发送信息b”。
253.场景3:电子设备100通过有线或无线的方式和至少一个设备连接。用户a正在打扫,未使用电子设备100,且用户a和电子设备100的距离较远,不方便手动操作电子设备获取消息,具体示例可参见图11。
254.请参见图10,图10示例性示出一种判断是否处于第三预设场景的判断过程的流程示意图。该判断过程可以包括但不限于如下步骤:
255.s501:电子设备判断是否通过无线方式连接至少一个设备。
256.具体地,无线方式例如但不限于包括蓝牙、红外线、nfc等近场通信方式,或者wi-fi方式。上述至少一个设备例如但不限于为智能音箱、智能电视等智能家居设备,耳机、智能眼镜、智能手环等智能穿戴设备。
257.s502:电子设备判断是否处于锁屏状态。
258.具体地,锁屏状态下用户需执行一定的操作才能解锁电子设备,例如按压电源键,手指触摸指纹识别区域以进行指纹的身份认证,抬起手机对转脸部以进行人脸的身份认证等,其中电子设备对用户进行身份认证通过后,用户才能正常使用电子设备。若电子设备确定处于锁屏状态,则跳转到s503,继续执行后续的判断流程,否则确定当前不处于第三预设
场景。
259.s503:电子设备判断第一时段内物理姿态是否保持不变。
260.具体地,第一时段和物理姿态的说明可参见图3的s102。若电子设备确定第一时段内物理姿态保持不变,则跳转到s504,否则确定当前不处于第三预设场景。
261.s504:电子设备判断第二时段内是否未接收到触控事件。
262.具体地,第二时段和触控事件的说明可参见图3的s103。若电子设备确定第二时段内未接收到触控事件,则确定当前处于第三预设场景,否则确定当前不处于第三预设场景。
263.可以理解地,s503和s504的执行顺序不限于先执行s503,再执行s504,也可以是先执行s504,再执行s503,或者s503和s504同时执行。
264.可以理解地,在图10示例的判断过程中,电子设备会先判断是否处于锁屏状态,当判断结果为是,电子设备才会执行后续的判断,从而避免不必要的功耗和开销。
265.电子设备确定处于第三预设场景,并且接收到消息时,可以获取并存储消息的索引,具体可参见上述电子设备确定处于第一预设场景时获取并存储消息的索引的说明(例如图5)。在一些实施例中,电子设备可以向相邻设备发送获取的未读消息的索引,其中,相邻设备为电子设备通过有线或无线方式连接的设备。
266.请参见图11,图11示例性示出又一种智能语音交互的场景示意图。
267.如图11所示,场景3所示的空间包括5个区域:区域110、区域120、区域130、区域140和区域150,示例性地,场景3所示的空间为家,每个区域为家中的一个房间。其中至少一个区域可以包括电子设备,例如区域120包括电子设备100和智能电视,电子设备100可以显示屏朝上的方式放置在床上。区域150包括智能音箱151,用户a处于区域150内。用户a距离位于区域120的电子设备100较远。电子设备100可以但不限于通过有线方式(如usb、同轴电缆等)或无线方式(如蓝牙、wi-fi等),和场景3所示的空间内任意一个电子设备建立连接和通信。
268.在一些实施例中,电子设备100可以先判断是否处于第三预设场景,示例性地,用户a将电子设备100放置在区域120的床上后,可以去区域150等其他区域进行打扫工作。电子设备100可以在检测到通过无线方式和至少一个设备连接,以及处于锁屏状态的情况下,执行后续的判断,例如图10所示的s503-s504。假设电子设备100确定处于第三预设场景,则后续接收到消息时,可以直接获取并存储该消息的索引。在另一些实施例中,电子设备100可以在接收到消息的情况下,再判断是否处于第三预设场景,确定处于第三预设场景时获取并存储消息的索引。
269.电子设备100开启语音交互功能的说明可参见上图7中电子设备100开启语音交互功能的说明。
270.在一些实施例中,相邻设备可以为场景3所示的空间内除电子设备100外的任意一个设备。在一些实施例中,电子设备100可以将未读消息的索引发送给相邻设备。图11以相邻设备为区域150内的智能音箱151为例进行说明。
271.示例性地,如图11所示,电子设备100确定处于第三预设场景后,开启语音交互的功能。电子设备100和相邻设备中任意一个设备可以接收用户的语音输入,根据用户的语音输入和存储的未读消息的索引确定播放消息的方式(例如是否播放未读消息,播放的内容等)。当用户a感知到电子设备100接收到消息,例如听到电子设备100或者智能音箱151的提
示音,或者想要了解电子设备100是否接收到消息等情况时,用户a可以输出第四语音:“播放短信息的用户e的最新一条消息”。接收到第四语音的电子设备100和智能音箱151可以根据各自接收的声音的强弱,确定距离用户a更近的设备为智能音箱151,智能音箱151可以根据第四语音和未读消息的索引确定播放未读消息的方式。示例性地,智能音箱151可以提取第四语音的关键词:“短信息”、“用户e”和“最新一条”,然后确定出和关键词匹配的索引,即接收消息的应用为短信息,发送消息的联系人为用户e,接收时刻最晚的未读消息的索引,假设为第四消息(消息内容假设为信息c)。电子设备100可以根据第四语音和第四消息的索引,确定播放内容为第四消息的具体内容,则电子设备100可以播放第四音频:“用户e在七点通过短信息发送信息c”。
272.不限于上述示例,在另一些实施例中,也可以根据红外线等其他方式确定距离用户a更近的设备,由距离最近的设备响应用户。在另一些实施例中,也可以不是距离用户a更近的设备和用户进行语音交互,而是根据用户的语音输入确定和用户语音交互的设备。例如,电子设备100对应的语音唤醒词为:“小a”,智能音箱151对应的语音唤醒词为:“小b”。在另一些实施例中,也可以是电子设备100和相邻设备中接收到用户的语音输入的设备响应用户。本技术对确定和用户语音交互的设备的方式不作限定。
273.可以理解地,不仅可以通过电子设备100和用户进行语音交互,从而为用户提供所需的播放内容,即实现智能语音交互的功能,而且可以通过电子设备100连接的相邻设备实现智能语音交互的功能,扩大了全场景生态,交互体验更加友好。
274.不限于上述示例,在另一些实施例中,电子设备还可以结合网络连接状况(例如移动网络的模式是否多次切换)来判断是否处于预设场景。在另一些实施例中,电子设备还可以连接汽车,根据汽车传输的数据判断是否处于预设场景。本技术对判断是否处于预设场景的具体方式不作限定,但需要说明的是,电子设备总会判断第一时段内物理姿态是否保持不变,以及第二时段内是否接收到触控事件。
275.在一些实施例中,电子设备可以响应于用户操作,开启语音交互功能,语音交互功能开启后,电子设备可以先判断是否处于预设场景,确定处于预设场景的情况下,若接收到消息,再获取并存储该消息的索引,具体示例如下图12所示。
276.请参见图12,图12示例性示出一种用户界面的示意图。
277.如图12所示,电子设备100可以显示用户界面1200,用户界面1200可以为通知界面,用户界面1200可以包括快捷操作框1210和通知栏1220,快捷操作框1210可以包括多个操作控件,例如但不限于开启或关闭wlan选项的控件、开启或关闭蓝牙选项的控件、开启或关闭移动数据的控件、开启或关闭静音模式的控件、开启或关闭智能语音交互的控件1210a。通知栏1220可以用于显示通知消息,例如视频应用的通知消息。电子设备100可以接收作用于控件1210a的用户操作(例如触摸操作),响应于该用户操作,开启或关闭语音交互功能。不限于图12的示例,在另一些示例中,电子设备100也可以接收用户的语音输入,以此开启或关闭语音交互功能,本技术对开启或关闭语音交互功能的用户操作不作限定。
278.不限于上述示例,在另一些实施例中,电子设备还可以响应于用户操作,设置在预设时段(例如中午十一点到十二点之间)开启语音交互功能。
279.可以理解地,电子设备接收到消息后不会直接播放,而是在接收到用户的语音输入后再根据该语音输入和存储的未读消息的索引选择是否播放,避免影响用户的工作,也
保证了隐私性。并且,即使用户想要获取未读消息时,电子设备未显示未读消息的通知(例如通知已隐藏或者电子设备的显示屏被熄灭等),用户也可以直接通过语音交互来获取未读消息的内容,大大方便了用户的使用,交互体验更加友好。
280.基于上图1-图12所示的一些实施例,接下来介绍本技术提供的智能语音交互的方法。
281.请参见图13,图13是本技术实施例提供的一种智能语音交互的方法的流程示意图。该方法可以应用于图1所示的电子设备100。该方法可以应用于图2所示的电子设备100。该方法可以包括但不限于如下步骤:
282.s601:电子设备接收第一消息。
283.具体地,第一消息可以但不限于是其他用户发送的消息(例如通过短信息等系统应用发送的消息,社交应用等第三方应用发送的消息),系统应用或第三方应用推送的广告、通知、提示等。电子设备接收消息时,可以执行是否处于预设场景的判断,具体可参见s602的说明。电子设备接收第一消息时,可以存储第一消息的详细信息。
284.s602:电子设备确定处于预设场景。
285.在一些实施例中,电子设备可以判断第一时段内电子设备的物理姿态是否保持不变,以及判断第二时段内是否未接收到触控事件,若判断结果为是,则确定处于预设场景。其中,第一时段和第二时段可以相同,也可以不同。触控事件例如为作用于电子设备的触控操作对应的事件,未接收到触控事件也即未接收到触控操作。不限于此,电子设备判断是否处于预设场景时,还可以先判断移动速度是否大于或等于预设速度阈值,先判断前台运行的应用是否为特定的应用等等。判断过程的示例可参见上图3、图4、图8、图10。
286.s603:电子设备获取并存储第一消息的索引。
287.在一些实施例中,电子设备确定处于预设场景,并且通过短信息等系统应用接收到消息时,可以使用电子设备本身已有的功能获取消息的索引。在另一些实施例中,电子设备确定处于预设场景,并且通过系统应用外的第三方应用(例如社交应用)接收到消息时,可以使用已授予的第一权限获取消息的索引,第一权限为获取第三方应用的未读消息的相关信息的权限。在另一些实施例中,电子设备确定处于预设场景,并且通过系统应用外的第三方应用(例如社交应用)接收到消息时,可以通过截屏、图像识别等方式获取到未读消息的索引,可选地,获取并存储未读消息的索引的模块称为智能语音交互模块,上述第三方应用为未授予第一权限给智能语音交互模块的应用,具体示例可参见上述电子设备确定处于第一预设场景时获取并存储消息的索引的说明。
288.其中,第一消息的索引例如但不限于包括以下至少一项:接收第一消息的时刻,接收第一消息的应用程序,发送第一消息的联系人,第一消息的部分内容或全部内容,第一消息的存储路径。例如,第一消息的存储路径为s601中存储第一消息的详细信息的路径。
289.s604:电子设备接收用户的语音输入。
290.s605:电子设备基于用户的语音输入和未读消息的索引确定播放未读消息的方式。
291.具体地,电子设备可以对用户的语音输入进行识别处理,例如识别语义、提取关键字,然后根据识别处理的结果判断是否存在和用户的语音输入匹配的未读消息的索引,例如和关键字匹配的未读信息的索引。电子设备确定存在匹配的未读消息的索引的情况下,
根据用户的语音输入和该索引确定播放的内容,具体示例可参见上图7和图9。在一些实施例中,电子设备识别用户的语音的语义和/或提取关键词,根据识别出的语义和/或提取出的关键词确定播放内容的类型(可称为第一类型)。在一些实施例中,匹配的未读信息的索引包括第一类型的信息时,电子设备可以直接根据该索引播放对应的内容。在另一些实施例中,匹配的未读信息的索引不包括第一类型的信息时,电子设备可以根据该索引查找出播放的内容,以进行后续的播放,例如根据该索引确定第一消息的详细信息的存储路径,在该存储路径下获取第一消息的详细信息,根据该详细信息得到第一消息中第一类型的信息。
292.不限于上述列举的示例,在另一些实施例中,电子设备也可以将未读消息的索引发送给连接的相邻设备。电子设备和相邻设备中任意一个设备可以接收用户的语音输入,并基于用户的语音输入和未读消息的索引确定播放未读消息的方式,具体示例可参见上图11。
293.在另一些实施例中,电子设备也可以在接收未读消息之前,先判断是否处于预设场景,具体方法流程如下图14所示。
294.请参见图14,图14是本技术实施例提供的又一种智能语音交互的方法的流程示意图。该方法可以应用于图1所示的电子设备100。该方法可以应用于图2所示的电子设备100。该方法可以包括但不限于如下步骤:
295.s701:电子设备确定处于预设场景。
296.在一些实施例中,电子设备可以判断第一时段内电子设备的物理姿态是否保持不变,以及判断第二时段内是否未接收到触控事件,若判断结果为是,则确定处于预设场景。其中,第一时段和第二时段可以相同,也可以不同。触控事件例如为作用于电子设备的触控操作对应的事件,未接收到触控事件也即未接收到触控操作。不限于此,电子设备判断是否处于预设场景时,还可以先判断移动速度是否大于或等于预设速度阈值,先判断前台运行的应用是否为特定的应用等等。判断过程的示例可参见上图3、图4、图8、图10。
297.在一些实施例中,电子设备可以周期性执行是否处于预设场景的判断过程。在一些实施例中,电子设备100执行判断过程后,确定处于预设场景的情况下,可以执行后续的s702-s706,可以称为开启语音交互功能。电子设备下一次执行判断过程后,确定处于预设场景的情况下,则保持语音交互功能为开启状态,确定不处于预设场景的情况下则关闭语音交互功能。语音交互功能的示例可参见图7中电子设备100开启语音交互功能的说明。
298.在一些实施例中,电子设备可以响应于用户操作,开启语音交互功能,在另一些实施例中,电子设备可以响应于用户操作,持续或者周期性判断是否处于预设场景,确定处于预设场景的情况下再开启语音交互功能。用户操作的示例可参见图12。
299.s702:电子设备接收第一消息。
300.具体地,第一消息的说明可参见图13的s601的说明。电子设备接收第一消息时,可以存储第一消息的详细信息。
301.s703:电子设备获取并存储第一消息的索引。
302.s704:电子设备接收用户的语音输入。
303.s705:电子设备基于用户的语音输入和未读消息的索引确定播放未读消息的方式。
304.具体地,s703-s705和图13的s603-s605类似,具体可参见图13的s603-s605的说明。
305.在一些实施例中,电子设备响应于用于获取第一消息的用户操作,输出第一消息后,可以删除第一消息的索引,可以理解为是删除已读消息的索引。例如,上图7、图9、图11所示过程后可以删除第一消息的索引,或者电子设备响应于用于获取第一消息的触控操作,显示第一消息的具体内容后,可以删除第一消息的索引。
306.在一些实施例中,电子设备可以仅存储预设时段内接收的未读消息的索引,例如仅存储24小时以内接收的未读消息的索引,即仅存储接收时刻和当前时刻的差值小于或等于24小时的未读消息的索引,删除上述差值大于24小时的未读消息的索引。
307.在一些实施例中,电子设备存储并获取消息的索引的算法可以称为第一算法。电子设备仅接收到消息但不确定处于预设场景时,第一算法的标志位可以置0,电子设备不会执行第一算法。当电子设备确定处于预设场景以及接收到消息的情况下,第一算法的标志位才置1,电子设备可以执行第一算法。
308.在一些实施例中,电子设备确定不处于预设场景,例如图3的s101-s103中任一项的判断结果为否时确定不处于第一预设场景,图4的s201、s203-s204中任一项的判断结果为否时确定不处于第一预设场景,图8的s401-s403中任一项的判断结果为否时确定不处于第二预设场景,图10的s501-s504中任一项的判断结果为否时确定不处于第三预设场景。电子设备确定不处于预设场景的情况下,接收到消息时,电子设备可以直接存储消息,但不获取并存储消息的索引,也不会基于用户的语音输入和未读消息的索引确定播放未读消息的方式,响应用户的语音输入。
309.本技术中,电子设备可以确定处于预设场景以及接收到消息时,可以获取并存储消息的索引。电子设备100可以基于未读消息的索引和用户进行语音交互,相比直接根据用户语音输入从大量的存储内容中确定播放的内容,更加快速高效,准确性高,也节省了设备功耗。
310.并且,已读消息或者超过预设时段未读的消息的索引可以被删除,避免用户不关注、对用户不紧急、不重要或已读的消息占用存储空间,产品可用性更高。
311.需要说明的是,本技术实施例中“至少一个”是指一个或者多个,多个是指两个或两个以上。除非另有定义,本文所使用的所有的技术和科学术语与属于本技术中的技术领域的技术人员通常理解的含义相同。本技术的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本技术。应理解,本技术中除非另有说明,“/”表示或的意思。例如,a/b可以表示a或b。本技术中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。需要说明的是,本技术实施例中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术实施例的描述中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
312.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程
可以由计算机程序来计算机程序相关的硬件完成,该计算机程序可存储于计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,rom)或随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可存储计算机程序代码的介质。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1