人机交互的方法、电子设备及系统与流程

文档序号:37621807发布日期:2024-04-18 17:36阅读:65来源:国知局

本技术涉及终端,尤其涉及一种人机交互的方法、电子设备及系统。


背景技术:

1、目前,手机、智能手表、智能汽车等各种各样的电子设备已经逐渐得到了广泛的应用。基于电子设备的设备能力不同以及其中所安装的应用程序的不同,不同电子设备可以向用户提供的服务通常也会有所差异。

2、现有技术中,当用户需要使用某个电子设备的服务时,可以向该电子设备提交语音数据,该电子设备可以接收该语音数据,对该语音数据进行处理从而得到确定相应的服务指令,然后执行该服务指令来向用户呈现该服务。也即是,用户必须与该电子设备进行交互,才能获得该电子设备所提供的服务,为此,用户必须随着携带该电子设备或者与该电子设备保持较近的距离,因此这种人机交互方式的局限性很大,用户体验很差。


技术实现思路

1、有鉴于此,本技术提供一种人机交互的方法、电子设备及系统,提供了一种更加自由和泛用性的人机交互方式,实现了用户与一个电子设备进行交互,从而获取到另一电子设备所提供的服务,极大地提高了用户体验。

2、为了实现上述目的,第一方面,本技术实施例提供一种人机交互的方法,应用于第一设备,所述方法包括:

3、响应于检测到的第一语音数据,获取所述第一语音数据的识别结果;

4、若所述第一语音数据的识别结果包括第一服务指令和协同标识,则向第二设备发送所述第一服务指令和所述协同标识,所述协同标识用于指示所述第二设备与所述第一设备协同执行所述第一服务指令;

5、接收所述第二设备基于第一服务指令返回的第一服务数据;

6、呈现所述第一服务数据。

7、在本技术实施例中,第一设备可以响应于检测到的第一语音数据,获取第一语音数据的识别结果,若第一语音数据的识别结果包括第一服务指令和协同标识,第一设备可以向第二设备发送第一服务指令和协同标识。第二设备可以执行该第一服务指令,并向第一设备返回第一服务数据,从而通过硬件迁移的方式,在第一设备呈现第一服务数据。也即是,第一设备和第二设备可以共享与用户之间的人机交互能力和设备能力,用户可以通过与第一设备进行交互,使用第二设备中的服务,极大地提高了人机交互的泛用性和用户体验。

8、其中,第一服务数据可以用于提供视觉、听觉、味觉、触觉和嗅觉等至少一种感官体验。在一些实施方式中,第一服务数据可以包括视频数据和音频数据中的至少一种。

9、在一些实施方式中,所述获取所述第一语音数据的识别结果,包括:

10、获取协同状态信息,所述协同状态信息用于指示所述第一设备和所述第二设备之间的协同状态;

11、基于所述第一语音数据和所述协同状态信息,获取所述第一语音数据的识别结果。

12、在一些实施方式中,所述协同状态信息包括所述第一设备和所述第二设备之间的连接状态信息和至少一个应用的应用状态信息中的至少一个。

13、在一些实施方式中,连接状态信息可以包括连接或断开。

14、在一些实施方式中,应用的应用状态信息可以包括:应用来源、应用是否在前台运行、应用运行是否运行。

15、由于协同状态信息可以用于指示第一设备与第二设之间的连接状态信息、至少一个应用的应用状态信息等协同状态,因此,可以基于该协同状态,确定是否生成第一服务指令和协同标识,提高了获取第一语音数据的识别结果的准确性。

16、在一些实施方式中,所述基于所述第一语音数据和所述协同状态信息,获取所述第一语音数据的识别结果,包括下述任一项:

17、若所述第一设备和所述第二设备已连接,第一目标设备为所述第二设备,则生成所述第一服务指令和所述协同标识,所述第一目标设备为执行所述第一服务指令的设备;

18、若所述第一设备和所述第二设备已连接,第一目标应用的应用来源包括所述第二设备且不包括所述第一设备,则生成所述第一服务指令和所述协同标识,所述第一目标应用为执行所述第一服务指令的应用,所述应用来源为所述第一目标应用的安装位置;

19、若所述第一设备和所述第二设备已连接,所述第一目标应用的应用来源包括所述第一设备和所述第二设备,所述第一设备正在所述第一设备的前台呈现第二服务数据,则生成所述第一服务指令和所述协同标识,所述第二服务数据为所述应用来源为所述第二设备的所述第一目标应用的服务数据;

20、若所述第一设备和所述第二设备已连接,所述第一目标应用的应用来源包括所述第一设备和所述第二设备,所述第一设备正在呈现所述第二服务数据,且所述第一设备的未在所述第一设备的前台呈现第三服务数据,则生成所述第一服务指令和所述协同标识,所述第三服务数据为所述应用来源为所述第一设备的所述第一目标应用的服务数据;

21、若所述第一设备和所述第二设备已连接,所述第一目标应用的应用来源包括所述第一设备和所述第二设备,所述第一设备当前并未呈现所述第二服务数据和所述第三服务数据,所述第二设备在所述第一设备投屏显示任一显示界面,则生成所述第一服务指令和所述协同标识。

22、需要说明的是,第二服务数据可以为第二设备中的第一目标应用生成的任意服务数据,第三服务数据可以第一设备中的第一目标应用生成的任意服务数据。

23、还需要说明的是,第一设备正在第一设备的前台呈现第二服务数据,也可以理解为第二设备中的第一目标应用在第一设备的前台“运行”。第一设备正在呈现第二服务数据,也可以理解为第二设备中的第一目标应用正在第一设备中“运行”。这里的“运行”可以指对于用户而言,第一目标应用是运行在第一设备,但实际上第一目标应用真实的运行位置在第二设备。

24、还需要说明的是,第一设备正在第一设备的前台呈现第三服务数据,也可以理解为第一设备中的第一目标应用在第一设备的前台运行。第一设备正在呈现第三服务数据,也可以理解为第一设备中的第一目标应用正在第一设备中运行。第一目标应用真实的运行位置在第一设备。

25、在一些实施方式中,所述获取所述第一语音数据的识别结果,包括:

26、向第三设备发送所述第一语音数据;

27、获取所述第三设备返回的所述第一语音数据的识别结果。

28、在一些实施方式中,所述方法还包括:

29、向所述第三设备发送协同状态信息。

30、通过向第三设备发送协同状态信息,可以使得第三设备基于该协同状态,确定是否生成第一服务指令和协同标识,提高了获取第一语音数据的识别结果的准确性。

31、在一些实施方式中,所述方法还包括:

32、向所述第二设备发送至少一种控制参数,所述至少一种控制参数用于指示所述第一服务数据的特征。

33、通过向第二设备发送至少一种控制参数,第二设备可以基于该至少一种控制参数,生成第一服务数据,使得第一服务数据具有该至少一种控制参数所指示的特征。在一些实施方式中,以至少一种控制参数包括语音参数为例,第一服务指令可以携带该语音参数。第一设备在执行第一服务指令时,若生成语音数据,则基于该语音参数生成该语音数据。第一设备在播放语音数据时即可以基于该语音参数,播放该语音数据。也即是,第一设备可以将第一设备本端的语音参数,提供给第二设备,当该第一服务指令分发到第二设备,第二设备执行第一服务指令并向第一设备返回语音数据时,第一设备可以按照播放第一设备生成的语音数据相同的方式,播放第二设备返回的语音数据,使得第一设备在单独向用户提供语音播放时和通过与第二设备协同向用户提供语音播放时,能够提供尽可能相同的播放体验。在一些实施方式中,该语音参数可以包括音量和音色中的至少一个。

34、在一些实施方式中,所述向第二设备发送所述第一服务指令和所述协同标识,包括:

35、向所述第二设备发送协同指令,所述协同指令由对所述第一服务指令和所述协同标识进行封装得到。

36、在一些实施方式中,第二设备可以通过第一目标应用的软件开发工具包(software development kit,sdk)接口,指示第一目标应用执行第一服务指令。在一些实施方式中,第二设备可以通过第一目标应用中的北向规范接口,指示第一目标应用执行第一服务指令。在一些实施方式中,第二设备可以通过模拟点击的方式指示第一目标应用执行第一服务指令。

37、第二方面,本技术实施例提供一种人机交互的方法,应用于第二设备,所述方法包括:

38、响应于从第一设备获取到的第一服务指令和协同标识,基于所述第一服务指令生成第一服务数据,所述第一服务指令和所述协同标识由所述第一设备基于第一语音数据获取得到,所述协同标识用于指示所述第二设备与所述第一设备协同执行所述第一服务指令;

39、向所述第一设备发送所述第一服务数据,以使得所述第一设备呈现所述第一服务数据。

40、在一些实施方式中,所述方法还包括:

41、从所述第一设备获取协同指令;

42、对所述协同指令解封,得到所述第一服务指令和所述协同标识。

43、在一些实施方式中,所述方法还包括:

44、响应于检测到的第二语音数据,获取所述第二语音数据对应的第二服务指令;

45、基于所述第二服务指令,呈现第四服务数据,所述第四服务数据由所述第二设备执行所述第二服务指令生成。

46、由于第二设备只获取到第二服务指令,而未获取到协同标识,因此第二设备即为执行第二服务指令的第二目标设备,可以执行第二服务指令生成第四服务数据。也即是,第二设备可以在通过硬件迁移的方式在第一设备呈现第一服务数据之后,仍然可以与用户进行语音交互,从而在第二设本端呈现第四服务数据,使得用户既可以通过与第一设备进行交互来使用第二设备的服务,又可以与第二设备进行交互来使用第二设备的服务,提高了人机交互的灵活性和用户体验。

47、在一些实施方式中,第二设备可以停止向第一设备发送第一服务数据,第一设备可以停止呈现第一服务数据。在一些实施方式中,第二设备可以通知第一设备停止呈现第一服务数据。也即是,在第二设备本端呈现第四服务数据时,可以停止通过硬件迁移的方式在第一设备呈现任何服务数据,使得用户可以在与第一设备和第二设备之间人机交互进行无缝切换,提高了人机交互的灵活性和用户体验。

48、在一些实施方式中,第一目标应用和第二目标应用相同,所述第一目标应用为执行所述第一目标服务指令的应用,所述第二目标应用为执行所述第二服务指令的应用,所述方法还包括:

49、停止向所述第一设备发送所述第一服务数据,以使得所述第一设备停止呈现所述第一服务数据。

50、也即是,对于同一目标应用,当用户与第一设备进行语音交互时,第二设备可以在通过硬件迁移的方式在第一设备呈现第一服务数据,当用户又与第二设备进行语音交互时,第二设备可以通过硬件回迁,在第二设备呈现第四服务数据,而对于目标应用之外的其他应用的服务数据,仍然保持该服务数据的呈现方式不变,实现了以应用为单位的硬件迁移和硬件回迁,进一步提高了人机交互的灵活性和用户体验。

51、在一些实施方式中,所述获取所述第二语音数据对应的第二服务指令,包括:

52、向第三设备发送所述第二语音数据;

53、获取所述第三设备返回的所述第二服务指令。

54、在一些实施方式中,所述方法还包括:

55、从所述第一设备获取至少一种控制参数;

56、基于所述至少一种控制参数,生成所述第一服务数据。

57、第三方面,本技术实施例提供一种人机交互的方法,应用于包括第一设备和第二设备的系统,所述方法包括:

58、所述第一设备响应于检测到的第一语音数据,获取所述第一语音数据的识别结果;

59、若所述第一语音数据的识别结果包括第一服务指令和协同标识,则所述第一设备向第二设备发送所述第一服务指令和所述协同标识,所述协同标识用于指示所述第二设备与所述第一设备协同执行所述第一服务指令;

60、所述第二设备基于所述第一服务指令,向所述第一设备发送所述第一服务数据;

61、所述第一设备呈现所述第一服务数据。

62、在一些实施方式中,所述方法还包括:

63、所述第二设备响应于检测到的第二语音数据,获取所述第二语音数据对应的第二服务指令;

64、所述第二设备基于所述第二服务指令,呈现第四服务数据,所述第四服务数据由所述第二设备执行所述第二服务指令生成。

65、在一些实施方式中,第一目标应用和第二目标应用相同,所述第一目标应用为执行所述第一目标服务指令的应用,所述第二目标应用为执行所述第二服务指令的应用,所述方法还包括:

66、所述第二设备停止向所述第一设备发送所述第一服务数据;

67、所述第一设备停止呈现所述第一服务数据。

68、在一些实施方式中,所述系统还包括第三设备,所述第一设备获取所述第一语音数据的识别结果,包括:

69、所述第一设备向所述第三设备发送所述第一语音数据;

70、所述第三设备对所述第一语音数据进行识别,得到所述第一语音数据的识别结果;

71、所述第三设备向所述第一设备返回所述第一语音数据的识别结果。

72、在一些实施方式中,所述第三设备向所述第一设备返回所述第一语音数据的识别结果,包括:

73、若所述第一语音数据的识别结果包括第一服务指令和协同标识,则所述第三设备对所述第一服务指令和所述协同标识进行封装,得到协同指令;

74、所述第三设备向所述第一设备返回所述协同指令;

75、所述第一设备向第二设备发送所述第一服务指令和所述协同标识,包括:

76、所述第一设备向所述第二设备发送所述协同指令;

77、所述方法还包括:

78、所述第二设备对所述协同指令进行解封,得到所述第一服务指令和所述协同标识。

79、在一些实施方式中,所述方法还包括:

80、所述第一设备向所述第三设备发送协同状态信息,所述协同状态信息用于指示所述第一设备和所述第二设备之间的协同状态;

81、所述第三设备对所述第一语音数据进行识别,得到所述第一语音数据的识别结果,包括:

82、所述第三设备基于所述第一语音数据和所述协同状态信息,获取所述第一语音数据的识别结果。

83、在一些实施方式中,所述方法还包括:

84、所述第一设备向所述第三设备发送至少一种控制参数,所述至少一种控制参数用于指示所述第一服务数据的特征;

85、所述第三设备生成所述第一服务指令,所述第一服务指令中携带所述至少一种控制参数。

86、第四方面,本技术实施例提供了一种用于人机交互的装置,该装置具有实现上述各方面及上述各方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,收发模块或单元、处理模块或单元、获取模块或单元等。

87、第五方面,本技术实施例提供一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在调用计算机程序时执行上述第一方面中任一项所述的方法。

88、第六方面,本技术实施例提供一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在调用计算机程序时执行上述第二方面中任一项所述的方法。

89、第七方面,本技术实施例提供一种系统,包括上述第五方面中任一项所述的电子设备以及上述第六方面中任一项所述的电子设备。

90、第八方面,本技术实施例提供一种芯片系统,所述芯片系统包括处理器,所述处理器与存储器耦合,所述处理器执行存储器中存储的计算机程序,以实现上述第一方面中任一项所述的方法或第二方面任一项所述的方法。

91、其中,所述芯片系统可以为单个芯片,或者多个芯片组成的芯片模组。

92、第九方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面中任一项所述的方法或第二方面任一项所述的方法。

93、第十方面,本技术实施例提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一项所述的方法或第二方面任一项所述的方法。

94、可以理解的是,上述第二方面至第十方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

当前第1页1 2 
当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!
1