交互控制方法、装置、电子设备及计算机可读存储介质与流程

文档序号:26587549发布日期:2021-09-10 19:48阅读:103来源:国知局
交互控制方法、装置、电子设备及计算机可读存储介质与流程

1.本公开涉及计算机技术,尤其涉及一种交互控制方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.数字人服务是一种新型的人机交互系统,系统通过展示出虚拟的数字人形象,真实用户通过计算机视觉、语音对话、屏幕触摸等方式与数字人服务进行交互;数字人服务集成有语音识别、语义理解、语音合成等模块,可以自主回答真实用户提出的问题,与真实用户进行对话。数字人服务在与真实用户交互的过程中,主要依赖语义理解模块自动生成回答,与真实用户交互。
3.相关技术中,数字人在处理复杂问题时存在不足,智能性不高。


技术实现要素:

4.本公开实施例提供一种交互控制方法、装置、电子设备及计算机可读存储介质,能够提高终端的智能性。
5.本公开实施例的技术方案是这样实现的:
6.本公开实施例提供一种交互控制方法,包括:接收真实用户提供的交互信息;所述交互信息用于指示所述真实用户与虚拟对象之间进行互动;检测到所述交互信息满足协助条件,向真实客服终端发送远程协助请求;所述远程协助请求表征虚拟对象终端请求所述真实客服终端提供协助信息;接收到针对所述远程协助请求的反馈消息,向所述真实客服终端发送所述真实用户的第一通信数据;所述第一通信数据为所述真实用户向所述虚拟对象提出的交互请求数据;接收到所述真实客服终端发送的、且与所述第一通信数据对应的所述协助信息,采用所述协助信息与所述真实用户进行互动。
7.本公开实施例还提供一种交互控制方法,包括:接收虚拟对象终端发送的远程协助请求;所述远程协助请求表征所述虚拟对象终端请求真实客服终端提供协助信息;所述协助信息用于供虚拟对象与真实用户进行互动;向服务器发送针对所述远程协助请求的请求接受消息,以供所述服务器基于所述请求接受消息,向所述虚拟对象终端发送反馈消息;接收所述虚拟对象终端基于所述反馈消息发送的所述真实用户的第一通信数据;生成与所述第一通信数据对应的所述协助信息,并发送至所述虚拟对象终端。
8.本公开实施例还提供一种交互控制方法,包括:接收虚拟对象终端发送的远程协助请求,并将所述远程协助请求转发至真实客服终端;所述远程协助请求表征所述虚拟对象终端请求所述真实客服终端提供协助信息;所述协助信息用于供虚拟对象与真实用户进行互动;接收所述真实客服终端发送的请求接受消息;基于所述请求接受消息,向所述虚拟对象终端发送反馈消息;接收所述虚拟对象终端基于所述反馈消息发送的真实用户的第一通信数据,并将所述第一通信数据转发至所述真实客服终端;接收所述真实客服终端发送的、且与所述第一通信数据对应的所述协助信息,并将所述协助信息转发至所述虚拟对象
终端。
9.本公开实施例提供一种交互控制装置,包括:第一接收单元,用于接收真实用户提供的交互信息;所述交互信息用于指示所述真实用户与虚拟对象之间进行互动;
10.第一发送单元,用于检测到所述交互信息满足协助条件,向真实客服终端发送远程协助请求;所述远程协助请求表征虚拟对象终端请求所述真实客服终端提供协助信息;接收到针对所述远程协助请求的反馈消息,向所述真实客服终端发送所述真实用户的第一通信数据;所述第一通信数据为所述真实用户向所述虚拟对象提出的交互请求数据;互动单元,还用于接收到所述真实客服终端发送的、且与所述通信数据对应的所述协助信息,采用所述协助信息与所述真实用户进行互动。
11.本公开实施例还提供一种交互控制装置,包括:第二接收单元,用于接收虚拟对象终端发送的远程协助请求;所述远程协助请求表征所述虚拟对象终端请求真实客服终端提供协助信息;所述协助信息用于供虚拟对象与真实用户进行互动;第二发送单元,用于向服务器发送针对所述远程协助请求的请求接受消息,以供所述服务器基于所述请求接受消息,向所述虚拟对象终端发送反馈消息;所述第一接收单元,还用于接收所述虚拟对象终端基于所述反馈消息发送的所述真实用户的第一通信数据;信息生成单元,还用于生成与所述第一通信数据对应的所述协助信息;所述第二发送单元,还用于将所述第一通信数据对应的所述协助信息,发送至所述虚拟对象终端。
12.本公开实施例还提供一种交互控制装置,包括:信息转发单元,用于接收虚拟对象终端发送的远程协助请求,并将所述远程协助请求转发至真实客服终端;所述远程协助请求表征所述虚拟对象终端请求所述真实客服终端提供协助信息;所述协助信息用于供虚拟对象与真实用户进行互动;第三接收单元,用于接收所述真实客服终端发送的请求接受消息;第三发送单元,用于基于所述请求接受消息,向所述虚拟对象终端发送反馈消息;所述信息转发单元,还用于接收所述虚拟对象终端基于所述反馈消息发送的真实用户的第一通信数据,并将所述第一通信数据转发至所述真实客服终端;接收所述真实客服终端发送的、且与所述第一通信数据对应的所述协助信息,并将所述协助信息转发至所述虚拟对象终端。
13.本公开实施例提供一种电子设备,包括:存储器,用于存储可执行计算机程序;处理器,用于执行所述存储器中存储的可执行计算机程序时,实现上述的交互控制方法。
14.本公开实施例提供一种计算机可读存储介质,存储有计算机程序,用于引起处理器执行时,实现上述的交互控制方法。
15.本公开实施例提供的交互控制方法、装置、电子设备及计算机可读存储介质,虚拟客服终端接收真实用户提供的、且用于指示真实用户与虚拟对象之间进行互动交互信息,在检测到交互信息满足协助条件的情况下,向真实客服终端发送表征虚拟对象终端请求真实客服终端提供协助信息的远程协助请求,并在接收到针对远程协助请求的反馈消息的情况下,向真实客服终端发送真实用户向虚拟对象提出的交互请求数据,以及在接收到真实客服终端发送的、与该交互请求数据对应的协助信息的情况下,采用协助信息与真实用户进行交互,如此,提高了虚拟对象终端对真实用户的交互请求数据的应答覆盖面,以及向真实用户提供的应答信息的正确性,从而增加了虚拟对象终端的功能多样性,提高了虚拟对象终端的智能性。
16.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
18.图1为本公开实施例提供的交互控制系统的一个架构示意图;
19.图2为本公开实施例提供的交互控制方法的一个可选的流程示意图;
20.图3为本公开实施例提供的交互控制方法的一个可选的流程示意图;
21.图4为本公开实施例提供的交互控制方法的一个可选的流程示意图;
22.图5为本公开实施例提供的交互控制方法的一个可选的流程示意图;
23.图6为本公开实施例提供的交互控制方法的一个可选的流程示意图;
24.图7为本公开实施例提供的交互控制方法的一个可选的流程示意图;
25.图8为本公开实施例提供的交互控制方法的一个可选的流程示意图;
26.图9为本公开实施例提供的交互控制方法的一个可选的流程示意图;
27.图10为本公开实施例提供的示例性地登陆状态展示页面的一个示意图;
28.图11为本公开实施例提供的示例性地请求展示页面的一个示意图;
29.图12为本公开实施例提供的交互控制方法的一个可选的流程示意图;
30.图13为本公开实施例提供的交互控制方法的一个可选的流程示意图;
31.图14为本公开实施例提供的示例性地第一协助页面的一个示意图;
32.图15为本公开实施例提供的示例性地第一协助页面的另一个示意图;
33.图16为本公开实施例提供的交互控制方法的一个可选的流程示意图;
34.图17a为本公开实施例提供的示例性地第二协助页面的一个示意图;
35.图17b为本公开实施例提供的示例性地第二协助页面的另一个示意图;
36.图18为本公开实施例提供的示例性地第二协助页面的又一个示意图;
37.图19a为本公开实施例提供的示例性地第一协助页面的又一个示意图;
38.图19b为本公开实施例提供的示例性地第二协助页面的再一个示意图;
39.图20为本公开实施例提供的交互控制方法的一个可选的流程示意图;
40.图21为本公开实施例提供的虚拟对象终端、真实客服终端和服务器之间的交互流程示意图;
41.图22为本公开实施例提供的交互控制装置的一个结构示意图;
42.图23为本公开实施例提供的交互控制装置的另一个结构示意图;
43.图24为本公开实施例提供的交互控制装置的又一个结构示意图;
44.图25为本公开实施例提供的电子设备的结构示意图。
具体实施方式
45.为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,所描述的实施例不应视为对本公开的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
46.数字人服务是一种新型的人机交互系统,系统通过展示出虚拟的数字人形象,真实用户通过计算机视觉、语音对话、屏幕触摸等方式与数字人服务进行交互;数字人服务集成有语音识别、语义理解、语音合成等模块,可以自主回答真实用户提出的问题,与真实用户进行对话。数字人服务在与真实用户交互的过程中,主要依赖语义理解模块自动生成回答,与真实用户交互,但在处理复杂问题时存在不足,超出范围的问题无法回答,并且也无法处理突发情况,智能性不高。
47.本公开实施例提供一种交互控制方法,能够提高设备的智能性。本公开实施例提供的交互控制方法应用于电子设备。本公开实施例提供的电子设备可以实施为ar眼镜、笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的真实用户终端(以下简称终端),也可以实施为服务器。
48.下面结合在数字人与真实用户进行交互的场景中,虚拟对象终端与真实客服终端之间通过服务器交互,而实现终端之间的交互控制来进行说明。示例性地,图1为本公开实施例提供的交互控制系统的一个架构示意图;如图1所示,交互控制系统100包括至少一个虚拟对象终端200(示例性地,图1中示出了终端200a)、至少一个真实客服终端300(示例性地,图1中示出了终端300a)和至少一个服务器(示例性地,图1中示出了服务器400a)。虚拟对象终端200a上运行有数字人服务,数字人服务用于与真实用户进行互动,如图1所示,虚拟对象终端200a在运行数字人服务的情况下,在显示界面上显示有虚拟数字人201;真实客服终端300a上运行有远程控制服务,用于通过真实客服(例如,使用远程控制服务的真实人)针对远程控制服务的操作,对虚拟对象终端提供信息协助。
49.虚拟对象终端200a接收真实用户发送的、且用于指示真实用户与虚拟数字人201之间进行互动的交互信息,在虚拟对象终端200a确定该交互信息不满足协助条件的情况下(例如,虚拟对象终端200a可以应答真实用户的问题信息等),虚拟对象终端200a生成与该交互信息对应的应答信息,以应答该真实用户。在虚拟对象200a该交互信息满足协助条件的情况下(例如,虚拟对象终端200a无法应答真实用户的问题信息,或者,真实用户请求与真实客服进行互动等),虚拟对象终端200a通过数字人服务,向服务器400a发送远程协助请求;服务器400a将接收到的远程协助请求转发至真实客服终端300a。真实客服终端300a在接收到该真实客服发送的请求接受操作的情况下,向服务器400a发送请求接受消息;服务器400a在接收到请求接受消息的情况下,向虚拟对象终端200a发送反馈消息。在接收到针对远程协助请求的反馈消息的情况下,虚拟对象终端200a通过数字人服务,向服务器400a发送该真实用户的文本数据、语音数据或视频数据等第一通信数据(第一通信数据为上述的交互信息,或者,第一通信数据为与交互信息不同的数据,例如,可以是在接收到交互信息之后,所接收到的真实用户发送过来的数据);服务器400a将接收到的第一通信数据转发至真实客服终端300a。真实客服终端300a在接收到第一通信数据的情况下,通过远程控制服务所接收到的真实客服输入的文字信息、语音信息或视频信息等信息,生成与第一通信数据对应的文本信息、语音信息或视频信息等协助信息,并将协助信息发送至服务器400a;服务器400a将接收到的真实客服终端300a发送的协助信息,转发至虚拟对象终端200a。虚拟对象终端200a通过虚拟数字人201,采用接收到的协助信息与该真实用户进行互动。
50.下面将对本公开实施例提供的交互控制方法进行详细说明,其中,上述的电子设
备可以实施为终端。图2是本公开实施例提供的交互控制方法的一个可选的流程示意图,将结合图2示出的步骤进行说明。
51.s101、接收真实用户提供的交互信息;交互信息用于指示真实用户与虚拟对象之间进行互动。
52.本公开实施例中,虚拟对象终端上显示有虚拟对象,且虚拟对象终端可以接收真实用户向虚拟对象终端发送的、且用于指示真实用户与虚拟对象之间进行互动的交互信息;例如,交互信息可以是真实用户在虚拟对象终端上输入的问题信息,以供虚拟对象终端通过虚拟对象进行解答。
53.在一些实施例中,虚拟对象终端在运行数字人服务的情况下,可以在显示屏幕上显示虚拟对象(例如,虚拟人物),并可以通过该虚拟对象与真实用户进行交互,例如,该虚拟对象可以是虚拟客服,或者虚拟的服务人员等。
54.在一些实施例中,虚拟对象终端可以通过的摄像头和麦克风等采集部件,来采集用户的交互信息。例如,虚拟对象终端可以通过的麦克风,接收真实用户发送的语音交互信息,也可以利用摄像头采集用户的视频交互信息等。
55.s102、检测到交互信息满足协助条件,向真实客服终端发送远程协助请求;远程协助请求表征虚拟对象终端请求真实客服终端提供协助信息。
56.本公开实施例中,虚拟对象终端在确定交互信息满足协助条件的情况下,例如,在确定无法自主应答用户提出的问题信息的情况下,可以向真实客服终端发送远程协助请求,通过该远程协助请求,请求真实客服终端提供文字信息、语音信息或视频信息等协助信息。
57.在一些实施例中,交互信息满足协助条件满足协助条件,包括下述三种情况中的任意一种:(1)基于交互信息,确定与真实用户之间的交互状态满足预设条件;(2)检测到交互信息中包含的第二通信数据中,出现预设关键字;(3)检测到交互信息为协助操作。
58.针对上述第(1)种情况,在一些实施例中,虚拟对象终端可以在检测到生成交互信息对应的应答信息的状态的失败次数达到第一预设次数的情况下,确定与真实用户之间的交互状态满足预设条件。
59.这里,虚拟对象终端在通过虚拟对象与真实用户进行互动的过程中,可以实时检测虚拟对象与真实用户之间的交互状态,例如,是否在正常交互,或者是否无法回答真实用户的提问等,并检测到生成交互信息对应的应答信息失败,即无法回答真实用户的提问的状态,并且该失败次数达到第一预设次数的情况下,确定与真实用户之间的交互状态满足预设条件。
60.示例性的,上述检测到生成交互信息对应的应答信息的状态的失败次数出现第一预设次数,可以是针对同一个真实用户的次数;也可以是针对多个真实用户累计得到的次数,本公开实施例对此不作限定。
61.针对上述第(1)种情况,在一些实施例中,虚拟对象终端还可以在检测到交互信息中针对应答信息的预设反馈关键字的次数达到第二预设次数的情况下,确定与真实用户之间的互动状态满足预设条件;其中,应答信息为针对交互信息生成的信息;预设反馈关键字表征真实用户请求重新提供正确应答信息。
62.示例性地,虚拟对象终端在通过虚拟对象与真实用户进行交互过程中,可以在虚
拟对象向真实用户提供了应答信息之后,利用语义理解软件模块,对真实用户针对该应答信息的反馈信息进行文字识别,或者,采用语音识别软件模块,对真实用户针对该应答信息的反馈信息进行语音识别;并在从反馈信息中识别到预设反馈关键字,且识别到预设关键字的次数达到了第二预设次数的情况下,确定与真实用户之间的交互状态满足预设条件。
63.其中,上述的在从反馈信息中识别到预设反馈关键字,且识别到预设关键字的次数达到第二预设次数,可以是针对同一个真实用户的次数;也可以是针对多个真实用户累计得到的次数,本公开实施例同样对此不作限定。
64.其中,预设反馈关键字可以根据实际需要设定,例如,可以是“不满意”、“不正确”等,本公开实施例对此不作限定;以及,第一预设次数和第二预设次数的数值,可以根据实际需要设定,本公开实施例对此也不作限定。
65.针对上述第(2)种情况,虚拟对象终端可以对接收到的交互信息中包含的文本信息或语音信息等第二通信数据,进行关键字识别,例如,对文本信息进行文本识别,对语音信息进行语音识别,并在从文本信息或语音信息中,识别到了预设关键字的情况下,向真实客服终端发送远程协助请求。
66.示例性地,虚拟对象终端可以通过数字人服务,对真实用户输入的文字信息进行关键字识别;以及,对真实用户输入的语音信息进行语音识别,并在识别到预设关键字的情况下,向真实客服终端发送远程协助请求。
67.针对上述第(3)种情况,虚拟对象终端可以在检测到交互信息为真实用户的协助操作的情况下,向真实客服终端发送远程协助请求。
68.在一些实施例中,虚拟对象终端在显示虚拟对象的同时,还可以显示虚拟按键,或者,虚拟对象终端上还设置有物理按键,真实用户可以通过点击虚拟按键或物理按键来向真实客服终端发出协助操作,真实客服终端在接收到协助操作的情况下,向虚拟对象终端发送远程协助请求。
69.s103、接收到针对远程协助请求的反馈消息,向真实客服终端发送真实用户的第一通信数据;第一通信数据为真实用户向虚拟对象提出的交互请求数据。
70.本公开实施例中,在虚拟对象终端接收到针对远程协助请求的反馈消息的情况下,虚拟对象终端可以将真实用户的第一通信数据发送至真实客服终端,以供真实客服终端通过参考该第一通信数据而生成协助信息。
71.在一些实施例中,第一通信数据可以是上述的交互信息;例如,在交互信息为虚拟对象终端无法解答的问题信息的情况下,在真实客服终端接受该远程协助请求的情况下,虚拟对象终端将该问题信息转发至真实客服终端。在一些实施例中,第一通信数据可以是与上述交互信息不同的数据,例如,在真实用户向虚拟对象终端发送与请求与真实客服进行交互的请求的情况下,上述的交互信息为该请求,第一通信数据是在真实客服终端接受该远程协助请求的情况下,真实用户向虚拟对象终端输入的、且与真实客服交互的数据。
72.示例性的,在虚拟对象终端接收到了真实客服终端已接受该远程协助请求的反馈消息,或者,在虚拟对象终端接收到了服务器发送的用于传输会话数据的会话信道已建立(建立成功)的反馈消息;并且,虚拟对象终端与真实用户正在进行语音交互的情况下,虚拟对象终端可以将采集到的真实用户的语音数据转发至真实客服终端,以供真实客服终端根据真实用户的语音数据生成相应的协助信息。
73.示例性的,在接收到了真实客服终端已接受该远程协助请求的反馈消息,或者,在虚拟对象终端接收到了服务器发送的用于传输会话数据的会话信道已建立的反馈消息;并且,虚拟对象终端通过虚拟对象与真实用户正在进行视频交互的情况下,虚拟对象终端可以将真实用户的视频数据转发至真实客服终端,以供真实客服终端根据真实用户的视频数据生成相应的协助信息。需要说明的是,本公开实施例中所述的虚拟对象终端与真实用户正在进行语音交互,可以表征真实用户正在向虚拟对象终端发送语音交互的请求,也可以表征虚拟对象终端已经接受了真实用户的语音交互的请求,并且正在通过语音通信进行交互;同样,本公开实施例中所述的虚拟对象终端与真实用户正在进行视频交互,可以表征真实用户正在向虚拟对象终端发送视频交互的请求,也可以表征虚拟对象终端已经接受了真实用户的视频交互的请求,并且正在通过视频通信进行交互,本公开实施例对此不作限定。需要说明的是,虚拟对象终端通过虚拟对象与真实用户进行视频交互,表征虚拟对象终端将虚拟对象的实时形象展示在虚拟对象终端的显示屏幕上,且虚拟对象终端通过摄像头实时采集真实用户的视频图像,且同时通过麦克风实时采集真实用户的语音信息。
74.s104、接收到真实客服终端发送的、且与第一通信数据对应的协助信息,采用协助信息与真实用户进行互动。
75.本公开实施例中,虚拟对象终端在接收到真实客服终端发送的与第一通信数据对应的文本信息、语音信息或视频信息等协助信息的情况下,可以采用该协助信息与真实用户进行互动。
76.示例性地,在虚拟对象终端上运行有数字人服务,且虚拟对象终端的显示屏幕上显示有虚拟对象的情况下,虚拟对象终端可以通过该虚拟对象,根据接收到的协助信息与真实用户进行互动,例如,虚拟对象终端可以通过该虚拟对象,采用接收到的协助信息回答真实用户的提问。
77.本公开实施例中,虚拟客服终端接收真实用户提供的、且用于指示真实用户与虚拟对象之间进行互动交互信息,在检测到交互信息满足协助条件的情况下,向真实客服终端发送表征虚拟对象终端请求真实客服终端提供协助信息的远程协助请求,并在接收到针对远程协助请求的反馈消息的情况下,向真实客服终端发送真实用户向虚拟对象提出的交互请求数据,并在接收到真实客服终端发送的、与该交互请求数据对应的协助信息的情况下,采用协助信息与真实用户进行交互,如此,提高了虚拟对象终端对真实用户的交互请求数据的应答覆盖面,以及向真实用户提供的应答信息的正确性,从而增加了虚拟对象终端的功能多样性,提高了虚拟对象终端的智能性。
78.在本公开的一些实施例中,上述方法还包括s105,以下将结合图3中示出的步骤进行说明。
79.s105、检测到交互信息不满足协助条件,生成与交互信息对应的应答信息进行应答。
80.本公开实施例中,虚拟对象终端在确定接收到的真实用户的交互信息,不满足协助条件的情况下,可以生成与交互信息对应的答应信息,并将应答信息提供给真实用户,实现对交互信息的自主应答。
81.在一些实施例中,在交互信息为用户提出的问题信息,且虚拟对象终端确定该问题信息可以自主解答的情况下,虚拟对象终端确定交互信息不满足协助条件;在一些实施
例中,在交互信息是紧急程度较低的交互请求的情况下,例如,交互请求不涉及紧急求助、财产等方面的情况下,虚拟对象终端确定交互信息不满足协助条件;以及,在一些实施例中,在虚拟对象会对交互信息进行语音或文字识别,并在未识别到预设关键字的情况下,虚拟对象终端确定交互信息不满足协助条件。
82.在本公开的一些实施例中,上述的s102可以通过s1021或s1022实现,以下将结合图4中示出的步骤进行说明。
83.s1021、检测到交互信息中的第二通信数据中,出现第一类关键字,向真实客服终端发送接管请求;预设关键字包括:第一类预设关键字;远程协助请求包括:接管请求。
84.本公开实施例中,第二通信数据可以是交互信息中的文本信息或语音信息,虚拟对象终端可以在从接收到的真实用户的文本信息或语音信息中检测到第一类关键字的情况下,向真实客服终端发送接管请求。
85.在一些实施例中,接管请求和视频协助请求表征请求提供的协助信息为两类不同的信息;在另一些实施例中,接管请求为紧急程度低的请求,视频协助类请求为紧急程度高的请求,本公开实施例对此不作限定。
86.s1022、检测到交互信息中的第二通信数据中,出现第二类关键字,向真实客服终端发送视频协助请求;预设关键字包括:第二类预设关键字;远程协助请求包括:视频协助请求。
87.本公开实施例中,虚拟对象终端可以在从接收到的真实用户的文本信息或语音信息中检测到第二类关键字的情况下,向真实客服终端发送接管请求。
88.其中,第一类关键字和第二类关键字表征不同的语义,可以根据实际需要设定;例如,第一类关键字可以为“不智能”、“无法解答”,第二类关键字可以为“报警”、“紧急”等,本公开实施例对此不作限定。
89.在本公开的一些实施例中,上述的s102还可以通过s1023或s1024实现,以下将结合图5中示出的步骤进行说明。
90.s1023、在检测到交互信息为接管协助操作的情况下,向真实客服终端发送接管请求;协助操作包括:视频协助操作。
91.s1024、在检测到交互信息为视频协助操作的情况下,向真实客服终端发送视频协助请求;协助操作包括:视频协助操作。
92.本公开实施例中,虚拟对象终端可以在检测到真实用户的交互信息为接管协助操作的情况下,向真实客服终端发送与接管协助操作对应的接管请求,在检测到真实用户的交互信息为视频协助操作的情况下,向真实客服终端发送与视频协助操作对应的视频协助请求。
93.示例性地,虚拟对象终端在通过虚拟对象与真实用户进行互动的过程中,可以在显示虚拟对象的页面上同时显示不同的虚拟按钮,例如,第一虚拟按钮和第二虚拟按钮;或者,虚拟对象终端上还可以设置不同的物理按钮,例如,第一物理按钮和第二物理按钮。在接收到真实用户针对第一虚拟按钮或第一物理按钮的触摸操作的情况下,确定接收到接管协助操作,向真实客服终端发送接管请求;或者,在接收到真实用户针对第二虚拟按钮或第二物理按钮的触摸操作的情况下,确定接收到视频协助操作,向真实客服终端发送视频协助请求。
94.示例性地,虚拟对象终端还可以通过摄像头采集真实用户的图像,并识别图像中真实用户的肢体动作,在肢体动作为第一预设动作的情况下,确定接收到接管协助操作,向真实客服终端发送接管请求,在肢体动作为第二预设动作的情况下,确定接收到视频协助操作,向真实客服终端发送视频协助请求。
95.在本公开的一些实施例中,上述s103可以通过s1031或s1032实现,以下将结合图6中示出的步骤进行说明。
96.s1031、在接收到针对远程协助请求的反馈消息的情况下,且在远程协助请求为接管请求的情况下,将采集到的真实用户的语音数据或视频数据发送至真实客服终端;第一通信数据包括:音频数据或视频数据;远程协助请求包括:接管请求。
97.在本公开实施例中,虚拟对象终端在向真实客服终端发送的远程协助请求为接管请求的情况下,可以将采集的真实用户的语音数据或视频数据发送至真实客服终端,以供真实客服终端根据该语音数据或视频数据,生成相应的协助信息。
98.示例性地,在远程协助请求为接管请求,且虚拟对象终端上显示的虚拟对象在与真实用户进行语音交互的情况下,虚拟对象终端可以实时将真实用户的语音数据发送至真实客服终端。
99.需要说明的是,语音数据可以为虚拟对象终端通过麦克风实时采集到的语音数据,也可以为一段录音所对应的数据;以及,视频数据可以包括:虚拟对象终端通过摄像头实时采集到的真实用户的视频图像,同时,通过虚拟对象终端的麦克风实时采集到的真实用户的语音信息;也可以为一段录制的视频所对应的数据,本公开实施例对此不作限定。
100.s1032、在接收到针对远程协助请求的反馈消息的情况下,且在远程协助请求为视频协助请求的情况下,将采集到的真实用户的视频数据发送至真实客服终端;第一通信数据包括:视频数据;远程协助请求包括:视频协助请求。
101.本公开实施例中,虚拟对象终端在向真实客服终端发送的远程协助请求为视频协助请求的情况下,可以将采集的真实用户的视频数据发送至真实客服终端,以供真实客服终端根据该视频数据生成相应的协助信息。
102.示例性地,在远程协助请求为视频协助请求,且虚拟对象终端上显示的虚拟对象与真实用户正在进行视频交互的情况下,虚拟对象终端可以实时将真实用户的视频交互数据发送至真实客服终端。
103.在本公开的一些实施例中,上述方法还包括s106,需要说明的是s106可以在s103之后执行。
104.s106、在第一通信数据包括语音数据的情况下,对语音数据进行语音识别,得到文本信息,并将文本信息发送至真实客服终端。
105.本公开实施例中,虚拟对象终端在确定真实用户的第一通信数据包括语音数据的情况下,可以采用语音识别装置或识别软件,实时对语音数据进行语音数据识别,得到对应的文本信息,并将文本信息发送至真实客服终端。
106.本公开实施例中,虚拟对象终端对语音数据进行语音识别,并将得到的文本信息发送至真实客服终端,可以使真实客服终端根据该文本信息提供协助信息,有利于提高真实客服终端提供协助信息的效率。
107.在本公开的一些实施例中,上述s104可以通过s1041

s1043中的任一步骤实现,结
合图7进行说明。
108.s1041、在远程协助请求为接管请求,且接收到文本协助信息的情况下,通过虚拟对象,采用文本协助信息与真实用户进行互动;协助信息包括:文本协助信息、语音协助信息,以及视频协助信息中的任一种。
109.本公开实施例中,在虚拟对象终端向真实客服终端发送的是接管请求,并且接收到了真实客服终端提供的文本协助信息的情况下,虚拟对象终端采用文本信息与真实用户进行互动。
110.在一些实施例中,虚拟对象终端可以通过虚拟对象,将接收到的文本协助信息转换为语音信息,并通过语音播报的形式,通过虚拟对象将所述文本协助信息反馈至真实用户。
111.s1042、在远程协助请求为接管请求,且接收到语音协助信息的情况下,对语音协助信息识别,得到文本协助信息,并通过虚拟对象,采用得到的文本协助信息与真实用户进行互动。
112.本公开实施例中,在虚拟对象终端向真实客服终端发送的是接管请求,并且接收到了真实客服终端提供的语音协助信息的情况下,虚拟对象终端采用语音识别的方式,得到语音协助信息对应的文本协助信息,并通过虚拟对象,将文本协助信息发送至真实用户。
113.在一些实施例中,虚拟对象终端可以将接收到的语音协助信息转换为语音信息,并通过虚拟对象,采用得到的文本协助信息与真实用户进行互动。
114.s1043、在远程协助请求为视频协助请求,且接收到视频协助信息的情况下,将视频协助信息发送至真实用户进行互动。
115.本公开实施例中,在虚拟对象终端向真实客服终端发送的是视频协助请求,并且接收到了真实客服终端提供的视频协助信息的情况下,虚拟对象终端可以将视频协助信息转发至真实用户,以此实现与真实用户的互动。
116.在一些实施例中,真实客服终端可以在接收到虚拟对象终端的视频通话请求,并在接通与真实客服终端的视频通话请求的情况下,将真实客服终端在视频通话中产生的实时视频数据发送至虚拟对象终端,使得真实客服终端可以与虚拟对象终端对应的真实用户进行视频通话,以通过与真实用户之间的视频通话,提供视频协助信息。
117.在一些实施例中,上述方法还包括s107,且s107可以在s101之前或之后执行:
118.s107、将虚拟对象终端的第一登陆状态发送至服务器;第一登陆状态表征虚拟对象终端是否处于在线状态或离线状态。
119.本公开实施例中,虚拟对象终端可以将第一登陆状态发送至服务器,以告知服务器处于在线状态或离线状态。
120.在一些实施例中,虚拟对象终端可以在上线的情况下,将在线状态发送至服务器,以通知在线状态;以及,虚拟对象终端可以在离线的情况下,将离线状态发送至服务器,以通知离线状态。
121.在一些实施例中,虚拟对象终端还可以在接收到服务器的状态获取请求的情况下,将的实时登陆状态发送至服务器;或者,虚拟对象终端可以定时将的登陆状态发送至服务器,实现状态的定时上报。
122.图8是本公开实施例提供的交互控制方法的一个可选的流程示意图,将结合图8示
出的步骤进行说明。
123.s401、接收虚拟对象终端发送的远程协助请求;远程协助请求表征虚拟对象终端请求真实客服终端提供协助信息;协助信息用于供虚拟对象终端与真实用户进行互动。
124.s402、向服务器发送针对远程协助请求的请求接受消息,以供服务器基于请求接受消息,向虚拟对象终端发送反馈消息。
125.本公开实施例中,真实客服终端可以在接收到虚拟对象终端发送的远程协助请求的情况下,向服务器发送针对该远程协助请求的请求接受消息,以供服务器基于该请求接受消息,向虚拟对象终端发送针对该远程协助请求的反馈消息。
126.在一些实施例中,真实客服终端上运行有远程控制服务,在真实客服终端通过远程控制服务接收到虚拟对象终端的远程协助请求,并且,接收到真实客服针对该远程协助请求的请求接受操作的情况下,真实客服终端向服务器发送请求接受消息,以表征真实客服终端可以为虚拟对象终端提供协助信息;需要说明的是,真实客服可以是操作远程控制服务的真实人。
127.在一些实施例中,真实客服终端可以通过远程控制服务的显示页面,来展示虚拟按键,或者,真实客服终端上可以设置有物理按键,并在接收到真实客服针对该虚拟按键或物理按键的触控操作的情况下,确定接收到真实客服的请求接受操作,并向服务器发送针对远程协助请求的请求接受消息。
128.s403、接收虚拟对象终端基于反馈消息发送的真实用户的第一通信数据。
129.本公开实施例中,真实客服终端在向服务器发送请求接受消息之后,可以从虚拟对象终端处接收到虚拟对象终端基于反馈消息所发送的真实用户的第一通信数据。
130.s404、生成与第一通信数据对应的协助信息,并发送至虚拟对象终端。
131.本公开实施例中,真实客服终端在接收到虚拟对象终端发送的第一通信数据的情况下,可以根据该第一通信数据生成对应的协助信息,并将该协助信息发送至虚拟对象终端。
132.在一些实施例中,真实客服终端上运行有远程控制服务,终端可以根据真实客服通过该远程控制服务而输入的语音信息、文字信息或视频信息等信息,生成与第一通信数据对应的协助信息。
133.在一些实施例中,在上述s401之前,可以执行s405

s406,以下将结合图9进行说明。
134.s405、获取虚拟对象终端的第一登陆状态;第一登陆状态表征虚拟对象终端是否处于在线状态或离线状态。
135.本公开实施例中,真实客服终端可以从服务器处获取虚拟对象终端的第一登陆状态,以获知虚拟对象终端是否处于在线状态。
136.s406、根据第一登陆状态和真实客服终端的第二登陆状态,显示登陆状态展示页面;第二登陆状态表征真实客服终端是否处于在线状态或离线状态;其中,登陆状态展示页面包含:虚拟对象终端的第一登陆状态和标识信息,以及真实客服终端的第二登陆状态和标识信息。
137.本公开实施例中,真实客服终端在获取到虚拟对象终端的第一登陆状态的情况下,可以获取的第二登陆状态,并根据第一登陆状态和第二登陆状态,生成登陆状态展示页
面并进行显示,通过显示登陆状态展示页面,来显示虚拟对象终端的第一登陆状态和标识信息,以及显示真实客服终端的第二登陆状态和标识信息。虚拟对象终端的标识信息可以是虚拟对象的账号信息、头像信息和昵称信息中的至少一种;以及,真实客服终端的标识信息可以是真实客服的账号信息、头像信息和昵称信息中的至少一种。
138.在一些实施例中,真实客服终端在未接收到远程协助请求的情况下,处于空闲状态,并在该空闲状态下根据虚拟对象终端的第一登陆状态,以及真实客服终端的第二登陆状态,显示该登陆状态展示页面。
139.示例性地,图10为本公开实施例提供的示例性地登陆状态展示页面的一个示意图。如图10所示,在虚拟对象为虚拟客服,真实客服为真人客服的情况下,登陆状态展示页面的左边部分显示有虚拟客服的头像、账号信息“02899”和昵称信息“数字人”,并且,虚拟客服的头像呈灰色,表征虚拟客服终端目前处于离线状态;登陆状态展示页面的右边部分显示有真人客服的头像、账号信息“service_01”和昵称信息“张三”,并且,真人客服的头像明亮,表征真人客服终端目前处于在线状态。
140.在一些实施例中,在上述s402之前,所述方法还包括s407:
141.s407、基于远程协助请求,显示请求展示页面;请求展示页面上包含请求接受入口;请求接受入口用于接收针对远程协助请求的接受操作。
142.本公开实施例中,真实客服终端在接收到远程协助请求的情况下,可以根据该远程协助请求显示请求展示页面,通过显示该请求展示页面来显示请求接受入口,以通过该请求接受入口接收真实客服的请求接受操作。
143.需要说明的是,本公开实施例中的“入口”可以是虚拟控件,也可以是其他形式,本公开实施例对此不作限定。
144.在一些实施例中,真实客服终端在接收到远程协助请求的情况下,从空闲状态变更为被叫状态,并在处于被叫状态下,显示该请求展示页面。
145.在一些实施例中,请求展示页面上还可以展示请求动画,该请求动画可以是闪烁的虚拟客服的头像,还可以是计时器的计时画面,或者,还可以既包含闪烁的虚拟客服的头像,还包括计时器的计时画面,其中,该计时器用于统计远程协助请求的呼叫时间,并在呼叫时间到达预设时间的情况下,真实客服终端从请求展示页面,跳转至登陆状态展示页面,从而实现从被叫状态变更为空闲状态。
146.示例性地,图11为本公开实施例提供的示例性地请求展示页面的示意图。如图11所示,请求展示页面上显示有闪烁的虚拟客服的头像,还显示有计时器的计时画面,且当前计时到59s,以及,还显示有“接听”控件(上述的请求接受入口)和用于拒绝远程协助请求的“挂断”控件(请求拒绝入口);真实客服终端在接收到真实客服针对请求拒绝入口的请求拒绝操作的情况下,从请求展示页面,跳转至登陆状态展示页面,从而实现从被叫状态变更为空闲状态。
147.在一些实施例中,上述s402可以通过s4021或s4022实现,将以图8为例,结合图12进行说明。
148.s4021、接收到针对请求接受入口的请求接受操作,向服务器发送针对远程协助请求的请求接受消息。
149.本公开实施例中,真实客服终端在接收到真实客服针对请求接受入口的接受操作
的情况下,确定真实客服同意向虚拟对象终端提供协助信息,并根据该请求接受操作,向服务器发送请求接受消息,以使得服务器根据请求接受消息,向虚拟对象终端发送针对远程协助请求的反馈消息。
150.示例性地,针对图11而言,在真实客服终端接收到针对“接听”控件的触控操作的情况下,向服务器发送针对远程协助请求的请求接受消息。
151.s4022、真实客服终端处于空闲状态,向服务器发送针对远程协助请求的请求接受消息;空闲状态表征真实客服终端未提供协助信息。
152.本公开实施例中,真实客服终端确定未向任何终端提供协助信息的情况下,可以向服务器发送请求接受消息,以使得服务器根据请求接受消息,向虚拟对象终端发送针对远程协助请求的反馈消息。
153.在一些实施例中,上述s404可以通过s4041实现:
154.s4041、生成用于展示交互数据的交互页面,并基于交互页面,生成与第一通信数据对应的协助信息,并发送至虚拟对象终端。
155.本公开实施例中,真实客服终端在接收到虚拟对象终端发送的第一通信数据的情况下,可以生成用于展示交互数据的交互页面,并且,根据依据该交互页面,生成与第一通信数据对应的协助信息,以及将协助信息发送至虚拟对象终端。
156.在一些实施例中,上述s4041可以通过s501或s502实现,也就是说,图8中的s404可以通过s501或s502,将结合图13进行说明。
157.s501、在远程协助请求为接管请求的情况下,生成第一协助页面,并基于第一协助页面,生成与第一通信数据对应的协助信息,并发送至虚拟对象终端;交互页面包括:第一协助页面;远程协助请求包括:接管请求。
158.本公开实施例中,真实客服终端在远程协助请求为接管请求的情况下,生成第一协助页面,并且,真实客服终端在接收到的虚拟对象终端发送的接管请求,且接受该接管请求的情况下,可以生成与该接管请求对应的第一协助页面。
159.在一些实施例中,真实客服终端在接受了虚拟对象终端发送的接管请求的情况下,可以从请求展示页面跳转至第一协助页面,实现从被叫状态变更为接管状态。
160.示例性地,图14为本公开实施例提供的示例性地第一协助页面的一个示意图。如图14所示,第一协助页面可以显示真实客服与虚拟对象的聊天信息,虚拟对象的头像,以及供真实客服使用的协助信息输入工具,例如,图14中的“语音接入”控件。
161.在一些实施例中,在交互页面为第一协助页面的情况下,显示的交互数据包括以下中的至少一种:真实用户的视频数据、虚拟对象的视频数据、文本协助信息,以及虚拟对象终端发送的文本信息;文本信息是对通信数据中的语音数据进行语音识别得到的。
162.示例性地,图15为本公开实施例提供的示例性地第一协助页面的另一个示意图。如图15所示,第一协助页面上显示有真实用户的视频数据151、虚拟对象的视频数据152、文本协助信息153,以及虚拟对象终端发送的文本信息154。
163.在一些实施例中,上述s4041可以通过s601或s602实现,也就是说,图8中的s404还可以通过s601或s602实现,将结合图16进行说明。
164.s601、在远程协助请求为接管请求的情况下,生成第一协助页面,并在接收到针对第一协助页面的第一输入操作的情况下,生成与通信数据对应的文本协助信息或语音协助
信息,并发送至虚拟对象终端;交互页面包括:第一协助页面;远程协助请求包括:接管请求。
165.本公开实施例中,真实客服终端在远程协助请求为接管请求的情况下,生成并显示第一协助页面,并且,真实客服终端在接收到真实客服针对第一协助页面的第一输入操作的情况下,可以生成与第一通信数据对应的文本协助信息或语音协助信息,并发送至虚拟对象终端。
166.示例性地,真实客服终端在接收到真实客服针对图14中的“语音接入”控件的触控操作的情况下,可以根据真实客服通过该触控操作而输入的语音数据,生成与第一通信数据对应的语音协助信息;或者,可以根据真实客服通过该触控操作而输入的语音数据,生成与第一通信数据对应的文字协助信息。
167.示例性地,第一协助页面上还可以显示虚拟键盘,真实客服终端在接收到真实客服针对虚拟键盘的触控操作的情况下,可以根据真实客服通过该触控操作而输入的文本数据,生成与文本数据对应的文本协助信息。
168.继续针对图13中的s502进行说明:s502、在远程协助请求为视频协助请求的情况下,生成第二协助页面,并基于第二协助页面,生成与通信数据对应的协助信息,并发送至虚拟对象终端;交互页面包括:第二协助页面;远程协助请求包括:视频协助请求。
169.本公开实施例中,真实客服终端在接收到虚拟对象终端发送的视频协助请求,且接受该视频协助请求的情况下,可以生成并显示与该视频协助请求对应的第二协助页面,通过该第二协助页面,生成与第一通信数据对应的协助信息,发送至虚拟对象终端。
170.在一些实施例中,在交互页面为第二协助页面的情况下,显示的交互数据包括以下中的至少一种:真实用户的视频数据和真实客服的视频数据。
171.在一些实施例中,真实客服终端在接受了虚拟对象终端发送的视频协助请求的情况下,可以从请求展示页面跳转至第二协助页面,实现从被叫状态变换为视频协助状态。
172.示例性地,图17a为本公开实施例提供的示例性地第二协助页面的一个示意图。如图17a所示,第二协助页面上可以显示有真实用户的视频图像171、真实客服的视频图像172,以及“视频”控件,并且,还显示有真实客服对虚拟对象的请求协助状态,例如图17a中所显示的虚拟对象的头像、账号信息“02899”,以及“接听中”,表示真实客服对数字人02899的远程协助请求正处于接听中。“视频”控件用于接收触控操作,真实客服终端在接收到真实客服针对“视频”控件的触控操作的情况下,开启真实客服终端的麦克风和摄像头,并在172中显示摄像头所采集到的真实客服的视频图像,以及,将麦克风采集的真实客服的语音数据发送至虚拟对象终端;需要说明的是,真实客服终端在显示第二协助页面的情况下,可以同时接收到真实用户的视频图像和语音数据,以在接收到真实客服针对“视频”控件的触控操作的情况下,实现与真实用户之间的音、视频交互。
173.继续针对图16中的s602进行说明:s602、在远程协助请求为视频协助请求的情况下,生成第二协助页面,并在接收到针对第二协助页面的第二输入操作的情况下,生成与第一通信数据对应的视频协助信息,并发送至虚拟对象终端;交互页面包括:第二协助页面;远程协助请求包括:视频协助请求。
174.示例性地,如上述所述,真实客服终端在接收到真实客服针对“视频”控件的触控操作的情况下,在第二协助页面的172中,显示摄像头所采集到的真实客服的视频图像,以
供真实用户浏览,例如图17b所示;以及,还将麦克风采集的真实客服的语音数据发送至虚拟对象终端,以供虚拟对象终端对应的真实用户收听,从而实现生成与真实用户的视频数据所对应的视频协助信息。
175.在一些实施例中,真实客服终端还可以直接基于第二协助页面,生成与第一通信数据对应的视频协助信息。
176.在一些实施例中,真实客服终端在显示第二协助页面的同时,通过第二协助页面同时显示真实客服的视频图像,以及,还同时将真实客服的语音信息发送至虚拟对象终端,并且,同时接收虚拟对象终端发送的真实用户的视频图像和语音信息。示例性地,图18为本公开实施例提供的示例性地第二协助页面的又一个示意图。如图18所示,第二协助页面上显示有真实用户的视频图像,真实客服的视频图像,以及,真实客服对虚拟对象的请求协助状态,例如图18中所显示的虚拟对象的头像、账号信息“02899”,以及“接听中”,表示真实客服对数字人02899的远程协助请求正处于接听中;并且还显示有“静音”控件,用于在接收到真实客服针对该控件的触摸操作的情况下,停止向虚拟对象终端发送真实客服的语音数据;以及,还显示有“通话时间:00:18”,表示真实客服与真实用户的视频通话时长。
177.在一些实施例中,在上述s407之后,还可以包括s408;
178.s408、在接收到针对关闭入口的操作的情况下,结束对虚拟对象终端的远程协助;交互页面包含:关闭入口。
179.在本公开实施例中,交互页面上还包含关闭入口,真实客服终端在接收到真实客服针对该关闭入口的情况下,可以结束对虚拟对象终端的远程协助。
180.示例性地,图19a为包含关闭入口的第一协助页面,且该关闭入口为“结束接管”的控件;图19b为包含关闭入口的第二协助页面,且该关闭入口为“挂断”的控件。
181.图20是本公开实施例提供的交互控制方法的一个可选的流程示意图,将结合图20示出的步骤进行说明。
182.s701、接收虚拟对象终端发送的远程协助请求,并将远程协助请求转发至真实客服终端;远程协助请求表征虚拟对象终端请求真实客服终端提供协助信息;协助信息用于供虚拟对象与真实用户进行互动。
183.本公开实施例中,服务器可以将接收到的虚拟对象终端发送的远程协助请,求转发至真实客服终端。
184.s702、接收真实客服终端发送的请求接受消息。
185.本公开实施例中,服务器在将接收到的虚拟对象终端发送的远程协助请求转发至真实客服终端后,可以接收真实客服终端发送的针对该远程协助请求的请求接受消息。
186.s703、基于请求接受消息,向虚拟对象终端发送反馈消息。
187.本公开实施例中,服务器在接收到请求接受消息后,可以将向虚拟对象终端发送针对远程协助请求的反馈消息。
188.在一些实施例中,服务器可以将接收到的请求接受消息,作为针对远程协助请求的反馈消息,发送至虚拟对象终端;在一些实施例中,远程协助请求中还携带通信信道的编号,服务器还可以在接收到请求接受消息后,对该通信信道进行初始化,并将虚拟对象终端和真实客服终端均加入该通信信道中,从而建立虚拟对象终端和真实客服终端之间的、且用于传输通信数据和协助信息的会话通道,并在会话通道建立完成后,向虚拟对象终端发
送会话通道建立成功的反馈消息。
189.s704、接收虚拟对象终端基于反馈消息发送的真实用户的第一通信数据,并将第一通信数据转发至真实客服终端。
190.本公开实施例中,服务器可以在接收到虚拟对象终端基于反馈消息发送的、且与远程协助请求对应的真实用户的通信数据的情况下,将通信数据转发至真实客服终端,以供真实客服终端根据该通信信息生成协助信息。
191.s705、接收真实客服终端发送的、且与第一通信数据对应的协助信息,并将协助信息转发至虚拟对象终端。
192.本公开实施例中,服务器在接收到真实客服终端发送的、且与第一通信数据对应的协助信息的情况下,可以将该协助信息发送至虚拟对象终端,以供虚拟对象终端基于该协助信息与真实用户进行互动。
193.在一些实施例中,上述方法还包括s706,需要说明的是s706可以在s701之前执行,也可以在s701之后执行。
194.s706、将接收到的虚拟对象终端发送的第一登陆状态,发送至真实客服终端;第一登陆状态表征虚拟对象终端是否处于在线状态或离线状态。
195.在一些实施例中,服务器可以在接收到虚拟对象终端发送的第一登陆状态的情况下,就将第一登陆状态转发至真实客服终端;以及,在一些实施例中,服务器还可以定时查询虚拟对象终端的第一登陆状态,并定时将第一登陆状态发送至真实客服终端。
196.在另一些实施例中,服务器还可以在接收到真实客服终端的状态获取请求的情况下,将接收到的虚拟对象终端发送的第一登陆状态,转发至真实客服终端;以及,在另一些实施例中,服务器还可以在接收到真实客服终端的状态获取请求的情况下,才向虚拟对象终端获取第一登陆状态,并将接收到的虚拟对象终端发送的第一登陆状态,转发至真实客服终端。
197.以下将通过交互控制方法在一个实际场景中的应用,来说明本公开实施例提供的交互控制方法。图21是本公开实施例提供的虚拟对象终端、真实客服终端和服务器之间的交互流程示意图,将结合图21示出的步骤进行说明。
198.s1、虚拟对象终端接收真实用户提供的、且用于指示真实用户与虚拟客服之间进行互动的交互信息;
199.s2、虚拟对象终端检测到虚拟客服与真实用户之间的互动状态满足预设条件,或,从与虚拟客服进行交互的该真实用户所输入的语音信息或文本信息中,检测到第一类关键字,或,接收到该真实用户的接管协助操作,向真实客服终端发送接管请求;或者,虚拟对象终端检测到虚拟客服与真实用户之间的互动状态满足预设条件,或,从该真实用户所输入的语音信息或文本信息中,检测到第二类关键字,或,接收到该真实用户的视频协助操作,向真实客服终端发送视频协助请求;
200.s3、服务器将接管请求或视频协助请求,转发至真实客服终端;
201.s4、真实客服终端从服务器端获取虚拟客服终端的第一登陆状态,并根据第一登陆状态和真人客服终端的第二登陆状态,显示登陆状态展示页面;
202.s5、真实客服终端在接收到接管请求或视频协助请求的情况下,从登陆状态展示页面跳转至请求展示页面,请求展示页面上包含请求接受入口;
203.s6、真实客服终端在接收到真人客服针对请求接受入口的请求接受操作的情况下,向服务器发送请求接受消息;同时,在接收到接管请求的情况下,从请求展示页面,跳转至第一协助页面,或者,在接收到视频协助请求的情况下,从请求展示页面,跳转至第二协助页面;
204.s7、服务器根据请求接受消息,初始化通信信道,并建立虚拟对象终端与真实客服终端之间用于传输通信数据和交互信息的会话通道,并在会话通道建立成功后,向虚拟对象终端发送通道建立成功的消息;
205.s8、虚拟对象终端基于通道建立成功消息,采用会话通道向真实客服终端发送该真实用户的第一通信数据;
206.s9、服务器将该真实用户的第一通信数据转发至真实客服终端;
207.s10、真实客服终端在接收到针对第一协助页面上的语音接入控件或虚拟键盘的触控操作的情况下,生成与第一通信数据对应的文本协助信息或语音协助信息,并将文本协助信息或语音协助信息发送至服务器;或者,真实客服终端在跳转至第二协助页面的情况下,与虚拟对象终端建立视频通话,通过第二协助页面显示真人客服的视频图像,并将真人客服的视频数据发送至虚拟对象终端;
208.s11、服务器基于该会话通道将真实客服终端发送的文本协助信息、语音协助信息或视频信息,发送至虚拟对象终端。
209.s12、虚拟对象终端将文本协助信息向该真实用户进行语音播报,或者将该语音协助信息发送至该真实用户;或者,虚拟对象终端将真实客服终端发送的真人客服的视频数据,转发至该真实用户;同时将该真实用户的视频数据转发至真实客服终端,实现真人客服与该真实用户之间的视频交互。
210.本公开还提供一种交互控制装置,图22为本公开实施例提供的交互控制装置的一个结构示意图;如图22所示,交互控制装置1包括:第一接收单元11,用于接收真实用户提供的交互信息;所述交互信息用于指示所述真实用户与虚拟对象之间进行互动;第一发送单元12,用于检测到所述交互信息满足协助条件,向真实客服终端发送远程协助请求;所述远程协助请求表征虚拟对象终端请求所述真实客服终端提供协助信息;接收到针对所述远程协助请求的反馈消息,向所述真实客服终端发送所述真实用户的第一通信数据;所述第一通信数据为所述真实用户向所述虚拟对象提出的交互请求数据;互动单元13,还用于接收到所述真实客服终端发送的、且与所述第一通信数据对应的所述协助信息,采用所述协助信息与所述真实用户进行互动。
211.在本公开的一些实施例中,所述交互控制装置1还包括检测单元,用于基于所述交互信息,确定与所述真实用户之间的交互状态满足预设条件;或者,检测到所述交互信息中包含的第二通信数据中,出现预设关键字;或者,检测到所述交互信息为协助操作。
212.在本公开的一些实施例中,所述第一通信数据包括:语音数据或视频数据;所述远程协助请求包括:接管请求;所述第一发送单元12,还用于在所述远程协助请求为所述接管请求的情况下,将采集到的所述真实用户的所述语音数据或所述视频数据,发送至所述真实客服终端。
213.在本公开的一些实施例中,所述第一通信数据包括:视频数据;所述远程协助请求包括:视频协助请求;所述第一发送单元12,还用于在所述远程协助请求为所述视频协助请
求的情况下,将采集到的所述真实用户的所述视频数据发送至所述真实客服终端。
214.在本公开的一些实施例中,所述第一发送单元12,还用于在所述第一通信数据包括语音数据的情况下,对所述语音数据进行语音识别,得到文本信息,并将所述文本信息发送至所述真实客服终端。
215.在本公开的一些实施例中,所述预设关键字包括:第一类预设关键字;所述远程协助请求包括:接管请求;所述第一发送单元12,还用于检测到所述交互信息中的所述第二通信数据中,出现所述第一类关键字,向所述真实客服终端发送所述接管请求。
216.在本公开的一些实施例中,所述预设关键字包括:第二类预设关键字;所述远程协助请求包括:视频协助请求;所述第一发送单元12,还用于检测到所述交互信息中的所述第二通信数据中,出现所述第二类关键字,向所述真实客服终端发送所述视频协助请求。
217.在本公开的一些实施例中,所述协助信息包括:文本协助信息、语音协助信息,以及视频协助信息中的任一种;所述互动单元13,还用于在所述远程协助请求为接管请求,且接收到所述文本协助信息的情况下,通过所述虚拟对象,采用所述文本协助信息与所述真实用户进行互动;或者,在所述远程协助请求为所述接管请求,且接收到所述语音协助信息的情况下,对所述语音协助信息识别,得到文本协助信息,并通过所述虚拟对象,采用所述得到的文本协助信息与所述真实用户进行互动;或者,在所述远程协助请求为视频协助请求,且接收到所述视频协助信息的情况下,将所述视频协助信息发送至所述真实用户进行互动。
218.在本公开的一些实施例中,所述第一发送单元12,还用于将所述虚拟对象终端的第一登陆状态发送至服务器;所述第一登陆状态表征所述虚拟对象终端是否处于在线状态或离线状态。
219.在本公开的一些实施例中,所述检测单元,还用于检测到生成所述交互信息对应的应答信息的失败次数达到第一预设次数;和/或,检测到所述交互信息中针对应答信息的预设反馈关键字的次数达到第二预设次数;所述预设反馈关键字表征所述真实用户请求重新提供正确应答信息。
220.本公开还提供一种交互控制装置,图23为本公开实施例提供的交互控制装置的另一个结构示意图;如图23所示,交互控制装置2包括:第二接收单元21,用于接收虚拟对象终端发送的远程协助请求;所述远程协助请求表征所述虚拟对象终端请求真实客服终端提供协助信息;所述协助信息用于供所述虚拟对象终端与真实用户进行互动;第二发送单元22,用于向服务器发送针对所述远程协助请求的请求接受消息,以供所述服务器基于所述请求接受消息,向所述虚拟对象终端发送反馈消息;所述第二接收单元21,还用于接收所述虚拟对象终端基于所述反馈消息发送的所述真实用户的第一通信数据;信息生成单元23,还用于生成与所述第一通信数据对应的所述协助信息;所述第二发送单元22,还用于将所述第一通信数据对应的所述协助信息,发送至所述虚拟对象终端。
221.在本公开的一些实施例中,所述交互控制装置2还包括获取单元和显示单元;所述获取单元,用于在所述接收虚拟对象终端发送的远程协助请求之前,获取所述虚拟对象终端的第一登陆状态;所述第一登陆状态表征所述虚拟对象终端是否处于在线状态或离线状态;所述显示单元,用于根据所述第一登陆状态和所述真实客服终端的第二登陆状态,显示登陆状态展示页面;所述第二登陆状态表征所述真实客服终端是否处于在线状态或离线状
态;其中,所述登陆状态展示页面包含:所述虚拟对象终端的所述第一登陆状态和标识信息,以及所述真实客服终端的所述第二登陆状态和标识信息。
222.在本公开的一些实施例中,所述显示单元,还用于在所述向虚拟对象终端发送针对所述远程协助请求的请求接受消息之前,基于所述远程协助请求,显示请求展示页面;所述请求展示页面上包含请求接受入口;所述请求接受入口用于接收针对所述远程协助请求的接受操作。
223.在本公开的一些实施例中,所述第二发送单元22,还用于在接收到针对所述接受入口的所述接受操作的情况下,向服务器发送针对所述远程协助请求的请求接受消息;或者,所述真实客服终端处于空闲状态,向服务器发送针对所述远程协助请求的请求接受消息;所述空闲状态表征所述真实客服终端未提供协助信息。
224.在本公开的一些实施例中,所述信息生成单元23,还用于生成用于展示交互数据的交互页面,并基于所述交互页面,生成与所述第一通信数据对应的所述协助信息。
225.在本公开的一些实施例中,所述交互页面包含:关闭入口;所述交互控制装置2还包括协助结束单元,用于在接收到针对所述关闭入口的操作的情况下,结束对所述虚拟对象终端的远程协助。
226.在本公开的一些实施例中,所述交互页面包括:第一协助页面和第二协助页面;所述远程协助请求包括:接管请求和视频协助请求;所述信息生成单元23,还用于在所述远程协助请求为所述接管请求的情况下,生成所述第一协助页面;或者,在所述远程协助请求为所述视频协助请求的情况下,生成所述第二协助页面。
227.在本公开的一些实施例中,所述交互页面包括:第一协助页面和第二协助页面;所述协助信息包括以下中的任一种:文本协助信息、语音协助信息,以及视频协助信息;所述信息生成单元23,还用于在接收到针对所述第一协助页面的第一输入操作的情况下,生成与所述第一通信数据对应的所述文本协助信息或所述语音协助信息;或者,在接收到针对所述第二协助页面的第二输入操作的情况下,生成与所述第一通信数据对应的所述视频协助信息。
228.在本公开的一些实施例中,在所述交互页面为第一协助页面的情况下,所述交互数据包括以下中的至少一种:所述真实用户的视频数据、所述虚拟对象的视频数据、文本协助信息,以及所述虚拟对象终端发送的文本信息;所述文本信息是对所述第一通信数据中的语音数据进行语音识别得到的;在所述交互页面为第二协助页面的情况下,所述交互数据包括以下中的至少一种:所述真实用户的视频数据和所述真实客服的视频数据。
229.本公开还提供一种交互控制装置,图24为本公开实施例提供的交互控制装置的又一个结构示意图;如图24所示,交互控制装置3包括:信息转发单元31,用于接收虚拟对象终端发送的远程协助请求,并将所述远程协助请求转发至真实客服终端;所述远程协助请求表征所述虚拟对象终端请求所述真实客服终端提供协助信息;所述协助信息用于供虚拟对象与真实用户进行互动;第三接收单元32,用于接收所述真实客服终端发送的请求接受消息;第三发送单元33,用于基于所述请求接受消息,向所述虚拟对象终端发送反馈消息;所述信息转发单元31,还用于接收所述虚拟对象终端基于所述反馈消息发送的真实用户的第一通信数据,并将所述第一通信数据转发至所述真实客服终端;接收所述真实客服终端发送的、且与所述第一通信数据对应的所述协助信息,并将所述协助信息转发至所述虚拟对
象终端。
230.在本公开的一些实施例中,所述信息转发单元31,还用于将接收到的所述虚拟对象终端发送的第一登陆状态,发送至所述真实客服终端;所述第一登陆状态表征所述虚拟对象终端是否处于在线状态或离线状态。
231.本公开实施例还提供一种电子设备,图25为本公开实施例提供的电子设备的结构示意图,如图25所示,电子设备4包括:存储器22和处理器23,其中,存储器22和处理器23通过通信总线21连接;存储器22,用于存储可执行计算机程序;处理器23,用于执行存储器22中存储的可执行计算机程序时,实现本公开实施例提供的方法,例如,本公开实施例提供的交互控制方法。
232.本公开实施例提供一种计算机可读存储介质,存储有计算机程序,用于引起处理器23执行时,实现本公开实施例提供的方法,例如,本公开实施例提供的交互控制方法。
233.在本公开的一些实施例中,存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd

rom等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
234.计算机可读存储介质还可以是保持和存储由指令执行设备使用的指令的有形设备,可为易失性存储介质或非易失性存储介质。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:u盘、磁碟、光盘、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦拭可编程只读存储器(eprom或闪存)、静态随机存储读取器(rom)、便携式压缩盘只读存储器(cd

rom)、数字多功能盘(dvd)、记忆棒、软盘、记性编码设备、例如其上存储有指令的打孔卡或凹槽内凹起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电池波、通过波导或其他传媒介质传播的电池波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
235.在本公开的一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
236.作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(html,hyper text markup language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
237.作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
238.综上所述,采用本技术实现方案,虚拟客服终端接收真实用户提供的、且用于指示真实用户与虚拟对象之间进行互动交互信息,在检测到交互信息满足协助条件的情况下,向真实客服终端发送表征虚拟对象终端请求真实客服终端提供协助信息的远程协助请求,并在接收到针对远程协助请求的反馈消息的情况下,向真实客服终端发送真实用户向虚拟
对象提出的交互请求数据,以及在接收到真实客服终端发送的、与该交互请求数据对应的协助信息的情况下,采用协助信息与真实用户进行交互,如此,提高了虚拟对象终端对真实用户的交互请求数据的应答覆盖面,以及向真实用户提供的应答信息的正确性,从而增加了虚拟对象终端的功能多样性,提高了虚拟对象终端的智能性。
239.以上所述,仅为本公开的实施例而已,并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本公开的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1