大屏虚拟对象互动方法及相关装置与流程

本技术涉及虚拟人、交互设计、人工智能的，尤其涉及大屏虚拟对象互动方法、大屏终端设备及计算机可读存储介质。

背景技术：

1、虚拟对象包括虚拟人、虚拟动物、虚拟卡通形象等。其中，虚拟人是由cg技术构建、以代码形式运行的拟人化形象，具有语言交流、表情表达、动作展示等多种互动方式。虚拟人技术已经在人工智能领域迅速发展，并且在很多技术领域都得到了应用，例如影视、传媒、游戏、金融、文旅、教育、医疗等领域。

2、现有的大屏互动方法需要人工点击屏幕主动搜索信息，提供的交互方式有限，对用户的吸引力弱。

3、基于此，本技术提供大屏虚拟对象互动方法及相关装置，以改进相关技术。

技术实现思路

1、本技术的目的在于提供大屏虚拟对象互动方法、电子设备及计算机可读存储介质，吸引用户利用大屏终端设备与虚拟对象进行互动，提升用户感官体验，提高互动效率，节约人力成本。

2、本技术的目的采用以下技术方案实现：

3、第一方面，本技术提供了大屏虚拟对象互动方法，应用于大屏终端设备，所述方法包括：

4、检测目标区域是否符合虚拟对象的唤醒条件；

5、当所述目标区域不符合所述虚拟对象的唤醒条件时，控制所述虚拟对象处于静默模式；

6、当所述目标区域符合所述虚拟对象的唤醒条件时，控制所述虚拟对象处于唤醒模式；

7、当所述虚拟对象处于唤醒模式时，利用大屏终端设备接收用户的操作信息；

8、基于所述操作信息，获取所述虚拟对象的互动信息；

9、使用所述大屏终端设备播放所述虚拟对象的互动信息。

10、该技术方案的有益效果在于：采用大屏终端设备作为虚拟对象的交互媒介，曝光度高，吸引用户与虚拟人进行互动，增强用户的感官体验；一方面，通过检测目标区域是否符合虚拟对象的唤醒条件，保证用户在接近大屏幕时，快速使得虚拟对象与用户建立互动，提高用户的参与度与互动性；而当目标区域不符合唤醒条件时，控制虚拟对象处于静默模式，减少不必要的资源浪费；另一方面，采用虚拟对象与用户互动，可以减少人力成本，并且可以实时、快速地响应用户的操作信息，提高互动效率；采用大屏虚拟对象互动方法，可以实现更加直观、生动、有趣的人机互动方式，从而提高互动服务效果，吸引用户体验，增加企业曝光度和知名度。

11、在一些可选的实施方式中，所述检测目标区域是否符合虚拟对象的唤醒条件，包括：

12、利用图像传感器采集所述目标区域的实时图像，根据所述实时图像检测所述目标区域是否存在所述用户；或者，

13、利用红外传感器采集得到红外数据，根据所述红外数据检测所述目标区域是否存在所述用户；或者，

14、利用麦克风采集得到音频信息，根据所述音频信息检测所述目标区域是否存在预设唤醒音频信息，当存在预设唤醒音频信息时，确认所述目标区域存在所述用户。

15、该技术方案的有益效果在于：采用多种传感器对目标区域从图像、声音等多方面进行检测，可以满足不同情境下对目标区域的不同检测需求，提高检测用户进而唤醒虚拟对象的准确性；另一方面，采用多种传感器进行多维度的检测手段，可以避免单一传感器可能出现的失灵或误判的情况，提高大屏终端设备进行虚拟对象互动功能的稳定性和可靠性。

16、在一些可选的实施方式中，所述方法还包括：

17、统计并保存所述用户和所述虚拟对象的互动记录，所述互动记录包括一个或多个所述操作信息、一个或多个所述互动信息和所述操作信息和所述互动信息的统计数据。

18、该技术方案的有益效果在于：通过统计、保存用户与虚拟对象的互动记录，可以对用户和虚拟对象互动记录的统计数据进行分析，了解用户的兴趣爱好、行为习惯等互动偏好信息，优化虚拟对象的互动服务，为用户提供个性化服务；另一方面可以便于用户记录或下载当前互动的互动信息。

19、在一些可选的实施方式中，所述基于所述操作信息，获取所述虚拟对象的互动信息，包括：

20、基于所述操作信息，获取所述虚拟对象的互动驱动模式，所述互动驱动模式包括问答库驱动模式和中之人驱动模式；

21、基于所述操作信息和所述互动驱动模式，获取所述虚拟对象的所述互动信息。

22、该技术方案的有益效果在于：通过对用户的操作信息进行分析，采用虚拟对象的不同的互动驱动模式，以实现快速地响应用户的操作并提供准确地虚拟对象互动信息，提高用户的满意度和体验感；不同的互动驱动模式的可以适用于不同的互动场景，问答库驱动模式可以使得虚拟对象快速响应用户提出的基础性互动，中之人驱动模式可以使得虚拟对象响应突发或非基础性互动。

23、在一些可选的实施方式中，所述基于所述操作信息和所述互动驱动模式，获取所述虚拟对象的所述互动信息，包括：

24、当所述互动驱动模式为问答库驱动模式时，基于所述操作信息从所述虚拟对象的问答库中匹配得到所述虚拟对象的所述互动信息；

25、当所述互动驱动模式为中之人驱动模式时，基于所述操作信息，获取中之人配置的驱动数据，所述驱动数据用于驱动所述虚拟对象的动作、表情、口型和语音中的一种或多种；

26、基于所述驱动数据，获取所述虚拟对象的互动信息。

27、该技术方案的有益效果在于：针对用户的不同的操作信息，通过匹配虚拟对象的问答库或者通过利用中之人配置的数据驱的方式获得虚拟对象的互动信息使得虚拟对象能够准确地服务用户的需求，增强沟通效率和准确率；基于所述操作信息从所述虚拟对象的问答库中匹配得到所述虚拟对象的所述互动信息，可以节约人力成本，将基础性互动预设于问答库中，不需要中之人干预就可以基于用户的操作信息匹配预设互动内容，节约服务成本；基于所述操作信息，获取中之人配置的驱动数据以获取所述虚拟对象的互动信息可以使得虚拟人服务突发情况，或者使得虚拟人为用户提供更加个性化和定制化的服务；并且，提高用户与虚拟人互动的流畅度和真实感，增强用户对虚拟对象的信任和好感。

28、在一些可选的实施方式中，所述当所述互动驱动模式为中之人驱动模式时，基于所述操作信息，获取中之人配置的驱动数据，包括：

29、当所述互动驱动模式为中之人驱动模式时，向所述中之人的终端设备发送提示信息和所述操作信息，以提示所述中之人配置所述驱动数据；

30、利用所述终端设备的音频采集组件采集所述中之人的语音信息，利用语音转文本模型获取所述语音信息对应的文本信息；

31、利用所述终端设备的图像采集组件采集所述中之人的实时图像，根据所述中之人的实时图像提取动作信息；

32、基于所述文本信息和所述动作信息，获取所述中之人配置的所述驱动数据。

33、该技术方案的有益效果在于：通过向中之人的终端设备发送提示信息和操作信息，能够及时提醒中之人做出反应并快速配置所需的驱动数据，进而提高虚拟对象对用户的响应速度；通过采集中之人的语音和实时图像等信息，利用语音转文本模型获取语音信息对应的文本信息，以及根据中之人的实时图像提取动作信息，可以更加精准地获取到中之人配置的驱动数据以准确响应用户的操作信息；提高用户对虚拟对象服务的满意度，增强用户的信任感和好感度。

34、在一些可选的实施方式中，所述大屏终端设备连接至运动模组，所述方法还包括：

35、获取所述目标环境的目标区域的障碍物信息和所述用户的第一位置信息；

36、检测所述用户是否移动；

37、当检测到所述用户移动时，获取所述用户移动后的第二位置信息；

38、基于所述障碍物信息、所述第一位置信息和所述第二位置信息，获取所述大屏终端设备的移动轨迹信息，以使所述大屏终端设备在移动过程中避开障碍物；

39、基于所述移动轨迹信息，控制所述运动模组跟随所述用户移动，以使所述大屏终端设备跟随所述用户移动。

40、该技术方案的有益效果在于：通过将大屏终端设备连接至运动模组，可以实现大屏终端设备的自适应移动，避免用户频繁移动时不方便与虚拟人互动的问题，同时，通过避开目标环境中的障碍物，能够保证移动过程的稳定性和流畅性，提高使用体；当大屏终端设备需要适应不同的环境场景时，通过获取当前环境的目标区域的障碍物信息和用户的位置信息用于路径规划，提高设备的适用性；通过实时检测用户是否移动，获取用户移动后的位置信息，并基于障碍物信息和用户移动前和移动后的位置信息生成移动轨迹信息，确保设备在移动过程中避开障碍物，保障用户和设备的安全性；通过控制运动模组跟随用户移动，并基于移动轨迹信息避开障碍物，实现了大屏终端设备的自适应运动，方便用户与虚拟人的移动类型的互动。

41、在一些可选的实施方式中，所述检测所述用户是否移动，包括：

42、使用摄像头采集所述目标区域的实时图像；

43、基于所述实时图像，检测所述用户是否移动。

44、该技术方案的有益效果在于：基于摄像头采集目标区域的实时图像，通过计算机视觉算法对用户状态进行检测，可以实现较高的检测精度和响应速度，提高了用户利用大屏终端设备与虚拟对象交互的效率和体验；采用摄像头作为检测方式以于扩展，可以适用并满足于不同环境和应用场景的需求。

45、第二方面，本技术提供了大屏终端设备，所述大屏终端设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述至少一个处理器被配置成执行所述计算机程序时实现以下步骤：

46、检测目标区域是否符合虚拟对象的唤醒条件；

47、当所述目标区域不符合所述虚拟对象的唤醒条件时，控制所述虚拟对象处于静默模式；

48、当所述目标区域符合所述虚拟对象的唤醒条件时，控制所述虚拟对象处于唤醒模式；

49、当所述虚拟对象处于唤醒模式时，利用大屏终端设备接收用户的操作信息；

50、基于所述操作信息，获取所述虚拟对象的互动信息；

51、使用所述大屏终端设备播放所述虚拟对象的互动信息。

52、在一些可选的实施方式中，所述大屏终端设备还包括：

53、显示屏，所述显示屏用于播放所述虚拟对象的互动信息；

54、运动模组，所述运动模组用于跟随用户移动，以使所述大屏终端设备跟随所述用户移动。

55、在一些可选的实施方式中，所述大屏终端设备还包括图像传感器、红外传感器或麦克风，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式检测目标区域是否符合虚拟对象的唤醒条件：

56、利用图像传感器采集所述目标区域的实时图像，根据所述实时图像检测所述目标区域是否存在所述用户；或者，

57、利用红外传感器采集得到红外数据，根据所述红外数据检测所述目标区域是否存在所述用户；或者，

58、利用麦克风采集得到音频信息，根据所述音频信息检测所述目标区域是否存在预设唤醒音频信息，当存在预设唤醒音频信息时，确认所述目标区域存在所述用户。

59、在一些可选的实施方式中，所述至少一个处理器还被配置成执行所述计算机程序时实现以下步骤：

60、统计并保存所述用户和所述虚拟对象的互动记录，所述互动记录包括一个或多个所述操作信息、一个或多个所述互动信息和所述操作信息和所述互动信息的统计数据。

61、在一些可选的实施方式中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式基于所述操作信息，获取所述虚拟对象的互动信息：

62、基于所述操作信息，获取所述虚拟对象的互动驱动模式，所述互动驱动模式包括问答库驱动模式和中之人驱动模式；

63、基于所述操作信息和所述互动驱动模式，获取所述虚拟对象的所述互动信息。

64、在一些可选的实施方式中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式基于所述操作信息和所述互动驱动模式，获取所述虚拟对象的所述互动信息：

65、当所述互动驱动模式为问答库驱动模式时，基于所述操作信息从所述虚拟对象的问答库中匹配得到所述虚拟对象的所述互动信息；

66、当所述互动驱动模式为中之人驱动模式时，基于所述操作信息，获取中之人配置的驱动数据，所述驱动数据用于驱动所述虚拟对象的动作、表情、口型和语音中的一种或多种；

67、基于所述驱动数据，获取所述虚拟对象的互动信息。

68、在一些可选的实施方式中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式当所述互动驱动模式为中之人驱动模式时，基于所述操作信息，获取中之人配置的驱动数据：

69、当所述互动驱动模式为中之人驱动模式时，向所述中之人的终端设备发送提示信息和所述操作信息，以提示所述中之人配置所述驱动数据；

70、利用所述终端设备的音频采集组件采集所述中之人的语音信息，利用语音转文本模型获取所述语音信息对应的文本信息；

71、利用所述终端设备的图像采集组件采集所述中之人的实时图像，根据所述中之人的实时图像提取动作信息；

72、基于所述文本信息和所述动作信息，获取所述中之人配置的所述驱动数据。

73、在一些可选的实施方式中，所述大屏终端设备连接至运动模组，所述至少一个处理器还被配置成执行所述计算机程序时实现以下步骤：

74、获取所述目标环境的目标区域的障碍物信息和所述用户的第一位置信息；

75、检测所述用户是否移动；

76、当检测到所述用户移动时，获取所述用户移动后的第二位置信息；

77、基于所述障碍物信息、所述第一位置信息和所述第二位置信息，获取所述大屏终端设备的移动轨迹信息，以使所述大屏终端设备在移动过程中避开障碍物；

78、基于所述移动轨迹信息，控制所述运动模组跟随所述用户移动，以使所述大屏终端设备跟随所述用户移动。

79、在一些可选的实施方式中，所述至少一个处理器被配置成执行所述计算机程序时采用以下方式检测所述用户是否移动，包括：

80、使用摄像头采集所述目标区域的实时图像；

81、基于所述实时图像，检测所述用户是否移动。

82、第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述任一项所述方法的步骤或者实现上述任一项所述大屏终端设备的功能。