一种VR语音交互系统及其交互方法与流程

本发明涉及虚拟现实技术领域，具体涉及一种vr语音交互系统及其交互方法。

背景技术：

vr技术是人类视觉交互技术上的重大突破，人类认知世界不再受“眼见为实”的限制。近年来google,facebook等平台厂商和高通等芯片厂商持续推动vr设备的普及，vr技术在视频，教育，旅游等各行业得到越来越深入的应用。vr技术相对传统的pc和手机最大的特点是沉浸感。从物理心理学的角度，沉浸感来自三个方面：3d场景带来的视觉真实性；用户自身代入感的真实性；用户和虚拟世界交互的真实性。

然而，目前市场中的vr应用以视频播放、vr控制手柄点选和射击类游戏居多，由于用户佩戴vr头盔后隔离了手眼视觉协调，相比传统的键盘、鼠标和触屏操作，vr应用的输入受到很大限制，影响了vr的交互性。

技术实现要素：

本发明的目的在于提供一种vr语音交互系统及其交互方法，用以解决现有vr应用再语音方面的交互性较差的问题。

为实现上述目的，本发明实施例提供一种vr语音交互系统，所述vr语音交互系统包括vr终端设备、vr控制器和云端处理模块，所述vr终端设备通过无线网络与云端处理模块进行通讯，所述vr控制器通过蓝牙与vr终端设备进行数据传输，所述云端处理模块包括彼此之间进行数据传输的vr数据库、语音识别模块、交互控制模块和合成模块。

作为优选的技术方案，所述vr终端设备具有多种设备形态，包括vr一体机或vr眼镜与计算机组合设备或vr眼镜与手机终端组合设备。

作为优选的技术方案，所述vr终端设备包括互相通信的处理器、语音采集模块和语音存储模块，所述处理器包括中央处理器和图形处理器。

提供一种vr语音交互系统的交互方法，所述交互方法包括：启动vr终端设备将vr数据库中的虚拟人物和内容加载至虚拟空间；操作者手持vr控制器，通过按住vr控制器上的虚拟按键，开始语音输入；语音采集模块对语音信息进行采集并存储在语音存储模块中；操作者松开vr控制器上的虚拟按键，结束语音输入；云端处理模块对语音存储模块中的语音进行识别、交互和合成并生成反馈信息；云端处理模块将反馈信息发送至vr终端设备；vr终端设备根据反馈信息控制虚拟人物向操作者完成语音和表情反馈。

作为优选的技术方案，所述交互方法还包括：所述vr控制器通过蓝牙将虚拟按键的动态信息传输给中央处理器，所述中央处理器通过对虚拟坐标的检测和有限状态机的变换生成控制事件，再通过控制事件驱动系统中麦克风的开启和关闭，进而实现语音信息传输的开始和结束。

作为优选的技术方案，所述中央处理器根据语音信息的输入状态和接收时间实现人机对话的话轮控制逻辑，包括人机对话中的抢话机制。

作为优选的技术方案，所述云端处理模块的合成模块对语音信息的语气和内容进行合成后与vr数据库中相对应的语气和内容进行比对，最终生成符合情景的对话语音内容和虚拟人物表情反馈信息，最后传输给vr终端设备。

作为优选的技术方案，所述vr终端设备接收到对话语音内容和虚拟人物表情反馈信息后，通过中央处理器和图形处理器的处理控制虚拟人物实现对应语音内容和表情的展现。

本发明实施例具有如下优点：

(1)本发明能够使用户在vr内自由发起语音输入，效率高；

(2)本发明通过用户控制语音输入的开始和结束点，提供了清晰的反馈，满足用户隐私保护需求；

(3)本发明可以获得清晰的语音输入边界，降低了语音数据处理负担，能实现例如人机对话中的抢话机制等更复杂的话轮控制逻辑。

(4)本发明符合用户对vr语音输入操作模式的直观认识，很容易被操作者接受。

附图说明

图1为本发明实施例1提供的一种vr语音交互系统的交互方法流程示意图。

图2为本发明实施例1提供的一种vr语音交互系统的结构示意图。

图中：云端处理模块1、vr终端设备2、vr控制器3、中央处理器4、图形处理器5、语音采集模块6、语音存储模块7、vr眼镜8、vr数据库9、语音识别模块10、交互控制模块11、合成模块12。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

本实施例提供一种vr语音交互系统，包括vr终端设备2、vr控制器3和云端处理模块1，vr终端设备2通过无线网络与云端处理模块1进行通讯，vr控制器3通过蓝牙与vr终端设备2进行数据传输，云端处理模块1包括彼此之间进行数据传输的vr数据库9、语音识别模块10、交互控制模块11和合成模块12。其中，vr终端设备2具有多种设备形态，如vr一体机，vr眼镜8与计算机组合设备，vr眼镜8与手机终端组合设备，即具有相同的处理功能和虚拟显示功能的组合设备均落在本发明所述的vr终端设备2范围中。

进一步地，vr终端设备2包括互相通信的处理器、语音采集模块6和语音存储模块7，处理器包括中央处理器4和图形处理器5，用于对数据和图形的处理，语音采集模块6用于实现对语音信息的采集，并对语音信息的输入点、结束点、内容和语气进行检测等。语音存储模块7用于存储语音数据。vr控制器3用于承载虚拟按键，便于操控虚拟空间里的位置坐标，且能够检测虚拟按键的位置信息并传递给vr终端设备2的中央处理器4进行计算。vr眼镜8用于将虚拟空间里的内容呈现给使用者。

本实施例提供一种vr语音交互系统的交互方法，包括：启动vr终端设备2将vr数据库9中的虚拟人物和内容加载至虚拟空间即vr眼睛的可视范围；操作者手持vr控制器3，按住vr控制器3上的虚拟按键，开始语音输入；语音采集模块6对语音信息进行采集并存储在语音存储模块7中；操作者松开vr控制器3上的虚拟按键，结束语音输入；云端处理模块1对语音存储模块7中的语音进行识别、交互和合成并生成反馈信息；云端处理模块1将反馈信息发送至vr终端设备2；vr终端设备2根据反馈信息控制虚拟人物向操作者完成语音和表情反馈。

其中，vr控制器3通过蓝牙将虚拟按键的动态信息传输给中央处理器4，中央处理器4通过对虚拟坐标的检测和有限状态机的变换生成控制事件，再通过控制事件驱动系统中麦克风的开启和关闭，进而实现语音信息传输的开始和结束，此方法能够使操作者完成自由输入语音的控制。

另外，云端处理模块1能够通过合成模块12对语音信息的语气和内容进行合成，并与vr数据库9中的语气和内容进行比对，最终生成符合情景的对话内容和表情反馈信息，并传输给vr终端设备2，vr终端设备2接收到对话语音内容和虚拟人物表情反馈信息后，通过中央处理器4和图形处理器5的处理控制虚拟人物实现对应语音内容和表情的展现，完成一次交互。

进一步地，交互控制模块11用于处理人机交互的数据，实现使用者与虚拟人物的交互，完成虚拟计算。中央处理器4根据语音信息的输入状态和接收时间实现人机对话的话轮控制逻辑，包括人机对话中的抢话机制，此方法能够具有更高的代入感，使操作者具有更好的使用体验。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。