虚拟现实终端的环境交互系统及方法与流程

本发明涉及虚拟现实技术领域，尤其涉及一种在用户使用虚拟现实终端时仍然能与外部环境进行交互的虚拟现实终端的环境交互系统及方法。

背景技术：

虚拟现实(Virtual Reality，简称VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种具有多源信息融合的交互式三维动态视景的模拟环境，使用户在使用过程中可以沉浸到该环境中去。

如今已经出现了很多虚拟现实的终端产品，例如虚拟现实头盔、虚拟现实眼镜等，多为头戴式设备。最为便捷的实现方式是通过移动终端配合虚拟现实眼镜，再佩戴上头戴式耳机，实现虚拟试听效果。由于虚拟现实终端所呈现场景的高度仿真性，用户在使用时往往比较专注于正在观看的视频或者正在玩的游戏，大多数感官被虚拟现实终端所占用，从而很容易错过或者忘记一些重要的事件。例如，当智能电饭煲完成好烧饭功能、门铃响了、家用电器出现故障等事件发生时，由于用户沉浸于虚拟现实中而无法很好地感知，从而给用户的生活带来了一定的不便。

另外，由于虚拟现实终端占据了用户的听觉和视觉，当其他人或者外部设备需要与虚拟现实终端的用户进行实时交流时也不方便，即使有紧急事件也无法及时地通知到虚拟现实终端的用户，从而也一定程度降低了用户的使用体验。

技术实现要素：

针对现有技术中的问题，本发明的目的在于提供一种虚拟现实终端的环境交互系统及方法，在用户使用虚拟现实终端时仍然能与外部环境进行交互，获取外部环境的输入信息，从而避免错过重要事件或交流内容。

本发明实施例提供一种虚拟现实终端的环境交互系统，包括外部信息获取模块、外部信息处理模块和外部信息推送模块，其中：

所述外部信息获取模块从信息输入设备获取外部信息；

所述外部信息处理模块判断所述外部信息是否符合预设推送条件，并将符合所述预设推送条件的外部信息发送至所述外部信息推送模块；

所述外部信息推送模块将符合所述预设推送条件的外部信息推送至虚拟现实终端的用户。

优选地，所述外部信息处理模块当检测到所述外部信息中存在交流开始关键词时，定义之后接收到的外部信息符合预设推送条件；

所述外部信息处理模块当检测到所述外部信息中存在交流结束关键词时，定义之后接收到的外部信息不符合预设推送条件。

优选地，还包括：

用户指令获取模块，用于获取所述虚拟现实终端的用户指令；

用户指令处理模块，用于当检测到所述用户指令中存在交流开始关键词时，定义之后的外部信息为符合预设推送条件并通知所述外部信息处理模块；当检测到所述用户指令中存在交流结束关键词时，定义之后的外部信息为不符合预设推送条件并通知所述外部信息处理模块。

优选地，所述外部信息包括定时提醒信息，所述外部信息处理模块判断当前时间是否到达预设提醒时间，并于当前时间到达预设提醒时间时，将所述定时提醒信息发送至所述外部信息推送模块。

优选地，所述外部信息处理模块判断所述信息输入设备是否为预设允许设备，并定义预设允许设备的外部信息符合预设推送条件。

优选地，所述信息输入设备包括应用程序服务器；

所述外部信息获取模块获取到所述应用程序服务器发送的外部信息时；

所述外部信息处理模块判断所述虚拟现实终端中是否存在与所述外部信息匹配的应用程序，并定义存在匹配应用程序的外部信息符合预设推送条件。

优选地，所述外部信息推送模块将所述外部信息以语音形式与所述虚拟现实终端的音源合成输出，和/或将所述外部信息以文本形式与所述虚拟现实终端的显示画面合成输出。

优选地，所述外部信息处理模块根据预设优先级评定规则评定符合所述预设推送条件的外部信息的优先级，将符合所述预设推送条件的外部信息以及对应的优先级发送至所述外部信息推送模块；

所述外部信息推送模块根据接收到的外部信息的优先级从高到低的顺序推送所述外部信息至所述虚拟现实终端的用户。

优选地，所述外部信息推送模块判断所述虚拟现实终端运行的复杂度是否高于预设复杂阈值，并于高于所述预设复杂阈值时，仅推送优先级高于预设必要级别的外部信息至所述虚拟现实终端的用户。

优选地，所述信息输入设备包括智能家居设备、图像输入设备、文本输入设备或语音输入设备。

优选地，所述外部信息获取模块和所述外部信息处理模块均集成于所述虚拟现实终端中或均集成于一与所述虚拟现实终端通信的中继装置中。

本发明实施例还提供了一种虚拟现实终端的环境交互方法，采用所述的虚拟现实终端的环境交互系统，所述环境交互方法包括如下步骤：

从信息输入设备获取外部信息；

判断所述外部信息是否符合预设推送条件；

将符合所述预设推送条件的外部信息推送至用户。

本发明所提供的虚拟现实终端的环境交互系统及方法具有下列优点：

本发明提供了一种用于虚拟现实终端的用户与环境进行交互的技术方案，在用户使用虚拟现实终端时仍然能与外部环境进行交互，获取外部环境的输入信息，十分方便地与外部设备或其他人进行实时的沟通交流；从而保障用户在享受虚拟现实终端带来的沉浸式娱乐体验的同时，也不会错过重要事件的提醒和实时的交流内容，提升虚拟现实终端的使用体验。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的虚拟现实终端的环境交互系统的结构示意图；

图2是本发明一实施例的根据关键词处理外部信息的流程图；

图3是本发明一实施例的具有用户指令处理功能的环境交互系统的结构示意图；

图4是本发明一实施例的根据用户指令处理外部信息的流程图；

图5是本发明另一实施例的根据用户指令处理外部信息的流程图；

图6是本发明一实施例的定时提醒的流程图；

图7是本发明一实施例的判断信息输入设备的流程图；

图8是本发明一实施例的智能家居任务提醒的流程图；

图9是本发明一实施例的处理应用程序的外部信息的流程图；

图10是本发明一实施例的外部信息分类推送的流程图；

图11是本发明一实施例的根据优先级和复杂度推送外部信息的流程图；

图12是本发明一实施例的与虚拟现实终端相连接的中继装置的结构示意图；

图13是本发明另一实施例的虚拟现实终端的结构示意图；

图14是本发明一实施例的虚拟现实终端的环境交互方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

如图1所示，本发明实施例提供一种虚拟现实终端的环境交互系统，所述系统包括外部信息获取模块110、外部信息处理模块120和外部信息推送模块130，其中：

所述外部信息获取模块110从信息输入设备200获取外部信息；

所述外部信息处理模块120判断所述外部信息是否符合预设推送条件，并将符合所述预设推送条件的外部信息发送至所述外部信息推送模块130；

所述外部信息推送模块130将符合所述预设推送条件的外部信息推送至虚拟现实终端的用户。

通过采用本发明的环境交互系统，即使用户沉浸于虚拟现实终端提供的娱乐场景中时，也不会错过来自周围环境的外部信息，仍然能与外界通畅地交流。所述外部信息可以是通过键盘输入的文本信息、通过麦克风获取到的语音信息、通过定时器获得的定时提醒信息、智能家居设备完成指定任务时的提醒消息等等，均可以应用于本发明的技术方案，从而保证用户在使用虚拟现实终端时也不会错过或者忘记一些重要事件。

所述预设推送条件可以是多种预设的不同的判定条件。例如，预先设置的时间提醒条件、任务完成提醒条件等等，也可以是用户预设的与交流通讯相关的关键词。

如图2所示，为本发明一实施例的基于外部信息的关键词处理外部信息的方式的流程图。首先所述外部信息获取模块110从信息输入设备200获取外部信息；所述外部信息处理模块120检测所述外部信息中的关键词；所述外部信息处理模块120当检测到所述外部信息中存在交流开始关键词时，定义之后接收到的外部信息符合预设推送条件，当检测到所述外部信息中存在交流结束关键词时，定义之后接收到的外部信息不符合预设推送条件。

所述交流开始关键词和交流结束关键词可以是从信息输入设备200获取的语音信息中提取的关键词，也可以是文本或图像信息中提取的关键词。

进一步地，在对外部信息提取关键词检测之前，还可以由用户设定交流开始关键词和交流结束关键词。例如，设定交流开始关键词为“通话开始”，设定交流结束关键词为“通话结束”，那么检测到外部信息中有“通话开始”这四个字时即开启虚拟现实终端和外界通话的通道，检测到外部信息中有“通话结束”这四个字时，即关闭虚拟现实终端和外界通话的通道。交流开始关键词还可以进一步设置为用户的姓名，如果有其他人想要与正使用虚拟现实终端的用户通话时，需要叫出用户的正确姓名，方可与用户进行通话。

通过外部信息处理模块120的处理和筛选，避免用户接收到过多无用信息。另外，当检测到交流结束关键词或没有检测到交流开始关键词时，不必为虚拟现实终端推送外部信息，也减少了系统的工作量，降低了系统的能耗。

如图3所示，进一步地，本发明的环境交互系统还可以对正在使用虚拟现实终端的用户发出的指令做出反应。所述系统还可以包括用户指令获取模块140以及用户指令处理模块150。

如图4所示，为采用图3所示的系统处理用户指令的流程图。首先所述用户指令获取模块140获取用户指令，所述用户指令处理模块150检测所述用户指令中的关键词，当检测到所述用户指令中存在交流开始关键词时，定义之后的外部信息为符合预设推送条件并通知所述外部信息处理模块120；当检测到所述用户指令中存在交流结束关键词时，定义之后的外部信息为不符合预设推送条件并通知所述外部信息处理模块120。

所述交流开始关键词和交流结束关键词可以由用户自定位为各种字或词组，也可以定义为一串数字、英文等字符组成的密码，也可以定义为用户自己的名字。

如图5所示，为定义用户自己的名字为交流开始关键词的处理流程图。每一个虚拟现实终端的用户在使用时对应一个名字用于唤醒(可以是使用者的中文名或英文名。比如，李明)。当虚拟现实终端检测到用户戴上虚拟现实终端设备后，继续检测用户指令，用户需要说出关键词“我是”，然后停顿一下，然后用户说接下来的名字，比如：“我是李明”。这时用户指令处理单元了解到有用户在使用虚拟现实终端，并且知道用户名字是“李明”。

当其他人呼唤虚拟现实终端的用户的名字时(比如李明)，外部信息处理模块120识别后，判断交流开始，即之后接收到的外部信息判断为符合预设条件。当通话结束时，如果用户说出关键词“通话结束”，用户指令处理模块判断之后接收的外部信息不符合预设推送条件，则所述系统将不再为用户推送外部信息。

其中，虚拟现实终端检测到用户戴上虚拟现实终端设备可以通过在虚拟现实终端上安装距离传感器等方式来检测。在检测到有用户使用时，可以通过语音或显示方式来提醒用户说出自己的姓名，实现有效采集。

因此，通过用户指令处理模块140和外部信息处理模块120的处理和筛选，可以避免用户接收到过多无用信息。用户指令处理模块140根据用户指令做出应答，避免用户在不想接收外部信息时受到打扰。另外，当检测到交流结束关键词或没有检测到交流开始关键词时，不必为虚拟现实终端推送外部信息，也减少了系统的工作量，降低了系统的能耗。

如图6所示，本发明还可以实现定时提醒功能。用户可以首先设定预设提醒时间，所述外部信息可以包括定时提醒信息，所述外部信息处理模块120判断当前时间是否到达预设提醒时间，如果是，则将所述定时提醒信息发送至外部信息推送模块130，由外部信息推送模块130将定时提醒信息进一步推送至用户，否则，不为用户推送定时提醒信息。

例如，当用户需要在一个小时后，或者某个特定的时间做某件事情。可以提前通过信息输入设备200设定闹铃，或者倒计时，外部信息处理模块120可以通过计时的方式或者通过互联网获得当前时间，如果时间条件满足，则系统向用户推送定时提醒信息，帮助用户记忆重要时间点。

进一步地，所述用户指令获取模块140也可以应用于此种判断方式。即，当所述外部信息推送模块130向用户推送了定时提醒信息时，可以要求用户对该定时提醒信息进行确认，例如口头上说“收到”，或者按下确认按键等。如果预设等待时间内所述用户指令获取模块140没有接收到用户的确认指令，则可能外部信息推送时用户没有注意到，也可能是用户注意到了但是没有及时去处理而忘记了，那么就需要外部信息推送模块130重新推送一次定时提醒信息，保证定时提醒信息的准确送达，避免误事。

进一步地，本发明的信息输入设备200可以包括但不限于智能家居设备、图像输入设备、文本输入设备或语音输入设备。例如，采用外置的摄像头采集外部图像，利用键盘采集输入文本，利用麦克风采集外部语音等，均属于本发明的保护范围内。

当所述信息输入设备200包括智能家居设备时，可以在智能家居设备的指定任务完成后，通过外部信息获取模块110获取到智能家居设备发送的外部信息。例如，预先设定智能电饭煲进行煮饭、预先设定空调开启调节室内温度至25度，预先设定空气净化器工作两小时等等，就可以通过向本发明的环境交互系统发送外部信息的方式实现提醒。

通过将智能家居设备与虚拟现实终端应用到物联网的结构中，方便信息交互，避免用户错过重要事件，使用户在使用虚拟现实终端时可以安心使用，而不必另外采用其他方式设置提醒，提升了用户体验。

如图7～8所示，当采用不同的信息输入设备200时，所述外部信息处理模块120还可以对接收到的外部信息所对应的信息输入设备200进行校验，判断信息输入设备200是否为预设允许设备，如果是，则定义所述外部信息符合所述预设推送条件，否则定义所述外部信息不符合所述预设推送条件。

所述预设允许设备可以是在使用前与虚拟现实终端进行配对过的设备，也可以是用户选择的部分设备。用户也可以选择在这一时段内只接收部分十分重要的信息输入设备200的外部信息，而对其他的外部信息则需要忽略。例如，用户选择当前这一时段只接收智能电饭煲和门铃的外部信息，当智能电饭煲提醒完成好烧饭后，用户即知道饭烧好了，可以准备炒菜了，而门铃响了的时候，用户即知道有人来访，需要及时应答，其他的例如空调提醒、键盘输入等不紧急的外部信息可以先忽略。本发明通过对信息输入设备200校验，可以避免用户接收过多无关的外部信息，避免了外部信息过多使得虚拟现实终端使用时的感官体验下降，也给了用户更多选择的方式。

如图9所示，所述信息输入设备200还包括应用程序服务器。所述外部信息获取模块110获取到所述应用程序服务器发送的外部信息时；所述外部信息处理模块120判断所述虚拟现实终端中是否存在与所述外部信息匹配的应用程序，并定义存在匹配应用程序的外部信息符合预设推送条件。如果没有找到与所述外部信息匹配的应用程序，则无法推送所述外部信息。

例如，可以在虚拟现实终端上安装类似微信或者QQ之类的通讯软件，能接收互联网或者局域网内，其他人发给虚拟现实终端的文字或者语音信息。其他人想要与用户交流时，可以将外部信息发送到微信或者QQ等应用程序的服务器上，由所述应用程序服务器进行转发。当所述外部信息处理模块120接收到外部信息时，需要判断虚拟现实终端上是否安装了对应的应用程序，如果安装了，则对应采用微信或者QQ等应用程序推送至用户。

进一步地，所述智能家居设备与虚拟现实终端的通信也可以通过云端服务器实现。由智能家居设备将提醒信息发送至云端服务器，再由云端服务器进行转发，云端服务器转发时要加上智能家居设备所对应的ID号或其他认证信息，或者所述智能家居设备直接发送给虚拟现实终端均是可以的。

通过将虚拟现实终端与应用程序结合起来，可以应用现有技术中现成的一些应用程序，实现虚拟现实终端与外部信息的通信，将信息转发的任务交给应用程序服务器，而减轻了本发明的环境交互系统的转发工作量，并且对于不符合要求的外部信息进行筛除，也减少了用户的推送信息量；另外，可以选用一些用户平时生活中常用的一些软件，方便用户切入，不必适应新的交流界面，使用更方便快捷。

如图10所示，本发明的外部信息推送方式也可以有多种。所述外部信息推送模块130可以将所述外部信息以语音形式与所述虚拟现实终端的音源合成输出，也可以将所述外部信息以文本形式与所述虚拟现实终端的显示画面合成输出，也可以同时采用两种方式一起进行，不会影响到用户正常观看的视频或正常进行的游戏。具体地，所述外部信息的推送方式可以由用户预先设定。例如用户在玩射击游戏需要集中注意力看画面时，可以设定外部信息通过语音形式推送，对显示画面完全没有影响，用户在听听力需要集中精力听语音时，可以设定外部信息通过文本形式显示在虚拟现实终端的屏幕上，而不会影响到用户听到的声音。

如图11所示，本发明的外部信息处理模块120在处理所述外部信息的过程中，还可以进一步对所述外部信息进行分类。所述外部信息处理模块120根据预设优先级评定规则评定符合所述预设推送条件的外部信息的优先级，将符合所述预设推送条件的外部信息以及对应的优先级发送至所述外部信息推送模块130；

所述外部信息推送模块130根据接收到的外部信息的优先级从高到低的顺序推送所述外部信息至所述虚拟现实终端的用户。

所述预设优先级评定规则可以是根据信息输入设备200进行判断，例如将门铃和电话铃的提醒信息优先级设置得高于空气净化器和空调的提醒信息；也可以是根据时间判断，例如设定某一时间段内接收到的外部信息的优先级高于其他时间段接收到的外部信息。

进一步地，为了不过分打扰用户，还可以设置判断虚拟现实终端运行复杂度的过程。所述外部信息推送模块130首先判断所述虚拟现实终端运行的复杂度是否高于预设复杂阈值，并于高于所述预设复杂阈值时，仅推送优先级高于预设必要级别的外部信息至所述虚拟现实终端的用户。

例如，用户正在进行十分激烈的游戏，不想被外界过多的打扰，可以设定只有门铃响或者电话响时才提醒他，其他时候不接收外部信息；而用户在听比较舒缓的音乐的时候，则可以多推送一些外部信息给用户，这个时候用户较容易分出精力来处理这些事项。

判断所述虚拟现实终端运行的复杂度，可以根据用户点击操作的频率值来判断，也可以通过虚拟现实终端的播放画面的显示帧速等来判断，或者通过语音播放的声波曲线来判断，例如用户在一分钟内点击操作高于10次，则说明所述虚拟现实终端运行复杂度较高，仅推送比较紧急和重要的外部信息；当三分钟内没有检测到用户操作时，说明所述虚拟现实终端运行复杂度较低，可以推送其他外部信息。这样也就避免了，在虚拟现实终端运行复杂度较高时，还要接收外部信息，大大增加了虚拟现实终端在短时间内的负荷，容易出现错误甚至死机。

本发明的外部信息获取模块110和所述外部信息处理模块120可以均集成于所述虚拟现实终端中，也可以两者均集成于一与所述虚拟现实终端通信的中继装置中，或者可以将所述外部信息获取模块110集成于所述中继装置中，将所述外部信息处理模块120集成于所述虚拟现实终端中。

如图12所示，为将所述外部信息获取模块110和所述外部信息处理模块120均集成于中继装置中的结构示意图。所述中继装置包括中央控制处理单元和语音信号模块，所述中继装置还可以进一步连接各种信息输入设备200，例如按键、麦克风阵列、显示屏、摄像头等，也可以通过蓝牙、WIFI模块或红外接口与其他信息输入设备200或所述虚拟现实终端进行通信。

采用中继装置获取外部信息并对外部信息进行筛选处理，能够降低虚拟现实终端的CPU侦测和筛选外部信息的负载，减小对虚拟现实终端本机的功耗，保证虚拟现实终端运行的流畅性和稳定性。

如图13所示，为将所述外部信息获取模块110和所述外部信息处理模块120集成于所述虚拟现实终端中的结构示意图。所述虚拟现实终端上自带麦克风阵列和语音信号模块，并且可以进一步设置有存储器，对外部信息进行存储备份，所述虚拟现实终端可以进一步连接有不同的信息输入设备200，例如显示屏、按键等，也可以通过蓝牙、WIFI模块等与外部的信息输入设备200进行通信。并且可以进一步设定交流开始条件和交流结束条件，在交流未开始和交流结束后，可以停止麦克风阵列的语音采样，节省麦克风阵列的能耗，使之处于待机装置。

采用集成于所述虚拟现实终端的方法，不必再另外设置其他的中继装置，也方便了用户的统一管理和操作。上述两种实施方式仅为两种示例的实施方式，在实际应用中不限于此，也可以采用其他的形式，或增设其他的功能模块，均属于本发明的保护范围之内。

如图14所示，本发明实施例还提供了一种虚拟现实终端的环境交互方法，采用所述的虚拟现实终端的环境交互系统，所述环境交互方法包括如下步骤：

S100：从信息输入设备获取外部信息；

S200：判断所述外部信息是否符合预设推送条件；

S300：将符合所述预设推送条件的外部信息推送至用户。

通过采用本发明的环境交互方法，即使用户沉浸于虚拟现实终端提供的娱乐场景中时，也不会错过来自周围环境的外部信息，仍然能与外界通畅地交流，从而保证用户在使用虚拟现实终端时也不会错过或者忘记一些重要事件，方便用户和他人沟通交流信息。

本发明所提供的虚拟现实终端的环境交互系统及方法具有下列优点：

本发明提供了一种用于虚拟现实终端的用户与环境进行交互的技术方案，在用户使用虚拟现实终端时仍然能与外部环境进行交互，获取外部环境的输入信息，十分方便地与外部设备或其他人进行实时的沟通交流；从而保障用户在享受虚拟现实终端带来的沉浸式娱乐体验的同时，也不会错过重要事件的提醒和实时的交流内容，提升虚拟现实终端的使用体验。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。