虚拟现实环境中与真实世界互动的方法与虚拟现实系统与流程

本发明涉及一种虚拟现实环境中与真实世界互动的方法与虚拟现实系统。

背景技术：

虚拟现实创造出具有真实图像、声音以及其它感官上的拟真世界，以复制出真实环境或是虚构场景。使用者得以融入、探索以及操控虚拟现实环境而感觉仿佛身历其境。

此技术最初的发展是致力于让使用者完全地融入于虚拟现实而不受外界的干扰。然而，在通信服务的蓬勃发展下，使用者时常频繁地藉由电话、网络通话、电话简讯、应用程序讯息等方式与他人联系。此时，若使用者将自己隔绝至虚拟现实环境中则将显得不切实际。

技术实现要素：

有鉴于此，本发明提供一种虚拟现实环境中与真实世界互动的方法与虚拟现实系统，其不仅可避免使用者完全隔绝于真实世界，更可在最少的突兀感与干扰下提供使用者一种真实世界与虚拟世界的连接管道。

在本发明的一实施例中，上述的方法适用于包括虚拟现实头戴装置以及控制器的虚拟现实系统，其中虚拟现实系统是由处理装置接收数据，并且包括下列步骤。首先，一事件信号是触发于虚拟现实头戴装置以及控制器中的至少一个，其中事件信号是接受自处理装置且指出关联于真实世界的通知的到来。由控制器产生动数据并且反应于判断移动数据符合第一移动数据，第一互动接口是产生以让虚拟现实头戴装置以及控制器中的至少一个与通知进行互动。

本发明的一实施例中，上述的虚拟现实系统包括虚拟现实头戴装置以及控制器，其中虚拟现实头戴装置以及控制器是连接于处理装置，且其中指出关联于真实世界的通知的到来的一事件信号是接收自处理装置并触发于虚拟现实头戴装置以及控制器中的至少一个，并且反应于反应于判断由控制器产生的移动数据符合第一移动数据，一第一互动接口是产生以让虚拟现实头戴装置以及控制器中的至少一个与通知进行互动。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1为根据本发明一实施例所绘示的虚拟现实系统的方块图。

图2为根据本发明的一实施例所绘示的虚拟现实环境中与真实世界互动的方法流程图。

图3为根据本发明的一实施例所绘示的通知到来的情境示意图。

图4为根据本发明的一实施例所绘示的与通知互动的情境示意图。

图5为根据本发明的另一实施例所绘示的与通知互动的情境示意图。

图6a～图6d为根据本发明的一实施例所绘示的虚拟现实环境与通知之间转换的情境示意图。

【符号说明】

100：虚拟现实系统

110：处理装置

120：虚拟现实头戴装置

130：控制器

s202～s208：虚拟现实环境中与真实世界互动的方法流程

vr：虚拟现实环境

302：灯光效果

310：虚拟控制器

msg：通知

kb：虚拟键盘

510：字母键

514：选择键

vs：虚拟现实环境

vsimga：画面

vsimgb：模糊化提取画面

vsimgc：缩小画面

vsimgd：使用中的空间视窗

610：实体控制器的图案

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法与系统的范例。

图1为根据本发明一实施例所绘示的虚拟现实系统的方块图。首先图1先介绍虚拟现实系统的所有构件以及配置关系，详细功能将配合图2一并公开。

请参照图1，虚拟现实系统100至少包括处理装置110、虚拟现实头戴装置120以及控制器130，其中处理装置110连接于虚拟现实头戴装置120以及控制器130。

处理装置110可以是具有运算能力并且具有处理器的运算装置，例如是文件服务器、数据库服务器、应用程序服务器、工作站、个人计算机、笔记型计算机等。处理器可以是北桥(northbridge)、南桥(southbridge)、现场可编程门阵列(fieldprogrammablearray，fpga)、可编程逻辑装置(programmablelogicdevice，pld)、特殊应用集成电路(applicationspecificintegratedcircuits，asic)或其他类似装置或这些装置的组合。处理器也可以是中央处理单元(centralprocessingunit，cpu)、应用处理器(applicationprocessor，ap)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、图形处理器(graphicsprocessingunit，gpu)或其他类似装置或这些装置的组合。处理装置110可创造出具有立体视觉效果的真实环境或是虚构场景，并且其可与虚拟现实头戴装置120以及控制器130进行沟通，以让使用者得以在虚拟世界中进行探索以及互动。此外，处理装置110更可以产生声音效果，以提供使用者身历其境与真实的体验。

用于例示，处理装置110可与虚拟现实头戴装置120整合为一装置，或可与虚拟现实头戴装置120有线或无线连接。

本领域技术人员应明了，处理装置110包括数据存储装置。数据存储装置可以是任意型式的非暂态性、易失性、非易失性的存储器，其用以存储缓冲数据、永久数据以及用来执行处理装置110的功能的编译程序代码。此外，数据存储装置可以是外接于并且可被处理装置110存取的外接硬盘、云端存储或是其它外接记录装置。

虚拟现实头戴装置120可以是具有内建头部追踪系统的头戴显示器或是眼镜。虚拟现实头戴装置120至少包括整合显示器、动作传感器以及通信接口。显示器例如是液晶显示器(liquid-crystaldisplay，lcd)、发光二极管(light-emittingdiode，led)显示器或其他类似装置。动作传感器可以是加速度计(例如：重力传感器)、陀螺仪(例如：陀螺仪传感器)或任何可检测虚拟现实头戴装置120的线性移动、线性移动方向以及旋转移动(例如旋转角速度或旋转角度)的传感器。虚拟现实头戴装置120会将所感测到的数据藉由通信接口以已知的无线或有线方式输出至处理装置110，而处理装置110会将图像传送给虚拟现实头戴装置120的显示器呈现。此外，虚拟现实头戴装置120更可包括播放来自处理装置110的声音频号的耳机。

控制器130可以例如是具有动作传感器的手持控制器、鼠标、摇杆、轨迹球、触摸板及/或按钮等允许使用者与虚拟世界的环境、物体或人物互动的输入装置。在此假设控制器130为可以任何无线通信标准与处理装置110及/或虚拟现实头戴装置120进行沟通的无线手持控制器。

在一实施例中，虚拟现实系统100可包括至少一个定位器，其可以例如是激光或红外线的发射器以及接收器并且挂于墙上或放置于使用者活动空间的角落。定位器不仅可定位出虚拟现实头戴装置120以及控制器130的所在位置，更可定义出此活动空间的边界，以避免沉浸于虚拟世界中的使用者碰撞到墙壁或是实际物体。

图2为根据本发明的一实施例所绘示的虚拟现实环境中与真实世界互动的方法流程图。图2的步骤可以是以图1所绘示的虚拟现实系统100来实现。

请同时参照图1以及图2，当关联于真实世界的通知到来时，处理装置110将在虚拟现实头戴装置120以及控制器130中的至少一个触发事件信号(步骤s202)。在此的通知可以是简讯、应用程序讯息、即时讯息、电子邮件讯息或其它本领域所熟知的相关形式。事件信号则表示通知的到来，藉以告知融入于虚拟现实环境中的使用者。在此的事件信号可以是控制器130所产生的触觉回馈、虚拟现实头戴装置120所产生的声音效果或是视觉效果等。在一些实施例中，虚拟现实头戴装置120可具有内建的扬声器或可有线或无线地与一耳机连接，如此声音效果可被使用者透过扬声器或耳机听见。

举例来说，图3为根据本发明的一实施例所绘示的通知到来的情境示意图。请参照图3，当通知到来时，使用者将会在虚拟现实环境vr中感觉到实际的触觉感受或是听到声响。此时，当使用者向下看或将控制器举起，具有灯光效果302的虚拟控制器310将会显示于视野中。此效果会追踪控制器130实际的空间位置而呈现出，且其仅为一个提醒的指示以提醒使用者有一通知，并不会打扰使用者游玩游戏。或者，也可以是将与通知内容相关的图示显示于使用者的视野角落，本发明不在此设限。

请再回到图2，处理装置110将自控制器130接收移动数据(步骤s204)。详细来说，控制器130将不断地检测本身是否移动。当检测到移动时，控制器130将产生对应于控制器130移动的移动数据，并且将其传送至处理装置110。值得注意的是，在检测任何移动之前，处理装置110可提供使用者来定义关联于控制器130的特定功能的移动手势。换句话说，控制器130可在检测到移动时产生移动数据，并且处理装置130将移动数据对应至特定功能并且将此移动数据存储于移动数据库。或者，移动数据库的移动数据也可以是系统预设设定。移动数据可包括位置、图案、轨迹、加速度等等。在本实施例中，已定义的移动数据包括对应于致能与通知互动的第一移动数据以及对应于禁能与通知互动的第二移动数据。

接着，处理装置110将判断移动数据是否在容许误差上符合第一移动数据(步骤s206)。当移动数据不符合第一移动数据时，有可能是使用者仍欲利用控制器130来做为其它用途而选择在此时忽略通知。流程将回到步骤s204，而处理装置110将持续接收来自控制器130的移动数据。

另一方面，当移动数据符合第一移动数据时，处理装置110将允许虚拟现实头戴装置120以及控制器130中的至少一个与通知进行互动(步骤s208)。也就是说，当处理装置110成功地确认所接收到的移动数据时，将允许使用者在虚拟现实环境中藉由虚拟现实头戴装置120和/或控制器130与关联于真实世界的通知进行互动，例如可藉由显示一第一互动接口。因此，使用者可在完全融入于虚拟世界的状态下与真实世界具有一定程度的联系。

举例来说，图4为根据本发明的一实施例所绘示的与通知互动的情境示意图。在此假设通知为讯息，而第一移动数据以及第二移动数据分别为关联于控制器130的向上移动以及向下移动。

请参照图4，当使用者欲预视通知时，可将控制器130举起以使虚拟控制器310突出于视野中。当处理装置110确认完自控制器130所接收的移动数据时，将会控制虚拟现实头戴装置120在虚拟现实环境vr中显示通知(即，简讯msg)。此时，控制器130的实际位置仍被追踪。在本实施例中，虚拟控制器310以及通知msg将以半透明呈现，而控制器130将持续地主导虚拟现实环境vr中的功能。换句话说，虚拟世界的进度，例如游玩游戏，仍持续进行，而控制器130仍可与虚拟物体以及人物进行互动。

当使用者阅读完通知msg时，可将控制器130放下以移除通知msg。以另一观点而言，当通知显示时，处理装置110将同时自控制器130接收移动数据并且判断移动数据是否在容许误差上符合第二移动数据。当移动数据符合第二移动数据时，处理装置110将自虚拟现实环境vr中移除通知msg。藉此，使用者无须离开虚拟现实环境vr也可观看通知msg的内容。

图5为根据本发明的另一实施例所绘示的与通知互动的情境示意图。在本实施例中，使用者可藉由控制器130回复通知。

请参照图5，接续于图4，当通知msg显示于虚拟现实环境vr时，使用者可藉由例如是按压控制器130上的按钮来回复通知msg，以产生第一触发信号并且传输至处理装置110。当处理装置110接收到第一触发信号时，将会暂停虚拟现实环境vr的进度并且指示控制器130与通知msg互动。

在本实施例中，处理装置110将控制虚拟环境头戴装置120来显示通知msg以及对应于控制器130的一第二互动接口，例如虚拟键盘kb及/或其他输入方式。虚拟键盘针对不同的语言可具有不同的类型及排列方式以及针对同一语言可具有不同的排列方式以供使用者选择。虚拟键盘kb的字母键510的排列方式将会对应于控制器130的实体按钮及/或触摸板，以提供直觉的文字输入。举例来说，当使用者按压控制器130上对应于字母键510中的a～d键的按钮时，a～d键将会显示于选择键514来提供选择。当使用者按压控制器130上对应于选择键514中的b键的按钮时，字母「b」将会做为通知msg的文字输入。当使用者结束对话时，可例如是藉由按压控制器130上相同的按钮来移除通知msg，以产生第二触发信号并且传输至处理装置110。当处理装置110接收到第二触发信号时，将会接续虚拟现实环境vr中的进度并且指示控制器130可再次与虚拟现实环境vr互动。

由于使用者可在不离开目前虚拟现实环境的前提下方便地观看通知，使用者可能希望最少的干扰，以维持虚拟世界的情境。在此将会提供一个虚拟现实环境与通知之间的平稳过渡方式，以让使用者可在不同状态下进行切换并且不会感受到突兀的转变。

以图5为例，当显示通知msg并且虚拟现实环境vr的进度暂停时，处理装置110将会提取目前虚拟空间的视野的画面。接着，处理装置110将针对画面进行模糊化处理，并且控制虚拟现实头戴装置120来设定并且显示模糊化提取画面为通知的背景画面，如此使用者即可在虚拟现实环境中看见2d的模糊化撷取画面悬浮在3d的空间中。当移除通知msg时，原本的虚拟现实环境vr将会自通知显示前的进度接续。

以视觉化而言，图6a～图6d为根据本发明的一实施例所绘示的虚拟现实环境与通知之间转换的情境示意图。

请先参照图6a，当虚拟现实环境vs的进度暂停时，目前虚拟空间的画面vsimga将会被提取。此时，控制器130的功能将会自与虚拟物体以及人物的互动转向与通知的互动。此种转变将会是以虚拟控制器自原本的模样渐渐消失而显示成实体控制器的模样610，样并且将画面vsimga进行模糊化以产生如图6b所示的模糊化提取画面vsimgb。在本实施例中，如图6c所示，模糊化提取画面vsimgb可被缩放成缩小画面vsimgc，而实体控制器的模样610将会逐渐地显示，当实体控制器的图案610完全地显示时，代表控制器130可以与通知进行互动。使用者的视野将会呈现出实体控制器的图案610、缩小画面vsimgc以及位于前述两者之间的通知。

当使用者结束通知时，如图6d所示，缩小画面vsimgc将会转变成使用中的空间视窗vsimgd并且融入于虚拟现实环境vs之中，而实体控制器的模样610将换转换回先前所呈现的虚拟控制器。值得注意的是，除了通知以外，此种概念可延伸至其他接口、界面、模型、互动等，例如是菜单设定视窗等，本发明不在此设限。

请再回到图2，步骤s208中的通知不限定于讯息。在另一实施例中，此通知可以是经由电信业者或是网络电话业者的来电。在一范例中，当处理装置110在步骤s206判断所接收的移动数据符合第一移动数据时，处理装置110将会允许使用者利用虚拟现实头戴装置120接听来电。在另一范例中，当处理装置110在步骤s206判断所接收的移动数据符合第一移动数据时，处理装置110将控制虚拟现实头戴装置120显示来电的相关信息(例如来电显示)，而使用者可藉由例如是按压控制器130上的按钮来接听来电，以产生第一触发信号并且传输至处理装置110。当处理装置110接收到第一触发信号时，将会暂停虚拟现实环境vr的进度并且指示虚拟现实头戴装置120来接听来电。类似地，当使用者在接听来电时，处理装置110可选择性地暂停虚拟现实环境的进度，并且在来电结束后接续虚拟现实环境的进度。在更另一实施例中，通知可为未接来电通知、社群网络事件通知、新闻通知、服务应用程序的通知、警告通知等。

综上所述，本发明所提出的方法、虚拟现实系统以及计算机可读取记录介质可让使用者在不受干扰的情况下将到来的通知显示于虚拟现实环境之中。其他人仍可与融入于虚拟现实环境中的使用者进行联系，并且使用者无须移除虚拟现实头戴装置即可利用控制器执行指定功能，以在最少干扰的前提下在虚拟世界与真实世界之间移动。本发明不仅可避免完全隔绝于真实世界，更以一种简单明了的方式来提供连接现实与虚拟世界的管道。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。