虚拟环境交互方法、设备和系统与流程

文档序号:14989942发布日期:2018-07-20 22:00阅读:167来源:国知局

本发明涉及电子信息技术领域,尤其涉及一种虚拟环境交互方法、设备和系统。



背景技术:

虚拟现实技术是一种计算机仿真技术,其可以模拟一个虚拟环境,用户可与该虚拟环境交互。目前,常见的虚拟现实技术有:虚拟现实(virtualreality,vr)技术、增强虚拟(augmentedvirtuality,av)技术和混合现实(mixedreality,mr)技术。

虚拟现实技术中一个重要的方面是实现与虚拟环境的交互。目前,实现与虚拟环境交互的方法主要包括:一个用户通过手持式按键控制器向一个虚拟现实设备发送操作指令,实现用户与模拟环境之间的交互。

针对于目前实现与虚拟环境交互的方法,用户需要手持按键控制器,通过操作按键控制器上的按键向虚拟现实设备发送交互命令,由于在交互的过程中用户需要一直手持按键控制器,存在交互方式复杂,用户不易控制的问题。



技术实现要素:

有鉴于此,本发明提供一种虚拟环境交互方法、设备和系统,以便提供一种简单与虚拟环境交互的方式。

第一方面,本发明实施例提供一种虚拟环境交互方法。

该方法中,一个使用者佩戴一个第一电子设备和一个第二电子设备。其中,所述使用者可为人、动物、机器人或机械手臂等所有可能产生动作的生物或设备。所述第一电子设备可采集所述使用者的动作,可为便携式电子设备、可穿戴设备(如智能手表或智能手环)等。比如:所述第一电子设备通过内置或外接的至少一个传感器采集所述使用者的动作。这些传感器可包括但不限于下列传感器中的至少一种:重力传感器、加速度计、地磁仪、陀螺仪、距离传感器和光线传感器等。可选地,第一电子设备还可包括振动装置和/或扩音器,可以通过振动和/或发出声音的方式提示使用者与虚拟环境交互的结果。所述第二电子设备可产生虚拟环境。比如:第二电子设备可为虚拟现实眼镜,或者第二电子设备为具有虚拟现实功能的手机,放置在光学眼镜中,光学镜片位于手机与人眼之间(此场景下,使用者为人)。

本发明实施例中,第一电子设备采集使用者的一个动作,生成用于表示所述动作的动作指示信息,并将生成的所述动作指示信息发送给所述第二电子设备。其中,该动作指示信息可包括第一电子设备通过采集使用者的动作时,通过传感器采集到的传感器数据。所述第二电子设备根据收到的所述动作指示信息生成一个交互命令,并按照生成的所述交互命令与所述第二电子设备产生的虚拟环境进行交互。

由于使用者无需手持按键控制器触发相应的按键,仅需要通过动作便可以进行交互控制,不同的动作可产生不同的交互命令,从而可以简单地与虚拟环境进行交互。

可选地,所述第一电子设备可佩戴在所述使用者的上肢。比如:所述使用者为人或机器人或机械手臂。第一电子设备可以设计为手表、手环或戒指等形态,佩戴在所述使用者的手指、手腕、小臂、大臂等上肢的不同部位,以满足不同使用者的佩戴需求,提高了该虚拟环境交互方法的适用性。并且,由于上肢的动作比较敏捷,通过上肢的动作来实现与虚拟环境的交互,更加便捷,可以提高使用者的体验效果。

可选地,所述交互命令用于在所述虚拟环境中执行鼠标操作。通过该种可选实现方式,可使得所述使用者方便地在所述虚拟环境的任何一个位置处进行交互操作。

考虑到使用者通过第二电子设备与虚拟环境进行交互的,不同于与现实环境的交互中使用者可直接获得交互的反馈结果,因此可选地,在所述第二电子设备按照所述交互命令与所述第二电子设备产生的虚拟环境进行交互之后,所述第二电子设备可根据与所述虚拟环境交互的结果(比如:在所述虚拟环境中执行所述鼠标操作的结果)生成一个反馈信息,并将所述反馈信息发送给所述第一电子设备。所述第一电子设备接收所述反馈信息,并根据所述反馈信息,向所述使用者反馈交互结果。比如:通过声音或振动向使用者进行反馈;再比如:若所述使用者为一个机器人,则还可向该机器人的控制器发送一个反馈指示信息,该机器人的控制器根据收到的反馈指示信息确定交互结果。

第二方面,本发明实施例还提供了另一种虚拟环境交互方法。该方法可应用于第一方面提供的方法中所涉及的第一电子设备。

该方法中,一个使用者佩戴的一个第一电子设备采集所述使用者的一个动作,并生成用于表示所述动作的一个动作指示信息。所述第一电子设备通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个第二电子设备,所述动作指示信息用于所述第二电子设备生成一个交互命令,所述交互命令用于与所述第二电子设备产生的虚拟环境进行交互。

可选地,在所述第一电子设备通过无线传输的方式将所述动作指示信息发送给所述使用者佩戴的一个第二电子设备之后,进一步包括:所述第一电子设备通过无线传输的方式接收来自所述第二电子设备的一个反馈信息,所述反馈信息用于表示与所述虚拟环境交互的结果;所述第一电子设备根据所述反馈信息,向所述使用者发送声音和/或振动反馈。

第三方面,本发明实施例提供了又一种虚拟环境交互方法,该方法可应用于第一方面提供的方法中所涉及的第二电子设备。该方法中,一个使用者佩戴的一个第二电子设备通过无线传输的方式接收来自所述使用者佩戴的一个第一电子设备的一个动作指示信息,所述动作指示信息用于表示所述第一电子设备采集到的所述使用者的一个动作;所述第二电子设备根据所述动作指示信息生成一个交互命令;所述第二电子设备按照所述交互命令与所述第二电子设备产生的虚拟环境进行交互。

可选地,在所述第二电子设备按照所述交互命令与所述第二电子设备产生的虚拟环境进行交互之后,进一步包括:所述第二电子设备根据与所述虚拟环境进行交互的结果生成一个反馈信息;所述第二电子设备通过无线传输的方式将所述反馈信息发送给所述第一电子设备。

第四方面,本发明实施例提供一种第一电子设备,由一个使用者佩戴。所述第一电子设备的实现可参考第一方面提供的方法中所涉及的第一电子设备。所述第一电子设备可包括:一个动作采集模块,用于采集所述使用者的一个动作;一个动作指示信息生成模块,用于生成表示所述动作采集模块采集到的所述动作的一个动作指示信息;一个动作指示信息发送模块,用于通过无线传输的方式将所述动作指示信息处理模块生成的所述动作指示信息发送给所述使用者佩戴的一个第二电子设备,所述动作指示信息用于所述第二电子设备生成一个交互命令,所述交互命令用于与所述第二电子设备产生的虚拟环境进行交互。

可选地,所述第一电子设备还包括:一个反馈信息接收模块,用于通过无线传输的方式接收来自所述第二电子设备的一个反馈信息,所述反馈信息用于表示与所述虚拟环境进行交互的结果;一个反馈动作执行模块,用于根据所述反馈信息接收模块接收到的所述反馈信息,向所述使用者发送声音和/或振动反馈。

第五方面,提供一种第二电子设备,由一个使用者佩戴。所述第二电子设备的实现可参考第一方面提供的方法中所涉及的第二电子设备。所述第二电子设备可包括:一个动作指示信息接收模块,用于通过无线传输的方式接收来自一个所述使用者佩戴的一个第一电子设备的一个动作指示信息,所述动作指示信息用于表示所述第一电子设备采集到的所述使用者的一个动作;一个交互命令生成模块,用于根据所述动作指示信息接收模块接收到的所述至少一个动作指示信息,生成一个交互命令;一个虚拟环境生成模块,用于产生虚拟环境;一个交互模块,用于按照所述交互命令生成模块生成的所述交互命令与所述虚拟环境生成模块产生的所述虚拟环境进行交互。

可选地,所述第二电子设备进一步包括:一个反馈信息生成模块,用于根据与所述虚拟环境交互的结果生成一个反馈信息;一个反馈信息发送模块,用于通过无线传输的方式将所述反馈信息生成模块生成的所述反馈信息发送给所述第一电子设备。

第六方面,提供一种第一电子设备,由一个使用者佩戴。所述第一电子设备的实现可参考第一方面提供的方法中所涉及的第一电子设备。所述第一电子设备可包括:至少一个传感器,用于采集所述使用者的一个动作;至少一个处理器,用于生成表示所述至少一个传感器采集到的所述动作的一个动作指示信息;至少一个收发器,用于通过无线传输的方式将所述至少一个处理器生成的所述动作指示信息发送给所述使用者佩戴的一个第二电子设备,所述动作指示信息用于所述第二电子设备生成一个交互命令,所述交互命令用于与所述第二电子设备产生的虚拟环境进行交互。

第七方面,提供一种第二电子设备,由一个使用者佩戴,所述第二电子设备的实现可参考第一方面提供的方法中所涉及的第二电子设备。所述第二电子设备包括:至少一个收发器,用于通过无线传输的方式接收来自所述使用者佩戴的一个第一电子设备的一个动作指示信息,所述动作指示信息用于表示所述第一电子设备采集到的所述使用者的一个动作;至少一个处理器,用于根据所述至少一个收发器接收到的所述动作指示信息,生成一个交互命令;按照所述交互命令与所述第二电子设备产生的虚拟环境进行交互。

第八方面,提供一种机器可读介质,所述机器可读介质上存储有机器可读指令,所述机器可读指令在被处理器执行时,使所述处理器执行第一方面、第二方面或第三方面,及上述方面的任一种可能的实现方式提供的方法。

第九方面,提供一种虚拟环境交互系统,包括:一个第一电子设备和一个第二电子设备,所述第一电子设备由一个使用者佩戴,所述第二电子设备由所述使用者佩戴,所述第一电子设备和所述第二电子设备可分别为第一方面提供的方法中所涉及的第一电子设备和第二电子设备。

结合前面的任一方面和任一方面的任一种可能的实现方式,可选地,无论是所述第一电子设备向所述第二电子设备发送动作指示信息,还是所述第二电子设备向所述第一电子设备发送反馈信息,亦或是其他信息的传送和接收,所述第一电子设备和所述第二电子设备之间均可通过无线传输的方式进行通信。采用的无线通信方式可包括但不限于下列方式中的至少一种:蓝牙、近场通信(nearfieldcommunication,nfc)等各种短距离无线通信方式,以及设备到设备(devicetodevice,d2d)等通信方式。

在一种可选的实现方式中,所述使用者欲在所述第二电子设备产生的虚拟环境中执行鼠标操作。所述使用者产生一个动作,所述第一电子设备采集所述使用者的动作,生成所述动作指示信息,并将所述动作指示信息发送给所述第二电子设备。所述第二电子设备根据收到的动作指示信息生成一个交互命令,并按照该交互命令在所述第二电子设备产生的虚拟环境中执行鼠标操作。

鼠标操作包括但不限于如下操作:

鼠标滑动操作,比如:向左、向右、向前和向后;

鼠标按键操作,比如:点击鼠标左键和点击鼠标右键。

在由动作指示信息生成交互命令,由交互命令控制鼠标操作时,可选的实现方式包括但不限于:

若所述动作指示信息指示所述动作的运动速度小于预设的第一速度阈值,则所述交互命令用于执行鼠标滑动的操作;若所述动作指示信息指示所述动作的运动速度大于预设的第二速度阈值,则所述交互命令用于执行点击鼠标按键的操作;其中,所述第一速度阈值不大于所述第二速度阈值。其中,若所述动作指示信息指示所述动作的运动速度小于预设的第一速度阈值,则所述交互命令用于执行的鼠标滑动操作的速度与所述动作指示信息所指示的所述使用者上肢运动的速度成正比。

可选地,所述第一电子设备佩戴在所述使用者的一个上肢上。

若所述动作指示信息指示:所述动作为向左旋转所述使用者上肢且所述动作的运动速度小于预设的所述第一速度阈值,则所述交互命令用于执行鼠标向左滑动的操作;若所述动作指示信息指示:所述动作为向右旋转所述使用者上肢且所述动作的运动速度小于预设的所述第一速度阈值,则所述交互命令用于执行鼠标向右滑动的操作;若所述动作指示信息指示:所述动作为向上移动所述使用者上肢且所述动作的运动速度小于预设的所述第一速度阈值,则所述交互命令用于执行鼠标向前滑动的操作;若所述动作指示信息指示:所述动作为向下移动所述使用者上肢且所述动作的运动速度小于预设的所述第一速度阈值,则所述交互命令用于执行鼠标向后滑动的操作。

若所述动作指示信息指示:所述动作为向左移动所述使用者上肢且所述动作的运动速度大于预设的所述第二速度阈值,则所述交互命令用于执行点击鼠标左键的操作;若所述动作指示信息指示:所述动作为向右移动所述使用者上肢且所述动作的运动速度大于预设的所述第二速度阈值,则所述交互命令用于执行点击鼠标右键的操作。

附图说明

图1是本发明实施例提供的一种虚拟环境交互系统的示意图;

图2是本发明实施例提供的一种虚拟环境交互方法的流程图;

图3是本发明实施例提供的一种应用于第一电子设备的虚拟环境交互方法的流程图;

图4是本发明实施例提供的一种应用于第二电子设备的虚拟环境交互方法的流程图;

图5是本发明实施例提供的第一种第一电子设备的示意图;

图6是本发明实施例提供的第一种第二电子设备的示意图;

图7是本发明实施例提供的第二种第一电子设备的示意图;

图8是本发明实施例提供的第二种第二电子设备的示意图;

图9是图1所示的虚拟环境交互系统的一个例子的示意图;

图10是本发明实施例中,使用者的动作与鼠标操作的一种对应关系的示意图。

附图标记列表:

10:第一电子设备20:第二电子设备

s201:采集使用者的一个动作s202:生成动作指示信息

s203:发送动作指示信息s204:生成交互命令

s205:与虚拟环境交互s206:生成反馈信息

s207:发送反馈信息s208:向使用者反馈

s301:采集使用者的一个动作s302:生成动作指示信息

s303:发送动作指示信息s304:接收反馈信息

s305:向使用者反馈

s401:接收动作指示信息s402:生成交互命令

s403:与虚拟环境交互s404:生成反馈信息

s405:发送反馈信息

101:动作采集模块102:动作指示信息生成模块

103:动作指示信息发送模块104:反馈信息接收模块

105:反馈动作执行模块

201:动作指示信息接收模块202:交互命令生成模块

203:虚拟环境生成模块204:交互模块

205:反馈信息生成模块206:反馈信息发送模块

106:传感器107:处理器108:收发器109:振动器110:扩音器

207:收发器208:处理器

901:智能手机9011:虚拟现实应用

9012:消息队列遥测传输(messagequeuingtelemetrytransport,mqtt)代理器

902:智能手环或手表9021:加速度计9022:陀螺仪9023:地磁仪

9024:振动器9025:扩音器

a:传感器数据b:反馈信息

1001:向左滑动1002:向右滑动1003:向前滑动1004:向后滑动

1005:点击鼠标左键1006:点击鼠标右键

具体实施方式

通过虚拟现实技术可以创建虚拟环境,使用者可以沉浸到该虚拟环境中从而获得置身于虚拟环境中的感觉,使用者可以与虚拟环境进行交互,从而获得更加真切的体验。本发明实施例提供的虚拟环境交互方法、设备和系统中,使用者佩戴的第一电子设备根据使用者的动作形成动作指示信息并发送给使用者佩戴的第二电子设备,第二电子设备根据动作指示信息生成交互命令,根据交互命令与第二电子设备产生的虚拟环境进行交互,从而实现使用者与虚拟环境之间的交互。相对于目前通过按键控制器实现与虚拟环境交互的方法,本发明实施例中使用者无需手持按键控制器,只需做出相应的动作,便可以实现与虚拟环境进行交互,交互更简单、方便。

下面结合附图对本发明实施例提供的方法和设备进行详细说明。

图1是本发明实施例提供的一种虚拟环境交互系统的示意图。如图1所示,本发明实施例提供了一种虚拟环境交互系统,包括:一个第一电子设备10以及一个第二电子设备20,这两个电子设备均佩戴在一个使用者的身上。

其中,第一电子设备10可通过内置或外接的至少一个传感器采集该使用者的动作,并生成动作指示信息。该动作指示信息可包括该至少一个传感器的传感器数据,该传感器数据为该至少一个传感器采集该动作时产生的数据。或者,该动作指示信息也可为第一电子设备10依据该至少一个传感器采集的传感器数据进一步生成的指示信息,该指示信息用于指示该动作。第一电子设备10将生成的动作指示信息发送给第二电子设备20。

第二电子设备20,接收第一电子设备10发送的动作指示信息,根据该动作指示信息生成交互命令,与第二电子设备20生成的虚拟环境进行交互。

需要说明的是,图1所示的虚拟环境交互系统中可包括不仅一个第一电子设备10,以及不仅一个第二电子设备20。图1中为了简单示意,仅示出一个第一电子设备10和一个第二电子设备20。

一种可能的应用场景是:第一电子设备10为智能手环,第二电子设备20可以为虚拟现实眼镜。工厂中的工程师作为使用者,其手腕上佩戴作为第一电子设备10的智能手环,头上佩戴作为第二电子设备20的虚拟现实眼镜。该使用者的上肢从第一位置运动至第二位置后,产生一个向上移动的动作,该动作被该智能手环采集到后,形成对应于向上动作的动作指示信息,通过无线传输的方式将形成的动作指示信息发送给第二电子设备20,使虚拟现实环境的画面发生相应的改变,从而实现了该使用者与虚拟环境进行交互。

图2是本发明实施例提供的一种虚拟环境交互方法的流程图。该方法可应用于图1所示系统中。其中,通过第一电子设备10采集使用者的动作并形成对应的动作指示信息,通过第二电子设备20形成交互命令以与虚拟环境进行交互。如图2所示,该方法可包括如下步骤:

s201:第一电子设备10采集使用者的一个动作。其中,第一电子设备10可通过内置或外接的至少一个传感器采集使用者的动作。

s202:第一电子设备10生成用于表示步骤s201中采集到的动作的动作指示信息。若第一电子设备10通过传感器采集使用者的动作,则该动作指示信息可包括来自各传感器的传感器数据,或者第一电子设备10可将来自各个传感器的传感器数据处理后生成动作指示信息。

s203:第一电子设备10向第二电子设备20发送生成的动作指示信息。第一电子设备10可通过无线传输的方式向第二电子设备20发送生成的动作指示信息。

s204:第二电子设备20在收到来自第一电子设备10的动作指示信息后,生成交互命令,该交互命令用于与第二电子设备20产生的虚拟环境进行交互。

s205:第二电子设备20按照生成交互命令与虚拟环境交互。比如:在虚拟环境中执行鼠标操作。

s206:第二电子设备20根据与虚拟环境交互的结果生成反馈信息。

s207:第二电子设备20将生成的反馈信息发送给第一电子设备10。第二电子设备20也可通过无线传输的方式向第一电子设备10发送生成的反馈信息。

s208:第一电子设备10在收到来自第一电子设备10的反馈信息后,根据该反馈信息向使用者反馈,比如:进行声音和/或振动反馈。这样使用者就可以更直观地获知与虚拟环境交互的结果。

图3是本发明实施例提供的一种应用于第一电子设备的虚拟环境交互方法的流程图。该方法可由前述的第一电子设备10执行。如图3所示,该方法可包括如下步骤:

s301:第一电子设备10采集佩戴第一电子设备的一个使用者的一个动作。

s302:第一电子设备10生成用于表示该动作的一个动作指示信息。

s303:第一电子设备10通过无线传输的方式将生成的动作指示信息发送给该使用者佩戴的第二电子设备20。其中,该动作指示信息可用于第二电子设备20生成一个交互命令,该交互命令可用于与第二电子设备20产生的虚拟环境交互。

s304:第一电子设备10通过无线传输的方式接收来自第二电子设备20的一个反馈信息,该反馈信息用于表示交互命令与虚拟环境交互的结果。

s305:第一电子设备10根据反馈信息,向使用者发送反馈,比如:声音和/或振动反馈。

图4是本发明实施例提供的一种应用于第二电子设备的虚拟环境交互方法的流程图。该方法可由前述的第二电子设备20执行。如图4所示,该方法可包括如下步骤:

s401:第二电子设备20通过无线传输的方式接收来自第一电子设备10的一个动作指示信息。其中,第一电子设备10由佩戴第二电子设备的一个使用者佩戴,该动作指示信息用于表示第一电子设备10采集到的该使用者的一个动作。

s402:第二电子设备20根据该动作指示信息生成一个交互命令。

s403:第二电子设备20按照该交互命令与第二电子设备20产生的虚拟环境进行交互。

s404:第二电子设备20根据与虚拟环境交互的结果生成一个反馈信息。

s405:第二电子设备20通过无线传输的方式将反馈信息发送给第一电子设备10。

图5是本发明实施例提供的第一种第一电子设备10的示意图。该第一电子设备10由一个使用者佩戴,如图5所示,该第一种第一电子设备10可包括:

一个动作采集模块101,用于采集使用者的一个动作;

一个动作指示信息生成模块102,用于生成表示动作采集模块101采集到的动作的一个动作指示信息;

一个动作指示信息发送模块103,用于通过无线传输的方式将动作指示信息处理模块102生成的动作指示信息发送给使用者佩戴的一个第二电子设备20,动作指示信息用于第二电子设备20生成一个交互命令,交互命令用于与第二电子设备20产生的虚拟环境进行交互。

可选地,该第一电子设备10可进一步包括:

一个反馈信息接收模块104,用于通过无线传输的方式接收来自第二电子设备20的一个反馈信息,反馈信息用于表示与虚拟环境交互的结果;

一个反馈动作执行模块105,用于根据反馈信息接收模块104接收到的反馈信息,向使用者发送声音和/或振动反馈。

该第一电子设备10的其他可选方式其参考图1所示的系统中,以及图2~图4所示的方法中第一电子设备10的实现。这里不再赘述。

图6是本发明实施例提供的第一种第二电子设备的示意图。该第二电子设备20由一个使用者佩戴。如图6所示,该第二电子设备20可包括:

一个动作指示信息接收模块201,用于通过无线传输的方式接收来自一个第一电子设备10的一个动作指示信息,第一电子设备10由佩戴第二电子设备20的一个使用者佩戴,动作指示信息用于表示第一电子设备10采集到的使用者的一个动作;

一个交互命令生成模块202,用于根据动作指示信息接收模块201接收到的至少一个动作指示信息,生成一个交互命令;

一个虚拟环境生成模块203,用于产生虚拟环境;

一个交互模块204,用于按照交互命令生成模块202生成的交互命令与虚拟环境生成模块203产生的虚拟环境进行交互。

可选地,该第二电子设备20可进一步包括:

一个反馈信息生成模块205,用于根据与虚拟环境交互的结果生成一个反馈信息;

一个反馈信息发送模块206,用于通过无线传输的方式将反馈信息生成模块205生成的反馈信息发送给第一电子设备10。

该第二电子设备20的其他可选方式其参考图1所示的系统中,以及图2~图4所示的方法中第二电子设备20的实现。这里不再赘述。

图7是本发明实施例提供的第二种第一电子设备10的示意图。该第二种第一电子设备10由一个使用者佩戴,可包括:

至少一个传感器106,用于采集使用者的一个动作;

至少一个处理器107,用于生成表示至少一个传感器106采集到的动作的一个动作指示信息;

至少一个收发器108,用于通过无线传输的方式将至少一个处理器107生成的动作指示信息发送给使用者佩戴的一个第二电子设备20,动作指示信息用于第二电子设备20生成一个交互命令,交互命令用于与第二电子设备20产生的虚拟环境进行交互。

可选地,该第二电子设备20还可包括至少一个振动器109和/或至少一个扩音器110,用于向使用者反馈与虚拟环境交互的结果。

该第一电子设备10的其他可选方式其参考图1所示的系统中,以及图2~图4所示的方法中第一电子设备10的实现。这里不再赘述。

图7所示的第二种第一电子设备10也可视为图5所示的第一种第一电子设备10的一种可选的实现方式。其中,至少一个传感器106可用于实现动作采集模块101采集使用者动作的功能。至少一个处理器107可用于实现动作指示信息生成模块102生成动作指示信息的功能,并将生成的动作指示信息发送给动作指示信息发送模块103。至少一个收发器108可用于实现动作指示信息发送模块103发送动作指示信息以及反馈信息接收模块104接收反馈信息的功能,并将接收到的反馈信息发送至至少一个处理器107。至少一个处理器107可根据接收到的反馈信息,控制至少一个振动器109和/或至少一个扩音器110,向使用者发送声音和/或振动反馈。

图8是本发明实施例提供的第二种第二电子设备20的示意图。该第二种第二电子设备20可由一个使用者佩戴,可包括:

至少一个收发器207,用于通过无线传输的方式接收来自一个第一电子设备10的一个动作指示信息,第一电子设备10由佩戴第二电子设备20的一个使用者佩戴所,动作指示信息用于表示第一电子设备10采集到的使用者的一个动作;

至少一个处理器208,用于根据至少一个收发器207接收到的动作指示信息,生成一个交互命令;按照交互命令与第二电子设备20产生的虚拟环境进行交互。

图8所示的第二种第二电子设备20也可视为图6所示的第一种第二电子设备20的一种可选的实现方式。其中,至少一个收发器207可用于实现动作指示信息接收模块201接收动作指示信息、反馈信息发送模块206发送反馈信息的功能,并将接收到的动作指示信息发送给至少一个处理器208,以及从至少一个处理器208处接收反馈信息。至少一个处理器208可用于实现交互命令生成模块202生成交互命令、虚拟环境生成模块203生成虚拟环境、交互模块204与虚拟环境交互,以及反馈信息生成模块205生成反馈信息的功能。

对于前述的任一种系统、方法或设备,一种可能的应用场景是,使用者欲在第二电子设备20产生的虚拟环境中执行鼠标操作,使用者产生一个动作,第一电子设备10采集使用者的动作,生成动作指示信息,并将动作指示信息发送给第二电子设备20。第二电子设备20根据收到的动作指示信息生成一个交互命令,并按照该交互命令在第二电子设备20产生的虚拟环境中执行鼠标操作。

其中,鼠标操作包括但不限于如下操作:

鼠标滑动操作,比如:向左、向右、向前和向后;

鼠标按键操作,比如:点击鼠标左键和点击鼠标右键。

在由动作指示信息生成交互命令,由交互命令控制鼠标操作时,可选的实现方式包括但不限于:

若动作指示信息指示动作的运动速度小于预设的第一速度阈值,则交互命令用于执行鼠标滑动的操作;若动作指示信息指示动作的运动速度大于预设的第二速度阈值,则交互命令用于执行点击鼠标按键的操作;其中,第一速度阈值不大于第二速度阈值。其中,若动作指示信息指示动作的运动速度小于预设的第一速度阈值,则交互命令用于执行的鼠标滑动操作的速度与动作指示信息所指示的使用者上肢运动的速度成正比。

可选地,第一电子设备10佩戴在使用者的一个上肢上。其中,机械手臂也可视为上肢。

若动作指示信息指示:动作为向左旋转使用者上肢且动作的运动速度小于预设的第一速度阈值,则交互命令用于执行鼠标向左滑动的操作;若动作指示信息指示:动作为向右旋转使用者上肢且动作的运动速度小于预设的第一速度阈值,则交互命令用于执行鼠标向右滑动的操作;若动作指示信息指示:动作为向上移动使用者上肢且动作的运动速度小于预设的第一速度阈值,则交互命令用于执行鼠标向前滑动的操作;若动作指示信息指示:动作为向下移动使用者上肢且动作的运动速度小于预设的第一速度阈值,则交互命令用于执行鼠标向后滑动的操作。

若动作指示信息指示:动作为向左移动使用者上肢且动作的运动速度大于预设的第二速度阈值,则交互命令用于执行点击鼠标左键的操作;若动作指示信息指示:动作为向右移动使用者上肢且动作的运动速度大于预设的第二速度阈值,则交互命令用于执行点击鼠标右键的操作。

图10是本发明实施例中,使用者的动作与鼠标操作的一种对应关系的示意图。

其中,1001为鼠标向左滑动的操作,对应于使用者的动作为向左旋转使用者的上肢且动作的运动速度小于预设的第一速度阈值;

1002为鼠标向右滑动的操作,对应于使用者的动作为向右旋转使用者的上肢且动作的运动速度小于预设的第一速度阈值;

1003为鼠标向前滑动的操作,对应于使用者的动作为向上移动使用者的上肢且动作的运动速度小于预设的第一速度阈值;

1004为鼠标向后滑动的操作,对应于使用者的动作为向下移动使用者的上肢且动作的运动速度小于预设的第一速度阈值;

1005为点击鼠标左键的操作,对应于使用者的动作为向左移动使用者的上肢且动作的运动速度大于预设的第二速度阈值;

1006为点击鼠标右键的操作,对应于使用者的动作为向右移动使用者的上肢且动作的运动速度大于预设的第二速度阈值。

上述动作1001~1004中涉及的速度阈值可以均为第一速度阈值,也可为不同的速度阈值。上述动作1005~1006中涉及的速度阈值可以均为第二速度阈值,也可为不同的速度阈值。

上述各实施例中,动作指示信息在实现时可包括但不限于如下两种可选的实现方式:

方式一、动作指示信息包括传感器数据。

方式二、动作指示信息为第一电子设备10根据传感器数据生成的。

对于上述两种不同的方式,第一电子设备10和第二电子设备20在信息处理时的方式有所不同,具体描述如下:

方式一、动作指示信息包括传感器数据。

第一电子设备10采集使用者的动作时,获取各个传感器的传感器数据,并将获得的传感器数据发送给第二电子设备20。第二电子设备20可预先存储传感器数据与交互命令的对应关系。或者第二电子设备20可预先存储传感器数据、动作以及交互命令三者的对应关系。第二电子设备20的交互命令生成模块201或至少一个处理器208可按照该预先存储的对应关系,根据至少一个收发器207接收的传感器数据生成交互命令。

方式二、动作指示信息为第一电子设备10根据传感器数据生成的。

第一电子设备10采集使用者的动作时,获取各个传感器的传感器数据。第一电子设备10可预先存储传感器数据与动作的第一对应关系。第一电子设备10可按照该第一对应关系根据获取的传感器数据确定使用者的动作,并生成对应的动作指示信息。具体地,可由前述的动作采集模块101获取传感器数据并发给动作指示信息生成模块102,由动作指示信息生成模块102根据上述第一对应关系生成动作指示信息。或者可由前述的至少一个处理器107获取至少一个传感器106的传感器数据,并按照上述第一对应关系,根据获取的传感器数据生成动作指示信息。

第二电子设备20可预先存储动作指示信息与交互命令的第二对应关系,在收到动作指示信息后,根据该第二对应关系生成交互命令。具体地,可由前述的交互命令生成模块202按照第二对应关系生成交互命令。或者,可由前述的至少一个处理器208按照第二对应关系生成交互命令。

图9是图1所示的虚拟环境交互系统的一个例子的示意图。如图9所示,该系统包括:一个智能手机901(前述的第二电子设备20的一个例子)、一个佩戴于使用者手腕的智能手表/手环902(前述的第一电子设备10的一个例子)。

如图9所示,智能手表/手环902中包括有加速度计9021、陀螺仪9022及地磁仪9023,加速度计9021、陀螺仪9022及地磁仪9023可以检测使用者手的运动状态参数和运动方向参数,根据检测出的运动状态参数和运动方向参数能够获得使用者手的动作。智能手表/手环902根据采集到的动作,形成对应的传感器数据。传感器数据为上述各个实施例中所述动作指示信息的一种可选实现方式。

智能手表/手环902形成对应于所采集动作的传感器数据后,通过mqtt通信协议将形成的传感器数据以无线传输的方式发送给智能手机901。其中,mqtt通信协议为上述各个实施例所述无线传输方式的一种可选实现方式。

如图9所示,智能手机901包括有应用9011及mqtt代理器9012。mqtt代理器9012通过无线传输的方式接收智能手表/手环902发送的传感器数据,并将接收到的传感器数据发送给应用9011。其中,此时mqtt代理器9012为图5所示实施例中动作指示信息接收模块201的一种可选实现方式。

应用9011根据mqtt代理器9012发送来的传感器数据生成交互命令,并按照生成的交互命令与虚拟环境进行交互。此外,应用9011还可根据交互结果生成反馈信息,发送给mqtt代理9012。

mqtt代理9012将收到的反馈信息通过无线传输的方式发给智能手表/手环902。智能手表/手环902根据反馈信息向使用者反馈与虚拟环境交互的结果,比如:通过振动器9024振动,或通过扩音器9025发出声音。

本发明实施例还提供了一种机器可读介质,可存储用于使一设备执行如本文所述的任一种虚拟环境交互方法的指令。

该机器可读介质可包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地,也可以由通信网络从服务器计算机上下载上述虚拟环境交互方法的指令。

需要说明的是,上述各流程和各系统结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构,也可以是逻辑结构,即,有些模块可能由同一物理实体实现,或者,有些模块可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。

以上各实施例中,硬件单元可以通过机械方式或电气方式实现。例如,一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器,fpga或asic)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器),可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。

上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基与上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1