一种基于虚拟现实的智能交互方法、装置及存储介质与流程

文档序号:18359804发布日期:2019-08-06 23:40阅读:283来源:国知局

本发明涉及虚拟现实技术领域,具体涉及一种基于虚拟现实的智能交互方法、装置及存储介质。



背景技术:

随着各种技术的融合,相互促进和发展,虚拟现实(vr)技术在航天、军事、通信、医疗、教育、娱乐、电力、建筑和商业等各个领域都有极大的发展和应用前景。用户中大部分的可能都是第一次接触vr体验,因此新手路线指引是不可或缺的,但是目前大部分的路线指引中方向的指引是设定好的,不会根据体验者的随意走动,实时更新路线进行指引。如果没有实时的指引,体验者会容易迷路,而且起点不一样的体验者,系统不能根据当前的状况作出正确的指引,提供准确无误的引导。特别是在vr虚拟仿真培训里,vr培训教学大部分培训者都是第一次接触vr,传统的线路指引不能辅助培训者,不能很好的满足培训者的需求。



技术实现要素:

本发明公开了一种基于虚拟现实的智能交互方法、装置及存储介质,用以解决现有技术中存在的路线指引固定,没有实时的指引,导致体验者易迷路,且起点不一样的体验者,系统不能根据实时状况作出正确的指引的问题。

为了达到上述目的,本发明采用如下技术方案:

一种基于虚拟现实的智能交互方法:实时获取用户在虚拟现实场景中的位置信息,根据用户当前的位置信息规划实时任务路线,获取到用户发出的需要实时指引的指令时,在虚拟现实场景中弹出与实时任务路线所对应的实时指引信息。

进一步地,所述实时获取用户在虚拟现实场景中的位置信息包括根据用户当前的x轴、y轴和z轴信息确定用户当前的实时位置。

进一步地,所述实时任务路线包括被编排了执行顺序的任务,每一个任务对应一个指引信息,将实时任务路线中执行顺序为第一的任务对应的指引信息设置为实时任务路线所对应的实时指引信息。

进一步地,所述实时指引信息包括场景提示信息、任务位置提示信息和主流程提示信息;所述主流程提示信息包括虚拟现实场景中整体任务的概况,所述整体任务包括数个基于程序排序的任务;所述任务位置提示包括实时任务路线中执行顺序为第一的任务的位置提示、移动路线提醒、攀爬移动提醒和可交互点、可交互区提示;所述任务位置提示设置于任务位置附近,或设置于用户头部正前方并固定在虚拟现实场景中。

进一步地,所述规划实时任务路线的方法为:对比用户当前的位置与附近的未完成的任务的位置距离,将距离用户实时位置最近的未完成的任务作为实时任务路线中执行顺序为第一的任务,再根据整体任务中的排序确定实时任务路线中执行顺序为第一的任务后续的任务。

进一步地,实时监控用户控制发出的交互射线,当交互射线的末端指向可交互区或可交互点时,控制该可交互区或可交互点变换成带颜色的高亮显示,表示已经选中该可交互点或可交互区;当交互射线的末端从可交互区或可交互点移开时,控制该可交互点或可交互区的颜色变换成不同的颜色或取消高亮显示,表示取消选中状态,可以重新进行选择。

进一步地,获取到用户发出的需要实时指引的指令时,发出震动脉冲和语音提示对用户进行实时指引。

进一步地,实时监测网络状态,当监测到断线或服务器关闭后,在虚拟现实场景中弹出网络状态提醒。

一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被执行时实现上述的基于虚拟现实的智能交互方法。

一种基于虚拟现实的智能交互装置,包括vr装置、处理器、存储装置和存储在所述存储装置上并可在所述处理器上执行的基于vr技术的程序,所述基于vr技术的程序被处理器执行时实现上述的基于虚拟现实的智能交互方法。

与现有技术相比,本发明的有益效果为:本发明的基于虚拟现实的智能交互方法通过实时获取用户在虚拟现实场景中的位置信息,根据用户当前的位置信息规划实时任务路线,获取到用户发出的需要实时指引的指令时,在虚拟现实场景中弹出与实时任务路线相对应的实时指引信息,用户可以根据实时指引信息,快速进入正确的路线并采取正确的操作以完成任务,克服了现有技术中线路指引的单一性,可以在体验的任何阶段为用户提供动态的合适的线路指引。

具体实施方式

此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本实施例的一种基于虚拟现实的智能交互装置,包括但不限于vr装置、显示器、音响、传感器、定位装置和手势识别装置;vr装置包括但不限于vr主机、头显、耳机和手柄,定位装置设置于头显上,用于检测佩戴头显的用户的位置;vr主机与vr装置、传感器、定位装置、手势识别装置通讯连接,音响与vr主机电连接,耳机与音响通讯连接,耳机内可以播放音响发出的声音;传感器包括光传感器、运动传感器等,传感器可以根据环境的变化改变智能交互装置的运行状态,例如,光传感器包括环境光传感器,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,其他传感器采用常规设置,不一一列举;手势识别装置为leapmotion传感器,手势识别装置安装在可以识别用户手部的位置,优选地,将手势识别装置安装在显示器上正对用户的位置;上述vr装置、显示器、音响、传感器、定位装置和手势识别装置的具体结构以及具体的连接关系采用现有技术实现,在此不再赘述。

vr主机内包括处理器和存储装置,存储装置内存储有基于vr技术的程序,打开基于vr技术的程序时,处理器在接收到指令后,执行该基于vr技术的程序,生成虚拟现实场景并将该虚拟现实场景发送至头显中显示,用户佩戴头显和耳机,进入虚拟现实场景。

用户可以通过手势或手柄与该智能交互装置进行交互。存储装置内储存有手势库,用户双手位于leapmotion传感器可以识别的范围中,用户的双手做出特定的动作被leapmotion传感器识别后,将该手势与手势库内的动作相对应,识别手势对应的系统操作,并完成相应的操作;手柄上也设置有一些按钮,用户也可以通过按动手柄上的一些按钮做出操作,例如可以通过手柄按钮调出实时指引信息、工具菜单和重置菜单,需要查看实时指引信息时,用户可以主动控制使实时指引信息弹出,查看实时指引信息后,可以确定场景信息和主流程信息,或按照任务位置提示指引作用于指定可交互区和可交互点完成场景任务。使用手柄与该智能交互装置进行交互时,手柄会发出交互射线,当交互射线的末端指向可交互区或可交互点时,控制该可交互区或可交互点变换成带颜色的高亮显示,表示已经选中该可交互点或可交互区;当交互射线的末端从可交互区或可交互点移开时,控制该可交互点或可交互区的颜色变换成不同的颜色或取消高亮显示,表示取消选中状态,可以重新进行选择。

为了克服现有技术中路线指引过于固定化,不能进行实时指引,并且对于起点不一样的用户,系统不能根据实时状况作出正确的指引的问题,本发明的智能交互装置中存储的基于vr技术的程序,该程序执行时设定了包括数个基于程序排序的任务,该程序可以为用户提供实时的指引,即根据用户实时位置确定在实时任务路线中排序为第一的任务,然后以该任务为实时任务起点,再根据程序中整体任务的排序,确定该任务后续的任务,具体的:

一种使用上述装置的智能交互方法,包括以下步骤:

(1)根据用户当前的x轴、y轴和z轴信息确定用户当前的实时位置;

(2)根据用户的实时位置规划实时任务路线:对比用户当前的位置与附近的未完成的任务的位置距离,将距离用户实时位置最近的未完成的任务作为实时任务路线中执行顺序为第一的任务,再根据整体任务中的排序确定实时任务路线中执行顺序第一的任务的后续任务;

(3)实时监测用户是否发出指令,当获取到用户发出的需要实时指引的指令时,在虚拟现实场景中弹出与实时任务路线相对应的实时指引信息;同时,实时监控网络状态,当监测到断线或服务器关闭后,在虚拟现实场景中弹出网络状态提醒。

其中,整体任务包括数个基于程序排序的任务,每一个任务对应一个指引信息;实时任务路线是由数个任务组成,将实时任务路线中执行顺序为第一的任务对应的指引信息设置为实时任务路线所对应的实时指引信息。实时指引信息包括场景提示信息、任务位置提示信息和主流程提示信息;用户可以从场景提示信息中了解目前所处的场景,可以从主流程提示信息中知道整个虚拟现实场景的整体任务概况,任务位置提示为该实时任务路线中执行顺序为第一的任务所对应的实时指引信息,用户可以从任务位置提示中知道目前需要完成的任务情况,具体包括任务位置提示、移动路线提醒、攀爬移动提醒和可交互点、可交互区提示,可交互点或可交互区包括但不限于各种菜单(工具菜单、重置菜单等)、任务点(如攀爬点、锚固点等);任务位置提示设置于任务位置附近,或设置于用户头部正前方3米并固定在虚拟现实场景中。

获取到用户发出的需要实时指引的指令时,不仅会在虚拟现实场景中弹出实时指引信息,而且手柄会发出震动脉冲,耳机里出现语音提示,进一步对用户进行实时指引。

下面以受损铁塔拆卸多人协作训练的虚拟现实场景为例,多个用户同时进入该虚拟现实场景中,该虚拟现实场景的初始场景中,每个用户的正前方3米出现开始的用户界面,用户界面上显示有多个功能按钮,使用交互手柄选择“开始体验”按钮,后进入培训设置的用户界面,完成培训设置后,进入角色选择的用户界面,其中角色中包括指挥员、拉线员和切割员等,完成角色选择后,指挥员召集所有人员在“任务列表”的用户界面前,通过口头方式进行安全交底以及工作任务说明,并提示所有人员可以通过交互手柄上的按键调出“当前任务”的任务提示界面;当前环节所有人员可以看到第一个任务的任务提醒,开始任务;后续任务中,所有角色配合完成任务,并且在任务过程中,任何一个角色都可以通过按动交互手柄上的按钮调出实时指引信息,例如拉线员在“塔身受力点固定”这一任务中按动交互手柄上的按键,正前方出现任务提示:“当前任务:选择正确的锚固定点固定自身安全绳,然后将吊钩线缆锚固定在受力点上”,下方出现:“完成”按钮。

以上所述仅为本发明的较佳实施方式,本发明并不局限于上述实施方式,在实施过程中可能存在局部微小的结构改动,如果对本发明的各种改动或变型不脱离本发明的精神和范围,且属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1