智能终端及其感控方法、具有存储功能的装置与流程

文档序号:15587674发布日期:2018-10-02 18:34阅读:170来源:国知局

本申请涉及虚拟现实领域,特别是涉及一种智能终端及其感控方法、具有存储功能的装置。



背景技术:

虚拟现实(vr)技术是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机模拟产生一个三维的虚拟世界,提供用户关于视觉、听觉、触觉等感官的模拟,让用户身临其境。虚拟现实通常需要头戴式显示器,当然,智能终端也可以通过外设来实现虚拟现实体验,如googlecardboard以及三星gearvr等等。

通常需要安装特定的vr应用,同时也需要相应的蓝牙外设来控制设备。由于智能终端上的应用,比如播放器、图库是为触摸屏幕的操作方式而设计的;当使用蓝牙外设进行控制时,有时需要左右移动很多次才能选中某个应用程序图标进行控制;有的界面没有设计应用程序图标获得焦点的状态,导致用户不知道焦点当前移动的位置而无法操作。



技术实现要素:

本申请主要解决的技术问题是提供一种智能终端及其感控方法、具有存储功能的装置,通过该感控方法可以更直观、灵活地对虚拟现实场景中的显示内容进行操作,提高了虚拟现实场景中用户操作的便捷性。

为解决上述技术问题,本申请采用的第一个技术方案是:提供一种基于虚拟现实的感控方法,所述感控方法包括:利用佩戴在用户头部的智能终端显示虚拟现实场景;获取所述智能终端的位姿数据;根据所述位姿数据确定所述用户的视线与所述虚拟现实场景的交点;针对所述虚拟现实场景中的处于所述交点位置处的显示内容执行相应的操作。

为解决上述技术问题,本申请采用的第二个技术方案是:提供一种智能终端,所述智能终端包括处理器以及与所述处理器耦接的存储器;所述存储器上存储有所述处理器执行的程序指令以及所述处理器执行所述程序指令时所产生的中间数据;所述处理器在执行所述程序指令,能够实现本申请所述的感控方法。

为解决上述技术问题,本申请采用的第三个技术方案是:提供一种具有存储功能的装置,其上存储有程序指令,所述程序指令能够被执行以实现本申请所述的感控方法。

本申请的有益效果是:区别于现有技术,本申请基于虚拟现实的感控方法包括:利用佩戴在用户头部的智能终端显示虚拟现实场景;获取智能终端的位姿数据;根据位姿数据确定用户的视线与虚拟现实场景的交点;针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向,由此计算确定用户的视线方向与虚拟现实场景的交点位置,并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征,更直观、灵活地对虚拟现实场景中显示内容进行操作,提高了虚拟现实场景中用户操作的便捷性。

附图说明

图1是本申请基于虚拟现实的感控方法一实施方式的流程示意图;

图2是本申请基于虚拟现实的感控方法一具体实施方式的流程示意图;

图3是本申请智能终端一实施方式的结构示意图;

图4是本申请具有存储功能的装置一实施方式的结构示意图。

具体实施方式

本申请提供一种智能终端及其感控方法、具有存储功能的装置,为使本申请的目的、技术方案和技术效果更加明确、清楚,以下对本申请进一步详细说明,应当理解此处所描述的具体实施条例仅用于解释本申请,并不用于限定本申请。

参阅图1,图1是本申请基于虚拟现实的感控方法一实施方式的流程示意图。在本实施方式中,该感控方法包括:

步骤101:利用佩戴在用户头部的智能终端显示虚拟现实场景。

在一个具体的应用场景中,智能终端设置在一vr眼镜内,用户佩戴该vr眼镜后可体验虚拟现实场景。

其中,智能终端可以为智能手机。

在本实施方式中,智能终端利用佩戴在用户头部的智能终端显示虚拟现实场景。

步骤102:获取智能终端的位姿数据。

在本实施方式中,当用户的视线发生变化时,用户的头部会跟随用户的视线方向发生相应地运动,进而会带动佩戴在用户头部的智能终端同步运动,例如,用户的头部转动或平移时智能终端也会同步转动或平移。

因此,可以根据智能终端的位姿数据确定用户的视线。智能终端获取智能终端的位姿数据。其中,位姿数据为位置数据和姿态数据的至少一种或组合。

具体地,智能终端通过位置传感器和/或运动传感器获取智能终端的位姿数据。运动传感器包括陀螺仪、加速度计和重力感应器,主要用于监测智能终端的运动,例如,倾斜和摇摆;位置传感器包括地磁场传感器,主要用于监测智能终端的位置,即,智能终端相对于世界坐标系的位置。

在一个具体的应用场景中,当用户的视角发生改变后,智能终端所显示的虚拟现实场景也会相应的发生改变,以增强用户的虚拟现实体验。具体而言,根据智能终端的位姿数据调整虚拟现实场景。例如,用户的视角向右移动时,虚拟现实场景便相应地向左移动;用户的视角向左移动时,虚拟现实场景便相应地向右移动。

步骤103:根据位姿数据确定用户的视线与虚拟现实场景的交点。

在其中的一个实施方式中,智能终端确定智能终端佩戴在用户头部时用户的视线与智能终端的预设参考方向之间的变换关系,并根据智能终端的位姿数据确定智能终端的预设参考方向的位姿描述,根据该预设参考方向的位姿描述和变换关系,确定用户的视线的位姿描述,并根据用户的视线的位姿描述确定用户的视线与虚拟现实场景的交点。

其中,智能终端的预设参考方向为预先定义的方向,可以根据实际情况设计。在其中的一个实施方式中,以智能终端显示屏幕所在的方向为预设参考方向,当然也可以以与智能终端显示屏幕所在的方向垂直的方向为预设参考方向。

在预设参考方向确定了之后,智能终端根据智能终端的位姿数据确定智能终端的预设参考方向的位姿描述,其中,预设参考方向的位姿描述表征智能终端的预设参考方向的平移量或旋转量。例如,当预设参考方向为智能终端显示屏幕所在的方向时,预设参考方向的位姿描述表征智能终端显示屏幕所在的方向的平移量或旋转量。具体地,智能终端将加速度传感器或角速度传感器的检测结果进行时间积分获取智能终端的预设参考方向的位姿描述。

智能终端根据其预设参考方向的位姿描述以及智能终端预设参考方向与用户视线之间的变换关系进而可以确定用户视线的位姿描述,即用户视线的方向。

在另一个实施方式中,智能终端将虚拟现实场景映射到空间模型中,其中空间模型是在世界坐标系下建立的;并根据智能终端的位姿数据计算用户的视线在世界坐标系下的位姿描述;根据位姿描述确定用户的视线与空间模型中的虚拟现实场景的交点。

具体地,智能终端将其传感器初始化,在智能终端接收到显示内容刷新的信号后,智能终端开始绘制显示界面,并读取传感器的初始数据,将虚拟现实场景映射到空间模型中,其中空间模型是在世界坐标系下建立的。并基于传感器的数据调整虚拟现实场景的显示内容,将该显示内容以3d形式显示。

在本实施方式中,智能终端根据旋转矩阵以及智能终端的位姿数据计算用户的视线在世界坐标系下的位姿描述。其中,用户的视线在世界坐标系下的位姿描述反映的是用户的视线在地球或真实环境的视角方向。在其中的一个实施方式中,智能终端为android系统,智能终端可以依据sensormanager.getrotationmatrix函数计确定用户的视线在世界坐标系下的姿描述。

步骤104:针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。

在本实施方式中,智能终端针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。

具体地,智能终端依据用户的视线的位姿描述确定用户的视线与虚拟现实场景中显示的内容是否存在交点,并确定该交点是否与虚拟现实场景的图形控件重合;若与图形控件重合,则进一步确定是否接收到触发信号;若接收到触发信号,则向图形控件发出触控操作信号。若未接收到触发信号,则向图形控件发出悬浮操作信号。

其中,图形控件可以为某个应用程序对应的图标。

在一个具体的应用场景中,智能终端设置在一vr眼镜内,vr眼镜设置有至少一物理按键,物理按键设置于智能终端的触控屏幕上,在vr眼镜的物理按键被按下时,物理按键抵压智能终端的触控屏幕;智能终端确定智能终端的触控屏幕是否检测到由物理按键的抵压所产生的触发信号,若接收到触发信号,则向图形控件发出触控操作信号。若未接收到触发信号,则向图形控件发出悬浮操作信号。

下面简要说明一下前述的触控操作和悬浮操作。

用户主要通过触控智能终端的屏幕来操作应用程序,智能终端中有一套完整的机制保证操作事件传递到对应的组件。每个组件可以通过注册回调函数获取对屏幕的操作事件,然后执行相应的操作。在本实施方式中,通过用户的视线与虚拟现实场景的交点来选择待操作的图形控件,再根据vr眼镜的物理按键的状态确定对应的操作。

例如,智能终端为android系统,操作事件封装在motionevent函数中,该函数描述了屏幕操作的动作代码和一系列的坐标值。其中,动作代码表示显示屏幕对应的位置被按下或弹起等引起的状态变化;坐标值描述位置变化以及其他的运动信息。

在本实施方式中,若vr眼镜的物理按键被按下,则表征显示屏幕对应的位置被按下或弹起,智能终端执行触控事件。智能终端确定与用户的视线和虚拟现实场景的交点重合的图形控件的坐标值,进而对图形控件执行触控操作,例如打开图形控件或关闭图形控件。

若vr眼镜的物理按键未被按下,则表征显示屏幕对应的位置未被按下或弹起,则智能终端执行悬浮操作。智能终端确定与用户的视线和虚拟现实场景的交点重合的图形控件的坐标值,进而对图形控件执行悬浮操作,即将图形控件显示为hover(悬浮)状态。

为了更直观的说明上述实施方式的感控方法,请参阅图2,图2是本申请基于虚拟现实的感控方法一具体实施方式的流程示意图。

步骤201:利用佩戴在用户头部的智能终端显示虚拟现实场景。

其中,本步骤与图1中的步骤101相同,具体请参阅步骤101以及相关的文字描述,在此不再赘述。

步骤202:获取智能终端的位姿数据。

其中,本步骤与图1中的步骤102相同,具体请参阅步骤102以及相关的文字描述,在此不再赘述。

步骤203:根据位姿数据确定用户的视线与虚拟现实场景的交点,并确定交点是否与图形控件重合。

在其中的一个实施方式中,智能终端确定智能终端佩戴在用户头部时用户的视线与智能终端的预设参考方向之间的变换关系,并根据智能终端的位姿数据确定智能终端的预设参考方向的位姿描述,根据该预设参考方向的位姿描述和变换关系,确定用户的视线的位姿描述,并根据用户的视线的位姿描述确定用户的视线与虚拟现实场景的交点。

在另一个实施方式中,智能终端将虚拟现实场景映射到空间模型中,其中空间模型是在世界坐标系下建立的;并根据智能终端的位姿数据计算用户的视线在世界坐标系下的位姿描述;根据位姿描述确定用户的视线与空间模型中的虚拟现实场景的交点。

在用户的视线与虚拟现实场景不存在交点时,执行步骤202。

在用户的视线与虚拟现实场景存在交点时,确定该交点是否与虚拟现实场景的图形控件重合。若该交点与虚拟现实场景的任一图形控件均不重合则执行步骤202,若该交点与虚拟现实场景的任一图形控件重合则执行步骤204。

步骤204:确定智能终端的触控屏幕是否检测到由物理按键的抵压所产生的触发信号。

在本实施方式中,智能终端设置在一vr眼镜内,vr眼镜设置有至少一物理按键,物理按键设置于智能终端的触控屏幕上,在vr眼镜的物理按键被按下时,物理按键抵压智能终端的触控屏幕;智能终端确定智能终端的触控屏幕是否检测到由物理按键的抵压所产生的触发信号,若接收到触发信号,则执行步骤206;若未接收到触发信号,则执行步骤205。

步骤205:向图形控件发出悬浮操作信号。

步骤206:向图形控件发出触控操作信号。

其中,步骤203~步骤206与图1中的步骤103和步骤104相对应,具体请参阅步骤步骤103、步骤104以及相关的文字描述,在此不再赘述。

区别于现有技术,本申请基于虚拟现实的感控方法包括:利用佩戴在用户头部的智能终端显示虚拟现实场景;获取智能终端的位姿数据;根据位姿数据确定用户的视线与虚拟现实场景的交点;针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向,由此计算确定用户的视线方向与虚拟现实场景的交点位置,并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征,更直观、灵活地对虚拟现实场景中的显示内容进行操作,提高了虚拟现实场景中用户操作的便捷性。

参阅图3,图3是本申请智能终端一实施方式的结构示意图。在本实施方式中,智能终端30包括处理器31以及与处理器31耦接的存储器32。

其中,智能终端为智能手机。

存储器32上存储有处理器31执行的程序指令以及处理器31执行程序指令时所产生的中间数据。处理器31在执行程序指令,能够实现本申请的基于虚拟现实的感控方法。

该感控方法包括:

在一个具体的应用场景中,智能终端30设置在一vr眼镜内,用户佩戴该vr眼镜后可体验虚拟现实场景。

其中,智能终端30可以为智能手机。

在本实施方式中,处理器31利用佩戴在用户头部的智能终端30显示虚拟现实场景。

在本实施方式中,当用户的视线发生变化时,用户的头部会跟随用户的视线方向发生相应地运动,进而会带动佩戴在用户头部的智能终端30同步运动,例如,用户的头部转动或平移时智能终端30也会同步转动或平移。

因此,可以根据智能终端30的位姿数据确定用户的视线。处理器31获取智能终端30的位姿数据。其中,位姿数据为位置数据和姿态数据的至少一种或组合。

具体地,处理器31通过位置传感器和/或运动传感器获取智能终端30的位姿数据。运动传感器包括陀螺仪、加速度计和重力感应器,主要用于监测智能终端30的运动,例如,倾斜和摇摆;位置传感器包括地磁场传感器,主要用于监测智能终端30的位置,即,智能终端30相对于世界坐标系的位置。

在一个具体的应用场景中,当用户的视角发生改变后,处理器31所显示的虚拟现实场景也会相应的发生改变,以增强用户的虚拟现实体验。具体而言,处理器31根据智能终端30的位姿数据调整虚拟现实场景。例如,用户的视角向右移动时,虚拟现实场景便相应地向左移动;用户的视角向左移动时,虚拟现实场景便相应地向右移动。

在其中的一个实施方式中,处理器31确定智能终端30佩戴在用户头部时用户的视线与智能终端30的预设参考方向之间的变换关系,并根据智能终端30的位姿数据确定智能终端30的预设参考方向的位姿描述,根据该预设参考方向的位姿描述和变换关系,确定用户的视线的位姿描述,并根据用户的视线的位姿描述确定用户的视线与虚拟现实场景的交点。

其中,智能终端30的预设参考方向为预先定义的方向,可以根据实际情况设计。在其中的一个实施方式中,以智能终端30显示屏幕所在的方向为预设参考方向,当然也可以以与智能终端30显示屏幕所在的方向垂直的方向为预设参考方向。

在预设参考方向确定了之后,处理器31根据智能终端30的位姿数据确定智能终端30的预设参考方向的位姿描述,其中,预设参考方向的位姿描述表征智能终端30的预设参考方向的平移量或旋转量。例如,当预设参考方向为智能终端30显示屏幕所在的方向时,预设参考方向的位姿描述表征智能终端30显示屏幕所在的方向的平移量或旋转量。具体地,处理器31将加速度传感器或角速度传感器的检测结果进行时间积分获取智能终端30的预设参考方向的位姿描述。

处理器31根据其预设参考方向的位姿描述以及智能终端30预设参考方向与用户视线之间的变换关系进而可以确定用户视线的位姿描述,即用户视线的方向。

在另一个实施方式中,处理器31将虚拟现实场景映射到空间模型中,其中空间模型是在世界坐标系下建立的;并根据智能终端30的位姿数据计算用户的视线在世界坐标系下的位姿描述;根据位姿描述确定用户的视线与空间模型中的虚拟现实场景的交点。

具体地,处理器31将智能终端30传感器初始化,在处理器31接收到显示内容刷新的信号后,处理器31开始绘制显示界面,并读取传感器的初始数据,将虚拟现实场景映射到空间模型中,其中空间模型是在世界坐标系下建立的。并基于传感器的数据调整虚拟现实场景的显示内容,将该显示内容以3d形式显示。

在本实施方式中,处理器31根据旋转矩阵以及智能终端30的位姿数据计算用户的视线在世界坐标系下的位姿描述。其中,用户的视线在世界坐标系下的位姿描述反映的是用户的视线在地球或真实环境的视角方向。在其中的一个实施方式中,智能终端30为android系统,处理器31可以依据sensormanager.getrotationmatrix函数计确定用户的视线在世界坐标系下的姿描述。

在本实施方式中,处理器31针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。

具体地,处理器31依据用户的视线的位姿描述确定用户的视线与虚拟现实场景中显示的内容是否存在交点,并确定该交点是否与虚拟现实场景的图形控件重合;若与图形控件重合,则进一步确定是否接收到触发信号;若接收到触发信号,则向图形控件发出触控操作信号。若未接收到触发信号,则向图形控件发出悬浮操作信号。

其中,图形控件可以为某个应用程序对应的图标。

在一个具体的应用场景中,智能终端30设置在一vr眼镜内,vr眼镜设置有至少一物理按键,物理按键设置于智能终端30的触控屏幕上,在vr眼镜的物理按键被按下时,物理按键抵压智能终端30的触控屏幕;处理器31确定智能终端30的触控屏幕是否检测到由物理按键的抵压所产生的触发信号,若接收到触发信号,则向图形控件发出触控操作信号。若未接收到触发信号,则向图形控件发出悬浮操作信号。

区别于现有技术,本申请基于虚拟现实的感控方法包括:利用佩戴在用户头部的智能终端显示虚拟现实场景;获取智能终端的位姿数据;根据位姿数据确定用户的视线与虚拟现实场景的交点;针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向,由此计算确定用户的视线方向与虚拟现实场景的交点位置,并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征,更直观、灵活地对虚拟现实场景中的显示内容进行操作,提高了虚拟现实场景中用户操作的便捷性。

参阅图4,图4是本申请具有存储功能的装置一实施方式的结构示意图。在本实施方式中,具有存储功能的装置40上存储有程序指令41,程序指令41能够被执行以实现本申请的基于虚拟现实的感控方法。

关于感控方法前述已详尽描述,具体可参阅图1、图2以及相关的文字描述,在此不再赘述。

区别于现有技术,本申请基于虚拟现实的感控方法包括:利用佩戴在用户头部的智能终端显示虚拟现实场景;获取智能终端的位姿数据;根据位姿数据确定用户的视线与虚拟现实场景的交点;针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向,由此计算确定用户的视线方向与虚拟现实场景的交点位置,并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征,更直观、灵活地对虚拟现实场景中的显示内容进行操作,提高了虚拟现实场景中用户操作的便捷性。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储装置中。

基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储装置中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的装置。

以上仅为本申请的实施方式,并非因此限制本申请的专利保护范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1