一种基于穿戴式手套的虚拟现实交互方法及装置的制造方法
【专利摘要】一种基于穿戴式手套的虚拟现实交互方法及装置，其中方法包括如下步骤，设定基准点，确定手套关节点与基准点的对应位置关系，接收基准点的原点位置偏移信息，所述信息包括位移信息或旋转信息，根据原点位置偏移信息生成偏移矩阵，根据偏移矩阵确定基准点在世界空间中的坐标位置。解决人体感官与虚拟交互的问题。
【专利说明】
一种基于穿戴式手套的虚拟现实交互方法及装置
技术领域
[0001]本发明涉及虚拟现实领域，尤其涉及一种穿戴式手套的虚拟现实交互方法。
【背景技术】
[0002]虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术(VR)丰要包括模拟环境、感知、自然技能和传感设各等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。是一种未来科技发展的方向。
【发明内容】
[0003]为此，需要提供一种虚拟现实交互方法，解决人体感官与虚拟交互的问题。
[0004]为实现上述目的，发明人提供了一种基于穿戴式手套的虚拟现实交互方法，包括如下步骤，设定基准点，确定手套关节点与基准点的对应位置关系，接收基准点的原点位置偏移信息，所述信息包括位移信息或旋转信息，根据原点位置偏移信息生成偏移矩阵，根据偏移矩阵确定基准点在世界空间中的坐标位置。
[0005]具体地，还包括步骤，接收手套关节点的位置偏移信息，根据手套关节点的位置偏移信息及手套关节点与基准点的对应位置关系，确定手套关节点在本地空间中的坐标位置。
[0006]进一步地，还包括步骤，穿戴式手套以预设帧率刷新各关节点的位置信息，当手套关节点运动速度过快时，利用贝塞尔曲线进行线性插值的运动轨迹拟合。
[0007]进一步地，还包括步骤，根据手套关节点在本地空间中的坐标位置，实时在虚拟空间中构建手部的图形姿态。
[0008]—种基于穿戴式手套的虚拟现实交互装置，包括位置对应模块、偏移接收模块、矩阵生成模块、世界坐标模块，
[0009]所述位置对应模块用于设定基准点，确定手套关节点与基准点的对应位置关系，
[0010]所述偏移接收模块用于接收基准点的原点位置偏移信息，所述信息包括位移信息或旋转信息，
[0011 ]所述矩阵生成模块用于根据原点位置偏移信息生成偏移矩阵，
[0012]所述世界坐标模块用于根据偏移矩阵确定基准点在世界空间中的坐标位置。
[0013]具体地，还包括本地坐标模块，
[0014]所述偏移接收模块还用于接收手套关节点的位置偏移信息，
[0015]所述本地坐标模块用于根据手套关节点的位置偏移信息及手套关节点与基准点的对应位置关系，确定手套关节点在本地空间中的坐标位置。
[0016]进一步地，包括信息刷新模块、拟合模块，所述信息刷新模块用于以预设帧率刷新各关节点的位置信息，所述拟合模块用于当手套关节点运动速度过快时，利用贝塞尔曲线进行线性插值的运动轨迹拟合。
[0017]进一步地，还包括重构模块，所述重构模块用于根据手套关节点在本地空间中的坐标位置，实时在虚拟空间中构建手部的图形姿态。
[0018]区别于现有技术，上述技术方案通过穿戴式手套构建基准点，调整手套关节点相对于基准点的位置关系获得本地空间中的坐标位置，在虚拟空间中构建手部姿态，达到了更好地利用穿戴式手套进行虚拟现实交互的目的。
【附图说明】
[0019]图1为本发明【具体实施方式】所述的方法流程图；
[0020]图2为本发明【具体实施方式】所述的装置模块图。
[0021]附图标记说明:
[0022]200、位置对应模块；
[0023]202、偏移接收模块；
[0024]204、矩阵生成模块；
[0025]206、世界坐标模块；
[0026]208、本地坐标模块；
[0027]210、信息刷新模块；
[0028]212、拟合模块；
[0029]214、重构模块。
【具体实施方式】
[0030]为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
[0031]本发明的穿戴式手套能够根据手部关节点位置，以一定的刷新频率更新穿戴式手套上所对应的各关节点的位置，将各关节点位置同步到虚拟现实场景的三维空间中，还原出手部在场景中的位置、旋转和姿态，从而使用户能够在虚拟现实场景中实现实时的交互。请参阅图1，为本发明一种基于穿戴式手套的虚拟现实交互方法，包括如下步骤，SlOO设定基准点，确定手套关节点与基准点的对应位置关系，S102接收基准点的原点位置偏移信息，所述信息包括位移信息或旋转信息，根据原点位置偏移信息生成偏移矩阵，根据偏移矩阵确定基准点在世界空间中的坐标位置。在一些优选的实施例中，选择在腕关节处设定基准点，由于人体骨骼的构造，手腕以下关节点的运动都受到手腕关节点的影响，因此以手腕关节点为基准位置，即三维空间中的本地坐标系原点。以手腕关节点为本地坐标系原点建立三维直角坐标系，其余子关节点的坐标位置为相对于该点的偏移。所述手套关节点与基准点的对应位置关系可以是一种斧子关节点的从属关系，例如主次关节点:由于子关节点的偏移受到父关节点的影响，因此关节点间存在主次的层级关系。根据手部关节的构造，将手部关节分为4个层级。由于各关节点的位置均受到手腕关节点的影响，因此以该关节点作为主关节点，即一级关节点，五根手指的主关节位置为二级副关节点，直接连接该关节点的下属节点为三级关节点，以此类推。除大拇指只有3个关节层级外，其余四根手指均有4个关节层级。在虚拟现实场景的三维空间中，确定用户(头戴式显示设备等)所在的世界空间坐标，再以手腕关节点相对于用户(头戴式显示设备等)的偏移确定手腕关节点所在位置。在每一次穿戴式手套设备对手腕关节点的位置进行刷新时，若手腕关节点位置存在偏移，记录其相对于世界坐标系原点位置的位移、旋转信息，生成偏移矩阵，将各关节点坐标位置乘以该矩阵，获得其在世界空间中的坐标位置。通过上述方法，解决了穿戴手套在现实空间的定位、移动问题。
[0032]在具体的实施例中，还包括步骤，S104接收手套关节点的位置偏移信息，根据手套关节点的位置偏移信息及手套关节点与基准点的对应位置关系，确定手套关节点在本地空间中的坐标位置。该穿戴式手套通过关节点来采集手部对应关节点的位置信息进行真实的骨骼动作模拟。关节数据采集点包括手腕部关节数据采集点、大拇指的2个数据采集点以及其余四根手指上分别有3个关节数据采集点，共计15个关节数据采集点，这些采集点对应了手腕及以下各关节点。本地空间坐标系的更新是相对于其副关节点位置进行的，即二级关节点相对于一级关节点发生位移、旋转，以相对的偏转来生成一个偏移矩阵，来影响其子关节点(三级、四级关节点)的位置，其子关节点都乘以该矩阵，获取其本地空间的坐标位置。三级、四级子关节点发生位移、旋转时计算方式可以此类推。通过上述步骤，能够确定整个手套的基准点位移以及关节点的问题情况，更好地解决了穿戴式手套在现实空间中定位的问题。
[0033]在优选的实施例中，还包括步骤，穿戴式手套以预设帧率刷新各关节点的位置信息，S106当手套关节点运动速度过快时，利用贝塞尔曲线进行线性插值拟合。运动曲线的插值拟合:穿戴式手套设备以一定的刷新频率来更新各关节点的位置，当关节点在位移速度过高时，会因为原有的刷新率不足而导致帧间位置跳变的情况，此时若提高刷新的频率，将引入更大的矩阵运算，降低系统的性能。为了优化性能，减少关键点的矩阵运算次数，我们以跳变的两帧坐标位置为关键点，利用贝塞尔曲线进行线性插值运算，得到其运动曲线:
[0034]B(t)=Po+(P1-Po)t = (l-t)Po+tPi,te [0,1]
[0035]其中P0、P1分别为两个刷新时刻的坐标位置，B(t)为拟合曲线。通过上述方法，能够在保证运行速率的情况下提供流畅的位置移动信息。
[0036]预设每秒最大位移为0.01m，当超过此速度时，启用贝塞尔曲线进行运动路径的线性插值，假设帧率为F Hz，移动速度为V m/s，则其存在计算公式为:
[0037]v = 0.01*F
[0038]即速度超过V时，系统判定使用贝塞尔曲线进行运动路径的线性插值。
[0039]进一步的实施例中，还包括步骤，S108根据手套关节点在世界空间中的坐标位置，实时在虚拟空间中构建手部的图形姿态。手套关节点在虚拟的三维空间中的世界坐标已知，根据坐标的位置便可以还原出手的姿态，所做的工作只是坐标位置的映射，从采集的数据的现实坐标转移到空间坐标。通过将得到的坐标位置数据处理设备(如CHJ等)能够实时地对获取到的关节点的信息进行计算和处理，从而在虚拟现实场景中重新选择基准坐标，重构出手部的位置、旋转和姿态，从而在虚拟现实场景中实现实时的交互操作。
[0040]在图2所示的实施例中，一种基于穿戴式手套的虚拟现实交互装置，包括位置对应模块200、偏移接收模块202、矩阵生成模块204、世界坐标模块206，
[0041]所述位置对应模块200用于设定基准点，确定手套关节点与基准点的对应位置关系，
[0042]所述偏移接收模块202用于接收基准点的原点位置偏移信息，所述信息包括位移信息或旋转信息，
[0043]所述矩阵生成模块204用于根据原点位置偏移信息生成偏移矩阵，
[0044]所述世界坐标模块206用于根据偏移矩阵确定基准点在世界空间中的坐标位置。通过上述模块设计，解决了穿戴手套在现实空间的定位、移动问题。
[0045]具体地，还包括本地坐标模块208，
[0046]所述偏移接收模块202还用于接收手套关节点的位置偏移信息，
[0047]所述本地坐标模块208用于根据手套关节点的位置偏移信息及手套关节点与基准点的对应位置关系，确定手套关节点在本地空间中的坐标位置。通过上述模块设计，能够确定整个手套的基准点位移以及关节点的问题情况，更好地解决了穿戴式手套在现实空间中定位的问题。
[0048]在其他一些实施例中，包括信息刷新模块210、拟合模块212，所述信息刷新模块用于以预设帧率刷新各关节点的位置信息，所述拟合模块用于当手套关节点运动速度过快时，利用贝塞尔曲线进行线性插值拟合。通过上述模块进行拟合，能够在保证运行速率的情况下提供流畅的位置移动信息。
[0049]进一步的实施例中，还包括重构模块214，所述重构模块214用于根据手套关节点在本地空间中的坐标位置，实时在虚拟空间中构建手部的图形姿态。从而在虚拟场景中进行现实交互操作。
[0050]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此夕卜，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
[0051]本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质，包括但不限于:RAM、R0M、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
[0052]上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0053]这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0054]这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0055]尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
【主权项】
1.一种基于穿戴式手套的虚拟现实交互方法，其特征在于，包括如下步骤，设定基准点，确定手套关节点与基准点的对应位置关系，接收基准点的原点位置偏移信息，所述信息包括位移信息或旋转信息，根据原点位置偏移信息生成偏移矩阵，根据偏移矩阵确定基准点在世界空间中的坐标位置。2.根据权利要求1所述的基于穿戴式手套的虚拟现实交互方法，其特征在于，还包括步骤，接收手套关节点的位置偏移信息，根据手套关节点的位置偏移信息及手套关节点与基准点的对应位置关系，确定手套关节点在本地空间中的坐标位置。3.根据权利要求2所述的基于穿戴式手套的虚拟现实交互方法，其特征在于，还包括步骤，穿戴式手套以预设帧率刷新各关节点的位置信息，当手套关节点运动速度过快时，利用贝塞尔曲线进行线性插值的运动轨迹拟合。4.根据权利要求2所述的基于穿戴式手套的虚拟现实交互方法，其特征在于，还包括步骤，根据手套关节点在本地空间中的坐标位置，实时在虚拟空间中构建手部的图形姿态。5.—种基于穿戴式手套的虚拟现实交互装置，其特征在于，包括位置对应模块、偏移接收模块、矩阵生成模块、世界坐标模块， 所述位置对应模块用于设定基准点，确定手套关节点与基准点的对应位置关系， 所述偏移接收模块用于接收基准点的原点位置偏移信息，所述信息包括位移信息或旋转信息， 所述矩阵生成模块用于根据原点位置偏移信息生成偏移矩阵， 所述世界坐标模块用于根据偏移矩阵确定基准点在世界空间中的坐标位置。6.根据权利要求1所述的基于穿戴式手套的虚拟现实交互装置，其特征在于，还包括本地坐标模块， 所述偏移接收模块还用于接收手套关节点的位置偏移信息， 所述本地坐标模块用于根据手套关节点的位置偏移信息及手套关节点与基准点的对应位置关系，确定手套关节点在本地空间中的坐标位置。7.根据权利要求6所述的基于穿戴式手套的虚拟现实交互装置，其特征在于，包括信息刷新模块、拟合模块，所述信息刷新模块用于以预设帧率刷新各关节点的位置信息，所述拟合模块用于当手套关节点运动速度过快时，利用贝塞尔曲线进行线性插值的运动轨迹拟入口 ο8.根据权利要求6所述的基于穿戴式手套的虚拟现实交互装置，其特征在于，还包括重构模块，所述重构模块用于根据手套关节点在本地空间中的坐标位置，实时在虚拟空间中构建手部的图形姿态。
【文档编号】G06F3/01GK106066688SQ201610355186
【公开日】2016年11月2日
【申请日】2016年5月25日 公开号201610355186.1, CN 106066688 A, CN 106066688A, CN 201610355186, CN-A-106066688, CN106066688 A, CN106066688A, CN201610355186, CN201610355186.1
【发明人】吴拥民, 何汉鑫, 许凯杰, 刘德建, 陈宏展
【申请人】福建天晴数码有限公司