虚拟现实终端及其视觉虚拟方法和装置与流程

本发明实施例涉及虚拟现实技术领域，尤其涉及一种虚拟现实终端及其视觉虚拟方法和装置。

背景技术：

虚拟现实技术是一种计算机仿真系统，在该系统中可以创建和体验虚拟世界。本质上，该系统利用计算机生成一种虚拟环境，该虚拟环境是一种多源信息融合的交互式的三维动态视景和对实体行为的系统仿真，可以达到沉浸式体验。

虚拟现实涉及的多源信息包括实时三维计算机图形技术、广角(宽视野)立体显示技术、对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。除此之外，还涉及双目立体视觉，双目立体视觉起了较大的作用。在双目立体视觉技术中，两只眼睛看到的不同图像是分别产生的，分别显示在两个不同的显示器上。另外，也有虚拟现实系统采用单个显示器，但带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，由于奇、偶帧之间不同即存在视差，从而产生了立体感。

在实现本发明的过程中，发明人发现现有技术中利用上述显示技术原理来进行内容的显示，比如在虚拟环境中展示真实环境中数据，但是目前的方式只是简单的在虚拟现实设备中直接进行显示，尤其是人体健康数据，没有通过在虚拟环境中以拟人的方式显示用户当前的实际人体健康数据，从而导致人机交互的友好性较差。

技术实现要素：

本发明实施例的目的在于提供一种虚拟现实终端及其视觉虚拟方法和装置，用以解决现有技术中用户在使用虚拟现实终端时无法借助参照物产生以第一人称视角身临其境的感觉的技术问题。

本发明的技术方案如下：

本发明实施例提供一种在虚拟现实终端中拟人显示方法，其包括：

根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；

根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

可选地，在本发明的任一实施例中，所述使用者对应的实际体型数据采用如下方式生成：

采集虚拟现实终端使用者的体型图像数据；

对采集到的虚拟现实终端使用者的体型图像数据进行解析，分别生成对应的所述实际体型数据。

可选地，在本发明的任一实施例中，还包括：采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；对所述佩戴位姿信息进行解析生成相应的所述佩戴位姿数据；

根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据包括：根据在实际物理空间中使用者对应的实际体型数据和所述佩戴位姿数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

可选地，在本发明的任一实施例中，采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息包括：

通过至少一个红外摄像头采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；或者，通过陀螺仪和/或加速度传感器采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息。

可选地，在本发明的任一实施例中，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据包括：

根据三维虚拟场景中三维几何模型以及法向图，将实际物理空间使用者对应的实际体型数据转换为在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

本发明实施例提供一种在虚拟现实终端中拟人显示装置，其包括：

根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；

根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

可选地，在本发明的任一实施例中，所述生成单元进一步用于采集虚拟现实终端使用者的体型图像数据；对采集到的虚拟现实终端使用者的体型图像数据进行解析，分别生成对应的所述实际体型数据。

可选地，在本发明的任一实施例中，所述生成单元进一步用于采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；对所述佩戴位姿信息进行解析生成相应的所述佩戴位姿数据；

所述加载单元进一步用于根据在实际物理空间中使用者对应的实际体型数据和所述佩戴位姿数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

可选地，在本发明的任一实施例中，所述生成单元进一步用于通过至少一个红外摄像头采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；或者，通过陀螺仪和/或加速度传感器采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息。

可选地，在本发明的任一实施例中，所述生成单元进一步用于根据三维虚拟场景中三维几何模型以及法向图，将实际物理空间使用者对应的实际体型数据转换为在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

本发明实施例提供一种虚拟现实终端，其包括：硬件处理器，所述硬件处理器用于根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

本发明实施例的技术方案具有以下优点：

通过根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上，在虚拟环境中展示真实环境中数据，尤其是人体健康数据，通过在虚拟环境中以拟人的方式显示用户当前的实际人体健康数据，从而增强人机交互的友好性，大大提升了用户对虚拟场景的真实感的认同程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一在虚拟现实终端中拟人显示方法流程示意图；

图2为本发明实施例二在虚拟现实终端中拟人显示方法流程示意图；

图3为本发明实施例三在虚拟现实终端中拟人显示方法流程示意图；

图4为本发明实施例四在虚拟现实终端中拟人显示装置结构示意图；

图5为本发明实施例五虚拟现实终端结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明下述实施例中，人体健康数据可以包括：心跳次数/血压值/体温值等，这些人体健康数据可以来自于智能手环等，由智能手环通过有线或者无线的方式传送给虚拟显示终端，比如虚拟现实眼镜、虚拟现实头盔等。

图1为本发明实施例一在虚拟现实终端中拟人显示方法流程示意图；如图1所示，本实施例中的技术方案包括如下步骤：

S101、根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；

本实施例中，使用者对应的实际体型数据对应于特定使用者及其特定使用者跟随虚拟现实终端的虚拟场景进行手部的击打或者腿部的奔跑动作等等。

本实施例中，在生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据时可以包括：

根据三维虚拟场景中三维几何模型以及法向图，将实际物理空间使用者对应的实际体型数据转换为在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

S102、根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

具体地，本实施例中，可以通过图形处理器GPU与OpenGL进行场景渲染，从而根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

本实施例中，通过根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上，在虚拟环境中展示真实环境中数据，尤其是人体健康数据，通过在虚拟环境中以拟人的方式显示用户当前的实际人体健康数据，从而增强人机交互的友好性，大大提升了用户对虚拟场景的真实感的认同程度。

图2为本发明实施例二在虚拟现实终端中拟人显示方法流程示意图；如图2所示，本实施例中的技术方案包括如下步骤：

S201、采集虚拟现实终端使用者的体型图像数据；

本实施例中，步骤S201中在采集虚拟现实终端使用者的体型图像数据时可以通过至少一个摄像头来采集虚拟现实终端使用者的体型图像数据。具体地，比如通过红外摄像头来采集，此时，可以在使用者的身体上布置多个红外发光点，比如头部、肩膀、胳膊、躯干、腰围、臀部腿部等位置，通过红外摄像头捕捉到的这些位置的红外发光点来采集虚拟现实终端使用者的体型图像数据。

本实施例中，摄像头可以直接设置在虚拟现实终端上，或者设置在使用虚拟现实终端的环境中。摄像头设置在虚拟现实终端时，可以根据图像采集的便携性，将摄像头设置在虚拟现实终端的两侧，或者顶部，或者在虚拟现实终端的两侧和顶部均设置有摄像头。所述虚拟现实装置的前方放置两个摄像头，侧面放置两个摄像头，当使用者使用装置进行头部动作时，所述装置前方的两个摄像头拍摄的图像与使用者正面观察方向一致，比如使用者通过低头使得装置前方的两个摄像头拍摄到双手以及腿部的图像，从而在装置中实时虚拟出视觉效果一致的虚拟的肢体图像。

S202、对采集到的虚拟现实终端使用者的体型图像数据进行解析，分别生成对应的所述实际体型数据。

本实施例中，如果通过摄像头来采集使用者体型数据，则会形成一系列红外图像，即红外图像序列，因此，通过对该红外图序列进行解析，从而生成对应的实际体型数据。在对红外图像序列进行解析时可以通过在图像上对设定的特征点进行识别和跟踪，从而分别生成对应的实际体型数据。在对红外图像序列解析之前，为了去除不必要的噪声，可以通过红外图像序列进行像素值的均值运算，然后各个像素值在于该像素均值进行差分，从而去除了噪声，同时也降低数据处理量，提高了数据处理的效率。

S203、根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；

S204、根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

本实施例中，步骤S203-S204类似上述图1的S101-S102，详细不再赘述。

本实施例中，通过比如摄像头等来采集虚拟现实终端使用者的体型图像数据，对采集到的虚拟现实终端使用者的体型图像数据进行解析，分别生成对应的所述实际体型数据，根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上，在虚拟环境中展示真实环境中数据，尤其是人体健康数据，通过在虚拟环境中以拟人的方式显示用户当前的实际人体健康数据，从而增强人机交互的友好性，大大提升了用户对虚拟场景的真实感的认同程度。

图3为本发明实施例三在虚拟现实终端中拟人显示方法流程示意图；如图3所示，本实施例中的技术方案包括如下步骤：

S301、采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；

本实施例中，步骤S301中采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息时通过至少一个摄像头采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿图像信息。

本实施例中，可以参照上述图2中的摄像头来设置和采集佩戴位姿信息，即本实施例中，比如虚拟现实终端上布置多个红外发光点，比如顶部、左右两侧等多个位置，通过红外摄像头捕捉到的这些位置的红外发光点来采集虚拟现实终端佩戴位姿信息。

S302、对所述佩戴位姿信息进行解析生成相应的所述佩戴位姿数据。

本实施例中，佩戴位姿数据是指用户在使用虚拟现实终端过程中虚拟现实终端本身的姿态数据，比如用户在使用过程中的低头、仰头、左转以及右转过程中，虚拟现实终端对应的向下运动、向上运动、向左运动以及向右运动，对应虚拟现实终端这些类似状态产生姿态数据。类似上述图1或者图2所示的实施例，本实施例中，如果通过摄像头来采集佩戴位姿信息，则会形成一系列红外图像，即红外图像序列，因此，通过对该红外图序列进行解析，从而生成对应的佩戴位姿数据。在对红外图像序列进行解析时可以通过在图像上对设定的特征点进行识别和跟踪，从而生成对应的佩戴位姿数据。在对红外图像序列解析之前，为了去除不必要的噪声，可以通过红外图像序列进行像素值的均值运算，然后各个像素值在于该像素均值进行差分，从而去除了噪声，同时也降低数据处理量，提高了数据处理的效率。

S303、根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；

本实施例中，具体根据在实际物理空间中使用者对应的实际体型数据和所述佩戴位姿数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

S304、根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

有关步骤S303-S304类似图1中的S101、S102、图2中的S201、S202，详细不再赘述。

本实施例中，通过比如摄像头等来采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息，对所述佩戴位姿信息进行解析生成相应的所述佩戴位姿数据，根据在实际物理空间中使用者对应的实际体型数据和佩戴位姿数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上，在虚拟环境中展示真实环境中数据，尤其是人体健康数据，通过在虚拟环境中以拟人的方式显示用户当前的实际人体健康数据，从而增强人机交互的友好性，大大提升了用户对虚拟场景的真实感的认同程度。

可替代地，在另外一视觉虚拟方法实施例中，步骤S301中在采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息时可以通过陀螺仪和/或加速度传感器采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息。陀螺仪和/或加速度传感器的数量可以一个或多个，当陀螺仪和/或加速度传感器的数量为多个时，可以通过对多个陀螺仪和/或加速度传感器的数量采集到的佩戴位姿信息进行融合处理。

图4为本发明实施例四在虚拟现实终端中拟人显示装置的结构示意图；如图4所示，其包括：

生成单元401，用于根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；

加载单元402，用于根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。

本实施例或其他任一实施例中，所述生成单元401进一步用于采集虚拟现实终端使用者的体型图像数据；对采集到的虚拟现实终端使用者的体型图像数据进行解析，分别生成对应的所述实际体型数据。

本实施例或其他任一实施例中，所述生成单元401进一步用于采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；对所述佩戴位姿信息进行解析生成相应的所述佩戴位姿数据；

所述加载单元402进一步用于根据在实际物理空间中使用者对应的实际体型数据和所述佩戴位姿数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

本实施例或其他任一实施例中，所述生成单元401进一步用于通过至少一个红外摄像头采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；或者，通过陀螺仪和/或加速度传感器采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息。

本实施例或其他任一实施例中，所述生成单元401进一步用于根据三维虚拟场景中三维几何模型以及法向图，将实际物理空间使用者对应的实际体型数据转换为在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

本实施例中，通过生成单元根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及加载单元根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上，在虚拟环境中展示真实环境中数据，尤其是人体健康数据，通过在虚拟环境中以拟人的方式显示用户当前的实际人体健康数据，从而增强人机交互的友好性，大大提升了用户对虚拟场景的真实感的认同程度。

图5为本发明实施例五虚拟现实终端结构示意图；如图5所示，虚拟现实终端500包括：硬件处理器501，所述硬件处理器用于根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上。本实施例或其他任一实施例中，所述硬件处理器501进一步用于采集虚拟现实终端使用者的体型图像数据；对采集到的虚拟现实终端使用者的体型图像数据进行解析，分别生成对应的所述实际体型数据。

本实施例或其他任一实施例中，所述硬件处理器501进一步用于采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；对所述佩戴位姿信息进行解析生成相应的所述佩戴位姿数据；

所述硬件处理器501进一步用于根据在实际物理空间中使用者对应的实际体型数据和所述佩戴位姿数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

本实施例或其他任一实施例中，所述硬件处理器501进一步用于通过至少一个红外摄像头采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息；或者，通过陀螺仪和/或加速度传感器采集虚拟现实终端使用者佩戴所述虚拟现实终端的佩戴位姿信息。

本实施例或其他任一实施例中，所述硬件处理器501进一步用于根据三维虚拟场景中三维几何模型以及法向图，将实际物理空间使用者对应的实际体型数据转换为在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据。

上述图4-图5中功能单元或者处理器可以根据功能的细分，划分为多个子单元或者多个处理子单元，详细不再赘述。

本实施例中，通过处理器根据在实际物理空间中使用者对应的实际体型数据，生成在三维虚拟场景中进行场景模型渲染所用的虚拟体型数据；以及根据所述虚拟体型数据渲染生成所述使用者对应的虚拟显示对象并将人体健康数据加载到所述虚拟显示对象上，在虚拟环境中展示真实环境中数据，尤其是人体健康数据，通过在虚拟环境中以拟人的方式显示用户当前的实际人体健康数据，从而增强人机交互的友好性，大大提升了用户对虚拟场景的真实感的认同程度。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。