专利名称：一种沉浸式虚拟现实系统及其实现方法
技术领域：
本发明涉及本发明涉及一种虚拟现实系统和方法，更详细地，本发明涉及一种沉浸式虚拟现实系统和方法。
背景技术：
虚拟现实(Virtual Reality,VR)技术是一种先进的、数字化的人机接口技术,，其特点在于计算机产生一种人为虚拟的环境，生成一个以视觉感受为主，包括听觉、触觉的综合感知的人工环境，人们可以通过视觉、听觉、触觉和加速度感等多种感觉通道感知计算机模拟的虚拟世界，也可以通过移动、语音、表情、手势及视线等最自然的方式和虚拟世界交互，从而产生身临其境的体验。虚拟现实技术是计算机技术、传感器技术、人机交互技术、人工智能技术等多种技术的综合发展，目前已经在军事、医学、教育、娱乐、制造业、工程训练等各个方面得到应用，它被认为是当前及将来影响人们生活的重要技术之一。虚拟现实系统按照沉浸性的程度不同分为沉浸式系统与非沉浸式系统。沉浸式虚拟现实系统是通过一些特殊的外部设备、高性能计算机以及相应的软件来实现的，它使人完全沉浸到计算机创造的图形世界里，犹如感受真实世界。沉浸式虚拟现实系统是一种高级的虚拟现实系统，它提供一个完全沉浸的体验，让使用者有一种置身于虚拟境界之中的感觉。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身临其境、全心投入和沉浸其中的感觉。沉浸式虚拟现实系统包括洞穴(CAVE)沉浸式虚拟现实系统、大屏幕三维立体沉浸式虚拟现实系统、柱面环幕投影沉浸式虚拟现实系统等，这些沉浸式虚拟现实系统以大幅面甚至是超大幅面的虚拟现实立体投影为显示方式，为参与者提供具有高度临场感的投入型虚拟空间环境，让所要交互的虚拟三维世界高度逼真地浮现于参与者的眼前。然而，这些沉浸式虚拟系统需要固定场所安装大型显示设备才能使用，限制了其使用范围。可佩带显示器的出现解决了显示设备庞大的问题，这种显示方式体积小，便于携带和运输，最有可能得到广泛的普及。然而，人体部位的跟踪和数据传输的延时是采用可佩带式显示器的沉浸式虚拟现实系统所面临的技术难题。例如CN97198214.7的空间跟踪系统(Spatial tracking system)提供了人体部位跟踪的解决方案，例如3DSuit动作捕捉产品和Xsens Technologies生产的MVN惯性动作捕捉产品，采用惯性传感器等手段，对人体主要骨骼部位的运动进行实时测量。这类设备的的优点是使使用者全身心地沉浸到虚拟世界中去，缺点是系统设备复杂，价格昂贵，难以普及推广。
发明内容
由于本发明人广泛而深入的研究，本发明人提出了根据本发明的技术方案，使得上述问题能够被解决。
本发明提供了一种沉浸式虚拟现实系统，所述系统至少包括:至少一个可佩带在使用者身体上的显示器，至少一个动作捕捉装置，以及至少一个数据处理装置；其中，所述显示器用于向使用者显示图像和声音，并用于捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，以及接收至少一个所述数据处理装置发送的数据，并向使用者传递虚拟环境的视频和/或音频；所述动作捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个所述数据处理装置；所述数据处理装置用于处理从至少一个所述显示器和至少一个所述动作捕捉装置获取并传输至所述数据处理装置的数据，并将处理后的结果发送至至少一个显示器。根据本发明的沉浸式虚拟现实系统，优选所述显示器包括至少一个角度感应装置。所述角度感应装置至少能捕获围绕z轴的旋转动作，优选所述角度感应装置是电子指南针。还优选所述角度感应装置能感应围绕X、y和Z三个轴的旋转动作,更优选所述角度感应装置是三轴陀螺仪。根据本发明的沉浸式虚拟现实系统，优选所述动作捕获装置包括至少一个红外线发射器和至少一个红外线摄像头。更优选所述动作捕获装置是体感摄影机，最优选所述动作捕获装置是Kinect体感摄影机和/或WAVI Xtion体感摄影机。根据本发明的沉浸式虚拟现实系统，优选所述数据处理装置是电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant, PDA),例如戴尔公司生产的Dell Axim X51V掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad ;移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85 ;音频处理终端，例如MP3和iPod ;视频处理终端，例如MP4 ;和/或游戏机，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wi 1、GBA、3DS 和 NDS。根据本发明的沉浸式虚拟现实系统，至少一个显示器(C0M1)、至少一个动作捕获装置(COM2)和至少一个数据处理装置(COM3)组成一个VRS。根据本发明的虚拟现实系统也可以由多个VRS构成。根据本发明的沉浸式虚拟现实系统，其还包括至少一个数据交换装置，用于处理多个VRS之间的数据传输。优选所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。根据本发明的沉浸式虚拟现实系统，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度优选不小于18432000bps (bit per second,比特每秒),更优选不小于55296000bps,更优选不小于55296000bps，还更优选不小于147456000bps。优选数据传输装置采用WHDI传输方式。本发明还提供了一种实现沉浸式虚拟现实的方法，所述方法至少包括以下部分:通过至少一个动作捕获装置捕获使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个数据处理装置，通过至少一个显示器捕获使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，通过至少一个所述数据处理装置处理来自所述动作捕获装置和所述显示器的数据，并将处理后的数据发送至至少一个所述显示器；通过至少一个所述显示器将从至少一个所述数据处理装置接收到的处理后的数据转换为视频和/或音频，使使用者能感受到跟随自己动作变化的虚拟现实环境。根据本发明的实现沉浸式虚拟现实的方法，优选所述显示器包括至少一个角度感应装置。所述角度感应装置至少能捕获围绕z轴的旋转动作，优选所述角度感应装置是电子指南针。还优选所述角度感应装置能感应围绕X、y和Z三个轴的旋转动作,更优选所述角度感应装置是三轴陀螺仪。根据本发明的实现沉浸式虚拟现实的方法，优选所述动作捕获装置包括至少一个红外线发射器和至少一个红外线摄像头。更优选所述动作捕获装置是体感摄影机，最优选所述动作捕获装置是Kinect摄像头和/或WAVI Xtion摄像头。根据本发明的实现沉浸式虚拟现实的方法，优选所述数据处理装置是电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant, PDA),例如戴尔生产的Dell Axim X51V掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad ;移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85 ;音频处理终端，例如MP3和iPod ;视频处理终端，例如MP4 ;和/或游戏机，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wi 1、GBA、3DS 和 NDS。根据本发明的实现沉浸式虚拟现实的方法，至少一个显示器(C0M1)、至少一个动作捕获装置(COM2)和至少一个数据处理装置(COM3)组成一个VRS。根据本发明的虚拟现实系统也可以由多个VRS构成。根据本发明的实现沉浸式虚拟现实的方法，其还包括通过至少一个数据交换装置处理多个VRS之间的数据传输。优选所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。根据本发明的实现沉浸式虚拟现实的方法，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度优选不小于18432000bps (bit per second,比特每秒)，更优选不小于55296000bps,更优选不小于36864000bps，还更优选不小于147456000bps。优选数据传输装置采用WHDI传
输方式。。
附图1是根据本发明的显示器的结构图；附图2a_2d是根据本发明的x、y和z轴的示意图；附图3是根据本发明的显示器的工作原理图；附图4是根据本发明的动作捕获装置的结构图；附图5是根据本发明的动作捕获装置能够捕获的人体主要节点部位示意图；附图6是根据本发明的数据处理装置的结构图；附图7是根据本发明的数据处理装置的工作原理图；附图8是根据本发明的数据交换装置的工作原理附图9是根据本发明的实施例1的沉浸式虚拟现实系统的拓扑结构图；附图10是根据本发明的实施例2的沉浸式虚拟现实系统的拓扑结构图；附图11是根据本发明的实施例3的沉浸式虚拟现实系统的拓扑结构图；附图12是根据本发明的实施例4的沉浸式虚拟现实系统的拓扑结构图；附图13是根据本发明的实施例5的沉浸式虚拟现实系统的拓扑结构图；附图14是根据本发明的实施例6的沉浸式虚拟现实系统的拓扑结构图。
具体实施例方式下面，将结合附图更为详细地阐述本发明。说明书中出现的实例仅用于解释、阐述和说明本发明，具有包括但不限于的含义，而不意味着对本发明的内容有任何形式的限制。显示器(COMl)用于向使用者传递虚拟环境的视频和/或音频，使使用者产生身临其境的感受；并且包括至少一个角度感应装置，所述角度感应装置用于捕获头部转动动作，所述头部转动动作包括头部的旋转动作和小幅度偏转动作。显示器(COMl)还可以用于实现使用者与其它使用者之间的语音沟通。参照附图1，显示器(COMl)具有显示装置(101)，话筒(102)，耳机(103)，角度感应装置(104)，信号处理装置(106)，以及数据传输装置(105)。显示装置(101)是用于显示图像的部分，为了便于使用者感受到更为逼真的视觉效果，显示装置(101)的位置通常在人的眼部附近，该显示装置可以是CRT、IXD等任何显示设备。话筒(102)是用于捕获声音，并将声音信号转换为模拟信号的装置，一般安置在人的口部附近。耳机(103)是将模拟信号转换为声音信号，并将声音播出的装置，一般安置在人的耳部附近。角度感应装置(104)能感应围绕z轴的旋转动作，更好地，角度感应装置(104)能够感应围绕X、y和z三个轴的旋转动作。如图2所示，所述围绕z轴的旋转动作是指使用者头部以竖直方向为轴的旋转动作，即，产生转动(yaw)(a)角变化的动作，例如使用者运动或基本静止状态下头部左右转动动作，也包括例如使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的头部左右转动动作。所述围绕X、y和z三个轴的旋转动作是指除了围绕z轴的旋转动作以外,还包括使用者头部沿竖直方向的轴向运动动作，即，产生转动(yaw)角(α)、偏转(pitch)角(β)和俯仰(roll)角(Y),例如使用者的任何头部转动动作，包括头部转动动作、点头动作、后仰动作、摆头动作等，当然也包括例如使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的头部转动动作、点头动作、后仰动作、摆头动作。在前一种情况下，角度感应装置(104)可以是电子指南针；在后一种情况下，角度感应装置(104)可以是三轴陀螺仪。角度感应装置(104)使得头部的旋转动作和小幅度的偏转动作能够被根据本发明的沉浸式虚拟现实系统所识别，弥补了动作捕获装置(COM2)难以识别头部的旋转动作和小幅度偏转动作的缺陷，能够辅助数据处理装置(COM3)渲染对应的视频图形，使得根据本发明的沉浸式虚拟现实系统能够为使用者带来更为逼真的模拟现实效果。信号处理装置(106)是显示器(COMl)的中央控制部分，用于处理显示器(COMl)接收和/或捕获到的数据。例如，如附图3所示，信号处理装置(106)具有图像处理装置(1061)、声音处理装置(1062)、控制装置(1063)和存储装置(1064)。其中，图像处理装置(1061)将接收到的文字、图形的数字信号转换成模拟信号，并将模拟信号传输至显示装置
(101)显示；例如，图像处理装置(1061)可以是显卡。声音处理装置(1062)将从话筒(102)接收到的声音的模拟信号转换成数字信号，并传输给数据处理装置(COM3);也将来自数据处理装置(COM3)的声音数字信号转换成模拟信号，并发送给耳机(103)播放；例如声音处理装置(1062)可以是声卡。控制装置(1063)用于控制显示器(COMl)的所有程序执行，协调外部设备操作；控制装置(1063)可以是中央处理器(CPU)。存储装置(1064)用于存储显示器(COMl)的程序和数据；存储装置(1064)可以是内存和/或硬盘。数据传输装置
(105)是用于显示器(COMl)与其他装置(例如数据处理装置(COM3))之间数据传输，可采用 WHD1、WiF1、Ethernet Net、RF、USB 等方式。动作捕获装置(COM2)用于捕获使用者主要节点部位的运动轨迹，其至少包括至少一个红外线发射器(201)和至少一个红外线摄像头(202)。如附图4所示，动作捕获装置(COM2)还可以包括控制器(203)，输出接口(205)，以及追焦马达(204)。使用时，动作捕获装置(COM2)面向使用者，使得使用者的活动范围落入动作捕获装置(COM2)的测量空间中。动作捕获装置(COM2)还可以包括彩色摄像头用于拍摄彩色图像。红外线发射器(201)用于在在动作捕获装置(COM2)的测量空间中均匀投射红外光，所述测量空间是红外线发射器(201)所能覆盖的范围。红外线摄像头(202)(又称单色CMOS传感器或红外CMOS传感器)用于记录测量空间中的散斑数据，并将所得数据传输给控制器(203)。控制器(202)用于处理来自红外线摄像头(202)的数据，完成对人体主要节点部位的动作捕获，处理后的数据通过输出接口(205)传递给相连的其他装置(例如数据处理装置(COM3))。追焦马达(204)用于调整摄像设备的上下左右角度，以确保测量空间能更好得覆盖人体对象。红外线发射器(201)向空间连续发射的均匀红外光照射到粗糙物体(如人体表面或衣物表面)上时，形成随机的反射斑点，即散斑。散斑具有高度随机性，也会随着距离而变换图案，空间中任何两处的散斑都会是不同的图案，相当于将整个空间加上了标记，所以任何物体进入该空间、以及移动时，都可以确切记录到该物体的位置。红外线摄像头(202)可以记录空间中出现的散斑，从而获取散斑信息，并传输给控制器(203)。控制器(203)根据来自红外线摄像头(202)的数据形成具有3D深度的图像数据，并进行例如人体结构识别、人体骨骼模型建立等处理。人体结构识别采用机器学习技术(machine learning),建立大量的图像资料库。将3D深度人体图像的每个像素传输至图像资料库中，以辨别像素分别属于哪个身体部位的可能性，从而确定人体部位。为了减轻计算量，可以采取分割遮罩技术，即将背景物体剔除，在处理流程中仅传送分割遮罩的部分，同时可以通过组合人体的基本面部数据和骨架数据来识别测量空间中每个人的身份。骨骼模型处理，是通过评估输出的像素来确定活动关节点，然后根据活动关节点生成骨骼系统，并准确地评估人体实际所处位置。同时在控制器(203)中预存多个常见的人体姿势，以便在接收到的图像数据采集信息不全面时能够猜测并匹配出玩家的动作。如附图5所示，动作捕获装置(COM2)捕获的人体动作轨迹，一般来说包括人体主要节点部位的运动轨迹，人体主要节点部位的运动轨迹一般是指人体主要节点部位在空间的位移轨迹，所述主要节点部位至少包括头部、手部、肘部、肩部、腰部、膝部和/或脚部，还可以包括髋部、腕部和/或踝部。动作捕获装置(COM2)可以是体感摄影机，其可以通过商业方式获取，例如微软公司的Kinect体感摄影机，或者华硕公司的WAVI Xtion体感摄影机。然而，虽然动作捕获装置(COM2)能够捕获使用者主要节点部位的运动轨迹，但是其难以或不能识别头部转动动作。所述头部转动动作包括头部的旋转动作和/或小幅度偏转动作；头部的旋转动作是指头部相对于躯体几乎不产生位移或产生很小位移的以颈椎为轴的旋转动作，例如扭头动作，当然也包括使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的扭头动作、摇头动作；头部的小幅度偏转动作是指头部相对于躯体产生很小位移的摆动动作，例如幅度较小的摆头动作，当然也包括使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的点头动作、头部后仰动作或摆头动作。然而这些头部转动动作会使使用者的视角发生很大的变化，因而虚拟现实系统必须要能够识别这些动作，并使系统模拟的虚拟环境对上述动作有所反应和变化。经过本发明人广泛而深入的研究，根据本发明，在显示器(COMl)上安装角度感应装置(104)能够解决这个问题，角度感应装置(104)至少能够感应围绕z轴的旋转动作，当使用者头部作出旋转动作，例如扭头或摇头时，角度感应装置(104)能够感应到使用者的动作并发送相关数据，数据处理装置(COM3)接收到相关数据并进行处理，将处理后的数据发送回显示器(COMl)，使使用者能从显示器(COMl)感受到(例如看见和/或听见)随着扭头动作进行而产生的虚拟环境变化，使使用者有更好的身临其境的感受。更好地，角度感应装置(104)能够感应围绕X、y和z三个轴的旋转动作，即能够感应使用者的任何头部转动动作。当使用者头部作出旋转动作和/或小幅度偏转动作，例如即使是扭头和/或幅度较小的摆头、点头动作时，角度感应装置(104)也能够感应到使用者的动作并发送相关数据，数据处理装置(COM3)接收到相关数据并进行处理，将处理后的数据发送回显示器(COMl)，使使用者能从显示器(COMl)感受到(例如看见和/或听见)随着动作进行而产生的虚拟环境变化，使使用者有更好的身临其境的感受。数据处理装置(COM3)用于处理从显示器(COMl)和动作捕获装置(COM2)获取的数据，并将处理后的结果发送至显示器(COMl)。如附图6所示，数据处理装置(COM3)通常包括控制器(301)，运算器(302)，存储器(303)，输入装置(304)，以及输出装置(305)。控制器(301)用于控制程序执行，其根据存储器中的指令序列(程序)工作，并控制执行指令，根据指令控制机器的各部件协调操作。运算器(302)用于进行数据加工处理，例如各种算术、逻辑运算等。存储器(303)用于记忆程序和数据，例如以二进制代码形式存放程序和数据。输入装置(304)用于将外接装置发送的数据输入运算器(302)。输出装置(305)用于将运算器(302)处理完的数据输出至外接装置。所述外接装置例如显示器(COMl)、动作捕获装置(COM2)、数据交换装置(COM4)、鼠标、键盘和/或触摸式显示屏(例如电容屏或电阻屏)。输入设备(304)把需要的程序和数据传输至运算器(302)，再通过运算器(302)存于存储器(303)。在运算处理过程中，数据从存储器(303)读入运算器(302)进行运算，运算结果存入存储器(303)，或由运算器(302)经输出设备(305)输出。指令也以数据形式存于存储器(303)中，运算时指令由存储器(303)送入控制器(301)，由控制器(301)产生控制流以控制数据流的流向以及控制各部件的工作，对数据流进行加工处理。数据处理装置(COM3)可以是例如电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant, PDA),例如戴尔公司生产的 Dell AximX51V 掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad ;移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85音频处理终端，例如MP3和iPod ;视频处理终端，例如 MP4 ;和 / 或游戏机，例如 PS2、PS3、PSP、NGC、NDSL, XBOX, Wi1、GBA、3DS 和NDS。数据处理装置(COM3)的工作原理如附图7所示。数据处理装置(COM3)负责对接收到的数据进行数据处理(701)。接收到的数据是本地使用者输入数据(702)和/或远程使用者输入数据(703)。本地使用者输入数据(702)是指从本地使用者处获取的数据，包括例如通过本地显示器(COMl)的话筒(102)捕获的音频数据、通过本地显示器(COMl)的角度感应装置(104)获取的头部转动动作数据、通过本地动作捕获装置(COM2)获取的本地使用者人体动作轨迹数据等。远程使用者输入数据(703)是指从远程使用者处获取并被发送到本地的数据，包括例如通过远程显示器(C0M1’)的话筒(102’)捕获的音频数据、通过远程显示器(C0M1’ )的角度感应装置(104’ )获取的头部转动动作数据、通过远程动作捕获装置(COM2’ )获取的远程使用者人体动作轨迹数据等。数据处理(701)通常包括数据获取模块(7011)、输入数据整理模块(7012)、数据处理模块(7014)、3D渲染模块(7016)、音频渲染模块(7015)和输出数据整理模块(7017)，并且还包括本地数据输出模块(7018)和/或远程数据输出模块(7013)。数据获取模块(7011)获取本地使用者输入数据(702)和/或远程使用者输入数据(703)，并将数据传输至输入数据整理模块(7012)。输入数据整理模块(7012)将接收到的数据分门别类并整理为数据处理模块所能使用的数据格式，例如图像数据BITMAP、音频数据MP3、视频数据MPEG4等，并将整理后的数据传输给数据处理模块(7014)和/或远程数据输出模块(7013)。在有远程使用者的情况下远程数据输出模块(7013)将所有本地使用者输入数据，发送给各个远程使用者所在的沉浸式虚拟现实系统的数据处理装置(COM3’)。远程使用者输出数据(705)是本地虚拟现实系统发送给其他虚拟现实系统数据处理装置(COM3’，即远程使用者所在的沉浸式虚拟现实系统的数据处理装置)的数据，其包括本地虚拟现实系统显示器(COMl)的话筒(102)捕获的音频数据、显示器(COMl)的角度感应装置(104)获取的头部转动动作数据、通过本地动作捕获装置(COM2)获取的本地使用者人体动作轨迹数据等。数据处理模块(7014)处理所接收到的整理后的数据，布置虚拟三维环境，将远程使用者与本地使用者放在虚拟现实环境中的各自位置上，并且设置远程使用者及本地使用者的肢体姿势与头部角度，依照本地使用者的头部角度，将3D摄像机(所述3D摄像机是由电脑系统运算而构建的虚拟三维空间内的一个组成概念，其作用是定义一个指定位置方向及视野等信息的虚拟摄像机概念，以便根据该虚拟摄像机来渲染出一副三维空间内的画面。通常使用者所观察到的3D场景内的画面即为该3D场景内的3D摄像机所拍摄的画面。3D摄像机不负责渲染画面，只是决定了所要拍摄的内容。)的位置设置在本地使用者的眼部。数据处理模块(7014)将处理后的数据发送3D渲染模块(7016)和/或音频渲染模块(7015)。音频渲染模块(7015)依照每个本地使用者所在虚拟现实环境中的位置，渲染该使用者所听到的环境音频及其他使用者所发出的音频；优选音频音量根据音源与该使用者在虚拟现实环境中的距离进行调整，例如距离较近则音频音量较大，距离较远则音频音量较小。3D渲染模块(7016)依照设置好的摄像机分别渲染各个本地使用者所看到的视频画面。3D渲染模块(7016)和音频渲染模块(7015)将渲染后的数据发送至输出数据整理模块(7017)。输出数据整理模块(7017)将已经渲染好的画面与音频数据分门别类整理好以待发送给本地使用者佩带的显示器(COMl);在有多个本地使用者的情况下，输出数据整理模块(7017)将已经渲染好的画面与音频数据分门别类整理好以待发送给各个对应的本地使用者佩带的显示器(COMl)。输出数据整理模块(7017)将整理好的数据发送给本地数据输出模块(7018)。本地数据输出模块(7018)将整理后的数据，即本地使用者输出数据(704)发送至对应的本地使用者佩带的显示器(COMl)。本地使用者输出数据(704)是经过数据处(701)处理后传输至本地使用者的数据，其包括处理后的远程使用者话筒(102’)捕获的音频数据、虚拟环境中的其他音频数据、虚拟环境中的视频数据等。至少一个显示器(COMl)、至少一个动作捕获装置(COM2)和至少一个数据处理装置(COM3)组成一个VRS。具有一个显示器(COMl)、一个动作捕获装置(COM2)和一个数据处理装置(COM3)的根据本发明的虚拟现实系统称为VRS-SM，具有两个以上显示器(C0M1)、一个动作捕获装置(COM2)和一个数据处理装置(COM3)的根据本发明的虚拟现实系统称为VRS-MM。根据本发明的虚拟现实系统也可以由多个VRS构成。数据交换装置(COM4)用于处理多个VRS(例如两个以上VRS-SM，或者两个以上VRS-MM，或者一个以上VRS-SM和一个以上VRS-MM)之间的数据传输(多个使用者远程交互的数据交换)，并且还可用于实现与之相连接的多个VRS所需要的共有虚拟环境。数据交换装置(COM4)将不同VRS之间交互的数据进行转发，使这些使用者即使在远程也可以获得身处同一场景的感受，进行交互交流。这些交互的数据主要包括使用者的肢体动作、语音等基本必要数据。数据交换装置(COM4)拥有场景数据和所有使用者的数据，才能处理所有参与者在场景内所做的任意事件。在多个使用者远程交互的处理上数据交换装置(COM4)是一个必不可少的关键部件。即，例如数据交换装置(COM4)接收数据处理装置(COM3)传出的数据，如有需要在对所接收数据(使用者数据)进行处理和/或增加数据信息(例如场景信息)后，传输给另一个数据处理装置(COM3’ );同时也将数据处理装置(COM3’ )传出的数据，如有需要在对所接收数据进行处理和/或增加数据信息后，传输给数据处理装置(COM3)。而数据处理装置(COM3)将来自数据交换装置(COM4)的数据转发给本地VRS内的所有使用者，并根据来自数据交换装置(COM4)的数据，渲染出图像，使之能看到数据交换装置(COM4)所连接的其他VRS上使用者和听到他们的声音。在多个VRS的系统中，数据处理装置(COM3)为数据交换装置(COM4)提供数据转发并负责渲染图像。在单个VRS的系统中，数据处理装置(COM3)为数据交换装置(COM4)的工作可以在同一个装置上完成。如图8所示，数据交换装置(COM4)通常包括控制器(401)，运算器(402)，存储器(403)，输入装置(404)，以及输出装置(405)。控制器(401)用于控制程序执行，其根据存储器中的指令序列(程序)工作，并控制执行指令，根据指令控制机器的各部件协调操作。运算器(402)用于进行数据加工处理，例如各种算术、逻辑运算等。存储器(403)用于记忆程序和数据，例如以二进制代码形式存放程序和数据。输入装置(404)用于将外接装置发送的数据输入运算器(402)。输出装置(405)用于将运算器(402)处理完的数据输出至外接装置。所述外接装置例如数据处理装置(COM3)、鼠标、键盘和/或触摸式显示屏(例如电容屏或电阻屏)。输入设备(404)把需要的程序和数据传输至运算器(402)，再通过运算器(402)存于存储器(403)。在运算处理过程中，数据从存储器(403)读入运算器(402)进行运算，运算结果存入存储器(403)，或由运算器(402)经输出设备(405)输出。指令也以数据形式存于存储器(403)中，运算时指令由存储器(403)送入控制器(401)，由控制器(401)产生控制流以控制数据流的流向以及控制各部件的工作，对数据流进行加工处理。数据交换装置(COM4)可以是例如电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant,PDA),例如戴尔公司生产的Dell AximX51V掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad ;移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85 ;音频处理终端，例如MP3和iPod ;视频处理终端，例如 MP4 ;和 / 或游戏机，例如 PS2、PS3、PSP、NGC、NDSL, XBOX, Wi1、GBA、3DS 和NDS。在一个根据本发明的虚拟现实系统中，数据处理装置(COM3)和数据交换装置(COM4)可以是同一个装置。优选在一个根据本发明的虚拟现实系统中，数据处理装置(COM3)和数据交换装置(COM4)不是同一个装置。根据本发明的虚拟现实系统，显示器(C0M1)、动作捕获装置(COM2)、数据处理装置(COM3)和数据交换装置(COM4)之间的数据传输通过数据传输装置(例如数据传输装置(105)、输出接口(205)、输入装置(304)、输出装置(305)、输入装置(404)和/或输出装置(405))进行，所述数据传输装置采取的数据传输方式可以是有线传输，也可以是无线传输。然而采用有线传输方式时，数据传输装置上的连接线有可能会干扰使用者的活动，影响使用者的体验，因而，根据本发明，数据传输装置优选采用无线传输方式，例如蓝牙、红外、Wif1、WHDI等。采用无线传输时，最主要的问题在于传输速度，系统捕获到使用者在三维空间的运动，然后将使用者在虚拟现实环境中“应该”体验到的视觉和/或听觉感受传送给使用者，如果由于传输速度产生延时，使用者感受到的可能是数秒以前的体验，这样会大大削弱虚拟现实系统的功能。使用者所感觉到的延时主要来自于本地数据传输的传输延时，即在虚拟现实系统的每一个VRS内各装置之间传输(显示器与动作捕捉装置、显示器与数据处理装置和/或动作捕捉装置与所述数据处理装置之间的传输)而引起的延时。传输延时分为输入延时(例如显示器(C0M1)和/或动作捕获装置(COM2)向数据处理装置(COM3)传输信息产生的延时)和输出延时(例如数据处理装置(COM3)向动作捕获装置(C0M1)传输信息产生的延时)。输入延迟，由于输入内容主要是由人体动作产生的数据及语音数据，数据量相对较小，对传输媒介带宽要求相对较低。而输出延迟，由于传输的是连续图形序列及音频，所以数据量相对较大，对传输媒介带宽相对较高。因而，根据本发明，还优选数据传输装置的传输速度不小于18432000bps (bit per second,比特每秒)，更优选不小于55296000bps，更优选不小于55296000bps，还更优选不小于147456000bps。更优选数据传输装置米用WHDI (Wireless Home Digital Interface,即无线家庭数字接口)传输方式。WHDI能够实现高达3Gbps的数据传输速度，工作范围可达30米，可穿透墙壁，发送数据延迟能够小于I毫秒。采用该技术的数据传输装置能够在市场上获得，例如AMMON公司的MIPS-Based 芯片或 AMN2120/AMN2220 芯片。根据本发明的沉浸式虚拟现实系统可以用于游戏、科研、多媒体、娱乐、仿真、远程会议等多个方面。现在将结合实施例更为详尽地阐述本发明，实施例所列举的方式仅仅是根据本发明典型的实例，仅用于说明本发明，而不意味着对本发明进行任何限制。
实施例实施例1一个根据本发明的沉浸式虚拟现实系统(VRS 1，如附图9所示)，包括一个显示器(COMl)，一个动作捕获装置(COM2)，一个数据处理装置(COM3)。显示器(COMl)是双眼式头戴视频显示器，具有一个显示装置(Myvu公司SolidOptex 透射式微型液晶显示屏)、一个话筒(铁三角PRO 51Q)、一个耳机(森海塞尔PX80)、一个角度感应装置(电子指南针，日本旭化成株式会社AK8973数字罗盘芯片)、一个信号处理装置和一个数据传输装置(意法半导体公司生产的STLC4420型WiFi芯片)，其中，所述信号处理装置包括图像处理装置(Kopin 生产的 Microdisplay Controller (Custom) KCD-A210-BA,集成在 Myvu 公司
SolidOptex 透射式微型液晶显示屏上)、声音处理装置(基于I2S总线的UDA1341解码
芯片)、控制装置(带有I2C总线接口的Samsung S3C2440芯片)和存储装置(两片并接的K4S511632B-CL75、512M bytes 的 SDRAM 芯片)。显示器(C0M1)电源部分采用 MCP1700 低压差稳压芯片供电。根据上述芯片的电器特性，设计本实施例显示器(C0M1)的电路图，按照电路图完成印刷电路板(Printed circuit board, PCB)的设计和制作,组装形成显示器(C0M1)。动作捕获装置(COM2)是一个体感摄影机(微软公司Kinet摄像头)，数据处理装置(COM3)是一台电脑(外接TP-LINK公司生产的TL-WN321G型无线上网卡的联想家悦E2565台式电脑)。显示器(C0M1)开机后，初始化Samsung S3C2440芯片、UDA1341解码芯片、AK8973数字罗盘芯片和STLC4420芯片，然后在控制装置SamsungS3C2440芯片中执行主程序循环。在主程序循环中，控制装置获得来自角度传感器和话筒的数据、通过数据传输装置来自数据处理装置(COM3)的数据并存储在存储装置中，并通过数据传输装置将来自角度传感器和话筒的数据发送给数据处理装置(COM3)，将需要输出的影音数据输出到显示装置和耳机。动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(C0M1)和动作捕获装置(COM2)的数据，得到虚拟场景信息，包括例如使用者在场景中的位置、肢体及头部动作、声音等信息，并转化为音视频信息发送给显示器(C0M1)。显示器(C0M1)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起存储装置内，并将需要输出的音频数据输出至耳机，将需要输出的视频数据输出至显示装置。显示器(C0M1)与数据处理装置(COM3)之间采用WiFi实现数据传输，动作捕获装置(COM2)与数据处理装置(COM3)按说明书进行有线连接。运行结果表明根据本发明的沉浸式虚拟现实系统(VRSl)能够正常地执行虚拟现实模拟程序，无明显延迟。实施例2一个根据本发明的沉浸式虚拟现实系统(VRS2，如附图10所示)，包括三个显示器(C0M1)，一个动作捕获装置(COM2)，一个数据处理装置(COM3)。显示器(C0M1)除了角度感应装置采用三轴陀螺仪(霍尼韦尔公司HMC5883L三轴磁阻传感器)，信号传输装置采用CAT6023芯片外，与实施例1中的显示器(COMl)相同。动作捕获装置(COM2)是一个体感摄影机(微软公司Kinet摄像头)，数据处理装置(COM3)是一台游戏机(外接SEAMON公司生产的SEM-ST1011型WHDI STICK的索尼PlayStation 2)。显示器(COMl)开机后，初始化Samsung S3C2440芯片、UDA1341解码芯片、HMC5883L三轴磁阻传感器和CAT6023芯片，然后在控制装置SamsungS3C2440芯片中执行主程序循环。在主程序循环中，每个控制装置获得来自各自角度传感器和话筒的数据、通过各自数据传输装置来自数据处理装置(COM3)的数据并存储在各自的存储装置中，并通过各自的数据传输装置将来自各自角度传感器和话筒的数据发送给数据处理装置(COM3)，将需要输出的影音数据输出到各自的显示装置和耳机。动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COMl)和动作捕获装置(COM2)的数据，处理所有使用者的的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，并转化为音视频信息发送给对应的显示器(COMl)。显示器(COMl)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。显示器(COMl)与数据处理装置(COM3)之间采用WHDI实现数据传输，动作捕获装置(COM2)与数据处理装置(COM3)按说明书进行有线连接。运行结果表明根据本发明的沉浸式虚拟现实系统(VRS2)能够正常地执行虚拟现实模拟程序，无明显延迟。实施例3一个根据本发明的沉浸式虚拟现实系统(如附图11所示)，由两个相同的沉浸式虚拟现实系统(VRS3和VRS3’ )组成，VRS3除了显示器(COMl)中的角度感应装置采用三轴陀螺仪(霍尼韦尔公司HMC5883L三轴磁阻传感器)，信号传输装置采用CAT6023芯片，数据处理装置(COM3)是外接SEAMON公司生产的SEM-ST1011型WHDI STICK的联想家悦E2565台式电脑外，与实施例1中的VRSl相同。两个VRS3之间经由数据处理装置(COM3和COM3’ )通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接进行数据传输。显示器(C0M1，C0M1’)开机后，初始化Samsung S3C2440芯片、UDA1341解码芯片、HMC5883L三轴磁阻传感器和CAT6023芯片，然后在控制装置Samsung S3C2440芯片中执行主程序循环。在主程序循环中，显示器(COMl)的控制装置获得来自其角度传感器和话筒的数据、其数据传输装置接收的来自数据处理装置(COM3)的数据并存储在其存储装置中，并通过其数据传输装置将来自其角度传感器和话筒的数据发送给数据处理装置(COM3)，将需要输出的影音数据输出到其显示装置和耳机。显示器(C0M1’)运行与显示器(COMl)相同。在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COMl)、动作捕获装置(COM2)和数据处理装置(COM3’ )的数据，处理所有使用者的的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应VRS3’使用者的虚拟场景信息发送给数据处理装置(COM3’)，将对应VRS3使用者的虚拟场景信息转化为音视频信息发送给显示器(COMl)。在VRS3’中，动作捕获装置(COM2’ )将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3’)。数据处理装置(COM3’ )根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(C0M1’)、动作捕获装置(COM2’ )的数据，发送给数据处理装置(COM3)，同时也接收来自数据处理装置(COM3)虚拟场景信息，并转化为音视频信息发送给显示器(C0M1’)。显示器(C0M1和C0M1’ )收到来自各自VRS的数据处理装置(COM3和COM3’ )生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实系统能够正常地执行虚拟现实模拟程序，无明显延迟。实施例4—个根据本发明的沉浸式虚拟现实系统(如附图12所示)，由两个沉浸式虚拟现实系统(VRS3和VRS4)组成。VRS3与实施例3相同；VRS4除具有三个显示器(C0M1’)外，与VRS3相同。两个VRS之间经由数据处理装置(COM3和COM3’)通过数据交换装置(COM4)相连接，数据处理装置(COM3和COM3’)与数据交换装置(COM4)通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接。数据交换装置(COM4)是联想公司生产的扬天A8800t台式电脑。如实施例3，显示器(C0M1和C0M1’)开机初始化并执行主程序循环。在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COMl)、动作捕获装置(COM2)的数据，并发送给数据交换装置(COM4)。数据交换装置(COM4)接收到来自各个VRS的数据处理装置(COM3和COM3’ )的数据后，处理所有使用者的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应VRS3使用者的虚拟场景信息发送给数据处理装置(COM3)，将对应VRS4使用者的虚拟场景信息发送给数据处理装置(COM3，)。数据处理装置(COM3)接收来自数据交换装置(COM4)的虚拟场景信息，并转化为音视频信息发送给显示器(COMl)。显示器(COMl)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。VRS4的显示器(C0M1’ )、动作捕获装置(COM2’ )、数据处理装置(COM3’ )执行与VRS3的显示器(COMl)、动作捕获装置(COM2)、数据处理装置(COM3)基本相同的动作。分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实系统能够正常地执行虚拟现实模拟程序，无明显延迟。实施例5
一个根据本发明的沉浸式虚拟现实系统(如附图13所示)，由五个与实施例3的VRS3相同的沉浸式虚拟现实系统(VRS1、VRS1’、VRSl ”、VRSl ”’和VRS1””)组成，五个VRS之间经由数据处理装置(COM3、COM3’、COM3”、COM3”’和COM3””)通过数据交换装置(COM4)相连接进行数据传输，数据处理装置(COM3、COM3’、COM3”、COM3”’和COM3”” )与数据交换装置(COM4)通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接。数据交换装置(COM4)是联想公司生产的扬天A8800t台式电脑。如实施例3，显示器(C0MUC0M1’等)开机初始化并执行主程序循环。在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COMl)、动作捕获装置(COM2)的数据，并发送给数据交换装置(COM4)。数据交换装置(COM4)接收到来自各个VRS的数据处理装置(COM3、COM3’等)的数据后，处理所有使用者的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应各个VRS使用者的虚拟场景信息发送给对应的数据处理装置，例如将对应VRS3使用者的虚拟场景信息发送给数据处理装置(COM3)，将对应VRS3’使用者的虚拟场景信息发送给数据处理装置(COM3’)。数据处理装置(COM3)接收来自数据交换装置(COM4)的虚拟场景信息，并转化为音视频信息发送给显示器(COMl)。显示器(COMl)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。本实施例其他VRS的显示器(C0M1’、C0M1”等)、动作捕获装置(COM2’、COM2 ”等)、数据处理装置(COM3’、COM3”等)执行与VRS3的显示器(COMl)、动作捕获装置(COM2)、数据处理装置(COM3)基本相同的动作。分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实系统能够正常地执行虚拟现实模拟程序，无明显延迟。实施例6一个根据本发明的沉浸式虚拟现实系统(如附图14所示)，由三个与实施例3的VRS3相同的沉浸式虚拟现实系统(VRS3、VRS3’和VRS3”)和两个与实施例4的VRS4相同的沉浸式虚拟现实系统(VRS4和VRS4’)组成，五个VRS之间经由数据处理装置(C0M3、C0M3’、COM3”、COM3”’和COM3””)通过数据交换装置(COM4)相连接进行数据传输，数据处理装置(COM3、COM3’、COM3”、COM3”’和COM3””)与数据交换装置(COM4)通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接。数据交换装置(COM4)是联想公司生产的扬天A8800t台式电脑。显示器(C0M1、COMr等)开机初始化并执行主程序循环。在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(C0M1)、动作捕获装置(COM2)的数据，并发送给数据交换装置(COM4)。数据交换装置(COM4)接收到来自各个VRS的数据处理装置(COM3、COM3’等)的数据后，处理所有使用者的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应各个VRS的各个使用者的虚拟场景信息发送给对应的数据处理装置，例如将对应VRS3使用者的虚拟场景信息发送给数据处理装置(COM3)，将对应VRS4使用者的虚拟场景信息发送给数据处理装置(COM3”’)。数据处理装置(COM3)接收来自数据交换装置(COM4)的虚拟场景信息，并转化为音视频信息发送给显示器(COMl)。显示器(COMl)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。本实施例其他VRS的显示器(C0M1’、C0M1”等)、动作捕获装置(COM2’、COM2 ”等)、数据处理装置(COM3’、COM3”等)执行与VRS3的显示器(COMl)、动作捕获装置(COM2)、数据处理装置(COM3)基本相同的动作。分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实系统能够正常地执行虚拟现实模拟程序，无明显延迟。
权利要求
1.一种沉浸式虚拟现实系统，所述系统至少包括: 至少一个可佩带在使用者身体上的显示器，至少一个动作捕捉装置，以及 至少一个数据处理装置； 其中， 所述显示器用于向使用者显示图像，并用于捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，以及接收至少一个所述数据处理装置发送的数据，并向使用者传递虚拟环境的视频和/或音频； 所述动作捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个所述数据处理装置； 所述数据处理装置用于处理从至少一个所述显示器和至少一个所述动作捕捉装置获取并传输至所述数据处理装置的数据，并将处理后的结果发送至至少一个显示器。
2.根据权利要求1所述的虚拟现实系统，其特征在于所述显示器包括至少一个角度感应装置，所述角度感应装置至少能感应围绕z轴的旋转动作。
3.根据权利要求2所述的虚拟现实系统，其特征在于所述角度感应装置是电子指南 针。
4.根据权利要求3所述的虚拟现实系统，其特征在于所述角度感应装置能感应围绕X、y和z三个轴的旋转动作。
5.根据权利要求4所述的虚拟现实系统，其特征在于所述角度感应装置是三轴陀螺仪。
6.根据权利要求1-5任一项所述的虚拟现实系统，其特征在于所述动作捕捉装置包括至少一个红外线发射器和至少一个红外线摄像头。
7.根据权利要求6所述的虚拟现实系统，其特征在于所述动作捕捉装置是体感摄影机。
8.根据权利要求1-7任一项所述的虚拟现实系统，所述数据处理装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
9.根据权利要求1-8任一项所述的虚拟现实系统，还包括至少一个数据交换装置，用于处理多个VRS之间的数据传输。
10.根据权利要求9所述的虚拟现实系统，所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
11.根据权利要求1-10任一项所述的虚拟现实系统，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度不小于18432000bps。
12.根据权利要求11所述的虚拟现实系统，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输采用WHDI传输方式。
13.一种实现沉浸式虚拟现实的方法，所述方法至少包括以下部分: 通过至少一个动作 捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个数据处理装置， 通过至少一个显示器捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置， 通过至少一个所述数据处理装置处理来自所述动作捕捉装置和所述显示器的数据，并将处理后的数据发送至至少一个所述显示器； 通过至少一个所述显示器将从至少一个所述数据处理装置接收到的处理后的数据转换为视频和/或音频，使使用者能感受到跟随自己动作变化的虚拟现实环境。
14.根据权利要求13所述的实现沉浸式虚拟现实的方法，其特征在于所述显示器包括至少一个角度感应装置，所述角度感应装置至少能感应围绕z轴的旋转动作。
15.根据权利要求14所述的实现沉浸式虚拟现实的方法，其特征在于所述角度感应装置是电子指南针。
16.根据权利要求14所述的实现沉浸式虚拟现实的方法，其特征在于所述角度感应装置能感应围绕X、y和z三个轴的旋转动作。
17.根据权利要求16所述的实现沉浸式虚拟现实的方法，其特征在于所述角度感应装置是三轴陀螺仪。
18.根据权利要求13-17任一项所述的实现沉浸式虚拟现实的方法，其特征在于所述动作捕捉装置包括至少一个红外线发射器和至少一个红外线摄像头。
19.根据权利要求18所述的实现沉浸式虚拟现实的方法，其特征在于所述动作捕捉装置是体感摄影机。
20.根据权利要求13-19任一 项所述的实现沉浸式虚拟现实的方法，所述数据处理装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
21.根据权利要求13-20任一项所述的虚拟现实系统，还包括通过至少一个数据交换装置处理多个VRS之间的数据传输。
22.根据权利要求21所述的虚拟现实系统，所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
23.根据权利要求13-22任一项所述的虚拟现实系统，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度不小于18432000bps。
24.根据权利要求23所述的虚拟现实系统，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输采用WHDI传输方式。
全文摘要
本发明提供了一种沉浸式虚拟现实系统，所述系统至少包括至少一个可佩带在使用者身体上的显示器，至少一个动作捕捉装置，以及至少一个数据处理装置；其中，所述显示器用于捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，以及接收至少一个所述数据处理装置发送的数据，并向使用者传递虚拟环境的视频和/或音频；所述动作捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个所述数据处理装置；所述数据处理装置用于处理从至少一个所述显示器和至少一个所述动作捕捉装置获取并传输至所述数据处理装置的数据，并将处理后的结果发送至至少一个显示器。本发明还提供了一种实现沉浸式虚拟现实的方法。
文档编号G06F3/0346GK103197757SQ201210006338
公开日2013年7月10日 申请日期2012年1月9日 优先权日2012年1月9日
发明者魏斌 申请人:癸水动力(北京)网络科技有限公司, 魏斌