一种基于第三视角技术的VR/MR教室及其构建方法与流程
本发明属于虚拟现实技术领域，尤其是一种基于第三视角技术的vr/mr教室及其构建方法。
背景技术：
运用vr和mr技术可构建用于教学的vr/mr教室，课程知识用vr/mr的形式呈现出来，可以有效提升教学效果。其中采用“vr/mr”这种提法是指教室将兼容vr与mr两种模式。其中，vr可以构建完全虚拟的教学环境，有利于学生高度沉浸的体验课程内容，而mr构建的教学环境虚实结合，可能会降低教学内容体验的沉浸感，但能较好的避免学生在教室内的碰撞。
见习是教学中一种重要的教学方式，学生通过实地观摩他人实践情况，达到准确、牢固掌握知识的目的。第三视角技术选择一个不同于体验者的视角，对体验者所进入的空间(比如说vr空间、mr空间)成像，这个视角的图像不会因为体验者的运动而晃动，旁边的人可以便利的观摩体验者与虚拟物体的互动过程，其中vr空间的第三视角技术往往会进一步把体验者的实时人像合成到虚拟图像内。
技术实现要素：
本发明提供一种基于第三视角技术的vr/mr教室及其构建方法，学生通过实地观摩他人实践情况，达到准确、牢固掌握知识的目的，有助于提升教学效果。
本发明的工作原理是：
本发明以真实教室空间为基础建立一个统一坐标系，在此坐标系下同时构建一个vr空间与一个mr空间，这两个空间与真实世界空间平行且在教室内重叠。其中vr空间用于学生进行课程内容的vr体验，mr空间主要用于教师或其它学生与体验者的实时互动；且可以撕开vr空间，使mr空间与部分vr空间结合形成更便利教学的混合空间，也就是在教室统一坐标系下，根据需要把vr空间的部分区域替换为相同位置的mr空间区域，把vr体验与mr体验集合到同一个空间内。教学内容将同时反映在三个空间中，体现课程内容的任意虚拟物体的位姿参数在真实教室内以及构建的三个空间内是完全一致的。由于统一坐标系以真实教室空间为基础构建，所以可做到在统一坐标系下布置虚拟物体体现为直观且便利地在真实教室内布置虚拟物体。
本发明提供体验人员与见习员两种学生角色，其中只有少量学生作为体验人员在教室体验区进行课程内容的vr/mr体验，绝大多数学生在座位上通过第三视角见习课程体验。
本发明对vr空间、mr空间、vr/mr混合空间这三个空间都提供第三视角成像功能，为了生成第三视角图像，给每一个真实摄像机/摄像头匹配一个虚拟摄像机，真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或虚拟物体的图像(虚拟摄像机的位姿和视场角与真实摄像机/摄像头完全一致)，真实图像与虚拟图像通过一定方式合成第三视角图像。
本发明提供多样化的互动输入与显示通道，最大程度的便利于教学。
本发明提供了多种互动输入通道，主要有如下四种：vr设备互动、mr眼镜互动、包括手机与平板电脑在内的手持移动设备的触屏输入和控制台操控。其中vr设备互动和mr眼镜互动主要用于课程的vr/mr体验，教师操控控制台可以把虚拟物体放置在教室内任意指定的位置，进一步可以控制课程的vr/mr教学过程，见习的学生通过手持移动设备与vr/mr体验人眼进行简单的互动。在vr空间、mr空间以及vr/mr混合空间这三个空间的任意空间内，对任意体现教学内容的虚拟物体的互动操作都会同步反映到另外两个空间中。
本发明提供了多种显示通道，主要有如下五种，包括：vr头显、mr眼镜、大显示屏/投影仪、手持移动设备，控制台显示屏。这些显示通道都可以自由选择显示vr空间、mr空间或vr/mr混合空间。其中大显示屏/投影仪、手持移动设备和控制台显示屏被用来显示第三视角画面。而且，教室内多台摄像机提供多个机位的第三视角图像，教师可以根据课程内容vr/mr体验情况，通过切换机位的方式调整大显示屏/投影仪显示的第三视角图像；教师或学生可以通过调整所使用的手持移动设备的位姿等方式来改变其手持设备第三视角图像的视角，且可以进一步根据需要无线投屏到大显示屏或投影仪上。
本发明的技术方案如下：
一种基于第三视角技术的vr/mr教室，包括系统和教室；所述系统包括vr/mr体验设备、第三视角拍摄设备、第三视角显示设备、控制台和服务器，vr/mr体验设备、第三视角拍摄设备、第三视角显示设备、控制台均设在教室内，其中，
vr/mr体验设备，用于获取其自身的定位、互动输入信息并发送给服务器，同时根据服务器传送过来的各虚拟物体的状态参数渲染出vr或mr画面并显示出来；
第三视角拍摄设备，包括多台摄像机，以及手持移动设备，多台摄像机采集不同视角的图像传送给服务器用来生成多个视角的第三视角图像；手持移动设备的摄像头采集图像，然后根据服务器传送过来的虚拟物体信息在手持移动设备自身就生成第三视角图像，并在手持移动设备附带的屏幕上直接显示出来；
第三视角显示设备，包括至少一块设在教室内的大显示屏/投影仪，控制台附带的屏幕，手持移动设备附带的屏幕，其中大显示屏/投影仪、控制台附带的屏幕接收服务器传送过来的第三视角图像；
控制台，教师用来直观地设定虚拟物体在教室内的位姿，控制场景切换、虚拟物体的出现、事件脚本触发，在此基础上控制vr/mr教学过程；
服务器，接收互动输入与定位信息，根据程序脚本计算虚拟物体的状态信息，并把计算出来的虚拟物体状态信息发送给手持移动设备、vr/mr体验设备；另外，采集摄像机传送过来的图像，进一步生成第三视角图像，并传送给大显示屏/投影仪和控制台。
作为本发明的进一步改进，所述教室包括大屏显示/投影区、教师讲台、vr/mr体验区与学生座位区，其中，
大屏显示/投影区，用于安置大显示屏/投影仪；
教师讲台，用于安置控制台；
vr/mr体验区，用于安置vr/mr体验设备，供教师和/或学生进行vr/mr体验；
学生座位区，供学生进行第三视角见习；
由教师或处于vr/mr体验区的学生进行vr/mr体验，处于学生座位区的学生通过第三视角显示设备的图像观摩体验者的课程体验过程进行见习并可以在座位上采用vr/mr体验设备或手持移动设备参与简单的互动；教师可以使用控制台控制vr/mr教学过程。
作为本发明的进一步改进，所述教室内多台摄像机提供多个机位的第三视角图像，教师可以根据课程内容vr/mr体验情况，通过切换机位的方式调整大显示屏/投影仪显示的第三视角图像；教师或学生可以通过调整所使用的手持移动设备的位姿的方式来改变其手持移动设备第三视角图像的视角，且可以进一步根据需要无线投屏到大显示屏或投影仪上。
一种基于第三视角技术的vr/mr教室的构建方法，包括以下步骤：
s1，建立教室统一坐标系，所述统一坐标系在真实教室基础上构建，同时覆盖vr空间、mr空间以及vr/mr混合空间；
s2，读入课程的vr/mr资源，在教室统一坐标系下进行资源布置，由于统一坐标系是在真实教室基础上构建，此步骤就是在真实教室内布置虚拟物体；
s3，定位教室内的设备，主要是对vr/mr体验设备、手持移动设备进行定位，它们的定位是由这些设备自带的定位设备或应用程序实现，除此之外教室内一些固定的设备的定位信息可以预先测绘得到；
s4,给每个摄像机/摄像头匹配一个虚拟摄像机,虚拟摄像机的位姿参数以及视场角设置为被匹配摄像机/摄像头的对应值；
s5，服务器根据包括互动输入、定位信息在内的实时计算各虚拟物体的包括位姿参数在内的状态信息，并发送数据给vr/mr体验设备、手持移动设备；
s6，真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或虚拟物体的图像，并对真实摄像机或摄像头采集的图像进行畸变校正；
s7，对于任意第三视角拍摄设备，教室系统根据选择进入的vr第三视角、mr第三视角还是vr/mr混合第三视角，以及摄像机成像内容生成第三视角掩模图像，掩模图像决定了真实图像与虚拟图像合成第三视角图像的具体合成方式；
s8，对于任意第三视角拍摄设备，系统根据真实图像、虚拟图像、掩模图像合成第三视角图像，并由相应的第三视角显示设备显示出来
作为本发明的进一步改进，s1中，教室同时构建vr空间、mr空间，以及vr/mr混合空间，教学内容对应的虚拟物体同时出现在vr空间、mr空间，以及vr/mr混合空间内，且在vr空间、mr空间，以及vr/mr混合空间内虚拟物体相对于真实教室的位置相同，对vr空间、mr空间和vr/mr混合空间都可以第三视角成像。
作为本发明的进一步改进，在vr/mr教室内，包括但不限于以下互动输入方式：vr设备互动、mr眼镜互动、包括手机与平板电脑在内的手持移动设备的触屏输入和控制台操控；包括但不限于以下显示输出通道：vr头显、mr眼镜、包括手机与平板电脑在内的手持移动设备、大显示屏/投影仪和控制台屏幕。
作为本发明的进一步改进，mr、vr体验设备，手持移动设备，大显示屏/投影仪都可以自由选择显示vr空间、mr空间或vr/mr混合空间。
作为本发明的进一步改进，vr/mr混合空间以教室内构建的vr空间与mr空间为基础，在教室统一坐标系下，根据需要把vr空间的部分区域替换为相同位置的mr空间区域，把vr体验与mr体验集合到同一个空间内。
作为本发明的进一步改进，建立统一的涵盖真实教室、vr空间、mr空间、vr/mr混合空间的统一坐标系，体现课程内容的任意虚拟物体的位姿参数在真实教室内以及构建的三个空间内是完全一致的。
作为本发明的进一步改进，在vr空间、mr空间以及vr/mr混合空间这三个空间的任意空间内，对任意体现教学内容的虚拟物体的操作都会同步反映到另外两个空间中。
与现有技术相比，本发明的有益效果是：
(1)采用本发明所构建的vr/mr教室，教师可用控制台控制教学的进展，其他学生通过观摩体验者的互动过程，很好的达到见习的效果。
(2)学生可以自由选择进入vr第三视角、mr第三视角还是vr/mr混合第三视角，并且参与互动。带场景的内容需要vr的方式体验会更好，而不需要带场景的体验方式mr会更好，除此之外，可以同时vr与mr体验，并且两者可以互动。从而达到准确、牢固掌握知识的目的，有助于提升教学效果。
附图说明
图1是一种基于第三视角技术的vr/mr教室的系统组成示意图。
图2是一种基于第三视角技术的vr/mr教室的教室功能区组成示意图。
图3是本发明的一种vr/mr混合第三视角示意图。
图4是一种基于第三视角技术的vr/mr教室的构建方法流程图。
图5是本发明的基于第三视角技术的vr/mr教室的真实图片。
标记说明：1-服务器，2-大显示屏或投影仪，3-控制台，4-vr/mr体验设备，41-第一渲染与处理单元，42-vr/mr显示单元，43-互动输入单元，44-定位单元，5-摄像机，6-手持移动设备，61-第二渲染与处理单元61，62-平面显示单元，63-移动摄像头，10-大屏显示/投影座位区，20-教师讲台，30-vr/mr体验区，40-学生座位区。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面结合附图及具体实施例对本发明进一步说明。
实施例1系统组成
如图1所示，本发明的系统主要由vr/mr体验设备4、第三视角拍摄设备(包括手机或平板，同时可无线投屏到大显示屏/投影仪上去)、第三视角显示设备、控制台3、服务器1等组成。
(1)vr/mr体验设备4具备定位、立体显示、互动(比如手势识别、手柄等)等功能，这类设备可以是一体机，也可以是包含多个组件的套件。例如：微软的mr眼镜hololens是一体机，htc的vive是包含头盔、定位器、手柄等的套件，除此之外vive还需要再配备一个主机才能使用。
具体的，如图1所示，所述vr/mr体验设备包括定位单元44、互动输入单元43、第一渲染与处理单元41与vr/mr显示单元42，所述互动输入单元43包括通过手势识别、键盘、鼠标或手柄中的至少一种方式输入，服务器1传送过来的各虚拟物体的状态参数先经过第一渲染与处理单元41进行渲染、处理后，再传送至vr/mr显示单元42进行vr/mr显示。
(2)第三视角拍摄设备包括多台摄像机5，以及至少1台带摄像功能的手持移动设备6(比如手机、平板电脑)。多台摄像机5采集不同视角的图像传送给服务器1，由服务器1生成第三视角图像，摄像机5一般固定在教室内。手机、平板电脑等的手持移动设备6采集图像后，获取定位信息后，可直接在手持移动设备6内生成第三视角图像，也可进一步无线传屏到教室内的大显示屏或投影仪2上。
具体的，如图1所示，手持移动设备6包括移动摄像头63、第二渲染与处理单元61与平面显示单元62，移动摄像头63采集图像，由采集到的图像，第二渲染与处理单元61运用计算机视觉对手持移动设备6定位，第二渲染与处理单元61根据定位信息确定匹配的虚拟摄像头的位姿参数，并根据服务器1传送过来的虚拟物体状态信息渲染出此虚拟摄像头的成像，然后把移动摄像头63成的像与此虚拟摄像头成的像通过一定方式合成第三视角图像，再传送至平面显示单元62进行显示。
(3)第三视角显示设备，包括一块或多块大显示幕或投影仪2，控制台附带的屏幕32，学生手持移动设备附带的屏幕62。
(4)控制台3，包括控制器31，以及控制台附带的屏幕32，控制器31用来控制控制场景切换、虚拟物体的出现、虚拟物体位姿等状态参数改变、事件脚本触发，给教师用来控制vr/mr教学过程。
(5)服务器1，采集各路摄像机5传送过来的图像，接收控制台3的控制信号，手持移动设备6以及vr/mr体验设备4的互动输入，并进一步根据vr/mr脚本计算出各虚拟物体状态，把状态信息传送给vr/mr体验设备4、手持移动设备6，并生成第三视角图像传送给大显示屏或投影仪2或控制台3。
实施例2教室各功能区组成
如图2所示，教室功能区可以简单划分为：大屏显示/投影区10、教师讲台20、vr/mr体验区30与学生坐位区40，其中，
大屏显示/投影区10，用于安置大显示屏或投影仪2；
教师讲台20，用于安置控制台3；
vr/mr体验区30，用于安置vr/mr体验设备4，供教师和/或学生进行vr/mr体验；
学生座位区40，供学生进行第三视角见习；
其中vr/mr体验区30与学生座位区40可以重叠，服务器1可以安装在教室内某个方便的角落，摄像机5可以固定在教室的墙或天花板上。
在该教室内，由教师或少量学生处于vr/mr体验区30的学生进行vr/mr体验，处于学生座位区40的学生通过第三视角显示设备的图像观摩体验者的互动过程进行见习并可以使用手持移动设备或vr/mr设备参与简单的互动；教师可以使用控制台3控制vr/mr教学过程。
实施例3构建方法的流程与算法
如图3所示，该流程包括：
s1，建立教室统一坐标系，所述统一坐标系在真实教室基础上构建，同时覆盖vr空间、mr空间以及vr/mr混合空间；
s2，读入课程的vr/mr资源，在教室统一坐标系下进行资源布置，由于统一坐标系是在真实教室基础上构建，此步骤就是在真实教室内布置虚拟物体；
s3，定位教室内的设备，主要是对vr/mr体验设备、手持移动设备进行定位，它们的定位是由这些设备自带的定位设备或应用程序实现，除此之外教室内一些固定的设备的定位信息可以预先测绘得到；
s4,给每个摄像机/摄像头匹配一个虚拟摄像机,虚拟摄像机的位姿(位置与姿态)参数以及视场角设置为被匹配摄像机/摄像头的对应值；
s5，服务器根据互动输入、定位信息等实时计算各虚拟物体的位姿参数等状态信息，并发送数据给vr/mr体验设备、手持移动设备等；
s6，真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或虚拟物体的图像，并对真实摄像机或摄像头采集的图像进行畸变校正；
s7，对于任意第三视角拍摄设备，教室系统根据选择进入的vr第三视角、mr第三视角还是vr/mr混合第三视角，以及摄像机成像内容等因素生成第三视角掩模图像，掩模图像决定了真实图像与虚拟图像合成第三视角图像的具体合成方式；
s8，对于任意第三视角拍摄设备，系统根据真实图像、虚拟图像、掩模图像合成第三视角图像，并由相应的设备显示出来。
更具体的，该构建方法的算法如下：
(1)建立教室统一坐标系ψ，比如在教室前面最左边的墙角建立教室坐标系，两面墙与地面的交点为坐标系原点，两面墙与地面的两条交线为x轴与y轴，两面墙的交线为z轴。同时构建了vr空间sv、mr空间sm、混合空间sh。在空间sv内的对象集合表示为γv＝{v0,v1,v2,v3,…}，sm内的对象集合表示为γm＝{m0,m1,m2,m3,…}，sh内的对象集合表示为γh＝{h0,h1,h2,h3,…}，其中sv内包含的所有对象都是虚拟的，而sm和sh内的部分对象是教室内的真实物体。本vr/mr教室系统涉及到的虚拟物体位姿参数与真实教室内所有设备的位姿参数都是在此统一坐标系ψ下定义的。
(2)读入课程的vr/mr资源，其中包含的虚拟物体集合为
(3)vr/mr体验设备都自带定位功能，而带摄像头的手持移动设备也能用计算机视觉获得定位功能，都能实时获取自身的位姿参数，但这些位姿参数不是在教室统一坐标下而是在设备自带坐标系下生成的，需要转换到教室统一坐标系下，这就要求解设备坐标到教室统一坐标的旋转平移关系。为了获得位姿的平移旋转关系，可以在教室内确定若干标识点，由尺子或激光跟踪器等方法预先测绘标识点在教室统一坐标系内的位置，然后在vr/mr体验设备内获取这些标识点的位置，根据这些标识点在设备自带坐标系内的位置到教室统一坐标系内的位置可求得设备自带坐标到教室统一坐标的旋转平移关系。教室内固定摄像机的定位需根据摄像机标定方法标定教室内所有摄像机内参。在此基础上，在摄像机视野内放置若干个标识点(或把教室内具有明显特征的点作为标识点)，标识点在教室坐标系ψ内的坐标可通过尺子或激光跟踪器等方法直接测量出来，由标识点在摄像机成像位置可计算出摄像机在坐标系ψ内的平移与旋转量。除此之外，教室内的控制台、座椅等设备都可以通过尺子或激光跟踪器等方法直接测量出来。
(4)给每个摄像机定义一个虚拟摄像机，虚拟摄像机的视场角以及在教室内的位姿与其对应的真实摄像机完全一致，虚拟摄像机将对虚拟物体成像。例如，教室内任意摄像机/摄像头ci，其位姿用旋转平移矩阵表示为
(5)服务器根据互动输入、定位信息等实时计算各虚拟物体的位姿参数等状态信息，并发送数据给vr/mr体验设备、手持移动设备等；
(6)真实摄像机/摄像头采集真实世界的图像，虚拟摄像机采集虚拟世界或虚拟物体的图像，并对真实摄像机或摄像头采集的图像进行畸变校正。例如真实摄像机ci获取的图像经过畸变校正后为gi，虚拟摄像机c′i获取的图像为g′i。
(7)根据所进入的空间，第三视角图像可以分为：vr第三视角、mr第三视角以及vr/mr混合第三视角。其中vr第三视角是虚拟场景背景完全保留，mr第三视角是虚拟场景背景完全不保留，而混合第三视角是保留部分虚拟场景背景，如图4所示，a是真实教室，b是虚拟场景，c是虚拟场景放置在教室，d是虚拟场景只保留了部分甚至部分大型虚拟物体也只保留了部分，这样便于座位上的学生可以撕开vr场景以mr的方式参与到教学体验中。第三视角图像生成需要真实世界图像与虚拟物体/虚拟场景图像叠加，其中叠加方式可以采用掩模图像。如果不考虑遮挡，vr第三视角的掩模就是对体验者的扣像，mr第三视角掩模就是去除虚拟场景背景后的虚拟物体图像，vr/mr混合第三视角的掩模图像在有虚拟场景背景的地方是扣像，在没有的地方是虚拟物体成像图像。如果进一步考虑遮挡，需要根据预先测量的物体三维信息或由深度相机实时采集的数据生成遮挡掩模；对于任意摄像机/摄像头ci在t时刻生成的掩模图像为θi，其像素值须在0～1之间取值。
(8)根据掩模，合成虚拟图像与真实画面，生成第三视角图像pi，其中
pi(x，y)＝θ(x，y)·gi(x，y)+(1-θ(x，y))·g′(x，y)。
实施例4vr/mr教室的使用流程
图5示出了本发明的基于第三视角技术的vr/mr教室的真实图片，vr/mr教室的使用流程的要点主要有：
a.当教学内容需要依赖虚拟场景则使用vr,否则用mr，当然教学内容中如果有部分内容依赖场景，而部分不需要，可以用vr结合mr来呈现教学内容。除了体验者在外，当其它学生也要参与时，可以复制一份给他，或者直接走入体验区，直接参与体验。第三视角可以进入虚拟仿真模式单独显示虚拟内容，不受摄像机或摄像头视角约束。
b.教师可用控制台控制教学的进展，其他学生通过观摩体验者的互动过程，很好的达到见习的效果。带虚拟场景的内容需要vr的方式体验会更好，而不需要带虚拟场景的体验方式mr会更好，除此之外，可以同时vr与mr体验，并且两者可以互动。
具体的教学流程如下：
(1)启动vr/mr教室，根据预先设置把代表课程内容的vr/mr资源布置在教室内，或者教师可以当场布置虚拟物体在教室内的位置。
(2)vr/mr教室系统实时进行第三视角拍摄与显示。
(3)教师运用第三视角画面对课程知识点讲解，并用控制台对虚拟物体进行一定的控制更好地呈现知识点。学生可以观看大屏/投影，也可以用手持移动设备从第三视角方式观看虚拟物体。
(4)当课程进展到关键知识点或难点等情况下时，由对知识点掌握较好的学生运用vr/mr体验设备进行实操(也可以是教师)，在实操的过程中，还可以有其它学生加入互动，比如正在vr/mr体验的学生实操不正确，或者其他学生有更好的方法，可以加入进来，其中当体验者是在vr体验时，新加入的学生可以到体验区戴上vr/mr体验设备进行体验，也可以留在自己座位上，用手持移动设备等多种方式参与互动。
(5)在体验过程中，教师通过控制台控制体验过程，并根据情况选择大显示屏或投影仪第三视角画面对应的摄像机机位，甚至选择由学生手持移动设备第三视角画面无线投屏过来。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！