远程三维场景互动教学系统及控制方法与流程

本发明涉及互联网教学领域，具体而言，涉及一种远程三维场景互动教学系统及一种远程三维场景互动教学系统的控制方法。

背景技术：

互联网教育需要提高学员的真实代入感，提高学员的真实体验；构建虚拟的教学环境能够提高学员的真实体验，提高学员的学习积极性。当前比较普遍的做法是使用文字，视频或者幻灯片等方式让用户进行英语的朗读和表达，另外也有利用虚拟现实技术进行场景中物体单词学习的系统。然而，上述的现有技术方案仍然有让用户不够方便以及体验不够好的地方，如果让用户看文字，视频，幻灯片等教材，让用户始终以一个观察者的身份在进行学习，给用户的感觉是教条、枯燥、人云亦云的感觉。现有的虚拟现实技术的外语学习系统让用户在场景中只能跟物体进行交互，学习物体的单词，同样也比较枯燥，缺乏乐趣。当前比较普遍的做法直接播放远程老师的视频对学员进行教学。但是互动性不好，学员只能看到老师，无法直观体验老师描绘的场景，物体和原理。学员感受到的信息都是二维的平面信息，沉浸式体验不足。同样老师感受到的学员的反馈也都是二维平面信息，沉浸式体验不足。

技术实现要素：

本发明为了解决现有技术中虚拟教学环境中环境枯燥、缺乏乐趣，学员代入感差，体验差的问题，提供了一种远程三维场景互动教学系统，包括远程服务器与所述服务器连接的互动端，所述互动端包括显示装置、三维模型采集装置和语音装置；所述远程服务器用于发送显示场景模型到所述显示装置；所述三维模型采集装置和用于采集用户动作信息和场景的深度信息，并发送所述用户动作信息到所述远程服务器；所述服务器还用于根据所述用户动作信息，控制所述显示装置中显示场景中虚拟角色的动作，显示装置根据场景中虚拟角色和三维场景实时渲染显示画面；所述语音装置用于接收语音生成语音信号，并发送所述语音信号到所述远程服务器，所述远程服务器还根据所述语音信号和所述虚拟角色之间的位置关系，利用hrtf技术生成语音播放信号，并将所述语音播放信号发送给所述语音装置，所述语音装置还用于根据所述语音播放信号播放语音。

进一步地，所述远程服务器还具体用于根据所述语音信号和所述虚拟角色之间的位置关系生成与左右耳对应的两路语音播放信号。

进一步地，所述远程服务器还具体用于获取当前听音的虚拟角色的位置、面朝方向和左右耳之间距离，获取发音的虚拟角色的位置，通过听音的虚拟角色的位置、面朝方向、左右耳之间距离和发音的虚拟角色的位置计算出左右耳对应的两路语音播放信号。

进一步地，所述三维模型采集装置包括深度相机和动作捕捉设备。

进一步地，所述显示装置为头戴式虚拟现实设备，投影屏幕，曲面屏幕，平面屏幕中的一种或多种。

本发明另一方面还提供了一种远程三维场景互动教学系统的控制方法，包括如下步骤：

s110，获取现实场景中的用户位置信息，肢体动作信息，脸部表情信息和语音信号；

s120，根据所述用户位置信息，肢体动作信息和脸部表情信息，控制三维显示场景中虚拟角色的动作和脸部表情，最后由显示装置根据三维场景和三维虚拟角色生成更新显示画面；

s130，根据所述显示场景中虚拟角色之间的位置关系和所述语音信号，利用hrtf技术生成语音播放信号；

s140，发送所述用户的肢体动作信息和表情信息，以及所述语音播放信号。

进一步地，所述步骤s130的步骤包括，根据所述语音信号和所述虚拟角色之间的位置关系生成与左右耳对应的两路语音播放信号，所述步骤s140中的所述语音播放信号包括所述两路语音播放信号。

本发明与现有技术相比，通过本发明实施例提供的方法，可以极大优化老师和学生的上课体验和学习效果，让学生直观体会到学习的东西和场景。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明一些实施例中的远程三维场景互动教学系统的结构示意图；

图2为本发明一些实施例中的整体显示场景的示意图；

图3为本发明一些实施例中的虚拟角色a显示场景的示意图；

图4为本发明一些实施例中的虚拟角色b显示场景的示意图；

图5为本发明一些实施例中的显示场景虚拟角色运动的示意图；

图6为本发明一些实施例中的生成语音播放信号的计算模型示意图；

图7为本发明一些实施例中的远程三维场景互动教学系统的控制方法的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明克服现有的虚拟教学环境，场景单一，互动性差的问题，提出了一种，互动性好，能够让学员真实体验好，沉浸感真实，能够通过声音信号感知位置，具有丰富乐趣的互动教学系统，包括远程服务器，与所述远程服务器连接的多个显示装置、多个三维模型采集装置和多个语音装置，所述远程服务器根据各虚拟角色视角将各虚拟显示场景发送到所述各个显示装置中，所述多个三维模型采集装置用于采集显示场景中用户的动作，并将采集到的信息发送个所述远程服务器，所述远程服务器接收到各个信息后，控制各个对应的虚拟角色动作，并产生相应的虚拟显示画面，回传更新的虚拟显示画面到所述多个各自对应的显示装置中，所述语音装置还用采集用户的语音信息，并发送给所述远程服务器，远程服务器根据各个对应的虚拟角色之间的位置关系对所述语音信息进行调整，生成语音播放信息，并回传给多个各自对应的语音装置中，语音装置进行播放，使得用户能够在模仿真实听音环境中听音，从而能够感知用户的位置，具有较好的沉浸感。

实施例一

如图1所示，本发明实施例提供了一种远程三维场景互动教学系统100，包括远程服务器100与所述服务器100连接的学生端200和教师端300，所述学生端200包括第一显示装置210、第一三维模型采集装置220和第一语音装置230；所述教师端300包括第二显示装置310、第二三维模型采集装置320和第二语音装置330；所述远程服务器100用于发送显示场景模型到所述第一显示装置210和所述第二显示装置310；所述第一显示装置210和所述第二显示装置310用于显示所述显示场景，所述第一三维模型采集装置220和所述第二三维模型采集装置320用于采集用户动作信息和场景的深度信息，并发送所述用户动作信息到所述远程服务器100；所述服务器100还用于根据所述用户动作信息，控制所述显示装置210、310中显示场景中虚拟角色的动作，显示装置210、310根据场景中虚拟角色和三维场景实时渲染显示画面；；所述第一语音装置230和第二语音装置330用于接收语音生成语音信号，并发送所述语音信号到所述远程服务器100，所述远程服务器100还根据所述语音信号和所述虚拟角色之间的位置关系，利用hrtf(头部相关传输函数)技术生成语音播放信号，并将所述语音播放信号发送给所述第一语音装置230和第二语音装置330，所述第一语音装置230和第二语音装置330还用于根据所述语音播放信号播放语音。具体地，如图2所示为整体显示画面，如图3所述为对虚拟角色a显示的画面，如图4所示为对虚拟角色b现实的画面。当采集到动作信息后，各个更新虚拟角色a和虚拟角色b的画面；当采集到语音信号时，所述远程服务器播报语音，在播报之前，对语音信心进行处理，根据虚拟角色之间的位置关系调整语音，如图5所示，虚拟角色b移动到虚拟角色a的左面时，调整语音信号，如增强右耳信号，减小左耳信号，具体可采用人头录音模型进行分配语音，使得控制虚拟角色a的用户能够感知虚拟角色b的位置，并与画面相结合匹配，使得沉浸感得到有效提升。本发明系统中的学生端200和教师端300可为多个。

hrtf(headrelatedtransferfunction)，为一种声音定位的处理技术，由于声音会从耳廓、或肩膀反射到人耳内部，于是当我们用两个音箱模拟声音定位时，可以利用hditd的运算方式，来计算不同方向或位置声音所产生的大小和音调等，进而制造出立体空间声音定位的效果。

具体地，所述远程服务器100还具体用于根据所述语音信号和所述虚拟角色之间的位置关系生成与左右耳对应的两路语音播放信号。通过左右耳辨音感知位置。具体地，所述远程服务器还具体用于获取当前听音的虚拟角色的位置、面朝方向和左右耳之间距离，获取发音的虚拟角色的位置，通过听音的虚拟角色的位置、面朝方向、左右耳之间距离和发音的虚拟角色的位置利用hrtf技术计算出左右耳对应的两路语音播放信号。如图6所示，听者与发音者距离为s，听者左耳位置对应左听筒，听者右耳对应右听筒，听者面朝方向为图中箭头所指方向，发音者与左听筒之间的距离为s2，发音者与右听筒之间的距离为s1，具体的获取s、s1、s2，可通过虚拟场景中虚拟角色的内部参数，进行计算，如可通过，获取各点的坐标进行计算距离。

可通过控制两路语音信号的强度，来体现距离感，具体地，参考图6，所述左右耳对应的两路语音播放信号的强度值分别为：其中，所述tr表示对应右耳的语音播放信号的强度值，tl表示对应左耳的语音播放信号的强度值，t表示原本发音者的语音强度值，s表示听音虚拟角色和发音虚拟角色之间的距离，s1表示听音虚拟角色的右耳到发音虚拟角色之间的距离，s2表示听音虚拟角色的左耳到发音虚拟角色之间的距离。强度值可为分贝值，具体通过语音音量控制电路，控制语音装置的左右耳所听音量。所述本发音者的语音强度值可通过语音装置中拾音麦克测得，或者检测电压强度或者电流强度，与标准值进行参考获取强度值，所述标准值为初始使用时标定的电压值或者电流值。本发明实施例也可通过控制左右耳所佩戴的听筒的电流值来产生距离感，例如，所述左右耳对应的两路语音播放信号的电流强度值分别为：其中，所述ir表示对应右耳的语音播放信号的电流强度值，il表示对应左耳的语音播放信号的电流强度值，i表示原本发音者的语音对应的电流强度值，s表示听音虚拟角色和发音虚拟角色之间的距离，s1表示听音虚拟角色的右耳到发音虚拟角色之间的距离，s2表示听音虚拟角色的左耳到发音虚拟角色之间的距离。所述原本发音者的语音对应的电流强度值通过检测拾音麦克上的输出电流值，然后通过转换获取，转换系数，可通过人为设定，具体可通过在标准环境下(距离一米)，检测发音的电流值，改变听音的音量，达到听者听音舒适为标准，获取听音者听筒的电流，将两个电流值做比较，获取转换系数。

本发明实施例中的所述第一三维模型采集装置220和所述第二三维模型采集装置320包括深度相机和动作捕捉设备，采用图像处理技术获取动作信息，如采用kinect相机获取动作信息。

为了保证沉浸感，减少环境干扰所述学生端200和所述教师端300中的显示装置210、310为头戴式虚拟现实设备，投影屏幕，曲面屏幕，平面屏幕中的一种或多种。所述头戴式虚拟现实设备中设置有拾音麦克、左右耳听筒(耳机)、摄像头装置、多维加速度传感器等装置。

本发明实施例中的远程三维场景互动教学系统100能够远程互动教学，用户沉浸感强，能够辩听场景中虚拟角色的位置。

实施例二

用户在使用本发明中的互动教学系统时，能够真实感受到场景中虚拟角色或者物体的信息，具体地，进入三维场景后，位于互动端的学员和老师可以通过电脑、平板、手机、虚拟现实设备等显示设备，看到所有人的虚拟形象；老师和学员各自都有一个检测设备(如深度相机，但不局限于深度相机)来采集学员及老师的脸部3d信息、手势信息和肢体信息；上述采集的信息会绑定到三维虚拟场景中各自的虚拟形象上，老师和学员的举手投足，和各种表情都会绑定到三维虚拟场景的虚拟形象身上，虚拟形象也会复制老师和学员的动作进行举手投足和各种表情。老师和学员可以通过特定的肢体动作实现在虚拟场景中走动，跳动等行为(如：通过原地踏步的方式让虚拟场景中的虚拟形象前进)；老师和学员可以通过特定的手势和肢体动作来和3维虚拟场景中的物体进行交互，例如捡拾的动作会让对应的虚拟角色在虚拟场景中捡拾物品；老师和学员之间可以通过拥抱，握手，跳舞的姿势来控制三维虚拟角色的拥抱，握手，跳舞等动作。与此同时学员和老师可以进行语音的沟通交流。

具体的，本发明可以采用多种方式实现，三维模型显示设备可以用pc，平板，手机，虚拟现实显示设备等方式实现。三维模型采集可以使用深度相机，动作捕捉设备等方式实现。

使学生和老师可以摆脱传统的简单的视频互动方式，实现更加直观，形象，沉浸式的沟通。

本发明提供的技术方案，通过采用本发明中的方法，通过本发明实施例提供的方法，可以极大优化老师和学生的上课体验和学习效果，让学生直观体会到学习的东西和场景。先搭建搭建和教学内容相匹配的三维场景和虚拟物体。老师和学生都可以通过自己的手势和肢体动作控制三维场景中的虚拟形象，消除学生和老师之间的距离感。将老师和学生的脸部三维信息和图像信息通过网络传输到对方的虚拟角色上，使老师和学生在3d场景中也能看到对方的脸部表情。老师和学生都可以通过肢体语言在场景中移动物体，触发物体，感受真实的环境场景。老师和学生在三维场景中的语音都是通过了人头录音模型的立体声处理，使老师和学生可以真实感觉到与模型位置相匹配的声源位置。可以通过手势等方式控制其它的道具：如相互之间吹泡泡，扔雪球，点赞等。

通过本发明的技术能够使学生和老师可以摆脱传统的简单的视频互动方式，实现更加直观，形象，沉浸式的沟通。消除老师和学生之间的距离感。

实施例三

如图7所示，本发明实施例还提供了一种远程三维场景互动教学系统的控制方法，包括如下步骤：

s110，获取现实场景中的用户位置信息，肢体动作信息，脸部表情信息和语音信号；

s120，根据所述用户位置信息，肢体动作信息和脸部表情信息，控制三维显示场景中虚拟角色的动作和脸部表情，最后由显示装置根据三维场景和三维虚拟角色生成更新显示画面；

s130，根据所述显示场景中虚拟角色之间的位置关系和所述语音信号，利用hrtf技术生成语音播放信号；

s140，发送所述更新显示画面和所述语音播放信号，或者发送用户的肢体动作信息表情信息和语音播放信号。所述用户肢体动作信息可通过动作捕捉设备采集。

所述步骤s130的步骤包括，根据所述语音信号和所述虚拟角色之间的位置关系生成与左右耳对应的两路语音播放信号，所述步骤s140中的所述语音播放信号包括所述两路语音播放信号。

所述步骤s130生成与左右耳对应的两路语音播放信号的步骤包括，获取当前听音的虚拟角色的位置、面朝方向和左右耳之间距离，获取发音的虚拟角色的位置，通过听音的虚拟角色的位置、面朝方向、左右耳之间距离和发音的虚拟角色的位置计算出左右耳对应的两路语音播放信号；所述左右耳对应的两路语音播放信号的强度值分别为：其中，所述tr表示对应右耳的语音播放信号的强度值，tl表示对应左耳的语音播放信号的强度值，t表示原本发音者的语音强度值，s表示听音虚拟角色和发音虚拟角色之间的距离，s1表示听音虚拟角色的右耳到发音虚拟角色之间的距离，s2表示听音虚拟角色的左耳到发音虚拟角色之间的距离，所述强度值包括分贝值或者电流强度值。

本发明实施例中的控制方法，能够同步将左右耳语音信号和更新的显示信号发送给用户佩戴的虚拟现实设备上，能够让用户从视觉上和听觉上同时感知用户的动作信息，有效提升了用户的沉浸感，提升了互动学习的效率。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。