一种基于虚拟现实的教育直播系统及方法

本发明涉及教育直播，具体涉及一种基于虚拟现实的教育直播系统及方法。

背景技术：

1、随着教育直播的发展，越来越多的观众选择通过网络学习，传统的线上教学工具通常只提供视频课程和简单的作业提交功能，无法实现对观众学习情况的实时监控和反馈，难以满足观众的个性化需求和互动性，教育直播者无法针对性地了解观众的学习进度。

2、随着科技的发展，尤其是虚拟现实技术的日益成熟，研究者们开始尝试将虚拟现实技术应用于教育，以构建精准辅助系统，助力提升教学质量和观众的学习体验。通过对观众的学习需求、学习习惯、学习成果等数据进行深入分析，系统可以为观众提供个性化的学习方案，有针对性地解决观众在学习中遇到的问题。此外，虚拟现实技术还可以应用于教育直播者培训，提高教育直播者的教学能力。通过模拟教学场景，让教育直播者在虚拟环境中进行教学实践，提高教学技巧，为现实课堂中的教学提供有力支持虚拟直播技术在教育领域的应用已经取得了显著的成果，为观众和教育直播者提供了一种全新的学习与教学方式。

3、然而，尽管虚拟直播技术在很多方面具有优势，但目前仍存在一定的局限性。其中就是教育直播者与观众之间的教学互动受到限制，现有的虚拟直播技术尚无法实现真正的双向互动教学，其次，虚拟直播教学中的问答环节也受到一定限制，观众的主动性难以发挥。基于此，本申请提出了一种基于虚拟现实的教育直播系统及方法。

技术实现思路

1、本发明的目的在于提供一种基于虚拟现实的教育直播系统及方法，解决以下技术问题：

2、尽管虚拟直播技术在很多方面具有优势，但目前仍存在一定的局限性。其中就是教育直播者与观众之间的教学互动受到限制，现有的虚拟直播技术尚无法实现真正的双向互动教学，其次，虚拟直播教学中的问答环节也受到一定限制，观众的主动性难以发挥。

3、本发明的目的可以通过以下技术方案实现：

4、一种基于虚拟现实的教育直播系统，包括：

5、场景采集端，用于通过图像传感器实时采集直播观众的身体图像和位置；

6、场景生成模块，用于根据所述身体图像和位置在虚拟场景中生成所有观众的虚拟形象；

7、视线识别模块，用于从所述身体图像中识别任一观众的面部图像，根据所述面部图像判断该观众的视线方向，并在虚拟场景中同步该观众对应虚拟形象的头部方向；

8、动作识别模块，用于基于动作传感器采集任一观众的手臂姿势，当该观众的手臂姿势处于预设姿势且超过预设时间时，在虚拟场景中同步该观众虚拟形象的手臂姿势，则自动开启该观众的麦克风权限，并对直播者进行提示；

9、直播传输模块，用于将直播者的直播影像传输至观众端；

10、场景传输模块，用于实时接收所述虚拟场景并传输至直播者端，并当观众的视线方向或手臂姿势处于预设状态超过预设时间时，对直播者进行提醒。

11、作为本发明进一步的方案：所述图像传感器分布式设置于直播观众的所在场地，基于三维重建采集所有观众的虚拟形象。

12、作为本发明进一步的方案：所述场景生成模块包括场景生成单元，所述场景生成单元基于vr采集设备对直播观众所在场地进行采集，生成所述虚拟场景，并在所述虚拟场景中标注任一观众的位置。

13、作为本发明进一步的方案：所述场景生成模块还包括场景提示单元，所述场景提示单元用于实时显示观众的视线方向和手臂姿势。

14、作为本发明进一步的方案：所述视线识别模块判断观众视线的过程为：

15、基于haar特征分类器检测任一观众面部图像中的五官位置，根据五官位置确定该观众的视线方向，当该观众的视线方向偏离正前方角度超过45度且超过3s时，则对直播者进行提示。

16、作为本发明进一步的方案：所述动作识别模块识别手臂姿势的过程为：

17、所述动作传感器穿戴于观众手臂外围，实时检测动作传感器相对于垂直方向的角度，以及相对于地面的高度，当所述角度与所述高度分别位于预设范围内且超过3s，则为预设姿势。

18、作为本发明进一步的方案：所述动作识别模块还用于控制所述观众的麦克风权限，当任一观众手臂姿势处于预设姿势且超过预设时间时，则自动开启该观众的麦克风权限，并关闭其余观众的麦克风权限。

19、一种基于虚拟现实的教育直播方法，包括以下步骤：

20、通过图像传感器实时采集直播观众的身体图像和位置；

21、根据所述身体图像和位置在虚拟场景中生成所有观众的虚拟形象；

22、从所述身体图像中获取任一观众的面部图像，根据所述面部图像判断任一观众的视线方向，并在虚拟场景中同步该观众对应虚拟形象的头部方向；

23、基于动作传感器采集任一观众的手臂姿势，当该观众的手臂姿势处于预设姿势且超过预设时间时，在虚拟场景中同步该观众虚拟形象的手臂姿势，并对直播者进行提示；

24、将直播者的直播影像传输至观众端；

25、实时接收所述虚拟场景并传输至直播者端，并当观众的视线方向或手臂姿势处于预设状态超过预设时间时，对直播者进行提醒。

26、本发明的有益效果：

27、本发明通过实时捕捉观众的身体图像、位置、视线方向和手臂姿势，并在虚拟场景中生成对应的虚拟形象，能够识别观众的视线和动作，当这些参数处于特定状态时，当观众的视线或者动作发生变化时，可以提醒直播者，帮助直播者更好地理解观众的反应和需求，调整直播内容或方式，观众可以通过特定的手臂姿势来控制自己的虚拟形象，并在一定条件下开启麦克风权限，从而更积极地参与到直播讨论中，提高了参与度和互动质量，展示了一种创新的直播互动模式。

技术特征：

1.一种基于虚拟现实的教育直播系统，其特征在于，包括：

2.根据权利要求1所述的一种基于虚拟现实的教育直播系统，其特征在于，所述图像传感器分布式设置于直播观众的所在场地，基于三维重建采集所有观众的虚拟形象。

3.根据权利要求2所述的一种基于虚拟现实的教育直播系统，其特征在于，所述场景生成模块包括场景生成单元，所述场景生成单元基于vr采集设备对直播观众所在场地进行采集，生成所述虚拟场景，并在所述虚拟场景中标注任一观众的位置。

4.根据权利要求3所述的一种基于虚拟现实的教育直播系统，其特征在于，所述场景生成模块还包括场景提示单元，所述场景提示单元用于实时显示观众的视线方向和手臂姿势。

5.根据权利要求1所述的一种基于虚拟现实的教育直播系统，其特征在于，所述视线识别模块判断观众视线的过程为：

6.根据权利要求1所述的一种基于虚拟现实的教育直播系统，其特征在于，所述动作识别模块识别手臂姿势的过程为：

7.根据权利要求1所述的一种基于虚拟现实的教育直播系统，其特征在于，所述动作识别模块还用于控制所述观众的麦克风权限，当任一观众手臂姿势处于预设姿势且超过预设时间时，则自动开启该观众的麦克风权限，并关闭其余观众的麦克风权限。

8.一种基于虚拟现实的教育直播方法，其特征在于，包括以下步骤：

技术总结
本发明公开了一种基于虚拟现实的教育直播系统及方法，属于教育直播技术领域，具体包括：通过图像传感器实时采集直播观众的身体图像和位置；根据所述身体图像和位置在虚拟场景中生成所有观众的虚拟形象；根据所述面部图像判断任一观众的视线方向，并在虚拟场景中同步该观众对应虚拟形象的头部方向；基于动作传感器采集任一观众的手臂姿势，当该观众的手臂姿势处于预设姿势且超过预设时间时，在虚拟场景中同步该观众虚拟形象的手臂姿势；实时接收所述虚拟场景并传输至直播者端，并当观众的视线方向或手臂姿势处于预设状态超过预设时间时，对直播者进行提醒；本发明实现了高效的教育直播互动。

技术研发人员：刘刚
受保护的技术使用者：哈尔滨学院
技术研发日：
技术公布日：2024/5/16