虚实融合环境中路径引导系统及其工作方法

本发明属于虚拟现实的教学应用领域，更具体地，涉及虚实融合环境中路径引导系统和工作方法。

背景技术：

1、以chatgpt为代表的人工智能通用大模型的广泛应用，生成式人工智能(aigc)正快速渗透到教育领域的各个环节，其应用广度和深度将超过以往的程度。在虚实融合的教学场景中，路径引导技术能够帮助用户在真实环境中实现虚拟世界中定位、导航和避障，以更加轻松、高效的方式到达目的地或完成特定教学任务。根据用户的空间位置和视场范围，aigc可以提供智能避障、路径规划、路径优化以及实时导航等功能。虚实融合环境可汇聚物理—虚拟—社会三元空间信息，将会创造出一批新的教育应用形式和内容，塑造未来教育发展的新优势。如虚实融合环境下的路径引导可辅助感知能力较弱的师生用户，在场景元素较为复杂的教学环境中有效预测方向和规划行进路径。因此，aigc技术在虚实融合的教学环境中应用，能够丰富教学手段，有助于提高数字化转型大背景下教育教学的效果，具有广泛的应用价值。

2、当前虚实融合环境中路径引导还存在诸多的问题：(1)行进方向估算受多路径效应影响：当前方向估算主要依据场景元素的感应区域，而在布局紧密的教学空间中感应区域会相互干扰，导致用户难以准确预测行进方向；(2)路径规划未考虑特殊约束：传统路径规划通常只考虑静态障碍物，未考虑动态障碍物、地形环境以及其它师生用户位置的约束，生成的行进路径往往不符合用户的期望；(3)路径引导信息的过载：为了让用户更积极地参与教学活动，在虚实融合环境中常常提供大量的路径引导信息，包括繁琐的语音提示、复杂的图像呈现等，然而过量的引导信息会增加用户的认知负荷，导致用户产生空间的“信息迷航”。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种虚实融合环境中路径引导系统和工作方法，为新型数字化教学提供一种智能、系统的交互方法。

2、本发明的目的是通过以下技术措施实现的。

3、本发明提供一种虚实融合环境中路径引导系统，包括：

4、教学场景创设模块，用于拍摄多目图像，重建三维教学场景，布设和调整各个场景元素的参数；

5、用户空间定位模块，用于采集模型的点云坐标，生成教学空间的三维地图，确定用户的空间位置；

6、用户视线追踪模块，用于追踪用户的头部变化，更新视场内的信息，推断用户的视线方向，确定视线注视点；

7、行进方向估算模块，用于计算视线向量和注意线段之间的交点，推断用户在视场内可行进的方向；

8、障碍物识别模块，用于区分动态和静态障碍物，预测动态障碍物的运动轨迹，在2d鹰眼图上标记障碍物图标；

9、预测路径优化模块，用于预测可行走的候选路径，将阶梯教室的三维地图网格化，修正绕行、冗余、重复和非连续路径；

10、引导提示生成模块，用于将文本线索转换为导航指令，依据用户的视线方向，更新虚拟罗盘的指针方向。

11、本发明还提供一种上述的虚实融合环境中路径引导系统的工作方法，包括以下步骤：

12、(1)教学场景创设，运用多目摄像机沿着阶梯教室的走道台阶，拍摄阶梯教室的高清图像；使用多视图立体重建算法生成教学场景中墙壁、讲台、台阶、交互式电子白板和桌椅元素；在阶梯平面位置完成桌椅的布局，使用共轭梯度算法调整阶梯教室中各个场景元素的位置、朝向和姿态；

13、(2)用户空间定位，依据用户移动的位移和方向，结合移动前后位置点云数据的差值，确定各个模型的点云3d坐标，生成教学空间的实时三维地图；使用前方交会算法估算用户在三维地图中位置坐标；运用正射投影法生成教学空间的2d鸟瞰视图，使用不同的点、线、面符号表示教学空间中桌椅、讲台和走道；

14、(3)用户视线追踪，采用头部追踪算法实时检测用户的位置和姿态参数变化，更新该用户视场范围内障碍物、通行动线、其它师生用户的位置和姿态；使用卷积神经网络算法提取用户眼部区域图像的结构特征，推断用户的视线方向；采用视觉搜索算法确定用户的视线注视点坐标，并确定注视点所在区域为兴趣区域；

15、(4)行进方向估算，使用最小二乘拟合算法分析面片集合，提取各个近似三角面片的重心坐标，连接各个重心生成注视线段；根据用户的瞳孔位置和视线方向获得视线向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点；采用航向估计算法推断用户在视场范围内可行进的方向；

16、(5)障碍物识别，将墙壁、讲台、桌椅和其它用户视作用户行进路线上的障碍物，采用卷积神经网络算法区分动态和静态障碍物；使用基于粒子群优化的启发式算法预测动态障碍物的运动轨迹；采用最近邻采样算法缩放障碍物图标的栅格图像，并标记到鹰眼图；

17、(6)预测路径优化，以用户所在当前位置作为起点，结合阶梯教室中三维地图的特征信息、静态障碍物和其它师生用户的位置，采用路径规划算法预测可行走的候选路径；根据用户的平均步长，在水平面上将阶梯教室的三维地图划分为正方形格网；使用双三次插值算法修正绕行、冗余、重复和非连续路径；

18、(7)引导提示生成，使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索；使用词频-逆文档频率算法转换文本线索为导航指令，依次采用声学特征生成网络和声码器，将特征映射为语音信号；依据用户视线方向估计结果，更新虚拟罗盘的指针方向。

19、本发明的有益效果在于：

20、采用计算机视觉和深度学习技术生成教学空间三维地图，根据用户视场范围，推断该用户视线并定位空间视线，将注视对象线段化，检测用户视线与线段化的注视对象之间的交点，进而估计行进方向，根据教学空间中的静态和动态障碍物，以及预测的动态障碍物轨迹，规划为用户的行径路径，并由文本线索、语音导航以及罗盘指向提示，引导用户在教学空间中行进。本发明相较于现有技术，能够根据用户视场信息，实现更为精确的行进方向预测，并结合动态障碍物的运动轨迹，以此实现更符合用户期望的行进路径，削减繁琐、复杂的路径引导信息，提高用户在复杂环境中的空间认知能力和自主探索能力，从而实现高效的教学活动。

技术特征：

1.虚实融合环境中路径引导系统，其特征在于：包括教学场景创设模块、用户空间定位模块、用户视线追踪模块、行进方向估算模块、障碍物识别模块、预测路径优化模块和引导提示生成模块；

2.一种如权利要求1所述的虚实融合环境中路径引导系统的工作方法，其特征在于该方法包括以下步骤：

3.根据权利要求2所述的虚实融合环境中路径引导系统的工作方法，其特征在于步骤(1)中所述教学场景创设具体包括：

4.根据权利要求2所述的虚实融合环境中路径引导系统的工作方法，其特征在于步骤(2)中所述用户空间定位具体包括：

5.根据权利要求2所述的虚实融合环境中路径引导系统的工作方法，其特征在于步骤(3)中所述用户视线追踪具体包括：

6.根据权利要求2所述的虚实融合环境中路径引导系统的工作方法，其特征在于步骤(4)中所述行进方向估算具体包括：

7.根据权利要求2所述的虚实融合环境中路径引导系统的工作方法，其特征在于步骤(5)中所述障碍物识别具体包括：

8.根据权利要求2所述的虚实融合环境中路径引导系统的工作方法，其特征在于步骤(6)中所述预测路径优化具体包括：

9.根据权利要求2所述的虚实融合环境中路径引导系统的工作方法，其特征在于步骤(7)中所述引导提示生成具体包括：

技术总结
本发明属于虚拟现实的教学应用领域，提供一种虚实融合环境中路径引导系统和工作方法，包括教学场景创设、用户空间定位、用户视线追踪、行进方向估算、障碍物识别、预测路径优化和引导提示生成。本发明实现虚实融合空间中用户定位，根据用户视场范围，估算空间航向以及预测的动态障碍物轨迹，规划行径路径，并由引导提示，引导用户在阶梯教室教学空间中的路径。本发明能够聚合物理‑虚拟‑社会三元空间信息，有助于提高教育教学的效果。

技术研发人员：钟正,康宸,曾啸宇,习江涛,吴砥
受保护的技术使用者：华中师范大学
技术研发日：
技术公布日：2024/2/1