一种混合增强教学场景中多移动机制融合方法

1.本发明属于信息技术的教学应用领域，更具体地，涉及一种混合增强教学场景中多移动机制融合方法。


背景技术：

2.混合增强教学场景不仅能够实现虚实场景及用户的同步和融合，还能通过实时交互，构建一个用户和虚拟场景之间交互反馈的信息回路。在混合增强教学场景中融合多种移动机制，采集教师的移动信息，实现虚实空间的归一化处理，构建移动响应策略、移动感知和融合机制，可解决现有真实教学空间的有限性与虚拟空间无限性之间的矛盾，提高教学过程中移动的流畅性、舒适度和真实感体验，从而激发学习者的兴趣，有效提升教学体验效果。随着5g商业化的推进与vr/ar/mr产业的不断发展，实现混合增强教学场景中多移动机制的有效融合，有利于增进信息技术与教学课程融合。在新一代立体教学环境中将会发挥积极作用，拥有广阔的应用前景。
3.但目前混合增强教学场景中多移动机制融合方面还存在诸多问题：(1)现有混合增强教学环境的真实与虚拟空间尺度相同，难以实现不同尺度之间的移动增益，无法解决真实空间有限性和虚拟空间无限性之间的矛盾，影响交互的真实感体验效果；(2)混合增强教学环境中用户长时间、频繁移动，易产生晕动症和方向感迷失，大多数现有移动机制都以与现实背离的方式来分散用户的注意力，无法提高用户的舒适度及其注意力的集中度；(3)现有混合增强教学场景的交互真实性不足，移动引导和感官反馈未能充分考虑用户的感受，影响其视觉感受及交互体验。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种混合增强教学场景中多移动机制融合方法，为混合增强教学场景中教师的交互、感知和融合提供一种新的、完整的途径和形式。
5.本发明的目的是通过以下技术措施实现的。
6.本发明提供一种混合增强教学场景中多移动机制融合方法，包括以下步骤：
7.(1)归一化处理；采用spatial mapping技术将虚拟教学空间划分成不同区域，依据虚实空间的增益缩放因子，计算虚拟模型、真实教师的移动位置和区域范围的尺度转换。
8.(2)移动感知：构建一系列移动响应策略规则，采用碰撞检测、a*等算法，实现虚拟模型的移动，使用方向箭头、第三人称视角、导航地图等提示方式增强教师的移动感知。
9.(3)移动融合：通过传送点设置，运用纹理、色调等透明渐变方式，实现不同传送场景之间的过渡；结合场景预览、自动寻径和回溯机制，支持教师重难点内容的选择讲解；采用碰撞反馈、触觉反馈和视觉反馈强化教师移动过程的融合表示。
10.本发明的有益效果在于：通过采集真实教学空间的3d表面模型，将其划分成不同的网格区域，依据虚实空间的增益缩放因子，计算真实教师、虚拟模型的移动位置和区域范
围的尺度转换；使用追踪识别算法，构建移动策略响应规则，标注虚拟对象的移动触发信息，采用碰撞检测算法，实现虚拟模型的移动或自主移动，使用方向箭头、第三人称视角、导航地图提示方式增强教师的移动感知；通过传送点设置，运用纹理、色调等透明渐变方式，实现不同传送场景之间的过渡，结合场景预览、自动寻径和回溯机制，支持教师选择讲解重难点内容，采用碰撞反馈、触觉反馈和视觉反馈强化教师移动过程的融合表示。随着混合增强教学的需求越来越高，对提高教学过程中移动的流畅性、舒适度和真实感体验的要求也越来越高，本发明有助于满足混合增强教学场景中多机制融合效果的需要。
附图说明
11.图1是本发明混合增强教学场景中多移动机制融合方法流程图。
12.图2是本发明实施例中虚拟教学空间中世界空间坐标系统示意图。
13.图3是本发明实施例中真实空间与虚拟场景中教师、模型和环境之间的尺度转换示意图。
14.图4是本发明实施例中教师手势关键点示意图。
15.图5是本发明实施例中激发移动增益的教师手势动作示意图。
16.图6是本发明实施例中以教师为中心的3d矩形框示意图。
17.图7是本发明实施例中教学环境的俯视导航地图示意图。
18.图8是本发明实施例中预设虚拟空间的传送点示意图。
19.图9是本发明实施例中虚拟空间的重定向提示示意图。
20.图10是本发明实施例中回溯机制效果示意图，其中1处为地球模型当前状态，2处为地球模型基于时间轴顺序的上一个回溯点。
21.图11是本发明实施例中教师越过阈值触发与山体碰撞反馈示意图，其中a是山体模型，b是山体模型的碰撞包围盒，c为碰撞的视听反馈效果。
22.图12是本发明实施例中虚拟地球的9
‑
dof形式运动轨迹示意图。
具体实施方式
23.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
24.如图1所示，本实施例提供一种混合增强教学场景中多移动机制融合方法，包括如下步骤：
25.(1)归一化处理。使用spatial mapping技术将虚拟教学空间划分成不同区域，依据虚实空间的增益缩放因子，计算虚拟模型、真实教师的移动位置和区域范围的尺度转换。
26.所述归一化处理具体包括如下步骤：
27.(1
‑
1)确定移动范围。通过深度摄像头采集真实教学空间的3d表面模型；使用spatial mapping技术将虚拟教学空间划分成不同的网格区域；提取虚边界平面，并为它们增加碰撞体，界定教师与模型的移动范围。
28.(1
‑1‑
1)获取真实教学空间的表面模型。采用深度摄像头，采集真实教学空间的三
维位置、深度值等点云数据，应用三维重建技术生成虚拟表面模型网格，根据表面模型的空间特征，将它们剖分为墙壁、地板、桌椅等对象。
29.(1
‑1‑
2)虚拟教学空间的网格划分。如图2所示，建立以米为单位的世界空间坐标系统，以真实教学空间的中心为坐标原点，采用右手坐标系描述混合增强教学环境，使用spatial mapping技术分割虚拟教学空间，基于k
‑
d树结构组织教学空间中的天花板、地面、墙壁、黑板、讲台、课桌等模型对象，将其划分成不同区域，并映射到世界坐标系中。
30.(1
‑1‑
3)确定教师与虚拟对象的移动范围。通过移动最小二乘法，遍历获取虚拟教学空间的横向、纵向、竖直方向边界平面，计算边界平面的协方差矩阵c
ij
，结合轴的极值确认bvh(层次包围)盒中心点、方向和边长，设边界平面中有n个三角形(p
k
、q
k
、r
k
),0≤k<n,则协方差矩阵为：
[0031][0032]
其中a
h
和m
h
分别表示边界平面的全面积和质心，a
k
和m
k
分别表示三角形k的面积和质心，i、j分别表示x、y轴上的分量，如m
(k,i)
、m
(k,j)
表示质心m
k
在x、y轴上的值。
[0033]
采用基于bvh的树状层次结构构造边界平面的碰撞体，从而界定教师、虚拟对象在混合增强教学环境中的移动范围。
[0034]
(1
‑
2)对象定位。根据宏观、微观虚拟场景的空间范围，计算虚实空间的尺度转换；采用并行测距与成像技术获取虚拟模型在真实教学空间中的位置与朝向；运用惯性导航技术确定教师在真实教学空间中的位置和朝向，实现其在虚实空间中的位置转换。
[0035]
(1
‑2‑
1)实现虚实空间的尺度转换。根据宏观、微观虚拟场景的空间范围，计算其与真实教学空间的尺度转换，通过齐次坐标w的设置，如w>1表示缩小，w<1表示放大，实现虚实空间中教师、模型与环境之间的位置和范围转换，图3展示虚实空间中教师、环境和宏观的地球之间的尺度转换。
[0036]
(1
‑2‑
2)获取虚拟模型的位置和朝向。通过并行测距与成像技术定位虚拟教学模型(如山体、太阳系、磁场模型等)在真实教学空间的位置坐标(x,y,z)和朝向姿态(tx,ty,tz)，虚拟模型的位置和朝向发生变化，实时计算、更新其在真实空间的信息，如相对于虚拟空间其他对象(墙壁、桌椅、黑板、讲台等)的距离。
[0037]
(1
‑2‑
3)获取教师的位置和朝向。借助加速计、陀螺仪等传感器，采用惯性导航技术推算教师在真实空间的位置坐标(x’,y’,z’)和朝向姿态(tx’,ty’,tz’)，使用航位推算法计算、定位教师相对于周围环境的位置和朝向变化。
[0038]
(1
‑
3)教师的移动增益。运用eye
‑
level scaling方法，结合采集到教师移动的距离、速度、时间等数据，加权计算增益缩放因子；应用seven
‑
league boots技术计算教师在虚拟空间的移动增益，实现虚实空间移动的归一化处理。
[0039]
(1
‑3‑
1)加权计算增益缩放因子。依据虚实空间的尺度映射，运用eye
‑
level scaling方法，结合采集到教师移动的距离、速度、时间等数据，加权计算增益缩放因子，精确计算教师在虚实空间中的移动位置和方位变化。譬如，在太阳系运动教学的混合增强教学环境中，采集教师在真实环境移动的数据，包括与太阳模型的距离s，当前移动速度v，太阳模型初始缩放系数t，根据其在移动信息中的重要性，按因子分析法设定其权重分别为p1、p2、p3，经加权组合计算增益缩放因子n，加权组合计算公式如下：
[0040][0041]
(1
‑3‑
2)虚实空间坐标的归一化处理。教师以巨人或者矮人视角观看虚拟场景中对象，根据虚实空间的尺度变换参数，采用坐标转换公式计算虚拟模型移动过程中的坐标，实现虚实空间中相关对象的归一化处理。譬如，教师教学中使用太阳系模型，已知增益缩放因子n，设太阳系模型在真实空间中位置坐标(x，y，z)，教师头部中心点在真实空间中初始位置坐标(x
p
，y
p
，z
p
)，教师高度h。计算太阳系模型在虚拟场景中位置坐标(x’，y’，z’)，坐标转换公式如下：
[0042][0043]
(1
‑3‑
3)移动增益获取。追踪、捕捉教学活动中教师的动作、位置等数据，跟随其在真实教学环境中的视场变化，采用seven
‑
league boots技术计算虚拟空间中教师累积的位置和姿态，获取移动增益的变化。
[0044]
(2)移动感知。构建一系列移动响应策略规则，采用碰撞检测、a*等算法，实现虚拟模型的移动，使用方向箭头、第三人称视角、导航地图等提示方式增强教师的移动感知。
[0045]
(2
‑
1)移动响应策略的构建。使用识别追踪算法，捕获教师的躯干、手势与头部和视线的移动；构建一系列移动响应策略规则，实现虚实空间移动效果的统一；采用线段标注教师的移动过程，高亮显示虚拟模型的选中状态。
[0046]
(2
‑1‑
1)追踪教师的移动。运用流水线姿态预测方法定位教师身体姿势的33个关键点，采用blazepose算法追踪教学过程中教师的躯干动作和姿态，精确识别教师身体的移动行为；使用头部姿态估计技术，追踪教师的抬头、摇头和转头等动作；应用人脸关键点检测模型识别教师头部行为；运用mediapipehands手部关键点检测技术实时跟踪教师的手掌指尖、各节指骨连接处等主要21个骨节点，如图4所示，采用blazeplam手势识别算法感知教学过程中教师的手部移动。
[0047]
(2
‑1‑
2)构建移动策略规则。针对采集到教师的移动动作，如行走、摆臂、抓握、抬头等，构建一系列混合增强教学环境中移动响应策略规则，如图5所示，教师同时将左右手的食指分别沿顺、逆时针方向旋转超过45
°
，该手势动作将会激发“seven
‑
league boots”技术，在虚拟场景的交互过程中增益教师移动效果。
[0048]
(2
‑1‑
3)标注移动触发信息。追踪真实空间中教师的动作，并在虚拟场景中使用linerender绘制方法，实时动态地表示其移动路径，当教师的视线、手势移动到虚拟模型碰撞体时，高亮显示该虚拟模型，触发选中状态的提示。
[0049]
(2
‑
2)虚拟对象的移动机制。使用外接包围盒检测算法拾取虚拟模型；采用碰撞检测算法，避免移动过程中穿过其他对象；采用a*算法避开虚拟场景中的障碍物，使用三维dijkstra算法实现虚拟模型的自主移动。
[0050]
(2
‑2‑
1)拾取虚拟模型。根据教学需要，教师采用凝视、手势等交互方式选择虚拟环境中的模型，使用外接包围盒检测算法，当检测到教师与虚拟模型的bvh盒发生碰撞时，
拾取虚拟模型，高亮显示该模型，并在虚拟空间中显示其外接包围盒的提示。
[0051]
(2
‑2‑
2)移动虚拟模型。教师可通过平移、旋转、缩放等操作，将拾取选中的虚拟模型放置到虚拟场景或真实空间中某个位置，采用碰撞检测算法，避免移动过程中穿过真实空间的桌椅、师生人体等，或者虚拟场景中的其它对象。
[0052]
通过比较r
i
与s的大小，判断包围盒a与平面p的相交情况，检测两者是否发生碰撞：
[0053]
r
i
＝(v
i
‑
c)
·
n＝(c
±
e0u0±
e1u1±
e2u2‑
c)
·
n
[0054]
＝(
±
e0u0±
e1u1±
e2u2)
·
n
[0055]
其中向量n为平面p的法向量，c为包围盒的中心，向量u
i
(0≤i≤3)为以c为原点的局部坐标轴，标量e
i
(0≤i≤3)为长方体包围盒三条边长的一半，v
i
为包围盒的8个顶点：v
i
＝c
±
e0u0±
e1u1±
e2u2(0≤i≤7)，s为c到p的距离，r
i
(0≤i≤7)为v
i
与c的距离沿向量n的分量。
[0056]
当
‑
r≤s≤r时，包围盒a与平面p相交，即可认为包围盒a内模型与平面p发生碰撞。
[0057]
(2
‑2‑
3)虚拟模型的自主移动。教师可为虚拟对象设置关键移动节点，采用a*算法避开虚拟场景中的障碍物，使用三维dijkstra算法计算相邻关节点之间的最短路径，应用寻路导航算法，令虚拟模型主动移动，避开相应的遮挡对象。
[0058]
(2
‑
3)移动提示机制的构建。采用simulated cave方法，在混合增强教学环境中添加透明的3d外接包围盒，添加文字与箭头提示；提供第三人称视角，支持教师跟随虚拟对象观察其移动规律；生成导航地图，协助教师掌握虚拟场景的全局内容，便于导航定位。
[0059]
(2
‑3‑
1)移动提示设置。针对教师频繁移动，易迷失的现象，采用simulated cave方法，在混合增强教学环境中以教师中心添加透明的3d外接包围盒或箭头提示，跟随教师移动、旋转，教师始终位于外接包围盒的中心，正前方右上角会更新仪表盘的提示。图6则给出当前相对出发点偏移30
°
的箭头方向提示。
[0060]
(2
‑3‑
2)第三人称视角切换。在混合增强教学环境中添加第一人称与第三人称视角选项，第三人称视角支持教师跟随虚拟对象，观察其行走、摆臂、抓握、抬头等移动规律；通过手势、视线操纵虚拟对象时，第三人称视角可呈现它的运行机制，如瞬间传送、移动增益。
[0061]
(2
‑3‑
3)导航地图构建。根据教师的位置、方向，生成混合增强教学环境的俯视导航地图，如图7所示，在地图上标注山体、地球等虚拟模型的分布位置、方位提示信息，支持教师掌握虚拟场景的全局内容，便于导航定位和与虚拟场景的互动。
[0062]
(3)移动融合。通过传送点设置，运用纹理、色调等透明渐变方式，实现不同传送场景之间的过渡；结合场景预览、自动寻径和回溯机制，支持教师选择讲解重难点内容；采用碰撞反馈、触觉反馈和视觉反馈强化教师移动过程的融合表示。
[0063]
(3
‑
1)快速传送机制生成。根据教学需要，选取、设置混合增强教学环境中传送点的位置；传送过程中采用高亮显示、特殊颜色表示等方式，帮助教师适应新场景的空间方位和布局；采用纹理、色调等透明渐变方式，实现传送场景之间的过渡。
[0064]
(3
‑1‑
1)预设虚拟空间的传送点。根据教学需要，采用视线追踪技术，定位教师的凝视焦点，选取、设置传送点的空间位置，避免传送点与虚拟空间或真实场景中的对象重合，在该位置上添加高亮、透明显示的圆形标记，同步更新到导航地图上，点击传送点标记
后，将会切换、传送到该点所对应的虚拟场景。图8为虚拟空间中预设的传送点。
[0065]
(3
‑1‑
2)场景传送的视觉过渡。在传送过程中采用淡入淡出、快速模糊动画等过渡方式，获取教师凝视方向与光照方向向量，采用菲涅尔方法边缘高亮显示新的场景对象，如课桌、椅子、虚拟教具等；采用特殊颜色等方式突显新的场景画面，帮助教师适应新场景的空间方位和布局，减少虚拟场景切换后的认知负荷。菲涅尔近似公式：
[0066]
f＝f0+(1
‑
f0)*(1
‑
dot(v,n))^x
[0067]
n为表面法线向量，v为观察视角向量，f0为反射系数，x为增强次数，控制菲涅尔影响范围的大小。
[0068]
(3
‑1‑
3)过渡视场的拟合。为实现传送场景切换时的自然过渡，结合教师的身体姿态、头部朝向、移动轨迹、视野范围等信息，采用纹理、色调等透明渐变方式，依据时长以及所处位置，拟合传送场景之间过渡视场的内容。
[0069]
(3
‑
2)移动方向感增强机制的构建。依据simulated cave方法，增加外接包围盒仪表盘和箭头的提示功能，协助教师重新确定位置和方向；生成传送场景的预览画面，通过自动寻径算法避开障碍物遮挡；建立回溯机制，支持教师选择讲解重难点内容。
[0070]
(3
‑2‑
1)虚拟空间的重定向。当传送到新的虚拟场景或移动到教学空间的边界区域时，依据simulated cave方法，实时更新外接包围盒上的仪表盘以及箭头提示，显示教师移动方向、距离等。图9中箭头图标标示移动方向，提醒教师在边界处转向，并在教师前方的仪表盘显示相对初始位置的偏移，协助教师重新定位其在虚拟空间中的位置和姿态。
[0071]
(3
‑2‑
2)传送预览。在混合增强教学环境中生成各个传送场景的预览画面，教师可通过预览画面选择不同的传送场景，参照教师的位置、视线方向等参数，生成传送后虚拟场景的预览画面，根据初始状态参数，采用自动寻径算法避开新场景的障碍物遮挡。
[0072]
(3
‑2‑
3)移动回溯。将教师在虚拟场景的某些时刻的位置和状态(教师的位置、姿态和视线方向，虚拟模型的分布，各个模型的姿态、运动状态等参数)记录为回溯点；根据时间发展顺序，基于链表结构组织回溯点，建立回溯点间的逻辑关系；通过回溯点的切换，实现虚拟场景在一系列重要时刻间的切换，支持教师选择讲解重难点内容。图10展示了回溯机制效果，1为地球模型当前状态，2为地球模型以光影效果呈现，为其上一个回溯点，对应地球模型当时的位置、旋转角度、运动状态、缩放尺度等参数。
[0073]
(3
‑
3)移动反馈机制创设。当教师与虚拟模型碰撞时，运用画面、声音、震动等方式触发碰撞反馈；通过捕捉移动的瞬态值计算触觉反馈，有效避免抓取虚拟模型时“穿透”现象的发生；使用线段、高亮显示、粒子效果等视觉反馈效果表示教师移动。
[0074]
(3
‑3‑
1)碰撞反馈机制创设。根据混合增强教学环境的移动范围及其虚拟模型的布局信息，设置教师与其他模型的碰撞阈值；如图11所示，在教学过程中，当教师与a处山体模型交互时，越过阈值范围，与b处山体模型碰撞，触发c处的视听反馈效果(包括画面、声音、震动等效果形式)。
[0075]
(3
‑3‑
2)触觉反馈机制创设。采用多速率方法生成不同更新频率的并行模块，记录教师的凝视、手势、躯干等移动动作，通过捕捉移动的瞬态值计算触觉反馈，以9
‑
dof形式记录虚拟模型的运动轨迹，如图12所示，在地球公转教学中记录虚拟地球的运动轨迹；并提供反馈力、力矩，有效避免虚拟模型抓取时“穿透”现象的发生。
[0076]
(3
‑3‑
3)视觉反馈机制创设。使用线段记录教师观察方向或者移动对象的过程，运
用高亮显示、特殊颜色等方式记录教师与其他虚拟对象的交互，譬如板书移动过程中记录其手势轨迹，采用特殊显颜色变化相关的区域内容，使用粒子效果表示撞击或触碰到虚拟物体时的反馈效果。
[0077]
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
[0078]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。