一种基于虚拟现实的防灾培训系统及方法与流程

本申请涉及虚拟现实技术领域，特别涉及一种基于虚拟现实的防灾培训系统及方法。

背景技术：

在当前的防灾培训过程中，通常经过两种方式进行防灾培训。其中一种是建立防灾培训中心或防灾培训学校，通过建立实际的防灾场景让学员按照批次进行模拟培训。另一种是在计算机中开发三维虚拟培训系统，并通过鼠标和键盘操作来进行模拟培训。

然而，当前的两种防灾培训方法均存在不足。第一种防灾培训方法需要耗费相当大的时间、空间和财力、物力，无法普及推广。第二种防灾培训方法则不够真实，学员无法全身心地参与其中，导致培训效果不佳。

技术实现要素：

本申请实施方式的目的在于提供一种基于虚拟现实的防灾培训系统及方法，能够让学员沉浸于防灾培训系统中，以提高防灾培训的效果。

为实现上述目的，本申请一方面提供了一种基于虚拟现实的防灾培训系统，所述系统包括三维驱动引擎模块、虚拟子模型模块、灾难应急操作模块、三维空间定位模块、头盔显示模块和手柄操作模块，其中：所述头盔显示模块用于驱动头盔显示器运行，获取所述头盔显示器的操作指令，并将所述头盔显示器的操作指令发送至所述三维驱动引擎模块；所述手柄操作模块用于驱动手柄运行，获取所述手柄的操作指令，并将所述手柄的操作指令发送至所述三维驱动引擎模块；所述虚拟子模型模块用于根据实际场景进行建模，以得到符合实际场景的虚拟现实场景；所述灾难应急操作模块用于按照预设规则在所述虚拟现实场景中执行预设任务，以模拟所述虚拟现实场景中事故的发展过程；所述三维空间定位模块用于对头盔显示器中的图像进行处理，以得到所述图像中的物体相对于所述头盔显示器的距离，其中，所述图像中的物体包括所述手柄；所述三维驱动引擎模块用于根据所述手柄相对于所述头盔显示器的距离，在所述虚拟现实场景中展示与所述手柄的操作指令和所述头盔显示器的操作指令分别对应的动作。

进一步地，所述虚拟子模型模块具体包括：实景获取单元，用于拍摄预设数量的实际场景的图像；线框建模单元，用于对所述预设数量的实际场景的图像进行场景建模，以得到几何线框场景模型，所述几何线框场景模型中包括不同类型的多个目标对象；材质设定单元，用于根据各个所述目标对象的类型，为各个所述目标对象分配相应的材质，以得到符合实际场景的虚拟现实场景。

进一步地，所述灾难应急操作模块具体包括：时间触发单元，用于在所述虚拟现实场景的运行时间达到预设时间点时，在所述虚拟现实场景中触发与当前任务相对应的下一个任务；事件触发单元，用于在所述虚拟现实场景中的预设事件发生时，在所述虚拟现实场景中触发与所述预设事件相关联的任务。

进一步地，所述三维空间定位模块具体包括：像素坐标获取单元，用于获取所述图像中的物体在像素坐标系中的像素坐标；世界坐标确定单元，用于根据所述像素坐标与世界坐标之间的转换关系，确定所述物体在世界坐标系中的世界坐标；距离确定单元，用于根据所述物体的世界坐标，确定所述图像中的物体相对于所述头盔显示器的距离。

进一步地，所述世界坐标确定单元按照下述公式确定所述物体在世界坐标系中的世界坐标：

其中，(u,v)为所述像素坐标，Z_c为预设常量，dx和dy分别为x轴和y轴对应的单位物理尺寸，f为头盔显示器的焦距，(u₀,v₀)为物理坐标系的原点在所述像素坐标系中对应的坐标，R为预设正交单位旋转矩阵，T为预设位移向量，(X_w,Y_w,Z_w)为所述世界坐标。

进一步地，所述距离确定单元用于计算所述物体的世界坐标和所述头盔显示器的世界坐标之间的距离，并将计算的所述距离确定为所述物体相对于所述头盔显示器的距离。

为实现上述目的，本申请另一方面还提供一种基于虚拟现实的防灾培训方法，所述方法包括：获取头盔显示器和手柄分别对应的操作指令；根据实际场景进行建模，以得到符合实际场景的虚拟现实场景；按照预设规则在所述虚拟现实场景中执行预设任务，以模拟所述虚拟现实场景中事故的发展过程；对头盔显示器中的图像进行处理，以得到所述图像中的物体相对于所述头盔显示器的距离，其中，所述图像中的物体包括所述手柄；根据所述手柄相对于所述头盔显示器的距离，在所述虚拟现实场景中展示与所述手柄的操作指令和所述头盔显示器的操作指令分别对应的动作。

进一步地，根据实际场景进行建模，以得到符合实际场景的虚拟现实场景具体包括：拍摄预设数量的实际场景的图像；对所述预设数量的实际场景的图像进行场景建模，以得到几何线框场景模型，所述几何线框场景模型中包括不同类型的多个目标对象；根据各个所述目标对象的类型，为各个所述目标对象分配相应的材质，以得到符合实际场景的虚拟现实场景。

进一步地，按照预设规则在所述虚拟现实场景中执行预设任务，以模拟所述虚拟现实场景中事故的发展过程具体包括：在所述虚拟现实场景的运行时间达到预设时间点时，在所述虚拟现实场景中触发与当前任务相对应的下一个任务；在所述虚拟现实场景中的预设事件发生时，在所述虚拟现实场景中触发与所述预设事件相关联的任务。

进一步地，所述图像中的物体相对于所述头盔显示器的距离按照下述方式确定：获取所述图像中的物体在像素坐标系中的像素坐标；根据所述像素坐标与世界坐标之间的转换关系，确定所述物体在世界坐标系中的世界坐标；根据所述物体的世界坐标，确定所述图像中的物体相对于所述头盔显示器的距离。

由以上本申请实施方式提供的技术方案可见，本申请实施方式通过建模得到符合实际场景的虚拟现实场景，然后通虚拟现实系统中的手柄和头盔显示器采集学员的操作指令，从而可以在虚拟现实场景中展示学员的各个动作，从而使得学员能够沉浸于虚拟现实场景中，获得最大的操作体验。同时，通过按照预设规则在所述虚拟现实场景中执行预设任务，从而能够模拟所述虚拟现实场景中事故的发展过程，这样便可以进一步使得虚拟现实中的事故更加逼真，从而能够提高防灾培训的效果。

附图说明

图1为本申请实施方式提供的一种基于虚拟现实的防灾培训系统的结构示意图；

图2为本申请实施方式提供的一种基于虚拟现实的防灾培训方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

参阅图1，本申请实施方式提供了一种基于虚拟现实的防灾培训系统。所述系统包括三维驱动引擎模块100、虚拟子模型模块200、灾难应急操作模块300、三维空间定位模块400、头盔显示模块500和手柄操作模块600。

其中，所述头盔显示模块500用于驱动头盔显示器运行，获取所述头盔显示器的操作指令，并将所述头盔显示器的操作指令发送至所述三维驱动引擎模块；

所述手柄操作模块600用于驱动手柄运行，获取所述手柄的操作指令，并将所述手柄的操作指令发送至所述三维驱动引擎模块；

所述虚拟子模型模块200用于根据实际场景进行建模，以得到符合实际场景的虚拟现实场景；

所述灾难应急操作模块300用于按照预设规则在所述虚拟现实场景中执行预设任务，以模拟所述虚拟现实场景中事故的发展过程；

所述三维空间定位模块400用于对头盔显示器中的图像进行处理，以得到所述图像中的物体相对于所述头盔显示器的距离，其中，所述图像中的物体包括所述手柄；

所述三维驱动引擎模块100用于根据所述手柄相对于所述头盔显示器的距离，在所述虚拟现实场景中展示与所述手柄的操作指令和所述头盔显示器的操作指令分别对应的动作。

在本实施方式中，所述手柄可以跟随学员的双手移动，所述头盔显示器可以跟随学员的头部转动。这样，所述头盔显示模块和所述手柄操作模块便可以分别获取头盔显示器和手柄的操作指令。在本实施方式中，所述操作指令可以被发送至三维驱动引擎模块进行进一步处理。

在本实施方式中，虚拟现实场景可以由所述虚拟子模型模块生成。具体地，所述虚拟子模型模块具体可以包括：

实景获取单元，用于拍摄预设数量的实际场景的图像；

线框建模单元，用于对所述预设数量的实际场景的图像进行场景建模，以得到几何线框场景模型，所述几何线框场景模型中包括不同类型的多个目标对象；

材质设定单元，用于根据各个所述目标对象的类型，为各个所述目标对象分配相应的材质，以得到符合实际场景的虚拟现实场景。

在本实施方式中，所述线框建模单元可以将所述预设数量的实际场景的图像输入3DSMAX中，以进行场景建模。在3DSMAX中，可以设置Unit Setup中的长度单位，并按照长度单位进行建模。此外，还可以利用3DSMAX中的各种修改器(modifier)和工具来按照实际场景的图像中各种类型的对象进行绘制。这样便可以得到几何线框场景模型，所述几何线框场景模型中包括不同类型的多个目标对象。

在本实施方式中，在得到几何线框场景模型后，可以将各个目标对象进行材质贴图。具体地，对不不同类型的目标对象，可以采用不同的材质进行贴图。例如，对于鱼缸，可以采用玻璃材质进行贴图。这样便可以将几何线框场景模型填充为符合实际场景的虚拟现实场景。

在本实施方式中，为了使得虚拟现实场景与实际场景更加贴合，可以在所述虚拟现实场景中模拟事故的发展过程。例如随着时间的推移，事故现场的火势会变大，烟雾也会更浓密。具体地，可以采用有限状态机的方式来模拟事故的发展过程。所述有限状态机可以是一种数学模型，在该数学模型中可以包括有限个状态以及在所述有限个状态之间的转移和动作等行为。具体地，所述的预设规则和预设任务均可以在所述灾难应急操作模块200中预先设定的。其中，所述预设规则可以包括时间触发和事件触发的方式，所述预设任务可以指与事故进展过程相关联的事件。例如火势变大、烟雾变浓等。这样，所述灾难应急操作模块具体可以包括：

时间触发单元，用于在所述虚拟现实场景的运行时间达到预设时间点时，在所述虚拟现实场景中触发与当前任务相对应的下一个任务；

事件触发单元，用于在所述虚拟现实场景中的预设事件发生时，在所述虚拟现实场景中触发与所述预设事件相关联的任务。

在时间触发的方式中，各个任务可以作为有限状态机中的各个状态，当达到预设时间点时，可以触发与当前任务相对应的下一个任务。例如，在虚拟现实场景的运行时间达到10分钟时，火势可以增大，烟雾可以变浓。同样的，在事件触发的方式中，各个任务也可以作为有限状态机中的各个状态，当预设事件发生时，可以触发与所述预设事件相关联的任务。例如，所述预设事件可以为火势达到预设等级。这样，当火势达到预设等级时，会触发房门烧坏的任务。这样，随着时间和事件的不断触发，虚拟现实场景中的事故也会随之推进，从而更加真实地模拟实际场景。

在本实施方式中，为了使得虚拟现实场景中的人物动作与学员的动作一致，可以通过所述三维空间定位模块对手柄的位置进行定位。具体地，所述手柄的位置可以通过与头盔显示器之间的相对距离来确定。

在本实施方式中，所述三维空间定位模块具体可以包括：

像素坐标获取单元，用于获取所述图像中的物体在像素坐标系中的像素坐标；

世界坐标确定单元，用于根据所述像素坐标与世界坐标之间的转换关系，确定所述物体在世界坐标系中的世界坐标；

距离确定单元，用于根据所述物体的世界坐标，确定所述图像中的物体相对于所述头盔显示器的距离。

其中，所述像素坐标可以是图像中的坐标，所述世界坐标可以是实际的三维坐标。具体地，所述世界坐标确定单元可以按照下述公式确定所述物体在世界坐标系中的世界坐标：

其中，(u,v)为所述像素坐标，Z_c为预设常量，所述预设常量可以为相机坐标系中Z轴的坐标，dx和dy分别为x轴和y轴对应的单位物理尺寸，f为头盔显示器的焦距，(u₀,v₀)为物理坐标系的原点在所述像素坐标系中对应的坐标，R为预设正交单位旋转矩阵，T为预设位移向量，(X_w,Y_w,Z_w)为所述世界坐标。

这样，通过上述公式便可以确定图像中物体的世界坐标。为了确定物体与头盔显示器之间的相对距离，所述距离确定单元具体可以用于计算所述物体的世界坐标和所述头盔显示器的世界坐标之间的距离，并将计算的所述距离确定为所述物体相对于所述头盔显示器的距离。

具体地，计算所述物体的世界坐标和所述头盔显示器的世界坐标之间的距离的公式可以为：

其中，d为所述物体的世界坐标和所述头盔显示器的世界坐标之间的距离，(X₁,Y₁,Z₁)为所述物体的世界坐标，(X₂,Y₂,Z₂)为所述头盔显示器的世界坐标。

这样，通过实时地保证虚拟现实场景中人物的手部与头盔之间的相对距离与现实学员的手部与头部之间的相对距离相一致，从而可以保持虚拟现实场景中人物的动作与现实中学员的动作一致。

参阅图2，本申请实施方式还提供一种基于虚拟现实的防灾培训方法，所述方法包括：

步骤S1：获取头盔显示器和手柄分别对应的操作指令；

步骤S2：根据实际场景进行建模，以得到符合实际场景的虚拟现实场景；

步骤S3：按照预设规则在所述虚拟现实场景中执行预设任务，以模拟所述虚拟现实场景中事故的发展过程；

步骤S4：对头盔显示器中的图像进行处理，以得到所述图像中的物体相对于所述头盔显示器的距离，其中，所述图像中的物体包括所述手柄；

步骤S5：根据所述手柄相对于所述头盔显示器的距离，在所述虚拟现实场景中展示与所述手柄的操作指令和所述头盔显示器的操作指令分别对应的动作。

在本实施方式中，根据实际场景进行建模，以得到符合实际场景的虚拟现实场景具体包括：

拍摄预设数量的实际场景的图像；

对所述预设数量的实际场景的图像进行场景建模，以得到几何线框场景模型，所述几何线框场景模型中包括不同类型的多个目标对象；

根据各个所述目标对象的类型，为各个所述目标对象分配相应的材质，以得到符合实际场景的虚拟现实场景。

在本实施方式中，按照预设规则在所述虚拟现实场景中执行预设任务，以模拟所述虚拟现实场景中事故的发展过程具体包括：

在所述虚拟现实场景的运行时间达到预设时间点时，在所述虚拟现实场景中触发与当前任务相对应的下一个任务；

在所述虚拟现实场景中的预设事件发生时，在所述虚拟现实场景中触发与所述预设事件相关联的任务。

在本实施方式中，所述图像中的物体相对于所述头盔显示器的距离按照下述方式确定：

获取所述图像中的物体在像素坐标系中的像素坐标；

根据所述像素坐标与世界坐标之间的转换关系，确定所述物体在世界坐标系中的世界坐标；

根据所述物体的世界坐标，确定所述图像中的物体相对于所述头盔显示器的距离。

需要说明的是，上述各个方法步骤的具体实现方式与培训系统实施方式中的描述一致，这里便不再赘述。

由以上本申请实施方式提供的技术方案可见，本申请实施方式通过建模得到符合实际场景的虚拟现实场景，然后通虚拟现实系统中的手柄和头盔显示器采集学员的操作指令，从而可以在虚拟现实场景中展示学员的各个动作，从而使得学员能够沉浸于虚拟现实场景中，获得最大的操作体验。同时，通过按照预设规则在所述虚拟现实场景中执行预设任务，从而能够模拟所述虚拟现实场景中事故的发展过程，这样便可以进一步使得虚拟现实中的事故更加逼真，从而能够提高防灾培训的效果。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。