一种基于虚拟现实技能训练的评估系统及评估方法与流程

1.本发明实施例属于虚拟现实技术领域，尤其涉及一种基于虚拟现实技能训练的评估系统及评估方法。


背景技术：

2.虚拟现实(virtual reality，vr)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
3.随着计算机硬件技术与软件系统的发展和改进，虚拟现实技术正被广泛应用于军事、医疗、管理、设计、教育、娱乐等各个领域。特别在技能训练领域，虚拟现实技术的引入不仅可以节约成本，降低风险，还能够提高训练人员的参与兴趣，带来良好的技能训练效果。
4.但现有的虚拟显示在进行技能训练时，更多的是被测对象通过一些交互设备，来感应被测对象的动作，然后将来自传感器的原始数据经过传感器处理成为融合信息，经设备产生的行为数据，输入虚拟环境并与被测对象进行交互，再将来自虚拟环境的配置和应用状态再反馈给传感器。
5.技能评估系统在质量控制、依从性、培训、提高工人效率和福祉方面具有有用的应用，目前，由于技能训练评估的条件限制，仍有大量的人员对技能训练的评估有着迫切需求，由于需要进行技能评估的人员自身的学习水平不同，且无人监督，在独自的进行技能训练时，既不知道技能训练动作是否标准，降低了技能训练的效果。


技术实现要素：

6.本发明实施例的目的在于提供一种基于虚拟现实技能训练的评估系统及评估方法，旨在解决现有技术中需要进行技能评估的人员自身的学习水平不同，且无人监督，在独自的进行技能训练时，既不知道技能训练动作是否标准，降低了技能训练的效果的问题。为实现上述目的，本发明实施例提供了如下的技术方案。
7.第一方面，在本发明提供的一个优选实施方式中，提供了一种基于虚拟现实技能训练的评估系统，所述的评估系统包括头戴vr设备、动作捕捉设备和处理设备；
8.所述头戴vr设备，用于接收自所述处理设备发送的vr场景并显示；
9.所述动作捕捉设备，用于实时采集被测对象动作时的传感数据，并将所述传感数据发送给处理设备；
10.所述处理设备，用于获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物，基于动作指令使所述虚拟物在vr场景中展示动作，将所述vr场景发送给所述头戴vr设备；获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果。
11.在本发明提供的一些实施例中，所述动作捕捉设备包括：
12.传感器单元，用于实时采集被测对象动作时的传感数据；
13.数据发送单元，用于将所述传感数据发送给动作驱动单元。
14.在本发明提供的一些实施例中，所述处理设备包括：
15.场景创建单元，用于获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物；
16.场景输出单元，用于基于动作指令使所述虚拟物在vr场景中展示动作，将所述vr场景发送给所述头戴vr设备；
17.动作评估单元，用于获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果。
18.在本发明提供的一些实施例中，所述处理设备还包括：
19.内容更新单元，用于根据所述动作评估结果推送预设训练内容并生成新的评估内容。
20.在本发明提供的一些实施例中，所述场景创建单元包括：
21.场景搭建模块，用于根据预设评估内容进行场景的搭建并拍摄，以得到场景视频数据；
22.虚拟物模型模块，用于在所述vr场景中预设的起始位置生成虚拟物；其中，所述起始位置为所述头戴vr设备在vr场景中对应的初始位置；
23.实体模型模块，用于对所述场景视频数据中的各个实体模型进行识别，确定每个所述实体模型的位置信息；
24.标准模型模块，用于基于标准模型数据库调取与所述实体模型相对应的多个标准模型；
25.场景形成模块，用于结合所述实体模型的位置信息将所述标准模型构建成与所述实体模型搭建的场景相一致的三维数字模型，将所述三维数字模型作为vr场景。
26.在本发明提供的一些实施例中，所述动作评估单元包括：
27.标准获取模块，用于获取被测对象的动作信息采集标准；
28.模型创建模块，用于根据所述动作信息采集标准与标准录制样本动作得到评估模型；
29.评估分析模块，用于根据所述评估模型对当前被测对象的动作进行评估分析。
30.在本发明提供的一些实施例中，所述模型创建模块包括：
31.坐标获取子模块，用于利用传感器单元获取需要评估的被测肢体部位的坐标信息，以传感器单元的坐标轴为标准，保存为样本矩阵数据；
32.模型训练子模块，用于利用所述的样本矩阵数据，通过tensorflow搭建神经网络评估模型，并将获取到的多组肢体部位的样本矩阵数据输所述入神经网络评估模型进行模型的训练，得到所述的评估模型。
33.第二方面，在本发明提供的另一个优选实施方式中，提供了一种基于虚拟现实技能训练的评估方法，所述方法包括：
34.获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物；
35.基于动作指令使所述虚拟物在vr场景中展示动作，将所述vr场景发送给所述头戴
vr设备；
36.获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；
37.根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果。
38.在本发明提供的一些实施例中，所述基于所述预设评估内容创建vr场景的步骤包括：
39.根据预设评估内容进行场景的搭建并拍摄，以得到场景视频数据；
40.在所述vr场景中预设的起始位置生成虚拟物；其中，所述起始位置为所述动作捕捉设备在vr场景中对应的所述头戴vr设备上预设的起始位置；
41.对所述场景视频数据中的各个实体模型进行识别，确定每个所述实体模型的位置信息；
42.基于标准模型数据库调取与所述实体模型相对应的多个标准模型；
43.结合所述实体模型的位置信息将所述标准模型构建成与所述实体模型搭建的场景相一致的三维数字模型，将所述三维数字模型作为vr场景。
44.在本发明提供的一些实施例中，所述对所述动作数据进行分析，得到当前被测对象动作的分析结果的步骤包括：
45.获取被测对象的动作信息采集标准；
46.根据所述动作信息采集标准与标准录制样本动作得到评估模型；
47.根据所述评估模型对当前被测对象的动作进行评估分析。
48.与现有技术相比，本发明实施例提供的基于虚拟现实技能训练的评估系统的优势在于：本发明实施例提供的评估系统通过头戴vr设备接收自所述处理设备发送的vr场景并显示；通过动作捕捉设备实时采集被测对象动作时的传感数据；通过处理设备，获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物，基于动作指令使所述虚拟物在vr场景中展示动作；获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果，能够根据需要进行技能评估的人员自身的学习水平的不同，提供vr场景的指导，并根据指导指令，使用者作出相应动作，通过获取使用者的动作数据，并对动作数据进行分析评估，得到对使用者的动作评估结果，从而在无人监督，使用者独自进行技能训练时，能够及时知晓当前技能训练动作是否标准，提高了技能训练的效果。
附图说明
49.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
50.图1为本发明实施例提供的一种基于虚拟现实技能训练的评估系统的结构框图；
51.图2为本发明实施例提供的一种基于虚拟现实技能训练的评估系统中场景创建单元的结构框图；
52.图3为本发明实施例提供的一种基于虚拟现实技能训练的评估系统中动作评估单元的结构框图；
53.图4为本发明实施例提供的一种基于虚拟现实技能训练的评估方法的实现流程图；
54.图5为本发明实施例提供的一种基于虚拟现实技能训练的评估方法的一个子流程图；
55.图6为本发明实施例提供的一种基于虚拟现实技能训练的评估方法的另一个子流程图；
56.图7为本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
57.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.目前，由于技能训练评估的条件限制，仍有大量的人员对技能训练的评估有着迫切需求，由于需要进行技能评估的人员自身的学习水平不同，且无人监督，在独自的进行技能训练时，既不知道技能训练动作是否标准，降低了技能训练的效果。
59.为解决上述问题，本发明实施例提供的基于虚拟现实技能训练的评估系统，通过头戴vr设备接收自所述处理设备发送的vr场景并显示；通过动作捕捉设备实时采集被测对象动作时的传感数据；通过处理设备，获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物，基于动作指令使所述虚拟物在vr场景中展示动作；获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果，能够根据需要进行技能评估的人员自身的学习水平的不同，提供vr场景的指导，并根据指导指令，使用者作出相应动作，通过获取使用者的动作数据，并对动作数据进行分析评估，得到对使用者的动作评估结果，从而在无人监督，使用者独自进行技能训练时，能够及时知晓当前技能训练动作是否标准，提高了技能训练的效果。
60.在本发明实施例中，所述头戴vr设备是一种可穿戴于用户头部，且在用户眼睛前有一显示屏幕，常见的头戴vr设备以眼镜、头盔的形式存在。
61.在本发明实施例中，所述处理设备是能够提供图像信息对比功能的终端设备，例如平板电脑、笔记本电脑、台式计算机，也可以是具有图像信息处理能力的显示适配器，例如显卡，但并不局限于此。
62.图1为本发明实施例提供的一种基于虚拟现实技能训练的评估系统的结构示意图，为了便于说明，仅示出与本发明实施例相关的部分。
63.如图1所示，在本发明提供的一个优选实施例中，所述的基于虚拟现实技能训练的评估系统包括头戴vr设备100、动作捕捉设备200和处理设备300；
64.在本发明提供的优选实施方式中，所述头戴vr设备100与所述处理设备300之间、所述动作捕捉设备200与所述处理设备300之间均通过网络建立通信连接，用于所述头戴vr设备100与所述处理设备300之间、所述动作捕捉设备200与所述处理设备300之间的数据传输，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
65.其中：
66.所述头戴vr设备100，用于接收自所述处理设备300发送的vr场景并显示；
67.在本发明提供的优选实施方式中，为更方便在用户的视野范围内显示vr场景所述的头戴vr设备100以眼镜、头盔的形式存在。
68.所述动作捕捉设备200，用于实时采集被测对象动作时的传感数据，并将所述传感数据发送给处理设备300；
69.在本发明实施例中，为更方便的获取测对象动作时的传感数据，将用于捕捉被测对象肢体动作的传感器放置在被测对象的肢体上，常见的是在被测对象的各个肢体上分别设置多个传感器装置，根据所述传感器的空间位置变化，将所述多个传感器获取的动作数据经过融合即可实时采集被测对象动作时的传感数据。
70.所述处理设备300，用于获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物，基于动作指令使所述虚拟物在vr场景中展示动作，将所述vr场景发送给所述头戴vr设备100；获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果。
71.在本发明实施例中，为实现对vr场景的创建，首先根据预设评估内容进行场景的搭建并拍摄，以得到场景视频数据；在所述vr场景中预设的起始位置生成虚拟物；其中，所述起始位置为所述头戴vr设备100在vr场景中对应的初始位置；对所述场景视频数据中的各个实体模型进行识别，确定每个所述实体模型的位置信息；基于标准模型数据库调取与所述实体模型相对应的多个标准模型；结合所述实体模型的位置信息将所述标准模型构建成与所述实体模型搭建的场景相一致的三维数字模型，将所述三维数字模型作为vr场景。
72.在本发明提供的一些实施例中，所述动作捕捉设备包括：
73.传感器单元201，用于实时采集被测对象动作时的传感数据；
74.在本发明实施例中，被测对象上穿戴的动作捕捉设备中的各种动作捕捉传感器，在被测对象运动时，可以采集被测对象的肢体位置、姿态等信息。
75.其中，在本发明实施例中，所述的传感器单元201包括但局限于：上肢动作捕捉传感器、下肢动作捕捉传感器、躯干动作捕捉传感器、头部动作捕捉传感器、手部动作捕捉传感器和脚部动作捕捉传感器。
76.数据发送单元202，用于将所述传感数据发送给动作驱动单元。
77.在本发明提供的一些实施例中，所述处理设备300包括：
78.场景创建单元301，用于获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物；
79.场景输出单元302，用于基于动作指令使所述虚拟物在vr场景中展示动作，将所述vr场景发送给所述头戴vr设备100；
80.动作评估单元303，用于获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果。
81.在本发明提供的一些实施例中，所述处理设备300还包括：
82.内容更新单元304，用于根据所述动作评估结果推送预设训练内容并生成新的评
估内容。
83.图2示例性的示出了本发明实施例提供的一种基于虚拟现实技能训练的评估系统中场景创建单元的结构框图；
84.如图2所示，在本发明提供的一些实施例中，所述场景创建单元301包括：
85.场景搭建模块3011，用于根据预设评估内容进行场景的搭建并拍摄，以得到场景视频数据；
86.虚拟物模型模块3012，用于在所述vr场景中预设的起始位置生成虚拟物；其中，所述起始位置为所述头戴vr设备100在vr场景中对应的初始位置；
87.实体模型模块3013，用于对所述场景视频数据中的各个实体模型进行识别，确定每个所述实体模型的位置信息；
88.标准模型模块3014，用于基于标准模型数据库调取与所述实体模型相对应的多个标准模型；
89.场景形成模块3015，用于结合所述实体模型的位置信息将所述标准模型构建成与所述实体模型搭建的场景相一致的三维数字模型，将所述三维数字模型作为vr场景。
90.图3示例性的示出了本发明实施例提供的一种基于虚拟现实技能训练的评估系统中动作评估单元的结构框图；
91.如图3所示，在本发明提供的一些实施例中，所述动作评估单元303包括：
92.标准获取模块3031，用于获取被测对象的动作信息采集标准；
93.模型创建模块3032，用于根据所述动作信息采集标准与标准录制样本动作得到评估模型；
94.评估分析模块3033，用于根据所述评估模型对当前被测对象的动作进行评估分析。
95.进一步的，在本发明提供的一些优选实施例中，所述模型创建模块3032包括：
96.坐标获取子模块30321，用于利用传感器单元获取需要评估的被测肢体部位的坐标信息，以传感器单元的坐标轴为标准，保存为样本矩阵数据；
97.模型训练子模块30322，用于利用所述的样本矩阵数据，通过tensorflow搭建神经网络评估模型，并将获取到的多组肢体部位的样本矩阵数据输所述入神经网络评估模型进行模型的训练，得到所述的评估模型。
98.图4为本发明实施例提供的一种基于虚拟现实技能训练的评估方法的实现流程图；
99.如图4所示，在本发明提供的另一个优选实施方式中，提供了一种基于虚拟现实技能训练的评估方法，所述方法包括：
100.步骤s401：获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物；
101.步骤s402：基于动作指令使所述虚拟物在vr场景中展示动作，将所述vr场景发送给所述头戴vr设备；
102.步骤s403：获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；
103.步骤s404：根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结
果。
104.图5为本发明实施例提供的一种基于虚拟现实技能训练的评估方法的一个子流程图；
105.如图5所示，在本发明提供的一些实施例中，所述基于所述预设评估内容创建vr场景的步骤s401包括：
106.s4011:根据预设评估内容进行场景的搭建并拍摄，以得到场景视频数据；
107.s4012:在所述vr场景中预设的起始位置生成虚拟物；其中，所述起始位置为所述动作捕捉设备在vr场景中对应的所述头戴vr设备上预设的起始位置；
108.s4013:对所述场景视频数据中的各个实体模型进行识别，确定每个所述实体模型的位置信息；
109.s4014:基于标准模型数据库调取与所述实体模型相对应的多个标准模型；
110.s4015:结合所述实体模型的位置信息将所述标准模型构建成与所述实体模型搭建的场景相一致的三维数字模型，将所述三维数字模型作为vr场景。
111.图6为本发明实施例提供的一种基于虚拟现实技能训练的评估方法的另一个子流程图；
112.如图6所示，在本发明提供的一些实施例中，所述对所述动作数据进行分析，得到当前被测对象动作的分析结果的步骤s403包括：
113.步骤s4031:获取被测对象的动作信息采集标准；
114.步骤s4032:根据所述动作信息采集标准与标准录制样本动作得到评估模型；
115.步骤s4033:根据所述评估模型对当前被测对象的动作进行评估分析。
116.综上所述，本发明实施例提供的基于虚拟现实技能训练的评估系统的优势在于：本发明实施例提供的评估系统通过头戴vr设备接收自所述处理设备发送的vr场景并显示；通过动作捕捉设备实时采集被测对象动作时的传感数据；通过处理设备，获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物，基于动作指令使所述虚拟物在vr场景中展示动作；获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果，能够根据需要进行技能评估的人员自身的学习水平的不同，提供vr场景的指导，并根据指导指令，使用者作出相应动作，通过获取使用者的动作数据，并对动作数据进行分析评估，得到对使用者的动作评估结果，从而在无人监督，使用者独自进行技能训练时，能够及时知晓当前技能训练动作是否标准，提高了技能训练的效果。
117.图7为本发明实施例提供的一种计算机设备的结构框图。
118.如图7所示，本发明实施例提供一种计算机设备，该计算机设备500包括处理器502，所述处理器502用于执行存储器501中存储的计算机程序时实现上述实施例所提供的基于虚拟现实技能训练的评估方法的步骤。所述方法包括：
119.获取预设评估内容，基于所述预设评估内容创建vr场景，所述vr场景中有虚拟物；
120.基于动作指令使所述虚拟物在vr场景中展示动作，将所述vr场景发送给所述头戴vr设备；
121.获取被测对象的动作数据；对所述动作数据进行分析，得到当前被测对象动作的分析结果；
122.根据所述动作指令和所述分析结果，得出当前被测对象的动作评估结果。
123.进一步的，在本发明提供的实时例中，所述的计算机设备500还具有通讯接口503，用于接收控制指令。
124.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。例如，计算机程序可以被分割成上述各个方法实施例提供的基于虚拟现实技能训练的评估方法的步骤。
125.本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
126.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
127.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
128.所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信号以及软件分发介质等。
129.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。