基于眼球追踪的智能驾驶评估训练方法、系统与流程

1.本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于眼球追踪的智能驾驶评估训练方法系统。


背景技术：

2.由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
3.虚拟现实或者混合现实头盔显示器(hmd)通常用于体验虚拟环境，各种hmd包括捕捉用户环境图像(例如，场景)的场景相机和向用户显示图像的显示器。
4.虚拟现实技术可以创建虚拟的计算机仿真系统给用户带来接近真实世界的体验，因此虚拟现实技也可以进行驾驶训练，现在市场上也已经出现了基于虚拟现实系统实现的驾驶训练设备，但上述驾驶训练设备不能根据眼球跟踪信息及驾驶实况进行深入数据分析，导致驾驶训练设备评估、训练不准确。
5.因此，亟需一种能够对用户驾驶进行评估，同时生成适合该用户的训练参数，对用户进行训练的基于眼球追踪的智能驾驶评估训练方法、系统。


技术实现要素：

6.鉴于上述问题，本发明的目的是提供一种基于眼球追踪的智能驾驶评估训练方法、系统，以解决现有驾驶训练设备不能根据眼球跟踪信息及驾驶实况进行深入数据分析，导致驾驶训练设备评估、训练不准确的问题。
7.本发明提供的一种基于眼球追踪的智能驾驶评估训练方法，包括：
8.获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将所述眼球追踪样本信息、所述车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
9.将所述样本数据输入pnn模型以生成驾驶测评模型；
10.采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
11.根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练。
12.优选地，获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息的过程，包括：
13.通过vr头戴追踪所述驾驶人员的眼球以获取所述驾驶人员的眼球追踪样本信息，并通过vr虚拟驾驶游戏获取所述驾驶人员根据所述vr虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息。
14.优选地，通过vr虚拟驾驶游戏获取所述驾驶人员根据所述vr虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息的过程，包括：
15.通过unity3d创建vr虚拟驾驶游戏；
16.在所述vr虚拟驾驶游戏中创建驾驶情境和障碍关卡；
17.基于所述驾驶情境和所述障碍关卡发出关于车速及姿势的指令；
18.获取所述驾驶人员根据所述指令进行驾驶操作的车辆驾驶样本信息。
19.优选地，所述眼球追踪样本信息包括眼球运动数据和瞳孔移动数据。
20.优选地，所述车辆驾驶样本信息包括车辆运行轨迹、运行车速、障碍信息和驾驶结果。
21.优选地，将所述样本数据输入pnn模型以生成驾驶测评模型的过程，包括：
22.将所述眼球追踪样本信息的三维向量作为第一数据；将所述车辆运行轨迹与所述运行车速构成的四维向量作为第二数据；将所述车辆运行轨迹、所述运行车速与所述障碍物信息构成的五维向量作为第三数据；
23.将所述第一数据、所述第二数据、所述第三数据作为所述pnn模型的输入量，并将所述驾驶等级结果作为所述pnn模型的期望输出矢量进行反复训练以获取预测驾驶模型；
24.通过已知驾驶等级结果的车辆驾驶数据对所述预测驾驶模型进行测试验证；其中，若所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果不一致，则继续对所述预测驾驶模型进行反复训练直至所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果相一致；若所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果相一致，则将所述预测驾驶模型作为驾驶测评模型。
25.优选地，采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果的过程，包括：
26.将所述驾驶测评模型存储在所述vr虚拟驾驶游戏中以生成vr虚拟驾驶测试模块；
27.通过vr头戴追踪所述用户的眼球以获取所述用户的眼球追踪信息，通过所述vr虚拟驾驶测试模块中的vr虚拟驾驶游戏获取所述用户的车辆驾驶信息；
28.通过所述vr虚拟驾驶测试模块中的驾驶测评模型根据所述眼球追踪信息与所述车辆驾驶信息获取所述用户的驾驶测评结果；其中，所述驾驶测评结果至少包括所述用户的驾驶等级结果。
29.优选地，根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练的过程，包括：
30.根据所述驾驶测评结果对所述用户的车速和障碍物进行放大或缩小调节以生成驾驶训练模型；
31.基于所述驾驶训练模型获取所述用户的训练结果，并根据所述训练结果对所述驾驶训练模型进行参数调整以针对所述用户进行驾驶训练。
32.本发明还提供一种基于眼球追踪的智能驾驶评估训练系统，用于实现前述的基于眼球追踪的智能驾驶评估训练方法，包括：
33.样本获取模块，用于获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将所述眼球追踪样本信息、所述车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
34.模型训练模块，用于将所述样本数据输入pnn模型以生成驾驶测评模型；
35.驾驶测评模块，用于采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶
测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
36.驾驶训练模块，用于根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练。
37.优选地，所述样本获取模块与所述驾驶测评模块包括vr头戴和vr虚拟驾驶游戏，其中，
38.所述vr头戴用于追踪所述驾驶人员的眼球以获取所述驾驶人员的眼球追踪样本信息，也用于追踪所述用户的眼球以获取所述用户的眼球追踪信息；
39.所述vr虚拟驾驶游戏用于获取所述驾驶人员根据所述vr虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息，也用于获取所述用户的车辆驾驶信息。
40.从上面的技术方案可知，本发明提供的基于眼球追踪的智能驾驶评估训练方法、系统，首先获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，再将眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据，再将该样本数据输入pnn模型以生成驾驶测评模型，而后采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果，再根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练，即通过获取的眼球运动数据体现出用户的观察习惯和预判能力，并通过基于pnn神经网络的模型设计出合理的驾驶测评模型，而后通过该驾驶测评模型对包含眼球运动数据在内的数据进行处理和分析对用户驾驶进行评估，同时生成适合该用户的训练参数，以对用户进行训练依靠眼球追踪数据，能够结合vr设备对驾驶进行训练，并着重改善用户的驾驶习惯，提高用户的驾驶观察能力。
附图说明
41.通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
42.图1为根据本发明实施例的基于眼球追踪的智能驾驶评估训练方法的流程图；
43.图2为根据本发明实施例的基于眼球追踪的智能驾驶评估训练系统的示意图。
具体实施方式
44.虚拟现实技术可以创建虚拟的计算机仿真系统给用户带来接近真实世界的体验，因此虚拟现实技也可以进行驾驶训练，现在市场上也已经出现了基于虚拟现实系统实现的驾驶训练设备，但上述驾驶训练设备不能根据眼球跟踪信息及驾驶实况进行深入数据分析，导致驾驶训练设备评估、训练不准确。
45.针对上述问题，本发明提供一种基于眼球追踪的智能驾驶评估训练方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
46.为了说明本发明提供的基于眼球追踪的智能驾驶评估训练方法、系统，图1对本发明实施例的基于眼球追踪的智能驾驶评估训练方法进行了示例性标示；图2对本发明实施例的基于眼球追踪的智能驾驶评估训练系统进行了示例性标示。
47.以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在
适当情况下，所述技术和设备应当被视为说明书的一部分。
48.如图1所示，本发明提供的本发明实施例的基于眼球追踪的智能驾驶评估训练方法，包括：
49.s1：获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将该眼球追踪样本信息、该车辆驾驶样本信息与该驾驶人员的驾驶等级结果相映射以作为样本数据；
50.s2：将该样本数据输入pnn模型以生成驾驶测评模型；
51.s3：采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
52.s4：根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练。
53.如图1所示，在步骤s1中获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息的过程，包括：
54.s11：通过vr头戴追踪驾驶人员的眼球以获取驾驶人员的眼球追踪样本信息，并通过vr虚拟驾驶游戏获取驾驶人员根据vr虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息。
55.其中，通过vr虚拟驾驶游戏获取驾驶人员根据vr虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息的过程，包括：
56.s111：通过unity3d创建vr虚拟驾驶游戏；
57.s112：在vr虚拟驾驶游戏中创建驾驶情境和障碍关卡；
58.s113：基于驾驶情境和障碍关卡发出关于车速及姿势的指令；
59.s114：获取驾驶人员根据指令进行驾驶操作的车辆驾驶样本信息；
60.其中，该眼球追踪样本信息包括眼球运动数据和瞳孔移动数据等关于眼球的追踪数据；
61.该车辆驾驶样本信息包括车辆运行轨迹、运行车速、障碍信息和驾驶结果等关于驾驶人员驾驶该vr虚拟驾驶游戏的数据。
62.具体的，首先使用unity3d制作vr虚拟驾驶游戏，设计游戏关卡，模拟真实路况和驾驶情景，并对用户提出车速和驾驶要求，模拟多种路况和驾驶操作，即创建一个具有驾驶情境和障碍关卡的仿真vr虚拟驾驶游戏，而后使驾驶人员根据该vr虚拟游戏中数据获取关卡发出的指令进行操作，从而该vr虚拟游戏获取该驾驶人员的车辆驾驶样本信息，并且同时该驾驶人员佩戴有与与该vr虚拟游戏相匹配的vr头戴，以使该vr头戴获取该驾驶人员的眼球追踪样本信息，为接下来训练pnn模型提供数据支持。
63.如图1所示，在步骤s2中，将样本数据输入pnn模型以生成驾驶测评模型的过程，包括：
64.s21：将眼球追踪样本信息的三维向量作为第一数据；将车辆运行轨迹与运行车速构成的四维向量作为第二数据；将车辆运行轨迹、运行车速与障碍物信息构成的五维向量作为第三数据；
65.s22：将第一数据、第二数据、第三数据作为pnn模型的输入量，并将驾驶等级结果作为pnn模型的期望输出矢量进行反复训练以获取预测驾驶模型；
66.s23：通过已知驾驶等级结果的车辆驾驶数据对预测驾驶模型进行测试验证；其中，若预测驾驶模型根据车辆驾驶数据输出的预测结果与已知的驾驶等级结果不一致，则
继续对预测驾驶模型进行反复训练直至预测驾驶模型根据所述车辆驾驶数据输出的预测结果与已知的驾驶等级结果相一致；若预测驾驶模型根据车辆驾驶数据输出的预测结果与已知的驾驶等级结果相一致，则将预测驾驶模型作为驾驶测评模型。
67.该pnn(probabilistic neural networks,pnn)模型为概率神经网络，是由d.f.specht在1990年提出的，主要思想是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，是一种以parzen窗口函数为激活函数的一种前馈网络模型。
68.具体的，首先将眼球追踪样本信息(x1，y1，z1)的三维向量作为第一数据x1；将车辆运行轨迹(x2，y2，z2)与运行车速(u)构成的四维向量作为第二数据x2；将车辆运行轨迹(x2，y2，z2)、运行车速(u)与障碍物信息(v)构成的五维向量作为第三数据x3，而后将该第一数据x1、第二数据x2、第三数据x3作为该pnn模型的输入量，并将驾驶人员的驾驶等级结果作为pnn模型的期望输出矢量进行反复训练以获取预测驾驶模型，再对该预测驾驶模型进行测试验证，若验证通过则将该预测驾驶模型作为驾驶测评模型。
69.如图1所示，在步骤s3中，采集用户的眼球追踪信息和车辆驾驶信息，并通过驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果的过程，包括：
70.s31：将驾驶测评模型存储在vr虚拟驾驶游戏中以生成vr虚拟驾驶测试模块；
71.s32：通过vr头戴追踪用户的眼球以获取用户的眼球追踪信息，通过vr虚拟驾驶测试模块中的vr虚拟驾驶游戏获取用户的车辆驾驶信息；
72.s33：通过vr虚拟驾驶测试模块中的驾驶测评模型根据眼球追踪信息与车辆驾驶信息获取用户的驾驶测评结果；其中，驾驶测评结果至少包括用户的驾驶等级结果；
73.其中，该眼球追踪样本信息包括用户的眼球运动数据和瞳孔移动数据；
74.该车辆驾驶样本信息包括用户在vr虚拟驾驶游戏中的车辆运行轨迹、运行车速、障碍信息和驾驶结果。
75.具体的，用户使用vr虚拟驾驶测试模块中的vr虚拟驾驶游戏的驾驶测评关卡进行驾驶操作，驾驶模拟模块收集眼球运动数据、车速、车辆运动轨迹、障碍信息，并根据该眼球运动数据、车速、车辆运动轨迹、障碍信息自动计算评算出该用户的驾驶等级结果。
76.如图1所示，在步骤s4中，根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练的过程，包括：
77.s41：根据该驾驶测评结果对该用户的车速和障碍物进行放大或缩小调节以生成驾驶训练模型；
78.s42：基于该驾驶训练模型获取该用户的训练结果，并根据该训练结果对该驾驶训练模型进行参数调整以针对该用户进行驾驶训练；
79.具体的，步骤s4为根据用户的驾驶测评结果进行参数调节以生成适合该用户的驾驶训练模型的过程。
80.在本实施例中，根据该驾驶测评结果对该用户的车速和障碍物进行放大或缩小调节以生成驾驶训练模型即在原来的vr虚拟驾驶游戏中进行参数调节生成适合该用户的训练关卡，也就是说该vr虚拟驾驶游戏至少包括三个关卡，分别为步骤s1中获取驾驶人员根据指令进行驾驶操作的车辆驾驶样本信息的数据获取关卡，和步骤s3中供用户驾驶等级结
果测评计算使用的驾驶测评关卡，和步骤s4中根据该训练结果进行参数调整后针对该用户进行驾驶训练使用的训练关卡，三个关卡均属于vr虚拟驾驶游戏，但三个关卡相互独立且彼此关联，即数据获取关卡获取数据后作为数据输入反复训练pnn模型以生成驾驶测评模型，而后由驾驶测评关卡获取用户的车辆驾驶信息，从而将该车辆驾驶信息输入该驾驶测评模型，以使该驾驶测评评测出该用户的驾驶测评结果，而后根据该驾驶测评结果对该vr虚拟游戏进行参数调整生成适合该用的训练关卡(驾驶训练模型)，从而根据该用户的自身情况对该用户进行驾驶训练。
81.如上所述，本发明提供的基于眼球追踪的智能驾驶评估训练方法，首先获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，再将眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据，再将该样本数据输入pnn模型以生成驾驶测评模型，而后采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果，再根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练，即通过获取的眼球运动数据体现出用户的观察习惯和预判能力，并通过基于pnn神经网络的模型设计出合理的驾驶测评模型，而后通过该驾驶测评模型对包含眼球运动数据在内的数据进行处理和分析对用户驾驶进行评估，同时生成适合该用户的训练参数，以对用户进行训练依靠眼球追踪数据，能够结合vr设备对驾驶进行训练，并着重改善用户的驾驶习惯，提高用户的驾驶观察能力。
82.如图2所示，本发明还提供一种基于眼球追踪的智能驾驶评估训练系统100，用于实现前述的基于眼球追踪的智能驾驶评估训练方法，包括：
83.样本获取模块101，用于获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将该眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
84.模型训练模块102，用于将样本数据输入pnn模型以生成驾驶测评模型；
85.驾驶测评模块103，用于采集用户的眼球追踪信息和车辆驾驶信息，并通过驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
86.驾驶训练模块104，用于根据驾驶测评结果生成驾驶训练模型以针对用户进行驾驶训练。
87.其中，该样本获取模块与该驾驶测评模块包括vr头戴和vr虚拟驾驶游戏，其中，
88.该vr头戴用于追踪该驾驶人员的眼球以获取该驾驶人员的眼球追踪样本信息，也用于追踪该用户的眼球以获取该用户的眼球追踪信息；
89.该vr虚拟驾驶游戏用于获取该驾驶人员根据该vr虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息，也用于获取该用户的车辆驾驶信息。
90.通过上述实施方式可以看出，本发明提供基于眼球追踪的智能驾驶评估训练系统100，首先通过样本获取模块101获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，再将眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据，再通过模型训练模块102将该样本数据输入pnn模型以生成驾驶测评模型，而后通过驾驶测评模块103采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果，再通过驾驶训练模块104根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练，即通过获取的
眼球运动数据体现出用户的观察习惯和预判能力，并通过基于pnn神经网络的模型设计出合理的驾驶测评模型，而后通过该驾驶测评模型对包含眼球运动数据在内的数据进行处理和分析对用户驾驶进行评估，同时生成适合该用户的训练参数，以对用户进行训练依靠眼球追踪数据，能够结合vr设备对驾驶进行训练，并着重改善用户的驾驶习惯，提高用户的驾驶观察能力。
91.如上参照附图以示例的方式描述了根据本发明提出的基于眼球追踪的智能驾驶评估训练方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于眼球追踪的智能驾驶评估训练方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。