模拟驾驶控制方法、系统、驾驶模拟器及存储介质与流程

文档序号:33195444发布日期:2023-02-04 11:27阅读:55来源:国知局
模拟驾驶控制方法、系统、驾驶模拟器及存储介质与流程

1.本技术涉及车辆模拟驾驶技术领域,尤其涉及一种模拟驾驶控制方法、系统、驾驶模拟器及存储介质。


背景技术:

2.在驾校考试过程中,为了辅助学员更好地进行驾驶学习,现有技术使用虚拟现实技术复原驾校科目二、科目三的训练场或考场,根据科目二、科目三的教学规范和考试规则开发出驾校学员模拟训练软件,将该软件运行在驾驶模拟器上,使得学员可以在驾驶模拟器上对科目二、科目三进行模拟练车。
3.在模拟练车过程中,通过驾驶模拟器上的离合、刹车、油门、转向、挡位、手刹、灯光、雨刷、点火开关等信号采集装置,可以采集学员手和脚的驾驶操作数据,然后对比科目二、科目三的教学规范或考试规则,发现学员操作的不规范或不正确之处,进行错误提示或评分,辅助学员提升驾驶技能。
4.学员在模拟练车时,从信息触发、信息接收、信息加工到做出反应是一个比较复杂的过程,任何一个环节出差错都会导致错误的结果。现有技术仅能从学员已经做出的操作对比应该做出的操作给出简单直接、机械死板的错误提示或评分,无法从根源上分析和发现学员错误操作的原因,因此无法给出针对性的指导意见,导致模拟练车效率较低,效果不佳。


技术实现要素:

5.本技术的多个方面提供一种模拟驾驶控制方法、系统、驾驶模拟器及存储介质,用以从根源上分析和发现学员错误操作的原因,针对性的给出反馈信息并输出,有效提高练车效率和效果。
6.本技术实施例提供一种模拟驾驶控制方法,包括:响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶,虚拟驾驶场景中包括需要驾驶人员观察的至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件;在模拟驾驶过程中,采集驾驶人员的眼动数据,眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,目标屏幕是呈现虚拟驾驶场景的屏幕;根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围;根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息;根据驾驶人员对每个目标视景的观察结果信息生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。
7.本技术实施例还提供一种模拟驾驶控制系统,包括:视景模块,用于展示虚拟驾驶场景,虚拟驾驶场景中包括需要驾驶人员观察的至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件;驾驶控制模块,用于响应驾驶人员操作驾驶
模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶;采集模块,用于在模拟驾驶过程中,采集驾驶人员的眼动数据,眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,目标屏幕是呈现虚拟驾驶场景的屏幕;计算模块,用于根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围;以及根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息;反馈模块,用于根据驾驶人员对每个目标视景的观察结果信息生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。
8.本技术实施例还提供一种驾驶模拟器,包括:模拟器本体,以及与模拟器本体通信连接的电脑主机;其中,模拟器本体上设置有各种驾驶部件;电脑主机包括存储器和处理器,存储器用于存储计算机程序,处理器,用于执行计算机程序,以用于执行本技术实施例提供的模拟驾驶控制方法中的步骤。
9.本技术实施例还提供一种模拟驾驶控制系统,包括:驾驶模拟器和服务端设备;驾驶模拟器至少包括模拟器本体,模拟器本体上设置有各种驾驶部件;驾驶模拟器,用于响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶,将车辆模型在虚拟驾驶场景中的驾驶状态上报给服务端设备,所述虚拟驾驶场景中包括需要驾驶人员观察的至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件;以及在模拟驾驶过程中,采集驾驶人员的眼动数据,并将眼动数据上传给服务端设备;眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,目标屏幕是呈现虚拟驾驶场景的屏幕;服务端设备,用于根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围;根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息,根据驾驶人员对每个目标视景的观察结果信息生成驾驶反馈信息,将驾驶反馈信息发送给驾驶模拟器;驾驶模拟器还用于:输出驾驶反馈引导信息,以引导驾驶人员进行模拟驾驶。
10.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质,当所述计算机程序被处理器执行时,致使所述处理器实现本技术实施例提供的模拟驾驶控制方法中的步骤。
11.在本技术实施例中,在虚拟驾驶场景中设置至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件,结合虚拟驾驶场景中车辆模型的驾驶状态可以确定每个目标视景的观察位置范围和观察时间范围,在模拟驾驶过程中,采集驾驶人员的眼动数据,根据眼动数据的注视位置和注视时间,比对每个目标视景的观察位置范围和观察时间范围,得到驾驶人员是否观察了目标视景,以及是否及时观察目标视景的观察结果信息,从根源上分析和发现驾驶人员错误操作的原因,针对性的给出反馈信息并输出,有效提高练车效率和效果。
附图说明
12.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本申
请的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
13.图1为本技术示例性实施例提供的一种模拟驾驶控制方法的流程示意图;
14.图2为本技术示例性实施例提供的一种分析驾驶行为的流程示意图;
15.图3为本技术示例性实施例提供的一种模拟驾驶控制系统的结构示意图;
16.图4为本技术示例性实施例提供的另一种模拟驾驶控制系统的结构示意图;
17.图5为本技术示例性实施例提供的一种驾驶模拟器的结构示意图。
具体实施方式
18.为使本技术的目的、技术方案和优点更加清楚,下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
19.现有技术中无法从根源上分析和发现学员错误操作的原因,因此无法给出针对性的指导意见,导致模拟练车效率较低,效果不佳的问题,在本技术实施例中,在虚拟驾驶场景中设置至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件,结合虚拟驾驶场景中车辆模型的驾驶状态可以确定每个目标视景的观察位置范围和观察时间范围,在模拟驾驶过程中,采集驾驶人员的眼动数据,根据眼动数据的注视位置和注视时间,比对每个目标视景的观察位置范围和观察时间范围,得到驾驶人员针对每个目标视景的观察结果信息,从根源上分析和发现驾驶人员错误操作的原因,针对性的给出反馈信息并输出,有效提高练车效率和效果。
20.以下结合附图,详细说明本技术各实施例提供的技术方案。
21.图1为本技术示例性实施例提供的一种模拟驾驶控制方法的流程示意图。如图1所示,该方法包括:
22.101、响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶,虚拟驾驶场景中包括需要驾驶人员观察的至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件;
23.102、在模拟驾驶过程中,采集驾驶人员的眼动数据,眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,目标屏幕是呈现虚拟驾驶场景的屏幕;
24.103、根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围;
25.104、根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息;
26.105、根据驾驶人员对每个目标视景的观察结果信息生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。
27.在本实施例中,驾驶模拟器是一种用于驾驶教学训练的教学设备,驾驶模拟器可以通过虚拟现实(virtual reality,vr)技术模拟车辆模型在虚拟驾驶场景中行驶。其中,车辆模型可以是任何能够在虚拟驾驶场景中行驶的车辆模型,例如,三维车辆模型虚拟驾驶场景可以是任何路况场景,例如,直角转弯场景、曲线行驶场景、倒车入库场景、侧方位停
车场景、坡道停车与起步场景等。
28.在本实施例中,驾驶模拟器包括用于模拟驾驶的驾驶部件,驾驶人员可以操作驾驶部件以实现对车辆模型的控制。驾驶模拟器可以响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶。其中,驾驶部件可以包含但不限于:离合(自动档不含)、刹车、油门、方向盘、挡位、手刹、灯光、雨刷、点火开关等;模拟驾驶操作可以包含但不限于:方向盘向左旋转半圈、踩离合器、松手刹、挂挡、开启转向灯或关闭雨刷等;车辆模型在虚拟驾驶场景中的驾驶状态可以包含但不限于:直行、转弯、刹车、加速、减速、倒车或上坡等。例如,驾驶人员操作驾驶模拟器上的刹车部件,驾驶模拟器可以响应于驾驶人员操作刹车部件产生的刹车操作,控制车辆模型处于减速状态;又例如,驾驶人员操作驾驶模拟器上的方向盘向左旋转,驾驶模拟器可以响应于驾驶人员操作方向盘产生的转弯操作,控制车辆模型处于转弯状态。
29.在本实施例中,无论对于哪种虚拟驾驶场景,虚拟驾驶场景中可以包括至少一个目标视景,目标视景是需要驾驶人员观察或关注的虚拟驾驶场景中的视景区域。例如,在虚拟驾驶场景实现为直行场景的情况下,目标实景可以包含但不限于:“起始白线”、“左边线”或“右边线”等;在虚拟驾驶场景实现为倒车入库场景的情况下,目标实景可以包含但不限于:“左后视镜”、“左后视镜下沿”、“左边缘”、“内门把手”或“库左前边线”等;在虚拟驾驶场景实现为侧方场景的情况下,目标实景可以包含但不限于:“右后视镜”、“右后库角”或“白线”等。需要说明的是,目标视景可以是预先标注在虚拟驾驶场景中的,进一步,目标视景可以突出显示在虚拟驾驶场景中,当然也可以不突出显示。
30.下面以教学方案为科目二倒车入库项目为例对目标视景进行说明,但并不限于此。
31.第一步:观察左后视镜,保持后视镜左边缘与白线重合,缓速行驶;
32.第二步:内门把手与起始白线对齐后,停车,挂倒挡;
33.第三步:起步倒车,当左后视镜下沿与起始白线重合时,迅速向右打满方向;
34.第四步:观察右后视镜,保持右后轮与右前库角30厘米距离倒车,直到车身顺直,迅速回正方向;
35.第五步:观察左后视镜,当其下沿与库左前边线重合时停车。
36.上述教学方案可以语音或文字的方式呈现,例如,在目标屏幕适当位置显示教学方案中的步骤,同时语音播报教学方案中的步骤。当然也可以不显示教学方案、不播报教学方案中的步骤。
37.其中,教学方案中的“左后视镜”、“左边缘”、“白线”、“内门把手”、“起始白线”、“左后视镜下沿”、“右后视镜”、“右后轮”、“右前库角”、“库左前边线”等,这些需要驾驶人员观察的视景区域像素坐标范围可以称为目标视景。
38.其中,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件。其中,观察位置参数指的是目标视景在虚拟驾驶场景中的位置参数,例如,可以是目标视景的尺寸信息,如长度信息或宽度信息,还可以是目标视景的尺寸信息和尺寸比例系数;观察时间参数是指驾驶人员观察目标视景的时间参数,例如,可以是一个时间范围值,如2s、5s或7s等,也可以是时间范围值及其时间比例系数,时间比例系数可以是0.1、0.5或0.7等,对此不做限定。观察触发条件是指开始观察目标视景需要满足的条件,该触发条件可以与车辆模
型的驾驶状态相关,如,触发条件可以是车辆模型的“内门把手”与“起始白线”对齐;倒车入库时,触发条件可以是车辆模型的“左后视镜下沿”与“库左前边线”重合。
39.在本实施例中,可以根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围,其中,观察位置范围主要是指驾驶人员需要观察的目标屏幕上的位置范围,观察时间范围主要限定了驾驶人员观看目标视景的开始时刻和最晚观察时刻,车辆模型的驾驶状态主要用于确定目标视景的观察触发条件。例如,车辆模型的驾驶状态(如右转弯状态)满足目标视景(如“右后视镜”)的观察触发条件,根据“右后视镜”关联的观察位置参数、观察时间参数和观察触发条件,生成“右后视镜”对应的观察位置范围和观察时间范围。又例如,车辆模型的驾驶状态(如倒车状态)满足目标视景(如“库边线”)的观察触发条件,根据“库边线”关联的观察位置参数、观察时间参数和观察触发条件,生成“库边线”对应的观察位置范围和观察时间范围。
40.在本实施例中,在模拟驾驶过程中,可以采集驾驶人员的眼动数据,眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,注视位置和注视时间具有对应关系,例如,注视时间是驾驶人员注视目标屏幕上的注视位置的时间,目标屏幕是呈现虚拟驾驶场景的屏幕。
41.其中,在模拟驾驶过程中,采集眼动数据的实施方式并不限定。在一可选实施例中,在模拟驾驶过程中,利用驾驶模拟器上外接的眼动仪,采集驾驶人员的眼动数据,此时,目标屏幕实现为驾驶模拟器的显示屏幕;其中,眼动仪是一种能够跟踪测量人眼球位置及眼球运动信息的设备,其工作原理是通过测量眼睛的注视点位置或眼球相对头部运动实现对眼球的追踪,从而采集驾驶人员的眼动数据,按照眼动仪使用要求将其安装在驾驶模拟器适当位置,例如,目标屏幕的前面或者目标屏幕的上方、下方、左边或右边等;将眼动仪连接到驾驶模拟器的电脑主机上,并安装眼动仪驱动、设置眼动仪的参数,以便采集驾驶人员的眼动数据。在另一可选实施例中,在模拟驾驶过程中,利用驾驶人员佩戴的vr眼镜上的眼动采集器,采集驾驶人员的眼动数据,此时,目标屏幕实现为vr眼镜的显示屏幕。
42.在本实施例中,在模拟驾驶过程中,采集到驾驶人员的眼动数据,眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,每个目标视景对应有观察位置范围和观察时间范围,则可以根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息。其中,观察结果信息包含但不限于:是否观察目标视景对应的观察位置范围,以及是否在观察时间范围内观察目标视景等。
43.在本实施例中,还可以根据驾驶人员对每个目标视景的观察结果信息生成驾驶反馈信息。其中,驾驶反馈信息可以包含观察结果信息;驾驶反馈信息也可以是针对驾驶结果信息,提供给驾驶人员的一些驾驶建议信息,例如,“请提高注意力”、“请及时观察门把手”或者“请观察左后视镜”等信息;驾驶反馈信息还可以同时包括驾驶结果信息和驾驶建议信息,例如,“未及时观察白线,请提高注意力”或“未观察门把手,请观察门把手”等。
44.在本实施例中,在生成反馈信息之后,还可以输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。其中,输出驾驶反馈信息的方式并不限定,例如,可以是以语音的方式输出、以文字或图片的形式输出在目标屏幕上,对此不做限定。
45.在本技术实施例中,在虚拟驾驶场景中设置至少一个目标视景,每个目标视景关
联有观察位置参数、观察时间参数和观察触发条件,结合虚拟驾驶场景中车辆模型的驾驶状态可以确定每个目标视景的观察位置范围和观察时间范围,在模拟驾驶过程中,采集驾驶人员的眼动数据,根据眼动数据的注视位置和注视时间,比对每个目标视景的观察位置范围和观察时间范围,得到驾驶人员针对每个目标视景的观察结果信息,从根源上分析和发现驾驶人员错误操作的原因,针对性的给出反馈信息并输出,有效提高练车效率和效果。
46.在一可选实施例中,可以将车辆模型出现满足观察触发条件的驾驶状态称为第一目标驾驶状态,例如,观察触发条件为:“方向盘”与“库左前边线”平齐,第一目标驾驶状态可以是车辆模型的“方向盘”与“库左前边线”平齐;又例如,观察触发条件为“右后视镜”与“右前库角”重合,第一目标驾驶状态可以是车辆模型的“右后视镜”与“右前库角”重合。基于此,针对每个目标视景,在车辆模型出现满足观察触发条件的第一目标驾驶状态时,可以根据第一目标驾驶状态出现的时刻和位置,结合该目标视景关联的观察位置参数和观察时间参数,生成该目标视景对应的观察位置范围和观察时间范围。例如,针对每个目标视景,根据第一目标驾驶状态出现的时刻,结合该目标视景关联的观察时间参数,生成该目标视景对应的观察时间范围;根据第一目标驾驶状态出现的位置,结合该目标视景关联的观察位置参数,生成该目标视景对应的观察位置范围。
47.可选地,针对每个目标视景,可以监测车辆模型是否出现满足目标视景对应的观察触发条件的第一目标驾驶状态;在车辆模型出现第一目标驾驶状态时,将第一目标驾驶状态出现的时间作为观察时间范围的起始时间,并根据该起始时间与观察时间参数生成观察时间范围的结束时间;将第一目标驾驶状态出现的位置作为观察位置范围的起始位置,并根据起始位置与观察位置参数生成观察位置范围的结束位置。
48.其中,根据观察时间参数的不同,生成观察时间范围的方式也有所不同。例如,观察时间参数实现为时间范围值,如2s,第一目标驾驶状态出现的时间即为观察时间范围的起始时间,如15:00,该起始时间与观察时间参数直接求和得到观察时间范围的结束时间,如15:02。又例如,观察时间参数实现为时间范围值和时间比例系数,如,时间范围值为10s,时间比例系数为0.3,第一目标驾驶状态出现的时间即为观察时间范围的起始时间,如14:00,该时间范围值与时间比例系数相乘后,得到观察时间参数为10s*0.3=3s,该起始时间与观察时间参数直接求和得到观察时间范围的结束时间,如14:03。
49.其中,观察位置范围的形状可以基于目标视景的形状而定,例如,若目标视景为白线,则观察位置范围的形状可以是白线的一部分;若目标视景为后视镜,则观察位置范围的形状可以是椭圆形或长方形等;若目标视景为方向盘,则观察位置范围的形状为圆形。其中,根据观察位置参数的不同,生成观察位置范围的方式也有所不同。例如,观察位置参数实现为目标视景的尺寸信息,如,后视镜的长度x0和宽度y0,将第一目标驾驶状态出现的位置作为观察位置范围的起始位置(x1,y1),观察位置范围的结束位置可以是(x1+x0,y1+y0),观察位置范围可以是起始位置(x1,y1)和结束位置(x1+x0,y1+y0)限定的区域,如,长方形区域,该起始位置(x1,y1)和结束位置(x1+x0,y1+y0)分别为长方形区域对角线上的两个点。又例如,观察位置参数实现为目标视景的尺寸信息和尺寸比例系数,如,目标屏幕中出现的白线的长度为x2,尺寸比例系数为0.5,观察位置参数可以是0.5*x2=x3,将第一目标驾驶状态出现的位置作为观察位置范围的起始位置(x4,y4),观察位置范围的结束位置可以是(x4+x3,y4+y3),此时,观察位置范围可以是白线的一部分,如,坐标为白线上坐标
(x4,y4)至坐标(x4+x3,y4+y3)的部分。
50.进一步可选地,在模拟驾驶过程中,车辆模型具有当前位置和当前视角,其中,当前位置是指车辆模型当前在虚拟驾驶场景中的位置信息,当前视角是指车辆模型当前在虚拟驾驶场景中的视角信息,如视角范围,当前视角中可以包含目标视景,随着当前视角的不断变化,当前视角中包含的目标视景也会变化。基于此,在模拟驾驶过程中,可以根据车辆模型的当前位置和当前视角,动态加载虚拟驾驶场景中的场景画面,在动态加载场景画面的过程中,至少一个目标视景按照一定画面加载顺序进行加载,虚拟驾驶场景中的场景画面可以在目标屏幕上展示动态展示。在所加载的场景画面包含目标视景的情况下,例如,加载的场景画面中包括:“内门把手”以及“后视镜”等目标视景的情况下,按照目标视景之间的观察顺序,确定当前待观察的目标视景。其中,目标视景之间的观察顺序可以是根据教学方案预先设定好的,例如,目标视景之间的观察顺序可以是先观察“内门把手”,再观察“后视镜”,可以先将“内门把手”作为当前待观察的目标视景,然后再将“后视镜”作为当前待观察的目标视景。可选地,为了便于驾驶人员学习或者观察,在加载的场景画面中突出显示当前待观察的目标视景,例如,通过高亮的背景展示当前待观察的目标视景,或者对当前待观察的目标视景进行放大,以突出显示。针对当前待观察的目标视景,不断确定车辆模型的驾驶状态,监测车辆模型是否出现满足当前待观察的目标视景对应的观察触发条件的第一目标驾驶状态。
51.在本实施例中,并不限定根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息的实施方式。其中,每个目标视景对应的观察位置范围是虚拟驾驶场景中的三维数据,而驾驶人员的眼动数据是目标屏幕上的二维数据,需要将观察位置范围和眼动数据的数据维度进行统一,以确定每个目标视景的观察结果信息。
52.在一可选实施例中,可以将虚拟驾驶场景中的三维数据,即观察位置范围转换成目标屏幕上的二维数据,然后再根据二维的观察位置范围和驾驶人员的眼动数据,确定驾驶人员对每个目标视景的观察结果信息。具体地,针对每个目标视景,将目标视景对应的观察位置范围从虚拟驾驶场景映射至目标屏幕上,得到目标视景在目标屏幕上对应的屏幕位置范围;将目标视景对应的屏幕位置范围和观察时间范围,分别与驾驶人员的眼动数据中的注视位置和注视时间进行匹配,得到驾驶人员对目标视景的观察结果信息。
53.在另一可选实施例中,可以将二维的眼动数据转换成虚拟驾驶场景中的三维数据,然后再根据三维的眼动数据和观察位置范围,确定驾驶人员对每个目标视景的观察结果信息。具体地,针对每个目标视景,将驾驶人员的眼动数据从目标屏幕映射至虚拟驾驶场景中,得到驾驶人员的眼动数据在虚拟驾驶场景中的眼动数据;将目标视景对应的屏幕位置范围和观察时间范围,分别与虚拟驾驶场景中的眼动数据中的注视位置和注视时间进行匹配,得到驾驶人员对目标视景的观察结果信息。
54.其中,在二维场景下,将目标视景对应的屏幕位置范围和观察时间范围,分别与虚拟驾驶场景中的眼动数据中的注视位置和注视时间进行匹配,得到驾驶人员对目标视景的观察结果信息,以及在三维场景下,将目标视景对应的屏幕位置范围和观察时间范围,分别与驾驶人员的眼动数据中的注视位置和注视时间进行匹配,得到驾驶人员对目标视景的观察结果信息的实施方式相同或相似,下面以在三维场景下,将目标视景对应的屏幕位置范
围和观察时间范围,分别与驾驶人员的眼动数据中的注视位置和注视时间进行匹配,得到驾驶人员对目标视景的观察结果信息的实施方式为例进行说明。
55.可选地,将目标视景对应的屏幕位置范围和观察时间范围,分别与驾驶人员的眼动数据中的注视位置和注视时间进行匹配;即,将目标视景对应的屏幕位置范围与驾驶人员的眼动数据中的注视位置进行匹配,将目标视景对应的观察时间范围,与驾驶人员的眼动数据中的注视时间进行匹配。为了便于区分和描述,将驾驶人员的眼动数据中包含的位于屏幕位置范围内的注视位置,称为第一注视位置。若眼动数据中包含第一注视位置,且该第一注视位置的注视时间位于观察时间范围内,生成第一观察结果信息,该第一观察结果信息表示驾驶人员在合适时间内观察过目标视景。若眼动数据中包含第一注视位置,但第一注视位置的注视时间未位于观察时间范围内,生成第二观察结果信息,第二观察结果信息表示驾驶人员未在合适时间内观察过目标视景的第二观察结果信息。若眼动数据中不包含第一注视位置,生成第三观察结果信息,第三观察结果信息表示驾驶人员未观察过目标视景的第三观察结果信息。
56.在一可选实施例中,驾驶模拟器上的驾驶部件被驾驶人员操作的情况下,可以产生驾驶部件对应电控信号,例如,驾驶模拟器上的驾驶部件对应有传感器,驾驶部件对应的电控信号可以由驾驶部件对应的传感器产生,由驾驶模拟器上的主电路板获取传感器产生的信号。其中,不同类型的驾驶部件对应的传感器产生的电控信号不相同。例如,电控信号可以实现为脉冲宽度调制(pulse width modulation,pwm)信号,不同类型的驾驶部件对应的传感器产生的电控信号可以通过信号的波形(包含形状和幅值)、占空比或频率等进行区分。又例如,可以对不同驾驶部件对应的传感器产生的波形进行标记,生成标记信息,根据标记信息对不同类型的驾驶部件进行区分。其中,车辆模型的驾驶状态需要通过驾驶状态控制信号控制,因此,需要将驾驶部件的电控信号转换成针对车辆模型的驾驶状态控制信号,通过驾驶状态控制信号控制车辆模型的驾驶状态。具体地,响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,获取模拟驾驶操作对应的驾驶部件对应的电控信号;结合驾驶部件的类型,将该驾驶部件对应的电控信号转换为针对车辆模型的驾驶状态控制信号,例如,预先设定驾驶部件的类型与驾驶状态控制信号的对应关系,根据驾驶部件的类型,确定驾驶状态控制信号的类型,将该驾驶部件产生的电控信号的幅值、频率或占空比等,分别转换为驾驶状态控制信号的幅值、频率或占空比等;根据针对车辆模型的驾驶状态控制信号,控制该车辆模型在虚拟驾驶场景中的驾驶状态,以进行模拟驾驶。
57.在一可选实施例中,不仅可以根据驾驶人员的眼动数据与每个目标视景对应的观察位置范围和观察时间范围,分析驾驶人员的出现错误操作的原因,还可以结合驾驶人员的操作驾驶部件产生的模拟驾驶操作,分析驾驶人员在信息触发后信息接收、处理、加工和反应的过程与标准驾驶操作的一致性。其中,标准驾驶操作可以看作是一种用于衡量模拟驾驶操作的标准。每个目标视景除了关联有观察位置参数、观察时间参数和观察触发条件之外,还关联有标准操作类型、操作时间参数和操作触发条件。其中,标准操作类型是指驾驶操作的类型,例如,标准操作类型可以包含但不限于:旋转方向盘、踩离合器、松手刹、挂挡、开启转向灯或关闭雨刷等。操作触发条件是目标视景需要满足的条件,在目标视景满足操作触发条件的情况下,驾驶人员需要操作相应地驾驶部件,使得驾驶部件产生模拟驾驶操作,该操作触发条件可以与车辆模型的驾驶状态相关,例如,操作触发条件可以是车辆模
型的“后视镜左边缘”与“白线”重合;操作触发条件也可以是车辆模型的“左后视镜下沿”与“库左前边线”重合。操作时间参数是指操作目标视景对应的驾驶部件的时间参数,操作时间参数可以是一个时间范围值,如2s、3s或8s等,也可以是时间范围值及其时间比例系数,时间比例系数可以是0.1、0.3或0.5等,对此不做限定。
58.具体地,在模拟驾驶过程中,获取驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作的类型和时间;针对每个目标视景,在车辆模型出现满足目标视景对应的操作触发条件的第二目标驾驶状态时,根据第二目标驾驶状态出现的时刻和操作时间参数,确定标准操作时间范围;根据每个目标视景对应的标准操作类型和标准操作时间范围,以及模拟驾驶操作的类型和时间,获取针对驾驶人员在模拟驾驶过程中的模拟驾驶操作的质量分析信息。下面进行详细说明。
59.其中,在模拟驾驶过程中,获取驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作的类型和时间,其中,模拟驾驶操作的类型可以包含但不限于:旋转方向盘、踩离合器、松手刹、挂挡、开启转向灯或关闭雨刷等,模拟驾驶操作的时间是指驾驶人员操作驾驶部件,从而产生模拟驾驶操作的时间点。为了便于区分和描述,针对每个目标视景,将车辆模型出现满足该目标视景对应的操作触发条件的驾驶状态称为第二目标驾驶状态,将标准驾驶操作的时间范围称为标准操作时间范围。在车辆模型出现第二目标驾驶状态时,驾驶人员需要在标准操作时间范围内完成对应类型的模拟驾驶操作,从而将模拟驾驶操作与标准驾驶操作进行比对,以分析驾驶人员在信息触发后信息接收、处理、加工和反应的过程与标准驾驶操作的一致性。
60.具体地,在车辆模型出现第二目标驾驶状态时,可以根据该第二目标驾驶状态出现的时刻和操作时间参数,确定标准操作时间范围。例如,可以将第二目标驾驶状态出现的时刻作为标准操作时间范围的起始时间,并根据该起始时间与操作时间参数生成标准操作时间范围的结束时间。
61.其中,根据该标准操作时间范围的起始时间与操作时间参数,生成标准操作时间范围的结束时间的方式并不限定。例如,操作时间参数实现为时间范围值,如2s,第二目标驾驶状态出现的时间即为标准操作时间范围的起始时间,如8:00,该起始时间与观察时间参数直接求和得到标准操作时间范围的结束时间,如8:02。又例如,操作时间参数实现为时间范围值和时间比例系数,如,时间范围值为10s,时间比例系数为0.2,第二目标驾驶状态出现的时间即为标准操作时间范围的起始时间,如9:00,该时间范围值与时间比例系数相乘后,得到操作时间参数为10s*0.2=2s,该起始时间与操作时间参数,直接求和得到标准操作时间范围的结束时间,如9:02。
62.其中,根据每个目标视景对应的标准操作类型和标准操作时间范围,以及模拟驾驶操作的类型和时间,获取针对驾驶人员在模拟驾驶过程中的模拟驾驶操作的质量分析信息。例如,将每个目标视景对应的标准操作类型与模拟驾驶操作的类型进行比对,确定模拟驾驶操作的类型与标准操作类型是否一致;将每个目标视景对应的标准操作时间范围与模拟驾驶操作的时间进行比对,确定模拟驾驶操作的时间是否位于标准操作时间范围之内。其中,模拟驾驶操作的质量分析信息可以包含但不限于:模拟驾驶操作的类型与标准操作类型是否一致或模拟驾驶操作的时间是否位于标准操作时间范围之内等。
63.在一可选实施例中,在模拟驾驶过程中,还可以获取驾驶人员操作驾驶模拟器上
的驾驶部件产生的模拟驾驶操作的操作方式信息,将该操作方式信息与标准操作方式信息进行比对,可以得到模拟驾驶操作的操作结果信息,该操作结果信息表示模拟驾驶操作的操作方式信息是否规范,若该操作方式信息与标准操作方式信息之间的相似度超过设定的相似度阈值,如,相似度阈值为80%、85%或90%等,则表示模拟驾驶操作的操作方式信息规范,若该操作方式信息与标准操作方式信息之间的相似度未超过设定的相似度阈值,则表示模拟驾驶操作的操作方式信息不规范。
64.在一可选实施例中,根据驾驶人员对每个目标视景的观察结果信息,融合模拟驾驶操作的质量分析信息,生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。或者,根据驾驶人员对每个目标视景的观察结果信息,融合模拟驾驶操作的驾驶结果信息,生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶,或者根据驾驶人员对每个目标视景的观察结果信息,融合模拟驾驶操作的质量分析信息和驾驶结果信息,生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。其中,驾驶反馈信息,可分析驾驶人员的操作出现不规范、偏差或错误的根本原因,帮助驾驶人员找到需要加强训练的方向。
65.例如,每个目标视景的观察结果信息包括:驾驶人员是否观察目标视景的信息,以及驾驶人员是否及时观察目标视景的信息;模拟驾驶操作的质量分析信息包括:模拟驾驶操作的类型与标准操作类型是否一致,以及模拟驾驶操作的时间是否及时的信息;驾驶结果信息包括:模拟驾驶操作的操作方式信息是否规范的信息。下面对根据驾驶人员对每个目标视景的观察结果信息,融合模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成驾驶反馈信息的过程进行举例说明,如图2所示。
66.若观察结果信息指示驾驶人员没有观察目标视景,且观察了其它目标视景,则驾驶反馈信息可以指示驾驶人员看错目标视景,可能是对教学方案的知识掌握不熟练,需要进一步学习教学方案或需要指导教师的引导。
67.若观察结果信息指示驾驶人员没有观察目标视景,且未观察了其它目标视景,则驾驶反馈信息可以指示驾驶人员注意力不集中,需要提高注意力。
68.若观察结果信息指示驾驶人员及时观察了目标视景,驾驶结果信息指示驾驶人员的模拟驾驶操作相比标准驾驶操作有偏差,则驾驶反馈信息可以指示驾驶人员较为熟悉教学方案,但实际驾驶操作还欠缺训练,需要加强驾驶训练。
69.若观察结果信息指示驾驶人员较晚才观察目标视景,驾驶结果信息和质量分析信息指示驾驶操作无问题,驾驶反馈信息可以指示驾驶人员可能是分心了,需要集中注意力。
70.其中,根据驾驶人员对每个目标视景的观察结果信息,融合模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成并输出驾驶反馈信息的时机并不限定,下面进行举例说明。
71.实时的反馈:例如,在模拟驾驶过程中,每当监测到车辆模型出现指定驾驶状态时,确定与指定驾驶状态关联的第一目标视景,其中,指定驾驶状态可以是驾驶人员操作不规范、错误、偏差或观察不及时等情况下车辆模型的驾驶状态,指定驾驶状态关联的第一目标视景也不做限定,例如,指定驾驶状态为停车状态,指定驾驶状态关联的第一目标视景可以是“内门把手”或“起始白线”;根据驾驶人员对第一目标视景的观察结果信息,融合第一目标视景对应的第一模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成第一驾驶反馈信息并输出,以引导驾驶人员进行模拟驾驶,其中,第一模拟驾驶操作可以是刹车操作,
或拉手刹操作。
72.可选地,在模拟驾驶过程中,若监测到车辆模型出现指定驾驶状态,将车辆模型最近出现的第一目标驾驶状态所满足的观察触发条件对应的目标视景,作为第一目标视景,由此,可以分析出现指定驾驶状态的原因是否是驾驶人员未观察第一目标视景或未及时观察第一目标视景导致的。
73.驾驶人员主动触发式的反馈:再例如,在本次模拟驾驶结束后,响应驾驶人员的查看请求,根据驾驶人员在本次模拟驾驶中对每个目标视景的观察结果信息,融合本次模拟驾驶中模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成第二驾驶反馈信息并输出,以引导驾驶人员进行模拟驾驶;
74.阶段性反馈:又例如,可以预先设定反馈周期,反馈周期可以是一小时、一天或一周等,对此不做限定,在设定的反馈周期到达时,根据驾驶人员在反馈周期内各次模拟驾驶过程中对每个目标视景的观察结果信息,融合各次模拟驾驶过程中模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成第三驾驶反馈信息并输出,以引导驾驶人员进行模拟驾驶。
75.在一可选实施例中,还可以通过眼动数据获取驾驶人员在目标屏幕上的感兴趣区域,从而对目标屏幕的用户界面(user interface,ui)进行针对性调整,比如把重要信息布置于驾驶人员最常观察的区域范围,例如,感兴趣区域可以是目标屏幕的中心、上部、下部、左部或右部等,进一步可以针对不同驾驶人员个性化地设置感兴趣区域,提高驾驶人员信息获取的效率。具体地,根据驾驶人员的眼动数据,分析驾驶人员在目标屏幕上的感兴趣区域;确定目标信息中的关键信息,将目标信息中的关键信息显示在该感兴趣区域内,例如,在感兴趣区域内显示弹窗或浮层,在该弹窗或浮层中显示目标信息中的关键信息。其中,目标信息是模拟驾驶过程中需要输出给驾驶人员的信息,目标信息包括教学文案信息、模拟驾驶操作的说明信息、驾驶状态信息、驾驶结果信息、质量分析信息、观察结果信息以及驾驶反馈信息中的至少一种,关键信息是目标信息中的部分信息,例如,关键信息可以是驾驶反馈信息中的驾驶建议信息、提醒信息或者驾驶人员的错误操作信息等,对此不做限定。其中,可以为目标信息中的每个信息设定重要度值,根据每个信息的重要度值,确定目标信息中的关键信息,其中,每个信息的重要度值可以根据不同驾驶人员进行个性化的设定,也可以是预先设定好的,对此不做限定。
76.在一可选实施例中,可以根据驾驶人员的眼动数据和模拟驾驶操作等,对观察位置参数、观察时间参数和观察触发条件等参数进行修正和优化,使得这些参数越来越准确,以提高分析驾驶行为的准确率。具体地,根据驾驶人员对每个目标视景的观察结果信息以及模拟驾驶操作的驾驶结果信息,对每个目标视景关联的观察位置参数、观察时间参数和观察触发条件进行修正。例如,可以建立算法模型,模型参数为观察位置参数、观察时间参数和观察触发条件,模型输入为驾驶人员的眼动数据以及车辆模型的驾驶状态,模型的输出为每个目标视景的观察结果信息以及模拟驾驶操作的驾驶结果信息,计算每次训练的损失函数,根据每次训练的损失函数,调整模型参数(如,观察位置参数、观察时间参数和观察触发条件),直至损失函数符合设定要求时,得到修正或优化后的算法模型。
77.可选地,不同科目对应的虚拟驾驶场景不同,不同虚拟驾驶场景中的目标视景不同,例如,科目二对应的虚拟驾驶场景可以包含但不限于:直角转弯虚拟场景、曲线行驶虚
拟场景或倒车入库虚拟场景等,不同虚拟场景中的目标视景不同,例如,倒车入库虚拟场景中的目标视景可以是“左后视镜”、“库左前边线”或“内门把手”等,曲线行驶虚拟场景的目标视景可以是“右侧边线”和“引擎盖”、“左侧车头”以及“左侧边线”等。基于此,在响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作之前,驾驶人员还可以执行模拟驾驶触发操作,例如,在显示屏幕上触发模拟驾驶控件,或者,可以通过语音的方式,触发模拟驾驶触发操作,模拟驾驶操作中包含需要模拟的科目标识,如科目二或科目三等;在这种情况下,可以响应该模拟驾驶触发操作,根据模拟驾驶触发操作中的科目标识,确定本次模拟驾驶对应的目标科目,加载并展示目标科目对应的虚拟驾驶场景。
78.进一步可选地,可以根据驾驶人员的属性,对驾驶人员使用的参数(如,每个目标视景关联的参数)进行分类,针对分类的驾驶人员每个目标视景的关联的观察位置参数、观察时间参数和观察触发条件等参数。例如,在驾驶人员是学员的情况下,针对年轻学员确定一组参数,针对年老学员确定一组参数;或者,针对男性学员确定一组参数,针对女性学员确定一组参数等,其中,不同参数集合中的参数不完全相同。基于此,在响应模拟驾驶触发操作之前,还包括:根据驾驶人员的属性信息,从对应不同人员属性的多种参数集合中选择目标参数集合;根据目标参数集合中包含的每个目标视景关联的各种参数,预先配置虚拟驾驶场景中每个目标视景关联的各种参数。
79.需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤101至步骤103的执行主体可以为设备a;又比如,步骤101和102的执行主体可以为设备a,步骤103的执行主体可以为设备b;等等。
80.另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
81.图3为本技术实施例还提供一种模拟驾驶控制系统的结构示意图,如图3所示该系统包括:视景模块301、驾驶控制模块302、采集模块303、计算模块304以及反馈模块305。
82.视景模块301,用于展示虚拟驾驶场景,虚拟驾驶场景中包括需要驾驶人员观察的至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件;
83.驾驶控制模块302,用于响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶;
84.采集模块303,用于在模拟驾驶过程中,采集驾驶人员的眼动数据,眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,目标屏幕是呈现虚拟驾驶场景的屏幕;
85.计算模块304,用于根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围;以及根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息;
86.反馈模块305,用于根据驾驶人员对每个目标视景的观察结果信息生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。
87.在一可选实施例中,每个目标视景还关联有标准操作类型、操作时间参数和操作触发条件,采集模块303还用于在模拟驾驶过程中,获取驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作的类型和时间;计算模块304,还用于针对每个目标视景,在车辆模型出现满足目标视景对应的操作触发条件的第二目标驾驶状态时,根据第二目标驾驶状态出现的时刻和操作时间参数,确定标准操作时间范围;以及根据每个目标视景对应的标准操作类型和标准操作时间范围,以及模拟驾驶操作的类型和时间,获取针对驾驶人员在模拟驾驶过程中的模拟驾驶操作的质量分析信息。
88.可选地,采集模块303可以包括第一采集模块和第二采集模块,其中,第一采集模块用于在模拟驾驶过程中,采集驾驶人员的眼动数据,第二采集模块用于在模拟驾驶过程中,获取驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作的类型和时间。
89.在一可选实施例中,计算模块304,还用于:根据驾驶人员对每个目标视景的观察结果信息以及模拟驾驶操作的驾驶结果信息,对每个目标视景关联的观察位置参数、观察时间参数和观察触发条件进行修正。
90.在一可选实施例中,模拟驾驶控制系统还可以包括存储模块306,存储模块306用于以驾驶人员为单位存储驾驶人员的眼动数据,以及采集模块303模拟驾驶操作的类型和时间,以便对驾驶人员的驾驶行为进行全面和系统性分析,得出模拟训练行为曲线,便于发现驾驶人员习惯性的不规范之处或错误,或发现驾驶人员的改进趋势。其中,存储模块306可以采用硬盘存储,也可以采用服务端存储,还可以采用云端存储的方式,对此不做限定。
91.其中,关于模拟驾驶控制系统的详细实施方式,可参见前述实施例在此不再赘述。
92.本技术实施例提供的模拟驾驶控制系统,在虚拟驾驶场景中设置至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件,结合虚拟驾驶场景中车辆模型的驾驶状态可以确定每个目标视景的观察位置范围和观察时间范围,在模拟驾驶过程中,采集驾驶人员的眼动数据,根据眼动数据的注视位置和注视时间,比对每个目标视景的观察位置范围和观察时间范围,得到驾驶人员是否观察了目标视景,以及是否及时观察目标视景的观察结果信息,从根源上分析和发现驾驶人员错误操作的原因,针对性的给出反馈信息并输出,有效提高练车效率和效果。
93.图4为本技术示例性实施例提供的另一种模拟驾驶控制系统的结构示意图,如图4所示,该系统包括:驾驶模拟器401和服务端设备402,服务端设备402可以是常规服务器、服务器阵列或云端服务器等,对此不做限定;驾驶模拟器至少包括模拟器本体,模拟器本体上设置有各种驾驶部件。
94.驾驶模拟器401,用于响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶,将车辆模型在虚拟驾驶场景中的驾驶状态上报给服务端设备,虚拟驾驶场景中包括需要驾驶人员观察的至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件;以及在模拟驾驶过程中,采集驾驶人员的眼动数据,并将眼动数据上传给服务端设备;眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,目标屏幕是呈现虚拟驾驶场景的屏幕;
95.服务端设备402,用于根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围;根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,
获取驾驶人员对每个目标视景的观察结果信息,根据驾驶人员对每个目标视景的观察结果信息生成驾驶反馈信息,将驾驶反馈信息发送给驾驶模拟器;
96.驾驶模拟器401还用于:输出驾驶反馈引导信息,以引导驾驶人员进行模拟驾驶。
97.可选地,驾驶模拟器包括:模拟器本体和电脑主机,模拟器本体上设置有各种驾驶部件,电脑主机用于,响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶。
98.可选地,驾驶模拟器上还包括显示屏幕,且所述驾驶模拟器外接眼动仪,所述眼动仪用于在模拟驾驶过程中,采集驾驶人员的眼动数据,并将采集到的眼动数据提供给电脑主机,由电脑主机提供给服务端设备。
99.可选地,驾驶模拟器上包括驾驶部件对应的传感器,驾驶部件对应的传感器用于采集驾驶部件的电控信号,各驾驶部件的传感器与驾驶模拟器的主电路板连接,用于对各传感器采集到的电控信号进行整合处理,并由驾驶模拟器的电脑主机提供给服务端设备,由服务端设备进行后续的计算处理。
100.其中,关于模拟驾驶控制系统的详细实施方式,可参见前述实施例在此不再赘述。
101.本技术实施例提供的模拟驾驶控制系统,在虚拟驾驶场景中设置至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件,结合虚拟驾驶场景中车辆模型的驾驶状态可以确定每个目标视景的观察位置范围和观察时间范围,在模拟驾驶过程中,采集驾驶人员的眼动数据,根据眼动数据的注视位置和注视时间,比对每个目标视景的观察位置范围和观察时间范围,得到驾驶人员是否观察了目标视景,以及是否及时观察目标视景的观察结果信息,从根源上分析和发现驾驶人员错误操作的原因,针对性的给出反馈信息并输出,有效提高练车效率和效果。
102.图5为本技术示例性实施例提供的一种驾驶模拟器的结构示意图。如图5所示,该设备包括:模拟器本体51、以及与模拟器本体51通信连接的电脑主机52;模拟器本体51上设置有各种驾驶部件。电脑主机52包括:存储器54和处理器55。
103.存储器54,用于存储计算机程序,并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令。
104.存储器54可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
105.处理器55,与存储器54耦合,用于执行存储器54中的计算机程序,以用于:响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶,虚拟驾驶场景中包括需要驾驶人员观察的至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件;在模拟驾驶过程中,采集驾驶人员的眼动数据,眼动数据包括驾驶人员在目标屏幕上的注视位置和注视时间,目标屏幕是呈现虚拟驾驶场景的屏幕;根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围;根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察
时间范围,获取驾驶人员对每个目标视景的观察结果信息;根据驾驶人员对每个目标视景的观察结果信息生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。
106.在一可选实施例中,处理器55在根据每个目标视景关联的观察位置参数、观察时间参数和观察触发条件,结合车辆模型的驾驶状态,生成每个目标视景对应的观察位置范围和观察时间范围时,具体用于:针对每个目标视景,在车辆模型出现满足观察触发条件的第一目标驾驶状态时,根据第一目标驾驶状态出现的时刻和位置,结合观察位置参数和观察时间参数,生成目标视景对应的观察位置范围和观察时间范围。
107.在一可选实施例中,处理器55在针对每个目标视景,在车辆模型出现满足观察触发条件的第一目标驾驶状态时,根据第一目标驾驶状态出现的时刻和位置,结合观察位置参数和观察时间参数,生成目标视景对应的观察位置范围和观察时间范围时,具体用于:针对每个目标视景,监测车辆模型是否出现满足目标视景对应的观察触发条件的第一目标驾驶状态;在出现第一目标驾驶状态时,将第一目标驾驶状态出现的时间作为观察时间范围的起始时间,并根据起始时间与观察时间参数生成观察时间范围的结束时间;将第一目标驾驶状态出现的位置作为观察位置范围的起始位置,并根据起始位置与观察位置参数生成观察位置范围的结束位置。
108.在一可选实施例中,处理器55在针对每个目标视景,监测车辆模型是否出现满足目标视景对应的观察触发条件的第一目标驾驶状态时,具体用于:在模拟驾驶过程中,根据车辆模型的当前位置和当前视角,动态加载虚拟驾驶场景中的场景画面;在所加载的场景画面包含目标视景的情况下,按照目标视景之间的观察顺序,确定当前待观察的目标视景;针对当前待观察的目标视景,监测车辆模型是否出现满足当前待观察的目标视景对应的观察触发条件的第一目标驾驶状态。
109.在一可选实施例中,处理器55在根据驾驶人员的眼动数据和每个目标视景对应的观察位置范围和观察时间范围,获取驾驶人员对每个目标视景的观察结果信息时,具体用于:针对每个目标视景,将目标视景对应的观察位置范围从虚拟驾驶场景映射至目标屏幕上,得到目标视景在目标屏幕上对应的屏幕位置范围;将目标视景对应的屏幕位置范围和观察时间范围,分别与驾驶人员的眼动数据中的注视位置和注视时间进行匹配,得到驾驶人员对目标视景的观察结果信息。
110.在一可选实施例中,处理器55在将目标视景对应的屏幕位置范围和观察时间范围,分别与驾驶人员的眼动数据中的注视位置和注视时间进行匹配,得到驾驶人员对目标视景的观察结果信息时,具体用于:将目标视景对应的屏幕位置范围和观察时间范围,分别与驾驶人员的眼动数据中的注视位置和注视时间进行匹配;若眼动数据中包含位于屏幕位置范围内的第一注视位置,且第一注视位置的注视时间位于观察时间范围内,生成驾驶人员在合适时间内观察过目标视景的第一观察结果信息;若眼动数据中包含位于屏幕位置范围内的第一注视位置,但第一注视位置的注视时间未位于观察时间范围内,生成驾驶人员未在合适时间内观察过目标视景的第二观察结果信息;若眼动数据中不包含位于屏幕位置范围内的第一注视位置,生成驾驶人员未观察过目标视景的第三观察结果信息。
111.在一可选实施例中,处理器55在响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,控制车辆模型在虚拟驾驶场景中的驾驶状态以进行模拟驾驶时,具体用于:响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作,获取模拟驾驶操作
对应的驾驶部件对应的电控信号;结合驾驶部件的类型,将电控信号转换为针对车辆模型的驾驶状态控制信号;根据驾驶状态控制信号,控制车辆模型在虚拟驾驶场景中的驾驶状态,以进行模拟驾驶。
112.在一可选实施例中,处理器55在模拟驾驶过程中,采集驾驶人员的眼动数据时,具体用于:在模拟驾驶过程中,利用驾驶模拟器上外接的眼动仪,采集驾驶人员的眼动数据,目标屏幕为驾驶模拟器的显示屏幕;或者在模拟驾驶过程中,利用驾驶人员佩戴的vr眼镜上的眼动采集器,采集驾驶人员的眼动数据,目标屏幕为vr眼镜的显示屏幕。
113.在一可选实施例中,每个目标视景还关联有标准操作类型、操作时间参数和操作触发条件,处理器55还用于:在模拟驾驶过程中,获取驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作的类型和时间;针对每个目标视景,在车辆模型出现满足目标视景对应的操作触发条件的第二目标驾驶状态时,根据第二目标驾驶状态出现的时刻和操作时间参数,确定标准操作时间范围;根据每个目标视景对应的标准操作类型和标准操作时间范围,以及模拟驾驶操作的类型和时间,获取针对驾驶人员在模拟驾驶过程中的模拟驾驶操作的质量分析信息。
114.在一可选实施例中,处理器55在根据驾驶人员对每个目标视景的观察结果信息生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶时,具体用于:根据驾驶人员对每个目标视景的观察结果信息,融合模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶。
115.在一可选实施例中,处理器55在根据驾驶人员对每个目标视景的观察结果信息,融合模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成并输出驾驶反馈信息,以引导驾驶人员进行模拟驾驶时,具体用于:在模拟驾驶过程中,每当监测到车辆模型出现指定驾驶状态时,确定与指定驾驶状态关联的第一目标视景,根据驾驶人员对第一目标视景的观察结果信息,融合第一目标视景对应的第一模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成第一驾驶反馈信息并输出,以引导驾驶人员进行模拟驾驶;或者在本次模拟驾驶结束后,响应驾驶人员的查看请求,根据驾驶人员在本次模拟驾驶中对每个目标视景的观察结果信息,融合本次模拟驾驶中模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成第二驾驶反馈信息并输出,以引导驾驶人员进行模拟驾驶;或者在设定的反馈周期到达时,根据驾驶人员在反馈周期内各次模拟驾驶过程中对每个目标视景的观察结果信息,融合各次模拟驾驶过程中模拟驾驶操作的质量分析信息和/或驾驶结果信息,生成第三驾驶反馈信息并输出,以引导驾驶人员进行模拟驾驶。
116.在一可选实施例中,处理器55在模拟驾驶过程中,每当监测到车辆模型出现指定驾驶状态时,确定与指定驾驶状态关联的第一目标视景时,具体用于:在模拟驾驶过程中,若监测到车辆模型出现指定驾驶状态,将车辆模型最近出现的第一目标驾驶状态所满足的观察触发条件对应的目标视景,作为第一目标视景。
117.在一可选实施例中,处理器55还用于:根据驾驶人员的眼动数据,分析驾驶人员在目标屏幕上的感兴趣区域;确定目标信息中的关键信息,目标信息是模拟驾驶过程中需要输出给驾驶人员的信息;将目标信息中的关键信息显示在感兴趣区域内;目标信息包括教学文案信息、模拟驾驶操作的说明信息、驾驶状态信息以及驾驶反馈信息中的至少一种,关键信息是目标信息中的部分信息。
118.在一可选实施例中,处理器55还用于:根据驾驶人员对每个目标视景的观察结果信息以及模拟驾驶操作的驾驶结果信息,对每个目标视景关联的观察位置参数、观察时间参数和观察触发条件进行修正。
119.在一可选实施例中,处理器55在响应驾驶人员操作驾驶模拟器上的驾驶部件产生的模拟驾驶操作之前,还用于:响应模拟驾驶触发操作,根据模拟驾驶触发操作中的科目标识,确定本次模拟驾驶对应的目标科目,加载并展示目标科目对应的虚拟驾驶场景;其中,不同科目对应的虚拟驾驶场景不同,不同虚拟驾驶场景中的目标视景不同。
120.在一可选实施例中,处理器55在响应模拟驾驶触发操作之前,还用于:根据驾驶人员的属性信息,从对应不同人员属性的多种参数集合中选择目标参数集合,其中,不同参数集合中的参数不完全相同;根据目标参数集合中包含的每个目标视景关联的各种参数,预先配置虚拟驾驶场景中每个目标视景关联的各种参数。
121.在一可选实施例中,模拟器本体51上还包括显示屏幕,且模拟器本体外接眼动仪,眼动仪用于在模拟驾驶过程中,采集驾驶人员的眼动数据。
122.其中,关于驾驶模拟器的详细实施方式,可参见前述实施例在此不再赘述。
123.本技术实施例提供的驾驶模拟器,在虚拟驾驶场景中设置至少一个目标视景,每个目标视景关联有观察位置参数、观察时间参数和观察触发条件,结合虚拟驾驶场景中车辆模型的驾驶状态可以确定每个目标视景的观察位置范围和观察时间范围,在模拟驾驶过程中,采集驾驶人员的眼动数据,根据眼动数据的注视位置和注视时间,比对每个目标视景的观察位置范围和观察时间范围,得到驾驶人员是否观察了目标视景,以及是否及时观察目标视景的观察结果信息,从根源上分析和发现驾驶人员错误操作的原因,针对性的给出反馈信息并输出,有效提高练车效率和效果。
124.进一步,如图5所示,该电脑主机还包括:通信组件56、显示器57、电源组件58、音频组件59等其它组件。图5中仅示意性给出部分组件,并不意味着电脑主机只包括图5所示组件。
125.相应地,本技术实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述图1所示方法实施例中的各步骤。
126.上述图5中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如wifi,2g、3g、4g/lte、5g等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
127.上述图5中的显示器包括屏幕,其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
128.上述图5中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力
相关联的组件。
129.上述图5中的音频组件,可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(mic),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
130.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
131.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
132.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
133.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
134.在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
135.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
136.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
137.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的
包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
138.以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1