影像显示方法及相关装置、车辆、存储介质和程序与流程

文档序号:35336231发布日期:2023-09-06 22:41阅读:31来源:国知局
影像显示方法及相关装置、车辆、存储介质和程序与流程

本技术涉及汽车安全驾驶,尤其涉及驾驶场景中基于驾驶员视野状态的影像显示方法及相关装置、车辆、存储介质和程序。


背景技术:

1、近年来,汽车与行人碰撞造成的交通事故已越来越多,这种交通事故会给行人带来极大的伤害。其中汽车a柱盲区对事故的造成有很大一部分原因,所谓a柱是左前方和右前方连接车顶和前舱的连接柱,主要起支撑挡风玻璃和车顶的作用。驾驶员在实际的驾驶过程中,a柱总是会多少挡住些驾驶者的视线,形成盲区,特别是在转弯的过程中尤甚,驾驶者需要前后左右摆动身体和头部来调整视野克服盲区,这样既不方便也不安全。

2、目前市场上为解决汽车盲区问题,大多采用反光镜或透镜,通过光线的折射或反射来获取盲区内物体信息,或是通过摄像头获取到被a柱遮挡的画面,并且在a柱上显示。

3、但是使用反光镜或透镜这类产品,由于是经过了光线折射和反射,驾驶员通过这类产品获取到的画面都比较小,有的甚至是镜像的,这无疑增加了驾驶员的反应时间,且当光线强烈时,光线反射到人眼,容易造成驾驶员目眩,影响行车安全;进一步地,使用摄像头捕捉被a柱遮挡的画面,并且投射到对应a柱上,仅仅是在车辆转弯或者车辆周围有障碍物等特定情况下才起到一定作用,其他时候若一直保持工作状态,并没有实际意义,反而会影响行车驾驶的安全,且并不能消除a柱盲区给驾驶过程中带来的安全隐患。

4、而相对智能的解决汽车盲区问题的方式,一般是通过外置摄像头等设备获取外部图像投影到屏幕上,但一般来说,在屏幕上显示的画面很大程度上直接就是摄像头所获取的画面,并未考虑到舒适性和准确性,并且通过摄像头捕捉的画面与驾驶员人眼捕捉的画面也会存在差别,从而导致驾驶员反而受到屏幕的干扰导致出现问题。

5、因此,如何安全地消除汽车两侧a柱造成的盲区给驾驶汽车带来的安全隐患是一个亟需解决的问题。


技术实现思路

1、本技术实施例提供一种驾驶场景中基于驾驶员视野状态的影像显示方法及装置,在车辆的智能座舱的a柱影像显示场景中,相对于现有单一、固化显示固定取景范围的方案,有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性,提高车辆驾驶安全性,提高用户驾驶体验。

2、第一方面,本技术实施例提供了一种驾驶场景中基于驾驶员视野状态的影像显示方法,所述方法应用于车辆的域控制器系统的自动驾驶域控制器,所述域控制器系统包括所述自动驾驶域控制器和车身域控制器,所述自动驾驶域控制器与所述车身域控制器通信连接;所述方法包括:

3、获取所述车辆的综合状态信息,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;

4、根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;

5、根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。

6、在当前市面上,常见的车型中均设有连接前发动机舱和车顶的a柱、位于前后门之间的b柱和连接后备箱和车顶的c柱,所述a柱、所述b柱和所述c柱在驾驶员驾驶车辆的过程中均遮挡驾驶员一部分的视野,但由于一般车辆上均设有后视镜和倒车影像,因此所述b柱和所述c柱对驾驶员的在驾驶员驾驶车辆行进的过程中,一般不会存在安全隐患,但因a柱位于车辆的前方,在驾驶员驾驶车辆行进的过程中可能会有一定的安全隐患。

7、所述车辆一般为本技术实施例提供的方法所应用的主体,具体来说,本方法应用于车辆的域控制器系统的自动驾驶域控制器,所述自动驾驶域控制器为本方法的执行主体,由于域控制器系统包括所述自动驾驶域控制器和车身域控制器,所述车身域控制器一般用于控制所述车辆中的设备,所述车辆中的设备包括车辆外置设备,两种控制器分工合作,以便于所述车辆的驾驶员能够及时观测到被遮挡的区域。

8、在本方法中,需要提前强调的是,本方法属于根据驾驶员的观测视线,来确定在左侧a柱还是右侧a柱,或是两侧a柱的屏幕上进行影像显示,因此,在驾驶员驾驶车辆的过程中,若驾驶员的视线未被遮挡,所述屏幕为常灭状态。

9、上述第一方面所应用的方法,首先获取所述车辆的综合状态信息,所述综合状态信息可以是通过所述车身域控制器获取的,但获取到的信息进行处理的主体为所述自动驾驶域控制器;

10、其次,通过所述综合状态信息可以预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域分为三种情况;情况一,所述车辆左侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;情况二,所述车辆右侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;情况三,副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域。

11、基于上述三种情况,本方法的关键在于,如何判断上述三种情况的发生,以及相应的投射什么影像到屏幕上,才能使驾驶员安全驾驶,且不受到视野被遮挡的困扰。

12、具体的,所述自动驾驶域控制器根据获取的来自所述车身域控制器的综合状态信息进行预测和判断,这也就代表着,获取的所述综合状态信息可用于判断上述三种情况的发生。由此可知,所述自动驾驶域控制器通过对所述综合状态信息进行分析确定驾驶员被什么遮挡了视线。

13、当确定了驾驶员被什么遮挡了视线之后,即可确定目标区域,而所述目标区域与在屏幕上显示的影像息息相关,例如,在确定目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域情况下,通过车身域控制器获取所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域处的影像,并将所述影像进行处理后在左侧a柱的屏幕上进行显示。在本方法中,对影像进行处理的主体为所述自动驾驶域控制器。

14、由此可见,通过自动驾驶域控制器和车身域控制器的相互配合,使自动驾驶域控制器更加智能,在合适的时机确定驾驶员需观察的但被遮挡的区域,并将控制屏幕显示对应区域的画面,且在其余时间控制屏幕常灭,既能保证驾驶员的视线不被遮挡,又能保证节能环保。

15、在第一方面的又一种可能的实施方式中,所述车辆的综合状态信息包括驾驶员头部姿态和副驾驶位乘坐人员的姿态;所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,包括:

16、根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;

17、根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;

18、若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。

19、具体的,所述屏幕除了可以显示被a柱遮挡的画面之外,还可以显示其他画面;而由于驾驶员在驾驶车辆行进的过程中,经常需要观察车辆两侧的后视镜,以观察两侧或后方来车,但由于坐副驾驶位的乘客可能由于某一些动作遮挡住驾驶员观察副驾驶位一侧的后视镜的视野,虽然遮挡时间可能很短暂,但是由于车辆行进速度很快,尤其是在高速公路上,很短的时间内的误操作就可能导致危害驾驶员或乘客的事件发生,因此,在本实施方式中,所述其他画面包括副驾驶位一侧的后视镜显示的画面,所述右侧a柱的屏幕安装在副驾驶一侧的a柱上,且朝向驾驶位,当检测到所述车辆的驾驶员观看副驾驶一侧的后视镜的视线被遮挡时,则控制所述右侧a柱的屏幕显示副驾驶侧的侧边和后方的画面信息,以代替副驾驶一侧的后视镜,使驾驶员能够观测到该后视镜应显示的画面;输出第二提示信息,以便于驾驶员在忽略掉所述右侧a柱的屏幕上显示的画面时,能够及时的反应过来侧面或后面的情况需要观察。

20、在上述三种情况中的情况三中,也就是副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域的情况下,获取的所述综合状态信息至少包括驾驶员头部姿态和副驾驶位乘坐人员的姿态。

21、根据驾驶员头部姿态和副驾驶位乘坐人员的姿态来确定述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡。若被遮挡,则代表着驾驶员需观察,但被遮挡的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。所述自动驾驶域控制器根据情况的不同,用于分析的信息也就不同。

22、在第一方面的又一种可能的实施方式中,若所述目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域,则所述车辆的综合状态信息包括所述车内状态信息和所述车外状态信息,且所述车内状态信息包括驾驶员头部姿态和副驾驶位乘坐人员的姿态;所述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,包括:

23、获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;

24、根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;

25、在所述右侧a柱的右侧屏幕显示所述目标影像。

26、需要说明的是,在上述过程中,生成适配所述右侧a柱的屏幕的目标影像,是需要所述自动驾驶域控制器对所述车外摄像头获取的影像数据进行帧率、取景范围等参数进行调整,以便以能够生成适配所述右侧a柱的右侧屏幕的目标影像。

27、可选的,在生成适配所述右侧a柱的右侧屏幕的目标影像的过程中,添入符合驾驶员观察习惯的标准,以用于生成能够匹配驾驶员观察习惯的画面,所述标准可以是通过模型获取的符合当前驾驶员习惯的,也可以是生成时自设置的。

28、相对于现有单一、固化显示固定取景范围的方案,如此设置有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性。

29、在第一方面的又一种可能的实施方式中,所述根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像,包括:

30、若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;

31、若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。

32、考虑到不同车型的车身域控制器所控制的设备存在差别,但也为了使所述目标影像能够适配屏幕以及驾驶员的观察习惯,因此,针对车外摄像头的数量的不同,生成所述目标影像的方式也不同,进一步提高了自动驾驶域控制器进行影像显示的全面性。

33、在第一方面的又一种可能的实施方式中,所述综合状态至少包括方向盘角度或驾驶员头部姿态中的至少一种,所述驾驶员头部姿态包括驾驶员的头部朝向;所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,包括:

34、根据所述综合状态信息,确定所述驾驶员的预观测方向;

35、若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;

36、若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。

37、上述的过程是体现所述自动驾驶域控制器智能化的关键,为了驾驶员的驾驶舒适性考虑,位于左侧a柱和右侧a柱上的屏幕一般是常灭的状态,但在确定目标区域后,所述屏幕上回显示相应的影像,但想要确定目标区域,则需确定驾驶员的预观测方向,而所述驾驶员的预观测方向为根据所述方向盘角度和/或驾驶员头部姿态确定的,例如,若驾驶员的方向盘角度发生变化,则代表着所述车辆的轨迹会发生变化,那么此时驾驶员自然地进行观测,这也就代表着,方向盘的角度可以代表着驾驶员的观测方向。

38、在第一方面的又一种可能的实施方式中,若所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域,或,所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域,则所述车辆的综合状态信息包括所述车内状态信息和所述车外状态信息,且所述车内状态信息包括驾驶员头部姿态和方向盘角度;所述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,包括:

39、根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;

40、根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;

41、若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;

42、若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;

43、若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息;

44、若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。

45、进一步的,由于汽车在直行或转弯时,给驾驶员观察、思考和操作的时间不同,设置的与所述目标对象之间的安全距离也就是不同的,所以首先确定所述车辆的行驶状态,所述行驶状态包括直行或转弯,在其他实施方式中,所述行驶状态也可能包括其他的情况,如掉头、刹车等。

46、更进一步的,若靠近所述车辆的目标对象为行人时,会因车辆不同的行驶状态设置不同的安全距离,当车辆在直行时,车速一般较快,转弯时,车速一般较慢,因此,为了给驾驶员相对多的时间去操控车辆,避免危险发生,设置的所述第二距离小于所述第一距离;同理,所述第四距离小于第三距离。综上,设置不同的安全距离来应对车辆驾驶过程中的复杂情形,更合理化和人性化。

47、在第一方面的又一种可能的实施方式中,所述根据所述车外状态信息确定目标对象的状态信息之前,所述方法还包括:

48、获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;

49、根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;

50、将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。

51、具体的,上述的安全距离可以是动态的,根据车辆行驶过程中的实际情况去确定安全距离,在本实施方式中的安全距离包括所述第一距离、所述第二距离、所述第三距离和所述第四距离,因此,在上述的确定车辆的行驶状态之前,确定每一个目标对象的安全距离,以用于后续操作。

52、进一步的,所述安全距离与所述车辆和所述目标对象的实际行驶/行走状态相关,因此,首先获取所述车辆的相关数据,即获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,用于表征所述车辆的某个时间点到当前的运行状态,所述行驶状态至少包括直行或转弯;其次,根据上述的视频信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,用于表征在当前时间点或时间段所述行人的运动状态,就是所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息,用于表征所述其他车辆在当前时间点或时间段的运行状态。

53、更进一步的,将将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据,所述安全距离预测模型应用的模型、应用的逻辑是多样的,如通过将所述车辆和所述目标对象的相关数据分别整合成行驶轨迹,将所述车辆和所述目标对象的行驶轨迹进行拟合,以得到碰撞判断结果,根据所述碰撞判断结果和所述目标对象的相关数据去确定合适的安全距离。

54、可选的,所述行人数据集还包括:第一权重和第二权重;所述第一权重用于约束所述行人形态信息对相应的安全距离结果的影响程度;所述第二权重用于约束所述第一速度信息对相应的安全距离结果的影响程度。

55、可选的,所述车辆数据集还包括:第三权重、第四权重和第五权重;所述第三权重用于约束所述车辆行驶状态信息对相应的安全距离结果的影响程度;所述第四权重用于约束所述车辆轨迹信息对相应的安全距离结果的影响程度;所述第五权重用于约束所述第三速度信息对相应的安全距离结果的影响程度;

56、通过上述方式,可以更灵活的调整安全距离,应对更复杂路况时更有针对性。

57、在第一方面的又一种可能的实施方式中,所述根据所述车外状态信息确定目标对象的状态信息之后,所述方法还包括:

58、若所述目标对象包括行人和其他车辆,当所述车辆的行驶状态为直行,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第一距离与所述第三距离中的较大值时,在所述屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;

59、若所述目标对象包括行人和其他车辆,当所述车辆的行驶状态为转弯,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第二距离与所述第四距离中的较大值时,在屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息。

60、具体的,在一些人车不分流或狭窄的道路上,很容易出现目标对象既包括行人,又包括其他车辆的情况,而面对这种复杂情形,频繁的提示会给驾驶员造成干扰,因此,当所述车辆的行驶状态为直行,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第一距离与所述第三距离中的较大值时,在所述a柱上靠近所述驾驶位的一侧的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息;当所述车辆的行驶状态为转弯,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第二距离与所述第四距离中的较大值时,在所述a柱上靠近所述驾驶位的一侧的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息。可选的,在输出所述第一提示信息的期间,再次发生了上述任一情况,需要再次输出提示信息时,可选择不输出提示信息,仅延长所述屏幕显示被所述a柱遮挡的区域的画面,避免频繁的提示对驾驶员造成干扰,从而导致意外发生。

61、在第一方面的又一种可能的实施方式中,所述第三距离与所述第四距离的数值为根据所述其他车辆的车型确定的,所述其他车辆的车型至少包括自行车、电动自行车、轿车、载货汽车、客车、挂车、非完整车辆、摩托车、牵引汽车或特殊车辆,所述特殊车辆包括救护车、警车或消防车。

62、由于在目前道路上行驶的车辆车型众多,但不同城市、不同道路上常见的车辆情况不同,有的城市的道路上行驶的电动自行车偏多,有的轿车偏多,又有的道路上载货汽车偏多,因此针对不同的车型,与所述目标对象中的其他车辆相关的第三距离和第四距离会根据车型的变化而变化;值得说明的是,车型为特殊车辆的其他车辆与车辆之间的安全距离是最大的,可选的,当识别到所述其他车辆为特殊车辆时,对驾驶员输出特殊的提示信息,既符合交通法规,且能体现人文情怀。

63、在第一方面的又一种可能的实施方式中,所述屏幕包括设于副驾驶一侧的a柱上的右侧a柱的屏幕,且所述右侧a柱的屏幕朝向驾驶位,当所述目标对象与所述车辆之间的距离小于或等于预设距离时,在所述a柱上靠近所述驾驶位的一侧的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息之后,所述方法还包括:

64、若检测到所述车辆的驾驶员观看副驾驶一侧的后视镜的视线被遮挡,则控制所述右侧a柱的屏幕显示副驾驶侧的侧边和后方的画面信息,并输出第二提示信息,所述第二提示信息用于指示所述车辆的驾驶员观测所述车辆的副驾驶侧的侧边和后方的路况画面。

65、在第一方面的又一种可能的实施方式中,在当所述目标对象与所述车辆之间的距离小于或等于预设距离时,在所述a柱上屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息之后,所述方法还包括:

66、输出第三提示信息,所述第三提示信息用于提示所述车辆与所述目标对象之间的距离数值。

67、具体的,所述第三提示信息可以是通过所述屏幕进行显示,也可以是通过语音播报输出的,以便于驾驶员能够根据实际距离进行适合的操作。

68、在第一方面的又一种可能的实施方式中,所述车辆包括位于拍摄记录车辆正前方画面的行车记录仪,在所述当所述目标对象与所述车辆之间的距离小于或等于预设距离时,在所述a柱的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息之后,所述方法还包括:

69、调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面。

70、一般来说,行车记录仪仅能够拍摄所述车辆的正前方的画面,在实际场景中,由于驾驶员无法观测到a柱盲区而导致的事故也时有发生,但有时行车记录仪由于角度原因无法记录到此类事故的实际情况。因此,所述车辆为了应对此类安全事故发生时,没有视频记录的情况,在所述当所述目标对象与所述车辆之间的距离小于或等于预设距离之后,调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面,可选的,所述调整所述行车记录仪的拍摄方向的角度为10°,使所述行车记录仪既能拍摄到所述目标对象相关的画面,又能拍摄到所述车辆正前方大部分的画面。

71、在一种可选的实施方式中,根据所述目标对象和所述车辆之间的碰撞预测结果,调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面;

72、具体的,获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;

73、根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;

74、将所述目标对象数据集和所述车辆数据集输入至碰撞预测模型中,得到所述目标对象与所述车辆的碰撞预测结果,所述碰撞预测结果包括完全碰撞、可能碰撞或不可能碰撞,所述完全碰撞为确定所述车辆和所述目标对象一定会碰撞,所述可能碰撞为假如驾驶员不做出适当操作,所述车辆和所述目标对象会碰撞,所述不碰撞为驾驶员不做出任何改变自身行驶状态和速度的操作时,所述车辆和所述目标对象一定不会碰撞,所述碰撞预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的碰撞预测结果训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述碰撞预测结果属于标签数据。

75、若所述碰撞预测结果为完全碰撞或可能碰撞时,调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面。

76、通过上述方式,使行车记录仪能够根据某一个或多个实施方式提供的方法做出适应性的调整,提升驾驶员的体验感。

77、第二方面,本技术实施例提供一种驾驶场景中基于驾驶员视野状态的影像显示装置,所述装置至少包括获取单元、预测单元和显示单元。该驾驶场景中基于驾驶员视野状态的影像显示装置用于实现第一方面任一项实施方式所描述方法,其中获取单元、预测单元和显示单元的介绍如下:

78、获取单元,用于获取所述车辆的综合状态信息,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;

79、预测单元,用于根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;

80、显示单元,用于根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。

81、在当前市面上,常见的车型中均设有连接前发动机舱和车顶的a柱、位于前后门之间的b柱和连接后备箱和车顶的c柱,所述a柱、所述b柱和所述c柱在驾驶员驾驶车辆的过程中均遮挡驾驶员一部分的视野,但由于一般车辆上均设有后视镜和倒车影像,因此所述b柱和所述c柱对驾驶员的在驾驶员驾驶车辆行进的过程中,一般不会存在安全隐患,但因a柱位于车辆的前方,在驾驶员驾驶车辆行进的过程中可能会有一定的安全隐患。

82、所述车辆一般为本技术实施例提供的方法所应用的主体,具体来说,本方法应用于车辆的域控制器系统的自动驾驶域控制器,所述自动驾驶域控制器为本方法的执行主体,由于域控制器系统包括所述自动驾驶域控制器和车身域控制器,所述车身域控制器一般用于控制所述车辆中的设备,所述车辆中的设备包括车辆外置设备,两种控制器分工合作,以便于所述车辆的驾驶员能够及时观测到被遮挡的区域。

83、在本方法中,需要提前强调的是,本方法属于根据驾驶员的观测视线,来确定在左侧a柱还是右侧a柱,或是两侧a柱的屏幕上进行影像显示,因此,在驾驶员驾驶车辆的过程中,若驾驶员的视线未被遮挡,所述屏幕为常灭状态。

84、上述第一方面所应用的方法,首先获取所述车辆的综合状态信息,所述综合状态信息可以是通过所述车身域控制器获取的,但获取到的信息进行处理的主体为所述自动驾驶域控制器;

85、其次,通过所述综合状态信息可以预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域分为三种情况;情况一,所述车辆左侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;情况二,所述车辆右侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;情况三,副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域。

86、基于上述三种情况,本方法的关键在于,如何判断上述三种情况的发生,以及相应的投射什么影像到屏幕上,才能使驾驶员安全驾驶,且不受到视野被遮挡的困扰。

87、具体的,所述自动驾驶域控制器根据获取的来自所述车身域控制器的综合状态信息进行预测和判断,这也就代表着,获取的所述综合状态信息可用于判断上述三种情况的发生。由此可知,所述自动驾驶域控制器通过对所述综合状态信息进行分析确定驾驶员被什么遮挡了视线。

88、当确定了驾驶员被什么遮挡了视线之后,即可确定目标区域,而所述目标区域与在屏幕上显示的影像息息相关,例如,在确定目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域情况下,通过车身域控制器获取所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域处的影像,并将所述影像进行处理后在左侧a柱的屏幕上进行显示。在本方法中,对影像进行处理的主体为所述自动驾驶域控制器。

89、由此可见,通过自动驾驶域控制器和车身域控制器的相互配合,使自动驾驶域控制器更加智能,在合适的时机确定驾驶员需观察的但被遮挡的区域,并将控制屏幕显示对应区域的画面,且在其余时间控制屏幕常灭,既能保证驾驶员的视线不被遮挡,又能保证节能环保。

90、在第二方面的又一种可能的实施方式中,所述预测单元具体用于:

91、根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;

92、根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;

93、若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。

94、具体的,所述屏幕除了可以显示被a柱遮挡的画面之外,还可以显示其他画面;而由于驾驶员在驾驶车辆行进的过程中,经常需要观察车辆两侧的后视镜,以观察两侧或后方来车,但由于坐副驾驶位的乘客可能由于某一些动作遮挡住驾驶员观察副驾驶位一侧的后视镜的视野,虽然遮挡时间可能很短暂,但是由于车辆行进速度很快,尤其是在高速公路上,很短的时间内的误操作就可能导致危害驾驶员或乘客的事件发生,因此,在本实施方式中,所述其他画面包括副驾驶位一侧的后视镜显示的画面,所述右侧a柱的屏幕安装在副驾驶一侧的a柱上,且朝向驾驶位,当检测到所述车辆的驾驶员观看副驾驶一侧的后视镜的视线被遮挡时,则控制所述右侧a柱的屏幕显示副驾驶侧的侧边和后方的画面信息,以代替副驾驶一侧的后视镜,使驾驶员能够观测到该后视镜应显示的画面;输出第二提示信息,以便于驾驶员在忽略掉所述右侧a柱的屏幕上显示的画面时,能够及时的反应过来侧面或后面的情况需要观察。

95、在上述三种情况中的情况三中,也就是副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域的情况下,获取的所述综合状态信息至少包括驾驶员头部姿态和副驾驶位乘坐人员的姿态。

96、根据驾驶员头部姿态和副驾驶位乘坐人员的姿态来确定述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡。若被遮挡,则代表着驾驶员需观察,但被遮挡的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。所述自动驾驶域控制器根据情况的不同,用于分析的信息也就不同。

97、在第二方面的又一种可能的实施方式中,所述显示单元具体用于:

98、获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;

99、根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;

100、在所述右侧a柱的右侧屏幕显示所述目标影像。

101、需要说明的是,在上述过程中,生成适配所述右侧a柱的屏幕的目标影像,是需要所述自动驾驶域控制器对所述车外摄像头获取的影像数据进行帧率、取景范围等参数进行调整,以便以能够生成适配所述右侧a柱的右侧屏幕的目标影像。

102、可选的,在生成适配所述右侧a柱的右侧屏幕的目标影像的过程中,添入符合驾驶员观察习惯的标准,以用于生成能够匹配驾驶员观察习惯的画面,所述标准可以是通过模型获取的符合当前驾驶员习惯的,也可以是生成时自设置的。

103、相对于现有单一、固化显示固定取景范围的方案,如此设置有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性。

104、在第二方面的又一种可能的实施方式中,在根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像方面,所述显示单元还用于:

105、若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;

106、若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。

107、考虑到不同车型的车身域控制器所控制的设备存在差别,但也为了使所述目标影像能够适配屏幕以及驾驶员的观察习惯,因此,针对车外摄像头的数量的不同,生成所述目标影像的方式也不同,进一步提高了自动驾驶域控制器进行影像显示的全面性。

108、在第二方面的又一种可能的实施方式中,所述预测单元具体用于:

109、根据所述综合状态信息,确定所述驾驶员的预观测方向;

110、若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;

111、若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。

112、上述的过程是体现所述自动驾驶域控制器智能化的关键,为了驾驶员的驾驶舒适性考虑,位于左侧a柱和右侧a柱上的屏幕一般是常灭的状态,但在确定目标区域后,所述屏幕上回显示相应的影像,但想要确定目标区域,则需确定驾驶员的预观测方向,而所述驾驶员的预观测方向为根据所述方向盘角度和/或驾驶员头部姿态确定的,例如,若驾驶员的方向盘角度发生变化,则代表着所述车辆的轨迹会发生变化,那么此时驾驶员自然地进行观测,这也就代表着,方向盘的角度可以代表着驾驶员的观测方向。

113、在第二方面的又一种可能的实施方式中,所述显示单元具体用于:

114、根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;

115、根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;

116、若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;

117、若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;

118、若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息;

119、若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。

120、进一步的,由于汽车在直行或转弯时,给驾驶员观察、思考和操作的时间不同,设置的与所述目标对象之间的安全距离也就是不同的,所以首先确定所述车辆的行驶状态,所述行驶状态包括直行或转弯,在其他实施方式中,所述行驶状态也可能包括其他的情况,如掉头、刹车等。

121、更进一步的,若靠近所述车辆的目标对象为行人时,会因车辆不同的行驶状态设置不同的安全距离,当车辆在直行时,车速一般较快,转弯时,车速一般较慢,因此,为了给驾驶员相对多的时间去操控车辆,避免危险发生,设置的所述第二距离小于所述第一距离;同理,所述第四距离小于第三距离。综上,设置不同的安全距离来应对车辆驾驶过程中的复杂情形,更合理化和人性化。

122、在第二方面的又一种可能的实施方式中,所述显示单元还用于:

123、获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;

124、根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;

125、将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。

126、具体的,上述的安全距离可以是动态的,根据车辆行驶过程中的实际情况去确定安全距离,在本实施方式中的安全距离包括所述第一距离、所述第二距离、所述第三距离和所述第四距离,因此,在上述的确定车辆的行驶状态之前,确定每一个目标对象的安全距离,以用于后续操作。

127、进一步的,所述安全距离与所述车辆和所述目标对象的实际行驶/行走状态相关,因此,首先获取所述车辆的相关数据,即获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,用于表征所述车辆的某个时间点到当前的运行状态,所述行驶状态至少包括直行或转弯;其次,根据上述的视频信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,用于表征在当前时间点或时间段所述行人的运动状态,就是所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息,用于表征所述其他车辆在当前时间点或时间段的运行状态。

128、更进一步的,将将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据,所述安全距离预测模型应用的模型、应用的逻辑是多样的,如通过将所述车辆和所述目标对象的相关数据分别整合成行驶轨迹,将所述车辆和所述目标对象的行驶轨迹进行拟合,以得到碰撞判断结果,根据所述碰撞判断结果和所述目标对象的相关数据去确定合适的安全距离。

129、可选的,所述行人数据集还包括:第一权重和第二权重;所述第一权重用于约束所述行人形态信息对相应的安全距离结果的影响程度;所述第二权重用于约束所述第一速度信息对相应的安全距离结果的影响程度。

130、可选的,所述车辆数据集还包括:第三权重、第四权重和第五权重;所述第三权重用于约束所述车辆行驶状态信息对相应的安全距离结果的影响程度;所述第四权重用于约束所述车辆轨迹信息对相应的安全距离结果的影响程度;所述第五权重用于约束所述第三速度信息对相应的安全距离结果的影响程度;

131、通过上述方式,可以更灵活的调整安全距离,应对更复杂路况时更有针对性。

132、第三方面,本技术实施例提供一种车辆,该车辆包括自动驾驶域控制器、存储器及存储在所述存储器上并能够在所述自动驾驶域控制器上运行的计算机程序;自动驾驶域控制器执行计算机程序时,该车辆可执行前述第一方面或者第一方面的任一种可能的实现方式所描述的方法。

133、需要说明的是,上述第三方面所描述的车辆所包含的自动驾驶域控制器,可以是专门用于执行这些方法的自动驾驶域控制器(便于区别称为专用自动驾驶域控制器),也可以是通过调用计算机程序来执行这些方法的自动驾驶域控制器,例如通用自动驾驶域控制器。可选的,至少一个自动驾驶域控制器还可以既包括专用自动驾驶域控制器也包括通用自动驾驶域控制器。

134、可选的,上述计算机程序可以存在存储器中。示例性的,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,rom),其可以与自动驾驶域控制器集成在同一块器件上,也可以分别设置在不同的器件上,本技术实施例对存储器的类型以及存储器与自动驾驶域控制器的设置方式不做限定。

135、在一种可能的实施方式中,上述至少一个存储器位于上述车辆之外。

136、在又一种可能的实施方式中,上述至少一个存储器位于上述车辆之内。

137、在又一种可能的实施方式之中,上述至少一个存储器的部分存储器位于上述车辆之内,另一部分存储器位于上述车辆之外。

138、本技术中,自动驾驶域控制器和存储器还可能集成于一个器件中,即自动驾驶域控制器和存储器还可以被集成在一起。

139、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储计算机程序,当所述指令在至少一个自动驾驶域控制器上运行时,实现前述第一方面或者第一方面的任一种可选的方案所描述的方法。

140、第五方面,本技术提供了一种计算机程序产品,计算机程序产品包括计算机程序,当所述程序在至少一个自动驾驶域控制器上运行时,实现前述第一方面或者第一方面的任一种可选的方案所描述的方法中。

141、可选的,该计算机程序产品可以为一个软件安装包,在需要使用前述方法的情况下,可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。

142、本技术第三至第五方面所提供的技术方案,其有益效果可以参考第一方面和第二方面的技术方案的有益效果,此处不再赘述。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1