一种基于眼球追踪的空气投影控制方法及系统与流程

本发明涉及智能驾舱，更具体地，涉及一种基于眼球追踪的空气投影控制方法及系统。

背景技术：

1、随着汽车的发展与普及，在满足车辆安全驾驶的基本功能上，车辆的操作体验感、综合功能性的要求越来越高，越来越多功能设计的方向趋向于智能化，使车辆能够更好地为驾乘人员服务，提升车辆的综合性能。

2、对于使用在车内的智能化显示系统，现有几种主要的做法如下：

3、1.通过眼睛跟踪器连续地监测驾驶员的瞳孔的位置并将该位置提供给控制器，平视显示装置可安装在如车辆的仪表板中，控制器响应于从眼睛跟踪器输入的驾驶员的瞳孔的位置向驾驶员提供包括车辆的状态信息、车辆的驾驶信息、导航信息、车辆的前方环境、或者车辆的后方环境等的视频。此方案中，采用眼睛追踪器追踪驾驶员的瞳孔，通过平视显示装置将车辆相关各项信息进行显示，本方案只针对驾驶员进行信息显示，未考虑其余座位人员的信息阅读需求，具有局限性。

4、2.高清摄像头以一定频率拍摄驾驶员人脸的高清图像，并将图像信息传送至单片机，单片机处理由高清摄像头拍摄的照片，利用智能图像处理算法判断人脸朝向方位与眼球注视方向；然后，单片机依据人脸朝向与眼球注视方向计算出旋转电机的转动角度后控制旋转电机旋转；最后，单片机接收汽车的中控台的车速，并控制微型激光投影仪将车速投影至汽车的挡风玻璃上供驾驶员观察。此方案中，虽然可通过旋转电机控制微型激光投影仪的角度，从而将车速信息投影到汽车的挡风玻璃上供驾驶员观察，但是此方案中仍然是以驾驶员的眼球注视方向作为投影调节的依据，未考虑其他座位上人员的信息阅读需求。且由于信息展示的方式是通过投影到汽车的挡风玻璃上，信息显示的方式是平面显示，其成像平面固定，仅能调节成像位置和成像大小，同样具有局限性。

5、空气投影作为一种新兴的投影技术，也被称为空气成像、空中立体成像、雾屏成像等，其以镭射在空中成像，无须任何投射屏幕，同时也可以直接在空气中操作屏幕中的功能，感觉就好像身处电影中的未来世界一样。目前，已有将空气投影技术使用到车内显示功能中的案例，但是，其仍然是以主驾人员的视场作为展示区域，虽然能较大提升主驾人员的操作体验感，但是由于其投影位置与角度固定，对于其他座位同乘人员来讲，投影面积较小、投影可视角小，用户体验感仍需进行改善。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种基于眼球追踪的空气投影控制方法及系统，其可综合结合语音请求、车辆状态以及眼球追踪技术，根据预设的响应优先级，自适应调节投影成像的角度与投影大小，满足车内各个座位上人员的投影显示需求，增强车载投影功能的功能性与趣味性，提升驾乘人员体验感。

2、根据本发明的第一方面，提供了一种基于眼球追踪的空气投影控制方法，包括：

3、检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；

4、若不存在空气投影操作指令，则空气投影的成像面处于预设位置；

5、若存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。

6、在上述技术方案的基础上，本发明还可以作出如下改进。

7、可选的，检测语音请求信息，包括：

8、获取语音唤醒信号，根据语音唤醒信号获取开启空气投影功能的语音请求信息；

9、识别语音唤醒信号所处的麦克风阵列音区，根据音区识别结果判断发出语音请求的乘客座位。

10、可选的，所述车辆状态信息，至少包括：车辆的驾驶模式信息与车速，所述驾驶模式信息包括主动驾驶模式或辅助驾驶模式。

11、可选的，检测眼球标签信息，包括：

12、获取车内实时视频序列，追踪实时视频序列中的人脸信息，识别人脸信息中是否存在眼球特征；

13、当识别到眼球特征时，通过低功率主动近红外照射人眼、并使用传感阵列捕捉近红外图像；

14、识别近红外图像中的眼部特征，根据所述眼部特征估算对应眼球的注视方向和注视点，将空气投影位置-眼睛-水平线的夹角a与注视方向-水平线的夹角b相比对，当夹角a与夹角b的差值小于误差阈值，则判定对应的眼球正在注视空气投影位置；

15、根据注视点到对应眼球的距离，将正在注视空气投影位置的眼球的位置与车辆座位相匹配，根据对应的座位属性为注视空气投影位置的全部眼球打上眼球标签。

16、可选的，所述响应优先级规则，包括：

17、语音请求优先级＞车辆状态优先级＞眼球标签优先级。

18、可选的，所述预设位置为空气投影位置朝向主驾驶位，且成像区域处于标定好的最适宜主驾驶位上眼球观看的位置。

19、可选的，所述基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积，包括：

20、获取空气投影的成像区域到各个座位之间的标准直线距离a、标准垂直高度差b和标准横向距离c；

21、判断当前空气投影操作指令的类型，结合语音请求优先级＞车辆状态优先级＞眼球标签优先级的原则：

22、若当前存在语音请求，则根据语音请求信息判定音源位置的乘客座位，并将此座位乘客的眼球标签优先级设置为最高；

23、若当前无语音请求，根据车辆状态信息获取车辆的驾驶模式信息与车速，当所述驾驶模式信息为主动驾驶模式时，屏蔽驾驶员的眼球标签；当所述驾驶模式信息为辅助驾驶模式时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之后；当车速为0时，将驾驶员的眼球标签优先级设置在其余座位的眼球标签优先级之前；

24、若当前追踪到多个注视空气投影位置的其余座位的眼球，则将优先级最高的眼球标签作为目标眼球标签；其中，主驾驶位以外其余座位的眼球标签优先级排序为：副驾>右侧后排>左侧后排>中间后排；

25、根据目标眼球标签计算对应眼球到成像位置的直线距离a1，将直线距离a1与标准直线距离a相比对，根据直线距离比对结果调整成像面积的放大或缩小；

26、根据目标眼球标签计算对应眼球到成像位置的垂直高度差b1，将垂直高度差b1与标准垂直高度差b相比对，根据垂直高度差比对结果调整成像区域的纵向倾斜角度；

27、根据目标眼球标签计算对应眼球到成像位置的横向距离c1，将横向距离c1与标准横向距离c相比对，根据横向距离比对结果调整成像区域的横向倾斜角度。

28、根据本发明的第二方面，提供一种基于眼球追踪的空气投影控制系统，包括：

29、获取模块，用于检测是否存在空气投影操作指令，所述空气投影操作指令包括语音请求信息、车辆状态信息和/或眼球标签信息；

30、调节模块，用于若判定不存在空气投影操作指令，则控制空气投影的成像面处于预设位置；

31、还用于若判定存在空气投影操作指令，则基于响应优先级规则，根据所述语音请求信息、车辆状态信息和/或眼球标签信息，调整空气投影的角度与成像面积。

32、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述一种基于眼球追踪的空气投影控制方法的步骤。

33、根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述一种基于眼球追踪的空气投影控制方法的步骤。

34、本发明提供的一种基于眼球追踪的空气投影控制方法、系统、电子设备及存储介质，其可综合结合语音请求、车辆状态以及眼球追踪技术，考虑车内各个座位上人员的投影显示需求，根据预设的响应优先级，自适应调节投影成像的角度与投影大小，增强车载投影功能的功能性与趣味性，提升驾乘人员体验感。