一种座舱交互方法、设备、车辆及存储介质与流程

本发明属于汽车座舱人机交互，具体涉及一种座舱交互方法、设备、车辆及存储介质。

背景技术：

1、智能座舱是汽车智能化发展的重要方向，随着车辆的硬件配置何性能的趋同，座舱的智能化是衡量一辆汽车的重要组成部分。智能座舱，尤其是中控大屏承担了目前大部分的人机接口功能，承担了车辆与车辆交互的核心功能。车辆功能按钮的触摸化且全部集中于车机显示屏。受到光照反射、车机系统更新迭代导致按键位置变化等因素的影响，会导致行车时按键位置不易确认、寻找相关按键操作过程繁杂从而导致驾驶员视线离开路面导致安全问题。

技术实现思路

1、本发明的目的是：旨在提供一种座舱交互方法、设备、车辆及存储介质，根据驾驶员行为对驾驶员的操作进行预测，执行模块控制座舱的中控屏幕上自动弹出控制按钮，使得驾驶员可以更加方便地进行按键操作，提高行车安全。

2、为实现上述技术目的，本发明采用的技术方案如下：

3、第一方面，本申请的实施例提供了一种座舱交互方法，应用于座舱交互设备，所述设备包括有感知模块、预测模块和执行模块，所述预测模块用于根据驾驶员行为预测驾驶员的操作，所述方法包括：

4、所述感知模块采集驾驶员的行为信息，将所述驾驶员的行为信息上传至所述预测模块中；

5、根据预设的行为预测模型，所述预测模块对所述驾驶员行为进行预测分析，获得驾驶员操作中控屏幕的概率p；

6、当所述概率p超过预设的执行阈值t时，向所述执行模块输出操作请求m；

7、根据所述操作请求m，所述执行模块执行相应操作。

8、结合第一方面，在一些可选的实施方式中，所述感知模块采集驾驶员的行为信息，包括：

9、所述感知模块包括dms摄像头、can总线和车内环境传感器；所述dms摄像头用作采集驾驶员的操作图像和音频，所述can总线采集车辆行驶环境信息，所述车内传感器采集车内环境信息。

10、结合第一方面，在一些可选的实施方式中，根据预设的行为预测模型，所述预测模块对所述驾驶员行为进行预测分析，获得驾驶员操作中控屏幕的概率p，包括：

11、所述行为预测模型的构建，以驾驶员操作座舱的显示屏图像作为正样本，以驾驶员驾车和在车内未操作座舱的显示屏作为负样本，利用mobilenet进行迁移学习训练，将所述行为预测模型输出的结果类型分为两类，仅计算有操作意愿和无操作意愿的0～1概率分布，获得驾驶员操作中控屏幕的概率p。

12、结合第一方面，在一些可选的实施方式中，根据预设的行为预测模型，所述预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率p，包括：

13、所述行为预测模型数据的输入信息来自于所述can总线的信息和预设的座舱操作记录，以过往车辆状态信息和座舱操作历史记录作为第一输入信息，以当前车辆can总线状态信息和座舱当前状态信息作为第二输入信息，将所述第一输入信息和第二输入信息结构化处理后采用矩阵相似度算法进行转换处理，生成所述行为预测模型的输入信息。

14、结合第一方面，在一些可选的实施方式中，当所述概率p超过预设的执行阈值t时，向所述执行模块输出操作请求m，包括：

15、当所述概率p超过预设的执行阈值t时，根据所述车辆行驶环境信息和所述车内环境信息，所述预测模块获得车辆运行状态，结合预设的驾驶员历史操作记录，确定需要执行的操作请求m。

16、结合第一方面，在一些可选的实施方式中，根据所述操作请求m，所述执行模块执行相应操作，包括：

17、根据所述操作请求m，所述执行模块调用预设的操作按键列表，在座舱的中控屏幕上弹出推荐的操作按键。

18、第二方面，本申请实施例还提供一种座舱交互设备，其特征在于：包括有感知模块、预测模块、执行模块和存储模块，所述预测模块用于根据驾驶员行为预测驾驶员的操作，所述存储模块内存储计算机程序，当所述计算机程序被所述预测模块和执行模块执行时，使得所述座舱交互设备执行上述的方法。

19、第三方面，本申请实施例还提供一种车辆，所述车辆包括车辆本体及上述的座舱交互设备，所述座舱交互设备设置于所述车辆上。

20、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。

21、采用上述技术方案的发明，具有如下优点：

22、感知模块采集座舱内的驾驶员的行为信息和车辆的行驶状态信息，预测模块与驾驶员的操作进行预测，当预测到驾驶员会进行中控屏操作的概率p超过预设的操作执行阈值t之后，执行模块自动调取相应的按键列表，并将按键列表显示在中控屏幕上。驾驶员可以方便快捷地完成在座舱的中控屏上的按键操作，避免驾驶员由于寻找中控屏上的操作按键导致驾驶员的视线长时间离开道路，从而提高驾驶的安全性。

技术特征：

1.一种座舱交互方法，其特征在于：应用于座舱交互设备，所述设备包括有感知模块、预测模块和执行模块，所述预测模块用于根据驾驶员行为预测驾驶员的操作，所述方法包括：

2.根据权利要求1所述的一种座舱交互方法，其特征在于：所述感知模块采集驾驶员的行为信息，包括：

3.根据权利要求1所述的一种座舱交互方法，其特征在于：根据预设的行为预测模型，所述预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率p，包括：

4.根据权利要求2所述的一种座舱交互方法，其特征在于：根据预设的行为预测模型，所述预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率p，包括：

5.根据权利要求2所述的一种座舱交互方法，其特征在于：当所述概率p超过预设的执行阈值t时，向所述执行模块输出操作请求m，包括：

6.根据权利要求1所述的一种座舱交互方法，其特征在于：根据所述操作请求m，所述执行模块执行相应操作，包括：

7.一种座舱交互设备，其特征在于：包括有感知模块、预测模块、执行模块和存储模块，所述预测模块用于根据驾驶员行为预测驾驶员的操作，所述存储模块内存储计算机程序，当所述计算机程序被所述预测模块和执行模块执行时，使得所述座舱交互设备执行如权利要求1-6中任一项所述的方法。

8.一种车辆，其特征在于：所述车辆包括车辆本体及如权利要求6所述的座舱交互设备，所述座舱交互设备设置于所述车辆上。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-6中任一项所述的方法。

技术总结
本发明属于汽车座舱人机交互技术领域，具体涉及一种座舱交互方法、设备、车辆及存储介质。一种座舱交互方法，包括：感知模块采集驾驶员的行为信息，将驾驶员的行为信息上传至预测模块中；根据预设的行为预测模型，预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率P；当概率P超过预设的执行阈值T时，向执行模块输出操作请求M；根据操作请求M，执行模块执行相应操作。根据驾驶员行为对驾驶员的操作进行预测，执行模块控制座舱的中控屏幕上自动弹出控制按钮，使得驾驶员可以更加方便地进行按键操作，提高行车安全。

技术研发人员：王岳超
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：
技术公布日：2024/1/12