车载娱乐交互方法、装置、车辆及存储介质与流程

本技术涉及车载娱乐，特别涉及一种车载娱乐交互方法、装置、车辆及存储介质。

背景技术：

1、随着汽车行业智能网联领域技术的不断发展，人们对车载娱乐系统的使用体验要求变得越来越高。

2、在相关技术中，公开了一种互动投影板装置以及一种多媒体互动设备，该互动投影板装置包含有彼此电连通的触控互动结构及双频电子装置，使触控互动结构上的触控投影面形成至少两个触控投影区，可供使用者书写操作、投影光束以及触控操作，以能根据使用者具体触控第一触控投影区和/或第二触控投影区产生相应的触控信号，进而使触控互动模块和双频电子装置提供至少一画面信息实时显示于第一触控投影区和/或第二触控投影区，且该画面信息也能随用户触控移动在两个触控投影区上的显示位置，不会有延迟、断讯现象。据此，提供互动投影板装置兼具可书写及多媒体触控、投影互动功能。

3、还公开了一种沉浸式隧道型多媒体交互展示系统及方法，包括屏幕、播放系统、音响系统、人机交互系统、演示装置、机械步道和舞台，舞台中央设机械步道、左右设隧道式背投屏幕、正上方设特效设备、前方左右设投影机、左上或右上设动作传感器，机械步道左右外设音响装置，交互式多媒体内容生成器由信号线分别连接特效服务器、动作捕捉器、视频播放器、音频播放器和机械步道控制器，特效演示装置由信号线连接特效服务器，动作传感器由信号线连接动作捕捉服务器，显示设备由线连接视频播放器信号线，音响系统由信号线连接音频系统，机械步道由信号线连接机械步道控制器，具有更有效、能更好地提供客户体验的特点。

4、还公开了一种基于多模态的交互方法、装置、存储介质及智能屏设备，涉及人工智能技术领域，多模态交互技术领域。具体实现方案为：基于多模态交互技术识别用户特征，并基于所述多模态交互技术获取用户的交互场景信息；根据所述用户特征结合所述交互场景信息，分析用户的交互意图；获取与所述交互意图对应的目标交互指令，从而采用所述目标交互指令对所述智能屏设备进行交互控制。

5、综上，相关技术中车载娱乐系统的交互设计主要为基于中控屏幕显示和语音控制交互设计，其人机交互的维度、趣味性和氛围感都有待提升，科技化和智能化的使用体验也有待增强。

技术实现思路

1、本技术提供一种车载娱乐交互方法、装置、车辆及存储介质，以解决相关技术中车载娱乐系统基于中控屏幕显示和语音控制交互的局限性，人机交互的互动维度、趣味性和氛围感不足，科技化和智能化体验不高等问题。

2、本技术第一方面实施例提供一种车载娱乐交互方法，包括以下步骤：检测车辆是否进入多模态娱乐交互模式；在所述车辆进入所述多模态娱乐交互模式时，识别车内人员的体态信息、手势信息、视觉感知信息和音频信息中的一种或多种；根据所述体态信息、所述手势信息、所述视觉感知信息和所述音频信息中的一种或多种确定所述车辆的一个或多个交互组件的交互参数，利用所述交互参数控制所述一个或多个交互组件执行交互动作。

3、根据上述技术手段，本技术实施例可以通过基于车内人员的体态信息、手势信息、视觉感知信息和音频信息控制交互组件执行交互动作，从而实现多模态娱乐交互，有效提升了车载娱乐人机交互的互动维度、趣味性及娱乐氛围感，提升了整车内部的科技化与智能化的体验。

4、可选地，在本技术的一个实施例中，所述交互组件为各类座舱显示器、投屏设备、虚拟现实设备ar(augmented reality，增强现实)、灯光系统和香氛系统中的任意一种，所述体态信息包括头部及身躯的第一晃动幅度、所述手势信息包括手势类型和手势的第二晃动幅度，所述视觉感知信息包括视线信息和/或唇动信息，所述音频信息包括声源位置和/或声音强度。

5、可选地，在本技术的一个实施例中，所述根据所述体态信息、所述手势信息、所述视觉感知信息和所述音频信息中的一种或多种确定所述车辆的一个或多个交互组件的交互参数，包括：根据所述手势类型匹配显示器显示的多媒体和/或所述香氛系统的控制动作，利用所述控制动作控制所述多媒体和/或所述香氛系统执行对应动作；和/或，根据所述第一晃动幅度、所述第二晃动幅度和声音强度中的一种或多种匹配所述灯光系统的最佳灯光参数，利用所述最佳灯光参数调整所述灯光系统中灯光的当前参数；和/或，根据所述声源位置和/或所述唇动信息定位用户的实际位置，根据所述实际位置修正所述各类座舱显示器、投屏设备、虚拟现实设备ar和灯光系统中一种或多种的显示效果；和/或，根据所述视线信息确定所述用户的视线聚焦点，根据所述视线聚焦点修正所述各类座舱显示器、投屏设备、虚拟现实设备ar和灯光系统中一种或多种的显示效果。

6、根据上述技术手段，本技术实施例可以通过手势类型匹配控制动作，以此执行相应动作，通过晃动幅度和声音强度匹配最佳灯光参数，以此调节灯光，通过声源位置和唇动信息中的一种或多种定位用户的实际位置，以此修正显示效果，通过视线信息确定用户的视线聚焦点，以此修正显示效果，从而可以有效提升车载娱乐人机交互的互动维度、趣味性及娱乐氛围感，提升了整车内部的科技化与智能化的体验。

7、可选地，在本技术的一个实施例中，所述检测车辆是否进入多模态娱乐交互模式，包括：识别用户的进入所述多模态娱乐交互模式的实际意图；若所述实际意图为进入意图时，检测所述车辆是否满足预设进入条件；若所述车辆满足所述预设进入条件，则控制所述车辆进入所述多模态娱乐交互模式，否则生成风险提示。

8、根据上述技术手段，本技术实施例可以通过识别用户的实际意图和检测车辆的预设进入条件，来判断车辆是否进入多模态娱乐交互模式，可以有效避免行车过程中进入，保证车辆的安全性。

9、本技术第二方面实施例提供一种车载娱乐交互装置，包括：检测模块，用于检测车辆是否进入多模态娱乐交互模式；识别模块，用于在所述车辆进入所述多模态娱乐交互模式时，识别车内人员的体态信息、手势信息、视觉感知信息和音频信息中的一种或多种；执行模块，用于根据所述体态信息、所述手势信息、所述视觉感知信息和所述音频信息中的一种或多种确定所述车辆的一个或多个交互组件的交互参数，利用所述交互参数控制所述一个或多个交互组件执行交互动作。

10、可选地，在本技术的一个实施例中，所述交互组件为各类座舱显示器、投屏设备、虚拟现实设备ar、灯光系统和香氛系统中的任意一种，所述体态信息包括头部及身躯的第一晃动幅度、所述手势信息包括手势类型和手势的第二晃动幅度，所述视觉感知信息包括视线信息和/或唇动信息，所述音频信息包括声源位置和/或声音强度。

11、可选地，在本技术的一个实施例中，所述执行模块进一步用于：根据所述手势类型匹配显示器显示的多媒体和/或所述香氛系统的控制动作，利用所述控制动作控制所述多媒体和/或所述香氛系统执行对应动作；和/或，根据所述第一晃动幅度、所述第二晃动幅度和声音强度中的一种或多种匹配所述灯光系统的最佳灯光参数，利用所述最佳灯光参数调整所述灯光系统中灯光的当前参数；和/或，根据所述声源位置和/或所述唇动信息定位用户的实际位置，根据所述实际位置修正所述各类座舱显示器、投屏设备、虚拟现实设备ar和灯光系统中一种或多种的显示效果；和/或，根据所述视线信息确定所述用户的视线聚焦点，根据所述视线聚焦点修正所述各类座舱显示器、投屏设备、虚拟现实设备ar和灯光系统中一种或多种的显示效果。

12、可选地，在本技术的一个实施例中，所述检测模块进一步用于：识别用户的进入所述多模态娱乐交互模式的实际意图；若所述实际意图为进入意图时，检测所述车辆是否满足预设进入条件；若所述车辆满足所述预设进入条件，则控制所述车辆进入所述多模态娱乐交互模式，否则生成风险提示。

13、本技术第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车载娱乐交互方法。

14、本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的车载娱乐交互方法。

15、由此，本技术至少具有如下有益效果：

16、1、本技术实施例可以通过基于车内人员的体态信息、手势信息、视觉感知信息和音频信息控制交互组件执行交互动作，从而实现多模态娱乐交互，有效提升了车载娱乐人机交互的互动维度、趣味性及娱乐氛围感，提升了整车内部的科技化与智能化的体验。

17、2、本技术实施例可以通过手势类型匹配控制动作，以此执行相应动作，通过晃动幅度和声音强度匹配最佳灯光参数，以此调节灯光，通过声源位置和唇动信息中的一种或多种定位用户的实际位置，以此修正显示效果，通过视线信息确定用户的视线聚焦点，以此修正显示效果，从而可以有效提升车载娱乐人机交互的互动维度、趣味性及娱乐氛围感，提升了整车内部的科技化与智能化的体验。

18、3、本技术实施例可以通过识别用户的实际意图和检测车辆的预设进入条件，来判断是否进入多模态娱乐交互模式，可以有效避免行车过程中进入，保证车辆的安全性。

19、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。