车辆氛围灯的控制方法、装置、设备及存储介质与流程

本技术涉及灯光控制，尤其涉及一种车辆氛围灯的控制方法、装置、设备及存储介质。

背景技术：

1、随着汽车行业的快速发展，驾乘体验成为消费者选择汽车的重要因素之一。在这个背景下，车辆氛围灯作为一种重要的车内装饰元素，已经成为现代汽车中不可或缺的一部分。车辆氛围灯的设计和功能不仅仅是为了提供照明，更重要的是为驾乘者创造一个舒适、愉悦的驾乘环境。相关技术中，根据驾驶员的不同情绪变化设置对应的车辆氛围灯控制参数，使得车辆氛围灯能够根据驾驶员的情绪变化进行联动。但是，设置的情绪种类有限，无法满足不同场景下车辆氛围灯的控制需求。

技术实现思路

1、本技术实施例通过提供一种车辆氛围灯的控制方法、装置、设备及存储介质，旨在满足不同场景下车辆氛围灯的控制需求，实现不同场景下的车辆氛围灯与驾驶员的情绪变化的联动，提高车辆氛围灯的控制效果。

2、本技术实施例提供了一种车辆氛围灯的控制方法，所述车辆氛围灯的控制方法，包括：

3、确定当前驾驶员状态对应的描述文本；

4、根据所述描述文本和所述描述文本对应的提示模板，确定与所述当前驾驶员状态匹配的多媒体数据；

5、基于车辆氛围灯的各个灯珠的编码位置和所述多媒体数据，确定各个所述灯珠的控制参数；

6、控制所述车辆氛围灯的各个所述灯珠按照所述控制参数工作。

7、可选地，所述确定当前驾驶员状态对应的描述文本的步骤包括：

8、采集驾驶员的图像信息和/或音频信息；

9、将所述图像信息和/或所述音频信息输入双塔结构模型；

10、通过所述双塔结构模型的视觉语言分支对所述图像信息进行处理，得到能被大语言模型识别的视觉表示；和/或，通过所述双塔结构模型的音频语言分支对所述音频信息进行处理，得到能被大语言模型识别的音频表示；

11、基于所述大语言模型、所述视觉表示和/或所述音频表示，得到所述当前驾驶员状态对应的描述文本。

12、可选地，所述视觉语言分支包括视觉编码器、第一位置嵌入层、第一查询变换器和第一线性层，所述通过所述双塔结构模型的视觉语言分支对所述图像信息进行处理，得到能被大语言模型识别的视觉表示的步骤包括：

13、通过所述视觉编码器提取所述图像信息中每一图像帧的第一特征；

14、通过所述第一位置嵌入层，将每一图像帧的第一特征与对应的帧位置嵌入结合，得到每一图像帧的第二特征；

15、通过所述第一查询变换器聚合每一图像帧的第二特征，得到综合图像特征；

16、通过所述第一线性层，将所述综合图像特征映射到所述大语言模型的嵌入空间，得到所述能被大语言模型识别的视觉表示。

17、可选地，所述音频语言分支包括音频编码器、第二位置嵌入层、第二查询变换器和第二线性层，所述通过所述双塔结构模型的音频语言分支对所述音频信息进行处理，得到能被大语言模型识别的音频表示的步骤包括：

18、通过所述音频编码器提取所述音频信息中每一音频片段的第一特征；

19、通过所述第二位置嵌入层，将每一音频片段的第一特征与对应的位置嵌入结合，得到每一音频片段的第二特征；

20、通过所述第二查询变换器融合每一音频片段的第二特征，得到综合音频特征；

21、通过所述第二线性层，将所述综合音频特征映射到所述大语言模型的嵌入空间，得到所述能被大语言模型识别的音频表示。

22、可选地，所述基于所述大语言模型、所述视觉表示和/或所述音频表示，得到所述当前驾驶员状态对应的描述文本的步骤之前，还包括：

23、根据视觉表示样本与对应的描述文本样本之间的映射关系，训练得到所述大语言模型；和/或，根据音频表示样本与对应的描述文本样本之间的映射关系，训练得到所述大语言模型。

24、可选地，所述根据所述描述文本和所述描述文本对应的提示模板，确定与所述当前驾驶员状态匹配的多媒体数据的步骤包括：

25、根据所述描述文本和所述描述文本对应的提示模板，生成目标描述文本；

26、基于扩散模型对所述目标描述文本进行处理，得到与所述当前驾驶员状态匹配的多媒体数据。

27、可选地，所述根据所述描述文本和所述描述文本对应的提示模板，生成目标描述文本的步骤包括：

28、提取所述描述文本中的关键词；

29、确定所述关键词在所述提示模板中对应的填充位置；

30、采用所述关键词更新对应的填充位置，得到所述目标描述文本。

31、可选地，所述基于扩散模型对所述目标描述文本进行处理，得到与所述当前驾驶员状态匹配的多媒体数据的步骤包括：

32、获取车内参考图像，所述车内参考图像中包括车辆氛围灯的各个灯珠；

33、将所述目标描述文本和所述车内参考图像输入预先训练好的扩散模型，通过所述扩散模型基于所述车内参考图像生成与所述目标描述文本语义匹配的视频帧序列；

34、根据所述视频帧序列，得到与所述当前驾驶员状态匹配的多媒体数据。

35、可选地，所述多媒体数据包括视频，所述基于车辆氛围灯的各个灯珠的编码位置和所述多媒体数据，确定各个所述灯珠的控制参数的步骤包括：

36、获取所述视频的每个视频帧中，各个像素点的像素值；

37、针对每一视频帧，根据各个像素点的像素值和各个灯珠在该视频帧中预先标定的编码位置，确定该视频帧对应的各个灯珠的颜色值，其中，每个灯珠在不同视频帧中预先标定的编码位置相同或不同；

38、根据每个视频帧对应的各个灯珠的颜色值，以及颜色值与控制参数之间的映射关系，确定每个视频帧对应的各个所述灯珠的控制参数。

39、可选地，所述根据各个像素点的像素值和各个灯珠在该视频帧中预先标定的编码位置，确定该视频帧对应的各个灯珠的颜色值的步骤包括：

40、根据每个灯珠在该视频帧中预先标定的编码位置，确定该视频帧中分别与每个灯珠相邻的像素点；

41、获取每个所述灯珠相邻的像素点的像素值；

42、根据每个所述灯珠相邻的像素点的像素值，分别对每个灯珠进行插值运算，得到每个灯珠的颜色值。

43、可选地，所述根据所述描述文本和所述描述文本对应的提示模板，确定与所述当前驾驶员状态匹配的多媒体数据的步骤之后，还包括：

44、控制车机播放所述多媒体数据。

45、此外，为实现上述目的，本技术还提供一种车辆氛围灯的控制装置，所述车辆氛围灯的控制装置包括：

46、描述文本确定模块，用于确定当前驾驶员状态对应的描述文本；

47、多媒体数据确定模块，用于根据所述描述文本和所述描述文本对应的提示模板，确定与所述当前驾驶员状态匹配的多媒体数据；

48、灯珠控制参数确定模块，用于基于车辆氛围灯的各个灯珠的编码位置和所述多媒体数据，确定各个所述灯珠的控制参数；

49、灯珠控制模块，用于控制所述车辆氛围灯的各个所述灯珠按照所述控制参数工作。

50、此外，为实现上述目的，本技术还提供了一种车辆氛围灯的控制设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆氛围灯的控制程序，所述车辆氛围灯的控制程序被所述处理器执行时实现上述的车辆氛围灯的控制方法的步骤。

51、此外，为实现上述目的，本技术还提供了一种计算机可读存储介质，其上存储有车辆氛围灯的控制程序，所述车辆氛围灯的控制程序被处理器执行时实现上述的车辆氛围灯的控制方法的步骤。

52、本技术实施例中提供的一种车辆氛围灯的控制方法、装置、设备及存储介质的技术方案，通过根据当前驾驶员状态对应的描述文本以及描述文本对应的提示模板，匹配出与当前驾驶员状态匹配的多媒体数据，能够识别出不同场景下的驾驶员状态对应的多媒体数据。为了使得车辆氛围灯能够与驾驶员的当前状态进行联动，基于车辆氛围灯的各个灯珠的编码位置和多媒体数据确定车辆氛围灯各个灯珠的控制参数，使得车辆氛围灯的各个灯珠能够随着多媒体数据的变化而变化，实现不同场景下的车辆氛围灯与驾驶员的情绪变化的联动，提高车辆氛围灯的控制效果。