与车载显示屏交互的方法、装置、设备及存储介质与流程

1.本技术实施例涉及图像处理技术领域，涉及但不限于一种与车载显示屏交互的方法、装置、设备及存储介质。


背景技术：

2.随着汽车智能座舱的发展，座舱内的硬件配置有所提升，一辆车内有多块显示屏可以提供给车主乘客操作，无人操作时屏幕进入屏保模式。相关技术中，屏保基本上都是动态壁纸或视频，车主或乘客只能观看，屏保的呈现方式较为单一，用户体验感不佳。


技术实现要素：

3.本技术实施例提供一种人机交互技术方案。
4.本技术实施例的技术方案是这样实现的：
5.第一方面，本技术实施例提供一种与车载显示屏交互的方法，所述方法包括：
6.在车载显示屏为屏保模式的情况下，获取所述车载显示屏对应的车辆内人员的面部图像，其中，所述车载显示设备在屏保模式下显示屏保画面；
7.对所述面部图像的面部表情进行识别，得到识别结果；
8.基于所述识别结果，确定与所述屏保画面匹配的虚拟动态效果；
9.在所述屏保画面上显示所述虚拟动态效果。
10.第二方面，本技术实施例提供一种与车载显示屏交互的装置，所述装置包括：
11.第一获取模块，用于在车载显示屏为屏保模式的情况下，获取所述车载显示屏对应的车辆内人员的面部图像，其中，所述车载显示设备在屏保模式下显示屏保画面；
12.第一识别模块，用于对所述面部图像的面部表情进行识别，得到识别结果；
13.第一确定模块，用于基于所述识别结果，确定与所述屏保画面匹配的虚拟动态效果；
14.第一显示模块，用于在所述屏保画面上显示所述虚拟动态效果。
15.本技术实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的与车载显示屏交互的方法。
16.本技术实施例提供一种车载显示设备，所述车载显示设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的与车载显示屏交互的方法。
17.本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
18.本技术实施例提供一种与车载显示屏交互的方法、装置、设备及存储介质，首先，在车辆的车载显示屏为屏保模式的情况下，采集该车载显示屏对应的车辆内人员的面部图像，这样，通过对车载显示屏对应的驾驶员或乘客进行人脸采集，能够得到驾驶员或乘客的
面部图像，从而便于识别该驾驶员或乘客的面部表情；其次，对该面部图像进行面部表情的识别，从而得到该人员的面部表情的识别结果，这样，采集到人员的面部图像之后，通过面部表情识别，能够准确识别到该人员当前的面部表情；再次，按照包括该人员的面部表情的识别结果，确定于该车载显示屏的屏保画面相匹配的虚拟动态效果；这样，对于处于屏保模式的车载显示屏上的屏保画面，有针对性地按照车内人员的面部表情确定虚拟动态效果，以便于在该屏保画面上显示该虚拟动态效果；如此，在车载显示屏的屏保画面的基础上，通过识别车内人员的面部表情，设定该屏保画面对应的虚拟动态效果，并将该虚拟动态效果呈现给车内人员，从而形成屏保画面与车内人员之间的交互，提高了车载显示屏的屏保画面的丰富性。
附图说明
19.图1a是本技术实施例提供的与车载显示屏交互的系统的实现架构示意图；
20.图1b为本技术实施例提供的与车载显示屏交互的方法的实现流程示意图；
21.图2为本技术实施例提供的与车载显示屏交互的方法的另一实现流程示意图；
22.图3为本技术实施例提供的与车载显示屏交互的方法的再一实现流程示意图；
23.图4为本技术实施例提供的与车载显示屏交互的方法的实现界面示意图；
24.图5为本技术实施例提供的与车载显示屏交互的方法的另一实现界面示意图；
25.图6为本技术实施例与车载显示屏交互的装置的结构组成示意图；
26.图7为本技术实施例车载显示设备的组成结构示意图。
具体实施方式
27.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
28.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
29.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
30.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
31.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
32.1)人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。采用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。
33.2)车机屏，是一种新的信息载体，用计算机将信息输入屏中；也可通过远程遥控方式输入信息；还可通过手机短信形式输入信息。车机屏信息输入的多样化给使用者带来极大的方便。
34.本技术实施例提供一种与车载显示屏交互的方法，该方法可以由具有显示屏的车载显示设备执行，该车载显示设备可以实施为行车记录仪、车载电脑、车载音响系统、导航系统、汽车信息系统和车载家电产品等多种类型的具有显示屏的终端。在一些实施方式中，本技术实施例提供的与车载显示屏交互的方法可以应用于车载显示设备的客户端应用平台中。其中，客户端应用平台可以为网络(web)端应用平台或小程序。在一些实施方式中，本技术实施例提供的与车载显示屏交互的方法，还可以应用于车载显示设备的应用程序中。
35.参见图1a，图1a是本技术实施例提供的与车载显示屏交互的系统的实现架构示意图，为实现支撑一个客户端应用平台，在系统10中，车载显示设备(比如，终端12)通过网络13连接服务器14，网络13可以是广域网或者局域网，又或者是二者的组合。车载显示设备和采集装置11在物理上可以是分立的，也可以是一体的。车载显示设备的车载显示屏进入屏保模式的情况下，采集装置11获取车辆内人员的面部图像。采集装置11通过服务器14将面部图像发送给车载显示设备，以使车载显示设备对面部图像11的面部表情进行识别，得到识别结果，并基于识别结果，确定与车载显示屏的屏保画面匹配的虚拟动态效果；之后，将该虚拟动态效果显示在车载显示设备的屏保画面上；如此，在车载显示屏的屏保画面的基础上，通过识别车内人员的面部表情，设定该屏保画面对应的虚拟动态效果，并将该虚拟动态效果呈现给车内人员，从而形成屏保画面与车内人员之间的交互，提高了车载显示屏的屏保画面的丰富性。
36.在一些实施例中，采集装置11为可以进行图形采集并能够共享采集数据的电子设备，例如，采集装置可以为在车舱内后视镜上方的摄像头或安装在仪表盘上的摄像头或根据需求安装于车舱内任意位置的一个或多个摄像头，此外，采集装置也可以为摄像机、具有拍摄或录制视频功能的手机、数码相机等。服务器14可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(cont ent delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术实施例中不做限制。
37.下面，将结合本技术实施例提供的车载显示设备的示例性应用和实施，说明本技术实施例提供的与车载显示屏交互的方法。
38.本技术实施例提供一种与车载显示屏交互的方法，应用于车载显示设备，如图1b所示，结合如图1b所示步骤进行说明：
39.步骤s101，在车载显示屏为屏保模式的情况下，获取所述车载显示屏对应的车辆内人员的面部图像。
40.在一些实施例中，该车辆可以是任意类型的车辆，比如，可以是轿车、电动车、卡车、公交车、越野车、电动自行车、三轮车等任意能够安装车载显示设备的车辆。该车载显示屏可以是车辆内安装的车载显示设备的显示屏，其中，该车载显示设备可以是任意类型的具有显示屏的终端，比如，行车记录仪、车载电脑、车载音响系统、导航系统等。在车辆中可
以包括多个车载显示屏，其中每一车载显示屏的位置不同，该车载显示屏对应的车内人员不同。比如，车载显示屏位于副驾驶的前方，那么该车载显示屏对应的车内人员为副驾驶乘客，这样，该车载显示屏上的屏保画面与副驾驶的乘客的表情进行交互。或者，如果车载显示屏位于后排座位的前方(或上方等)，那么该车载显示屏对应的车内人员为后排乘客，这样，该车载显示屏上的屏保画面与后排乘客的表情进行交互。
41.在一些实施例中，车载显示屏对应的车辆内人员还可以理解为是与该车载显示屏之间的距离在一定范围内的人员，比如，距离大于5厘米小于50厘米。这样，可以将与该车载显示屏之间的距离距离大于5厘米小于50厘米的人员，作为车载显示屏对应的车辆内人员，即能够与该车载显示屏上的屏保画面进行交互的人员。
42.在一些实施例中，可以获取车载显示屏的安装位置配置信息，安装位置配置信息表示车载显示屏在车内的安装位置，该安装位置与车内座位相对应，则车载显示屏对应的车辆内人员即为乘坐于车载显示屏对应的座位的人员。
43.在一些可能的实现方式中，在车载显示设备未关机且车载显示屏长时间未被操作的情况下，该车载显示屏进入屏保模式，车载显示设备在屏保模式下显示屏保画面；该屏保画面可以是车载显示设备中载入的任意画面，可以是静态显示的画面，还可以是动态显示的画面，可以是图像还可以是视频等。首先，确定车载显示屏未接收到操作指令的空闲时长；然后，在空闲时长达到预设时长的情况下，将车载显示屏的工作模式调整为屏保模式。在车辆的车载显示屏进入屏保模式之后，启动进行图像采集的采集装置，对车内人员的面部进行采集，得到面部图像；或者，在车辆的车载显示屏进入屏保模式的情况下，接收其他设备发送的该人员的面部图像。
44.在一些可能的实现方式中，获取的车辆内人员的面部图像可能是图像质量较高的图像，还可能是图像质量较低的图像；其中，图像质量较高的图像可以是图像清晰度、图像中面部的完整度较高，比如，图像画面中包括完整且清晰的面部各个区域；图像质量较低的图像可以是图像清晰度、图像中面部的完整度较低，比如，图像画质模糊、图像中缺失面部的任一区域或图像中的面部任一区域不可识别等。
45.在一些可能的实现方式中，获取到车辆内人员的面部图像之后，先对图像的画面质量进行检测；如果检测出该画面质量较低，那么丢弃该图像，并继续获取该人员的面部图像，直到获取到的面部图像的图像质量达到预设的质量要求，可以利用获取到的达到预设的质量要求的面部图像执行后续的操作。还可以是，首先判断该人员的面部与图像采集装置的距离，如果该距离小于预设距离(其中，预设距离可以是基于采集装置的焦距设定的，还可以是自定义设定的距离，比如，设置预设距离为15厘米)，不对该人员进行图像采集，即不获取该人员的面部图像；如果该距离大于预设距离，那么对该人员进行图像采集，以获取该人员的面部图像；这样，使得获取的面部图像的图像质量较高，便于进行面部表情的识别。
46.步骤s102，对所述面部图像的面部表情进行识别，得到识别结果。
47.在一些实施例中，将面部图像输入到面部表情识别的网络模型中，该网络模型可以是通过大量已标注面部表情的样本图像训练得到的。通过该网络模型得到该面部图像中包括各种面部表情的置信度，将置信度最大的面部表情作为该识别结果；这样，能够提高对面部图像进行表情识别的准确度。
48.在一些可能的实现方式中，该识别结果用于表征该面部图像的面部表情，包括以下之一：微笑、大笑、苦笑、平静、悲伤、哭泣等。这样，通过对面部图像进行表情识别，即可得到该人员的面部表情，从而能够进一步确定该人员当前的情绪状态，以便于基于该情绪状态与显示屏上的屏保画面进行交互。
49.步骤s103，基于所述识别结果，确定与所述屏保画面匹配的虚拟动态效果。
50.在一些实施例中，按照该识别结果中人员的面部表情，为该车载显示屏当前显示的屏保画面匹配相应的虚拟动态效果；这样，对于同一屏保画面来说，面部表情不同匹配到的虚拟动态效果也不同；或，对于同一面部表情来说，屏保画面中的画面内容不同，匹配到的虚拟动态效果也不同。该虚拟动态效果可以是针对屏保画面中的任一个或多个对象的效果，可以是动画效果、图像效果或者视频效果等。比如，屏保画面是大自然画面，其中包括花、鸟和树木，该虚拟动态效果可以针对花和鸟的效果，在该面部表情是微笑的情况下，那么虚拟动态效果为花开以及鸟煽动翅膀的虚拟动态效果；在该面部表情为悲伤的情况下，那么虚拟动态效果为花凋谢以及鸟飞走等虚拟动态效果。
51.在一些可能的实现方式中，按照识别结果中的面部表情从预设效果库中，选择适合该屏保画面中的对象的虚拟动态效果。首先，获取预设效果库；其中，该效果库中包括屏保画面的多种预设虚拟动态效果和多种预设虚拟动态效果与面部表情以及画面中对象之间的关联关系；然后，在所述预设效果库中，基于该关联关系和识别结果中的面部表情，选择与画面中的对象匹配的预设效果为所述虚拟动态效果。
52.在一些可能的实现方式中，可以按照识别结果中的面部表情，确定人员的情绪状态，进而按照该情绪状态实时为屏保画面中的展示对象设定响应的呈现状态，通过对该呈现状态进行渲染，可得到展示对象的虚拟动态效果。
53.步骤s104，在所述屏保画面上显示所述虚拟动态效果。
54.在一些实施例中，在该屏保画面的基础上，叠加显示该虚拟动态效果，从而为用户呈现叠加该虚拟动态效果的画面。在一些可能的实现方式中，在该屏保画面中，针对展示对象，将该展示对象的虚拟动态效果叠加在屏保画面中该展示对象所在的图像区域中。比如，如果面部表情为微笑，展示对象为花骨朵，那么该花骨朵对应的虚拟动态效果为花绽放，可以是将花绽放的图像叠加在该花骨朵所在的画面区域中，还可以是在屏保画面上以动画的形式叠加该花骨朵的绽放动画。
55.在这里，屏保画面可以包含背景层和动画层。背景层包含屏保画面的主体内容，通常背景层可以是固定图像或视频。动画层叠加在背景层上，包含动态效果。上述虚拟动态效果可以通过触发动画层的动画播放进行展示。
56.在本技术实施例中，在车辆的车载显示屏为屏保模式的情况下，通过车载显示屏对应的人员进行人脸采集，能够得到面部图像，从而便于识别该人员的面部表情；在采集到人员的面部图像之后，通过面部表情识别，能够准确识别到该人员当前的面部表情；并按照包括该人员的面部表情的识别结果，确定于该车载显示屏的屏保画面相匹配的虚拟动态效果；这样，对于处于屏保模式的车载显示屏上的屏保画面，有针对性地按照车内人员的面部表情确定虚拟动态效果，以便于在该屏保画面上显示该虚拟动态效果；如此，在车载显示屏的屏保画面的基础上，通过识别车内人员的面部表情，设定该屏保画面对应的虚拟动态效果，并将该虚拟动态效果呈现给车内人员，从而形成屏保画面与车内人员之间的交互，提高
了车载显示屏的屏保画面的丰富性。
57.在一些实施例中，通过人员的面部表情的识别结果，设定展示对象的目标呈现状态，从而渲染该目标呈现状态，能够得到展示对象的虚拟动态效果，即上述步骤s103可以通过图2所示的步骤实现：
58.步骤s201，基于所述识别结果，确定屏保画面中的展示对象的目标呈现状态。
59.在一些实施例中，按照该识别结果中人员的面部表情，为展示对象设定需要呈现的状态，即目标呈现状态。该目标呈现状态为展示对象未渲染的虚拟呈现状态。在一些可能的实现方式中，按照该识别结果中人员的面部表情，确定展示对象与该面部表情进行呼应的情况下所需状态，该状态即为目标呈现状态。比如，识别结果中的面部表情是微笑，展示对象是花朵，那么该花朵与微笑呼应的状态即为绽放状态，那么将花朵在未渲染情况下的绽放状态确定为花朵的目标呈现状态。
60.步骤s202，基于预设展示参数和所述目标呈现状态，对所述展示对象进行动态渲染，得到所述展示对象的虚拟动态效果。
61.在一些实施例中，采用预设展示参数，对展示对象的目标呈现状态进行渲染，得到展示对象的虚拟动态效果。预设展示参数用于表征该虚拟动态效果的呈现方式，包括展示该目标呈现状态的展示时长、展示位置或者播放方式等。在一些可能的实现方式中，如果通过目标呈现状态的展示时长对目标呈现状态进行渲染，使得到的虚拟动态效果的展示时长为该预设展示参数中展示时长，即通过显示屏在该展示时长内展示该虚拟动态效果。如果通过展示位置对目标呈现状态进行渲染，使得到的虚拟动态效果的展示位置为该预设展示参数中展示位置，即在显示屏上该展示位置处展示该虚拟动态效果。如果通过动画播放方式对目标呈现状态进行渲染，使得到的虚拟动态效果的播放方式为该预设展示参数中播放方式，即在显示屏上按照该播放方式展示该虚拟动态效果。
62.上述步骤s201和s202，通过按照人员的面部表情的识别结果，为展示对象设定目标呈现状态，从而按预设展示参数和该目标呈现状态渲染展示对象，能够为展示对象匹配出于该人员的面部表情相呼应的虚拟动态效果，从而形成展示对象与人员的面部表情之间的互动。
63.在一些实施例中，通过对识别结果中面部表情进行分析，按照人员的情绪状态为展示对象实时确定目标呈现状态，即上述步骤s201可以通过以下步骤s211和s212(图示未示出)实现：
64.步骤s211，基于所述识别结果，确定所述人员的情绪状态。
65.在一些实施例中，通过对识别结果中包括的面部表情进行分析，即可得到该面部表情对应的情绪状态，即该人员的情绪状态。比如，如果识别结果中包括的面部表情为微笑，确定该人员的情绪状态为开心；如果识别结果中包括的面部表情为大哭，确定该人员的情绪状态为悲伤。
66.步骤s212，基于所述人员的情绪状态，确定所述展示对象的目标呈现状态。
67.在一些实施例中，按照人员的情绪状态，为展示对象匹配匹配与该情绪状态相对应的呈现状态，即目标呈现状态，使得该目标呈现状态与人员的情绪状态相一致；比如，在展示对象为花朵的情况下，如果人员的情绪状态为开心，那么目标呈现状态为花开；如果人员的情绪状态为悲伤，那么目标呈现状态为花凋谢。
68.上述步骤s211和s212，通过分析识别结果中的面部表情，能够确定该人员当前的情绪状态，从而按照该人员的情绪状态，为展示对象实时匹配目标呈现状态，进而能够在显示屏上随着人员的面部表情的发生，实时展示展示对象的虚拟动态效果。
69.在一些实施例中，在采集到连续多帧图像的情况下，通过对连续多帧图像进行表情识别，能够得到人员的情绪变化情况，即在所述面部图像包括多帧图像的情况下，首先，对所述多帧图像中的每一帧图像进行面部表情的识别，得到所述每一帧图像中的表情识别结果。
70.在一些实施例中，该多帧图像可以是同一人员的时序连续的多帧面部图像，还可以是在同一时段内采集到的同一人员的多帧面部图像。通过对多帧的面部图像中每一帧面部图像进行表情识别，能够得到该人员在每一帧图像中的表情，即表情识别结果。比如，针对同一人员，采集该人员在5分钟内的面部图像，可以是连续采集，还可以是按照一定的时间间隔采集，从而得到多帧图像；通过对该多帧图像中每一帧图像进行表情识别，即可得到该人员在这5分钟内每一帧图像中的表情识别结果。
71.然后，基于所述多帧图像中的表情识别结果和所述多帧图像之间的时序关系，确定所述人员在所述多帧图像对应时段内情绪状态的表情变化信息。
72.在一些实施例中，按照多帧图像中每一帧图像包括的表情识别结果，和该多帧图像之间的时序先后关系，能够分析出该人员，在这多帧图像对应的时段内的表情变化信息；该表情变化信息可以包括多个情绪状态之间的转变情况，比如，从开心转变为平静继而转变为悲伤。比如，对于20秒内的多帧图像，通过这多帧图像内人员的表情以及这多帧图像之间的时序先后关系，能够得到该人员在20秒内的情绪变化情况，即表情变化信息。
73.最后，将人员在一定时间段内的表情变化信息作为识别结果，便于按照该表情变化信息同步触发展示对象的呈现状态的变化。这样，获取一定时段内的多帧图像之后，通过对该多帧图像进行面部表情识别，能够精确分析出该人员这这一时段内的情绪变化情况，从而便于同步确定展示对象的呈现状态，以是展示对象与人员的表情进行交互。
74.在一些实施例中，在确定出人员在一定时段内的情绪状态变化情况之后，即在识别结果包括人员的表情变化信息的情况下，同步确定展示对象的呈现状态的变化情况，以实现人员与展示对象的交互，即上述步骤s201可以通过以下步骤s213至s215(图示未示出)实现：
75.步骤s213，确定所述屏保画面中的展示对象的属性信息。
76.在一些实施例中，展示对象的属性信息用于唯一表示展示对象，包括展示对象的类型、名称以及对象的描述信息等；比如，如果展示对象为花，属性信包括：花所属的植物科目、花名、花的生长环境、开花大小或颜色等描述信息。如果展示对象为动物，那么属性信息包括：该动物的名称、动物的科目、生活习性等。
77.步骤s214，基于所述属性信息和所述表情变化信息，确定所述展示对象的状态变化信息。
78.在一些实施例中，所述状态变化信息表示所述展示对象的呈现状态随所述表情变化信息发生的变化。按照该展示对象的属性信息，分析与人员的表情变化信息中的情绪状态相呼应的呈现状态，从而得到多个呈现状态。按照表情变化信息中情绪状态的转变，即可得到展示对象的多个呈现状态之间的转变，从而得到该状态变化信息。
79.在一个具体例子中，展示对象为昙花，人员的表情变化信息为从平静到开心又回到平静，那么昙花随着该表情变化信息的状态变化信息为：从屏保画面上的昙花到花开进而返回屏保画面上的昙花。
80.步骤s215，确定所述状态变化信息对应的起始呈现状态和结束呈现状态，作为目标呈现状态。
81.在一些实施例中，该状态变化信息中包括的起始呈现状态和结束呈现状态，即为展示对象即将呈现在显示屏上的目标呈现状态。
82.步骤s216，根据所述预设展示参数所表征的展示方式，对所述展示对象由所述起始呈现状态变化至所述结束呈现状态的展示效果进行动态渲染。
83.在一些实施例中，在确定展示对象的状态变化信息对应的起始呈现状态和结束呈现状态之后，对该展示对象从起始呈现状态至结束呈现状态的展示效果进行渲染，以得到展示对象的从起始呈现状态至结束呈现状态发生变化的虚拟动态效果。
84.在本技术实施例中，通过分析人员在一定时长内的情绪状态的转变情况，能够同步确定随着人员的情绪状态的转变展示对象的呈现状态的转变，从而实现展示对象的呈现状态随人员的情绪状态的变化，即呈现该展示对象的从起始呈现状态至结束呈现状态的动态变化效果，丰富展示对象的虚拟动态效果。
85.在一些实施例中，通过确定状态变化信息对应的至少一个中间呈现状态，对该多个呈现状态进行渲染，以得到展示对象的虚拟动态效果，可以通过以下步骤s217和步骤s218(图示未示出)实现：
86.步骤s217，确定所述状态变化信息对应的至少一个中间呈现状态，作为目标呈现状态。
87.这里，状态变化信息对应的至少一个中间呈现状态，可以是该状态变化信息每一次状态变化对应的呈现状态，比如，展示对象为花骨朵，人员的表情变化信息为从开心到平静又到沮丧，那么花骨朵随着该表情变化信息的状态变化信息为：从屏保画面上的花骨朵的未绽放状态到花开再到凋谢；对应的至少一个中间呈现状态包括：未绽放状态、绽放状态和凋谢状态。
88.步骤s218，根据所述预设展示参数所表征的展示方式，对所述展示对象由所述起始呈现状态变化依次变化至所述至少一个中间呈现状态和所述结束呈现状态的展示效果进行动态渲染。
89.这里，按照多个中间呈现状态之间的时序顺序对展示对象进行渲染。多个中间呈现状态之间的时序顺序为该至少两个呈现状态的出现时刻，中间呈现状态之间的时序顺序与人员的表情变化信息中对应的情绪状态的转变顺序相同。每一情绪状态的出现时刻为转变为该情绪状态的时刻；这样，按照展示对象的起始呈现状态、至少一个中间呈现状态和结束呈现状态之间的时序关系，对这些呈现状态进行渲染，使得虚拟动态效果能够随着情绪状态的出现实时生成，以及随着人员的情绪状态的变化而实时变化。
90.在本技术实施例中，通过分析人员在一定时长内的情绪状态的转变情况，能够同步确定随着人员的情绪状态的转变展示对象的呈现状态的转变，从而实现展示对象的呈现状态实时随人员的情绪状态的变化而变化；进而按照情绪状态的出现时刻，同步对展示对象的每一呈现状态进行渲染，以使得展示对象的虚拟动态效果随着情绪状态的变化而变
化，实现展示对象与人员的表情的实时交互。
91.在一些实施例中，预设展示参数包括预设展示时长，那么采用所述预设展示时长，对所述目标呈现状态进行渲染，得到所述虚拟动态效果，即按照一定的展示时长对目标呈现状态进行渲染，使得虚拟动态效果在该展示时长内进行展示，即在预设展示参数包括预设展示时长情况下，可以通过以下过程渲染目标呈现状态，以及在该预设时长内在屏保画面上展示该虚拟动态效果。
92.在一些可能的实现方式中，可以根据展示时长虚拟动态效果中起始呈现状态变化至结束呈现状态的动画播放速度进行对应设置，从而在该展示时长内完整地展示上述展示对象由起始呈现状态到结束呈现状态的动态变化过程。
93.在一些实施例中，预设展示时长可以是用户自定义设置的展示虚拟动态效果的时长，比如，设定预设展示时长为15秒。按照该预设展示时长对目标呈现状态进行渲染，使得虚拟动态效果以相应的动态变化速度适配预设展示时长；这样，虚拟动态效果会在该预设展示时长内进行完整展示。
94.在一些实施例中，按照该预设展示时长对目标呈现状态进行渲染之后，在所述车载显示屏的所述屏保画面上，在所述预设展示时长内展示所述虚拟动态效果。
95.在一些可能的实现方式中，虚拟动态效果的时长为固定时长，预设展示时长为设定的虚拟动态效果播放的时长。在预设时长内，虚拟动态效果可以重复播放可以在渲染目标呈现状态之后，在车载显示屏的所述屏保画面的基础上，对展示的虚拟动态效果的时间进行计时；在计时的时长不超过该预设展示时长的情况下，继续展示该虚拟动态效果，如果计时的时长超过了该预设展示时长则停止播放该虚拟动态效果。例如，虚拟动态效果的时长为15秒，预设展示时长为1分钟，在重复播放4次虚拟动态效果之后会自动停止播放。这样，按照预设展示时长对展示对象的目标呈现状态进行渲染之后，使得虚拟动态效果在该预设展示时长内进行播放，从而既能够充分播放该虚拟动态效果还不会使得虚拟动态效果无休止地播放，以节省显示屏的占用资源。
96.在一些实施例中，在所述虚拟动态效果的展示时长达到所述预设展示时长的情况下，将所述车载显示屏所展示的画面切换至不包含所述虚拟动态效果的所述屏保画面。
97.这里，虚拟动态效果的展示时长可以是该虚拟动态效果连续播放的时长，如果该展示时长达到了预设展示时长，那么停在播放该虚拟动态效果，并同时将车载显示屏从当前播放的该虚拟动态效果返回屏保模式下的屏保画面。这样，在虚拟动态效果的播放时长达到预设展示时长的情况下，自动停止播放该虚拟动态效果并返回原始的屏保画面，既能够及时展示与人员互动的虚拟动态效果还能够减少显示屏的功耗。
98.在一些实施例中，在预设展示参数包括预设的画面渐变效果参数和/或画面转换特性参数的情况下，按照预设的画面渐变效果参数和/或画面转换特性参数对所述目标呈现状态进行渲染，得到所述虚拟动态效果，使得虚拟动态效果按照该预设的画面渐变效果参数和/或画面转换特性参数对应的动画进行展示。
99.这里，预设的画面渐变效果参数和/或画面转换特性参数用于表征播放虚拟动态效果的动画形式；其中，预设的画面渐变效果参数包括：虚拟动态效果的渐变透明度、渐变尺寸；画面转换特性参数，包括：画面大小、旋转角度等。通过该渐变透明度、渐变尺寸、画面大小、旋转角度等对目标呈现状态进行渲染，使得虚拟动态效果中携带该预设动画参数；这
样，在所述屏保画面上，以所述预设的画面渐变效果参数和/或画面转换特性参数对应的动画效果，播放所述虚拟动态效果。
100.这里，渲染目标呈现状态之后，在车载显示屏的所述屏保画面的基础上，按照该预设动画参数对应的动画效果展示该虚拟动态效果。
101.在本技术实施例中，通过按照预设的画面渐变效果参数和/或画面转换特性参数对展示对象的目标呈现状态进行渲染之后，能够按照该预设的画面渐变效果参数和/或画面转换特性参数对应的动画播放虚拟动态效果，丰富了虚拟动态效果的展示形式。
102.在一些实施例中，在车载显示屏当前展示的虚拟动态效果的情况下，如果接收到在该车载显示屏上的触发操作，那么退出该虚拟动态效果，以及时响应该触发操作，可以通过以下过程实现：
103.响应于针对所述车载显示屏的触发操作，将所述车载显示屏退出展示所述虚拟效果，并呈现所述触发操作对应的界面。
104.这里，在车载显示屏展示的虚拟动态效果的情况下，如果车内人员对该车载显示屏进行触发操作，那么车载显示屏退出该虚拟动态效果并同步进入触发操作对应的页面。该触发操作可以是点击显示屏、触摸显示屏、语音输入显示屏或者文本输入显示屏等，该触发操作为用于出该车载显示屏对应的车载显示设备进入工作状态的操作，比如，车载显示设备为导航设备，触发操作可以是触发导航设备显示车辆所在的当前位置；或，车载显示设备为音响设备，触发操作可以是触发该音响设备播放音乐等。车载显示屏的车载显示设备响应于该触发操作，控制车载显示屏退出展示该虚拟动态效果，并控制车载显示屏同步呈现触发操作所对应的界面。这样，对于针对车载显示屏的触发操作，车载显示屏的车载显示设备一监测到该触发操作即控制车载显示屏退出该虚拟动态效果，并同步进入触发操作所对应的界面，从而既能够通过该虚拟动态效果与车内的人员进行交互，还能够及时响应车内人员对车载显示设备的应用需求。
105.在一些实施例中，在车载显示屏处于屏保模式下，通过启动车载采集装置对人员进行人脸采集，以得到该人员的面部图像，即上述步骤s101可以通过如图3所示的步骤实现：
106.步骤s301，在车载显示屏为屏保模式的情况下，启动车辆内的图像采集装置。
107.在一些实施例中，如果车载显示屏长时间未被操作，则进入屏保模式，同时在该车载显示屏上显示动画、视频或者图像类的屏保画面。在一些可能的实现方式中，该车载采集装置可以是安装在车辆内的任一能够采集到车辆内人员的位置，包括：安装在能够采集到副驾驶乘客的位置(比如，副驾驶座位的对面)、安装在能够采集到后排乘客的位置(比如，副驾驶或者驾驶员座位的背后)或安装在车辆内的顶部以采集整个车辆内任一人员的面部图像。车载采集装置与车载显示屏属于同一车载显示设备，还可以是独立于车载显示屏的其他具有图像采集功能的设备，比如，车内独立安装的摄像头、相机或具有摄像头的设备(比如，具有摄像头的车载电脑或具有摄像头的车载音响等)。
108.在一些可能的实现方式中，车载显示屏进入屏保模式作为一个触发条件，触发启动车辆内的车载采集装置。或者，车载系统检测到车载显示屏进入屏保模式的情况下，控制车辆内的车载采集装置启动。或者，车载采集装置对车载显示屏进行检测，当检测到车载显示屏进入屏保模式时，车载采集装置自动开启。
109.步骤s302，基于所述图像采集装置采集的车内图像，获得所述车载显示屏对应的车辆内人员的面部图像。
110.在一些实施例中，车载采集装置对车舱空间内的画面进行图像采集，得到车内图像；通过对车内图像进行人脸检测，得到该内车内人员的面部图像。开启车载采集装置之后，直接对采集范围内的画面进行采集，得到该车内图像。
111.在本技术实施例中，在车载显示屏进入屏保模式的情况下，自动触发开启车辆内的车载采集装置，通过该车载采集装置对车辆内的人员进行图像采集，从而能够实时获取到车辆内人员的面部图像，便于通过对面部图像进行表情识别，实现屏保画面中的展示对象与车内的人员之间的交互。
112.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用，以通过人脸表情识别实现人与汽车数字屏保互动为例，进行说明。
113.本技术实施例提供一种互动方法，在车机屏的动态屏保基础上加入人脸识别和表情检测技术，用户可以通过微笑与屏保中的画面(比如，花朵)产生互动，得到交互反馈；这样，利用座舱内的摄像头来检测面部表情，为屏保增加微笑触发花朵绽放的功能，提高了屏保交互的丰富性。
114.在一些可能的实现方式中，实现该与车载显示屏交互的方法的部件包括：摄像头，包括：车舱内原有的后视镜车内摄像头，或者后装摄像头，用于手势算法检测的视频源输入；运行车机屏的系统；以及软件安装包；该软件安装包，用于使用系统命令通过通用串行总线(universal serial bus，usb)连接线将应用程序包(application package，apk)推送到车机屏，安装该应用程序包后即可正常运行。
115.在一些可能的实现方式中，该与车载显示屏交互的方法可以通过以下过程实现：
116.第一步，车机屏进入屏保模式，屏保显示草丛画面。
117.如图4所示，在车机屏长时间未被操作的情况下，车辆401的车机屏进入屏保模式，呈现画面402所示的图案(包括花骨朵41和草42)，并同步启动车辆401内的摄像头对车内的人员403进行人脸检测。
118.第二步，摄像头采集车内实时画面，并进行人脸识别与表情识别。
119.第三步，当识别到人脸表情变为微笑时，触发屏保草丛画面中的花朵绽放，绽放片刻后花朵消失。
120.这里，花朵绽放效果可以通过动画播放实现，或者可以通过跟随表情的实时画面生成技术实现。如图5所示，当车辆401内的摄像头采集到人脸图像之后，通过对人脸图像进行识别，如果识别到人员402的人脸表情为微笑，那么在车辆401的车机屏上显示画面501所示的绽放的花朵。
121.上述第三步，还可以是在花朵绽放状态下，用户表情由微笑变为平静或悲伤表情，触发花朵由绽放状态变为凋谢或消失。
122.最后，继续返回到第二步进行人脸检测以及触发上述功能。
123.在一个具体例子中，当副驾驶乘客在乘坐过程中，长时间没有使用到车机副屏时，车机副屏进入到屏保模式。本技术实施例在动态屏保基础上加入了人脸识别和表情检测，乘客可以通过微笑与屏保中的花朵产生互动，得到交互反馈，增加了屏保的趣味性和科技体验。
124.在一些实施例中，车载显示屏为触控屏；在所述屏保画面上显示所述虚拟动态之后，所述方法还包括：响应于针对所述车载显示屏的触控操作，控制所述车载显示屏退出展示所述虚拟动态效果并呈现所述触控操作对应的界面，以及控制所述图像采集装置关闭。
125.在展示虚拟动态效果之后，如果检测到用户针对车载显示屏的触控操作，可以退出屏保画面，展示触控操作对应的界面。此时还可以控制图像采集装置关闭，车载显示屏执行触控功能。这样可以在用户需要操作显示屏时及时退出通过表情驱动屏保画面的虚拟动态效果的功能，减少车载显示屏的功耗。
126.本技术实施例提供一种与车载显示屏交互的装置，图6为本技术实施例与车载显示屏交互的装置的结构组成示意图，如图6所示，所述与车载显示屏交互的装置600包括：
127.第一获取模块601，用于在车载显示屏为屏保模式的情况下，获取所述车载显示屏对应的车辆内人员的面部图像，其中，所述车载显示设备在屏保模式下显示屏保画面；
128.第一识别模块602，用于对所述面部图像的面部表情进行识别，得到识别结果；
129.第一确定模块603，用于基于所述识别结果，确定与所述屏保画面匹配的虚拟动态效果；
130.第一显示模块604，用于在所述屏保画面上显示所述虚拟动态效果。
131.在一些实施例中，所述第一确定模块603，包括：第一确定子模块，用于基于所述识别结果，确定所述屏保画面中的展示对象的目标呈现状态；第一渲染子模块，用于基于预设展示参数和所述目标呈现状态，对所述展示对象进行动态渲染，得到所述展示对象的虚拟动态效果。
132.在一些实施例中，所述第一确定子模块，包括：第一确定单元，用于基于所述识别结果，确定所述人员的情绪状态；第二确定单元，用于基于所述人员的情绪状态，确定所述展示对象的目标呈现状态。
133.在一些实施例中，所述识别结果包括所述人员的表情变化信息；所述第一确定子模块，包括：第三确定单元，用于确定所述屏保画面中的展示对象的属性信息；第四确定单元，用于基于所述属性信息和所述表情变化信息，确定所述展示对象的状态变化信息，所述状态变化信息表示所述展示对象的呈现状态随所述表情变化信息发生的变化；第五确定单元，用于确定所述状态变化信息对应的起始呈现状态和结束呈现状态，作为目标呈现状态；所述第一渲染子模块，包括：第一渲染单元，用于根据所述预设展示参数所表征的展示方式，对所述展示对象由所述起始呈现状态变化至所述结束呈现状态的展示效果进行动态渲染。
134.在一些实施例中，所述第一确定子模块，还包括：第六确定单元，用于确定所述状态变化信息对应的至少一个中间呈现状态，作为目标呈现状态；所述根第一渲染单元，还用于：根据所述预设展示参数所表征的展示方式，对所述展示对象由所述起始呈现状态变化依次变化至所述至少一个中间呈现状态和所述结束呈现状态的展示效果进行动态渲染。
135.在一些实施例中，所述预设展示参数包括预设展示时长。
136.在一些实施例中，所述装置还包括：第一切换模块，用于在所述虚拟动态效果的展示时长达到所述预设展示时长的情况下，将所述车载显示屏所展示的画面切换至不包含所述虚拟动态效果的所述屏保画面。
137.在一些实施例中，所述预设展示参数包括预设的画面渐变效果参数和/或画面转
换特性参数。
138.在一些实施例中，所述第一获取模块601，包括：第一启动子模块，用于在所述车载显示屏为屏保模式的情况下，启动所述车辆内的图像采集装置；第一获取子模块，用于基于所述图像采集装置采集的车内图像，获得所述车载显示屏对应的车辆内人员的面部图像。
139.在一些实施例中，所述装置还包括：第一控制模块，用于响应于针对所述车载显示屏的触控操作，控制所述车载显示屏退出展示所述虚拟动态效果并呈现所述触控操作对应的界面，以及控制所述图像采集装置关闭。
140.需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
141.本技术实施例涉及图像显示领域，通过获取屏保画面中的展示对象以及车辆内人员的面部图像，进而借助各类视觉相关算法实现对展示对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟动态效果。示例性的，展示对象可涉及屏保画面中的任意对象，比如，人员、动物或植物等。视觉相关算法可涉及视觉定位、同步定位与建图(simultaneous localization and mapping，slam)、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟屏保画面中展示对象相关的虚拟动态效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对展示对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
142.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的与车载显示屏交互的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台车载显示设备(可以是终端、服务器等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、运动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
143.本技术实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本技术实施例提供的与车载显示屏交互的方法。
144.本技术实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的与车载显示屏交互的方法。
145.本技术实施例提供一种车载显示设备，图7为本技术实施例车载显示设备的组成结构示意图，如图7所示，所述车载显示设备700包括：一个处理器701、至少一个通信总线、通信接口702、至少一个外部通信接口和存储器703。其中，通信接口702配置为实现这些组件之间的连接通信。其中，通信接口702可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701，配置为执行存储器中图像处理程序，以实现上述
实施例提供的与车载显示屏交互的方法。
146.以上与车载显示屏交互的装置、车载显示设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本技术与车载显示屏交互的装置、车载显示设备和存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
147.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
148.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
149.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
150.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
151.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台车载显示设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部
分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。