一种屏幕互动方法、装置、设备和介质与流程

1.本公开实施例涉及视觉算法技术领域，具体涉及一种屏幕互动方法、装置、设备和介质。


背景技术：

2.随着电子产品的普及，出现了很多越来越智能化的人机交互方式，以满足人们娱乐放松的需求。比如，用户在手机的触摸屏进行点击操作实现人机交互。而随着当前智能座舱、车联网等技术的发展，人们对于车辆场景下的人机交互方式也有了更多的期待。


技术实现要素：

3.有鉴于此，本公开实施例提供至少一种屏幕互动方法、装置、设备和介质。
4.具体地，本公开实施例是通过如下技术方案实现的：
5.第一方面，提供一种屏幕互动方法，所述方法包括：
6.获取车舱内部的目标图像；
7.基于所述目标图像识别所述车舱内部的目标对象的行为信息；
8.在所述车舱内部的显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制。
9.在一些可选的实施例中，所述在所述车舱内部的显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制，包括：在所述车舱内部的多个不同位置的可用显示装置中的目标显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述目标显示装置所显示的屏保画面中至少一个视觉元素进行显示控制。
10.在一些可选的实施例中，在所述根据所述目标对象的行为信息，对所述目标显示装置所显示的屏保画面中至少一个视觉元素进行显示控制之前，所述方法还包括：基于所述目标图像识别所述目标对象在所述车舱内部的位置信息；根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为目标显示装置。
11.在一些可选的实施例中，所述根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为目标显示装置，包括：从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象的位置最接近的可用显示装置，作为目标显示装置。
12.在一些可选的实施例中，在所述根据所述目标对象的行为信息，对所述目标显示装置所显示的屏保画面中至少一个视觉元素进行显示控制之前，所述方法还包括：获取用于采集所述目标图像的摄像头的位置标定信息；根据所述摄像头的位置标定信息，从所述车舱内部的多个预定位置的可用显示装置中选择与所述摄像头的位置对应的可用显示装置，作为目标显示装置。
13.在一些可选的实施例中，所述根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制，包括：根据所述目标对象的行为信息，变换所述屏保画面中至少一个视觉元素的呈现形态。
14.在一些可选的实施例中，所述根据所述目标对象的行为信息，变换所述屏保画面中至少一个视觉元素的呈现形态，包括：根据所述目标对象的行为信息所表征的目标对象的预设身体部位的收缩或伸展的动作，将至少一个所述视觉元素的呈现形态变换至对应的收缩或伸展的状态。
15.在一些可选的实施例中，所述根据所述目标对象的行为信息，变换所述屏保画面中至少一个视觉元素的呈现形态，包括：读取表征所述屏保画面中至少一个视觉元素的当前状态的第一状态信息；根据所述目标对象的行为信息和所述第一状态信息，确定所述至少一个视觉元素经显示控制后的第二状态信息；控制所述至少一个视觉元素呈现所述第二状态信息所表征的目标状态。
16.在一些可选的实施例中，所述根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制，包括：根据所述目标对象的行为信息，变换至少一个视觉元素在所述屏保画面中的显示位置。
17.在一些可选的实施例中，所述根据所述目标对象的行为信息，变换至少一个视觉元素在所述屏保画面中的显示位置，包括：根据所述目标对象的行为信息所表征的目标对象的预设身体部位的移动方向，将所述至少一个所述视觉元素在所述屏保画面中的显示位置向对应的移动方向移动。
18.在一些可选的实施例中，所述行为信息至少包括下列中的至少一个：肢体动作信息，脸部动作信息；所述肢体动作信息包括如下至少一项：头部动作信息、手部动作信息和躯干动作信息；所述脸部动作信息包括如下至少一项：表情信息、嘴部动作信息和眼部动作信息。
19.在一些可选的实施例中，所述屏保画面包括背景画面、叠加在所述背景画面上的动态对象视觉元素、以及叠加在所述背景画面上的显示效果视觉元素；所述根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制，包括：根据所述目标对象的行为信息，对所述屏保画面中至少一个动态对象视觉元素或显示效果视觉元素进行显示控制。
20.在一些可选的实施例中，所述方法还包括：采集所述目标对象的声音信息；根据所述目标对象的声音信息，对所述屏保画面中至少一个视觉元素进行控制。
21.第二方面，提供一种屏幕互动装置，所述装置包括：
22.图像获取模块，用于获取车舱内部的目标图像；
23.图像识别模块，用于基于所述目标图像识别所述车舱内部的目标对象的行为信息；
24.显示控制模块，用于在所述车舱内部的显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制。
25.在一些可选的实施例中，所述显示控制模块，具体用于：在所述车舱内部的多个不同位置的可用显示装置中的目标显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述目标显示装置所显示的屏保画面中至少一个视觉元素进行显示控
制。
26.在一些可选的实施例中，所述图像识别模块，还用于：基于所述目标图像识别所述目标对象在所述车舱内部的位置信息；根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为目标显示装置。
27.在一些可选的实施例中，所述图像识别模块在用于根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为目标显示装置时，具体用于：从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象的位置最接近的可用显示装置，作为目标显示装置。
28.在一些可选的实施例中，所述装置还包括位置确定模块，用于：获取用于采集所述目标图像的摄像头的位置标定信息；根据所述摄像头的位置标定信息，从所述车舱内部的多个预定位置的可用显示装置中选择与所述摄像头的位置对应的可用显示装置，作为目标显示装置。
29.在一些可选的实施例中，所述显示控制模块，具体用于：根据所述目标对象的行为信息，变换所述屏保画面中至少一个视觉元素的呈现形态。
30.在一些可选的实施例中，所述显示控制模块，具体用于：根据所述目标对象的行为信息所表征的目标对象的预设身体部位的收缩或伸展的动作，将至少一个所述视觉元素的呈现形态变换至对应的收缩或伸展的状态。
31.在一些可选的实施例中，所述显示控制模块，具体用于：读取表征所述屏保画面中至少一个视觉元素的当前状态的第一状态信息；根据所述目标对象的行为信息和所述第一状态信息，确定所述至少一个视觉元素经显示控制后的第二状态信息；控制所述至少一个视觉元素呈现所述第二状态信息所表征的目标状态。
32.在一些可选的实施例中，所述显示控制模块，具体用于：根据所述目标对象的行为信息，变换至少一个视觉元素在所述屏保画面中的显示位置。
33.在一些可选的实施例中，所述显示控制模块，在用于根据所述目标对象的行为信息，变换至少一个视觉元素在所述屏保画面中的显示位置时，具体用于：根据所述目标对象的行为信息所表征的目标对象的预设身体部位的移动方向，将所述至少一个所述视觉元素在所述屏保画面中的显示位置向对应的移动方向移动。
34.在一些可选的实施例中，所述行为信息至少包括下列中的至少一个：肢体动作信息，脸部动作信息；所述肢体动作信息包括如下至少一项：头部动作信息、手部动作信息和躯干动作信息；所述脸部动作信息包括如下至少一项：表情信息、嘴部动作信息和眼部动作信息。
35.在一些可选的实施例中，所述屏保画面包括背景画面、叠加在所述背景画面上的动态对象视觉元素、以及叠加在所述背景画面上的显示效果视觉元素；所述显示控制模块，具体用于：根据所述目标对象的行为信息，对所述屏保画面中至少一个动态对象视觉元素或显示效果视觉元素进行显示控制。
36.在一些可选的实施例中，所述装置还包括声音控制模块，用于：采集所述目标对象的声音信息；根据所述目标对象的声音信息，对所述屏保画面中至少一个视觉元素进行控制。
37.第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存
储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的屏幕互动方法。
38.第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的屏幕互动方法。
39.本公开实施例的技术方案提供的屏幕互动方法，通过目标对象的行为信息对车载显示装置的屏保画面中至少一个视觉元素进行隔空控制，进而实现屏保画面的视觉效果的变化，能够使目标对象更为个性地完成与屏幕的人机交互，以及，本方法所应用的场景是显示装置处于待机状态且屏幕显示屏保画面时，能够让目标对象在不经意间与车载显示装置的屏保画面完成互动，而不是刻意的去解锁屏幕、点进某些界面功能来进行人机交互，能够提供给目标对象无感化的体验，提供情感化的沟通途径，增加了乘车出行时的观赏性与趣味性。
附图说明
40.为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1是本公开至少一个实施例示出的一种屏幕互动方法的流程图；
42.图2是本公开至少一个实施例示出的另一种屏幕互动方法的流程图；
43.图3是本公开至少一个实施例示出的又一种屏幕互动方法的流程图；
44.图4是本公开至少一个实施例示出的再一种屏幕互动方法的流程图；
45.图5是本公开至少一个实施例示出的一种背景画面的示图；
46.图6是本公开至少一个实施例示出的一种动态对象视觉元素的示图；
47.图7是本公开至少一个实施例示出的一种显示效果视觉元素的示图；
48.图8是本公开至少一个实施例示出的一种屏幕互动装置的框图；
49.图9是本公开至少一个实施例示出的另一种屏幕互动装置的框图；
50.图10是本公开至少一个实施例示出的又一种屏幕互动装置的框图；
51.图11是本公开至少一个实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
52.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
53.在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
54.应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但
这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
55.随着私家车的普及和智能车舱的快速发展，人们对行车过程中的驾驶体验和乘坐体验也有了更多的需求和期待。除了传统的车辆中控屏之外，车辆的副驾和后排等也搭载了屏幕，但是这些屏幕的界面大部分照搬手机、平板等应用的模式，需要用户在屏幕上进行触控操作，这使得人机交互的方式变得平庸枯燥，并不能用户带来新奇的体验。而且，现有的车辆内的中控屏的屏保多为静态屏保，比如，在一张壁纸上显示日期、时间、温度等信息，因为需要避免中控屏对于驾驶员有过多的干扰和注意力吸引。但是随着自动驾驶的普及，以及车载副驾、后排等屏幕的搭载，现有的静态屏保页面已经不符合当前智能座舱和车联网的应用趋势。
56.如图1所示，图1是本公开至少一个实施例示出的一种屏幕互动方法的流程图，该方法可以包括以下步骤：
57.在步骤102中，获取车舱内部的目标图像。
58.本实施例中的车辆可以是私家车、大巴车、高铁、地铁等各种类型的车辆。在其他例子中，本实施例的方法也可以应用于飞机、太空飞船、轮船等各种类型的交通工具。
59.其中，目标图像是包含车舱内部环境、人员信息的图像，其中可以包括车舱内部的至少一个目标对象。目标对象是车舱内部的人员，可以是驾驶员、乘车人员或者安全员等。目标图像由车辆安装的摄像头采集，车辆中可以安装有一个或多个摄像头，摄像头用于对车舱内部的图像进行采集。比如，摄像头可以安装在内后视镜处，以对全车舱内的人员进行图像采集；可以安装在车内顶棚；也可以是在每个车座的前方分别安装摄像头。
60.在步骤104中，基于所述目标图像识别所述车舱内部的目标对象的行为信息。
61.行为信息是对目标对象在乘车过程中自身活动的描述，可以是具体行为动作的描述，比如，张嘴、闭嘴、眨眼、移动手指、做出手势以及上半身前倾等行为动作；也可以是抽象行为动作的描述，比如，悲伤、开心、微笑、交谈、打电话、舞蹈等行为。本实施例中，行为信息可以为隔空的行为的信息，目标对象的行为与车舱内部的显示装置的显示屏无接触。
62.本步骤中，可以对至少一帧目标图像进行目标对象检测，并对检测到的目标对象的行为进行识别处理，得到目标对象的行为信息。比如，当目标图像中有多个目标对象时，可以分别输出每个目标对象的行为信息。
63.本实施例对目标对象检测和识别处理的方式不进行限制，比如，可以使用基于神经网络的人脸检测方法检测人脸以获得目标对象的检测结果，并使用预先训练的行为识别神经网络识别上述检测出的目标对象的行为。
64.在步骤106中，在所述车舱内部的显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制。
65.其中，屏保画面中的视觉元素是用于展现不同视觉效果的元素，比如，视觉元素可以是画面中的背景、物体、动态粒子等组成画面的基本元素，可以是画面的亮度、色彩、对比度、画面字体的大小等与画面显示相关的元素。
66.车舱内部的显示装置可以是各种各样的显示屏，比如，光电玻璃显示屏，液晶显示
屏，led(light-emitting diode，发光二极管)显示屏等等。
67.车舱内部的显示装置可以有一个或多个，可以安装在车舱内部的任意位置，比如，方向盘上，车椅后方，车门以及车内顶棚等位置，或者，也可以与车窗的挡风玻璃结合，使用具有显示功能的挡风玻璃作为显示装置。
68.本实施例不限制对视觉元素进行显示控制的方式。如下示例几种依据目标对象的行为信息对屏保画面中至少一个视觉元素进行显示控制的例子，但可以理解的是，具体实施中并不局限于如下的示例：
69.在一个示例中，可以是生成新的视觉元素，比如，屏保画面中本来是一片空白，随着目标对象不断产生行为信息，屏保画面中的内容也不断丰富。
70.在一个示例中，可以是消除原有的视觉元素，比如，屏保画面中最初有很多树叶，随着目标对象不断产生行为信息，屏保画面中的树叶也不断减少。
71.在一个示例中，可以是变换视觉元素的显示形态，比如，屏保画面中有一个虚拟人物，当目标对象产生不同的行为信息时，虚拟人物也相应地显示同样的行为信息对应的行为。
72.在一个示例中，可以是调节视觉元素对应的显示值，比如，当视觉元素为画面的亮度时，可以通过目标对象的行为信息调节画面的亮度值。
73.在又一个示例中，可以是移动视觉元素的位置，比如，屏保画面中有一片羽毛，当目标对象的行为信息是移动手指时，屏保画面中的羽毛可以沿着手指的移动轨迹进行移动。
74.本步骤中，可以是当目标对象的行为信息符合控制触发条件时，按照预先设置的行为信息与视觉元素的映射关系，对视觉元素进行控制。
75.比如，在一个示例性的应用场景下，最初时屏保画面中的视觉元素可以包括一个完整的苹果，预先设定控制触发条件包括：嘴巴张开、闭上，手部左右摇摆以及特定手势等，预先设置的映射关系可以是：嘴巴张开、闭上用于改变苹果的形态，手部左右摇摆用于将当前的水果切换为其他水果，特定手势用于控制水果的数量。当目标对象的行为信息是嘴巴张开、闭上时，屏保画面中完整的苹果变换为被咬掉一口的苹果，之后，当目标对象的行为信息仍是嘴巴张开、闭上时，屏保画面中被咬掉一口的苹果变换为被咬掉两口的苹果；当目标对象的行为信息是手部左右摇摆时，屏保画面中完整的苹果切换为完整的梨，之后，当目标对象的行为信息是嘴巴张开、闭上时，屏保画面中完整的梨变换为被咬掉一口的梨；当目标对象的行为信息是伸出两根手指时，比如单手比“v”时，屏保画面中一个完整的苹果变换为两个完整的苹果，之后，当目标对象的行为信息是伸出五根手指时，屏保画面中两个完整的苹果变换为五个完整的苹果。
76.本公开实施例的技术方案提供的屏幕互动方法，通过目标对象的行为信息对车载显示装置的屏保画面中至少一个视觉元素进行隔空控制，进而实现屏保画面的视觉效果的变化，能够使目标对象更为个性地完成与屏幕的人机交互；以及，本方法所应用的场景是显示装置处于待机状态且屏幕显示屏保画面时，能够让目标对象在不经意间与车载显示装置的屏保画面完成互动，而不是刻意的去解锁屏幕、点进某些界面功能来进行人机交互，能够提供给目标对象无感化的体验，提供情感化的沟通途径，增加了乘车出行时的观赏性与趣味性。
77.图2提供了本公开另一实施例的屏幕互动方法，该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。
78.在步骤202中，获取车舱内部的目标图像。
79.其中，目标图像由车辆安装的摄像头采集，目标图像是包含车舱内部环境、人员信息的图像，其中包括车辆的车舱内部的至少一个目标对象。
80.在步骤204中，基于所述目标图像识别所述车舱内部的目标对象的行为信息，以及基于所述目标图像识别所述目标对象在所述车舱内部的位置信息。
81.本步骤中，可以通过对目标图像进行目标对象检测来确定目标对象在车舱内部的位置信息。例如可以通过脸部检测来定位目标对象的位置，进一步基于目标对象脸部区域在图像中的位置来确定目标对象的乘坐位置。在对目标图像中的目标对象进行检测后，可以对检测到的目标对象的行为进行识别处理时，得到各个目标对象的行为信息。
82.示例性，在四座私家车中，目标对象的位置信息可以是目标对象的座位信息，比如，主驾驶位，副驾驶位，后排右位和后排左位。在公交车中，目标对象的位置信息可以包括目标对象的座位信息和站位信息。
83.比如，可以通过比对目标图像中目标对象的周边环境与车舱内部无人时的图像，得到目标对象在车舱内部的位置信息。
84.又比如，可以预先训练用于检测目标对象的神经网络和用于识别目标对象的行为的神经网络，将目标图像输入该用于检测目标对象神经网络，得到各个目标对象在车舱内部的位置信息。之后，将各个目标对象的图像输入用于识别目标对象的行为的神经网络，得到目标独对象的行为信息。
85.或者，可以训练用于检测目标对象及识别目标对象行为的端到端神经网络。将目标图像输入该神经网络，则可以得到目标对象的检测结果及行为识别结果。另外，在获取目标对象在所述车舱内部的位置信息时，还可以结合采集该目标图像的摄像头的位置和拍摄角度进行判断。比如，当摄像头位于车内顶棚并朝向车后排进行图像采集时，得到的目标图像中的目标对象位于车后排，可以进一步通过对目标图像进行处理，确定该目标对象具体是位于后排右位、后排中位还是后排左位。
86.在步骤206中，根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为所述目标显示装置。
87.在车舱内部中包含多个不同位置的可用显示装置的情况下，可以根据目标对象的位置信息从中选择与该目标对象匹配的可用显示装置，作为待进行显示控制的目标显示装置。与某个目标对象匹配的目标显示装置可以是一个或多个。
88.当需要为目标对象确定的所匹配的目标显示装置是一个时，匹配规则可以是目标显示装置与目标对象之间的距离最近，也可以是目标显示装置位于目标对象的最佳观看角度，或者，也可以是预先设置位置信息与可用显示装置之间的映射关系，根据位置信息和该映射关系确定与目标对象匹配的一个目标显示装置。
89.当需要为目标对象确定的所匹配的目标显示装置是多个时，匹配规则可以是目标显示装置离目标对象距离在设定范围内，也可以是目标显示装置位于目标对象的观看角度内，或者，也可以是预先设置位置信息与可用显示装置之间的映射关系，根据位置信息和该映射关系确定与目标对象匹配的多个目标显示装置。
90.在一个示例中，可以从车舱内部的多个不同位置的可用显示装置中确定与目标对象的位置最接近的可用显示装置，作为目标显示装置。
91.比如，在目标对象的位置信息表示该目标对象位于车后排时，与该目标对象最接近的可用显示装置是其前方座椅背后的可用显示装置，将该可用显示装置确定为该目标对象匹配的目标显示装置。又比如，在目标对象的位置信息表示该目标对象位于副驾驶位时，与该目标对象最接近的显示装置是其前方车窗上的显示装置，次接近的显示装置为其旁边车门处的可用显示装置，但是，前方车窗上的显示装置可能因为故障而不可用，此时将其旁边车门处的可用显示装置确定为该目标对象匹配的目标显示装置。
92.在又一个示例中，可以从车舱内部的多个不同位置的可用显示装置中确定与目标对象的位置在同一排的可用显示装置，作为目标显示装置。
93.比如，车辆中有多排的座位，每一排都设置有显示装置，当目标对象的位置信息表示该目标对象位于第三排时，可以将第三排的可用显示装置作为目标显示装置。
94.在步骤208中，在所述车舱内部的多个不同位置的可用显示装置中的目标显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述目标显示装置所显示的屏保画面中至少一个视觉元素进行显示控制。
95.比如，当与目标对象匹配的目标显示装置为一个时，且目标显示装置显示的画面为屏保画面的情况下，可以根据目标对象的行为信息对该目标显示装置的屏保画面中至少一个视觉元素进行显示控制。当与目标对象匹配的目标显示装置为多个时，且多个目标显示装置显示的画面为屏保画面的情况下，可以根据目标对象的行为信息对不同的目标显示装置的屏幕画面中的视觉元素进行不同的显示控制或者相同的显示控制。
96.本公开实施例的技术方案提供的屏幕互动方法，根据目标对象在车舱内部的位置信息确定与目标对象匹配的目标显示装置，通过目标对象的行为对该目标显示装置的屏保画面中至少一个视觉元素进行隔空控制，进而实现屏保画面的视觉效果的变化，而且目标对象能够方便地观看到行为信息带来的视效变化，能够使目标对象更为个性地完成与屏幕的人机交互；以及，本方法所应用的场景是显示装置处于待机状态且屏幕显示屏保画面时，能够让目标对象在不经意间与车载显示装置的屏保画面完成互动，而不是刻意的去解锁屏幕、点进某些界面功能来进行人机交互，能够提供给目标对象无感化的体验，提供情感化的沟通途径，增加了乘车出行时的观赏性、趣味性以及舒适性。
97.图3提供了本公开另一实施例的屏幕互动方法，该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。
98.在步骤302中，获取车舱内部的目标图像。
99.其中，目标图像由车辆安装的摄像头采集，目标图像中包括车辆的车舱内部的至少一个目标对象。
100.在步骤304中，基于所述目标图像识别所述目标对象的行为信息。
101.在步骤306中，获取用于采集所述目标图像的摄像头的位置标定信息。
102.其中，摄像头的位置标定信息可以包括摄像头的编号，或者包括摄像头的位置、角度等信息。比如，当车舱内部安装了四个摄像头时，四个摄像头分别编号为摄像头1，摄像头2，摄像头3和摄像头4，其中，摄像头1位于驾驶位前方、朝向驾驶位进行图像采集，摄像头2位于副驾驶位前方、朝向副驾驶位进行图像采集，摄像头3位于驾驶位椅背上、朝向后排左
位进行图像采集，摄像头4位于副驾驶位椅背上、朝向后排右位进行图像采集。
103.在步骤308中，根据所述摄像头的位置标定信息，从所述车舱内部的多个预定位置的可用显示装置中选择与所述摄像头的位置对应的可用显示装置，作为目标显示装置。
104.比如，当摄像头的位置标定信息为摄像头的编号时，可以基于摄像头的编号与多个预定位置的可用显示装置的映射关系，从车舱内部的多个预定位置的可用显示装置，选择与摄像头的编号对应的可用显示装置作为与目标对象匹配的目标显示装置。示例性的，可以预先将编号为1的摄像头与编号为1的可用显示装置建立映射，或者将预先将编号为1的摄像头与编号为2的可用显示装置和编号为4的可用显示装置建立映射。
105.比如，当摄像头的位置标定信息为摄像头的位置、角度等信息时，可以基于摄像头的位置、角度等信息，从车舱内部的多个不同位置的可用显示装置中选择与摄像头的位置对应的目标显示装置。示例性，对于位于驾驶位椅背上、朝向后排左位进行图像采集的摄像头，可以选择该摄像头附近的可用显示装置作为目标显示装置，例如，选择同样位于驾驶位椅背上的可用显示装置作为目标显示装置，以方便后排左位的目标对象展现行为信息和观看屏幕上的屏保画面。
106.在步骤310中，在所述车舱内部的多个不同位置的可用显示装置中的目标显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制。
107.本公开实施例的技术方案提供的屏幕互动方法，根据采集包含目标对象的目标图像的摄像头的位置标定信息，从多个可用显示装置中确定与目标对象对应的目标显示装置，通过目标对象的行为对该显示装置的屏保画面中至少一个视觉元素进行隔空控制，进而实现屏保画面的视觉效果的变化，目标对象能够方便地观看到行为信息带来的视效变化，能够使目标对象更为个性地完成与屏幕的人机交互；以及，本方法所应用的场景是显示装置处于待机状态且屏幕显示屏保画面时，能够让目标对象在不经意间与车载显示装置的屏保画面完成互动，而不是刻意的去解锁屏幕、点进某些界面功能来进行人机交互，能够提供给目标对象无感化的体验，提供情感化的沟通途径，增加了乘车出行时的观赏性、趣味性以及舒适性。
108.图4为本公开至少一个实施例提供的又一种屏幕互动方法，本实施例中的的屏保画面包括背景画面、叠加在所述背景画面上的动态对象视觉元素、以及叠加在所述背景画面上的显示效果视觉元素。视觉元素可以是背景画面、动态对象视觉元素以及显示效果视觉元素中的任一个或多个，还可以是屏保画面的亮度、色彩、对比度、画面字体的大小等与画面显示相关的元素。
109.作为示例，本方案中的车载显示装置待机时，所呈现的初始的屏保画面具体可以使用以下方式得到：可选的，利用图像或视频作为屏保画面中的背景画面，该背景画面填充显示装置的屏幕的整体界面并重复播放，比如，可以如附图5所示，使用纯色图像作为底色背景。可选的，在背景画面上叠加2d或者3d动态对象视觉元素作为中间层，动态对象视觉元素可以是人、物体等，比如，可以是附图6中所示的树叶、花朵、蝴蝶、穿裙子的女士以及苹果。可选的，在背景画面上叠加显示效果视觉元素，特殊的显示效果视觉元素可以是裸眼3d效果，炫光效果，发光效果以及3d粒子效果等视觉元素，其中，3d粒子视觉元素如附图7所示。在进行上述画面的渲染时，还可以借助ar(augmented reality，增强现实)技术进行渲
染。通过上述处理可以在待机屏幕的屏保画面上渲染出绚烂的视觉效果。
110.下面对本实施例的方法进行说明，其中，与上述实施例的流程相同的步骤将不再详述。
111.在步骤402中，获取车舱内部的目标图像。
112.在步骤404中，基于所述目标图像识别所述目标对象的行为信息。
113.本实施例中的行为信息可以是目标对象与显示装置的触摸屏无接触的行为信息。其中，行为信息至少包括下列中的至少一个：肢体动作信息，脸部动作信息。肢体动作信息包括如下至少一项：头部运动信息、手部运动信息和躯干运动信息，比如，可以是做出手势，身体后倾，摇头等；脸部动作信息包括如下至少一项：表情信息、嘴部动作信息和眼部动作信息，比如，可以是惊讶的表情，打喷嚏，转动眼珠等。
114.在步骤406中，基于所述目标图像以及采集所述目标图像的摄像头位置，确定所述目标对象的位置信息。
115.例如，目标对象的位置在目标图像中间区域，而采集目标图像的摄像头是朝向副驾驶的摄像头，可以确定目标对象位于副驾驶。
116.在步骤408中，根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为目标显示装置。
117.比如，可以根据位置信息，选择距离目标对象最接近的可用显示装置作为目标显示装置。
118.延续上例，当目标对象b位于副驾驶时，距离目标对象最近的可用显示装置为副驾驶位前方的显示装置，确定副驾驶位前方的显示装置为与目标对象b匹配的目标显示装置。
119.在步骤410中，在目标显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述目标显示装置的屏幕画面中至少一个视觉元素进行控制。
120.本步骤中，根据目标对象的行为信息，可以变换至少一个视觉元素的呈现形态。
121.具体的，可以根据目标对象的行为信息所表征的目标对象的预设身体部位的收缩或伸展的动作，将至少一个所述视觉元素的呈现形态变换至对应的收缩或伸展的状态。其中，预设身体部位可以是嘴巴，眼睛，双臂以及手部等身体部位。比如，当目标对象的手部为握拳动作时，屏保画面中的开放的花朵慢慢闭合至紧闭，当目标对象的手部为张开动作时，屏保画面中的紧闭的花朵慢慢张开至开放。
122.也可以读取表征屏保画面中至少一个视觉元素的当前状态的第一状态信息；根据目标对象的行为信息和第一状态信息，确定至少一个视觉元素经显示控制后的第二状态信息；控制至少一个视觉元素呈现第二状态信息所表征的目标状态。比如，当视觉元素为画面的亮度时，当前状态的第一状态信息是当前的亮度值，可以通过目标对象的行为信息调节画面的亮度值，该行为信息可以是手部的升降动作，读取当前的亮度值，以及识别得到手部抬升的位移，根据该位移提升亮度值，得到画面的亮度的新亮度值，即经显示控制后的第二状态信息，将屏保画面的亮度调整为该新亮度值。
123.本步骤中，根据目标对象的行为信息，还可以变换至少一个视觉元素在所述屏幕画面中的显示位置。
124.具体的，可以根据目标对象的行为信息所表征的目标对象的预设身体部位的移动方向，将至少一个视觉元素在所述屏保画面中的显示位置向对应的移动方向移动。预设身
体部位可以是目标对象的任一个身体部位。比如，当目标对象的眼睛向左看时，可以将视觉元素在屏保画面中的显示位置向左移动；当目标对象的眼睛向右看时，可以将视觉元素在屏保画面中的显示位置向右移动。
125.还可以根据目标对象的行为信息所表征的目标对象的预设身体部位的移动轨迹，将至少一个视觉元素在所述屏保画面中的显示位置沿着对应的移动轨迹移动。比如，当目标对象的行为信息是移动手指时，屏保画面中的羽毛可以沿着手指的移动轨迹进行移动。
126.本步骤中可以根据目标对象的行为信息，对屏保画面中至少一个动态对象视觉元素或显示效果视觉元素进行显示控制。在一个示例中，屏保画面为草丛，能够被控制的动态对象视觉元素包括花朵、蝴蝶，显示效果视觉元素为流光效果。这里的行为信息可以是具体的行为动作信息也可以是抽象的行为动作信息。其中，可以预先设置感知到目标对象的情绪为喜悦时，控制花朵由闭合的呈现形态转换为开放的呈现形态，当目标对象的行为信息(例如“微笑”表情)持续表示处于喜悦的状态中时，则开放的花朵逐渐变多，还可以预先设置当花朵开放时，目标对象的手部动作可以控制蝴蝶变换显示位置，比如，手掌向上挥动，屏保画面中的蝴蝶也相应地向上飞舞。还可以设置流光效果在目标对象的上半身前倾的时候出现，而在目标对象的上半身后仰的时候消失。
127.例如，根据目标对象所表现出的包含喜悦笑容的行为信息，可以控制副驾驶位前方的目标显示装置的屏保画面中的花朵由闭合转为盛开。目标对象可以对着屏幕挥舞手掌，内后视镜处的摄像头又持续采集到包含目标对象b手掌挥舞的目标图像。将这些目标图像再次进行上述步骤的处理，在处理过程中可以通过感知算法感知到目标对象b的手部位置，根据手部位置的移动对屏保画面中的蝴蝶进行控制，呈现的视觉效果是蝴蝶跟随目标对象b移动的手部不断飞舞。
128.在一种实施方式中，所述方法还包括：采集所述目标对象的声音信息；根据所述目标对象的声音信息，对所述屏保画面中至少一个视觉元素进行控制。可以分别根据行为信息和声音信息进行控制，也可以结合两者进行控制。比如，除了使用对目标图像进行识别处理得到的行为信息进行控制之外，还可以通过分析声音信息的含义得到目标对象的控制指令，根据目标对象的控制指令对屏保画面中的视觉元素进行控制。又比如，可以通过声音信息结合行为信息来更全面的感知目标对象的情绪，根据目标对象的情绪对屏保画面中的视觉元素进行控制。
129.本实施例中提供的屏幕互动方法，通过摄像头感知目标对象的行为，能够在无接触的情况下(目标对象无需点击触摸屏)，让目标对象在不经意间与车载显示装置的屏保画面完成互动，而不是刻意的去解锁屏幕、点进某些界面功能来进行人机交互，能够提供给目标对象无感化的体验，提供情感化的沟通途径，使得人车交互更具情景化，重构了人与车辆之间的关系和情感连接，提升了乘车时的趣味性和观赏性。
130.如图8所示，图8是本公开至少一个实施例示出的一种屏幕互动装置的框图，所述装置包括：
131.图像获取模块81，用于获取车舱内部的目标图像。
132.图像识别模块82，用于基于所述目标图像识别所述车舱内部的目标对象的行为信息。
133.显示控制模块83，用于在所述车舱内部的显示装置显示的画面为屏保画面的情况
下，根据所述目标对象的行为信息，对所述屏保画面中至少一个视觉元素进行显示控制。
134.在一个例子中，所述显示控制模块83，具体用于：在所述车舱内部的多个不同位置的可用显示装置中的目标显示装置显示的画面为屏保画面的情况下，根据所述目标对象的行为信息，对所述目标显示装置所显示的屏保画面中至少一个视觉元素进行显示控制。
135.在一个例子中，所述图像识别模块82，还用于：基于所述目标图像识别所述目标对象在所述车舱内部的位置信息；根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为目标显示装置。
136.在一个例子中，所述图像识别模块82在用于根据所述位置信息，从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象匹配的可用显示装置，作为目标显示装置时，具体用于：从所述车舱内部的多个不同位置的可用显示装置中确定与所述目标对象的位置最接近的可用显示装置，作为目标显示装置。
137.在一个例子中，所述显示控制模块83，具体用于：根据所述目标对象的行为信息，变换所述屏保画面中至少一个视觉元素的呈现形态。
138.在一个例子中，所述显示控制模块83，在用于根据所述目标对象的行为信息，变换所述屏保画面中至少一个视觉元素的呈现形态时，具体用于：根据所述目标对象的行为信息所表征的目标对象的预设身体部位的收缩或伸展的动作，将至少一个所述视觉元素的呈现形态变换至对应的收缩或伸展的状态。
139.在一个例子中，所述显示控制模块83，在用于根据所述目标对象的行为信息，变换所述屏保画面中至少一个视觉元素的呈现形态时，具体用于：读取表征所述屏保画面中至少一个视觉元素的当前状态的第一状态信息；根据所述目标对象的行为信息和所述第一状态信息，确定所述至少一个视觉元素经显示控制后的第二状态信息；控制所述至少一个视觉元素呈现所述第二状态信息所表征的目标状态。
140.在一个例子中，所述显示控制模块83，具体用于：根据所述目标对象的行为信息，变换至少一个视觉元素在所述屏保画面中的显示位置。
141.在一个例子中，所述显示控制模块83，在用于根据所述目标对象的行为信息，变换至少一个视觉元素在所述屏保画面中的显示位置时，具体用于：根据所述目标对象的行为信息所表征的目标对象的预设身体部位的移动方向，将所述至少一个所述视觉元素在所述屏保画面中的显示位置向对应的移动方向移动。
142.在一个例子中，所述行为信息至少包括下列中的至少一个：肢体动作信息，脸部动作信息；所述肢体动作信息包括如下至少一项：头部动作信息、手部动作信息和躯干动作信息；所述脸部动作信息包括如下至少一项：表情信息、嘴部动作信息和眼部动作信息。
143.在一个例子中，所述屏保画面包括背景画面、叠加在所述背景画面上的动态对象视觉元素、以及叠加在所述背景画面上的显示效果视觉元素；所述显示控制模块83，具体用于：根据所述目标对象的行为信息，对所述屏保画面中至少一个动态对象视觉元素或显示效果视觉元素进行显示控制。
144.如图9所示，所述装置还包括位置确定模块84。
145.在一个例子中，所述位置确定模块84，用于：获取用于采集所述目标图像的摄像头的位置标定信息；根据所述摄像头的位置标定信息，从所述车舱内部的多个预定位置的可用显示装置中选择与所述摄像头的位置对应的可用显示装置，作为目标显示装置。
146.如图10所示，所述装置还包括声音控制模块85。
147.在一个例子中，所述声音控制模块85，用于：采集所述目标对象的声音信息；根据所述目标对象的声音信息，对所述屏保画面中至少一个视觉元素进行控制。
148.上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
149.本公开实施例还提供了一种电子设备，如图11所示，所述电子设备包括存储器11、处理器12，所述存储器11用于存储可在处理器上运行的计算机指令，所述处理器12用于在执行所述计算机指令时实现本公开任一实施例所述的屏幕互动方法。
150.本公开实施例还提供了一种计算机程序产品，该产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例所述的屏幕互动方法。
151.本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的屏幕互动方法。
152.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
153.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
154.本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
155.应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
156.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。