多媒体设备的控制方法及装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种多媒体设备的控制方法及装置、电子设备和存储介质。


背景技术：

2.随着科技的发展及多媒体设备的普及，在一些展览展示等场景中，经常会结合多媒体设备进行相应的展览展示，例如：在发布会、企业展厅、城市规划馆、主题展览会等场景中，通过会结合多媒体设备进行相应的展览，以为参展人员提供更好的参展体验。


技术实现要素：

3.本公开提出了一种用于对多媒体设备进行控制的技术方案。
4.根据本公开的一方面，提供了一种多媒体设备的控制方法，应用于电子设备，所述电子设备用于对多个多媒体设备进行控制，包括：
5.采集目标对象的人脸图像信息；
6.根据采集的所述人脸图像信息，得到所述目标对象的视线信息；
7.响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制。
8.根据本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
9.在一种可能的实现方式中，所述响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制，包括：
10.根据所述目标对象的视线信息，确定针对目标多媒体设备的操作指令；
11.向所述目标多媒体设备发送所述操作指令，以使得所述目标多媒体设备执行所述操作指令对应的操作。
12.根据本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
13.在一种可能的实现方式中，所述方法还包括：
14.根据采集的所述人脸图像信息进行人脸识别，得到所述目标对象的身份识别结果；
15.所述根据所述目标对象的视线信息，确定针对目标多媒体设备的操作指令，包括：
16.根据所述身份识别结果确定所述目标对象是否具有操控权限；
17.在所述目标对象具有操控权限的情况下，根据所述目标对象的视线信息确定针对所述目标多媒体设备的操作指令。
18.根据本公开实施例提供的多媒体设备的控制方法，可以结合人脸识别得到的身份识别结果，判断目标对象的操控权限，并仅在目标对象具有操控权限的情况下，向目标多媒体设备发送视线信息对应的操作指令，能够避免在对多媒体设备的操控过程中由其他用户引起的误触、指令干扰、重复指令等问题，可以提升对多媒体设备的控制的专业化和智能化。
19.在一种可能的实现方式中，所述根据所述目标对象的视线信息确定针对所述目标多媒体设备的操作指令，包括：
20.根据所述身份识别结果获取所述目标对象的操作列表，所述操作列表包括至少一个对应关系，所述对应关系包括视线信息与操作指令之间的对应关系；
21.根据所述操作列表确定所述目标对象的视线信息对应的操作指令。
22.根据本公开实施例提供的多媒体设备的控制方法，可以根据身份识别结果获取目标对象的操作列表，并根据目标对象的操作列表确定视线信息对应的操作指令，可以实现用户对控制多媒体设备的视线信息的自定义化，丰富针对多媒体设备的控制方式，提高用户体验。
23.在一种可能的实现方式中，所述方法还包括：
24.针对所述目标对象，响应于针对所述操作列表的设置操作，设置所述操作列表中至少一个对应关系，得到所述目标对象的所述操作列表。
25.根据本公开实施例提供的多媒体设备的控制方法，可以自定义用户的操作列表，例如：可以根据用户的个人习惯喜好等设置操作列表中视线信息与操作指令的对应关系，可以实现用户的个性化定制需求，进而可以提高用户体验。
26.在一种可能的实现方式中，所述方法还包括：
27.根据所述目标对象的身份识别结果，确定所述目标对象可操控的多媒体设备；
28.将所述目标对象可操作的多媒体设备确定为所述操作指令对应的目标多媒体设备。
29.根据本公开实施例提供的多媒体设备的控制方法，多个用户可以通过电子设备采用相同或者不同视线信息控制不同的多媒体设备实现相同或者不同的操作，可以丰富多媒体设备的控制方式，本公开实施例提供的多媒体设备的控制方法可以适应多种应用场景。
30.在一种可能的实现方式中，所述方法还包括：
31.根据所述目标对象的身份识别结果，确定所述目标多媒体设备所操控的目标多媒体内容。
32.根据本公开实施例提供的多媒体设备的控制方法，可以丰富针对多媒体设备的控制方式，并且对多媒体设备的操控更为人性化，可以提高用户体验。
33.在一种可能的实现方式中，所述响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制，包括：
34.确定所述目标对象的视线信息所指向的目标区域；
35.根据所述目标区域确定所述目标多媒体设备；
36.确定所述目标对象的视线信息指向所述目标区域的时长；
37.在所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令。
38.根据本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
39.在一种可能的实现方式中，所述确定所述目标对象的视线信息所指向的目标区域，包括：
40.获取所述目标对象的手势信息；
41.根据所述目标对象的手势信息，确定所述目标对象的视线信息所指向的目标区域。
42.根据本公开实施例提供的多媒体设备的控制方法，可以在无法确定视线信息的指向时，根据目标对象的手势信息确定视线信息所指向的目标区域，可以提高对多媒体设备控制的精度，提高用户体验。
43.在一种可能的实现方式中，所述在所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令，包括：
44.确定所述目标对象所处的位置信息；
45.在所述位置信息为目标位置信息、且所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令。
46.根据本公开实施例提供的多媒体设备的控制方法，可以丰富电子设备对多个多媒体设备的控制方式，并避免由于目标对象与目标区域相隔过远的情况下，对目标对象的视线信息误解读所造成的误操控的问题，可以提高对多媒体设备操控的精准度，提高用户体验。
47.在一种可能的实现方式中，所述方法还包括：
48.在所述目标对象的视线信息从所述目标区域移开的时长达到第二时长阈值的情况下，向所述目标多媒体设备发送取消指令，所述取消指令用于指示所述目标多媒体设备取消所述视线信息对应的操作指令所对应的操作。
49.根据本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
50.根据本公开的一方面，提供了一种多媒体设备的控制装置，应用于电子设备，所述电子设备用于对多个多媒体设备进行控制，所述装置包括：
51.采集模块，用于采集目标对象的人脸图像信息；
52.处理模块，用于根据采集的所述人脸图像信息，得到所述目标对象的视线信息；
53.控制模块，用于响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制。
54.根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
55.根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序
指令，所述计算机程序指令被处理器执行时实现上述方法。
56.在本公开实施例中，用于对多个多媒体设备进行控制的电子设备，可以采集目标对象的人脸图像信息，并根据采集的所述图像信息，得到目标对象的视线信息。电子设备可以响应于目标对象的视线信息，对至少一个所述多媒体设备进行相应控制。根据本公开实施例提供的多媒体设备的控制方法及装置、电子设备和存储介质，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
57.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
58.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
59.图1示出根据本公开实施例的多媒体设备的控制方法的示意图；
60.图2示出根据本公开实施例的多媒体设备的控制方法的流程图；
61.图3示出根据本公开实施例的多媒体设备的控制方法的示意图；
62.图4示出根据本公开实施例的多媒体设备的控制方法的示意图；
63.图5示出根据本公开实施例的多媒体设备的控制装置的框图；
64.图6示出根据本公开实施例的一种电子设备800的框图；
65.图7示出根据本公开实施例的一种电子设备1900的框图。
具体实施方式
66.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
67.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
68.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
69.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
70.在多媒体展厅中，可以布置有多个多媒体设备，该多个多媒体设备可以通过连接的中控系统进行控制。参照图1所示，例如：可以包括至少一个展示设备、至少一个音箱设备等多个多媒体设备、以及一个中控设备，该中控设备中安装有中控系统，用于对展示设备、
音箱设备进行控制。在多媒体展厅中，用户可以通过中控设备对多个多媒体设备进行控制，以配合用户进行相应演示与互动。需要说明的是，图1所示的多媒体展厅结构仅作为公开实施例的一种示例，而不理解为是对本公开实施例的一种限定。
71.本公开实施例提供了一种多媒体设备的控制方法，可以应用于安装了中控系统的电子设备，该电子设备可以对多个多媒体设备进行控制。电子设备可以采集目标对象的人脸图像信息，并根据采集的人脸图像信息，得到目标对象的视线信息。进一步的，可以根据目标对象的时限信息对多个多媒体设备中的至少一个多媒体设备进行相应控制。本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据视线信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
72.图2示出根据本公开实施例的多媒体设备的控制方法的流程图，所述多媒体设备的控制方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行所述方法。
73.如图2所示，所述多媒体设备的控制方法可以包括：
74.在步骤s21中，采集目标对象的人脸图像信息。
75.举例来说，电子设备可以采集目标对象的人脸图像信息。示例性的，在多媒体展厅的场景下，电子设备可以对指定区域进行图像采集，在识别到该指定区域内有人体存在的情况下，可以将该人体作为目标对象，采集该目标对象的人脸图像信息。电子设备可以通过自身内部集成的图像采集设备采集目标对象的人脸图像信息，或者，电子设备也可以通过外接的图像采集设备采集目标对象的人脸图像信息，本公开实施例中对于电子设备的图像采集方式不做具体限定。
76.在步骤s22中，根据采集的所述人脸图像信息，得到所述目标对象的视线信息。
77.本公开实施例中，电子设备可以对采集的人脸图像信息进行图像识别，得到目标对象的视线信息，该视线信息可以包括视线角度等信息。
78.举例来说，可以通过预训练的视线识别网络对当前时刻的图像信息进行视线识别，得到对应的视线信息。示例性的，可以通过该视线识别网络对当前时刻采集的人脸图像信息进行视线识别，可以得到对应的视线信息。
79.简述训练视线识别网络的过程如下：可以预创建训练集，该训练集中包括多个样本组，各样本组可以包括样本图像和样本图像的标注信息，其中样本图像的标注信息可以包括标注的视线信息。可以通过视线识别网络对样本图像进行视线识别，得到样本图像的视线信息，根据样本图像的视线信息和样本图像的标注信息确定视线识别网络的识别损失，并根据识别损失调整视线识别网络的网络参数，直至视线识别网络的识别损失满足训练要求(例如：识别损失小于损失阈值)，完成针对视线识别网络的训练，得到训练后的视线识别网络。
80.在步骤s23中，响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制。
81.举例来说，视线信息可以用于触发相应操作指令。可以根据该视线信息对应的操作指令，对电子设备控制的多个多媒体设备中的至少一个多媒体设备进行相应控制，其中，操作指令可以包括用于指示多媒体设备执行相应操作的指令。
82.示例性的，电子设备可以向至少一个多媒体设备发送该视线信息对应的操作指令。接收该操作指令的多媒体设备可以响应于该操作指令，执行对应的操作。
83.这样一来，用于对多个多媒体设备进行控制的电子设备，可以采集目标对象的人脸图像信息，并根据采集的所述图像信息，得到目标对象的视线信息。电子设备可以响应于目标对象的视线信息，对至少一个所述多媒体设备进行相应控制。根据本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
84.在一种可能的实现方式中，所述响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制，可以包括：
85.根据所述目标对象的视线信息，确定针对目标多媒体设备的操作指令；
86.向所述目标多媒体设备发送所述操作指令，以使得所述目标多媒体设备执行所述操作指令对应的操作。
87.举例来说，可以预设各视线信息与操作指令的对应关系，并根据视线信息与操作指令的对应关系确定该目标对象的视线信息对应的操作指令，并向目标多媒体设备发送该目标对象的视线信息对应的操作指令，以使得目标多媒体设备接收到操作指令后，执行该操作指令对应的操作。
88.其中，操作指令对应的目标多媒体设备可以包括多个多媒体设备中的至少一个多媒体设备。示例性的，可以预设操作指令对应的至少一个目标多媒体设备，或者也可以预设目标对象对应的至少一个目标多媒体设备，进而根据目标对象确定操作指令对应的至少一个目标多媒体设备。
89.在一种可能的实现方式中，所述方法还可以包括：
90.根据采集的所述人脸图像信息进行人脸识别，得到所述目标对象的身份识别结果；
91.所述根据所述目标对象的视线信息，确定针对目标多媒体设备的操作指令，包括：
92.根据所述身份识别结果确定所述目标对象是否具有操控权限；
93.在所述目标对象具有操控权限的情况下，根据所述目标对象的视线信息确定针对所述目标多媒体设备的操作指令。
94.举例来说，可以采用预训练的人脸识别网络对采集的人脸图像信息进行人脸识别，得到目标对象的身份识别结果，其中人脸识别网络的训练过程可以参照前述视线识别网络的训练过程，本公开实施例在此不再赘述。
95.可以预先设置具有操控权限的用户，在得到目标对象的身份识别结果的情况下，可以根据该用户的身份识别结果确定该目标对象是否为具有操控权限的用户，并在确定该目标对象具有操控权限的情况下，确定目标对象的视线信息对应的操作指令及操作指令对应的目标多媒体设备；或者，在目标对象不具有操控权限的情况下，电子设备不对该目标对象的任一视线信息做出响应。
96.示例性的，可以预先建立操控权限库，并可以在操控权限库中添加具有操控权限的用户，仅添加在该操作权限库中的用户具有对多媒体设备的操控权限。在得到目标对象的身份识别结果后，例如：身份识别结果为识别到用户身份，用户身份为：用户a，则可以在该操控权限库中查找该用户a，并在查找到该用户a的情况下，确定该用户a具有操控权限；或者，在未查找到该用户a的情况下，可以确定该用户a不具有操控权限。或者，身份识别结果为未识别到用户身份时，可以直接确定该目标对象不具有操控权限。
97.再示例性的，参照图3所示，可以预先建立用户操控权限库，并定义视线信息与操作指令之间的对应关系，建立对应关系库。电子设备分别对采集的图像信息进行人脸识别处理和视线识别处理后，可以得到目标对象的身份识别结果和视线信息。在用户操控权限库中查询到身份识别结果所表征的目标对象的情况下，可以将视线信息对应的操作指令发送至目标多媒体设备。目标多媒体设备接收到该操作指令后，响应于该操作指令执行该操作指令对应的操作。
98.这样一来，本公开实施例提供的多媒体设备的控制方法，可以结合人脸识别得到的身份识别结果，判断目标对象的操控权限，并仅在目标对象具有操控权限的情况下，向目标多媒体设备发送视线信息对应的操作指令，能够避免在对多媒体设备的操控过程中由其他用户引起的误触、指令干扰、重复指令等问题，可以提升对多媒体设备的控制的专业化和智能化。
99.在一种可能的实现方式中，所述根据所述目标对象的视线信息确定针对所述目标多媒体设备的操作指令，包括：
100.根据所述身份识别结果获取所述目标对象的操作列表，所述操作列表包括至少一个对应关系，所述对应关系包括视线信息与操作指令之间的对应关系；
101.根据所述操作列表确定所述目标对象的视线信息对应的操作指令。
102.举例来说，可以预先设置各用户对应的操作列表，操作列表中可以包括预设置的视线信息与操作指令的对应关系。本公开实施例中，在得到目标对象的身份识别结果后，可以根据目标对象的身份识别结果，获取该身份识别结果所表征的目标对象所对应的操作列表，并从该操作列表中查找视线信息所对应的操作指令。
103.示例性的，不同用户对应的操作列表可以相同，也可以不同。例如：在用户a对应的操作列表中“视线信息1”对应的操作指令为鼠标箭头移动指令，在用户b对应的操作列表中“视线信息1”对应的操作指令也为鼠标箭头移动指令，在用户c对应的操作列表中“视线信息1”对应的操作指令为播放音频1指令，在用户d对应的操作列表中不存在“视线信息1”对应的操作指令。
104.当身份识别结果表征目标对象为用户a的情况下，可以获取用户a的操作列表，并根据用户a的操作列表确定“视线信息1”对应的操作指令为鼠标箭头移动指令，向目标多媒体设备发送鼠标箭头移动指令；或者，当身份识别结果表征目标对象为用户c的情况下，可以获取用户c的操作列表，并根据用户c的操作列表确定“视线位信息1”对应的操作指令为切换灯光颜色指令，向目标多媒体设备发送切换灯光颜色指令；或者，在当身份识别结果表征目标对象为用户d的情况下，可以获取用户d的操作列表，并根据用户d的操作列表确定不存在该“视线信息1”，不作出响应。
105.这样一来，本公开实施例提供的多媒体设备的控制方法，可以根据身份识别结果
获取目标对象的操作列表，并根据目标对象的操作列表确定视线信息对应的操作指令，可以实现用户对控制多媒体设备的视线信息的自定义化，丰富针对多媒体设备的控制方式，提高用户体验。
106.在一种可能的实现方式中，所述方法还可以包括：
107.针对所述目标对象，响应于针对所述操作列表的设置操作，设置所述操作列表中至少一个对应关系，得到所述目标对象的所述操作列表。
108.举例来说，可以预先为任一用户设置操作列表。例如：可以在确定目标对象后，设置该目标对象的操作列表。在设置操作列表的过程中，可以响应于针对操作列表的设置操作(例如：针对操作列表中视线信息与操作指令的对应关系的设置操作)，设置操作列表中的至少一个对应关系，并在完成全部对应关系的设置后，得到目标对象的操作列表。进而电子设备可以在识别到目标对象的视线信息后，根据目标对象的操作列表，确定该视线信息对应的操作指令，进而根据该操作指令对目标多媒体设备进行控制。
109.示例性的，目标对象的操作列表在初始设置时可以为空，则电子设备可以响应于针对操作列表的设置操作，设置操作列表中的对应关系；或者，目标对象的操作列表在设置时非空，也即操作列表中包括预置的对应关系，则电子设备可以响应于针对操作列表的设置操作，对操作列表中的对应关系进行调整(例如：修改视线信息与操作指令的对应关系，或者删除视线信息与操作指令的对应关系等)，得到目标对象的操作列表。
110.这样一来，本公开实施例提供的多媒体设备的控制方法，可以自定义用户的操作列表，例如：可以根据用户的个人习惯喜好等设置操作列表中视线信息与操作指令的对应关系，可以实现用户的个性化定制需求，进而可以提高用户体验。
111.在一种可能的实现方式中，所述方法还可以包括：
112.根据所述目标对象的身份识别结果，确定所述目标对象可操控的多媒体设备；
113.将所述目标对象可操作的多媒体设备确定为所述操作指令对应的目标多媒体设备。
114.举例来说，可以预先设置各用户可以操控的多媒体设备，例如：在一场展会中，包括2个多媒体设备，由两个主讲人：用户a和用户d分工合作进行演示，则可以设置用户a可以控制多媒体设备1，用户d可以控制多媒体设备2。在得到目标对象的身份识别结果后，可以根据身份识别结果确定目标对象可操控的多媒体设备，将目标对象可操控的多媒体设备作为操作指令对应的目标多媒体设备，并可以将视线对应的操作指令发送至该目标多媒体设备中，以使得目标多媒体设备可以根据操作指令执行相关处理。
115.示例性的，假设用户a负责控制多媒体设备1进行多媒体内容1的展示，用户d负责控制多媒体设备2进行多媒体内容2的展示。用户a欲对其讲解的多媒体内容1进行向下翻页时，可以通过视线信息1控制多媒体设备1上的鼠标箭头移动到翻页控件上。则电子设备当前采集的图像信息中可以识别到身份识别结果：用户a，视线信息为视线信息1，则电子设备可以确定用户a可控制的多媒体设备1为目标多媒体设备，并获取用户a的操作列表，从用户a的操作列表中确定“视线信息1”对应鼠标箭头移动指令，该鼠标箭头移动指令中包括鼠标箭头的移动距离和移动方向(可以通过视线信息1与前一时刻识别的视线信息确定)，则电子设备可以向多媒体设备1发送鼠标箭头移动指令，多媒体设备1接收到鼠标箭头移动指令后，可以将当前界面中的鼠标箭头移动到对应的翻页控件处，以触发对多媒体设备1展示的
多媒体内容1进行向下翻页处理，例如：从当前展示的多媒体内容1的第5页翻至第6页。
116.在用户d欲对其讲解的多媒体内容2进行向下翻页时，也可以通过视线信息1进行实现。则电子设备从当前采集的图像信息中可以识别到身份识别结果：用户d，视线信息为视线信息1，则电子设备可以确定用户d可控制的多媒体设备2为目标多媒体设备，并获取用户d的操作列表，从用户d的操作列表中确定“视线信息1”对应鼠标箭头移动指令，该鼠标箭头移动指令中包括鼠标箭头的移动距离和移动方向，则电子设备可以向多媒体设备2发送鼠标箭头移动指令，多媒体设备2接收到鼠标箭头移动指令后，可以将当前界面中的鼠标箭头移动到对应的翻页控件处，以触发对多媒体设备2展示的多媒体内容2进行向下翻页处理，例如：从当前展示的多媒体内容2的第2页翻至第3页。
117.需要说明的是，上述用户a和用户d控制多媒体设备向下翻页的视线信息相同，实际上，不同用户也可以采用不同的视线信息控制不同多媒体设备实现相同操作，例如：用户a可以采用“视线信息1”控制多媒体设备1进行向下翻页，用户d可以采用“视线信息2”控制多媒体设备2进行向下翻页，本公开实施例对此不作限定。
118.这样一来，本公开实施例提供的多媒体设备的控制方法，多个用户可以通过电子设备采用相同或者不同视线信息控制不同的多媒体设备实现相同或者不同的操作，可以丰富多媒体设备的控制方式，本公开实施例提供的多媒体设备的控制方法可以适应多种应用场景。
119.在一种可能的实现方式中，所述方法还可以包括；
120.根据所述目标对象的身份识别结果，确定所述目标多媒体设备所操控的目标多媒体内容。
121.举例来说，不同的用户可以操控相同的目标多媒体设备，但不同用户操控目标多媒体设备所展示的多媒体内容不同，可以预置不同的用户操控目标多媒体设备所控制展示的多媒体内容。例如：用户a和用户b均可以对多媒体设备1进行操控，用户a对多媒体设备1进行操控的时候，多媒体设备1控制展示的是多媒体内容1，用户b对多媒体设备1进行操控的时候，多媒体设备1控制展示的是多媒体内容2。
122.示例性的，身份识别结果中可以包括目标对象的属性，可以根据不同的属性确定目标多媒体设备多展示的多媒体内容。假设用户a为儿童，用户b为成人，则在识别到用户a针对展品的视线信息时，可以向多媒体设备1发送针对多媒体内容1的播放指令，该多媒体内容1可以为针对展品介绍的动画内容，以使得多媒体内容1可以响应于针对多媒体内容1的播放指令，展示多媒体内容1。或者，在识别到用户b针对展品的视线信息时，可以向多媒体设备1发送针对多媒体内容2的播放指令，该多媒体内容2可以为与展品相关的纪录片等内容，以使得多媒体内容1可以响应于针对多媒体内容2的播放指令，展示多媒体内容2。
123.这样一来，根据本公开实施例提供的多媒体设备的控制方法，可以丰富针对多媒体设备的控制方式，并且对多媒体设备的操控更为人性化，可以提高用户体验。
124.在一种可能的实现方式中，所述响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制，可以包括：
125.确定所述目标对象的视线信息所指向的目标区域；
126.根据所述目标区域确定所述目标多媒体设备；
127.确定所述目标对象的视线信息指向所述目标区域的时长；
128.在所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令。
129.举例来说，可以预设各个区域对应的目标多媒体设备。例如：可以预设区域a对应多媒体设备1，区域b对应多媒体设备2。在得到目标对象的视线信息后，可以确定目标对象的视线信息所指向的区域为目标区域，并确定该目标区域对应的多媒体设备为目标多媒体设备。在确定目标对象的视线信息指向目标区域的情况下，可以计时统计目标对象的视线信息持续指向该目标区域的时长，并在该时长达到第一时长阈值的情况下，确定触发该视线信息对应的操作指令，向目标多媒体设备发送该视线信息对应的操作指令。
130.示例性的，如图4所示，区域a处设置有一个展品，该区域a对应多媒体设备1及展品后的灯具，当目标对象持续注视该展品的情况下，电子设备可以检测到目标对象的视线信息持续指向该区域a，并在检测到目标对象的视线信息持续指向区域a的时长达到第一时长阈值(假设为5秒)的情况下，向多媒体设备1发送播放指令，多媒体设备1接收到该播放指令后，在显示界面上播放针对该展品的讲解信息，并向展品后的灯具发送灯光颜色切换指令，以将灯光切换到指定的颜色，例如由暗色系灯光切换为亮色系灯光等。
131.需要说明的是，上述对多媒体设备1和灯具进行控制的方案仅作为本公开实施例中采用视线信息对多媒体设备进行操控的示例，实际上，可以采用视线信息对展厅整个空间的灯光、音响、氛围等多种媒体形式进行控制，本公开实施例对此不作具体限定。
132.在一个示例中，本公开实施例也可以结合目标对象的身份识别结果，即根据目标对象的身份识别结果确定目标对象是否具有操控权限，并在目标对象具有操控权限，且目标对象的视线信息指向目标区域的时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令。以下示例提供的方案均可结合目标对象的身份识别结果，具体过程参照本示例即可，本公开实施例对此不再赘述。
133.这样一来，根据本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
134.在一种可能的实现方式中，所述确定所述目标对象的视线信息所指向的目标区域，包括：
135.获取所述目标对象的手势信息；
136.根据所述目标对象的手势信息，确定所述目标对象的视线信息所指向的目标区域。
137.举例来说，采集的人脸图像信息中可以包括人体图像信息，或者可以额外采集目标对象的人体图像信息，并对目标对象的人体图像信息进行手势识别处理，得到目标对象的手势信息，手势识别处理可以通过预训练的手势识别网络实现，该手势识别网络的训练过程可以参照前述以视线信息识别网络的训练过程，本公开实施例在此不再赘述。
138.可以预建立手势与各目标区域之间的对应关系，进而可以确定识别到的手势信息所对应的目标区域，将该目标区域作为视线信息对应的目标区域；或者可以根据手势信息所指向的方向确定指向的区域，进而将该区域作为视线信对应的目标区域。
139.这样一来，本公开实施例提供的多媒体设备的控制方法，可以在无法确定视线信
息的指向时，根据目标对象的手势信息确定视线信息所指向的目标区域，可以提高对多媒体设备控制的精度，提高用户体验。
140.在一种可能的实现方式中，所述在所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令，可以包括：
141.确定所述目标对象所处的位置信息；
142.在所述位置信息为目标位置信息、且所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令。
143.举例来说，在确定目标对象的视线信息指向目标区域的时长达到第一时长阈值(本公开实施例中第一时长阈值可以为预设的时间值，例如5秒等，本公开实施例不对第一时长阈值做具体限定)时，可以获取目标对象的位置信息。示例性的，本公开实施例中可以通过视觉定位、雷达定位、红外线定位等方式确定目标对象的位置信息，本公开实施例不对针对目标对象的定位方式做具体限定。
144.在确定目标对象的视线信息指向目标区域的时长达到第一时长阈值时，若目标对象的位置信息为目标位置信息，则可以向目标多媒体设备发送该视线信息对应的操作指令，否则，不对该视线信息作出响应。示例性的，目标位置信息可以为与目标区域之间的距离在预置距离范围的位置信息，该预置距离范围可以为预设的距离，例如2米等，本公开实施例不对预置距离范围做具体限定。
145.示例性的，参照图4，假设目标区域为区域a，假设位置c与区域a之间的距离在预置距离范围内，则可以确定该位置c为目标位置信息，位置d与区域a之间的距离不在预置距离范围内，则可以确定该位置d不为目标位置信息。则在确定目标对象的视线信息指向目标区域a的时长达到第一时长阈值，且目标对象处于位置c的情况下，电子设备可以向多媒体设备1发送视线信息对应的操作指令；或者，在确定目标对象的视线信息指向目标区域a的时长达到第一时长阈值，且目标对象处于位置d的情况下，电子设备不对目标对象的视线信息作出响应。
146.这样一来，根据本公开实施例提供的多媒体设备的控制方法，可以丰富电子设备对多个多媒体设备的控制方式，并避免由于目标对象与目标区域相隔过远的情况下，对目标对象的视线信息误解读所造成的误操控的问题，可以提高对多媒体设备操控的精准度，提高用户体验。
147.在一种可能的实现方式中，所述方法还可以包括：
148.在所述目标对象的视线信息从所述目标区域移开的时长达到第二时长阈值的情况下，向所述目标多媒体设备发送取消指令，所述取消指令用于指示所述目标多媒体设备取消所述视线信息对应的操作指令所对应的操作。
149.举例来说，电子设备在检测到目标对象的视线信息从目标区域(如前述示例中的区域a)移开时，可以开始统计视线移开的时长。在视线移开的时长达到第二时长阈值(本公开实施例中第二时长阈值可以为预设的时间值，例如5秒等，本公开实施例不对第二时长阈值做具体限定)的情况下，可以向目标多媒体设备发送取消指令，该取消指令可以用于指示目标多媒体设备取消之前接收的操作指令对应的操作。例如：以前述示例为例，电子设备在向多媒体设备1发送播放指令后，多媒体设备1响应于该播放指令播放展品的讲解信息。在目标对象的视线信息从区域a移开后，开始对视线信息从区域a移开的时长进行计时，在移
开的时长达到第二时长阈值的情况下，电子设备可以向多媒体设备1发送取消指令。多媒体设备1接收到取消指令后，可以响应于该取消指令取消针对展品的讲解信息的展示。
150.这样一来，根据本公开实施例提供的多媒体设备的控制方法，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
151.本公开实施例提供的多媒体设备的控制方法可以应用于专业化的展厅演示和讲解场景中，如企业展厅、城市规划馆等，以主讲人或讲解员作为目标对象，便于操控多媒体设备进行演示和管理。本公开实施例可以将场景中控制各个多媒体设备的操作指令与视线信息组合后，通过安装中控系统的电子设备进行识别及判断，演示者可实现全流程一体化的流畅演示和交互体验，进一步增强展示的科技感、智能化和流畅度；并且可以将视线信息与人脸信息绑定，根据人脸识别处理得到用户的身份识别结果后，根据身份识别结果判断用户是否具有操控权限，并仅在用户具有操控权限时对用户的视线信息做出响应，可以解决演示过程中的多人误触、指令干扰、重复指令等问题，提升演示的专业化、主讲人操控的精度。
152.可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
153.此外，本公开还提供了多媒体设备的控制装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种多媒体设备的控制方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
154.图5示出根据本公开实施例的多媒体设备的控制装置的框图，应用于电子设备，所述电子设备用于对多个多媒体设备进行控制，如图5所示，所述装置包括：
155.采集模块51，可以用于采集目标对象的人脸图像信息；
156.处理模块52，可以用于根据采集的所述人脸图像信息，得到所述目标对象的视线信息；
157.控制模块53，可以用于响应于所述目标对象的视线信息对至少一个所述多媒体设备进行相应控制。
158.这样，用于对多个多媒体设备进行控制的电子设备，可以采集目标对象的人脸图像信息，并根据采集的所述图像信息，得到目标对象的视线信息。电子设备可以响应于目标对象的视线信息，对至少一个所述多媒体设备进行相应控制。根据本公开实施例提供的多媒体设备的控制装置，可以将视线信息与电子设备融合，以实现根据实现信息对多个多媒体设备中的至少一个多媒体设备进行控制，可以丰富电子设备对多个多媒体设备的控制方式，提高用户与多媒体设备的互动性和趣味性，提高用户体验。
159.在一种可能的实现方式中，所述控制模块53还可以用于：
160.根据所述目标对象的视线信息，确定针对目标多媒体设备的操作指令；
161.向所述目标多媒体设备发送所述操作指令，以使得所述目标多媒体设备执行所述操作指令对应的操作。
162.在一种可能的实现方式中，所述装置还可以包括：
163.识别模块，用于根据采集的所述人脸图像信息进行人脸识别，得到所述目标对象的身份识别结果；
164.所述控制模块53还可以用于：
165.根据所述身份识别结果确定所述目标对象是否具有操控权限；
166.在所述目标对象具有操控权限的情况下，根据所述目标对象的视线信息确定针对所述目标多媒体设备的操作指令。
167.在一种可能的实现方式中，所述控制模块53还可以用于：
168.根据所述身份识别结果获取所述目标对象的操作列表，所述操作列表包括至少一个对应关系，所述对应关系包括视线信息与操作指令之间的对应关系；
169.根据所述操作列表确定所述目标对象的视线信息对应的操作指令。
170.在一种可能的实现方式中，所述装置还可以包括：
171.设置模块，用于针对所述目标对象，响应于针对所述操作列表的设置操作，设置所述操作列表中至少一个对应关系，得到所述目标对象的所述操作列表。
172.在一种可能的实现方式中，所述装置还可以包括：
173.第一确定模块，用于根据所述目标对象的身份识别结果，确定所述目标对象可操控的多媒体设备；
174.第二确定模块，用于将所述目标对象可操作的多媒体设备确定为所述操作指令对应的目标多媒体设备。
175.在一种可能的实现方式中，所述装置还可以包括：
176.第三确定模块，用于根据所述目标对象的身份识别结果，确定所述目标多媒体设备所操控的目标多媒体内容。
177.在一种可能的实现方式中，所述控制模块53还可以用于：
178.确定所述目标对象的视线信息所指向的目标区域；
179.根据所述目标区域确定所述目标多媒体设备；
180.确定所述目标对象的视线信息指向所述目标区域的时长；
181.在所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令。
182.在一种可能的实现方式中，所述控制模块53还可以用于：
183.获取所述目标对象的手势信息；
184.根据所述目标对象的手势信息，确定所述目标对象的视线信息所指向的目标区域。
185.在一种可能的实现方式中，所述控制模块53还可以用于：
186.确定所述目标对象所处的位置信息；
187.在所述位置信息为目标位置信息、且所述时长达到第一时长阈值的情况下，向所述目标多媒体设备发送所述视线信息对应的操作指令。
188.在一种可能的实现方式中，所述装置还包括：
189.发送模块，用于在所述目标对象的视线信息从所述目标区域移开的时长达到第二时长阈值的情况下，向所述目标多媒体设备发送取消指令，所述取消指令用于指示所述目
标多媒体设备取消所述视线信息对应的操作指令所对应的操作。
190.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
191.本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
192.本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
193.本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
194.电子设备可以被提供为终端、服务器或其它形态的设备。
195.图6示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
196.参照图6，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
197.处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
198.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
199.电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
200.多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置
x
tm
)，多用户多进程的计算机操作系统(unix
tm
),自由和开放原代码的类unix操作系统(linux
tm
)，开放原代码的类unix操作系统(freebsd
tm
)或类似。
209.在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
210.本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
211.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
212.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
213.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
214.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
215.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据
处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
216.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
217.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
218.该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
219.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。