一种影视节目角色的识别方法及相关设备与流程

1.本发明涉及显示设备技术领域，尤其涉及一种影视节目角色的识别方法及相关设备。


背景技术：

2.随着internet技术的不断发展，基于internet技术的智能电视具有开放式平台，搭载操作系统，在实现普通的电视节目播放以外，还可以实现各类应用软件的安装和使用。智能电视在安装第三方应用软件之后，可以对喜爱的节目或影视节目进行更加灵活的选择。
3.目前的智能电视可以具有图像识别功能，可以对智能电视播放画面中的人物进行图像识别，结合预设的演员图片信息库，从而识别出演员及相关信息。


技术实现要素：

4.本发明提供一种影视节目角色的识别方法及相关设备，用以降低角色识别难度，降低影视节目角色识别的成本。
5.第一方面，本发明提供一种影视节目角色的识别方法，包括：
6.在接收到用户的截图指令时，对显示设备当前显示的影视节目图像进行截图；
7.将获得的所述截图发送服务器进行图像识别；
8.在接收到所述服务器反馈的图像识别结果中包含人物时，在所述服务器获取所述当前显示的影视节目图像对应的媒资信息；所述媒资信息包括所述当前显示的影视节目图像对应的演职人员表；
9.在所述演职人员表中查询所述人物所对应的角色；
10.将识别出的角色和对应的演员名称进行展示。
11.第二方面，本发明提供一种影视节目角色的识别方法，包括：
12.接收显示设备发送的截图；所述截图为所述显示设备在接收到用户的截图指令时，对所述显示设备当前显示的影视节目图像进行截图得到的；
13.对接收的所述截图进行图像识别；
14.将图像识别结果反馈所述显示设备；所述图像识别结果包括：识别出的人物；
15.接收所述显示设备发送的关于影视节目的查询请求；所述查询请求用于获取所述当前显示的影视节目图像对应的媒资信息；所述媒资信息包括所述当前显示的影视节目图像对应的演职人员表；
16.将查询到的所述媒资信息发送所述显示设备，以使所述显示设备在所述媒资信息中提取所述演职人员表，在所述演职人员表中查询并显示所述截图中人物所对应的角色。
17.第三方面，本发明提供一种显示设备，包括：
18.通信器，用于与服务器进行通信；
19.音频处理器，被配置为用于采集用户输入的音频数据；
20.显示器，用于显示图像和用户界面，以及在所述用户界面中用以指示在用户界面中项目被选择的选择器；
21.控制器，被配置为用于在接收到用户的截图指令时，对所述显示器当前显示的影视节目图像进行截图；将获得的所述截图通过所述通信器发送服务器进行图像识别；在接收到服务器反馈的图像识别结果中包含人物时，通过所述通信器在服务器获取所述当前显示的影视节目图像对应的媒资信息；在所述媒资信息的演职人员表中查询所述人物所对应的角色；控制所述显示器将识别出的角色和对应的演员名称进行展示。
22.本发明提供的影视节目角色的识别方法及相关设备，在接收到用户的截图指令时，对显示设备当前显示的影视节目图像进行截图；对获得的截图进行图像识别；在识别到截图中的人物时，获取当前显示的影视节目图像对应的演职人员表；在演职人员表中查询人物所对应的角色；将识别出的角色和对应的演员名称进行展示。相比于现有技术的角色识别方案，本发明提供的上述方法不需要针对每一个影视节目的角色进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
附图说明
23.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例提供的影视节目角色的识别方法的流程图之一；
25.图2为本发明实施例提供的页面显示效果图之一；
26.图3为本发明实施例提供的页面显示效果图之二；
27.图4为本发明实施例提供的影视节目角色的识别方法的流程图之二；
28.图5为本发明实施例提供的影视节目角色的识别方法的流程图之三；
29.图6为本发明实施例提供的显示设备的结构示意图；
30.图7为本发明实施例提供的应用场景示意图；
31.图8为本发明实施例提供的显示设备的硬件架构图。
具体实施方式
32.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
33.本发明实施例提供的影视节目角色的识别方法及相关设备适用于可以连接网络，可以与服务器进行数据交互的显示设备。该显示设备可以对当前播放的影视节目进行角色识别，为用户提供更好的观看体验。
34.在一些实施例中，影视节目是以拷贝、磁带、胶片、存储器等为载体，以银幕、屏幕
放映为目的的音视频内容，包含了电影、电视剧、节目、动画等内容。
35.本发明实施例的第一方面，在显示设备侧提供一种影视节目角色的识别方法，如图1所示，本发明实施例提供的影视节目角色的识别方法，可以包括：
36.s101、在接收到用户的截图指令时，对显示设备当前显示的影视节目图像进行截图；
37.s102、将获得的截图发送服务器进行图像识别；
38.s103、在接收到服务器反馈的图像识别结果中包含人物时，在服务器获取当前显示的影视节目图像对应的媒资信息；
39.s104、在演职人员表中查询人物所对应的角色；
40.s105、将识别出的角色和对应的演员名称进行展示。
41.其中，影视节目的媒资信息可以包括：影视节目的名称、类型、剧集简介、演职人员表、用户标签等与该影视节目相关的信息。
42.发明实施例提供的上述影视节目角色的识别方法，在接收到用户的截图指令时，对显示设备的当前显示图像执行截图操作，并对获得的截图进行图像识别，在识别到截图中的人物时，可以在服务器查询到识别出的人物相关信息，该人物相关信息可以包括：人物姓名、年龄、主要参演作品等，但是相比于人物信息，用户在观看影视节目时对人物在影视节目中的角色更感兴趣，因此，本发明实施例在识别到截图中的人物时，获取当前显示的影视节目图像对应的演职人员表。可以理解的是，演职人员表中一般会包括演员姓名和演员在该影视节目中饰演的角色，那么在获取在当前显示的影视节目对应的演职人员表之后，可以在演职人员表中查询在图像识别操作时识别出的人物在该影视节目中对应的角色，最后将识别出的角色和对应的演员名称进行展示，即可完成对影视节目图像截图中人物的角色识别。
43.本发明实施例提供的上述影视节目角色识别方法，不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
44.在一些实施例中，在识别到截图中的人物时，还可以根据识别到截图中的人物以及预设的数据库获取演员的介绍信息，以使的在展示角色和对应的演员名称时，同时展示演员的介绍信息，其中，预设的数据库可以是服务器本地的数据库，也可以是网络上的其他数据资源。
45.在一些实施例中，角色和对应的演员名称使用一个图片位进行展示，示例性的，该图片位中展示截图识别出的人脸图像和“演员名称”饰“角色”的字符串，演员的介绍信息通过另一个图片位展示。示例性的该图片位中展示截图识别出的人脸图像或数据库中存储的图片，以及演员的介绍信息。
46.在具体实施时，本发明实施例可以通过显示设备与服务器的交互完成图像识别的操作，具体地，显示设备将获得的截图发送服务器之后，服务器可以对截图中的图像元素进行图像识别，并将图像识别结果反馈给显示设备。其中，图像识别结果包括：识别出的截图中的图像元素以及图像元素在截图中的运营位置。
47.在一些实施例中图像识别结果可以只包括人物信息，例如人物名称，本申请中的
人物是和角色相对应的概念，人物名称是指在现实中人物的代称，角色是指影视节目中一个被塑造的非现实形象的代称。例如在电视播放影视节目时，可以无需获取图像元素在截图中的运营位置，直接根据当前播放的影视节目来获取对应的媒资信息。在一些实现方式中图像识别结果需要同时包括人物名称和识别出的截图中的图像元素以及图像元素在截图中的运营位置，图像元素在截图中的运营位置会被显示装置用于确定对应的节目以获取响应的媒资信息，识别出的截图中的图像元素可以包括人脸的缩略图。
48.在本发明实施例中，服务器可以获取大量的网络数据，因此在服务器建立模型之后，更加便于在服务器完成对模型的训练。图像识别是通过对图像中特征的提取，与预先建立好的模型进行对比来识别内容的，那么显示设备在获得当前显示的影视节目图像的截图之后，可以将该截图发送至服务器完成图像识别，服务器可以将图像识别的结果反馈给显示设备。其中，图像识别可以识别到的图像元素包括识别到的人物、物品、二维码、台标等，服务器在识别出这些图像元素之后，可以将识别到的图像元素以及对应的图像元素在截图中的运营位置一同返回显示设备。
49.用户在观看显示设备的应用场景分为多种，例如，用户可以在观看正在播放的影视节目的影片时对其中的人物感兴趣，进而想到得知该人物在剧中的角色。或者，用户在与显示设备的交互界面中，观看到影视节目的海报或预览画面，对其中的人物的角色感兴趣。针对上述不同的应用场景，本发明实施例执行获取影视节目的媒资信息的方式也有所不同。
50.具体来说，在一种可能的应用场景中，在当前显示的影视节目图像为当前正在播放的影视节目画面时，上述的步骤s103中，在服务器获取当前显示的影视节目图像对应的媒资信息，具体可以包括：
51.获取当前正在播放的影视节目的播放链接；
52.根据播放链接向服务器发送关于当前正在播放的影视节目的查询请求；
53.接收服务器反馈的当前正在播放的影视节目的媒资信息。
54.显示设备播放影视节目通常是在用户触发播放动作之后，显示设备向服务器请求该影视节目的播放链接，通过打开该播放链接来播放该影视节目。而每部影视节目的播放链接都是唯一的，且在服务器的媒资信息都是相互关联的，因此当显示设备正在播放影视节目时，可以通过其播放链接确定出播放器正在播放的影视节目为哪部影视节目，进而可以在服务器获取到关于这部影视节目的所有媒资信息，从而可以在影视节目的媒资信息中提取出演职人员表。其中，影视节目的媒资信息可以包括：影视节目名称、影片类型、演职人员表以及用户标签等信息。
55.在获取到影视节目的演职人员表之后，将识别出的人物在该影视节目的演职人员表中查询对应的角色，在匹配到人物对应的角色时，可以将识别到的角色和对应的演员名称向用户进行展示，由此完成影视节目的角色识别。
56.在一些实施例中，当用户处于浏览界面等交互界面时，无法直接获得影视节目的播放链接，那么针对类似的应用场景，可以直接根据运营位置和截图对应的用户界面框架，确定运营位置在用户界面框架中对应的影视节目相关内容，从而根据影视节目相关的内容，获取影视节目的媒资信息。
57.在一些实施例中，交互界面是用户可以进行不同影视节目选择的界面，示例性的，
某一频道的主页，影视节目列表页等。
58.具体来说，在当前显示图像为交互界面中的影视节目画面时，上述步骤s103中，在服务器获取当前显示的影视节目图像对应的媒资信息，具体可以包括：
59.确定识别出的人物在截图中的运营位置；
60.根据运营位置和截图对应的用户界面框架，确定运营位置在用户界面框架中对应的界面元素；
61.在服务器查询截图在界面元素内的运营内容；
62.在查询出的运营内容为影视节目相关内容时，向服务器发送关于该影视节目的查询请求；
63.接收服务器反馈的该影视节目的媒资信息。
64.如前所述，服务器在对截图进行图像识别时，可以识别出截图中的各种图像元素以及图像元素在截图中的运营位置。显示设备在确定上述图像元素中包括人物时，可以定位到识别出的人物在截图中所在的位置坐标，而用户界面是通过一定位置关系的界面元素组成的用户界面框架，那么在得知人物在截图中的位置坐标之后，可以确定该位置坐标处对应着用户界面框架中的哪个界面元素。显示设备可以将确定出来的界面元素再次发送服务器，服务器可以确定出截图中所有界面元素的运营内容，因此显示设备通过发送给服务器人物所对应的界面元素，即可在服务器确定出该界面元素在截图中的运营内容。当该运营内容为影视节目相关内容时，显示设备即可根据该影视节目相关内容在服务器查询出该影视节目为哪部影视节目以及该影视节目的其它媒资信息。进而在影视节目的媒资信息中提取出演职人员表进行角色匹配。
65.在获取到影视节目的演职人员表之后，将识别出的人物在该影视节目的演职人员表中查询对应的角色，在匹配到人物对应的角色时，可以将识别到的角色和对应的演员名称向用户进行展示，由此完成影视节目的角色识别。
66.在具体实施时，本发明实施例可以通过多种方式触发截图和对截图的图像识别动作。
67.在一种可实施的方式中，本发明实施例中的显示设备可以具备语音识别功能，在识别到用户输入的语音为与图像相关的操作指令时，对显示设备当前显示的影视节目图像进行截图。例如，当用户在观看到感兴趣的人物向显示设备输入语音“这个人是谁”，那么显示设备在识别到用户的语音，且解析出该语音与图像识别相关时，即刻对当前显示的影视节目图像进行截图，进而对截图进行图像识别。
68.在另一种可实施的方式中，本发明实施例中的显示设备可以具有配套使用的摇控设备，该遥控设备上可以设置专用的功能键，用户在操作该功能键时，遥控设备向智能电视发送图像识别指令。那么针对这种应用场景，用户在观看到感兴趣的人物，想要得知该人物在影视节目中的角色时，可以操作摇控设备上的专用功能键，显示设备在接收到用户通过摇控设备发送的用户于图像识别的键值时，对显示设备当前显示的影视节目图像进行截图，进而对截图进行图像识别。
69.本发明实施例中的显示设备在进行图像显示时，可以将页面设置成两个部分，其中一部分用于显示影视节目图像，另一部分中可以显示多个选项栏，在选项栏中显示与用户交互的结果。那么在用户触发图像识别，对当前显示的影视节目图像进行截图，并识别出
截图中人物的角色时，如图2所示，可以在上述其中一个选项栏中显示识别出的带有人脸的部分截图的缩略图，该人物在影视节目中的角色和对应的演员名称。上述带有人脸的部分截图的缩略图和所述演员名称可以是在图像识别结果中包含人物时，由服务器根据识别结果发送给显示设备的。采用这样的方式既可以对当前影视节目进行显示，同时可以清晰展示出用户交互的结果，不会造成画面的混淆和信息重叠显示问题。
70.举例来说，如图2所示，当用户在观看的影视节目为《长安十二时辰》，在观看到韩童生饰演的何监督时对该角色感兴趣，指示显示设备进行图像识别，当识别出截图中的人物为“韩童生”之后，与《长安十二时辰》的演职人员表进行对比，可以查询到韩童生在剧中饰演的角色为“何监”，那么可以在页面的其中一个选项栏中显示出截图中韩童生的人脸缩略图，以及“韩童生饰演：何监”的信息。
71.在实际应用中，媒资数据库中关于影视节目的演职人员表一般只包括影视节目中主要演员的对照信息，可能并不包括影视节目中的临时演员、群众演员等的对照信息，如果用户刚好对演职人员表中不存在的演员角色感兴趣时，通过上述角色识别方法可能无法识别到人物的角色信息，此时，针对在演职人员表中未查询到识别到的人物对应的角色时，如图3所示，本发明实施例可以在上述显示设备的页面中的其中一个选项栏中仅显示识别出的带有人脸的部分截图的缩略图以及该人物的人物信息即可。例如，如图3所示，可以仅显示演员姓名而不显示其在影视节目中的角色信息。
72.相比于现有技术的角色识别方案，本发明提供的上述方法不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
73.在一些实施例中，在通过遥控器触发截图指令时，遥控设备向智能电视发送图像识别指令可以是遥控器的键值，该遥控设备上可以设置预设的功能键，用户在操作该功能键时，如果用户单次按压该按键(即预设时长内按压一次)，对应的显示设备接收到一次对应的键值，在预设时长内显示设备未再次接收到该对应的键值，则显示设备生成第一截图识别指令，用于执行识别截图中的角色和识别截图中的演员中的一种；如果用户连续按压该按键(即预设时长内按压两次或以上)，对应的显示设备接收到一次对应的键值后，在预设时长内显示设备再次接收到该对应的键值，则显示设备生成第二截图识别指令，用于执行识别截图中的角色和识别截图中的演员中的另一种，其中识别截图中的角色和识别截图中的演员均需要执行截图和识别，后续步骤可以采用其他实施例中的方式，在此不予以赘述。
74.在一些实施例中，显示设备在接收到截图指令后，出现设置有选项的提示框，其中一个提示框的选中表征用户想识别截图中的角色，另一个提示框的选中表征用户想识别截图中的演员，显示设备根据用户的选中，执行识别截图中的角色和识别截图中的演员中的一种，识别截图中的演员可以是，在识别到截图中的人物时，还可以根据识别到截图中的人物以及预设的数据库获取演员的介绍信息。
75.在一些实施例中，显示设备接收用户的截图指令，则显示设备生成第一截图识别指令，用于执行识别截图中的角色和识别截图中的演员中的一种；如果在预设的第二时长内，显示设备再次接收用户的截图指令，意味着显示设备显示的内容不是用户想要的，显示
设备基于第一次识别过程中得到的截图，重新对截图进行识别，执行识别截图中的角色和识别截图中的演员中的另一种。
76.在一些实施例中，服务器可以直接将识别的结果(人脸缩略图，人物名称，角色)反馈给显示设备。显示设备接收这些信息，并拉起悬浮层以在悬浮层上展示。此时服务器在进行识别后并不将识别的结果直接反馈给显示设备，而是根据识别的任务名称和截图中人物对应影视节目的演职人员表，确定人物名称对应的角色。服务器在获取显示设备当前的播放状态，显示设备反馈不同的状态标识给电视如果是当前正在播放影视节目，截图是正在播放影视节目的截图，服务器根据正在播放影视节目去获取演职人员表。如果当前正位于交互界面，截图中有很多影视节目的海报，则识别出的人脸缩略图以及所述人脸缩略图在所述截图中的运营位置，根据人脸缩略图识别任务名称，根据人脸缩略图在所述截图中的运营位置和截图对应的用户界面框架确定该运营位置对应的影视节目，进而获取影视节目的演职人员表。具体步骤与显示设备侧的流程相似。
77.本发明实施例的第二方面，在服务器侧提供一种影视节目的识别方法，如图4所示，本发明实施例提供的影视节目角色的识别方法，可以包括：
78.s201、接收显示设备发送的截图；
79.上述截图为显示设备在接收到用户的截图指令时，对显示设备当前显示的影视节目图像进行截图得到的。
80.s202、对接收的截图进行图像识别；
81.s203、将图像识别结果反馈显示设备；
82.其中，图像识别结果包括：识别出的人物。
83.s204、接收显示设备发送的关于影视节目的查询请求；
84.上述查询请求用于获取当前显示的影视节目图像对应的媒资信息；媒资信息包括当前显示的影视节目图像对应的演职人员表。
85.s205、将查询到的媒资信息发送显示设备。
86.显示设备在接收到影视节目的媒资信息之后，在媒资信息中提取演职人员表，在演职人员表中查询并显示截图中人物所对应的角色。
87.在本发明实施例中，服务器可以在本地的媒资数据库存储大量关于不同影视节目的媒资信息，也可以通过网络获取到不同影视节目的媒资信息。当显示设备发送带有影视节目标识的查询请求时，服务器可以根据该影视节目标识查询到该影视节目的所有媒资信息。
88.除此之外，服务器可以获取大量的网络数据，因此在服务器建立模型之后，更加便于在服务器完成对模型的训练。那么在显示设备将获得的截图发送服务器之后，服务器可以先对截图中的特征进行提取，再利用预先建立好的模型进行对比来识别内容。服务器会将图像识别出的图像元素以及图像元素在截图中的运营位置作为图像识别结果反馈给显示设备。
89.显示设备在确定图像识别结果中包含人物时，会进一步向服务器发送关于截图对应的影视节目的查询请求。服务器在接收该查询请求之后，会根据影视节目的识别信息在媒资数据库或互联网查询到影视节目的媒资信息发送回显示设备。显示设备可以在媒资信息中提取演职人员表，并在演职人员表中查询之前图像识别出的人物所对应的角色，当查
询到人物所对应的角色，则匹配成功，将识别出的角色和对应的演员名称进行展示；当未查询到人物所对应的角色时，则匹配失败，将图像识别出的人物信息进行展示。
90.本发明实施例提供的上述影视节目角色识别方法，不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
91.用户在观看显示设备的应用场景分为多种，例如，用户可以在观看正在播放的影视节目的影片时对其中的人物感兴趣，进而想到得知该人物在剧中的角色。或者，用户在与显示设备的交互界面中，观看到影视节目的海报或预览画面，对其中的人物的角色感兴趣。针对上述不同的应用场景，本发明实施例执行获取影视节目的媒资信息的方式也有所不同。
92.在一种可能的应用场景中，在显示设备当前显示的影视节目图像为当前正在播放的影视节目画面时，在上述的步骤s204中，接收显示设备发送的关于影视节目的查询请求，包括：
93.接收显示设备发送的查询请求，该查询请求包括当前正在播放的影视节目的播放链接；
94.相应地，在上述的步骤s205中，将查询到的媒资信息发送显示设备，包括：
95.根据当前正在播放的影视节目的播放链接，查询当前正在播放的影视节目的媒资信息；
96.将查询到的媒资信息发送显示设备。
97.显示设备播放影视节目是通过该影视节目的播放链接打开的，在服务器的每个影视节目的播放链接都是唯一的，当显示设备向服务器发送获取播放链接的请求时，服务器会将该播放链接返回显示设备，从而显示设备可以通过该方式播放影视节目。而每个影视节目在服务器都具有唯一的标识信息，该标识信息与播放链接以及该影视节目的媒资信息都是相互关联的，因此当显示设备将正在播放的影视节目的播放链接作为查询请求的内容发送给服务器时，服务器可以通过其播放链接确定出播放器正在播放的影视节目的标识信息，从而查询到关于这部影视节目的所有媒资信息，再将查询到的媒资信息返回显示设备。
98.在另一种可能的应用场景中，当用户处于浏览界面等交互界面时，无法直接获得影视节目的播放链接，那么针对类似的应用场景，可以直接根据运营位置和截图对应的用户界面框架，确定运营位置在用户界面框架中对应的影视节目相关内容，从而根据影视节目相关的内容，获取影视节目的媒资信息。
99.具体来说，在显示设备当前显示的影视节目图像为交互界面中的影视节目画面时，上述图像识别结果包括：识别出的图像元素以及图像元素在截图中的运营位置，在上述的步骤s204之前，还包括图中未示出的以下步骤：
100.接收显示设备发送的关于运营内容的查询请求，查询请求包括截图中人物所在运营位置对应的用户界面框架下的界面元素；
101.查询截图在界面元素内的运营内容；
102.将查询到的运营内容发送显示设备。
103.相应地，在上述的步骤s204中，接收显示设备发送的关于影视节目查询请，包括：
104.接收显示设备发送的查询请求，查询请求包括截图在界面元素内的运营内容；
105.相应地，在上述的步骤s205中，将查询到的当前显示的影视节目图像对应的媒资信息发送显示设备，包括：
106.根据运营内容，查询运营内容对应的影视节目的媒资信息；
107.将查询到的媒资信息发送显示设备。
108.当显示设备当前显示的影视节目图像是交互界面中的影视节目画面时，则显示设备无法获取到影视节目的播放链接。但是在图像识别阶段，服务器将识别出截图中的各种图像元素以及图像元素在截图中的运营位置返回显示设备。显示设备在确定上述图像元素中包括人物时，可以定位到识别出的人物在截图中所在的位置坐标，而用户界面是通过一定位置关系的界面元素组成的用户界面框架，那么在得知人物在截图中的位置坐标之后，可以确定该位置坐标处对应着用户界面框架中的哪个界面元素。显示设备可以将确定出来的界面元素再次发送服务器，服务器可以确定出截图中所有界面元素的运营内容，服务器可以确定出该界面元素在截图中的运营内容。服务器将该运营内容返回显示设备之后，显示设备在确定该运营内容为影视节目相关内容时，显示设备会将该运营内容作为查询请求的内容再次发送服务器，服务器根据该运营内容可以确定出该运营位置显示的为哪个影视节目，即确定出影视节目的标识信息，从而根据影视节目的标识信息查询到该影视节目的媒资信息返回给显示设备。
109.显示设备在接收到影视节目的媒资信息之后，在媒资信息中提取出演职人员表，并在演职人员表中查询之前识别出的人物所对应的角色，在匹配成功时将识别出的角色和对应的演员名称进行展示。
110.本发明提供的上述方法不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
111.综上所述，针对具体应用中可能出现的各种情况，本发明实施例提供的影视节目角色的识别方法，如图5所示，可以包括如下步骤：
112.s301、在接收到用户的截图指令时，对显示设备当前显示的影视节目图像进行截图；
113.s302、对获得的截图进行图像识别；在识别出截图中的人物，且当前显示的影视节目图像为当前正在播放的影视节目画面时，执行步骤s303-s305；在识别出截图中的人物，且当前显示的影视节目图像为交互界面中的影视节目画面时，执行步骤s306-s310；
114.s303、获取当前正在播放的影视节目的播放链接；
115.s304、在服务器获取播放链接对应的影视节目的媒资信息；
116.s305、在媒资信息中提取当前正在播放的影视节目的演职人员表；
117.s306、确定识别出的人物在截图中的运营位置；
118.s307、根据运营位置和截图对应的用户界面框架，确定运营位置在用户界面框架中对应的界面元素；
119.s308、在服务器查询截图在界面元素内的运营内容；
120.s309、在查询出的运营内容为影视节目相关内容时，根据运营内容确定所影视节
目的媒资信息；
121.s310、在媒资信息中提取影视节目的演职人员表；
122.s311、在演职人员表中查询人物所对应的角色；在匹配到人物对应的角色时，执行步骤s312；在未匹配到人物对应的角色时，执行步骤s313；
123.s312、显示识别出的带有人脸的部分截图的缩略图，该人物在影视节目中的角色和对应的演员名称；
124.s313、显示识别出的带有人脸的部分截图的缩略图以及该人物的人物信息。
125.本发明提供的上述方法不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
126.本发明实施例的第三方面，提供一种显示设备，如图6所示，该显示设备包括：
127.通信器41，用于与服务器进行通信；
128.音频处理器42，被配置为用于采集用户输入的音频数据；
129.显示器43，用于显示图像和用户界面，以及在用户界面中用以指示在用户界面中项目被选择的选择器；
130.控制器44，被配置为用于在接收到用户的截图指令时，对显示器43当前显示的影视节目图像进行截图；将获得的截图通过通信器41发送服务器进行图像识别；在接收到服务器反馈的图像识别结果中包含人物时，通过通信器41在服务器获取当前显示的影视节目图像对应的媒资信息；在媒资信息的演职人员表中查询人物所对应的角色；控制显示器43将识别出的角色和对应的演员名称进行展示。
131.本发明实施例提供的上述显示设备不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
132.具体地，图7中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图7所示，用户可通过控制装置来操作显示设备200。
133.其中，控制装置可以是遥控器100a，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
134.控制装置也可以是智能设备，如移动终端100b、平板电脑、计算机、笔记本电脑等。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(ui)为用户提供各种控制。
135.示例的，移动终端100b可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动终端100b与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端100b上，通过控制移动终端100b上用户界面，实现控制显示设备200的功能。也可以将移动终端100b上显示的音视频内容传输
到显示设备200上，实现同步显示功能。
136.如图7所示，显示设备200还与服务器300通过多种通信方式进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(epg)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器300可以是一组，也可以是多组，可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
137.显示设备200，可以是液晶显示器、有机发光二极管(oled)显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上的一些改变。
138.显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。示例的包括，网络电视、显示设备、互联网协议电视(iptv)等。
139.图8中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。如图8所示，显示设备200中可以包括调谐解调器220、通信器230、检测器240、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输出接口272、供电电源。
140.调谐解调器220，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号，以及附加信息(例如epg数据信号)。
141.调谐解调器220，可根据用户选择，以及由控制器210控制，响应用户选择的电视频道频率以及该频率所携带的电视信号。
142.调谐解调器220，根据电视信号广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式，也可以模拟调制方式；以及根据接收电视信号种类不同，可以解调模拟信号和数字信号。
143.在其他一些示例性实施例中，调谐解调器220也可在外置设备中，如外置机顶盒等。这样，机顶盒通过调制解调后输出电视音视频信号，经过外部装置接口250输入至显示设备200中。
144.通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器230可以包括wifi模块231，蓝牙通信协议模块232，有线以太网通信协议模块233等其他网络通信协议模块或近场通信协议模块。
145.显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如，通信器可根据控制器的控制接收遥控器100的控制信号。
146.检测器240，是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器240可以包括光接收器242，用于采集环境光线强度的传感器，可以通过采集环境光来自适应显示参数变化等；还可以包括图像采集器241，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
147.在其他一些示例性实施例中，检测器240，还可包括温度传感器，如通过感测环境
温度，显示设备200可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调；当温度偏低的环境时，可以调整显示设备200显示图像色温偏暖色调。
148.在其他一些示例性实施例中，检测器240还可包括声音采集器，如麦克风，可以用于接收用户的声音，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，显示设备200可以自适应环境噪声。
149.外部装置接口250，提供控制器210控制显示设备200与外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如epg)等数据。
150.其中，外部装置接口250可以包括：高清多媒体接口(hdmi)端子251、复合视频消隐同步(cvbs)端子252、模拟或数字分量端子253、通用串行总线(usb)端子254、红绿蓝(rgb)端子(图中未示出)等任一个或多个。
151.控制器210，通过运行存储在存储器290上的各种软件控制程序(如操作系统和各种应用程序)，来控制显示设备200的工作和响应用户的操作。
152.如图8所示，控制器210包括随机存取存储器ram213、只读存储器rom214、图形处理器216、cpu处理器212、通信接口218、以及通信总线。其中，ram213和rom214以及图形处理器216、cpu处理器212、通信接口218通过总线相连接。
153.rom213，用于存储各种系统启动的指令。如在收到开机信号时，显示设备200电源开始启动，cpu处理器212运行rom中系统启动指令，将存储在存储器290的操作系统拷贝至ram214中，以开始运行启动操作系统。当操作系统启动完成后，cpu处理器212再将存储器290中各种应用程序拷贝至ram214中，然后，开始运行启动各种应用程序。
154.图形处理器216，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。
155.cpu处理器212，用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
156.在一些示例性实施例中，cpu处理器212，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。多个或一个子处理器，用于执行在待机模式等状态下的一种操作。
157.通信接口，可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
158.控制器210可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示ui对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。
159.其中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对
象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与图标相对应程序的操作。用于选择ui对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
160.存储器290，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器290中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
161.其中，基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
162.例如：语音识别模块中包括语音解析模块和语音指令数据库模块。
163.显示控制模块是用于控制显示器280进行显示图像内容的模块，可以用于播放多媒体图像内容和ui界面等信息。
164.通信模块，是用于与外部设备之间进行控制和数据通信的模块。浏览器模块，是用于执行浏览服务器之间数据通信的模块。
165.服务模块，是用于提供各种服务以及各类应用程序在内的模块。
166.同时，存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
167.用户输入接口，用于将用户的输入信号发送给控制器210，或者，将从控制器输出的信号传送给用户。
168.示例性的，控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口，再由用户输入接口转送至控制器；或者，控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
169.在一些实施例中，用户可在显示器280上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
170.视频处理器260-1，用于接收视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器280上显示或播放的视频信号。
171.示例的，视频处理器260-1，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
172.其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入mpeg-2，则解复用模块进行解复用成视频信号和音频信号等。
173.视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
174.图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
175.帧率转换模块，用于对输入视频的帧率进行转换，如将输入的24hz、25hz、30hz、60hz视频的帧率转换为60hz、120hz或240hz的帧率。
176.其中，输入帧率可以与源视频流有关，输出帧率可以与显示器的更新率有关。输入有通常的格式采用如插帧方式实现。
177.显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出rgb数据信号。
178.显示器280，用于接收源自视频处理器260-1输入的图像信号，进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容，可以来自调谐解调器220接收的广播信号中的视频，也可以来自通信器或外部设备接口输入的视频内容。显示器220，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面ui。
179.以及，根据显示器280类型不同，还包括用于驱动显示的驱动组件。或者，倘若显示器280为一种投影显示器，还可以包括一种投影装置和投影屏幕。
180.音频处理器260-2，用于接收音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器272中播放的音频信号。
181.音频输出接口270，用于在控制器210的控制下接收音频处理器260-2输出的音频信号，音频输出接口可包括扬声器272，或输出至外接设备的发生装置的外接音响输出端子274，如：外接音响端子或耳机输出端子等。
182.在其他一些示例性实施例中，视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2，也可以包括一个或多个芯片组成。
183.以及，在其他一些示例性实施例中，视频处理器260-1和音频处理器260-2，可以为单独的芯片，也可以与控制器210一起集成在一个或多个芯片中。
184.供电电源，用于在控制器210控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源，如在显示设备200中提供外接电源的电源接口。
185.结合图7和图8，在本发明实施例中，显示器280可以播放用户观看的影视节目，或者显示用户正在浏览的关于影视节目的交互界面。
186.当用户对观看到的影视节目中的人物感兴趣时，可以通过语音向显示设备200输入控制指令，或者也可以通过控制装置上的专用按键控制显示设备200对显示器280当前显示的影视节目图像进行截图。
187.例如，音频处理器260-2可以采集用户输入的语音，将用户输入的语音转换为语音指令，如果该语音指令为与图像识别相关的指令可以对显示器280当前显示的影视节目图像进行截图处理。
188.或者，与显示设备200配套使用的控制装置可以具有专门用于进行图像识别的按键，用户通过触发该专用键使显示设备200对当前显示器280正在显示的影视图像进行截图处理。
189.再对当前显示的影视图像截图之后，显示设备200可以通过通信器230将该截图发送服务器300，服务器300将对该截图进行图像识别，而后再通过该通信器230将图像识别结果返回显示设备200。
190.显示设备200在接收到图像识别结果时，控制器210进一步判断图像识别结果中是
否包含人物，当包含人物时需要进一步获取与影视节目相关的媒资信息。
191.如果当前显示的影视节目图像为播放器正在播放的影视节目画面时，控制器210可以直接在播放器中获取到当前正在播放影视节目的播放链接，控制器210可以通过通信器230向服务器发送查询该正在播放的影视节目相关媒资信息的查询请求。
192.服务器300在接收到查询请求中的播放链接时，可以确定出与该播放链接相关联的唯一影视节目的标识信息，根据该标识信息可以在媒资数据库中查询到与该标识信息关联的媒资信息。服务器300将查询到的媒资信息返回给显示设备200。
193.控制器210可以在该媒资信息中提取出演职人员表，在演职人员表中查询图像识别出的人物所对应的角色，在角色匹配成功时，在显示器280上显示识别出的角色和对应的演员名称；在角色匹配失败时，在显示器280上显示图像识别出的人物的相关信息。
194.如果当前显示的影视节目图像为交互界面中显示的影视节目画面时，当前控制器210无法获取到影视节目的播放链接，但是在图像识别阶段，服务器300将识别出截图中的各种图像元素以及图像元素在截图中的运营位置返回显示设备200。
195.控制器210可以定位到识别出的人物在截图中所在的位置坐标，而用户界面是通过一定位置关系的界面元素组成的用户界面框架，那么在得知人物在截图中的位置坐标之后，可以确定该位置坐标处对应着用户界面框架中的哪个界面元素。控制器210可以将确定出来的界面元素再次发送服务器300。
196.服务器300可以确定出截图中所有界面元素的运营内容，服务器300将该运营内容返回显示设备200。
197.控制器210进一步确认该运营内容是否为影视节目相关内容，在确定运营内容与影视节目相关时，控制器210向服务器300发送查询关于该运营内容相关媒资信息的查询请求。
198.服务器300在接收到查询请求中的运营内容时，可以确定出与该运营内容关联的影视节目的标识信息，根据该标识信息可以在媒资数据库中查询到与该标识信息关联的媒资信息。服务器300将查询到的媒资信息返回给显示设备200。
199.控制器210可以在该媒资信息中提取出演职人员表，在演职人员表中查询图像识别出的人物所对应的角色，在角色匹配成功时，在显示器280上显示识别出的角色和对应的演员名称；在角色匹配失败时，在显示器280上显示图像识别出的人物的相关信息。
200.在一些实施例中，当显示设备200中的控制器210在演职人员表中查询到截图中的人物对应的角色时，角色和对应的演员名称可以使用显示器280的一个图片位进行展示，示例性的，该图片位中展示截图识别出的人脸图像和“演员名称”饰“角色”的字符串，演员的介绍信息通过另一个图片位展示。示例性的该图片位中展示截图识别出的人脸图像或数据库中存储的图片，以及演员的介绍信息。当显示设备200的控制器未在演职人员表中查询到截图中人物对应的角色时，可以在上述图片位中显示演员的相关信息，例如，可以显示截图识别出的人脸图像以及演员名称，演员的介绍信息通过另一个图片位展示。
201.本发明提供的上述显示设备不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
202.本发明实施例的第四方面，提供一种可读性存储介质，该可读性存储介质存储有显示设备可执行指令，显示设备可执行指令用于使显示设备执行上述作一影视节目角色的识别方法。
203.本发明实施例提供的上述影视节目角色的识别方法及相关设备，在接收到用户的截图指令时，对显示设备当前显示的影视节目图像进行截图；对获得的截图进行图像识别；在识别到截图中的人物时，获取当前显示的影视节目图像对应的演职人员表；在演职人员表中查询人物所对应的角色；将识别出的角色和对应的演员名称进行展示。相比于现有技术的角色识别方案，本发明提供的上述方法不需要针对每一个影视节目进行特征提取、建模、训练等繁琐的前期准备，只需要在识别到影视节目图像截图中的人物时与影视节目的演职人员表进行匹配即可识别出人物所对应的角色。上述方法简单快捷，与显示设备的各种应用场景相适应，有利于提升用户的观看体验。
204.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器，使得通过该计算机或其他可编程数据处理设备的处理器执行的指令可实现流程图中的一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
205.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
206.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的步骤。
207.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
208.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。