基于人工智能的视频中显示人物信息方法、装置和系统与流程

文档序号:11437607阅读:351来源:国知局
基于人工智能的视频中显示人物信息方法、装置和系统与流程

本发明涉及通信技术领域,特别涉及一种基于人工智能的视频中显示人物信息方法、装置和系统。



背景技术:

人工智能(artificialintelligence,英文缩写为ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

随着信息技术的发展,基于智能电视的各种增值业务也不断地涌现,智能电视端的技术也不断地更新。

目前,在用户通过智能电视查看电视节目的过程中,有时会对电视画面中的人物或者扮演某个角色的演员产生兴趣,此时,如果用户想要了解节目中不认识的明星或者电视剧电影中演员的信息,用户需要通过其他智能终端例如手机获取该人物的相关信息。

相关技术中,用户可通过两种方式获取人物的相关信息,一种方式为用户可通过其他终端例如手机上网搜索某个角色是谁演的,然后,以该演员的名字为关键词,以搜索与该演员的相关信息。另一种方式为用户暂定电视画面,拿起终端例如手机拍摄画面进行图像搜索,并根据图像搜索结果发起二次搜索,以获取该演员的相关信息。由此,可以看出,用户了解不认识的明星或者电视剧电影汇总演员的信息的过程,用户的信息获取路径较长,不方便,需要切换设备、中断收看电视去搜索相关演员的信息,操作比较繁琐,并且,用户还需要从多条的搜索结果中进行挑选,费时费力。



技术实现要素:

本发明旨在至少在一定程度上解决上述技术问题。

为此,本发明的第一个目的在于提出一种基于人工智能的视频中显示人物信息方法,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

本发明的第二个目的在于提出一种基于人工智能的视频中显示人物信息的装置。

为达上述目的,根据本发明第一方面实施例提出了一种基于人工智能的视频中显示人物信息方法,包括以下步骤:根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片;将所述待识别图片发送至服务器,以使所述服务器对所述待识别图片进行人脸识别,并根据人脸识别结果获取所述待识别图片中人物的相关信息,以及返回人物的相关信息;在电视屏幕中显示人物的相关信息。

本发明实施例的基于人工智能的视频中显示人物信息方法,根据接收的人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息,以及在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

为达上述目的,本发明第二方面实施例提出了一种基于人工智能的视频中显示人物信息的装置,包括:截图处理模块,用于根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片;第一发送模块,用于将所述待识别图片发送至服务器,以使所述服务器对所述待识别图片进行人脸识别,并根据人脸识别结果获取所述待识别图片中人物的相关信息,以及返回人物的相关信息;显示模块,用于在电视屏幕中显示人物的相关信息。

本发明实施例的基于人工智能的视频中显示人物信息的装置,根据接收的人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息,以及在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

本发明第三方面实施例提供了一种基于人工智能的视频中显示人物信息的系统,包括智能电视端和服务器,其中,所述智能电视端,用于根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片,并将所述待识别图片发送至服务器,以及接收服务器返回的人物的相关信息,并在电视屏幕中显示人物的相关信息;所述服务器,用于对所述待识别图片进行人脸识别,并根据人脸识别结果获取所述待识别图片中人物的相关信息,以及向智能电视端返回人物的相关信息。

本发明实施例的基于人工智能的视频中显示人物信息的系统,智能电视端根据接收的人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片,将待识别图片发送至服务器,服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及向智能电视端返回人物的相关信息,智能电视端在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

本发明第四方面实施例提供了一种基于人工智能的视频中显示人物信息的装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:截图处理模块,用于根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片;第一发送模块,用于将所述待识别图片发送至服务器,以使所述服务器对所述待识别图片进行人脸识别,并根据人脸识别结果获取所述待识别图片中人物的相关信息,以及返回人物的相关信息;显示模块,用于在电视屏幕中显示人物的相关信息。

本发明第五方面实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备执行以本发明第一方面实施例的基于人工智能的视频中显示人物信息方法。

本发明第六方面实施例提供了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行一种基于人工智能的视频中显示人物信息方法,所述方法包括:根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片;将所述待识别图片发送至服务器,以使所述服务器对所述待识别图片进行人脸识别,并根据人脸识别结果获取所述待识别图片中人物的相关信息,以及返回人物的相关信息;在电视屏幕中显示人物的相关信息。本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1为根据本发明一个实施例的基于人工智能的视频中显示人物信息方法的流程图;

图2为服务器挖掘图片和人物的对应关系的细化流程图;

图3a为电视画面的示意图一;

图3b为电视画面的示意图二;

图4为根据本发明另一个实施例的基于人工智能的视频中显示人物信息方法的流程图;

图5为服务器中语音识别的过程的示意图;

图6为根据本发明又一个实施例的基于人工智能的视频中显示人物信息方法的流程图;

图7为根据本发明一个实施例的基于人工智能的视频中显示人物信息的装置的结构示意图;

图8为根据本发明另一个实施例的基于人工智能的视频中显示人物信息的装置的结构示意图;

图9为根据本发明又一个实施例的基于人工智能的视频中显示人物信息的装置的结构示意图;

图10为根据本发明再一个实施例的基于人工智能的视频中显示人物信息的装置的结构示意图;

图11为根据本发明一个实施例的基于人工智能的视频中显示人物信息的系统的结构示意图;

图12为根据本发明另一个实施例的基于人工智能的视频中显示人物信息的系统的结构示意图;

图13为根据本发明一个具体实施例的基于人工智能的视频中显示人物信息的系统中控制终端、智能电视端和服务器的交互示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

在本发明的描述中,需要理解的是,术语“多个”指两个或两个以上;术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。

下面参考附图描述根据本发明实施例的基于人工智能的视频中显示人物信息方法、装置和系统。

图1为根据本发明一个实施例的基于人工智能的视频中显示人物信息方法的流程图。其中,需要说明的是,该实施例的基于人工智能的视频中显示人物信息方法可以用于在智能电视中,也可以应用在智能电视机顶盒中。该实施例以视频中显示人物信息方法应用在智能电视中为例进行描述。

如图1所示,根据本发明实施例的基于人工智能的视频中显示人物信息方法,包括以下步骤。

s11,根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片。

作为一种示例性的实施方式,在用户通过智能电视观看电视节目的过程中,在用户需要了解电视节目中的人物或者扮演某个角色的演员时,用户可通过与智能电视建立连接的控制终端输入人物识别指令。

作为一种示例性的实施方式,用户可通过语音方式输入人物识别指令。

举例而言,在用户对电视剧电影中的角色演员有了了解的需求时,用户可以直接拿起手机或者遥控器等语音输入设备输入“这个人是谁?”、“他(她)是谁?”或者“介绍一下这个人”等语音信息来向智能电视输入人物识别指令。

其中,控制终端例如可以是具有语音输入功能的遥控器、智能手机、平板电脑等设备。

其中,需要说明的是,控制终端可通过蓝牙、红外或者wifi等方式与智能电视建立连接。

其中,需要说明的是,语音信息采集过程中,声音的效果会因控制终端性能差异,声音源到控制终端距离的远近,控制终端支持单麦克风还是麦克风阵列的不同而发生变化。总体来说,控制终端性能越高,音源到控制终端距离越短,采用有效的麦克风阵列而不是单麦克,会得到特征更完整更利于识别的语音信息。为了可以获得便于识别的语音信息,该实施例可以使用声音效果好,且使用麦克风阵列的控制终端接收用户的语音信息。

s12,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息。

具体地,在获取截取的待识别图片后,智能电视可将待识别图片发送至服务器。对应地,服务器接收待识别图片,并根据人脸特征模型生成与待识别图片对应的人脸特征信息,然后,将所获取的人脸特征信息与预存的人脸图片的人脸特征信息进行匹配,并根据匹配结果确定待识别图片中的人物标签,以及获取与人物标签对应人物的相关信息。

其中,人脸特征模型是服务器基于深度神经网络预先训练生成的。

作为一种示例,建立人脸特征模型的过程为:通过深度神经网络对人脸特征建模,并获取海量的人脸图片数据,然后,通过人脸图片数据对模型进行训练,以建立人脸特征模型。

其中,需要理解的是,预存的人脸图片已标记人物标签例如人名。

其中,预存的人脸图片可以保存在以分层聚类方法例如分层kmeans树建立的数据库中。

举例而言,在获取待识别图片的人脸特征后,可在预存的人脸图片的数据库中通过层次查找的方式进行相似人脸检索,以获取与待识别图片的人脸特征匹配的人脸图片,并根据人脸图片的人物标签信息确定待识别图片中的人物。

在本发明的一个实施例中,在确定待识别图片中的人物后,可通过预先保存人物与其相关信息的对应关系中获取对应人物的相关信息。

其中,人物的相关信息可以包括人物的基本属性信息,还可以包括与人物相关的其他信息,例如,人物与其他人物之间的关系,以及与该人物相关的热点新闻等信息。

其中,基本属性信息可以包括姓名、性别、概要经历等信息。

其中,需要理解的是,为了能够准确对人物进行识别,服务器中需要预先从海量数据中准确挖掘图片和人物的对应关系,即,服务器中需要获取高质量的人物和图片的对应关系。

作为一种示例性的实施方式,服务器挖掘图片和人物的对应关系的过程,如图2所示,具体过程为:

可获取海量的人名信息(例如百度百科上提供的人名列表),然后,通过人物标签信息的方式对人名进行自动过滤,然后,获取海量图片(例如百度百科上的图片),通过图文匹配方法获取对应人名对应的图片(其中,图片的数量可以为一张或者多张),之后,通过人脸特征模型进行人脸检测和特征提取,之后,通过视觉相似度算法根据所提取的人脸特征进行人名消岐,以处理重名情况。然后,通过层次聚类方法对同一任务的图片进行过滤,并利用开源的opencvflann库生成多级人脸视觉索引。

s13,在电视屏幕中显示人物的相关信息。

在本发明的一个实施例中,为了不影响用户的正常观看,可在电视屏幕的预设区域中显示人物的相关信息。由此,使得用户可在继续观看电视节目的同时,可以查看人物的相关信息,提高了用户的体验度。

其中,预设区域在智能电视上的位置是可以是默认的,还可以用户自己设置的。

例如,智能电视上默认的显示预设区域的位置是在智能电视的右上方显示人物的相关信息,用户可根据需求在智能电视的左下方显示人物的相关信息。

举例而言,假设智能电视中正在播放某个电视剧,电视画面中显示的内容,如图3a所示,如果用户需要了解该画面中的该演员的相关信息,用户可通过具有语音输入功能的遥控器输入“这人是谁”的语音信息,智能电视接收语音信息,并对语音信息进行语音识别,并根据语音识别结果可确定该语音信息对应的指令为人物识别指令,此时,智能电视对当前电视画面进行截图,并将所截取的具有人脸的待识别图片发送给服务器,对应的服务器向智能电视返回人物的相关信息,智能电视中显示的人物的相关信息,如图3b所示。通过图3b可以看出,智能电视中显示所截取的图片,并在该图片的下方显示人物的相关信息。另外,通过图3a可以看出,电视屏幕上还显示用户输入的语音信息所对应的文本信息。

其中,需要说明的是,该实施中的基于人工智能的视频中显示人物信息方法在获取人物的相关信息的过程中,无需对播放的电视节目暂停,即不打断用户观看电视节目,用户可以边看边查询,并且在查询的过程中,用户不需要更改设备,即可在智能电视中获取人物的相关信息。

在本发明的一个实施例中,在智能电视上显示人物的相关信息时,还可以语音播报人物的相关信息。

其中,需要理解的是,在智能电视语音播报人物的相关信息时,智能电视暂定正在播放的电视节目,并在语音播报结束时,继续电视节目的播报。

作为一种示例性的实施方式,智能电视可根据用户输入的语音播报指令,暂定正在播放的电视节目,并语音播报人物的相关信息。

具体而言,在用户不方便查看智能电视中显示的人物的相关信息时,用户还可以通过控制终端向智能电视输入语音播报指令,智能电视根据语音播报指令暂定电视节目的播放,并语音播报人物的相关信息,以及在语音播报结束,继续播放电视节目。

其中,需要理解的是,待识别图片可以包括多个人物,每个人物均采用本实施例的方法获取对应人物的相关信息。

本发明实施例的基于人工智能的视频中显示人物信息方法,根据接收的人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息,以及在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

图4为根据本发明另一个实施例的基于人工智能的视频中显示人物信息方法的流程图。其中,需要说明的是,该实施例以视频中显示人物信息方法应用在智能电视中为例进行描述。

如图4所示,根据本发明实施例的基于人工智能的视频中显示人物信息方法,包括以下步骤。

s41,接收用户通过控制终端输入的语音信息。

在用户通过智能电视观看电视节目的过程中,在用户需要了解电视节目中的人物或者扮演某个角色的演员时,用户可通过与智能电视建立连接的控制终端输入人物识别指令。举例而言,在用户对电视剧电影中的角色演员有了了解的需求时,用户可以直接拿起手机或者遥控器等语音输入设备输入“这个人是谁?”、“他(她)是谁?”或者“介绍一下这个人”等语音信息来向智能电视输入人物识别指令。

其中,控制终端例如可以是具有语音输入功能的遥控器、智能手机、平板电脑等设备。

其中,需要说明的是,控制终端可通过蓝牙、红外或者wifi等方式与智能电视建立连接。

s42,将语音信息发送至服务器,以使服务器确定语音信对应的指令为人物识别指令时,返回人物识别指令。

具体地,服务器在接收到智能电视发送的语音信息后,服务器对语音信息进行语音识别,并根据语音识别结果确定语音信息对应的指令是否为人物识别指令,并在确定语音信息对应的指令为人物识别指令时,向智能电视返回人物识别指令。

其中,服务器中语音识别的过程,如图5所示,下面结合图5对语音识别的过程进行描述:

在服务器获取语音信息后,服务器对语音信息进行特征提取,以获取语音信息的音频特征,并将音频特征输入解码器上,通过解码器得到语音识别结果。在解码器解码过程中,会使用到声学模型、语言模型和发音词典。

其中,声学模型的主要作用是将音频特征转换成音节。

其中,语言模型的主要作用是将音节转换成文本。

其中,发音词典则提供了一个从音节到文本的映射表。

假设用x表示输入的语音信号,w代表文字序列,语音识别过程求解的是下面的问题:

上式转换之后,等同于:

语音识别过程,分别是求出最大的p(x|w)和p(w),求解最大的p(x|w)是声学模型要解决的问题,而求解最大的p(w)是语言模型要解决的问题。

s43,接收服务器返回的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片。

具体地,在智能电视接收到服务器返回的人物识别指令时,智能电视对当前电视画面进行截图,以获取具有人脸的待识别图片。

s44,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息。

其中,需要说明的是,对步骤s12的解释说明也适用于步骤s44,此处不赘述。

s45,在电视屏幕中显示人物的相关信息。

在本发明的一个实施例中,为了不影响用户的正常观看,可在电视屏幕的预设区域中显示人物的相关信息。由此,使得用户可在继续观看电视节目的同时,可以查看人物的相关信息,提高了用户的体验度。

其中,预设区域在智能电视上的位置是可以是默认的,还可以用户自己设置的。

例如,智能电视上默认的显示预设区域的位置是在智能电视的右上方显示人物的相关信息,用户可根据需求在智能电视的左下方显示人物的相关信息。

其中,需要说明的是,该实施中的视频中显示人物信息方法在获取人物的相关信息的过程中,无需对播放的电视节目暂停,即不打断用户观看电视节目,用户可以边看边查询,并且在查询的过程中,用户不需要更改设备,即可在智能电视中获取人物的相关信息。

在本发明的一个实施例中,在智能电视上显示人物的相关信息后,还可以根据用户输入的语音播报指令,暂定正在播放的电视节目,并语音播报人物的相关信息。

作为一种示例性的实施方式,在用户不方便查看智能电视中显示的人物的相关信息时,用户还可以通过控制终端向智能电视输入语音播报指令,智能电视根据语音播报指令暂定电视节目的播放,并语音播报人物的相关信息,以及在语音播报结束,继续播放电视节目。

本发明实施例的基于人工智能的视频中显示人物信息方法,接收用户通过控制终端发送的语音信息,并将语音信息发送至服务器,服务器根据语音信息返回人物识别指令,智能电视根据接收的人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片;将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息,以及在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

图6为根据本发明又一个实施例的基于人工智能的视频中显示人物信息方法的流程图。其中,需要说明的是,该实施例以视频中显示人物信息方法应用在智能电视中为例进行描述。

如图6所示,根据本发明实施例的基于人工智能的视频中显示人物信息方法,包括以下步骤。

s61,接收用户通过控制终端输入的语音信息。

其中,需要说明的是,前述对步骤s41的解释说明也适用于步骤s51,此处不再赘述。

s62,对语音信息进行语音识别,并根据语音识别结果确定语音信息对应的指令是否为人物识别指令。

其中,智能电视与服务器对语音信息进行语音识别的过程相同,前述对服务器对语音信息进行语音识别的过程的描述也适用于智能电视,此处不再赘述。

s63,在确定语音信息对应的指令为人物识别指令时,对当前电视画面进行截图,以获取具有人脸的待识别图片。

具体地,在智能电视接收到服务器返回的人物识别指令时,智能电视对当前电视画面进行截图,以获取具有人脸的待识别图片。

s64,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息。

其中,需要说明的是,对步骤s12的解释说明也适用于步骤s64,此处不赘述。

s65,在电视屏幕中显示人物的相关信息。

在本发明的一个实施例中,为了不影响用户的正常观看,可在电视屏幕的预设区域中显示人物的相关信息。由此,使得用户可在继续观看电视节目的同时,可以查看人物的相关信息,提高了用户的体验度。

其中,预设区域在智能电视上的位置是可以是默认的,还可以用户自己设置的。

例如,智能电视上默认的显示预设区域的位置是在智能电视的右上方显示人物的相关信息,用户可根据需求在智能电视的左下方显示人物的相关信息。

其中,需要说明的是,该实施中的视频中显示人物信息方法在获取人物的相关信息的过程中,无需对播放的电视节目暂停,即不打断用户观看电视节目,用户可以边看边查询,并且在查询的过程中,用户不需要更改设备,即可在智能电视中获取人物的相关信息。

在本发明的一个实施例中,在智能电视上显示人物的相关信息后,还可以根据用户输入的语音播报指令,暂定正在播放的电视节目,并语音播报人物的相关信息。

作为一种示例性的实施方式,在用户不方便查看智能电视中显示的人物的相关信息时,用户还可以通过控制终端向智能电视输入语音播报指令,智能电视根据语音播报指令暂定电视节目的播放,并语音播报人物的相关信息,以及在语音播报结束,继续播放电视节目。

本发明实施例的基于人工智能的视频中显示人物信息方法,接收用户通过控制终端发送的语音信息,并在确定语音信息对应的指令为人物识别指令时,对当前电视画面进行截图,以获取具有人脸的待识别图片,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息,以及在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

为了实现上述实施例,本发明还提出一种基于人工智能的视频中显示人物信息的装置。

图7为根据本发明一个实施例的基于人工智能的视频中显示人物信息的装置的结构示意图。

如图7所示,根据本发明实施例的基于人工智能的视频中显示人物信息的装置,包括:截图处理模块110、第一发送模块120和显示模块130,其中:

截图处理模块110用于根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片。

第一发送模块120用于将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息。

其中,人物的相关信息可以包括人物的基本属性信息,还可以包括与人物相关的其他信息,例如,人物与其他人物之间的关系,以及与该人物相关的热点新闻等信息。

其中,基本属性信息可以包括姓名、性别、概要经历等信息。

显示模块130用于在电视屏幕中显示人物的相关信息。

在本发明的一个实施例中,在图7所示的基础上,如图8所示,截图处理模块110可以包括第一接收单元111、第二发送单元112和第一截图单元113,其中:

第一接收单元111用于接收用户通过控制终端输入的语音信息。

其中,控制终端例如可以是具有语音输入功能的遥控器、智能手机、平板电脑等设备。

其中,需要说明的是,控制终端可通过蓝牙、红外或者wifi等方式与智能电视建立连接。

第二发送单元112用于将语音信息发送至服务器,以使服务器在确定语音信息的指令为人物识别指令时,返回人物识别指令。

第一截图单元113用于接收服务器返回的人物识别指令,对当前电视画面进行截图。

在本发明的一个实施例中,为了提高用户的体验度,在图7所示的基础,如图9所示,该装置还包括播报模块140,其中,播报模块140用于语音播报人物的相关信息。

作为一种示例性的实施方式,在用户不方便查看智能电视中显示的人物的相关信息时,用户还可以通过控制终端向智能电视输入语音播报指令,播报模块140根据语音播报指令暂定电视节目的播放,并语音播报人物的相关信息,以及在语音播报结束,继续播放电视节目。

其中,需要说明的是,图9所示的装置实施例中的播报模块140还可以包含在前述图8的装置实施例中,对此本发明不进行限制。

在本发明的一个实施例中,在图7所示的基础上,如图10所示,截图处理模块110可以包括第二接收单元114、处理单元115和第二截图单元116,其中:

第二接收单元114用于接收用户通过控制终端输入的语音信息。

处理单元115用于对语音信息进行语音识别,并根据语音识别结果确定语音信息对应的指令是否为人物识别指令。

第二截图单元116用于在语音信息对应的指令为人物识别指令时,对当前电视画面进行截图。

在本发明的一个实施例中,为了不影响用户的正常观看,显示模块110具体用于:在电视屏幕的预设区域中显示人物的相关信息。

其中,预设区域在智能电视上的位置是可以是默认的,还可以用户自己设置的。

例如,智能电视上默认的显示预设区域的位置是在智能电视的右上方显示人物的相关信息,用户可根据需求在智能电视的左下方显示人物的相关信息。

其中,需要说明的是,前述对基于人工智能的视频中显示人物信息方法的解释说明也适用于该实施例的基于人工智能的视频中显示人物信息的装置,此处不再赘述。

本发明实施例的基于人工智能的视频中显示人物信息的装置,根据接收的人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片,将待识别图片发送至服务器,以使服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及返回人物的相关信息,以及在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

为了实现上述实施例,本发明还提出一种基于人工智能的视频中显示人物信息的系统。

图11为根据本发明一个实施例的基于人工智能的视频中显示人物信息的系统的结构示意图。

如图11所示,该实施例的基于人工智能的视频中显示人物信息的系统可以包括智能电视端10和服务器20,其中,

智能电视端10用于根据接收的人物识别指令,对当前电视画面进行截图,以获取具有人脸的待识别图片,并将待识别图片发送至服务器20,以及接收服务器20返回的人物的相关信息,并在电视屏幕中显示人物的相关信息。

服务器20用于对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及向智能电视端10返回人物的相关信息。

在本发明的一个实施例中,服务器20具体用于:根据人脸特征模型生成与待识别图片对应的人脸特征信息;将人脸特征信息与预存的人脸图片的人脸特征信息进行匹配,并根据匹配结果确定待识别图片中的人物标签;获取与人物标签对应人物的相关信息。

在本发明的一个实施例中,在图11所示的基础上,如图12所示,该系统还可以包括控制终端30,其中,控制终端30用于接收用户输入的语音信息。

智能电视端10接收用户通过控制终端30输入的语音信息,将语音信息发送至服务器20,以使服务器20在确定语音信息的指令为人物识别指令时,返回人物识别指令,以及接收服务器20返回的人物识别指令,对当前电视画面进行截图。

在本发明的一个实施例中,智能电视端10还用于语音播报人物的相关信息。

在本发明的一个实施例中,智能电视端10还用于接收用户通过控制终端30输入的语音信息,对语音信息进行语音识别,并根据语音识别结果确定语音信息对应的指令是否为人物识别指令,以及在语音信息对应的指令为人物识别指令时,对当前电视画面进行截图。

在本发明的一个实施例中,智能电视端10具体用于电视屏幕的预设区域中显示人物的相关信息。

本发明实施例的基于人工智能的视频中显示人物信息的系统,智能电视端根据接收的人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片,将待识别图片发送至服务器,服务器对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息,以及向智能电视端返回人物的相关信息,智能电视端在电视屏幕中显示人物的相关信息。由此,使得用户无需切换其他设备查看人物的相关信息,在电视屏幕上即可查看人物的相关信息,降低了用户操作的复杂度,提高了用户获取信息的效率,提高了用户的体验度。

图13为根据本发明一个具体实施例的基于人工智能的视频中显示人物信息的系统中控制终端、智能电视端和服务器的交互示意图。

如图13所示,该基于人工智能的视频中显示人物信息的系统交互的过程为:

s131,控制终端30接收用户输入的语音信息。

s132,控制终端30向智能电视端10发送语音信息。

s133,智能电视端10向服务器20发送包含语音信息的语义分析请求。

s134,服务器20对语音信息进行语音识别,并根据语音识别结果确定语音信息对应的指令是否为人物识别指令,若是,则向智能电视端10返回人物识别指令。

s135,智能电视端10根据人物识别指令对当前电视画面进行截图,以获取具有人脸的待识别图片。

s136,智能电视端10将待识别图片发送给服务器20。

s137,服务器20对待识别图片进行人脸识别,并根据人脸识别结果获取待识别图片中人物的相关信息。

s138,服务器20向智能电视端10发送人物的相关信息。

s139,智能电视端20在电视屏幕上显示人物的相关信息。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1