显示装置及其控制方法与流程

本公开涉及一种显示装置及其控制方法，并且更具体地，涉及一种提供关于图像的相关信息的显示装置及其控制方法。

背景技术：

存在下述用户的需求：显示装置被提供有关于在显示装置中所显示的图像的相关信息。例如，正在观看电视机的用户想要在观看电视机的同时知道当在屏幕上显示或播放的产品、地点、歌曲等是什么或者在哪里。已经存在提供相关信息以满足需求的服务。

为了提供相关信息，下述方式已经被图像的创建者或提供者使用：以数据库的形式或以图像中所包括的数据的形式来提供与图像相关的数据。

然而，不能够针对尚未预先建立数据库的图像提供该服务。

技术实现要素：

技术问题

因此，本公开的目的是提供一种即使关于尚未预先建立数据库的图像也提供相关信息的显示装置及其控制方法。

技术方案

根据本公开的实施例，提供了一种显示装置，包括：显示器；信号接收器；用户输入接收器；通信器；以及处理器，该处理器被配置为：处理通过信号接收器接收的图像信号并且控制显示器来显示图像，在显示图像的同时通过用户输入接收器接收到用户输入的情况下，通过通信器向外部装置发送包括图像的至少一部分的图像信息和关于用户输入的用户输入信息，以及控制显示器来显示基于图像信息和用户输入信息的并且从外部装置接收的相关信息。据此，即使关于尚未针对其预先在数据库中建立相关信息的图像，也能够提供相关信息。

处理器可以进一步被配置为向外部装置发送附加信息，该附加信息包括关于用户的个人信息、关于图像的内容的内容信息或关于观看环境的境况(circumstance)信息中的至少一个。据此，能够提供适合用户意图的相关信息。

信号接收器可以进一步接收音频信号，并且图像信息可以包括通过处理音频信号而获得的音频的至少一部分。

显示装置可以进一步包括存储装置，其中，处理器进一步被配置为：在存储装置中存储基于第一用户输入的并且从外部装置接收的第一相关信息；以及在接收到第二用户输入的情况下，控制显示器来显示所存储的第一相关信息。据此，能够以各种方式提供相关信息。

根据本公开的另一个实施例，提供了一种服务器，包括：通信器；以及处理器，该处理器被配置为：从外部装置接收图像信息和用户输入信息，基于用户输入信息来标识图像信息中的搜索对象，以及收集关于该搜索对象的相关信息并且向外部装置发送该相关信息。据此，即使关于针对其尚未预先在数据库中建立相关信息的图像，也能够提供相关信息。

处理器可以进一步被配置为：从用户输入信息中获得关键字，并且标识图像信息中与关键字相对应的搜索对象。

处理器可以进一步被配置为：接收附加信息，该附加信息包括关于用户的个人信息、关于图像的内容的内容信息或关于观看环境的境况信息中的至少一个；以及基于用户输入信息和附加信息来标识图像信息中的搜索对象。处理器可以进一步被配置为基于附加信息来收集关于搜索对象的相关信息。据此，能够提供适合用户意图的相关信息。

处理器可以进一步被配置为，在接收到用于设置自动推荐模式的用户输入的情况下，基于向用户提供相关信息的历史来标识图像信息中的搜索对象。据此，能够基于向用户提供相关信息的历史来自动地提供相关信息。

处理器可以进一步被配置为，在接收到用于请求关于视频的时段的相关信息的用户输入的情况下，标识与该时段相对应的图像信息中的搜索对象。据此，即使利用针对视频的时段的单个用户输入，也能够继续相同类型的相关信息，从而提高了用户便利性。

根据本公开的另一实施例，提供了一种显示装置，包括：显示器；信号接收器；用户输入接收器；以及处理器，该处理器被配置为：处理通过信号接收器接收的图像信号并且控制显示器来显示图像，在显示图像的同时通过用户输入接收器接收到用户输入的情况下，基于用户输入信息来标识包括图像的至少一部分的图像信息中的搜索对象，收集关于搜索对象的相关信息，以及控制显示器来显示相关信息。

根据本公开的另一实施例，提供了一种控制显示装置的方法，该方法包括：接收图像信号；处理接收到的图像信号并且显示图像；在显示图像的同时接收到用户输入的情况下，向外部装置发送包括图像的至少一部分的图像信息和关于用户输入的用户输入信息；以及显示基于图像信息和用户输入信息的并且从外部装置接收的相关信息。

发送可以包括进一步向外部装置发送附加信息，该附加信息包括关于用户的个人信息、关于图像的内容的内容信息或关于观看环境的境况信息中的至少一个。

接收可以包括进一步接收音频信号，并且图像信息可以包括通过处理音频信号而获得的音频的至少一部分。

显示可以包括：存储基于第一用户输入的并且从外部装置接收的第一相关信息，并且在接收到第二用户输入的情况下，显示所存储的第一相关信息。

根据本公开的另一实施例，提供了一种控制服务器的方法，该方法包括：从外部装置接收图像信息和用户输入信息，基于用户输入信息来标识图像信息中的搜索对象；以及收集关于该搜索对象的相关信息并且向外部装置发送该相关信息。

标识可以包括：从用户输入信息获得关键字，以及标识图像信息中与关键字相对应的搜索对象。

接收可以包括进一步接收附加信息，该附加信息包括关于用户的个人信息、关于图像的内容的内容信息或者关于观看环境的境况信息中的至少一个；并且标识可以包括基于用户输入信息和附加信息来标识图像信息中的搜索对象。替选地，接收可以包括进一步接收附加信息，而发送可以包括基于附加信息来收集关于搜索对象的相关信息并且向外部装置发送相关信息。

根据本公开的另一实施例，提供了一种控制显示装置的方法，该方法包括：接收图像信号；处理图像信号并且显示图像；在显示图像的同时接收到用户输入的情况下，基于用户输入信息来标识图像信息中的搜索对象；收集关于搜索对象的相关信息；以及显示相关信息。

据此，即使关于针对其尚未预先在数据库中建立相关信息的图像，也能够提供相关信息。

根据本公开的另一实施例，提供一种存储在计算机可读记录介质中的计算机程序，该计算机程序包括用于运行控制显示装置的方法的指令。

计算机程序可以存储在提供在服务器中的介质中，并且可以通过网络在显示装置中下载。

有利效果

如上所述，根据本公开，能够提供一种即使关于尚未预先建立数据库的图像也提供相关信息的显示装置及其控制方法。

此外，根据本公开，能够提供一种提供与用户的意图适当地相对应的相关信息的显示装置及其控制方法。

附图说明

图1是根据本公开的实施例的显示装置和服务器的系统。

图2示出根据本公开的实施例的显示装置和服务器的配置。

图3示出根据本公开的实施例的显示装置的控制方法。

图4示出根据本公开的实施例的服务器的控制方法。

图5示出根据本公开的第一实施例的显示装置和服务器的操作的示例。

图6示出根据本公开的第二实施例的显示装置和服务器的操作的示例。

图7示出根据本公开的第三实施例的显示装置和服务器的操作的示例。

图8示出根据本公开的第四实施例的显示装置和服务器的操作的示例。

图9示出根据本公开的第五实施例的显示装置和服务器的操作的示例。

图10示出根据本公开的第六实施例的显示装置和服务器的操作的示例。

图11示出根据本公开的第七实施例的显示装置和服务器的操作的示例。

具体实施方式

以下，将参考附图详细地描述用于实现前述目的的本公开的实施例。然而，以下示例性实施例中示出的配置和功能不解释为限制本发明构思以及关键配置和功能。在以下描述中，如果确定公知的功能或特征模糊了本发明构思的要旨，则将省略关于公知的功能或特征的细节。

在以下示例性实施例中，术语“第一”、“第二”等仅用于将一个元件与另一个元件区分开，并且单数形式旨在包括复数形式，除非上下文中另外地提及。在以下示例性实施例中，将理解，术语“包括”、“包含”、“具有”等不排除一个或多个其他特征、数字、步骤、操作、元件、组件或其组合的存在或添加。另外，“模块”或“部分”可以执行至少一个功能或操作，可以通过硬件、软件或硬件和软件的组合来实现，以及可以由集成到至少一个模块中的至少一个处理器来实现。

图1示出了根据本公开的实施例的显示装置100和外部装置200的系统。显示装置100被实施为例如电视机(tv)。另外，显示装置100被实施为设备，即，智能电话、平板型pc、移动电话、诸如智能手表或头戴式显示器的可穿戴设备、计算机、多媒体播放器、电子相框、数字广告板、大幅面显示器(lfd)、数字标牌、机顶盒、冰箱等。然而，根据本公开的示例性实施例的显示装置100不限于那些设备。

外部装置200被实施为例如服务器。然而，外部装置200不限于此。外部装置200可以是能够从显示装置100接收信息、处理该信息以及将经处理的信息发送到显示装置100的任何设备，而无论其名称或形式如何。下面，将描述外部装置是服务器200的示例。

参考图1被认为以一般性地描述显示装置100和服务器200的操作，其中，显示装置100：1)显示图像，2)当接收到用户输入时，以及3)将图像信息和用户输入信息发送到服务器200。当从显示装置100接收到图像信息和用户输入信息时，服务器200：4)标识搜索对象，5)收集关于搜索对象的相关信息，以及6)将收集的相关信息发送到显示装置100。显示装置100显示从服务器200接收到的相关信息。下面将参考附图详细地描述每个操作。

图2示出根据本公开的实施例的显示装置100和服务器200的配置。显示装置100包括信号接收器101、用户输入接收器102、处理器103和显示器104。然而，图2所示的显示装置100的配置仅是示例，并且可以被实施为另外的配置。即，根据本公开的实施例的显示装置可以被实施为：图2所示的配置被添加有附加配置，或者从该配置排除一部分的配置。

信号接收器101接收图像信号。由信号接收器101接收的图像信号可以是有线信号或无线信号，并且可以是数字信号或模拟信号。信号接收器101可以接收广播信号。广播信号可以是地面信号、有线(cable)信号、卫星信号或网络信号。此外，信号接收器101可以包括用于无线通信的wi-fi通信模块、用于有线连接的以太网模块、用于与usb存储器连接的usb端口等。

信号接收器101可以根据处理器103的控制来接收多个频道中的一个的广播信号。在广播信号中承载由广播站提供的广播内容。广播内容包括各种广播节目，例如，戏剧、电影、新闻、体育、音乐、vod等，而不受限制。

用户输入接收器102接收用户输入并且将用户输入发送到处理器103。用户输入接收器102可以根据用户输入的类型而实施为各种形式。例如，用户输入接收器102可以被实施为：从遥控器接收用户输入的遥控信号的遥控信号接收器、安装在显示装置100的外侧上的菜单按钮、在显示器上提供的并且接收用户触摸输入的触摸屏、检测用户手势输入的相机、识别用户语音输入的麦克风、检测用户按键输入的键盘等。

处理器103可以处理由信号接收器101接收的图像信号。例如，当图像信号是广播信号时，处理器103通过执行与接收到的广播信号的标准相对应的处理来获得广播信号的数据。

由处理器103执行的处理的种类不受限制。由处理器103执行的处理可以包括，例如，用于将输入流划分为图像和声音的子流的解复用、与流的图像格式相对应的解码、用于将隔行的流改变为逐行的流的解交织、用于将流调整为具有预定分辨率的缩放、用于图像质量增强的噪声降低、细节增强、帧刷新率转换等。

处理器103可以根据通过用户输入接收器102接收的用户输入来执行处理。

处理器103能够执行控制操作以允许显示装置100的整体配置进行操作。处理器103可以包括：允许执行控制操作的控制程序(或指令)、其中安装有控制程序的非易失性存储器、其中加载安装的控制程序以执行加载的控制程序的易失性存储器。处理器103可以被实施为中央处理单元。控制程序可以存储在除了显示装置100之外的电子设备中。

控制程序可以包括基本输入/输出系统(bios)、设备驱动、操作系统、固件、平台、应用程序等。在本公开的示例性实施例中，应用程序可以在制造阶段被预先安装并且存储在显示装置100中，或者可以在用户使用显示装置100时通过从外部设备接收应用程序的数据而被安装在显示装置100中。例如，可以从诸如应用市场的外部服务器下载应用程序的数据，但不限于此。同时，处理器103可以以设备、软件模块、电路、芯片等方式实施。

处理器103可以控制用户输入接收器102以接收用户输入。处理器103可以处理图像信号并且控制显示器104以输出经处理的图像。尽管图2中示出的显示装置100被实施为单个处理器103执行处理和控制操作，但是这仅仅是本公开的示例性实施例，并且显示装置100可以被实施为进一步包括除了处理器103之外的附加处理器或控制器。

显示器104显示由处理器103处理的图像。显示器104的类型不受限制，而是实施为各种显示类型，诸如液晶、等离子体、发光二极管、有机发光二极管(oled)、表面传导电子发射器，碳纳米管、纳米晶体等。液晶类型的显示器104可以包括液晶显示面板、用于向液晶显示面板提供光的背光单元、用于驱动液晶显示面板的面板驱动器。不具有背光单元的显示器104可以包括作为自发光设备的oled面板。

根据本公开的实施例的显示装置100可以进一步包括通信器105或存储装置。

通信器105可以与例如服务器200的外部装置通信。通信器105可以以有线或无线方式通信。因此，通信器105可以被实施为各种通信类型以及用于有线连接的连接器或端子。例如，通信器105可以被配置为基于wi-fi、蓝牙、紫蜂(zigbee)、超宽带(uwb)、无线usb、近场通信(nfc)等中的至少一个进行通信。通信器105可以包括通信模块，诸如，蓝牙低功耗(ble)、串行端口配置文件(spp)、wi-fi直连(wi-fidirect)、红外通信、紫蜂(zigbee)、近场通信(nfc)等。通信器105可以以设备、软件模块、电路、芯片等方式实施。

存储装置可以根据处理器103的处理和控制来存储数据。处理器103可以访问存储装置以对数据执行读取、写入、改变、删除、更新等。存储装置可以包括诸如闪速存储器、硬盘驱动器、固态驱动器等的非易失性存储器，以保留数据，而无论对于显示装置100的系统电力供给如何。另外，存储装置可以包括诸如缓冲器、ram等的易失性存储器，以临时地加载由处理器103处理的数据。

根据本公开的实施例的服务器200包括处理器201和通信器202。然而，图2所示的服务器200的配置是示例，并且可以被实施为另外的配置。即，根据本公开的实施例的服务器200可以被实施为图2所示的配置被添加有附加配置，或者从该配置排除一部分的配置。由于类似的适用显示装置100中的处理器103和通信器105的描述，因此将不描述处理器201和通信器202。

图3示出根据本公开的实施例的显示装置100的控制方法。

根据本公开的实施例的显示装置100的处理器103处理通过信号接收器101接收的图像信号，并且在显示器104上显示图像(s301)。

处理器103在处理和显示图像的同时标识是否通过用户输入接收器102接收到用户输入(s302)。用户输入包括用于请求被提供关于图像的相关信息的用户输入。这里，关于图像的相关信息是与图像直接地或间接地相关的任何信息，其中，可以基于图像来收集信息，但不限于此。例如，关于图像的相关信息可以是，诸如，出现在具有该图像的内容中的人、对象或产品，该产品的广告，背景音乐，拍摄位置，图像中的地点等。因此，当用户正在观看显示装置100上的戏剧时，用于请求提供关于图像的相关信息的用户输入可以是作为话语的用户语音输入，例如，戏剧的主角是谁，主角穿着的是什么衣服，现在播放的是什么音乐，拍摄位置是哪里等。然而，用于请求相关信息的用户输入不限于上述。另外，用户输入的类型不限于语音输入。例如，用户输入可以被输入为触摸输入、遥控输入、手势输入等。

当接收到用户输入时，处理器103通过通信器105向外部装置(例如，服务器200)发送包括图像的至少一部分的图像信息和关于用户输入的用户输入信息(s303)。这里，图像信息指代关于图像本身的信息，并且图像信息的类型和形式不受限制。例如，图像信息是关于由信号接收器101接收的图像信号或者是由处理器103处理的图像信号。图像信息中包括的图像的范围也不受限制。例如，如果图像是视频，则图像信息可以是视频的帧、帧的区域或全部视频。

用户输入信息是关于用户输入本身的信息，并且用户输入信息的类型或格式也不受限制。例如，如果用户输入是语音输入，则用户输入信息可以是语音信号；而如果用户输入是触摸输入，则用户输入信息可以是触摸输入的坐标。用户输入信息的范围也不受限制。例如，如果用户输入是语音输入，则用户输入信息可以是全部语音输入或仅语音输入的一部分。

当图像信息和用户输入信息被发送到外部装置200时，外部装置基于图像信息和用户输入信息来收集和发送相关信息，并且处理器103显示接收到的相关信息(s304)。

据此，因为发送了图像信息和用户输入信息并且显示了由外部装置发送的相关信息，所以即使关于尚未预先建立数据库的图像，显示装置100也可以提供相关信息。

图4示出根据本公开的实施例的服务器200的控制方法。

服务器200的处理器201从显示装置100接收图像信息和用户输入信息(s401)。处理器201基于用户输入信息来标识图像信息中的搜索对象(s402)。这里，搜索对象指代用户已经请求为其提供相关信息的并且是收集相关信息的基础的对象。搜索对象可以是存在于图像中的或者尽管未存在于图像中但是与图像有关的对象。例如，搜索对象可以是出现在具有图像的内容中的人或与图像一起播放的音频。

处理器201收集关于搜索对象的相关信息(s403)。这里，关于搜索对象的相关信息是与搜索对象直接地或间接地有关的任何信息，其中，可以基于搜索对象来收集信息，但不限于此。例如，如果搜索对象是图像中的地点，则关于该地点的相关信息可以包括关于该地点本身的信息、氛围类似于该地点的推荐旅行景点、该旅行景点的著名餐厅等。

处理器201将收集的相关信息发送到外部装置，例如显示装置100(s404)。

据此，因为服务器200基于接收到的用户输入信息来标识接收到的图像信息中的搜索对象，收集关于搜索对象的相关信息并且将该相关信息发送到显示装置100，所以即使关于针对其尚未预先在数据库中建立关于图像的相关信息的图像，也能够向用户提供相关信息。

参考图5，将详细地描述显示装置100和服务器200的操作。

图5示出当用户正在观看电视机上的实况广播时对相关信息的请求。例如，如果用户正在观看电视机上的戏剧(501)，则作为电视机的显示装置100的处理器103处理通过信号接收器101接收的图像信号，并且将图像显示在显示器104上。这里，如果观看戏剧的用户对于戏剧中女主角穿着的连衣裙好奇，则用户可以向电视机说出语音输入，例如，“连衣裙的品牌是什么？”(502)。因为处理器103在处理和显示图像的同时监视是否通过用户输入接收器102接收到用户输入，所以处理器103可以标识用户的话语。

当在显示图像的同时接收到用户输入时，处理器103将包括图像的至少一部分的图像信息和关于用户输入的用户输入信息发送到服务器200。图5示出向服务器200发送捕获的屏幕503的示例，其中，捕获的屏幕是捕获当说出用户语音输入时所显示的图像。图5示出将用户语音输入作为用户输入信息发送到服务器200的示例。然而，图像信息和用户输入信息不受限制。

当从显示装置100接收到捕获的屏幕503和用户语音输入504时，服务器200的处理器201基于用户输入信息来标识图像信息中的搜索对象。作为基于用户输入信息来标识图像信息中的搜索对象的示例，处理器201从用户输入信息中获得关键字，并且标识图像信息中与关键字相对应的搜索对象。例如，处理器201可以从语音输入“连衣裙的品牌是什么？”中获得关键字“连衣裙”。通过识别语音输入来标识关键字可以通过使用基于下述的语音识别来实施：例如，动态时间规整(dtw)、隐马尔可夫模型(hmm)、基于规则的方法、深度神经网络(dnn)的深度学习等。

当从用户输入信息获得关键字“连衣裙”时，处理器201将搜索对象标识为在捕获的屏幕503中被识别为连衣裙的对象。通过识别与用户输入信息或图像信息中的关键字相对应的对象来标识搜索对象，可以通过使用下述实施：例如，支持向量机(svm)算法的机器学习、卷积神经网络(cnn)的深度学习等。然而，实施方式不限于此，而是可以使用各种图像/对象识别技术。参考图5，因为捕获的屏幕503中的与连衣裙相对应的对象是右起第二个女主角穿着的黑色连衣裙，所以处理器201可以将黑色连衣裙标识为搜索对象。

当标识搜索对象时，处理器201收集关于搜索对象的相关信息。因为图5中的搜索对象是右起第二个女主角穿着的黑色连衣裙，所以关于搜索对象的相关信息可以包括颜色和样式与该连衣裙相同或相似的连衣裙产品的列表。搜索具有与对应于搜索对象的图像相同或相似的图像的相关信息可以通过使用例如基于特征向量聚类的高速相似向量搜索来实施。然而，实施方式不受限制。收集关于搜索对象的相关信息的信息源也不受限制。即，处理器201可以从诸如因特网的公共网络或预先建立的数据库收集相关信息。

如果已经找到的相关信息的量很大，则处理器201可以允许用户选择所找到的相关信息的推荐部分。该选择可以随机进行或以定义的方式进行。在后者的情况下，可以使用诸如用户的个人信息、搜索历史等的参考。

当如上所述地收集到相关信息时，服务器200的处理器201将相关信息发送到显示装置100。

当从服务器200接收到相关信息时，显示装置100的处理器103在显示器104上显示相关信息。处理器103可以在接收到相关信息时在显示器104上显示相关信息507；或者如图5所示，在显示已经接收到相关信息的通知505并且然后接收到用于请求显示相关信息的附加用户输入之后，在显示器104上显示相关信息507。已经接收到相关信息的通知可以是显示装置100的音频输出或附加扬声器的音频输出506的形式。

根据本公开的实施例，响应于用于请求关于图像的相关信息的用户请求，能够考虑到用户的意图来提供关于图像的相关信息，即使关于针对其尚未预先在数据库中建立相关信息的图像，也能够提供相关信息。

图6示出了根据本公开的第二实施例的显示装置100和服务器200的操作的示例。

显示装置100可以进一步向服务器200发送附加信息以及图像信息和用户输入信息。这里，附加信息可以包括关于用户的个人信息、关于图像的内容的内容信息、关于观看环境的境况信息等。关于用户的个人信息是用于标识用户或用户的偏好的关于各个用户的信息，例如，用户的年龄、性别、地址、兴趣、品味等。关于图像的内容的内容信息可以包括内容的标题、类型或种类、流派、广播方、广播时间等。关于观看环境的境况信息是与图像的观看状况或环境有关的综合信息(而不是关于内容本身的信息)，例如，观看时间、观看时的环境光、环境噪声、观看图像的用户数量等。

将参考图6详细地描述使用附加信息的示例。当用户在观看电视机上的戏剧601的同时说出语音输入“那是什么衣服？”时(602)，处理器103在处理和显示图像的同时通过用户输入接收器102接收到用户输入时，标识用户的话语。

当标识用户输入时，处理器103将附加信息605与包括图像的至少一部分的图像信息603和关于用户输入的用户输入信息604一起发送到服务器200。图6示出了发送“二十多岁”、“女性”和“偏好黑色”的信息作为关于用户的附加信息605的示例。

服务器200可以使用附加信息605来标识搜索对象。即，服务器200的处理器201可以基于用户输入信息和附加信息来标识图像信息中的搜索对象。例如，假设处理器201从语音输入“那是什么衣服？”获得关键字“衣服”作为用户输入信息，以基于该关键字在作为图像信息的捕获的屏幕603中标识搜索对象，则对于处理器201可能难以标识用户意图知道的衣服是什么或哪件衣服将成为搜索对象，因为在捕获的屏幕603中存在着四个人穿着的衣服。这里，处理器201可以通过参考附加信息“二十多岁”、“女性”和“偏好黑色”以及从用户输入信息获得的关键字“衣服”，来标识图像信息中的衣服当中、右起第二个女主角穿着的黑色连衣裙(606)。

服务器200还可以使用附加信息605来收集关于搜索对象的相关信息。例如，如果搜索对象标识为捕获的屏幕603中右起第二个女主角穿着的黑色连衣裙，则不同于在图5的示例中被立即地搜索的相关信息，在图6的示例中能够进一步考虑附加信息来搜索相关信息。例如，在搜索颜色和样式与该连衣裙相同或相似的连衣裙产品时，可以参考用户一直穿着的连衣裙或用户搜索连衣裙的历史来进一步考虑用户的偏好，以仅搜索适合当前季节的连衣裙，或搜索广告中女主角穿着的另一件衣服。然而，进一步考虑附加信息来搜索相关信息不限于该示例。

可以应用图5中描述的描述以将如上收集的相关信息发送到显示装置100以显示相关信息。

据此，能够提供适合用户意图的相关信息。

图7示出根据本公开的第三实施例的显示装置100和服务器200的操作的示例。如上所述，除了图像的捕获的屏幕之外，根据实施例的图像信息可以是通过处理音频信号而获得的音频的至少一部分，或者包括音频信息。

如图7所示，如果用户在观看电视机上的戏剧701的同时说出“这是什么歌曲？”的语音输入(702)，则处理器103可以标识用户的话语，因为处理器103在处理和显示图像的同时监视是否通过用户输入接收器102接收到用户输入。

这里，不同于图5和图6的实施例，处理器103标识用户的语音输入是关于歌曲的，并且作为图像信息向服务器200发送包括在接收到语音输入时播放的音频的一部分的音频信息703。替选地，处理器103可以将音频信息703与如图5和图6中所述的捕获的屏幕一起发送到服务器200。

然后，服务器200的处理器201可以通过基于用户输入信息将音频信息703确定为搜索对象来标识哪首歌曲与音频信息703相对应，基于此来搜索相关信息，并且收集包括下述信息的相关信息：例如，该歌曲包含在哪张专辑中(704)、歌曲被提名在哪个音乐排行榜上(705)等。

图8示出根据本公开的第四实施例的显示装置100和服务器200的操作的示例。该实施例是关于用户请求的示例，该用户请求针对关于图像的背景地点的信息。

与图5至图7的实施例相比，该实施例的不同之处在于用户输入信息是关于地点(801)以及所收集的相关信息可以包括关于下述的信息：该地点在哪里(802)、具有与该地点相似的风景或地理特征的旅行景点在哪里(803)等。然而，另外地，先前实施例的描述可以一般地应用于该实施例。

同时，尽管先前的实施例已经描述标识用于请求相关信息的用户输入的时间与显示和提供相关信息的时间接近，但是本公开的实施例不受限制。即，可以在任何时间标识是否接收到用于请求相关信息的用户输入，而无论显示和提供相关信息的时间如何，其中，可以接收多个请求来一次性地显示关于每个请求所收集的相关信息。将参考图9描述后者的示例。图9示出根据本公开的第五实施例的显示装置100和服务器200的操作的示例。

根据本公开的实施例的显示装置100还可以包括存储装置，其中，处理器103可以在存储装置中存储基于第一用户输入从外部装置接收的第一相关信息，并且当收到第二用户输入时显示所存储的第一相关信息。

例如，如果用户观看电视机上的戏剧的同时，在时间t1说出“女主角是谁？”的语音输入(901)，则处理器103将图像信息和用户输入信息发送到服务器200以标识搜索对象并且收集相关信息，以及接收相关信息。这里，因为显示装置100还包括存储装置，所以能够在显示相关信息之前将接收到的相关信息存储在存储装置中。

当用户在时间t2说出“这是什么歌曲？”的语音输入(902)以及然后在时间t3说出“那是哪里？”的语音输入(903)时，可以类似地应用上述描述。

然后，如果用户在时间t4说出“向我示出找到的信息”的语音输入，则处理器103可以显示到该时间已经存储的相关信息。然而，用于请求显示相关信息的用户语音输入的词语不受限制。

据此，能够区别标识用于请求相关信息的用户输入的时间与显示和提供所收集的相关信息的时间，其中，更进一步地，因为可以接收多个请求以一次性地显示关于每个请求所收集的相关信息，所以能够以更多种方式提供相关信息。

图10示出根据本公开的第六实施例的显示装置100和服务器200的操作的示例。根据本公开的实施例，能够基于向用户提供相关信息的历史而无需针对相关信息的用户请求来提供关于图像的相关信息。

该实施例是关于所谓的自动推荐模式的，其可以通过接收用于设置该模式的用户输入开始。然而，该模式的开始不受限制，而是可以被设置为默认。

当接收到用于设置自动推荐模式的用户输入时(s1001)，处理器103将用户输入发送到服务器200(s1002)，并且然后在显示图像的同时将图像信息连续地发送到服务器200(s1003)。同时，当接收到用于设置自动推荐模式的用户输入时(s1011)，服务器200的处理器201基于向用户提供相关信息的历史来标识图像信息中的搜索对象(s1012)。当标识出搜索对象时，服务器200的处理器201收集关于搜索对象的相关信息，并且将相关信息发送到显示装置100(s1013)。当从服务器200接收到相关信息时，显示装置100的处理器103显示接收到相关信息的通知(s1004)。据此，用户能够知道自动地收集了相关信息。当接收到用于请求显示相关信息的用户输入时，处理器103显示接收到的相关信息。然而，相关信息的通知和显示不受限制，而是可以被设置为，例如，在自动推荐模式下立即地显示相关信息而不提供通知。

据此，尽管用户没有进行输入以请求相关信息，但是能够基于向用户提供相关信息的历史来自动地提供相关信息。

图11示出根据本公开的第七实施例的显示装置100和服务器200的操作的示例。根据实施例，即使接收到对于视频的时段的单个用户输入，也能够继续相同类型的相关信息。

当接收到用于请求输入关于视频的时段的相关信息的用户输入时(s1101)，处理器103将用户输入发送到服务器200(s1102)，并且然后在显示图像的同时将关于视频的时段的图像信息连续地发送到服务器200(s1103)。这里，用于请求关于视频的时段的相关信息的用户输入包括指定时段的用户输入以及针对相关信息的请求，诸如，“让我知道在现在观看的戏剧中是否展示了漂亮的连衣裙。”

当用户输入请求关于视频的时段的相关信息时(s1111)，服务器200的处理器201在该时段的图像信息中标识搜索对象(s1112)。当标识出搜索对象时，服务器200的处理器201收集关于搜索对象的相关信息，并且将相关信息发送到显示装置100(s1113)。当从服务器200接收到相关信息时，显示装置100的处理器103显示接收到相关信息的通知(s1104)。据此，用户能够知道自动收集了相关信息。当接收到请求显示相关信息的用户输入时，处理器103显示接收到的相关信息。然而，相关信息的通知和显示不受限制，而是可以被设置为，例如，立即地显示相关信息而不提供通知。

据此，即使利用针对视频的时段的单个用户输入，也能够继续相同类型的相关信息，从而提高了用户便利性。

图12示出根据本公开的第八实施例的显示装置100和服务器200的操作的示例。在自动推荐模式的实施例中，已经参考图10描述了在没有用户输入的情况下提供相关信息的示例。然而，在该实施例中，基于向用户提供相关信息的历史来提供相关信息。

然而，以自动推荐模式提供相关信息不限于基于向用户提供相关信息的历史进行提供。可能以各种方式在没有用户输入的情况下提供相关信息。

在图12所示的实施例中，尽管没有接收到用户输入，但是可能通过分析图像并且标识搜索对象来提供相关信息。

根据实施例，显示装置100的处理器103在处理接收到的图像信号并且显示图像的同时，将图像信息连续地发送到服务器200(s1201)。例如，处理器103可以以规则的间隔将图像信息发送到服务器200。替选地，处理器103可以使用场景检测来标识图像信号的每个场景，并且针对每个场景将图像信息发送到服务器200。然而，到服务器200的图像信息的连续发送不受限制。

同时，当从显示装置100接收到图像信息时，服务器200基于对图像信息进行分析的结果来标识图像信息中的搜索对象(s1202)，收集关于搜索对象的相关信息并且将相关信息发送到显示装置100(s1203)。这里，因为不存在用于指定搜索对象的用户输入信息，所以服务器200的处理器201可以将从图像信息中可识别出的对象标识为搜索对象，并且提供关于对象的相关信息。例如，处理器201可以识别图像中的人物、对象、产品、背景、地点、与图像一起播放的音乐等以标识搜索对象，并且将关于下述的相关信息发送到显示装置100：例如，主角人物简介(profile)、产品信息、拍摄位置信息、相关旅行信息、背景音乐信息等。如果存在要发送的很多种类的相关信息，则服务器200的处理器201可以按照种类对相关信息进行分类和/或排名。这里，可以由显示装置100的处理器103来执行相关信息的分类和/或排名。

当从服务器200接收到相关信息时，显示装置100的处理器103显示接收到的相关信息(s1205)。在显示接收到的相关信息时，处理器103可以在显示接收到相关信息的通知之后根据用户输入来显示相关信息，如图10和图11中所描述地。替选地，如图12所示，处理器103可以标识图像的显示是否完成(s1204)，并且如果完成，则显示接收到的相关信息(s1205)。同时，在显示接收到的相关信息时，处理器103可以显示所有接收到的相关信息或基于用户的个人信息选择性地显示接收到的相关信息的一部分。

据此，尽管用户没有进行输入以请求相关信息，但是能够自动地提供相关信息。

同时，关于显示装置100的处理器103与服务器200的处理器201之间的处理，显示装置100的处理器103可以执行服务器200的处理器201的处理的一部分。例如，显示装置100的处理器103可以执行：从用户输入信息获得关键字，或者基于用户输入信息来标识图像信息中的搜索对象。此外，显示装置100的处理器103可以执行服务器200的处理器201的所有处理。在这种情况下，可以省略从显示装置100向服务器200发送图像信息和用户输入信息，或者可以从显示装置100省略通信器，因为显示装置100不需要从服务器200接收相关信息。