显示装置及其控制方法与流程

本公开一般涉及显示装置及其控制方法，并且例如，涉及用于接收内容图像的显示装置及其控制方法。

背景技术：

扩展视频是指通过将多个镜头拍摄的图像拼接在一起而获得的图像。作为扩展视频的示例，存在一种360度图像。在这种情况下，使用两个或多个镜头在360度的所有方向上拍摄图像，且没有任何不连续性。这样的360度图像允许用户通过虚拟现实(virtualreality，vr)设备等来观看图像的所有左、右、上、下、前和后区域。

随着成像技术的最近发展，扩展视频已经逐渐普及，但是为了向用户提供高质量的图像，需要比一般图像高得多的带宽。然而，由于用户的观看设备在网络状态中变化，因此很难连续地提供高质量的扩展视频。

此外，即使扩展视频具有有限的网络带宽，用户也希望观看生动且逼真的扩展视频。

技术实现要素：

技术问题

由于用户的观看设备在网络状态中变化，因此很难连续地提供高质量的扩展视频。

此外，即使扩展视频具有有限的网络带宽，用户也希望观看生动且逼真的扩展视频。

技术方案

因此，一个或多个示例实施例的一个方面可以提供一种用于向正在观看扩展视频的用户连续地提供高质量的扩展视频的显示装置，及其控制方法。

此外，一个或多个示例实施例的另一方面可以提供一种用于向正在受限的网络状态内观看扩展视频的用户提供生动且逼真的扩展视频的显示装置，及其控制方法。

根据示例实施例，提供了一种显示装置，该显示装置包括：通信器，其包括通信电路，该通信电路被配置为与能够提供被划分成片段并具有多个分辨率的内容的服务器进行通信；视频处理器，被配置为对内容执行视频处理；显示器，被配置为显示处理的内容的图像；和控制器，被配置为控制显示装置从服务器接收具有第一分辨率的内容片段，基于所接收的片段在显示器上显示立体图像的区域，将关于在立体图像内更有可能显示的区域的信息发送到服务器，从服务器接收与该更有可能显示的区域相对应的、并且具有高于第一分辨率的第二分辨率的片段，以及基于所接收的具有第二分辨率的片段显示立体图像。

根据示例实施例，当用户观看扩展视频(例如，360度图像)时，可以连续地向用户提供高质量的扩展视频。

信息可以包括关于用户的当前视线的信息、关于根据时隙在用户的视线中的移动的信息以及关于用户的姿势和声音的信息中的至少一种。

服务器可以基于从显示装置接收的信息、涉及内容的内容制作信息和广告信息中的至少一种来确定在立体图像内更有可能显示的区域。因此，通过考虑用于预测用户的视线的移动的多条信息，可以使得扩展视频的更有可能在屏幕上显示的区域被以高分辨率流式传输。

控制器可以控制显示装置向服务器发送关于显示装置的网络状态的信息，并且可以基于网络状态确定从服务器接收的片段的图像的最高分辨率。因此，通过考虑用户的观看设备的网络状态，可以以最优的和/或改善的分辨率流式传输扩展视频。

控制器可以从服务器接收片段，该片段不与更有可能显示的区域相对应，并且被处理为具有低于第一分辨率低的第三分辨率。因此，随着用户的视线移动，扩展视频的更有可能在屏幕上显示的部分被处理以具有高于其他部分的分辨率，因此，即使在受限的网络状态中也可以提供具有更高质量的图像。

控制器可以控制视频处理器将从服务器接收的与更有可能显示的区域相对应的第一片段和不与更有可能显示的区域相对应的第二片段拼接在一起。因此，所接收的具有不同分辨率的片段可以被拼接在一起并被再现为一帧。

控制器可以控制显示装置从服务器优先接收与更有可能显示的区域相对应的第一片段，并且接收不与更有可能显示的区域相对应的第二片段。因此，扩展视频的更有可能在屏幕上显示的部分被优先流式传输，然后更小可能在屏幕上显示的部分被流式传输，从而即使在受限的网络状态中也提供具有更高质量的图像。

控制器可以控制显示装置周期性地向服务器发送关于更有可能显示的区域的信息。因此，用于预测用户的视线中的移动的最新信息被反映在流式传输扩展视频的更有可能在屏幕上显示的部分中。

如果用户的当前视线被保持预定时间段或更长时间，则控制器可以控制显示装置向服务器发送关于用户的当前视线的信息。因此，其中用户的当前视线保持预定时间段或更长时间的状态被反映为在确定扩展视频的更有可能显示在屏幕上的部分中的有意义的信息。

服务器可以存储从内容中划分的并且根据多个分辨率处理后的片段。因此，可以流式传输先前存储的具有高分辨率的、与扩展视频的更有可能在屏幕上显示的区域相对应的片段。

根据示例实施例，提供了一种控制显示装置的方法，该方法包括：与能够提供被划分成片段并具有多个分辨率的内容的服务器进行通信；从服务器接收具有第一分辨率的内容的片段，并基于所接收的片段在显示器上显示立体图像的区域；将关于在立体图像内更有可能显示的区域的信息发送到服务器；从服务器接收与更可能显示的区域相对应的并且具有高于第一分辨率的第二分辨率的片段；以及基于所接收的具有第二分辨率的片段来显示立体图像。

根据示例实施例，当用户观看扩展视频(例如，360度图像)时，可以连续地向用户提供高质量的扩展视频。

信息可以包括关于用户的当前视线的信息、关于根据时隙在用户的视线中的移动的信息以及关于用户的姿势和声音的信息中的至少一种。

服务器可以基于从显示装置接收的信息、涉及内容的内容制作信息和广告信息中的至少一种来确定在立体图像内更有可能显示的区域。因此，通过考虑用于预测用户的视线的移动的多条信息，可以使得扩展视频的更有可能在屏幕上显示的区域被以高分辨率流式传输。

该方法还可以包括：向服务器发送关于显示装置的网络状态的信息；以及基于网络状态确定从服务器接收的片段的图像的最高分辨率。因此，通过考虑用户的观看设备的网络状态，可以以最优的和/或改善的分辨率流式传输扩展视频。

该方法还可以包括：从服务器接收不与更有可能显示的区域相对应的、并且被处理以具有低于第一分辨率的第三分辨率的片段。因此，随着用户的视线移动，扩展视频的更有可能在屏幕上显示的部分被处理以具有高于其他部分的分辨率，因此，即使在受限的网络状态中也可以提供具有更高质量的图像。

该方法还可以包括：将从服务器接收的与更有可能显示的区域相对应的第一片段和不与更有可能显示的区域相对应的第二片段拼接在一起。因此，所接收的具有不同分辨率的片段被拼接在一起并被再现为一帧。

该方法还可以包括：从服务器优先接收与更有可能显示的区域相对应的第一片段，然后接收不与更有可能显示的区域相对应的第二片段。因此，扩展视频的更有可能在屏幕上显示的部分被优先流式传输，然后更小可能在屏幕上显示的部分被流式传输，从而即使在受限的网络状态中也提供具有更高质量的图像。

该方法还可以包括周期性地向服务器发送关于更有可能显示的区域的信息。因此，用于预测用户的视线中的移动的最新信息被反映在流式传输扩展视频的更有可能在屏幕上显示的部分中。

该方法还可以包括如果用户的当前视线被保持预定时间段或更长时间，则向服务器发送关于用户的当前视线的信息。因此，其中用户的当前视线被保持预定时间段或更长时间的状态被反映为在确定扩展视频的更有可能在屏幕上显示的部分中的有意义的信息。

该方法还可以包括，服务器可以存储从内容中划分的并且根据多个分辨率处理后的片段。因此，可以流式传输先前存储的具有高分辨率的、与扩展视频的更有可能在屏幕上显示的区域相对应的片段。

有益效果

因此，一个或多个示例实施例的一个方面可以提供一种用于向正在观看扩展视频的用户连续地提供高质量的扩展视频的显示装置，及其控制方法。

此外，一个或多个示例实施例的另一方面可以提供一种用于向正在受限的网络状态中观看扩展视频的用户提供生动且逼真的扩展视频的显示装置，及其控制方法。

附图说明

结合附图，从下面的详细描述中，本公开的以上和/或其他方面、特征和伴随的优点将变得显而易见和更容易理解，其中相同的附图标记指代相同的元素，并且其中：

图1是示出根据示例实施例的示例显示装置的框图；

图2是示出根据示例实施例的要提供给用户的虚拟界面的示例的图；

图3是示出根据示例实施例的创建扩展视频的方法的示例的图；

图4是示出根据示例实施例的随着用户的视线移动，在屏幕上显示的扩展视频的示例的图；

图5是示出根据示例实施例的将扩展视频从服务器流式传输到显示装置的示例的图；

图6是示出根据示例实施例的用于将扩展视频从服务器流式传输到显示装置的示例元件的框图；和

图7是示出根据示例实施例的控制显示装置的示例方法的流程图。

具体实施方式

在下文中，将参考附图更详细地描述各种示例实施例。本公开可以以各种形式实现，并且不限于以下实施例。为了清楚描述，贯穿全文，相同的标记指代相同的元素。

下面，将首先参考图1至图6来描述显示装置10的特征和实施例。图1是示出根据示例实施例的示例显示装置的框图。如图1所示，根据示例实施例的显示装置10包括(例如，包括通信电路的)通信器11、(例如，包括视频处理电路的)视频处理器12、显示器13、(例如，包括输入电路的)用户输入14、(例如，包括处理电路的)控制器15和储存装置16。例如，但不限于，显示装置10可以通过虚拟现实(vr)设备、电视(television，tv)、智能电话、平板个人电脑、计算机等来实现。根据示例实施例，显示装置10可以通过通信器11与服务器19连接，并且从服务器19接收内容的视频信号。显示装置10的元件不限于前述描述，并且可以排除一些元件或者包括一些额外元件。

根据示例实施例，显示装置10可以从从内容的图像划分的多个片段的图像191、192、193、194、195、196…当中接收至少一个片段的图像，该至少一个片段的图像包括更有可能在显示器13上显示的内容的图像中的预期要显示的区域131。

此外，根据示例实施例的显示装置10处理从内容的图像划分的多个片段的图像191、192、193、194、195、196…当中的至少一个片段的图像，该至少一个片段的图像包括更有可能在显示器13上显示的内容的图像中的预期要显示的区域131。

服务器19可以由内容提供者来实现，该内容提供者存储由内容制作者制作的内容的图像，并且响应于显示装置10的请求来提供内容的图像。这里，内容的图像可以例如是扩展视频，例如，可在所有方向上观看的360度图像。可以通过将分别由两个或多个镜头拍摄的两个或多个图像拼接在一起来创建扩展视频。根据示例实施例，扩展视频可以包括由内容制作者根据区域和时隙设置的权重信息，并且根据区域和时隙应用的分辨率可以基于设置的权重信息来确定。

服务器19可以存储与多条内容相对应的多个图像，并且存储与根据多个分辨率从每条内容的图像划分的多个片段相对应的图像191、192、193、194、195、196…。例如，如果360度图像被存储在服务器19中，考虑到所有的上、下、左、右、前和后方向，该360度图像可以被划分成与左上、右上、前上、后上、左下、右下、前下和后下的区域相对应的多个片段。此时，服务器19可以相对于各个划分的片段来存储分辨率不同的多个图像。例如，与分辨率1280*720(720p)、1920*1080(1080p)和3840*2160(4k)相对应的图像在从360度图像划分的多个片段当中可以相对于与左上区域相对应的片段来存储。同样，对应于不同分辨率的图像可以相对于其他片段来存储。

通信器11可以包括各种通信电路，并且通过例如有线或无线方式与服务器19通信，并且从服务器19接收内容的图像，该服务器19存储与多条内容相对应的图像。此外，通信器11向服务器19传送在显示装置10中收集的关于网络状态、用户的当前视线、用户的手势和语音等的信息。为了与服务器19通信，通信器11可以使用诸如以太网等的有线通信方法，或者通过无线路由器的无线通信方法，wi-fi、蓝牙等。例如，通信器11可以包括各种通信电路，诸如例如，但不限于，包括用于wi-fi的无线通信模块的印刷电路板(printedcircuitboard，pcb)。然而，对通信器11的通信方法没有限制。可替代地，通信器11可以通过另一种通信方法与服务器19通信。

视频处理器12可以包括各种视频处理电路，并且可以对通过通信器11从服务器19接收的内容的视频信号执行预设的视频处理过程。根据示例实施例，如果接收到从内容的图像划分的多个片段的图像191、192、193、194、195、196…当中的至少一个片段的图像，该至少一个片段的图像包括更有可能在显示器13上显示的内容的图像中的预期要显示的区域131，则视频处理器12可以执行视频处理过程，以将与所接收的至少一个片段的图像相对应的帧拼接在一起形成一帧。

作为由视频处理器12中的各种视频处理电路执行的视频处理过程的示例，包括但不限于，解复用、解码、去隔行、缩放、降噪、细节增强等，没有限制。视频处理器12可以被实现为其中集成了许多功能的片上系统(systemonchip，soc)，或者其中安装了用于独立执行各个处理的单独模块的图像处理板。

显示器13基于由视频处理器12处理的视频信号来显示内容的图像。根据示例实施例，显示器13基于用户的输入来显示内容的图像的一些区域。例如，显示器13显示从内容的图像划分的多个片段的图像191、192、193、194、195、196…当中的至少一个片段的图像，该至少一个片段的图像包括更有可能在显示器13上显示的内容的图像中的预期要显示的区域131。

显示器13可以通过各种类型来实现。例如，显示器13可以通过等离子体显示面板(plasmadisplaypanel，pdp)、液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclightemittingdiode，oled)、柔性显示器等来实现，但不限于此。

用户输入14可以包括各种输入电路，并且接收用于控制显示装置10的至少一个功能的用户的输入。根据示例实施例，用户输入14接收用于在显示器13上显示内容的图像的一些区域的用户的输入。

用户输入14可以包括各种输入电路，诸如例如，但不限于，使用红外线来与显示装置10通信并且包括多个按钮的遥控器、键盘、鼠标、提供在显示装置10上的触摸屏、提供在显示装置10外侧的输入面板、用于基于虹膜或颈部的移动来感测用户的视线的移动的虹膜识别传感器或陀螺仪传感器、用于感测用户的语音的语音识别传感器、用于感测用户的手势的运动识别传感器等。

储存装置16可以存储与显示装置10中可再现的多条内容相对应的图像。储存装置16可以存储通过通信器11从服务器19接收的内容的图像，或者存储从直接连接到显示装置10的通用串行总线(universalserialbus，usb)记忆棒等设备接收的内容的图像。储存装置16对关于存储的内容图像的数据执行读取、写入、编辑、删除、更新等。储存装置16可以包括，例如但不限于，闪存棒、硬盘驱动器等非易失性记忆棒，以便不管显示装置10是通电还是断电都保留数据。

控制器15可以包括各种处理电路，诸如例如，但不限于，用于控制要运行的程序命令以使得涉及显示装置10的所有元件都可以操作的至少一个处理器。该至少一个处理器可以包括中央处理单元(centralprocessingunit，cpu)，并且可以，例如，包括用于控制、计算和寄存器的三个区。控制区分析程序命令，并控制显示装置10的元件根据分析后的命令操作。计算区执行算术运算和逻辑运算，并且响应于来自控制区的命令来实施操作显示装置10的元件所需的计算。寄存器区可以是在cpu运行指令时用以存储所需的信息等的存储器位置，并且存储显示装置10的元件的指令和数据以及计算结果。

控制器15可以接收从内容的图像划分的多个片段的图像191、192、193、194、195、196…当中的至少一个片段的图像，该至少一个片段的图像包括更有可能在显示器13上显示的内容的图像中的预期要显示的区域131。控制器15控制所接收的片段的图像被处理并在显示器13上显示。

这里，可以基于用户的当前视线、关于根据时隙的用户的视线的移动的信息、关于内容制作的信息、广告信息以及关于用户的手势和语音的信息中的至少一种来确定预期要显示的区域。

根据示例实施例，控制器15可以从服务器19流式传输包括与用户的当前视线相对应的内容图像的部分的片段的图像。因此，当她/他观看内容图像时，用户的当前视线停留其上的内容图像的区域被更高质量地看到。

如果用户的当前视线停留(例如，保持)预定时间段或更长时间，则控制器15可以向服务器19发送关于用户的当前视线的信息，并且当用户再次选择与当前视线相对应的内容图像的部分时，则控制该部分具有高质量。例如，如果由用户选择的观看内容图像的视角被保持预定时间段，则显示装置10将关于选择的视角的信息发送到服务器19。因此，可以针对用户选择的有意义的视角来流式传输高质量图像。

根据示例实施例，控制器15可以基于关于用户的先前观看内容的图像的历史的多条信息当中的关于根据时隙用户的视线的移动的信息，从服务器19流式传输与更有可能在显示器13上显示的区域相对应的片段的图像。

服务器19可以基于关于根据时隙用户的视线的移动的信息，相对于内容图像生成关于根据时隙的推荐视角的信息。此时，服务器19可以基于所生成的关于根据时隙的推荐视角的信息，根据视角调整要流式传输的内容图像的分辨率。

因此，当显示内容图像时，可以考虑关于根据时隙的前观看者的视线的移动的信息，并且因此当前观看者可以控制更有可能显示的内容图像的区域以更高质量显示。

根据示例实施例，关于内容的图像，控制器15可以从服务器19流式传输与由内容制作者给出的关于区域和时隙的权重信息相对应的片段的图像。因此，当用户观看内容图像时，可以以更高质量显示与内容制作者想要的区域和时隙相对应的内容图像的区域。

根据示例实施例，控制器15可以从服务器19流式传输被包括在与插入到内容的图像中的广告内容相关的区域和时隙中的片段的图像。因此，当用户观看内容图像时，被包括在内容的图像中的广告可以以更高质量显示。

根据示例实施例，控制器15可以基于用户的语音或手势，从服务器19流式传输与更有可能在显示器13上显示的区域相对应的片段的图像。因此，当用户观看内容图像时，响应于用户的语音或手势而显示的内容图像的区域可以以更高质量显示。

控制器15可以控制至少一个片段的图像具有高分辨率并且被优先接收，该至少一个片段的图像包括预期要显示的区域131。例如，当她/他观看内容图像时，用户的当前视线停留其上预定时间段或更长时间的内容图像的区域可以以更高的分辨率显示。

控制器15可以接收多个片段的图像191、192、193、194、195、196…当中的与预期要显示的区域131相对应的至少一个第一片段的图像，然后接收不与预期要显示的区域131相对应的至少一个第二片段的图像。例如，当显示内容图像时，考虑关于根据时隙前观看者的视线的移动的信息，并且可以优先接收与根据当前观看者的视线的移动更有可能显示的区域相对应的片段的图像，从而即使在受限的网络状态中也提供高质量的图像。

控制器15可以从服务器19流式传输包括预期要显示的区域131的至少一个片段的图像。这里，控制器15可以向服务器19发送关于显示装置10的网络状态的信息，并且基于关于网络状态的信息来确定要从服务器19流式传输的至少一个片段的图像的最高分辨率。因此，从服务器19连续地高质量地给出高度预期要在显示器13上显示的区域131的图像。此外，考虑显示装置10的网络状态，从而提供具有最优和/或改善的分辨率的图像。

根据另一示例实施例，控制器15可以控制从内容的图像划分的多个片段的图像191、192、193、194、195、196…当中的至少一个片段的图像被高质量地处理，该至少一个片段的图像包括更有可能在显示器13上显示的内容的图像内的预期要显示的区域131。

这里，预期要显示的区域131可以基于用户的当前视线、关于根据时隙的用户的视线的移动的信息、关于内容制作的信息、广告信息以及关于用户的手势和语音的信息等中的至少一种来确定，但不限于此。因此，通过考虑用于预测用户的视线的移动的多条信息来确定要显示的内容图像的区域，并且对其以更高质量处理。

控制器15可以处理包括预期要显示的区域131的至少一个片段的图像具有高分辨率。因此，根据用户的视线的移动而更有可能显示的内容图像的部分可以具有高质量。

控制器15处理多个片段的图像191、192、193、194、195、196…当中与预期要显示的区域131相对应的至少一个第一片段的图像以具有第一分辨率，以及处理不与预期要显示的区域131相对应的至少一个第二片段的图像以具有低于第一分辨率的第二分辨率。

控制器15可以从服务器19流式传输包括预期要显示的区域131的至少一个片段的高分辨率图像。例如，如图4所示，如果用户的视线49从在显示器13上显示的扩展视频21中的预期要显示的第一区域481移动到预期要显示的第二区域482，则在从扩展视频21划分的多个片段的图像41、42、43、44、45和46当中，包括预期要显示的第二区域482的四个片段的图像42、43、45和46被流式传输以具有高分辨率。此时，在多个片段的图像41、42、43、44、45和46当中，不包括预期要显示的第二区域482的片段的图像41和44被流式传输以具有低于四个片段的图像42、43、45和46的分辨率的分辨率。

根据这种示例实施例，随着用户的视线移动而更有可能显示的内容图像的部分被流式传输以具有比其他部分高的分辨率，从而在受限的网络状态下向用户提供生动的图像。

控制器15可以向服务器19发送关于显示装置10的网络状态的信息，并且基于网络状态来确定要从服务器19流式传输的至少一个片段的图像的最高分辨率。因此，可以考虑到显示装置10的网络状态而向用户提供具有最优分辨率的内容图像。

如上所述，当她/他观看扩展视频时，根据示例实施例的显示装置10可以连续地向用户提供高质量的扩展视频。此外，即使在受限的网络状态下，也可以向用户提供生动且逼真的扩展视频。

图2是示出根据示例实施例的提供给用户的扩展视频的虚拟界面的示例的图。如图2所示，如果用户通过vr设备22观看扩展视频21，则扩展视频21的部分(例如，预期要显示的第一区域的图像23)根据用户的当前视线显示在vr设备22的屏幕上。此时，包括扩展视频21内的预期要显示的第一区域的图像23的区域被流式传输以具有高分辨率，从而向用户提供高质量的图像。

根据示例实施例，基于关于根据已经观看扩展视频21的用户的观看历史的信息时隙的用户的视线的移动的信息，可以将预期要显示的第二区域的图像24确定为更有可能在vr设备22的屏幕上显示的图像。在这种情况下，包括扩展视频21内的预期要显示的第二区域的图像24的区域可以被优先流式传输。此外，包括预期要显示的第二区域的图像24的区域可以被流式传输以具有高分辨率。

根据另一示例实施例，基于关于涉及插入扩展视频21中的广告内容的区域和时隙的信息，可以将预期要显示的第三区域的图像25确定为更有可能在vr设备22的屏幕上显示的图像。在这种情况下，扩展视频21的包括预期要显示的第三区域的图像25的区域可以被优先流式传输。此外，包括预期要显示的第三区域的图像25的区域可以被流式传输以具有高分辨率。

如上所述，根据示例实施例，当用户观看扩展视频21时，可以考虑用于预测用户的视线的移动的多条信息，诸如关于用户的当前视线的信息、关于前用户的观看历史的信息、关于广告的信息等，使得扩展视频21的更有可能在屏幕上显示的部分可以以高质量显示。

图3是示出根据示例实施例的创建扩展视频的方法的示例的图。如图3所示，为了创建360度图像以作为扩展视频的示例，使用许多相机来拍摄与所有方向相对应的多个图像。例如，第一镜头和第二镜头分别用于拍摄第一角度图像31和第二角度图像32，第一镜头和第二镜头中的每一个都具有180度的视角。

第一角度图像31和第二角度图像32可以拼接在一起并且映射到球面上，然后映射到球形展开(equirectangular)平面图像34，以便在不同装置之间可兼容。此时，例如，可以创建球形展开平面图像34，就好像地球仪变成平面地图一样。

通过将球形展开平面图像34弯曲(warp)并映射成球面而生成球形立体图像35，使得用户可以通过显示装置10观看球形展开平面图像34。此时，球形立体图像35内的由用户选择的区域可以被裁剪并放大和缩小，并且所裁剪的图像可以在质量上进行调整，然后在屏幕上显示。

如上所述，根据示例实施例，由多个镜头拍摄的多个全向图像被拼接在一起，以创建诸如360度图像的扩展视频。

图4是示出根据示例实施例的随着用户的视线移动而在屏幕上显示的扩展视频的示例的图。如图4所示，扩展视频21可以被划分成与多个片段相对应的图像41、42、43、44、45和46，并被存储在服务器19中。此时，可以根据多个不同的分辨率来存储与多个片段相对应的图像41、42、43、44、45和46。

根据示例实施例，由于与第六片段相对应的图像46包括扩展视频21内的预期要显示的第一区域481，在该第一区域481上用户的视线被保持预定时间段或更长时间，所以在多个片段中的图像41、42、43、44、45和46当中，该图像46被流式传输以具有高分辨率。

根据示例实施例，假设用户的视线49从在显示器13上显示的扩展视频21内的预期要显示的第一区域481移动到预期要显示的第二区域482。此时，可以基于关于根据时隙的前用户的视线的移动的信息、关于内容制作的信息、广告信息以及关于用户的手势和语音的信息等中的至少一种来预测用户的视线49从预期要显示的第一区域481到预期要显示的第二区域482的移动。

如果预测到向预期要显示的第二区域482的移动，则在多个片段的图像41、42、43、44、45和46中，涉及预期要显示的第二区域482的四个片段的图像42、43、45和46被优先接收。此时，包括预期要显示的第二区域482的四个片段的图像42、43、45和46被流式传输以具有高分辨率，而不包括预期要显示的第二区域482的片段的图像41和44被流式传输以具有低于四个片段的图像42、43、45和46的分辨率的分辨率。

由于随着用户的视线移动，更有可能显示的内容图像的部分被流式传输以具有比其他部分高的分辨率，所以即使在受限的网络状态下，也可以向用户提供生动的图像。

图5是示出根据示例实施例的将扩展视频从服务器流式传输到显示装置的示例的图。如图5所示，服务器19将内容制作者制作的内容的图像划分并存储为多个片段。此时，内容的图像可以作为扩展视频(例如，360度图像)给出，该扩展视频是通过拼接由许多相机全方位拍摄的多个图像而创建的。服务器19将这样的创建的扩展视频21映射到球形展开平面图像，然后将其划分并存储为多个片段。

当将扩展视频21划分并存储为多个片段时，服务器19可以根据多个分辨率来处理并存储每个片段。

参考图5的(1)，显示装置10响应于用户的播放请求从服务器19接收从扩展视频21划分的多个片段的图像。此时，所接收的与多个片段相对应的图像具有第一分辨率。

参考图5的(2)，显示装置10通过将所接收的与多个片段相对应的并且具有第一分辨率的图像拼接在一起来创建立体图像35。例如，如果存储在服务器19中的内容的图像是360度图像，则显示装置10创建球形立体图像35。

参考图5的(3)，响应于用户的选择，球形立体图像35的部分333在屏幕上显示。此时，该球形立体图像35的部分333以与多个所接收的片段相对应的第一分辨率显示。

参考图5的(4)，显示装置10向服务器19发送用于确定更有可能在屏幕上显示的区域的信息。该信息包括用户的当前视线、关于根据时隙的用户的视线的移动的信息、关于内容制作的信息、广告信息以及关于用户的手势和语音的信息等中的至少一种。例如，如果用户的当前视线保持预定时间段或更长时间，则关于用户的当前视线的信息被发送到服务器19，以便确定要流式传输的区域。可替代地，关于根据时隙的已经播放了扩展视频21的用户的视线移动的信息被发送到服务器19，从而确定要流式传输的区域。然而，要被发送到服务器19的信息不限于前述示例实施例的信息，并且可以另外包括用于确定扩展视频21的所有区域当中更有可能由用户在屏幕上显示的区域所需的信息。

参考图5的(5)，显示装置10从服务器19接收与更有可能显示的区域666相对应的至少一个片段，该至少一个片段是基于信息而被确定的，并且被处理以具有高于第一分辨率的第二分辨率。

参考图5的(6)，显示装置10在屏幕上显示与球形立体图像35内的具有第二分辨率的至少一个接收的片段相对应的区域。

根据前述示例实施例，当用户观看360度图像时，显示装置10可以基于关于用户的视线的信息或关于前用户的视线的移动的信息等，更生动地提供360度图像的更有可能在屏幕上显示的部分。

图6是示出根据示例实施例的用于将扩展视频从服务器流式传输到显示装置的示例元件的框图。如图6所示，扩展视频21由内容制作者在图像制作设备51中制作，并且上传到位于内容提供者一侧的服务器19。图像制作设备51可以包括各种类型的图像制作设备，诸如例如，但不限于个人计算机(personalcomputer，pc)、智能电话、平板电脑等，并且执行内容图像的拍摄和编辑功能。响应于显示装置10中的用户的播放请求，上传到服务器19的扩展视频21被提供给显示装置10。

为了制作扩展视频21，图像制作设备51获取由内容制作者使用多个镜头全方位拍摄的多个视频(511)。图像制作设备51以图像的形式提取各个拍摄视频的帧(512)。图像制作设备51根据特定的区域和时隙给各个提取的图像分配权重(513)。此时，根据特定区域和时隙的权重可以按内容制作者的制作目的来设置，并且当服务器19流式传输扩展视频21时，这样的设置的权重可以反映在多个片段的分辨率中。

在向各个图像分配权重之后，图像制作设备51将各个图像拼接在一起(514)，并且通过以帧的形式处理所拼接的图像来创建扩展视频21。

如上所述，由图像制作设备51制作的扩展视频21被上传到位于内容提供者一侧的服务器19。

服务器19接收并存储在图像制作设备51中制作的多个扩展视频21。服务器19生成并存储与来自扩展视频21的多个片段和多个分辨率之间的所有可能组合相对应的图像52。根据示例实施例，服务器19将扩展视频21的整个区域划分成与左上、右上、前上、后上、左下、右下、前下和后下区域相对应的多个片段，并且关于每个片段，存储分辨率不同的多个图像。例如，对于从扩展视频21划分的多个片段当中的与左上区域相对应的片段，可以以1280*720(720p)、1920*1080(1080p)和3840*2160(4k)的分辨率来存储图像。同样，对于其他片段，可以以许多分辨率来存储图像。

显示装置10接收用户的观看扩展视频21的播放请求。响应于用户的播放请求，显示装置10收集关于当前网络状态531的信息，关于由例如虹膜识别传感器或陀螺仪传感器感测的用户的当前视线的信息、关于用户的手势和语音的信息等用户信息532，并将收集的信息发送到服务器19。

服务器19基于从显示装置10接收的关于网络状态531的信息，确定用于流式传输扩展视频21的最高分辨率。

服务器19基于从显示装置10接收的关于用户的当前视线的信息、关于用户的手势和语音的信息、关于根据时隙的前用户的视线的移动的信息、在制作扩展视频时设置的权重信息和广告信息中的至少一种来确定多个片段的各个权重。

服务器19基于如上述确定的分配给多个片段的权重信息，根据多个片段确定用于流式传输扩展视频21的分辨率。例如，如果确定高权重被分配给多个片段当中的与左上区域相对应的片段，则在分别以1280*720(720p)、1920*1080(1080p)和3840*2160(4k)的分辨率存储的图像当中，被处理以具有最高分辨率3840*2160(4k)的图像被流式传输。另一方面，如果确定低权重被分配给与右上区域相对应的片段，则被处理以具有最低分辨率1280*720(720p)的图像被流式传输。

如上所述，服务器19将根据扩展视频21的多个片段分别以不同分辨率处理的图像流式传输到显示装置10，从而实现自适应流式传输。

显示装置10将通过自适应流式传输从服务器19接收的、根据多个片段而分辨率不同的图像拼接到一帧中，并且基于这样生成的图像帧来再现扩展视频21(533)。

当再现扩展视频21(533)时，显示装置10可以基于关于与用户的视线相对应的视角的信息，从扩展视频21的整个区域裁剪并显示与视角相对应的区域。

将分别与从服务器19接收的多个片段相对应的图像拼接在一起，并从整个拼接的图像中裁剪与视线相对应的部分的这样的操作可以由显示装置10的图形处理单元(graphicprocessingunit，gpu)来执行。

当再现扩展视频21(533)时，显示装置10可以连续地向服务器19发送关于网络状态、用户的当前视线、用户的手势和语音等的信息。服务器19可以基于从显示装置10连续地提供的信息，根据多个片段调整权重信息，并且可以基于调整后的信息，根据多个片段改变分辨率，从而实现自适应流式传输。

图7是示出根据示例实施例的控制显示装置的示例方法的流程图。如图7所示，在操作s61处，显示装置10与存储根据多个片段划分的内容的图像的服务器19通信。这里，根据多个片段划分的内容的图像可以根据多个分辨率进行处理，并且可以存储在服务器19中。

在操作s62处，显示装置10从服务器19接收与被处理以具有第一分辨率的多个片段相对应的图像，并生成立体图像35。如果存储在服务器19中的内容的图像是由多个相机拍摄和制作的360度图像，则立体图像以球面的形式创建。

在操作s63处，显示装置10显示立体图像35的区域。操作s63可以包括显示用户从立体图像35的整个区域中选择的区域，或者显示与立体图像35的初始默认再现定位相对应的区域。

在操作s64处，显示装置10向服务器19传送用于确定立体图像35的整个区域内更有可能显示的区域的信息。这里，信息可以包括关于用户的当前视线的信息、关于根据时隙的用户的视线的移动的信息以及关于用户的手势和语音的信息中的至少一种。

根据示例实施例，操作s64可以包括周期性地向服务器19发送信息的操作。因此，用于预测用户的视线的移动的最新信息反映在流式传输扩展视频的更有可能在屏幕上显示的部分中。

根据示例实施例，操作s64可以包括向服务器19发送关于显示装置10的网络状态的信息的操作，以及基于所接收的关于网络状态的信息确定与从服务器19接收的至少一个片段相对应的图像的最高分辨率的操作。因此，可以在考虑网络状态的同时，流式传输具有最优分辨率的扩展视频。

在操作s65处，显示装置10从服务器19接收与更有可能显示的区域相对应的至少一个片段，该至少一个片段基于信息而被确定，并且被处理以具有高于第一分辨率的第二分辨率。服务器19可以基于从显示装置10接收的信息、作为内容图像中的附加信息涉及的内容制作信息和广告信息中的至少一种，确定立体图像35的整个区域内更有可能在显示器13上显示的区域。

根据示例实施例，操作s65还可以包括从服务器19接收至少一个片段的操作，该至少一个片段不与所确定的更有可能显示的区域相对应，并且被处理以具有低于第一分辨率的第三分辨率。因此，扩展视频的更有可能在屏幕上显示的部分被处理以具有比其他部分高的分辨率，并且因此即使在受限的网络状态下也可以提供具有更高质量的图像。

根据示例实施例，操作s65还可以包括优先从服务器19接收与所确定的更有可能显示的区域相对应的至少一个第一片段，然后接收不与更有可能显示的区域相对应的至少一个第二片段的操作。因此，扩展视频的更有可能在屏幕上显示的部分被优先流式传输，并且因此即使在受限的网络状态下也可以提供具有更高质量的图像。

根据示例实施例，操作s65还可以包括将与所确定的更有可能显示的区域相对应的并且从服务器19接收的至少一个第一片段和不与更有可能显示的区域相对应的至少一个第二片段拼接在一起的操作。因此，所接收的具有不同分辨率的多个片段被拼接在一起并被再现为一帧。

在操作s66处，显示装置10显示与至少一个接收的具有第二分辨率的片段相对应的区域。

在用户观看扩展视频时，即使在受限的网络下，根据示例实施例的控制显示装置的前述方法也向用户提供生动且逼真的扩展视频。

如上所述，根据示例实施例，当用户观看扩展视频时，可以连续地向用户提供高质量的扩展视频。

此外，根据示例实施例，当用户观看扩展视频时，即使在受限的网络下，也可以向用户提供生动且逼真的扩展视频。

尽管已经示出和描述了各种示例实施例，但是本领域技术人员应当理解，在不脱离本公开的原理和精神的情况下，可以对这些示例实施例进行改变，本公开的范围由所附权利要求及其等同物限定。