图像显示装置和显示图像的方法与流程

相关申请的交叉引用

本申请要求2016年10月27日在韩国知识产权局提交的韩国专利申请10-2016-0141176的优先权，其公开内容通过引用整体并入本文。

与本公开一致的装置和方法涉及图像显示装置和显示图像的方法，更具体地，涉及一种显示360度图像的图像显示装置和方法。

背景技术：

图像显示装置显示用户可以看到的图像。用户可以通过图像显示装置观看广播。图像显示装置显示用户从广播电台发送的广播信号中选择的广播。最近，世界范围上广播已经从模拟广播转为数字广播。

在数字广播中，数字图像和语音信号被传输。与模拟广播相比，在数字广播中几乎没有数据丢失，因为它具有优异的外部噪声抵抗力、强大的纠错能力、高分辨率和提供清晰屏幕的特点。此外，与模拟广播的情况不同，数字广播提供双向服务。

智能电视(tv)除了最近提供了数字广播功能之外，还提供了各种类型的内容，并且还提供了能够显示360度图像的图像显示装置。用户可以通过移动视点以不同的角度观看360度图像。因此，期望允许用户以不同角度快速方便地观看360度图像的方法。

技术实现要素：

其他方面将在下面的描述中部分地阐述，并且部分地将从描述中显而易见，或者可以通过实施所呈现的实施例来了解。

根据示例实施例的一个方面，一种图像显示装置包括：显示器；图形处理单元(gpu)；以及处理器，被配置为：基于关于当前视点的信息，确定平面格式图像的复制区域，控制gpu以通过将对应于复制区域的图像映射到球体来产生球形格式图像并通过渲染球形格式图像来生成输出图像，以及控制显示器显示输出图像。

其中，所述球形格式图像可以包括球形格式360度图像，并且所述平面格式图像可以包括平面格式360度图像。

处理器还可以被配置为：响应于用于改变视点的输入来改变关于当前视点的信息，并且基于关于当前视点的改变的信息来改变复制区域。

关于当前视点的信息包括水平角度、垂直角度、视角以及距球体的中心点的距离中的至少一个。

处理器还可以被配置为将所述复制区域的尺寸设置为大于与所述输出图像对应的区域的尺寸。

响应于平面格式图像是与第一帧视频相对应的图像，处理器可以被进一步配置为基于关于预设视点的信息来确定复制区域。

关于预设视点的信息可以根据图像显示装置的用户输入和内部设置中的至少一个而变化。

处理器可以被进一步配置为：向gpu提供对应于复制区域的图像，并且控制gpu以通过将对应于复制区域的图像映射到球体来产生球形格式图像。

图像显示装置还可以包括：解码器，被配置为通过解码从外部源接收的图像来生成平面格式图像。

处理器还可以被配置为根据关于当前视点的信息来确定复制区域的形状和尺寸中的至少一个。

根据另一示例性实施例的一个方面，一种显示图像的方法包括：基于关于当前视点的信息，确定平面格式图像的复制区域；通过将对应于复制区域的图像映射到球体来生成球形格式图像；通过渲染球形格式图像来产生输出图像；和显示输出图像。

该方法还可以包括：响应于用于改变视点的输入来改变关于当前视点的信息；以及基于关于当前视点的改变的信息来改变复制区域。

关于当前视点的信息包括水平角度、垂直角度、视角以及距球体的中心点的距离中的至少一个。

该方法还可以包括将复制区域的尺寸设置为大于与所述输出图像对应的区域的尺寸。

该方法还可以包括响应于平面格式图像是与第一帧视频对应的图像，基于关于预设视点的信息来确定复制区域。

关于预设视点的信息根据图像显示装置的用户输入和内部设置中的至少一个而变化。

该方法还可以包括：将对应于复制区域的图像提供给图形处理单元(gpu)；并且通过将与复制区域对应的图像映射到球体，由gpu生成球形格式图像。

该方法还可以包括通过解码从外部源接收到的图像来生成平面格式图像。

可以根据关于当前视点的信息来确定复制区域的形状和尺寸中的至少一个。

根据另一示例性实施例的一个方面，一种非暂时性的计算机可读记录介质，其中嵌入有程序，当由计算机执行所述程序时执行如上所述的方法。

所述球形格式图像可以包括球形格式360度图像，并且所述平面格式图像可以包括平面格式360度图像。

附图说明

从以下结合附图对示例性实施例的描述中，上述和/或其他方面将变得显而易见并且更容易理解，其中：

图1示出了根据示例实施例的用于显示360度图像的图像显示装置；

图2a、2b和2c是根据示例性实施例的用于说明有关视点的信息的图。

图3是根据示例实施例的图像显示装置的结构的框图；

图4是根据另一示例性实施例的图像显示装置的结构的框图；

图5a、5b和5c是用于说明根据示例性实施例的确定复制区域的方法的图。

图6是用于说明根据示例实施例的球形格式360度图像的生成方法的图。

图7是用于说明根据示例性实施例的通过渲染球形格式360度图像来生成输出图像的方法的图。

图8a、8b和8c是用于说明根据示例性实施例的视点改变的情况的图。

图9是根据示例性实施例的显示图像的方法的流程图。和

图10是根据另一示例性实施例的显示图像的方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例性实施例。然而，本公开可以以许多不同的形式实施，并且不应被解释为限于本文所阐述的示例实施例；而是提供这些示例性实施例，使得本公开将是彻底和完整的，并且将向本领域普通技术人员全面地传达本公开的概念。在附图中，省略了与本公开的描述无关的部分，并且相同的附图标记表示相同的元件。

本说明书中使用的术语是考虑到本公开的功能而在本领域中广泛使用的一般术语，但是术语可以根据本领域普通技术人员的意图、先例或本领域新的技术而变化。此外，申请人可以选择指定的术语，在这种情况下，将在本公开的详细描述中描述其详细含义。因此，说明书中使用的术语应被理解为不是简单的名称，而是基于术语的含义和本公开的整体描述。

本说明书中使用的术语仅用于描述特定示例性实施例，并不意图限制本公开。单数使用的表达式包含复数形式的表达，除非在上下文中具有明显不同的含义。应当理解，当诸如层、膜、区域或板的组件被称为“连接到”另一组件时，组件可以“直接连接到”另一组件或“电连接到“另一组件，其间具有中间组件。此外，在整个说明书中，当部分“包括”元件时，除了另有说明之外，可以进一步包括另一元件，而不排除另一元件的存在。

在描述本公开的上下文中使用术语“一”和“一个”和“该”以及类似的指示物应被解释为涵盖单数和复数。此外，本文描述的所有方法的步骤可以以任何合适的顺序进行，除非另有说明，或以其他方式明确地与上下文相矛盾。实施例不限于所述步骤的描述顺序。

诸如“在一些示例性实施例中”和“在一个示例性实施例中”的表达式不一定表示相同的实施例。

可以根据功能块组件和各种处理步骤描述本公开。这样的功能块可以通过被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，功能块可以由配置成执行某些功能的至少一个微处理器或电路组件来实现。而且，例如，功能块可以用任何编程或脚本语言来实现。功能块可以在一个或多个处理器上执行的算法中实现。此外，本公开可以采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的常规技术。术语“机制”、“元件”、“手段”和“配置”被广义地使用，并不限于机械或物理实施例。

此外，呈现的各个图中所示的连接线或连接器旨在表示各种元件之间的示例性功能关系和/或物理或逻辑耦合。应当注意，实际设备中可能存在许多备选或附加功能关系、物理连接或逻辑连接。

在下文中，将参照附图详细描述本公开。

图1示出了根据示例实施例的用于显示360度图像的图像显示装置100。

参考图1，根据示例性实施例的图像显示装置100可以是电视(tv)，但不限于此。图像显示装置100可以是包括显示器的电子设备。例如，图像显示装置100可以是诸如移动电话、平板电脑(pc)、数码相机、摄像机、膝上型计算机、台式计算机、电子书阅读器、数字广播终端、个人数字助理

(pda)、便携式多媒体播放器(pmp)、导航设备、mp3播放器或可穿戴设备。此外，图像显示装置100可以是固定型或便携型，并且可以是可以接收数字广播的数字广播接收机。

图像显示装置100可以是平面格式图像显示装置，具有曲率的弯曲图像显示装置或具有可调节曲率的柔性图像显示装置。图像显示装置100的分辨率可以是例如高清晰度(hd)、全高清，超高清或大于超高清的分辨率。

图像显示装置100可以由控制设备101控制，并且控制设备101可以被实现为控制图像显示装置100的设备，例如遥控器或移动电话。当图像显示装置100的显示器是触摸屏时，可以用用户的手指、输入笔等来代替控制设备101。

控制设备101可以通过包括红外线通信或蓝牙的短距离通信来控制图像显示装置100。控制设备101可以通过使用键(包括按钮)、触摸板、能够接收用户的语音的麦克风以及能够检测控制设备101的运动的传感器中的至少一个来控制图像显示装置100的功能。

控制设备101可以包括用于打开/关闭图像显示装置100的开/关按钮。此外，根据用户输入，控制设备101可以改变频道、调节音量、选择地面广播/有线广播/卫星广播、或者执行图像显示装置100的环境设置。此外，控制设备101可以是指示装置。例如，当接收到某个键输入时，控制设备101可以作为指示装置进行操作。

在一个或多个示例性实施例中，术语“用户”表示通过使用控制设备101来控制图像显示装置100的功能或操作的人，并且可以包括观看者、管理员或安装工程师。

根据一个或多个示例性实施例的图像显示装置100可以显示360度图像。

360度图像可以是具有360度视角的图像。例如，可以基于通过至少一个照相机以360度拍摄的图像来生成360度图像。在这种情况下，捕获的图像可以被映射到球体，并且将被映射的图像上的接触点进行缝合，从而生成球形格式360度图像。另外，如图1所示，球形格式360度图像可以被转换为平面格式360度图像50，使得平面格式360度图像50可以被发送到另一装置中或存储在另一装置中。

根据示例实施例的图像显示装置100可以对平面格式360度图像50执行图形处理，使得平面格式360度图像50可以被转换为球形格式360度图像70。例如，图像显示装置100可以通过将平面格式360度图像50映射到球体来生成球形格式360度图像70。

根据示例性实施例的图像显示装置100可以选择与当前视点相对应的球形格式360度图像70的特定部分80，并且可以生成与所选部分80对应的输出图像。另外图像显示装置100可以显示生成的输出图像。

视点可以表示由用户观看的360度图像上的点。例如，当假设用户位于球体的中心点时，视点可以是用户观看的360度图像上的点，其中360度图像被映射到球体表面。然而，该视点不限于此。视点可以通过使用水平角度、垂直角度、视角以及距离球体的中心点的距离中的至少一个来指示。稍后将参照图2a、2b和2c描述水平角度、垂直角度、视角以及距离球体的中心点的距离。

将平面格式360度图像50转换成球形格式360度图像70的处理可以由图像显示装置100的图形处理单元(gpu)执行。平面格式360度图像50需要被发送到gpu，使得gpu可以将平面格式360度图像50转换成球形格式360度图像70。在这种情况下，由于平面格式360度图像50通常具有高分辨率，所以平面格式360度图像50的尺寸可以变化。因此，将整个平面格式360度图像50传送到gpu可能需要很多时间。

在一个或多个示例实施例中，可以将与基于关于当前视点的信息确定的平面格式360度图像50的某些部分对应的图像发送到gpu。因此，可以减少将平面格式360度图像50发送到gpu所花费的时间。

此外，在一个或多个示例性实施例中，基于与平面格式360度图像50的部分对应的发送的图像，可以生成球形格式360度图像70和输出图像。因此，与将平面格式的360度图像整体发送到gpu的情况相比，可以减少生成球形格式360度图像70和输出图像所需的时间量。

图2a、2b和2c是根据示例性实施例的用于解释关于视点的信息的图。

如上所述，360度图像可以是基于通过使用至少一个照相机以360度拍摄的图像生成的图像。捕获的图像可以被映射到球体，并且将被映射的图像上的接触点缝合，从而生成球形格式360度图像。图像显示装置100可以显示与球形格式360度图像的当前视点相对应的图像。

视点可以表示由用户观看的球形格式360度图像上的点。视点可以通过使用水平角度、垂直角度、视角以及距离球体的中心点的距离中的至少一个来指示。因此，关于当前视点的信息可以是指示用户当前观看的360度图像上的点作为水平角度，垂直角度，视角和距离中的至少一个的信息球体的中心点。

水平角可以是通过相对于穿过球体的中心点并且平行于xy平面的第一平面沿着球体的表面旋转而形成的角度。例如，参考图2a，在球形格式图像200中，球体表面上的某个点201可以具有0度的水平角。在这种情况下，相对于第一平面，水平度可以在0和360度之间。

垂直度可以是通过相对于穿过球体的中心点并且平行于yz平面的第二平面沿着球体的表面旋转而形成的角度。例如，参考图2a，在球形格式图像200中，球体表面上的某一点201可以具有0度的垂直角。在这种情况下，相对于第二平面，垂直角可以在-90度和90度之间。或者，根据示例实施例，垂直角度可以相对于第二平面在0度和180度之间，但不限于此。

视角可以是指示由图像显示装置100显示的360度球形格式图像的区域的角度范围，并且可以在0度与360度之间。

例如，参考图2b左侧的球形格式图像210，当在图像显示装置100的显示器上显示球形格式图像210的第一区域211时，第一区域211的视角可以为100度。作为另一示例，参考图2b右侧的球形格式图像220，当在图像显示装置100的显示器上显示球形格式图像220的第二区域221时，第二区域221的视角可以为180度。在这种情况下，图2b的第一区域211和第二区域221的视角可以基于球体的中心点来确定。然而，视角并不限于此。

取决于距球体中心点的距离，视角可能不同。

例如，参考图2c的球形格式图像230和240，当在显示器上显示的区域231和241彼此相同时，基于作为球体的中心点的第一点232确定的视角可以是90度，并且基于第二点242确定的视角可以是70度。随着与球体中心点的距离增加，视角可能会减小。

例如，当假设球体的直径为1时，距离球体的中心点的距离可以在0和0.5之间。例如，如图2c左侧所示，当基于作为球体的中心点的第一点232确定视角时，距离球体的中心点的距离可以为0。或者，如图2c的右侧，当基于第二点242确定视角时，距离中心点的距离可以为0.5。然而，根据示例实施例，距离球体的中心点的距离可以不同，并且不限于上述示例。

图3是根据示例实施例的图像显示装置100a的结构的框图。

图3的图像显示装置100a可以是图1的图像显示装置100的示例性实施例。参考图3，图像显示装置100a可以包括处理器310、gpu320和显示器330。然而，图像显示装置100a可以包括比图1所示的组件更多的组件。然而，实施例不限于此。

在下文中，将依次描述上述组件。

处理器310基于关于当前视点的信息来确定平面格式图像上的复制区域。平面格式图像可以是平面格式360度图像。

复制区域可以是被发送到gpu320以进行图形处理的平面格式360度图像的区域。复制区域的形状和尺寸中的至少一个可以根据关于当前视点的信息而不同。

处理器310可以基于关于当前视点的信息来确定复制区域，所述信息包括水平角度、垂直角度、视角以及距离球体的中心点的距离中的至少一个。例如，处理器310可以基于关于当前视点的信息预先确定在显示器330上显示的区域。此外，处理器310可以从显示器330上显示的区域确定复制区域。例如，处理器310可以将具有大于一定比例的尺寸的区域确定为复制区域。或者，根据示例实施例，处理器310可以确定与显示器330上显示的区域相同的区域作为复制区域。然而，复制区域不限于此。

当平面格式360度图像是360度视频的第一帧时，处理器310可以基于关于预设视点的信息来确定复制区域。在这种情况下，关于预设视点的信息可以根据图像显示装置100a的用户输入和/或内部设置而不同。

响应于用于改变视点的输入，处理器310可以改变关于当前视点的信息。处理器310可以基于关于改变的当前视点的信息来改变复制区域。

处理器310可以向gpu320发送对应于复制区域的图像。例如，处理器310可以从平面格式360度图像向存储器复制与复制区域对应的图像，并且可以将复制的图像发送到gpu320。

处理器310可以向gpu320发送与复制区域对应的图像而不是整个平面格式360度图像，因此传输到gpu320的数据量可能会减少。因此，将平面格式360度图像传送到gpu320所花费的时间可能会减少。此外，gpu320生成360度球形格式图像所花费的时间可能会减少。

处理器310可以被实现为至少一个存储器和至少一个处理器的各种组合。例如，存储器可以根据处理器310的操作生成或删除程序模块，并且处理器310可以处理程序模块的操作。

处理器310可以执行存储在存储器中的一个或多个指令，以基于关于当前视点的信息从平面格式360度图像确定复制区域。此外，处理器310可以执行存储在存储器中的一个或多个指令以通过将对应于复制区域的图像映射到球体来产生球形格式的360度图像。处理器310可以控制gpu320，使得gpu320可以通过渲染球形格式360度图像来生成输出图像。此外，处理器310可以执行存储在存储器中的一个或多个指令，以控制显示器330显示输出图像。

gpu320可以通过将对应于复制区域的图像映射到球体来生成球形格式图像。球形格式图像可以是球形格式360度图像。gpu320可以通过渲染球形格式360度图像来生成输出图像。

gpu320可以通过将对应于复制区域的图像映射到球体而不是映射整个平面格式360度图像来生成球形格式360度图像。因此，与通过使用整个平面格式360度图像生成球形格式360度图像的情况相比，可以减少在图形处理过程中使用的数据量。因此，可以减少gpu320产生球形格式360度图像所花费的时间。

显示器330可以显示由gpu320生成的输出图像。

例如，显示器330可以显示与当前视点相对应的360度图像的图像。此外，显示器330可以响应于用于改变当前视点的输入来显示改变的输出图像。

当显示器330是触摸屏时，除了输出设备之外，显示器330可以用作输入设备。显示器330可以包括液晶显示器、薄膜晶体管-液晶显示器、有机发光二极管显示器、柔性显示器、三维(3d)显示器和电泳显示器中的至少一个。

此外，根据图像显示装置100a的实现类型，图像显示装置100a可以包括两个或更多个显示器330。

图3示出了gpu320与处理器310分离。然而，实施例不限于此。根据示例实施例，处理器310可以包括gpu320。

图4是根据另一示例性实施例的图像显示装置100b的结构的框图。

如图4所示，除了处理器310，gpu320和显示器330之外，图像显示装置100b还可以包括调谐器单元140、通信器150、检测器160、输入/输出(i/o)接口170、视频处理器180、音频处理器115、音频输出接口125、用户输入接口190和存储器120。

参考图3提供的处理器310、gpu320和显示器330的描述。因此将不会重复描述。

显示器330可以根据处理器310的控制在屏幕上显示在通过调谐器单元140接收的广播信号中包括的视频。此外，显示器330可以显示通过通信器150或i/o接口170输入的内容(例如，视频)。显示器330可以根据处理器310的控制输出存储在存储器120中的图像。此外，显示器330可以显示用于执行与语音识别相对应的语音识别任务的语音用户界面(ui)(例如，语音ui)，或者用于执行与运动识别相对应的运动识别任务的运动ui(例如，包括用于运动识别的用户运动指南的运动ui)。

音频处理器115处理音频数据。音频处理器115可以在音频数据上执行各种处理，例如解码、放大和噪声滤波。音频处理器115可以包括用于处理对应于多条内容的音频的音频处理模块。

音频输出接口125根据处理器310的控制，输出通过调谐器单元140接收的广播信号中包含的音频。音频输出接口125可以输出通过通信器150或i/o接口170输入的音频(例如，语音，声音等)。此外，音频输出接口125可以根据处理器310的控制输出存储在存储器120中的音频。音频输出接口125可以包括扬声器126、耳机127和sony/philips数字接口(s/pdif)128。音频输出接口125可以包括扬声器126、耳机127和s/pdif128的组合。

调谐器单元140可以通过对以有线/无线方式接收的广播信号进行放大、混合、谐振等，仅针对图像显示装置100b期望从各种频率分量中接收的频道的频率进行调谐。广播信号包括音频、视频和附加信息(例如，电子节目指南(epg))。

调谐器单元140可以根据用户输入(例如，诸如从控制设备101接收的按下上或下按钮以选择频道或在epg屏幕上输入的频道的输入之类的频道号输入的控制信号)在与频道号相对应的频带(例如，有线广播频道#506)中接收广播信号。

调谐器单元140可以从诸如地面广播、有线广播、卫星广播或因特网广播的各种来源接收广播信号。调谐器单元140可以从诸如模拟广播或数字广播的源接收广播信号。通过调谐器单元140接收的广播信号可以被解码(例如，通过执行音频解码、视频解码和/或附加信息解码)，并且因此被分成音频、视频和/或附加信息。可以根据处理器310的控制将音频、视频和/或附加信息存储在存储器120中。

图像显示装置100b可以包括至少一个调谐器单元140。至少一个调谐器单元140可以与图像显示装置100b一体形成，或者可以被实现为单独的装置(例如，机顶盒、或连接到i/o接口170的调谐器单元)，其包括电连接到图像显示装置100b的调谐器单元。

通信器150可以根据处理器310的控制将图像显示装置100b连接到外部源(例如，音频设备等)。处理器310可以通过通信器150从/向连接到图像显示装置100b的外部设备接收/发送内容，可以从外部源下载应用，或者可以浏览网站。取决于图像显示装置100b的性能或结构，通信器150可以包括无线lan模块151、蓝牙模块152和有线以太网模块153中的一个。

此外，通信器150可以包括无线lan模块151、蓝牙模块152和有线以太网模块153的组合。通信器150可以根据处理器的控制从控制设备101接收控制信号，控制信号可以是蓝牙信号、射频(rf)信号或wi-fi信号。

除了蓝牙模块152之外，通信器150还可以包括短距离通信模块(例如，近场通信(nfc)模块和蓝牙低能量(ble)模块))。

检测器160可以检测用户的语音、图像和/或交互，并且可以包括麦克风161、相机162和光学接收器163。

当用户说话时，麦克风161接收用户的语音。麦克风161可以将接收到的语音转换成电信号，并且可以将电信号输出到处理器310。用户的语音可以包括例如与菜单或图像显示装置100b的功能相对应的语音。

相机162可以接收对应于用户的运动的图像(例如，连续帧)，该图像包括在相机162的识别范围内的手势。基于运动识别结果，处理器310可以选择由图像显示装置100b显示的菜单或者可以执行与运动识别结果相对应的控制操作。例如，控制操作可以是频道调节、音量调节、指示器移动或光标移动。

光接收器163通过显示器330的边框的光学窗口等从外部控制设备接收光信号(包括控制信号)。光接收器163可以接收对应于用户输入的光信号(例如，触摸、按压、触摸手势、语音或运动)。可以根据处理器310的控制从接收到的光信号中提取控制信号。

根据处理器310的控制，i/o接口170从图像显示装置100b之外的源接收视频(例如，运动图像等)、音频(例如，语音、音乐等)、附加信息(例如epg等)等。i/o接口170可以包括高清晰度多媒体接口(hdmi)端口171、组件插孔172、个人计算机(pc)端口173和通用串行总线(usb)端口174。i/o接口170可以包括hdmi端口171、组件插孔172、pc端口173和usb端口174的组合。

处理器310控制图像显示装置100b的操作和图像显示装置100b内的组件之间的信号流，并处理数据。当存在用户输入或用户输入满足预设和存储的条件时，处理器310可以执行存储在存储器120中的操作系统(os)或各种应用程序。

用户输入接口190是用户输入数据以便控制图像显示装置100b的组件。例如，用户输入接口190可以包括键盘、圆顶开关、触摸板(例如，触摸电容式触摸板、压力型触摸板、红外线感测型触摸板、表面声波类型触摸板、积分应变计型触摸板、压电效果型触摸板等)、滚轮和/或点动开关，但实施例不限于此。

用户输入可以是用于改变视点的输入。当用户输入接口190是键盘或穹顶开关时，用于改变视点的用户输入可以是点击或按下与特定方向对应的键的输入。或者，当用户输入接口190是触摸板时，用户输入可以是触摸对应于某个方向的键的输入。然而，实施例不限于此。

关于用于改变视点的用户输入，视点的改变程度可以根据点击或触摸键的方法而不同。例如，当按压或触摸键至少一段时间时，视点可以不断变化。当在短时间内点击或按下键时，视点可以以某一角度部分为单位改变。例如，当用户单击与向右方向相对应的键一次时，视点可以以30度的间隔向右移动。

用户输入接口190可以是上述控制设备101的组件或图像显示装置100b的组件。

存储器120可以存储用于控制图像显示装置100b的程序，并且可以存储输入到图像显示装置100b或从图像显示装置100b输出的数据。

存储器120可以包括闪存型存储介质、硬盘型存储介质、多媒体卡微型存储介质、卡型存储器(例如，sd卡，xd存储器等)、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器prom)、磁存储器、磁盘和光盘中的至少一种存储介质。

存储器120可以包括一个模块，该模块包括一个或多个指令，用于基于关于当前视点的信息从平面格式360度图像确定复制区域，通过映射对应于复制区域的图像到球体来生成球形格式360度图像，通过渲染球形格式360度图像生成输出图像，并显示输出图像。

图3和图4的图像显示装置100a和100b的框图示出了示例实施例。根据实际实现的图像显示装置(例如，图像显示装置100a和100b)的规格，可以向框图中所示的组件添加或组合一些组件，或者可以删除框图中所示的组件。例如，根据需要，可以将两个以上的组件整合为一个组件，也可以将一个组件分成两个以上的组件。此外，描述由组件执行的功能以解释示例实施例，并且特定操作或设备不限制本公开的范围。

图5a、5b和5c是用于说明根据示例实施例的确定复制区域的方法的图。

图像显示装置100可以基于关于当前视点的信息从平面格式360度图像确定复制区域。

如上所述，复制区域可以是要发送到gpu320以进行图形处理的平面格式360度图像的区域。

平面格式360度图像可以是通过对经由外部源或网络接收的360度图像进行解码而生成的图像，但不限于此。

在显示器330上不显示整个360度图像，但是在显示器330上显示与当前视点对应的图像。例如，参照图5a，图像显示装置100可以在显示器330上显示与当前视点对应的区域511的图像，其中区域511是平面格式360度图像510的一部分。

图像显示装置100可以基于关于当前视点的信息来确定在显示器330上显示的平面格式360度图像510的区域，并且可以从显示在显示器330上的区域确定复制区域显示。

参考图5a的表500，图像显示装置100可以通过使用水平角度、垂直角度、视角以及距离球体的中心点的距离来指示当前视点。例如，当水平角度为0度时，垂直角度为0度，视角为120度，且距球体的中心点的距离为0时，图像显示装置100可以将平面格式360度图像510的中心区域511确定为显示在显示器330上的区域。

另外，参照图5b的表520，当水平角为90度时，垂直角度为0度，视角为120度，距离球体的中心点的距离为0时，在显示器330上显示的平面格式360度图像530的区域531可以是从图5a所示的区域511向右移动90度的区域。

作为平面格式360度图像510的元信息，图像显示装置100可以存储关于水平角度、垂直角度、视角以及距球体的中心点的距离的信息。或者，根据示例性实施例，图像显示装置100可以预先存储显示器330上显示的区域与水平角度、垂直角度、视角以及距离球体中心点的距离之间的映射关系。然而，实施例不限于此。图像显示装置100可以基于预设的映射关系或信息来确定与当前视点对应的区域。

图像显示装置100可以将复制区域确定为与在图像显示装置100上显示的区域511相同的区域。如图5a所示，图像显示装置100可以确定具有比区域511的尺寸大一定比例的尺寸的区域512作为复制区域。当复制区域被确定为比显示器330上显示的区域511大一定比例的区域512时，尽管图像显示装置100响应于用于改变当前视点的输入不快速改变复制区域，但是图像显示装置100可以显示360度图像而不进行缓冲。

如上所述，根据示例性实施例，形成关于当前视点的信息的元件可以不同。

例如，参考图5c，关于当前视点的信息540可以仅包括水平角度和垂直角度。例如，当水平角度为0度且垂直角度为90度时，显示器330上显示的区域可以是平面格式360度图像550的上部区域551。在这种情况下，复制区域可以是与显示器330上显示的区域相同的区域551。然而，复制区域不限于此。

取决于关于当前视点的信息，图像显示装置100可以不同地确定复制区域的形状和尺寸中的至少一个。例如，如图5a至5c所示，取决于关于当前视点的信息，图5a和5b的复制区域512和532的形状和尺寸中的至少一个可以不同于图5c的复制区域551的形状和尺寸中的至少一个。

图6是用于说明根据示例性实施例的生成球形格式360度图像的方法的图。

图像显示装置100可以将对应于复制区域的图像发送到gpu320。gpu320可以通过使用与复制区域相对应的发送的图像来生成球形格式360度图像。

例如，参考图6，图像显示装置100可以向gpu320发送与平面格式360度图像600的复制区域601相对应的图像。因此，图像显示装置100可以减少发送到gpu320的数据量。

gpu320可以将对应于复制区域601的图像映射到球体610，并且可以生成球形格式360度图像611。gpu320可以通过使用与复制区域601相对应的图像而不是平面格式360度图像600来生成球形格式360度图像611，并且可以减少生成球形格式360所花费的时间量。gpu320生成球形格式360度图像的处理是本领域普通技术人员所熟知的，因此将不再详细描述。

图7是用于说明根据示例实施例的通过渲染球形格式的360度图像来生成输出图像的方法的图。

参考图7，gpu320可以通过渲染球形格式360度图像700来生成输出图像710。

例如，gpu320可以基于球形格式360度图像700，根据屏幕的布局来计算诸如坐标、形状、尺寸和颜色的属性值。gpu320可以基于所计算的属性值来生成输出图像710。由gpu320呈现球形格式360度图像700的过程是本领域普通技术人员所熟知的，因此将不再详细描述。

图像显示装置100可以显示由gpu320生成的输出图像710。

图8a、8b和8c是用于说明根据示例性实施例改变当前视点的情况的图。

根据示例性实施例的图像显示装置100可以响应于用于改变当前视点的输入来改变关于当前视点的信息。

当前视点可以根据用户通过控制设备101的向特定方向移动当前视点的输入和图像显示装置100的内部指令进行改变。例如，参考8a，图像显示装置100可以通过使用控制设备101来接收向右移动当前视点的输入801。向右移动当前视点的输入801可以是在控制设备101上点击或触摸右键的输入，但不限于此。

根据示例性实施例的图像显示装置100响应于用户将当前视点在特定方向移动的输入可以改变形成关于当前观点的信息的属性(例如，水平角度、垂直角度、视角、球体的中心点等)中的至少一个。例如，参考图8b，图像显示装置100可以将0度的水平角度812改变为90度的水平角度822。

根据示例实施例的图像显示装置100可以基于关于改变的当前视点的信息来改变复制区域。

例如，参考图8b，当水平角度为0度时，垂直角度为0度，视角为120度时，复制区域可以是平面格式360度图像810的中心区域811。当包括在关于当前视点的信息中的水平角度从0度变化到90度时，可以将复制区域改变为平面格式360度图像820的右侧区域821。例如，复制区域可以是与图8b的左视图中所示的复制区域相比，向右移动90度的区域。

图像显示装置100可以将对应于改变的复制区域的图像发送到gpu320。

参考图8c，gpu320可以将与平面格式360度图像830的改变的复制区域831相对应的图像映射到球形840，并且可以生成球形格式360度图像850。此外，gpu320可以通过渲染生成的球形格式360度图像850来生成输出图像。

图像显示装置100可以在显示器330上显示由gpu320生成的输出图像。

图9是根据示例实施例的显示图像的方法的流程图。

在操作s910中，图像显示装置100基于关于当前视点的信息来确定平面格式360度图像的复制区域。

如上所述，复制区域可以是被发送到gpu320以进行图形处理的平面格式360度图像的区域。可以通过使用水平角度、垂直角度、视角以及距离球体的中心点的距离中的至少一个来指示当前视点。此外，复制区域可以具有根据关于当前视点的信息而不同的形状和尺寸。

图像显示装置100可以基于关于当前视点的信息来确定在显示器330上显示的区域。图像显示装置100可以从显示器330上显示的区域确定复制区域。处理器310可以将具有大于显示器330上显示的区域的尺寸的一定比例的尺寸的区域确定为复制区域。或者，根据示例实施例，处理器310可以将复制区域确定为与显示器330上显示的区域相同的区域。然而，复制区域不限于此。

当平面格式360度图像是360度视频的第一帧时，根据示例实施例的图像显示装置100可以基于关于预设视点的信息来确定复制区域。在这种情况下，关于预设视点的信息可以根据图像显示装置100的用户输入和/或内部设置而不同。

根据示例性实施例的图像显示装置100可以响应于用于改变视点的输入来改变关于当前视点的信息。此外，图像显示装置100可以基于关于改变的当前视点的信息来改变复制区域。

图像显示装置100可以将与平面格式360度图像的复制区域相对应的图像发送到gpu320。

在操作s920中，图像显示装置100可以通过将对应于复制区域的图像映射到球体来生成球形格式360度图像。

在操作s930中，图像显示装置100可以通过渲染球形格式360度图像来生成输出图像。

在操作s940中，图像显示装置100显示输出图像。

图10是根据另一示例性实施例的显示图像的方法的流程图。

由图像显示装置100显示的360度图像可以包括360度视频。360度视频可能包括视频帧。在这种情况下，图像显示装置100可以以每秒十帧(fps)的速率再现360度视频。例如，当以30fps的速率再现360度视频时，对每个视频帧执行图形处理，并且在显示器330上显示每帧所需的时间量必须在33ms内。因此，需要减少对接收到的每个视频帧执行图形处理所花费的时间量的方法，使得图像显示装置100可以不缓冲地再现360度视频。

图像显示装置100可以基于关于每个视频帧的关于当前视点的信息来确定复制区域，并且可以将与复制区域相对应的区域发送到gpu320。

图像显示装置100可以确定关于当前视点的信息是否已经相对于每个视频帧改变，并且因此如果关于当前视点的信息没有被改变，则可以重用先前确定的复制区域。因此，对每个视频帧执行图形处理所花费的时间可能会减少。

在操作s1000中，图像显示装置100可以接收视频帧。

在操作s1010中，图像显示装置100可以检查所接收的视频帧是否是360度视频的第一帧。

例如，当接收的视频帧是360度视频的第一帧(s1010-是)时，可能不存储关于当前视点的信息。在这种情况下，在操作s1020中，图像显示装置100可以基于关于先前确定的视点的信息来确定复制区域。例如，图像显示装置100可以预先设置0度的水平角度、0度的垂直角度和80度的视角为关于先前确定的视点的信息。因此，当接收到的视频帧是360度视频的第一帧时，图像显示装置100可以确定具有0度的水平角度、0度的垂直角度和80度视角的复制区域度，而不用等待单独的输入。

此外，关于先前确定的视点的信息可以根据图像显示装置100的用户输入或内部设置而不同。

当接收到的视频帧不是360度视频的第一帧(s1010-否)时，图像显示装置100可以检查关于当前视点的信息是否已改变(操作s1030)。

当关于当前视点的信息已被改变(s1030-否)时，图像显示装置100不必改变复制区域。因此，图像显示装置100可以重新使用关于前一帧确定的复制区域。然而，当关于当前视点的信息已经改变(s1030-是)时，图像显示装置100可以基于改变的关于当前视点的信息来确定复制区域(操作s1040)。

在操作s1050中，图像显示装置100可以将对应于复制区域的平面格式360度图像的图像发送到gpu320。

在操作s1060中，图像显示装置100的gpu320可以通过映射与复制区域相对应的图像来生成球形格式360度图像，并且可以通过渲染360度球形格式图像来生成输出图像。

在操作s1070中，图像显示装置100可以显示所生成的输出图像。

一个或多个示例性实施例也可以体现为要在各种计算机装置中执行的编程命令，然后可以被记录到非暂时计算机可读记录介质。非暂时计算机可读记录介质可以包括一个或多个编程命令、数据文件、数据结构等。记录在非暂时计算机可读记录介质上的编程命令可以被特别设计或配置为一个或多个示例性实施例，或者是本领域普通技术人员所熟知的。非暂时计算机可读记录介质的示例包括：包括硬盘、磁带和软盘的磁介质；包括cd-rom和dvd的光学介质；包括光盘的磁光介质；以及设计用于存储和执行rom、ram、闪速存储器等中的编程命令的硬件装置。编程命令的示例不仅包括由编译器生成的机器代码，还包括通过使用解释器在计算机中执行的高级编程语言。硬件装置可以被配置为用作一个或多个软件模块的功能，以便执行一个或多个示例实施例的操作，反之亦然。

应当理解，本文描述的示例性实施例应仅在描述性意义上被考虑，而不是为了限制的目的。在其他示例性实施例中，每个示例性实施例中的特征或方面的描述通常应被认为可用于其他类似特征或方面。

虽然已经参考附图描述了一个或多个示例性实施例，但是本领域普通技术人员将会理解，在不脱离所定义的精神和范围的情况下，可以在形式和细节上进行各种改变通过以下权利要求。