显示装置及其显示方法与流程

与示例性实施例一致的装置和方法涉及显示装置及其显示方法，并且更具体地，涉及用于在显示器的区域中显示图像的显示装置及其显示方法。

背景技术：

显示装置可以处理从外部源接收到的数字或模拟图像信号、以及作为压缩文件被存储在内部存储设备中的图像信号，并且可以基于处理后的图像信号来生成图像。

如果输入具有与显示器的屏幕比不同的比率的图像，则现有的显示装置可能将输入图像与黑色条一起显示以填充显示屏幕。

技术实现要素：

技术问题

当在显示屏幕中出现黑色条时，一些人可能发现这些黑色条令人分心并且可能难以沉浸于观看图像中。

技术方案

示例性实施例至少解决上述问题和/或缺点以及以上未描述的其他缺点。此外，示例性实施例不需要克服上述缺点，并且可以不克服上述任何一个问题。

一个或多个示例性实施例提供了一种显示装置及其显示方法，所述显示装置用于通过如下操作使用户能够沉浸于观看输入图像中：当在显示装置的显示器的区域中显示输入图像时，在显示器的其他区域中显示出现在显示装置后面的背景图像，其中在所述其他区域中不显示输入图像。

根据示例性实施例的一方面，提供了一种显示装置，包括：显示器，被配置为显示主图像；以及处理器，被配置为控制显示器以与显示器的宽高比不同的预设图像比来显示主图像，并且响应于在显示器中存在显示器的未显示主图像的空区域，控制显示器在空区域中显示辅图像，其中，辅图像可以对应于位于显示装置后面的背景区域的图像，或者对应于围绕显示装置的周围区域的图像。

显示装置还可以包括：图像处理器，被配置为生成与主图像相对应的第一层，生成与辅图像相对应的第二层，并将第一层与第二层组合以在空区域中显示第二层。处理器还可以被配置为控制显示器和图像处理器在显示器上显示混合的图像。

图像处理器可以被配置为将第二层与第一层的黑色区域混合。

处理器可以被配置为控制显示器在主图像与辅图像之间的边界上显示虚拟边框。

显示装置还可以包括：传感器，被配置为感测外部光环境，其中，处理器还可以被配置为基于感测到的外部光环境来确定照明方向，并且控制显示器在与确定的照明方向相对应的位置中显示虚拟边框的阴影对象。

响应于辅图像的一部分图案被显示在空区域中的预定位置处，处理器还可以控制显示器改变该一部分图案在空区域中的位置。

处理器可以被配置为控制显示器在辅图像的预设区域中显示第三图像。

处理器还可以被配置为从主图像中提取主图像中包括的对象，并控制显示器在显示器的区域中显示提取到的对象。

主图像可以包括前景图像和背景图像，并且处理器还可以被配置为从主图像中提取前景图像作为对象，并且控制显示器在显示器上显示提取到的对象。

响应于主图像中包括的多个对象被均匀地布置，处理器还可以被配置为提取除多个对象之外的其他多个对象，并且控制显示器在显示器上显示提取到的其他多个对象。

处理器还可以被配置为从主图像的背景图像中确定消失点，基于消失点提取区域，并且控制显示器在显示器上显示提取到的区域。

响应于主图像包括第一对象和与第一对象对称的第二对象，处理器还可以被配置为从主图像中提取第一对象和第二对象，并且控制显示器在显示器上显示提取到的第一对象和第二对象。

处理器还可以被配置为确定主图像中包括的对象的位置，并且控制显示器在显示器的与所确定的位置相对应的区域中显示主图像。

处理器还可以被配置为确定主图像中包括的对象的眼方向，并且控制显示器在显示器上的存在于与确定的眼方向相反的方向上的区域中显示主图像。

根据另一示例性实施例的一方面，提供了一种显示方法，包括：在显示器上以预设图像比来显示主图像；确定在显示器上是否存在未显示主图像的空区域；以及响应于确定存在空区域，在空白中显示辅图像，其中，辅图像可以对应于位于显示器后面的背景区域的图像，或者对应于围绕显示器的周围区域的图像。

显示辅图像可以包括：生成与主图像相对应的第一层，生成与辅图像相对应的第二层，并且将第一层与第二层组合以在空区域中显示第二层。

组合可以包括将第二层与第一层的黑色区域组合。

显示辅图像可以包括在主图像与辅图像之间的边界上显示虚拟边框。

显示方法还可以包括：感测显示器的外部光环境；以及基于感测到的外部光环境来确定照明方向，其中，显示辅图像可以包括在与确定的照明方向相对应的位置中一起显示虚拟边框的阴影对象。

显示辅图像可以包括：响应于辅图像的一部分图案被显示在空区域中的预定位置处，改变该一部分图案的位置。

根据另一示例性实施例的一方面，提供了一种显示装置，包括：显示器，被配置为显示主要图像；处理器，被配置为确定主要图像的尺寸是否小于显示器的屏幕的尺寸，响应于主要图像的尺寸小于屏幕的尺寸来生成无缝地重复背景图案的辅图像，其中背景图案表示存在于显示器后面的区域中或存在于围绕显示器的区域中的图案，以及控制显示器将主要图像铺设在辅图像上方。

显示装置还可以包括：光学传感器，被配置为检测外界光的强度，其中，处理器还可以被配置为基于外界光的强度来调整辅图像的亮度等级。

辅图像的背景图案可以包括重复对象，并且处理器还可以被配置为响应于至少一个重复对象被显示为紧邻主要图像来布置该至少一个重复对象。

有益效果

根据各种示例性实施例，显示装置可以通过如下操作使观看输入图像的用户沉浸其中：当在显示器的区域中显示输入图像时，在显示器的其他区域中显示出现在显示装置后面的背景图像，其中在所述其他区域中不显示输入图像。

此外，当在显示器的区域中显示输入图像时，显示装置可以通过提取并显示输入图像中包括的对象的一部分来向用户提供作为输入图像要点的一部分。另外，显示装置可以通过在自然且稳定的位置中显示输入图像来使用户能够在美学上欣赏输入图像。

附图说明

通过参照附图描述特定示例性实施例，上述和/或其他方面将更加明显，在附图中：

图1示出了根据示例性实施例的应用于显示装置的背景图像的视觉效果；

图2是根据示例性实施例的显示装置的简化配置的框图；

图3是根据示例性实施例的显示装置的详细配置的框图；

图4是根据示例性实施例的图3的图像处理器的详细配置的框图；

图5示出了第一操作模式中的显示屏幕的示例；

图6和图7示出了根据宽高比的变化的显示屏幕的各种示例；

图8示出了第二操作模式中的显示屏幕的示例；

图9示出了根据主屏幕的位置变化的显示屏幕的示例；

图10示出了显示第三图像的显示屏幕的示例；

图11示出了显示虚拟边框的显示屏幕的示例；

图12示出了检查预设图案并且根据检查到的预设图案来控制背景屏幕的示例；

图13示出了在显示装置枢转的情况下在空白屏幕上显示背景屏幕的示例；

图14至图17示出了通过使用显示装置来提取主图像中包括的对象并且在显示器的区域中显示包括提取到的对象在内的图像的示例；

图18a、图18b、图19a和图19b示出了基于主图像中包括的对象的属性通过使用显示装置来在显示器的区域中显示主图像的方法；

图20是根据示例性实施例的显示方法的流程图；以及

图21是根据另一示例性实施例的显示方法的流程图。

具体实施方式

发明的实施例

下文参照附图更详细地描述示例性实施例。

在以下描述中，即使在不同附图中，相同的附图标记也用于相同的元件。提供描述中定义的内容(例如详细构造和元件)以帮助全面理解示例性实施例。然而，应当清楚，即便在缺少这些具体定义的内容的情况下，也能够实践示例性实施例。此外，由于公知的功能或构造会以不必要的细节使模糊描述，因此没有对其进行详细地描述。

尽管术语“第一”、“第二”等可以在本文用于描述各种元件而不考虑顺序和/或重要性，但是这些元件不应该受这些术语的限制。这些术语仅用来将一个元件与另一元件区分开来。

本文使用的术语仅用于描述具体的示例性实施例，而不意在限制本公开的范围。只要在上下文中没有另外定义，那么单数表达还包括复数意义。在本申请中，术语“包括”和“包含”指明写在说明书中的特征、数量、步骤、操作、组件、元件或其组合的存在，但并不排除一个或多个其它特征、数量、步骤、操作、组件、元件或其组合的存在或者添加它们的可能性。

在示例实施例中，“模块”或“部件”执行至少一个功能或操作，并且可以使用硬件、软件或者硬件与软件的组合来实现。此外，除了必须被实现为特定硬件的“模块”或“部件”之外，多个“模块”或多个“部件”可以被整合成至少一个模块，从而被实现为至少一个处理器。

图1示出了根据示例性实施例的应用于显示装置的背景图像的视觉效果。背景图像可以对应于位于显示装置后面的区域的图像，或者对应于围绕显示装置的区域的图像。背景图像也可以被称为辅图像，以与包括背景和前景的图像区分开来。

图1示出了根据示例性实施例的显示装置100的操作。

根据示例性实施例的显示装置100可以具有两种操作模式。在第一操作模式中，显示装置100可以通过使用显示装置100的整个屏幕来显示正常图像，例如，预先存储的内容或者从外部源接收到的广播。

在第二操作模式中，显示装置100可以显示逼真地融入显示装置100的实际背景中的背景屏幕，并且因此用户可能不容易识别出显示装置100的存在。这里，背景屏幕可以是通过预先捕获显示装置100后面的实际背景而获取的屏幕。

如果在第二操作模式中显示背景屏幕，则显示装置100将隐藏在显示装置100后面的背景的图像显示为显示装置100的背景屏幕。因此，用户可能感觉好像显示装置100变成了透明窗口。

在第二操作模式中，可以仅显示背景屏幕或者可以与特定对象一起显示背景屏幕。这里，特定对象可以是时钟对象，也可以显示可以附着到普通墙壁上的各种类型的对象(例如，图片、照片、鱼缸等)。

如果显示装置100在第二操作模式中操作，则显示装置100可以设置背景屏幕的亮度，其中该亮度使背景屏幕的亮度与真实背景环境的亮度之间的差小于预定值。预定值被设置为可能不被人感知到的亮度差。因此，用户可能无法识别出显示装置100与真实背景环境之间的差异。

可以根据显示装置100的周围环境的变化来自适应地改变在显示装置100上显示的背景屏幕。

结果，根据本示例性实施例的显示装置100可以感测外界光环境，并且可以根据感测到的外界光环境来自适应地控制在显示装置100上显示的图像的亮度。

如果显示装置100将背景屏幕与对象一起显示，则显示装置100可以提供使显示的对象和背景屏幕能够具有不同深度的三维效果。

显示装置100通过使用屏幕的整个区域来显示图像，或者可以根据用户选择的屏幕比通过仅使用屏幕的一部分而不是使用屏幕的整个区域来显示图像。例如，当在比率为16∶9的显示器上显示比率为4：3的内容时，可以通过各种类型的屏幕处理来显示内容。各种类型的屏幕处理之一是通过将内容屏幕的比率4∶3转换成16：9来显示内容。

另一种类型的屏幕处理是如下方法：以4∶3的比率按原样显示内容，并且在内容图像的左侧和/或右侧一起显示空区域。在这种情况下，黑色空区域被布置在图像的左侧和右侧。如果显示了这样的空区域，则用户同时看到包括真实背景、黑色和图像的三种不同类型的环境，并且因此降低了用户对图像的专注度。这里，空区域可以被称为空白区域、黑色区域、黑色条、图像不显示区域等。

因此，如果当根据本示例性实施例的显示装置100在第一操作模式下操作时存在不显示主图像的空白图像，则可以在该空图像中显示背景图像。结果，用户不需要看到不同的空白图像，并且因此可以专注于主图像。在这样的空白图像中显示背景图像的功能可以是与第一操作模式区分开的附加第三操作模式，并且还可以在第一操作模式下自动地操作。

在所示的示例性实施例中，背景区域被显示在现有的空区域中，并且因此在最终结果中不显示空区域。然而，在下文中，为了便于描述，未显示主图像的区域将被称为空区域。主图像也可以被称为主要图像，并且在空区域中显示的图像可以被称为辅图像。

在下文中，将通过使用显示装置的详细元件来详细描述上述操作。

图2是根据示例性实施例的显示装置100的简化配置的框图。

参考图2，显示装置100包括处理器120和显示器200。

显示器200显示图像。显示器200可以被实现为各种类型的显示器，例如液晶显示器(lcd)、等离子显示器面板(pdp)等。显示器200还可以包括驱动电路、背光单元等，其中驱动电路可以被实现为诸如非晶硅(a-si)薄膜晶体管(tft)、低温多晶硅(ltps)tft、有机tft(otft)等类型。显示器200可以通过与触摸传感器单元组合而被实现为触摸屏。

显示器200包括背光。这里，背光作为包括多个光源的点光源操作，并且支持局部调光。

这里，可以将构成背光的光源构成为冷阴极荧光灯(ccfl)或发光二极管(led)。在下文，背光将被示出和描述为包括led和led驱动电路，但是除了led之外，还可以被实现为另一种类型的元件。并且，构成背光的多个光源可以用各种形式来布置，并且可以使用各种类型的局部调光技术。例如，背光可以是直下型背光，其中以矩阵形式将多个光源布置为均匀地布置在lcd的整个区域中。在这种情况下，背光可以作为全阵列局部调光或直接局部调光来操作。这里，全阵列局部调光是使光源均匀地布置在lcd的背面并且控制每个光源的照度的调光方法。并且，直接局部调光是类似于全阵列局部调光来布置数量少于全阵列局部调光的光源并且控制每个光源的照度的调光方法。

另外，背光可以是边缘型背光，其中仅在lcd的边缘上布置多个光源。在这种情况下，背光可以作为边缘照明局部调光来操作。这里，边缘照明局部调光可以包括布置在面板的边缘、面板的左侧和/或右侧、面板的上侧和下侧、或者面板的左侧和/或右侧和上侧和/或下侧的多个光源。

处理器120控制显示装置100的总体操作。详细地，处理器120确定显示装置100的操作模式。更详细地，如果从用户输入tv显示命令或内容显示命令，则处理器120可以确定显示装置100的操作模式是显示正常图像的第一操作模式。

如果在第一操作模式中输入了电源命令或者输入了操作模式的改变命令，则处理器120可以确定显示装置100的操作模式是显示背景屏幕的第二操作模式。因此，根据示例性实施例，可以根据用户的正常电源操作来改变第一操作模式和第二操作模式。

此外，如果当显示装置100在第一操作模式或第二操作模式下操作时用户按下电源按钮达预设时间，则处理器120可以将显示装置100的操作模式改变为正常断电模式。

另外，如果在正常断电模式下输入电源命令，则处理器120可以确定显示装置100以恰好在断电之前设置的操作模式来操作。

如果显示装置100的操作模式被确定为第一操作模式，则处理器120可以控制显示器200根据通过操纵器175输入的控制命令来显示图像。

这里，处理器120可以控制显示器200以预设图像比来显示主图像。例如，用户可以预设所显示的图像的比率(例如，16：9、4：3等)，接收显示器200与内容之间的相关性的设置(例如，填充显示器200，将显示器200布置为居中等)，以及根据该预设状态来控制显示器200显示主图像。

如果在显示图像的过程中从用户输入图像比的改变命令，则处理器120可以控制显示器200以改变后的比率来显示图像。

处理器120还可以检查显示装置100的旋转状态(或枢轴状态)，并且根据检查到的旋转状态来控制显示器200显示主图像。

另外，处理器120可以控制显示器200在空区域中显示背景图像，其中空区域由于显示器200与图像之间的比率差异而出现。详细地，处理器120通过检查显示器200是否包括用黑色显示的区域(或者显示器200是否包括主层未被填充的区域)来检查显示器200上的空区域。更详细地，处理器120可以通过检查未在与主图像相对应的第一层上显示主图像的区域(即，黑色区域)来检查空区域。

如上所述，根据是否存在黑色区域来检查空区域。然而，可以基于主图像的显示区域或根据用户设置的内容显示方法来检查空区域。换句话说，除了上述方法之外，还可以根据各种方法来检查空区域。

此外，如果检查到空区域，则处理器120可以控制显示器200显示与检查到的空区域中的对应位置相对应的一部分背景图像。这里，背景图像可以是位于显示装置100后面的背景区域的照片图像或者是围绕显示装置100的区域的图像。此外，背景图像还可以包括附加图形图像。

例如，显示装置100后面的背景的图像或者围绕显示装置100的区域的图像可以由显示装置100中包括的相机或者由另一外部设备(例如，智能手机相机)捕获。显示装置100的处理器120可以重复地生成所捕获的背景图像或周围图像，并且无缝地渲染重复的图像之间的边界线。

这里，处理器120可以控制显示器200以使得能够将虚拟边框定位在主图像与背景图像之间。如上所述，可以通过在主图像与背景图像之间显示虚拟边框来提供在墙壁上安装小于真实显示装置的显示器的效果。

处理器120还可以通过以下操作来使虚拟边框能够被进一步逼真地看到：感测光环境，根据感测到的光环境来检查光的方向，并且在与检查到的光的方向相对应的位置中一起显示虚拟边框的阴影对象。

如果由主图像显示背景图像的一部分预设图案，则处理器120可以控制显示器200以控制和显示预设图案在背景图像中的位置。稍后将参考图12描述该操作。

处理器120还可以在显示装置100以横向模式操作时通过使用第一背景图像来执行上述操作，并且在显示装置100以纵向模式操作时通过使用第二背景图像来执行上述操作。详细地，最近发布的显示装置100可以支持使显示装置100能够枢转(pivot)的枢转功能，并且可以根据枢转功能将其模式改变为横向模式或纵向模式。

然而，由于在横向模式和纵向模式中分别用显示器100覆盖的背景不同，因此处理器120可以根据枢轴状态通过使用不同的背景图像来执行操作。稍后将参考图13描述该操作的示例。

如果显示装置100的操作模式被确定为第二操作模式，则处理器120可以控制显示器200显示背景图像。

处理器120还可以控制传感器单元180感测显示装置100的周边的光环境，并且可以根据感测到的光环境来确定光的强度和方向。

处理器120还可以对将根据感测到的光环境(例如，光的强度和方向)显示的背景图像执行图像处理。详细地，处理器120可以基于由传感器单元180感测到的色温来执行图像处理，以改变背景图像的色温。传感器单元180可以被实现为光学传感器。

另外，处理器120可以控制显示器200在显示背景图像时一起显示对象。详细地，处理器120可以生成包括预设对象和背景图像的屏幕，并且向显示器200提供所生成的屏幕。这里，预设对象可以是模拟时钟或数字时钟等，也可以是各种类型的图形对象，例如照片、图片、鱼缸等。这样的图形对象可以是静态图形对象，例如照片、图片等，或者可以是运动对象。

处理器120还可以根据感测到的光环境来确定光方向，并且控制显示器200在与确定的光方向相对应的位置中显示对象的阴影对象。

此外，处理器120可以根据感测到的光值和色温来确定阴影对象的尺寸，并且控制显示器200显示具有确定尺寸的阴影对象。例如，可以根据光的强度或色温来改变阴影。因此，根据本示例性实施例的显示装置100还可以基于光的强度和色温来生成并显示图形对象。

另外，为了在以第二操作模式操作时节省电源，处理器120可以仅在显示装置100(例如，使用红外传感器)确定用户存在于距显示装置100的预定距离范围内时才显示背景图像。如果在以第二操作模式操作时显示装置100确定用户没有位于距显示装置100的预定距离范围内，则处理器120可以不显示背景图像。根据示例性实施例，显示装置100可以不具有预定距离范围的信息，而是可以响应于红外传感器检测到用户来显示背景图像，而无需确定检测到的用户是否位于预定距离范围内。

处理器120还可以控制显示器200在第二操作模式下以比显示器200在第一操作模式下进行操作的帧速率更低的帧速率来进行操作。例如，如果显示器200在第一操作模式下以240hz的频率显示图像，则处理器120可以控制显示器200在第二操作模式下以小于240hz的120hz或60hz的频率来进行操作。

如果传感器单元180没有感测到用户，则处理器120可以控制显示器200不执行图像的显示操作。

另外，处理器120可以基于由稍后将描述的通信器(例如，通信接口)170接收到的天气信息来使对应的对象能够被显示，或者可以执行特定事件。例如，如果根据天气信息预报有雨，则处理器120可以控制显示器200在背景屏幕上显示与下雨有关的图形对象，或者可以控制音频输出单元155输出下雨的声音。

如上所述，根据本示例性实施例的显示装置100可以通过在当显示主图像时出现的空区域中显示背景屏幕来给予更加沉浸于主图像的体验。

以上已经描述了显示装置100的简化配置，但是显示装置100还可以包括如图3所示的元件。现在将参考图3描述显示装置100的详细配置。

如以上参考图2所述的，处理器120执行检查空区域并且在空区域中显示背景屏幕的操作。然而，检查空区域并且在空区域中显示背景屏幕的操作可以由附加装置来执行，并且处理器120可以控制对应的附加装置执行如上所述的操作。

图3是根据示例性实施例的显示装置100的详细配置的框图。

参考图3，根据本示例性实施例的显示装置100可以包括图像处理器11、处理器120、显示器200、广播接收器140、信号划分器145、音频/视频(a/v)处理器150、音频输出单元155、图像信号生成器、存储单元165、通信器170、操纵器175和传感器单元180。

图3的显示器200的配置与图2的显示器200的配置相同，并且因此将省略对该配置的重复描述。

图像处理器110生成用于为用户提供的图形用户界面(gui)。gui可以是屏上显示(osd)，并且图像处理器110可以被实现为数字信号处理器(dsp)。

图像处理器110还可以将所生成的gui添加到将从稍后描述的a/v处理器150输出的图像。另外，图像处理器110可以向显示器200提供与添加有gui的图像相对应的图像信号。因此，显示器200显示在显示装置100中提供的各种类型的信息和从图像信号生成器发送的图像。

另外，图像处理器110可以接收背景图像作为一个层(或主层)，接收由a/v处理器150生成的图像或者从处理器120提供的对象图像作为另一层(或子层)，输出两个层中的一个层或者将两个层合成(或混合)，并向显示器200提供合成的(或混合的)层。

详细地，图像处理器110可以生成与主图像相对应的第一层，生成与背景图像相对应的第二层，并且如果在第一层上检查到空区域则将第一层与第二层混合，以在第一层的空区域中显示第二层。

根据另一示例性实施例，图像处理器110可以将第一层铺设在第二层上方，使得观看者可以看到第一层的整个部分以及第二层的未被第一层覆盖的部分。

这里，图像处理器110可以对输入的两个层(即，主图像和背景图像)执行不同类型的图像处理，并且将被执行了不同类型的图像处理的两个层进行混合。

图像处理器110还可以对混合的(或合并的)图像执行图像质量后处理。

另外，图像处理器110可以提取与图像信号相对应的亮度信息并且生成与提取到的亮度信息相对应的一个调光信号(如果显示装置100按照全局调光进行操作)或多个调光信号(如果显示装置100按照局部调光进行操作)。这里，图像信号生成器可以考虑由传感器单元180感测到的光环境来生成如上所述的调光信号。调光信号可以是脉冲宽度调制(pwm)信号。

参考图4，图像处理器110被描述为与处理器120分离的部件，但是根据示例性实施例，由图像处理器110执行的全部或部分操作可以由处理器120执行。另外，处理器120可以被实施为多个处理器。

稍后将参考图4描述图像处理器110的详细配置和操作。

广播接收器140通过有线或无线来接收来自广播站或卫星的广播信号，并对广播信号进行解调。详细地，广播接收器140可以通过经由天线或电缆接收传输流并对传输流进行解调来输出数字传输流信号。

信号划分器145将从广播接收器140提供的传输流信号划分成图像信号、音频信号和附加信息信号。信号划分器145还向a/v处理器150发送图像信号和音频信号。

a/v处理器150对从广播接收器140和存储单元165输入的图像信号和音频信号执行信号处理，例如，视频解码、视频缩放、音频解码等。在本示例性实施例中，视频解码和视频缩放已经被描述为由a/v处理器150执行，但是上述操作可以由图像处理器110执行。此外，a/v处理器150向图像处理器110输出图像信号，并向音频输出单元155输出音频信号。

如果接收到的图像和音频信号被存储在存储单元165中，则a/v处理器150可以向存储单元165输出压缩格式的图像和音频。

音频输出单元155将从a/v处理器150输出的音频信号转换为声音，并通过扬声器输出声音，或者向通过外部输出端子连接的外部设备输出声音。

存储单元165可以存储图像内容。详细地，存储单元165可以从a/v处理器150接收压缩有图像和音频的图像内容，存储该图像内容，并且可以在处理器120的控制下向a/v处理器150输出所存储的图像内容。

存储单元165还可以存储预先捕获或预先生成的背景图像。此外，存储单元165可以存储与在第二操作模式下操作时可以显示的各种类型的对象相对应的程序或内容。另外，存储单元165可以存储用于视角改善处理的多个查找表。存储单元165可以实现为硬盘、非易失性存储器、易失性存储器等。

操纵器175可以通过被实现为触摸屏、触摸板、键按钮、小键盘等来提供对显示装置100的用户操纵。在本示例性实施例中，已经描述了通过显示装置100的操纵器175来输入控制命令的示例。然而，操纵器175可以从外部控制设备(例如，遥控器)接收用户操纵。

通信器170是根据各种类型的通信方法来与各种类型的外部设备执行通信的元件。通信器170可以包括wifi(无线保真)芯片和蓝牙芯片。处理器120可以通过使用通信器170来与各种类型的外部设备执行通信。详细地，通信器170可以从能够控制显示装置100的控制终端装置(例如，遥控器)接收控制命令。

通信器170可以通过与外部服务器的通信来获取天气信息。

根据示例性实施例，通信器170还可包括各种类型的外部输入端口、接收并处理数字多媒体广播(dmb)信号的dmb芯片等，其中该外部输入端口用于将显示装置100连接到各种类型的外部终端，例如可以连接usb连接器的通用串行总线(usb)端口、耳机、鼠标、局域网(lan)等。

传感器单元180感测显示装置100的周边的光环境。详细地，传感器单元180可以通过使用布置在显示装置100上的彼此分离的位置中的多个传感器来感测光方向。这里，传感器单元180可以是感测照度的照度传感器或感测照度、色温等的颜色传感器。上述传感器可以具有嵌入在显示装置100的框架中的形式，以便不受到显示器200发射的光的影响。

因此，如果传感器单元180包括两个传感器，则传感器单元180可以包括一个照度传感器和一个颜色传感器，或者可以包括两个颜色传感器。两个传感器都可以被实现为照度传感器，但是可以包括至少一个颜色传感器。

传感器单元180还可以包括红外(ir)传感器、超声波传感器、射频(rf)传感器等，并且可以感测用户的位置。传感器单元180可以通过使用诸如互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)之类的图像拾取器件来捕获预设区域，并且可以通过对所捕获的图像的图像分析来感测用户的位置。

处理器120控制显示装置100的总体操作。详细地，处理器120可以控制图像处理器110和显示器200根据在第一操作模式下通过操纵器175输入的控制命令来显示图像。

如果通过操纵器175输入主图像的尺寸和位置中的至少一项的改变命令，则处理器120可以基于输入的改变命令来控制显示器200改变并显示所显示的主图像的位置和尺寸中的至少一项。这里，改变命令可以包括比率改变。

处理器120可以包括只读存储器(rom)131、随机存取存储器(ram)132、图形处理单元(gpu)133、中央处理单元(cpu)134和总线。rom131、ram132、gpu133、cpu134等可以通过总线彼此连接。

cpu134通过访问存储单元165来使用存储在存储单元165中的操作系统(o/s)执行引导。cpu134还可以通过使用存储单元165中存储的各种类型的程序、内容、数据等来执行各种类型的操作。cpu134的这种操作与图2的处理器120的操作相同，并且因此将省略对该操作的重复描述。

rom131存储用于引导系统的命令集等。如果通过输入开启命令而供电，则cpu134通过将存储单元165中存储的o/s复制到ram132中并根据rom131中存储的命令执行o/s来引导系统。如果系统被完全引导，则cpu134通过将存储单元165中存储的各种类型的程序复制到ram132中并执行复制到ram132中的程序来执行各种类型的操作。

如果显示装置100被完全引导，则gpu133可以生成包括诸如图标、图像、文本等各种类型的对象在内的屏幕。详细地，如果显示装置100在第二操作模式下操作，则gpu133可以生成包括背景图像中的预设对象在内的屏幕。gpu133还可以生成包括与所显示的对象相对应的阴影对象和/或与显示装置100的框架相对应的阴影对象在内的屏幕。

gpu133可以被构造为诸如图像信号生成器之类的附加元件，或者可以被实现为与处理器120的cpu134组合的诸如片上系统(soc)之类的元件。

如上所述，根据本示例性实施例的显示装置100可以通过在当显示主图像时出现的空区域中显示背景屏幕来给予更加沉浸于主图像的体验。

图4是图3的图像处理器110的详细配置的框图。

参考图4，图像处理器110可以包括处理器111、混合器117和图像质量后处理器118。

处理器111对多个视频信号执行图像处理。详细地，处理器111可以同时对多个层执行图像处理。处理器111可以包括解码器112、缩放器113、图像质量处理器114、窗口115和图形缓冲器116。

处理器111确定输入图像的属性是视频信号还是图形信号，并且在输入图像的属性是视频信号的情况下，通过使用解码器112、缩放器113和图像质量处理器114来处理图像。例如，视频属性的图像通过输入单元210被输入到处理器111中，解码器112对输入的视频图像进行解码，缩放器113对解码后的视频图像进行缩放，并且图像质量处理器114对缩放后的视频图像执行图像质量处理并向混合器117输出图像质量处理后的视频图像。这里，视频属性的图像可以是从外部源输入的图像，或者是预先存储在显示装置100中的视频内容的图像。

如果输入图像的属性是图形信号，则处理器111通过使用窗口115和图形缓冲器116来处理图像。例如，如果通过输入单元210输入图形属性的对象图像(例如，游戏图像、背景图像或对象)，则处理器111可以通过窗口将115将图形信号呈现给图形缓冲器116，并且可以向混合器117输出在图形缓冲器116中生成的图像。

如上所述的处理器111可以处理多个图像，并且还可以处理多个层。处理器111已被描述为处理包括一个视频信号和一个图形信号在内的两个信号，但是本示例性实施例不限于此。处理器111可以通过使用多个层来处理两个视频信号中的每一个，或者可以通过使用多个层来处理两个图形信号中的每一个。处理器111还可以通过使用三层或更多个层而不是两层来处理两个视频信号或两个图形信号中的每一个。

图像质量处理器114可以根据视频信号和图形信号对图像执行图像处理，以实现各种类型的图像质量改善。这里，图像处理可以是视角改善处理、白平衡控制、噪声消除等。

混合器117可以将从处理器111发送的两个图像混合成一个图像。详细地，混合器117可以通过将与背景图像相对应的第二层与仅与主图像相对应的第一层的空区域混合来输出包括主图像和背景图像在内的混合图像。

此外，图像质量后处理器118可以对混合后的图像执行图像质量处理(例如，白平衡(w/b))，并且向显示器200发送图像质量处理后的图像。

图5示出了当以第一操作模式操作时显示的显示器的示例。图6和图7示出了根据屏幕比的变化的显示屏幕的各种示例。

参考图5，显示屏幕500以第一操作模式操作并以预设比率(例如，16∶9)显示内容。

根据比较示例，如果用户在该状态下将内容的显示比改变为例如4：3，则显示屏幕600可以以改变后的比率来显示内容610，如图6所示。当如上所述以改变后的比率来显示内容610时，根据比率差异，内容610的图像不存在的区域表现为空区域620(或黑色区域)。

如果用户看到如上所述的屏幕，则在用户面前显示背景、空区域和内容屏幕，并且因此降低了内容屏幕中的沉浸感。

在示例性实施例中，在空区域中显示背景屏幕，以防止由空区域引起的用户沉浸的障碍。结果，如图7所示，显示屏幕700一起显示主图像710和背景图像720。因此，用户可以更好地专注于主图像710。

图8示出了当以第二操作模式操作时显示的显示屏幕的示例。

参考图8，显示屏幕800以第二操作模式操作，并显示位于显示屏幕800后面的实际背景的图像作为背景屏幕810。

此外，显示屏幕800将时钟对象820和背景屏幕810一起显示。例如，时钟对象820被铺设在背景屏幕810上方。看到这样的屏幕的用户感觉好像时钟位于墙上一样。

在示例性实施例中，模拟时钟被示为铺设在背景屏幕801上方的图形对象，但是这仅仅是示例，并且可以应用各种类型的对象，例如，数字时钟、照片、运动图形图像(例如，鱼缸图像)等。

图9示出了根据主屏幕的位置改变显示的显示屏幕的示例。

参考图9，用户可以通过使用操纵器来控制主图像的位置或尺寸。例如，显示装置100可以根据用户输入来调整主屏幕911的尺寸和位置。此外，显示装置100可以根据用户输入来调整空区域的尺寸和位置。

因此，在本示例性实施例中，当显示尺寸根据用户操纵而改变的主图像911时，可以在未显示主图像911的空区域913中显示背景屏幕。

由于由空区域引起的美观原因，相关技术的显示装置可能不能自由地控制屏幕的尺寸，或者不能改变屏幕的位置。然而，根据本示例性实施例的显示装置100可以用背景屏幕替换空区域，并且因此可以进一步自由地控制主屏幕的尺寸和位置。

此外，随着如上所述的对主屏幕的尺寸的控制的自由度的增加，显示装置100可以不同地使用空区域。例如，诸如时钟之类的对象可以一起显示在不显示主图像的区域中。现在将参考图10对此进行描述。

图10示出了第三图像被一起显示的显示屏幕的示例。

参考图10，显示屏幕1000将主图像1010、背景图像1020和第三图像1030一起显示。

这里，第三图像1030可以是所示示例中的时钟对象，但不限于此。

例如，第三图像1030可以是另一移动图像(例如，子图像)。相关技术的显示装置可以使用画中画(pip)功能来显示两个图像(例如，主图像和子图像)。然而，pip功能的问题在于：当在主图像的区域中显示子图像时，用户可能看不到主图像的一部分。然而，在根据本示例性实施例的方法中，主图像和第三图像可以被显示在不同区域中。

第三图像可以是从外部装置发送的图像。例如，第三图像可以是通过前门的对讲机捕获的图像。因此，根据本示例性实施例的显示装置100可以汇集现有的对讲机(或可视电话)功能。

图11示出了还显示虚拟边框的显示屏幕的示例。

参考图11，当显示主图像1111和背景图像1112时，显示屏幕1110还显示主图像1111与背景图像1112之间的虚拟边框1113。此外，为了进一步增加虚拟边框1113的真实性，显示屏幕1110可以一起显示虚拟边框1113的阴影对象。

通过如上所述显示虚拟边框，用户可以感觉到好像只有显示主图像的区域是显示装置的整个区域。

此外，在所示示例中已经示出并描述了主图像被显示在固定位置中。但是，主图像和虚拟边框可以随时间移动。结果，可以提供使显示装置能够在墙壁上方浮动和移动的效果。

图12示出了检查预设图案并且根据检查到的预设图案来控制背景屏幕的示例。

参考图12，显示屏幕1210包括主屏幕1211和背景屏幕1212。

然而，如果背景屏幕1212包括特定图案，并且背景屏幕1212的特定图案被布置为紧邻主屏幕1211，则可能由于特定图案而阻碍用户沉浸于主屏幕1211。

如上所述，如果由于背景屏幕1212的特定图案而阻碍沉浸于主屏幕1211，则显示装置100可以通过在背景屏幕1212上移动图案1213来防止阻碍沉浸于主屏幕1211。

图13示出了在显示装置枢转的情况下在空白屏幕中显示背景屏幕的示例。

参考图13，显示装置100以横向模式1310操作。

如果用户将显示装置100顺时针旋转90度，则显示装置100可以以纵向模式1320操作。

因此，显示装置100根据改变的模式来控制和显示主图像的尺寸和位置。由于根据该控制出现空区域，因此显示装置100在未显示主图像1321的空区域中显示背景屏幕1323。由于隐藏在显示装置100后面的区域根据显示装置100是处于横向模式1310还是纵向模式1320而改变，因此显示装置100可以根据显示装置100是处于横向模式1310还是纵向模式1320来显示不同的背景屏幕。

图14至图17示出了通过使用显示装置来提取主图像中包括的对象并在显示器的区域中显示包括提取到的对象的图像的示例。在图14至图17中，为了便于描述，从主图像中提取的对象在显示器的中心示出，但不一定受限于此。根据稍后将参考图18和图19描述的方法，从主图像中提取的对象可以被布置在显示器的中心区域的上侧、下侧、左侧和右侧区域之一中。

图14示出了根据示例性实施例的在显示装置中的主图像包括前景图像和背景图像的情况下提取对象并在显示器的区域中显示提取到的对象的方法。

如果主图像包括前景图像和背景图像，则处理器120可以提取前景图像作为对象，并控制显示器200在显示器的区域中显示提取到的前景图像。

这里，前景图像是在由相机捕获的图像中最靠近相机的对象，即，与远距离存在的背景图像区分开的图像。例如，如果从正在看天空的人的上方捕获该人，则处理器120可以将该人的面部识别为前景图像并且将该人的面部后面的地面图像、该人的身体图像等识别为背景图像。

详细地，参考图14，如果当人在水中朝向天空倾斜地躺着时从上方捕获该人，则处理器120可以将该人的面部识别为前景图像并且将水的图像和人的身体识别为背景图像。

因此，处理器120可以从主图像中提取人的面部部分作为对象，并在显示器的区域中显示人的面部部分。

为此，根据示例性实施例的显示装置100还可以包括面部识别模块。因此，处理器120可以提取包括通过面部识别模块识别出的人的面部在内的对象，并在显示器中显示提取到的对象。

这里，已经描述了人的面部作为示例，但是这仅仅是示例性实施例。主图像可以是包括动物的面部在内的图像，或者可以是诸如食物图像、花朵图像等前景图像与背景图像一起构成的各种类型的图像。并且，根据示例性实施例的显示装置100还可以包括用于识别食物、花朵等的对象识别模块。

图15示出了根据示例性实施例的在主图像中包括的多个对象中的一些以相同图案(pattern)布置的情况下，在显示装置中提取该多个对象中除了以相同的图案布置的对象之外的其他对象并且在显示器的区域中显示提取到的对象的方法。

如果主图像中包括多个对象，并且该多个对象中的一些以相同的图案布置，则处理器120可以提取该多个对象中除了这些对象之外的其他对象，并在显示器的区域中显示提取到的对象。

这里，处理器120可以使用霍夫变换来确定主图像中包括的对象的图案。详细地，处理器120可以通过使用霍夫变换来提取主图像中包括的线段，并且基于线段的布置状态来确定对象的图案。

例如，如图15所示，如果在主图像中包括多个人像1510和1520，多个人像1510和1520中的一些人像1520以相同的图案布置，即布置在一行中，则处理器120可以将布置在一行中的人像1520识别为相同的图案。

处理器120还可以提取具有与布置在一行中的人像区别开的其他人像的对象。这里，具有除了布置在一行中的人像之外的其他人像的对象可以是以倾斜形式布置的人像1510。

因此，处理器120可以从主图像中提取以倾斜形式布置的人像1510，并且在显示器的区域中显示提取到的人像1510。

图16示出了根据示例性实施例的在显示装置中基于消失点从主图像中提取区域并在显示器的区域中显示提取到的图像的方法。

处理器120可以从主图像中包括的背景图像中确定消失点，基于消失点提取区域，并且在显示器的区域中显示提取到的区域。这里，消失点可以指当延长线被绘制为从主图像中包括的线段延长时延长线相交的点。

处理器120可以通过使用霍夫变换从主图像中包括的图像中确定消失点。详细地，处理器120可以通过使用霍夫变换来提取主图像中包括的线段，并且将提取到的线段的延长线相交的点确定为消失点。

例如，如图16所示，如果主图像中包括大海1610、沙滩1620和沥青路1630，则处理器120可以通过如下操作来确定延长线相交的消失点1640：通过使用霍夫变换来提取主图像中包括的线段，并且延长所提取的线段。

因此，处理器120可以基于消失点从主图像中提取区域，并且在显示器的区域中显示提取到的区域。

图17示出了根据示例性实施例的在主图像中存在对称对象的情况下，在显示装置中基于彼此对称的对象来提取区域并在显示器的区域中显示提取到的图像的方法。

如果在主图像中存在第一对象和与第一对象对称的第二对象，则处理器120可以提取第一对象和第二对象，并在显示器的区域中显示提取到的第一对象和第二对象。

具体地，处理器120可以通过使用霍夫变换从主图像中包括的图像中提取线段，并基于提取到的线段来确定对称的对象。

例如，参考图17，处理器120可以通过使用霍夫变换来提取主图像中包括的第一对象1710和第二对象1720的线段，并确定第一对象1710和第二对象1720中包括的线段是否彼此对称。

此外，如果确定第一对象1710与第二对象1720彼此对称，则处理器120可以基于第一对象1710和第二对象1720来提取主图像的区域，并在显示器上显示提取到的区域。在主图像的提取到的区域中，第一对象1710和第二对象1720可以出现在中心。附加地，第一对象1710和第二对象1720的整个部分可以显示在提取到区域中而不被切除。

如上所述，通过使用霍夫变换来分析对象的图案，提取消失点，以及确定对称的对象，但是本示例性实施例不一定受限于此。处理器120可以根据各种方法来分析对象的图案，提取消失点，以及确定对称的对象。

如以上参考图14至图17所述，根据示例性实施例的显示装置100可以从主图像中提取并显示特定区域。这里，提取到的图像可以是基于主图像中包括的对象而提取的区域，即，可以是作为主图像的要点的部分。因此，本示例性实施例可以向用户提供作为主图像的要点的区域和主图像的感兴趣区域。

图18a和图18b示出了基于主图像中包括的对象的属性在显示器的区域中显示主图像的方法。

图18a和图18b示出了根据主图像中存在的对象的位置改变在显示器上显示的主图像的位置。

处理器120可以从主图像中确定对象的位置。根据示例性实施例的显示装置100还可以包括对象识别模块或图形识别模块。

详细地，处理器120可以通过对象识别模块或图形识别模块来识别对象，并确定对象存在于主图像的整个区域中的哪个区域中。

处理器120还可以根据所确定的对象的位置来确定将在显示器上显示主图像的位置，并在所确定的位置中显示主图像。

例如，如图18a所示，如果确定对象1810存在于主图像的左下侧区域中，则处理器120可以将与在显示器上检查到的位置相对应的区域(即，显示器的左下侧区域)确定为将显示主图像的位置，并在所确定的位置中显示主图像。

并且，如图18b所示，如果确定对象1820存在于主图像的右下侧区域中，则处理器120可以将与在显示器上检查到的位置相对应的区域(即，显示器的右下侧区域)确定为将显示主图像的位置，并在所确定的位置中显示主图像。

图19a和图19b示出了根据主图像中包括的对象的眼方向改变在显示器上显示的主图像的位置。

处理器120可以确定主图像中包括的对象的眼方向。为此，根据示例性实施例的显示装置100还可包括眼方向识别模块。这里，眼方向识别模块可以检测主图像中包括的眼图像。

详细地，眼方向识别模块可以通过将检测到的眼图像分别与预先存储的眼图像进行比较来计算差值。眼方向识别模块还可以确定预先存储的眼图像中的与检测到的眼图像具有最低差值的眼图像，并且基于映射到所确定的眼图像上的眼方向信息来确定对象的眼方向。

并且，处理器120可以基于对象的所确定的眼方向信息来确定在显示器上显示的主图像的位置。详细地，处理器120可以在与对象的眼方向相反的显示区域的区域中显示主图像。

例如，如图19a所示，如果对象1910的眼方向是右方向，则处理器120可以在显示器的左侧区域中显示对象1910。而且，如图19b所示，如果对象1920的眼方向是左方向，则处理器120可以在显示器的右侧区域中显示对象1920。

图18a、图18b、图19a和图19b中所示的主图像可以是根据参考图14至图17描述的方法从主图像中提取的区域的图像。

图20是根据示例性实施例的显示方法的流程图。

参考图20，在操作s2010中，以预设图像比率来显示主图像。详细地，根据用户设置的图像比率或显示方法在显示器上显示主图像。

在操作s2020中，确定在显示器的屏幕上是否存在未显示主图像的空区域。例如，当显示器上存在黑色区域时，确定存在空区域。备选地，可以基于预先存储的显示器的屏幕比、内容的当前屏幕比和设置的显示方法来确定显示图像的位置，并且可以由此来检查不显示图像的区域，即空区域。

如果确定存在空区域，则在操作s2030中，在未显示主图像的空区域中显示背景图像。详细地，可以通过如下操作来在未显示主图像的空区域中显示背景图像：生成与主图像相对应的第一层，生成与背景图像相对应的第二层，以及将第二层与第一层的空区域混合。

图21是根据另一示例性实施例的显示方法的流程图。

在操作s2110中，根据示例性实施例的显示装置可以基于主图像中包括的对象在显示器的区域中显示主图像。详细地，显示装置可以基于存在于主图像中的对象的位置和对象的眼方向来在显示器的区域中显示主图像。此外，显示设备还可以提取主图像中包括的对象，并在显示器的区域中显示提取到的对象。因此，显示装置可以向用户提供作为主图像的要点的对象，并且通过将主图像显示在自然且稳定的位置中来使用户能够在美学上欣赏图像。

在操作s2120中，显示装置可以在显示器上的未显示主图像的空区域中显示隐藏在显示装置后面的背景的图像。因此，显示装置可以使用户沉浸于观看主图像。

尽管不限于此，但是示例性实施例可以被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储之后能够被计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的示例包括只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光学数据存储设备。计算机可读记录介质也可以分布在联网的计算机系统上，使得按照分布方式存储和执行计算机可读代码。此外，可以将示例性实施例写为计算机程序，所述计算机程序通过计算机可读传输介质(例如，载波)传输，并在执行所述程序的通用或专用数字计算机中被接收和执行。此外，可以理解在示例性实施例中，上述装置和设备的一个或多个单元可以包括电路、处理器、微处理器等，并且可以执行存储在计算机可读介质中的计算机程序。

例如，根据上述各种示例性实施例的方法可以被实施为可以安装在现有显示装置中的软件或应用形式。

而且，根据上述各种示例性实施例的方法可以通过对现有显示装置的软件或硬件进行升级来实施。

另外，可以通过显示装置的嵌入式服务器或显示装置的外部服务器来执行上述各种示例性实施例。

可以提供一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储依次执行根据本发明的控制显示装置的方法的程序。

详细地，非暂时性计算机可读介质可以包括：基于主图像中包括的对象在显示器的区域中显示主图像，并且在显示器上的没有显示主图像空区域中显示出现在显示装置后面的背景图像。

上述示例实施例和优点仅是示例并不应视为限制。本教导能够被容易地应用于其他类型的装置。此外，对示例性实施例的描述只是说明性的，而不是为了限制权利要求的范围，并且本领域技术人员将清楚多种备选、修改和变化。

工业实用性

-

序列表自由文本

-。