显示装置及其控制方法
【专利摘要】本发明公开了一种显示装置及其控制方法。显示装置及其控制方法包括：相机，该相机捕捉用户做出的手势；显示器，该显示器显示立体图像；以及控制器，该控制器响应于在虚拟空间上立体图像与手势之间的距离以及相对于立体图像的手势的接近方向，来控制立体图像的呈现。因此，能够响应于相对于立体图像的距离和接近方向来控制立体图像的呈现。
【专利说明】显示装置及其控制方法
【技术领域】
[0001]本发明涉及一种显示装置及其控制方法，并且更加特别地，涉及能够响应于相对于立体图像的距离和接近方向来控制图像的呈现(即，显示)的显示装置及其控制方法。
【背景技术】
[0002]诸如个人计算机、膝上型计算机、蜂窝电话等等的终端的功能多样化导致其实现为装备有例如捕捉图片或视频、再现音乐或者视频文件、提供游戏服务、接收广播信号等等的复杂功能的多媒体播放器类型终端。
[0003]因为终端通常被配置成显示各种图像信息，所以作为多媒体装置的终端也可以被称为显示装置。
[0004]根据其移动性，这样的显示装置可以被分类成便携式和固定式。便携式显示装置的示例可以包括膝上型计算机、蜂窝电话等等，而固定显示装置的示例可以包括电视、用于台式计算机的监视器等等。
【发明内容】
[0005]技术问题
[0006]因此，本发明的目的是为了有效地提供一种显示装置及其控制方法，其能够响应于相对于立体图像的距离和接近方向来控制图像的呈现。
[0007]问题的解决方案
[0008]根据本发明的一个方面，提供一种显示装置，包括:相机，该相机捕捉用户的手势；显示器，该显示器显示立体图像；以及控制器，该控制器响应于在虚拟空间中立体图像与手势之间的距离以及相对于立体图像的手势的接近方向，来控制立体图像的呈现。
[0009]根据本发明的另一方面，提供一种显示装置，包括:相机，该相机捕捉用户的手势；显示器，该显示器显示具有多个侧的立体图像；以及控制器，该控制器响应于在虚拟空间中相对于多个侧中的至少一个的手势的接近方向，来执行被指派给多个侧中的至少一个的功倉泛。
[0010]根据本发明的另一示例性实施例，提供一种控制显示装置的方法，包括:显示立体图像；获取相对于被显示的立体图像的手势；以及响应于在虚拟空间中立体图像与手势之间的距离以及相对于立体图像的手势的接近方向，来控制立体图像的呈现。
[0011]根据本发明的另一方面，提供一种控制显示装置的方法，包括:显示具有多个侧的立体图像；获取相对于被显示的立体图像的手势；以及响应于在虚拟空间中相对于多个侧中的至少一个的手势的接近方向，来执行被指派给多个侧中的至少一个的功能。
[0012]本发明的有益效果
[0013]在根据本发明的示例性实施例的显示装置及其控制方法中，能够响应于相对于立体图像的距离和接近方向来控制图像的呈现。【专利附图】
【附图说明】
[0014]图1是与本文的实施例有关的显示装置的框图。
[0015]图2是用于解释接近传感器的接近深度的概念视图。
[0016]图3和图4是根据本发明的示例性实施例的用于解释通过使用双眼视差显示立体图像的方法的视图。
[0017]图5是根据本发明的示例性实施例的流程图。
[0018]图6至图9是用于解释显示与图5相关联的立体图像的方法的视图。
[0019]图10是更加详细的获取与图5相关联的用户手势的过程的流程图。
[0020]图11是描述与图10相关联的控制手势获取的视图。
[0021]图12是更加详细的控制与图5相关联的立体图像的呈现的过程的流程图。
[0022]图13和图14是描述被显示的立体图像的示例的视图。
[0023]图15和图16是描述相对于立体图像的手势的视图。
[0024]图17至图20是描述根据相对于立体图像的手势的显示变化的视图。
[0025]图21至图26是描述相对于多面体形式的立体图像的手势的视图。
[0026]图27至图31是描述用于选择立体图像的指示器的视图。
[0027]图32至图34是描述选择多个立体图像中的任意一个的过程的视图。
[0028]图35和图36是描述反馈单元的操作的视图。
[0029]图37至图39是描述与本文的另一示例性实施例有关的显示装置的操作的视图。【具体实施方式】
[0030]现在将会参考附图更加全面地描述本文，其中示出本文的示例性实施例。然而，本文可以以许多不同的形式具体化并且不应被解释为受到在此提出的实施例的限制；而是，提供这些实施例以使得本公开将会是全面的和完整的，并且将会将本文的概念完全地传达给本领域的技术人员。
[0031]在下文中，下面将会参考附图更加详细地描述与本文有关的移动终端。在下面的描述中，仅考虑到有助于描述，后缀“模块”和“单元”被给予移动终端的组件，并且它们不具有相互区分的意义或者功能。
[0032]在本说明书中描述的移动终端能够包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统等等。
[0033]图1是与本文的实施例有关的显示装置的框图。
[0034]如所示，显示装置100可以包括通信单元110、用户输入单元120、输出单元150、存储器160、接口 170、控制器180、以及电源190。不是在图1中示出的所有组件都是必要的部件，并且被包括在显示装置100中的组件的数目可以变化。
[0035]通信单元110可以包括在显示装置100和通信系统之间或者在显示装置100和另一装置之间能够进行通信的至少一个模块。例如，通信单元110可以包括广播接收模块
111、因特网模块113、以及近场通信模块114。
[0036]广播接收模块111可以通过广播信道从外部广播管理服务器接收广播信号和/或广播有关信息。
[0037]广播信道可以包括卫星信道和陆地信道，并且广播管理服务器可以是生成和发送广播信号和/或广播相关信息的服务器，或者接收先前创建的广播信号和/或广播相关信息并且将广播信号和/或广播相关信息发送到终端的服务器。广播信号可以不仅包括TV广播信号、无线电广播信号和数据广播信号，而且可以包括以数据广播信号的TV广播信号和无线电广播信号的组合形式的信号。
[0038]广播相关信息可以是关于广播频道、广播节目或者广播服务提供者的信息，并且可以甚至通过移动通信网络提供。
[0039]广播相关信息可以以各种形式存在。例如，广播相关信息可以以数字多媒体广播(DMB)系统的电子节目指南(EPG)的形式，或者以数字视频广播-手持(DVB-H)系统的电子服务指南(ESG)的形式存在。
[0040]广播接收模块m可以使用各种广播系统接收广播信号。通过广播接收模块111接收到的广播信号和/或广播相关信息可以被存储在存储器160中。
[0041]因特网模块113可以对应于用于因特网接入的模块，并且可以包括在显示装置100中，或者可以外部地附接到显示装置100。
[0042]近场通信模块114可以对应于用于近场通信的模块。此外，蓝牙?、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)和/或紫蜂(ZigBee) ?可以用作近场通信技术。
[0043]用户输入120被用于输入音频信号或者视频信号,并且可以包括相机121和麦克风 122。
[0044]相机121可以处理在视频电话模式或者拍摄模式下通过图像传感器获得的静止图像或者运动图像的图像帧。被处理的图像帧可以被显示在显示器151上。相机121可以是2D或者3D相机。另外，相机121可以以单个2D或者3D相机的形式或者以2D和3D相机的组合的形式来配置。
[0045]由相机121处理的图像帧可以被存储在存储器160中，或者可以通过通信单元110被发送到外部设备。显示装置100包括至少两个相机121。
[0046]麦克风122可以在呼叫模式、记录模式或语音识别模式下接收外部音频信号，并且将接收的音频信号处理为电音频数据。麦克风122可以采用去除或者降低在接收外部音频信号时产生的噪声的各种噪声去除算法。
[0047]输出单兀150可以包括显不器151和音频输出模块152。
[0048]显示器151可以显示通过显示装置100处理的信息。显示器151可以显示与显示装置100有关的用户界面(UI)或者图形用户界面(GUI)。另外，显示器151可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器以及三维显示器中的至少一个。这些显示器中的一些可以是透明型或者透光型。即，显示器151可以包括透明显示器。透明显示器可以包括透明的液晶显示器。显示器151的后部结构也可以是透光型。因此，用户可以通过由显示器151占据的终端主体的透明区域看到位于终端主体后面的对象。
[0049]显示装置100可以包括至少两个显示器151。例如，显示装置100可以包括以预定距离安放在单个平面上的多个显示器151或者集成的显示器。多个显示器151也可以被安放在不同的平面上。
[0050]此外，当显示器151和感测触摸的传感器(在下文中被称为触摸传感器)形成被称为触摸屏的分层结构时，显示器151除了输出装置之外可以用作输入装置。例如，触摸传感器可以以触摸膜、触摸片、以及触摸板的形式。
[0051]触摸传感器可以将施加到显示器151的特定部分的压力的变化或者在显示器151的特定部分处产生的电容的变化转换成电输入信号。触摸传感器可以感测触摸的压力以及触摸的位置和区域。
[0052]当用户将触摸输入施加于触摸传感器时，对应于触摸输入的信号可以被发送到触摸控制器。触摸控制器然后可以处理该信号，并且将与处理的信号相对应的数据发送给控制器180。因此，控制器180可以检测显示器151的被触摸部分。
[0053]音频输出模块152可以输出从无线通信单元110接收的或者存储在存储器160中的音频数据。音频输出模块152可以输出与在显示装置100中执行的功能相关的音频信号，诸如呼叫信号到来音和消息到来音。
[0054]存储器160可以存储用于控制器180操作的程序，和/或临时地存储输入/输出数据，诸如电话簿、消息、静止图像和/或运动图像。存储器160也可以存储与当触摸输入施加于触摸屏时输出的各种模式的振动和声音有关的数据。
[0055]存储器160可以至少包括闪存、硬盘型存储器、多媒体卡微型存储器、卡型存储器，诸如SD或者XD存储器、随机存取存储器(RAM)、静态RAM (SRAM)、只读存储器(ROM)、电可擦可编程ROM (EEPR0M)、可编程ROM (PR0M)、磁存储器、磁盘或光盘。显示装置100也可以与在因特网上执行存储器160的存储功能的网络存储器相关联地操作。
[0056]接口 170可以用作对连接到移动终端100的外部设备的路径。接口 170可以从外部设备接收数据或者电力，并且将数据或者电力发送到显示装置终端100的内部部件，或者将移动终端100的数据发送到外部设备。例如，接口 170可以包括有线/无线头戴送受话器端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接具有用户识别模块的设备的端口、音频I/o端口、视频I/O端口，和/或耳机端口。
[0057]控制器180可以控制移动终端100的整体操作。例如，控制器180可以执行用于语音通信的控制和处理。控制器180也可以包括用于处理图像的图像处理器182，稍后将会解释。
[0058]电源190接收外部电力和内部电力，并且提供对于显示装置100的各个组件在控制器180的控制下进行操作所需要的电力。
[0059]能够以软件、硬件或者计算机可读记录介质来实现在本文中描述的各种实施例。根据硬件实现，本文的实施例可以使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或用于执行功能的电子单元中的至少一个来实现。在一些情况下实施例可以由控制器180实现。
[0060]根据软件实现，诸如程序或者功能的实施例可以利用执行至少一个功能或者操作的单独软件模块来实现。可以根据以适当的软件语言编写的软件应用来实现软件代码。软件代码可以存储在存储器160中，并且由控制器180执行。
[0061]图2是用于解释接近传感器的接近深度的概念视图。
[0062]如在图2中所示，当诸如用户手指的指示器接近触摸屏时，位于触摸屏内部或者附近的接近传感器感测接近并且输出接近信号。[0063]接近传感器能够被构造成使得其根据接近触摸屏的指示器与触摸屏之间的距离(被称为“接近深度”)而输出接近信号。
[0064]当指示器接近触摸屏时输出接近信号的距离被称为检测距离。通过使用具有不同检测距离的多个接近传感器并且比较从接近传感器分别输出的接近信号能够获知接近深度。
[0065]图2示出其中布置了能够感测三个接近深度的接近传感器的触摸屏的部分。能够感测少于三个或者多于四个接近深度的接近传感器能够被布置在触摸屏中。
[0066]具体地，当指示器完全地接触触摸屏(DO)时，其被视为接触触摸。当指示器位于离触摸屏的距离Dl以内时，其被视为第一接近深度的接近触摸。当指示器位于离触摸屏的距离Dl和距离D2之间的范围中时，其被视为第二接近深度的接近触摸。当指示器位于离触摸屏的距离D2和距离D3之间的范围中时，其被视为第三接近深度的接近触摸。当指示器位于离触摸屏比距离D3远时，其被视为接近触摸的取消。
[0067]因此，控制器180能够根据相对于触摸屏的指示器的接近距离和接近位置，将接近触摸识别为各种输入信号，并且根据输入信号执行各种操作控制。
[0068]图3和图4是图示根据本发明的示例性实施例的使用双眼视差显示立体图像的方法的视图。具体地，图3示出使用凸透镜阵列的方案，并且图4示出使用视差屏障的方案。
[0069]双眼视差(或者立体差异)指的是在人类的(或者用户的或者观察者的)左眼和右眼之间在观看对象的视觉方面的不同。当用户的大脑组合通过左眼观看的图像和通过右眼观看的图像时，被组合的图像使用户感到立体感。在下文中，用户根据双眼视差感到立体感的现象将会被称为“立体视觉”，并且引起立体视觉的图像将会被称为“立体图像”。而且，当被包括在图像中的特定对象弓I起立体视觉时，相对应的对象将会被称为“立体对象”。
[0070]用于根据双眼视差显示立体图像的方法可以被分类成眼镜式方法和无眼镜式方法。眼镜式方法可以包括使用具有波长选择性的有色眼镜的方案、根据偏差差异使用光阻挡效应的偏振眼镜方案、以及在眼镜的残留图像时间内交替地提供左图像和右图像的时分眼镜方案。此外，眼镜式方法可以进一步包括以下方案:均具有不同透射率的滤色片被安装在左眼和右眼上，并且根据从透射率方面的差异得出的视觉系统的时间差来获得相对于水平运动的立体感。
[0071]无眼镜式方法包括视差屏障方案、凸透镜方案、微透镜阵列方案等等，在无眼镜式方法中从图像显示表面，而不是从观察者，产生立体感。
[0072]参考图3，为了显示立体图像，显示模块151包括凸透镜阵列81a。凸透镜阵列81a被定位在显示表面81与左和右眼82a和82b之间，在该显示表面81上沿着水平方向交替地布置被输入到左眼82a的像素(L)和被输入到右眼82b的像素(R)，并且提供相对于被输入到左眼82a的像素(L)和被输入到右眼82b的像素(R)的光学区别方向性(opticaldiscrimination directionality)。因此，经过凸透镜阵列81a的图像被左眼82a和右眼82b分离并且从而被观察，并且用户的大脑组合(或者合成)通过左眼82a观看的图像和通过右眼82b观看的图像，从而允许用户观察立体图像。
[0073]参考图4，为了显示立体图像，显示模块151包括以垂直格子的形状的视差屏障81b。视差屏障81b被定位在显示表面81与左眼和右眼82a和82b之间，在该显示表面81上沿着水平方向交替地布置要输入到左眼82a的像素(L)和要输入到右眼82b的像素(R)，并且允许在左眼82a和右眼82b处单独地观察图像。因此，用户的大脑组合(或者合成)通过左眼82a观看的图像和通过右眼82b观看的图像，从而允许用户观察立体图像。仅在显示立体图像的情况下，视差屏障81b被开启以分离入射视野(vision)，并且当打算显示平面图像时，视差屏障81b可以被关闭以允许入射视野通过而不被分离。
[0074]同时，用于显示立体图像的前述方法仅用于解释本发明的示例性实施例，并且本发明不限于此。除了前述方法之外，通过使用各种其它的方法可以显示使用双眼视差的立体图像。
[0075]在下文中，将会描述本发明的具体实施例。
[0076]图5是根据本发明的示例性实施例的流程图。
[0077]如其中所示出的，根据本发明的示例性实施例的显示装置100的控制器180可以在操作SlO中显示立体图像。
[0078]如上所述，立体图像可以是通过使用双眼视差，即立体视差显示的图像。通过使用立体视差呈现图像，可以显示具有深度或者透视的立体图像。例如，以这样的方式，图像可以被显示为仿佛从显示器151的显示表面突出或者退回。使用立体视差的立体图像不同于仅给出类似3D的印象的现有技术的二维(2D)显示。稍后将会更加详细地描述通过使用立体视差显示立体图像的方法。
[0079]当立体图像被显示时，在操作S30中可以获取用户的手势。
[0080]可以通过被设置在显示装置100中的相机121捕捉用户的手势。例如，假定显示装置100是固定TV，相机121可以捕捉在TV的前面由用户做出的动作。而且，假定显示装置100是移动终端，相机121可以捕捉在移动终端的前面或者后面用户的手部动作。
[0081]当用户的手势被获取时，在步骤350中根据立体图像和手势之间的距离和位置关系能够控制立体图像的呈现。
[0082]控制器180可以获悉(S卩，确定)由用户做出的手势的位置。即，可以分析通过相机121捕捉的图像，从而提供在虚拟空间中手势的位置的分析。手势的位置可以是相对于用户的身体或者显示器151的显示表面的相对距离。在这种的情况下，距离可以指的是在3D空间内的位置。例如，距离可以指示从原点(诸如用户的身体上的特定点)具有x-y-z分量的特定点。
[0083]控制器180可以确定在虚拟空间中被显示的立体图像的位置。即，控制器180可以确定虚拟空间中的立体图像的位置，由于立体视差的效果，该虚拟空间给予用户在其中显示图像的印象。例如，这意指在图像具有正(+ )深度以便看起来似乎从显示器151的显示表面朝向用户突出的情况下，控制器180可以确定图像突出的程度，和其位置。
[0084]控制器180可以确定手势接近立体图像的方向，S卩，相对于立体图像的手势的接近方向。即，因为控制器180获悉手势的位置，和在虚拟空间中立体图像的位置，所以能够确定对于立体图像的哪一侧(或者面)做出手势。例如，在以多面体形式的立体图像被显示在虚拟空间中的情况下，控制器180可以确定用户的手势是朝着立体图像的前侧还是朝着立体图像的横向侧或后侧。
[0085]因为控制器180可以确定相对于立体图像的手势的接近方向，所以可以执行与接近方向相对应的功能。例如，在立体图像被从其前侧接近并且被触摸的情况下，可以执行激活立体图像的功能。并且，在立体图像被从其后侧接近并且被触摸的情况下，可以执行与立体图像相对应的特定功能。
[0086]图6图示包括多个图像对象10和11的立体图像的示例。
[0087]例如，在图6中描述的立体图像可以是通过相机121获得的图像。立体图像包括第一图像对象10和第二图像对象11。在此，为了简单描述假定存在两个图像对象10和11，然而实际上，多于两个的图像对象可以被包括在立体图像中。
[0088]控制器180可以在显示器151上以预览的形式显示通过相机121实时获取的图像。
[0089]在操作SllO中控制器180可以获取分别与一个或者多个图像对象相对应的一个或者多个立体视差。
[0090]在相机121是能够获取用于左眼的图像(在下文中，被称为“左眼图像”)和用于右眼的图像(在下文中，被称为“右眼图像”)的3D相机的情况下，控制器180可以使用获取到的左眼和右眼图像以获取第一图像对象10和第二图像11中的每一个的立体视差。
[0091]图7是用于解释被包括在立体图像中的图像对象的立体视差的视图。
[0092]例如，参考图7，第一图像对象10可以具有被呈现给用户的左眼20a的左眼图像IOa和被呈现给右眼20b的右眼图像10b。
[0093]控制器180可以基于左眼图像IOa和右眼图像IOb获取与第一图像对象10相对应的立体视差dl。
[0094]在相机121是2D相机的情况下，控制器180可以通过使用用于将2D图像转换成3D图像的预定算法将通过相机121获取的2D图像转换成立体图像，并且将转换的图像显示在显示器151上。
[0095]此外，通过使用通过上述图像转换算法创建的左眼和右眼图像，控制器180可以获取第一图像对象10和第二图像对象11的各自的立体视差。
[0096]图8是用于比较在图6中描述的图像对象10和11的立体视差的视图。
[0097]参考图8，第一图像对象10的立体视差dl不同于第二图像对象11的立体视差d2。此外，如在图8中所示，因为第二图像对象11的立体视差d2大于第一图像对象10的立体视差dl，所以观看到第二图像对象11仿佛位于比第一图像对象10更加远离用户。
[0098]控制器180可以在操作S120中获取分别对应于一个或者多个图像对象的一个或者多个图形对象。控制器180可以在显示器151上显示被获取的一个或者多个图形对象使得具有立体视差。
[0099]图9图示看起来仿佛朝着用户突出的第一图像对象10。如在图9中所示，显示器151上的左眼图像IOa和右眼图像IOb的位置可以与在图7中描述的相反。当左眼图像IOa和右眼图像IOb以如上的相反方式显示时，也以相反方式将图像呈现给左眼20a和右眼20b。因此，用户能够观看到显示的图像仿佛其位于显示器151的前面，即，在视线的相交处。即，用户可以感知相对于显示器151的正(+ )深度。这不同于在图7中用户感知负(_)深度的情况，该负(_)深度给予用户第一图像对象10被显示在显示器151的后面处的印象。
[0100]根据需要控制器180可以通过显示具有正(+ )或者负(-)深度的立体图像来给予用户各种类型的深度的感知。
[0101]图10是更加详细地图示获取在图5中描述的用户手势的过程的流程图。图11是描述与图10有关的控制手势的获取的视图。
[0102]如在这些附图中所示，根据本发明的示例性实施例，在图5的操作S30中通过显示装置的控制器180获取用户的手势可以包括在操作S31中使用相机121启动捕捉。
[0103]控制器180可以激活相机121。当相机121被激活时，控制器180可以捕捉显示装置100的周围的图像。
[0104]在操作S32中确定是否找到了具有控制的用户，并且在操作S33中可以追踪具有控制的用户。
[0105]控制器180基于具有控制的特定用户所做出的手势来控制显示装置100。例如，这意指，在多个人位于显示装置100的前面的情况下，控制器180可以允许仅基于在显示装置100前面的人当中的、已经获取控制的特定人所做出的手势，来执行显示装置100的特定功倉泛。
[0106]如在图11中所示，对显示装置100的控制可以被授予已经做出特定手势的用户U。例如，在举手并向左右挥动他的手H的用户U的动作被设置为用于获取控制的手势情况下，控制可以被授予已经做出这样的手势的用户。
[0107]当找到具有控制的用户时，可以追踪具有控制的用户。可以基于被设置在显示装置100中的相机121所捕捉的图像来执行控制的授予和追踪。即，这意指控制器180分析捕捉的图像，从而持续地确定特定的用户U是否存在、特定的用户U是否执行对于控制获取所要求的手势、特定用户U是否正在移动等等。
[0108]当具有控制的用户被追踪时，可以在操作S34中确定是否捕捉用户的特定手势。
[0109]用户的特定手势可以是用于执行显示装置100的特定功能以及终止被执行的特定功能的手势。例如，特定手势可以是选择由显示装置100显示为立体图像的各种菜单的手势。在下文中，将会详细地描述根据用户的手势控制立体图像的呈现(图5的S50)的操作。
[0110]图12是更加详细地控制与图5相关联的立体图像的呈现的过程的流程图。图13和图14是描述被显示的立体图像的示例的视图。图15和图16是描述相对于立体图像的手势的视图。图17至图20是描述根据相对于立体图像的手势的显示(即，呈现)变化的视图。
[0111]如这些附图中所示，根据本发明的示例性实施例的显示装置100可以响应于用户U相对于立体图像做出的特定手势而适当地控制立体图像的呈现。
[0112]控制器180可以在操作S51中获取虚拟空间VS中的立体图像的位置。
[0113]如在图13中所示，虚拟空间VS可以指的是给予用户U以下印象的空间:通过显示装置100显示的立体图像的单独对象01至03位于3D空间中。S卩，虚拟空间VS可以是以下空间，其中基本上显示在显示器151上的图像看起来仿佛朝着用户U突出正(+ )深度或者对着用户U退回负(_)深度。对象01至03中的每一个看起来仿佛在虚拟空间VS中漂浮或者在虚拟空间VS的垂直或者水平方向中延伸。
[0114]当对象01至03中的每一个被显示在虚拟空间VS中时，用户U可以具有他能够使用他的手握住(抓握)显示对象01至03的印象。在看起来仿佛位于用户U附近的对象中更加清楚地示范此效果。例如，如在图14中所示，用户U可以具有第一对象01位于他的正前方的视觉假象。在这样的情况下，用户U可以具有他可以使用他的手H握住第一对象01的印象。
[0115]控制器180可以获悉被显示在虚拟空间VS中的立体图像的位置。S卩，基于在显示器151上的图7的左眼和右眼图像IOa和IOb的位置，控制器180可以确定被呈现给用户的在虚拟空间VS中的立体图像的位置。
[0116]在操作S52中可以获取虚拟空间VS中的手势的位置。
[0117]通过使用设置在显示装置100中的相机121可以获取虚拟空间VS中的手势的位置。即，控制器180可以分析在相机121持续地追踪用户U的图像时获取的图像。
[0118]如在图15中所示，控制器180可以确定从显示装置100到第一对象01的第一距离D1、从显示装置100到用户U的手H的第二距离D2、以及从显示装置100至用户U的第三距离D3。通过分析由相机121捕捉到的图像并且使用控制器180已经获知的被显示的第一对象01的位置，可以确定第一至第三距离Dl至D3。
[0119]在操作S53中可以确定在到立体图像的预定距离内是否做出手势。
[0120]对于基于用户U的手势执行特定功能，用户U可以在预定的距离内做出特定手势。例如，用户U可以朝着第一对象01拿出他的手H以做出与第一对象01相关联的动作。
[0121]如在图16中所示，用户U可以伸展他的手H以在预定的半径内接近第一对象01。
[0122]通过图像分析，控制器180可以确定用户U的手H接近的方向V。S卩，通过使用手H做出的手势的轨迹，控制器180可以确定手H是否接近第一对象01或者与第一对象01相邻的另一对象。
[0123]当确定在相对于立体图像的预定距离内做出手势时，在操作S54中可以获取相对于立体图像的手势的接近方向。
[0124]当通过用户U的手H做出手势时，控制器180可以确定手H的哪个方向(即，侧)面向第一对象01。例如，控制器180可以确定是手掌的手掌侧P还是手背侧B面向第一对象01。
[0125]通过分析由相机121获取的图像并且/或者追踪手H的轨迹，可以确定手掌侧P和手背侧B中的哪一个接近第一对象01。
[0126]如在图17中所示，控制器180可以确定手Hl或者H2接近第一对象01的方向。即，控制器180可以在第一手Hl的情况下确定手掌侧P接近第一对象01，并且在第二手H2的情况下确定手背侧B接近第一对象01。
[0127]当如在第一手Hl的情况下手掌侧P在第一方向Al中移动时，控制器180可以确定用户U移动以抓握(即，握住)第一对象01。当如在第二手H2的情况下手背侧B在第二方向A2中移动时，控制器180可以确定用户U没有移动以抓握第一对象01。S卩，这意指可以基于用户U的手势，特别地，手动作，来确定用户要相对于特定的立体图像做出哪一动作。因此，控制器180基于特定的手动作能够执行特定功能。S卩，第一手Hl的情况可以被链接到抓握第一对象01的动作，并且第二手H2的情况被链接到推动第一对象01的动作。
[0128]在操作S55中可以确定接近是否适合于立体图像的属性和外部形状，并且在操作S56中可以控制立体图像的呈现。
[0129]控制器180可以根据立体图像的形状和/或分别对应于立体图像的实体的属性，允许立体图像具有不同的特性。即，表示诸如铁棒的刚硬对象的立体图像、和表示诸如橡胶棒的弹性对象的立体图像可以具有对用户手势的不同响应。在立体图像表示诸如铁棒的实体的情况下，即使当用户做出握住相对应图像的动作时也可以如原样保持立体图像的形状。相反地，在立体图像表示诸如橡胶棒的实体的情况下，当用户做出握住的动作时可以改变其形状。
[0130]如果第一对象01被设置为具有如在图18中所示的硬度，则用户U可以做出握住第一对象01并且在第三方向A3中移动它的手势。
[0131]当在预定的距离内接近第一对象01之后用户U的第一手H做出握住动作时，控制器180可以使立体图像看起来仿佛通过手握住第一对象01。因此，用户能够执行在第三方向A3中移动第一对象01的功能。
[0132]如在图19中所示，根据与第一对象01相对应的实体的属性，控制器180可以允许对于用户手势的第一对象01的响应的呈现被改变。
[0133]如在图19A中所示，用户可以朝着第一对象01，S卩，在第一方向Al中移动第一手Hl0控制器180可以通过相机121检测第一手Hl的动作。
[0134]如在图19B中所示，用户的第一手Hl可以垂直地接触第一对象01。在这样的情况下，如果第一对象01表示诸如橡胶棒的软材料，控制器180可以在与第一手Hl的虚拟接触已经发生的部分中创建弯曲第一对象01的视觉效果。
[0135]如在图20A中所示，用户可以在第四方向A4中朝着碗D中包含的液体W做出手势。
[0136]如在图20B中所示，当用户做出相对于液体W的手势时，控制器180可以响应于手H的手势创建在液体W中引起波浪的效果。
[0137]图21至图26是图示相对于以多面体形式的立体图像的手势的视图。
[0138]如在这些附图中所示，根据本发明的示例性实施例的显示装置100的控制器180可以响应于相对于立体图像的特定侧的用户手势而执行特定功能，该立体图像是以具有多个侧(面)的多面体的形式。
[0139]如在图21A中所示，控制器180可以显示能够给予用户通过立体视差引起的立体印象的对象O。对象O可以具有立方体形状，并且特定功能可以被指派给立方体形状的各侦U。例如，在第一侧SI上的触摸的手势可以执行激活对象O的功能，在第二侧S2上的触摸可以执行呼叫功能，并且在第三侧S3上的触摸可以执行消息发送功能。以这样的方式，对象O的各侧可以具有被指派给其的各个功能。
[0140]如在图21B中所示，通过使用他的手H在第五方向A5中，用户可以做出触摸第一侦怀1，前侧的手势。即，这意指用户做出远离用户的身体向前推他的手的手势。当在第五方向A5中触摸第一侧SI的手势被输入时，控制器180可以执行被分配给第一侧SI的功能。
[0141]如在图22A中所示，用户可以做出在第六方向A6中触摸第二侧S2的手势。在第六方向A6中触摸可以是触摸对象O的横向侧的手势。当执行触摸第二侧S2的手势时，控制器180可以执行与第二侧S2相对应的功能。即，根据用户触摸对象O的方向可以执行不同的功能。
[0142]如在图22B中所示，用户可以做出在第七方向A7中触摸对象O的第五侧S5的手势。当触摸第五侧S5时，控制器180可以执行与第五侧S5相对应的功能。
[0143]用户可以做出在如图23A中所示的第八方向A8中触摸对象O的后侧，其第三侧S3的手势，或者在第九方向A9中触摸第六侧S6，对象的底部的手势。在这样的情况下，控制器180可以响应于相对于各个侧的手势而执行单独的功能。[0144]如在图24A中所示，用户可以做出触摸对象O的前侧的手势。即，用户可以做出从其前侧接近对象O并且触摸第一侧SI的动作。在用户在第五方向A5中接近对象O并且触摸第一侧SI之前，对象O可以处于去激活状态。例如，在对象O上的选择可以被限制，以便于防止不期望的手势执行与对象O相对应的功能。
[0145]如在图24B中所示，第一侧SI上的用户触摸能够激活对象O。S卩，通过手势能够进行与对象O相对应的功能的执行。当被激活时，对象O可以被明亮地显示以指示激活。
[0146]如在图25A中所示，用户可以做出触摸对象O的横向侧的手势。即，用户可以做出在第六方向A6中触摸第二侧S2，对象O的横向侧中的一个的手势。根据本发明的示例性实施例的显示装置100的控制器180可以根据手势所要针对的被显示对象上的哪个点而做出不同的响应。
[0147]如在图25B中所示，响应于相对于第二侧S2的用户手势，与频道变化有关的弹出对象P可以被显示。这不同于在第一侧SI上的触摸执行激活对象O的功能的情况。即使当对象O是处于去激活状态时，可以通过相对于第二侧S2的手势来执行功能。
[0148]如在图26A中所示，用户可以做出握住对象O的手势。握住对象O的手势可以带来与触摸多个侧的手势相类似的结果。例如，用户可以做出从对象O的横向侧同时触摸对象O的第一侧SI和第三侧S3的手势。
[0149]当用户做出握住对象O的手势时，可以执行与单独地触摸各个侧的手势的情况不同的功能。例如，假定通过相对于第一侧SI的手势执行第一功能并且通过相对于第三侧S3的手势执行第二功能，同时触摸第一侧和第三侧SI和S3的手势可以执行第三功能。在这样的情况下，第三功能可以完全地不同于第一和第二功能，或者可以是第一和第二功能的同时执行。
[0150]如在图26B中所示 ，通过握住对象的用户手势，可以执行记录当前观看的广播频道的功能。
[0151]图27至图31是图示用于立体图像中的选择的指示器的视图。
[0152]如在这些附图中所示，根据本发明的示例性实施例的显示装置可以显示与用户U的手势相对应的指示器P。在这样的情况下，指示器P被显示使得给予用户3D距离的印象。
[0153]如在图27中所示，第一至第三对象01至03可以被显示在虚拟空间中。用户可以通过使用他的手H，或者通过使用指示器P直接地选择第一至第三对象01至03。例如，指示器P可以以离用户U预定的距离显示在空间中。
[0154]如在图28中所示，当用户在第十方向AlO中移动他的手时，指示器P可以响应于用户的手动作而朝着第三对象03移动。在这样的情况下，可以根据预设的参考位置和手势之间的距离确定指示器P的移动。例如，在用户U的身体被设置为参考位置的情况下，如果手H移动靠近或者远离显示装置100，则指示器P可以相应地移动。参考位置可以由用户设置。
[0155]如在图29中所示，当用户在第i^一方向All中移动手H时，指示器P可以在与第i^一方向All相对应的方向中朝着第三对象03移动。
[0156]如在图30中所示，指示器P可以根据离参考位置的距离而经历大小变化。例如，处于参考位置处的指示器P可以具有第一指示器Pi的大小。
[0157]随着手H在第十二方向A12中移动，在参考位置处具有第一指示器Pl的大小的指示器P可以变得更大，以具有第二指示器P2的大小。即，随着其接近用户，指示器P在大小方面增大。此外，随着手H在第十三方向A13中移动，在参考位置处具有第一指示器Pl的大小的指示器P可以变得较小，以具有第三指示器P3的大小。即，随着其移动远离用户，指示器P可以在其大小方面减小。
[0158]因为根据离用户的距离，指示器在大小方面变化，所以可以更加清楚地呈现通过立体视差引起的透视。而且，这可以向通过用户手势可选择的对象的深度提供指导。
[0159]如在图31中所示，根据用户做出的手势的方向，指示器P可以改变。
[0160]如在图31A中所示，用户的手H可以在第十四至第十七方向A14至A17中移动。当用户的手H移动时，控制器180可以相应地改变指示器的形状并且进行显示。即，当手H在第十四方向S14，手H移动远离用户的方向中移动时，具有指向第十四方向A14的箭头的第一指示器Pl可以被显示。即，第一至第四指示器Pl和P4可以具有分别对应于第十四至第十七方向A14至A17的形状。
[0161]如在图31B中所示，指示器可以指示手H被移动还是停止。即，当用户在特定位置处停止做出手势时，不指示方向的圆形的第五指示器P5被显示。当手H移动时，第一至第四Pl至P4可以被相应地显示。
[0162]图32至图34是图示选择多个立体图像中的任意一个的过程的视图。
[0163]如在这些附图中所示，当用于选择多个立体图像当中的特定图像的手势被输入时，根据本发明的示例性实施例的显示装置100的控制器180改变另一立体图像的呈现。因此，可以有助于对于特定立体图像的选择。
[0164]如在图32中所示，多个对象O可以被显示为在虚拟空间中彼此相邻。S卩，对象A至I可以被显示。
[0165]如在图33中所示，用户U可以通过移动他的手H做出选择对象E的手势。当用户U做出选择对象E的手势时，控制器180可以使除了对象E之外的对象看起来仿佛移动远离对象E。即，当确定用户U打算选择特定对象时,使除了特定对象之外的对象移动远离特定对象，从而减小选择不期望的对象的可能性。
[0166]如在图34中所示，当用户做出选择特定对象的手势时，控制器180可以释放除了特定对象之外的其它对象的显示。即，可以使除了特定对象之外的对象消失。此外，当用户停止做出手势时，消失的对象可以被再次显示。
[0167]图35和图36是图示反馈单元的操作的视图。
[0168]如在这些附图中所示，根据本发明的示例性实施例的显示装置100可以给予用户U关于手势的反馈。
[0169]可以通过听觉和/或触觉识别反馈。例如，当用户做出触摸或者握住立体图像的手势时，控制器180可以给用户提供相对应的声音或者振动。可以通过使用定向扬声器SP或者超声波发生器US、被设置在显示装置100中的反馈单元来执行对于用户的反馈。
[0170]如在图35中所示，定向扬声器SP可以向第一和第二用户Ul和U2中的特定用户选择性地提供声音。即，通过能够选择性地确定声音的传播方向或者传输范围的定向扬声器SP，仅向选择的用户提供声音。
[0171]如在图36中所示，显示装置100可以允许对象O被显示在虚拟空间中。当用户相对于被显示在虚拟空间中的对象O做出手势时，控制器180可以给予用户U与手势相对应的反馈。例如，控制器可以通过定向扬声器SP给用户U提供声音或者通过超声发生器US给用户U提供振动。超声发生器US可以产生朝着特定点定向的超声波。当朝着特定点定向的超声波与用户U的手H的后部碰撞时，用户U可以感到压力。通过控制给予用户的压力，用户可以将其视为振动。
[0172]图37至图39是图示根据本发明的另一示例性实施例的显示装置的操作的视图。
[0173]如在这些附图中所示，根据本发明的另一示例性实施例的显示装置100可以是用户能够携带的移动终端。在显示装置100是便携式装置的情况下，不仅相对于显示装置100的前侧而且相对于其后侧的用户手势可以被获取，并且相对应的功能可以被相应地执行。
[0174]如在图37中所示，显示装置100可以通过显示器151显示立体图像。立体图像的第一至第三对象01至03可以被显示为仿佛从显示器151的显示表面突出或者退回。例如，给予与显示器151的显示表面相同深度的感觉的第一对象01、看起来仿佛朝着用户突出的第二对象02、以及看起来仿佛对着用户退回的第三对象03可以被显示在虚拟空间中。
[0175]显示装置100的主体可以被提供有面向前侧的第一相机121a和面向后侧的第二相机121b。
[0176]如在图38中所示，用户可以相对于被显示在显示装置100的前面的第二对象02做出手势。即，用户可以用他的手H做出触摸或者握住第三对象03的手势。可以通过面向前侧的第一相机121a捕捉相对于第二对象02的用户手势。
[0177]如在图39中所示，用户可以相对于被显示在显示装置100的后面的第三对象03做出手势。即，用户可以用手H做出触摸或者抓握第三对象03的手势。可以通过面向背侧的第二相机121b捕捉相对于第三对象03的用户手势。
[0178]因为在不仅获取在显示装置100的前面做出的手势而且获取在显示装置100的后面做出的手势时能够控制显示装置100，所以能够根据立体图像的深度进行各种操作。
[0179]虽然结合示例性实施例已经示出并且描述了本发明，但是对本领域的技术人员来说显然的是，在没有脱离如所附的权利要求所定义的本发明的精神和范围的情况下，能够进行修改和变化。
【权利要求】
1.一种显示装置，包括: 相机，所述相机捕捉用户的手势； 显示器，所述显示器显示立体图像；以及 控制器，所述控制器响应于在虚拟空间中所述立体图像与所述手势之间的距离以及相对于所述立体图像的所述手势的接近方向，来控制所述立体图像的呈现。
2.根据权利要求1所述的显示装置，其中所述立体图像包括多个立体图像， 其中，当所述手势在预定范围内接近所述多个立体图像中的至少一个时，所述控制器改变所述至少一个立体图像的呈现。
3.根据权利要求1所述的显示装置，其中所述立体图像包括多个立体图像； 其中，响应于相对于所述多个立体图像中的至少一个的手势，所述控制器改变所述多个立体图像中的至少另一个的呈现。
4.根据权利要求3所述的显示装置，其中所述控制器改变在所述多个立体图像中的至少一个和所述多个立体图像中的至少另一个之间的距离，并且进行显示。
5.根据权利要求3所述的显示装置，其中所述控制器释放所述多个立体图像中的至少另一个的呈现。
6.根据权利要求1所述的显示装置，其中所述控制器根据相对于所述立体图像的横向侧和后侧中的至少一个的手势的接近方向，来控制所述立体图像的呈现。
7.根据权利要求1所述的显示装置，其中所述控制器根据所述立体图像的形状和与所述立体图像相对应的实体的 属性中的至少一个，来改变所述立体图像的呈现。
8.根据权利要求1所述的显示装置，其中当在所述虚拟空间中所述立体图像和所述手势的轨迹之间出现干扰时，所述控制器改变所述立体图像的呈现。
9.根据权利要求1所述的显示装置，其中所述控制器基于具有控制的用户的手运动根据手势来改变所述立体图像的呈现， 其中所述手运动包括在所述立体图像上的触摸和在所述立体图像上的抓握中的至少一个。
10.根据权利要求1所述的显示装置，其中所述控制器响应于所述手势显示在所述虚拟空间中移动的立体图像指示器， 其中所述立体图像指示器具有与设置的参考位置与所述手势之间的距离相对应的立体距离。
11.根据权利要求10所述的显示装置，其中所述控制器执行与所述立体图像中由所述立体图像指示器选择的立体图像部分相对应的功能。
12.根据权利要求10所述的显示装置，其中所述立体图像包括被指派不同功能的多个侦U， 其中所述控制器执行与所述多个侧当中的由所述立体图像指示器选择的侧相对应的功能。
13.根据权利要求10所述的显示装置，其中所述控制器根据所述手势的接近方向改变由所述立体图像指示器指示的方向，并且显示所述立体图像指示器。
14.根据权利要求13所述的显示装置，其中所述设置的参考位置是用户的身体的位置、显示表面的位置、或者最初捕捉到手势的位置。
15.根据权利要求1所述的显示装置，进一步包括反馈单元，所述反馈单元生成声音或者液体流动中的至少一个，以允许用户通过听觉和触觉中的至少一个检测距离和接近方向中的至少一个。
16.根据权利要求15所述的显示装置，其中所述反馈单元包括定向扬声器。
17.根据权利要求1所述的显示装置，其中所述相机包括用于分别捕捉包括显示器的主体的前侧和后侧的第一相机和第二相机， 其中所述控制器根据参考所述显示器的显示表面在所述虚拟空间中的所述立体图像的透视，通过使用所述第一和第二相机中的一个来获取手势。
18.根据权利要求1所述的显示装置，其中控制所述立体图像的呈现与以下中的至少一个相关联:改变被显示的立体图像的位置，改变被显示的立体图像的形状，以及显示具有与被显示的立体图像相对应的功能的立体图像。
19.一种显示装置，包括: 相机，所述相机捕捉用户的手势； 显示器，所述显示器显示具有多个侧的立体图像；以及 控制器，所述控制器响应于在虚拟空间中相对于所述多个侧中的至少一个的手势的接近方向，来执行被指派给所述多个侧中的至少一个的功能。
20.根据权利要求19所述的显示装置，其中所述控制器基于具有控制的用户的手运动根据手势来执行功能， 其中所述手运动包括在所述多个侧中的至少一个上的触摸和在所述立体图像上的抓握中的至少一个。
21.根据权利要求19所述的显示装置，其中所述控制器响应于所述手势显示在所述虚拟空间中移动的立体图像指示器， 其中所述控制器执行与所述多个侧当中的由所述立体图像指示器选择的侧相对应的功能。
22.—种控制显示装置的方法，所述方法包括: 显示立体图像； 获取相对于被显示的立体图像的手势；以及 响应于在虚拟空间中所述立体图像与所述手势之间的距离以及相对于所述立体图像的手势的接近方向，来控制所述立体图像的呈现。
23.根据权利要求22所述的方法，其中，在呈现的控制中，响应于相对于所述立体图像的横向侧和后侧中的至少一个的手势的接近方向，来控制所述立体图像的呈现。
24.根据权利要求22所述的方法，其中，在呈现的控制中，根据所述立体图像的形状和与所述立体图像相对应的实体的属性中的至少一个，来改变所述立体图像的呈现。
25.根据权利要求22所述的方法，其中，在呈现的控制中，当在所述虚拟空间中所述立体图像和所述手势的轨迹之间出现干扰时，改变所述立体图像的呈现。
26.根据权利要求22所述的方法，其中相对于被显示的立体图像的手势是用户的手运动，包括在所述立体图像上的触摸和在所述立体图像上的抓握中的至少一个。
27.根据权利要求22所述的方法，其中呈现的控制包括: 响应于所述手势显示在所述虚拟空间中移动的立体图像指示器；和执行与在所述立体图像中由所述立体图像指示器选择的立体图像部分相对应的功能。
28.根据权利要求22所述的方法，进一步包括生成声音和液体流动中的至少一个，以允许用户通过听觉和触觉中的至少一个检测距离和接近方向中的至少一个。
29.—种控制显示装置的方法，所述方法包括: 显示具有多个侧的立体图像； 获取相对于被显示的立体图像的手势；以及 响应于在虚拟空间中相对于所述多个侧中的至少一个的手势的接近方向，来执行被指派给所述多个侧中的至少一个的功能。
30.根据权利要求29所述的方法，其中，在功能的执行中，响应于相对于所述立体图像的横向侧和后侧中的至少一个的手势的接近方向，来执行所述功能。
31.根据权利要求29所述的方法，其中相对于被显示的立体图像的手势是用户的手运动，包括在所述立体图像上 的触摸和在所述立体图像上的抓握中的至少一个。
【文档编号】G06T7/20GK103430215SQ201180069433
【公开日】2013年12月4日 申请日期:2011年3月21日 优先权日:2011年3月21日
【发明者】任星玟, 金相起 申请人:Lg电子株式会社