电子设备及其控制方法

电子设备及其控制方法
【专利摘要】本发明公开了一种包括投射模块的电子设备及其控制方法。所述电子设备包括：显示模块；照相机，所述照相机被构造为获取用户手势；所述投射模块，所述投射模块被构造为将虚拟控制对象投射在距所述电子设备预定距离之内的平面上；以及控制器，所述控制器被构造为在所述显示模块上显示与在所述电子设备上运行的操作关联的画面，并且在通过所述照相机接收到预定用户手势时，通过所述投射模块在所述平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行的所述操作中的至少一个。因此，能够在平面上投射用于控制在所述电子设备上运行的操作的虚拟控制对象。
【专利说明】电子设备及其控制方法

【技术领域】
[0001] 本发明涉及一种电子设备及其控制方法，更具体地说，涉及将虚拟控制对象投射 在平面上以控制在电子设备上运行的操作。

【背景技术】
[0002] 随着诸如个人计算机、膝上型计算机、蜂窝电话的终端的功能多样化，终端变为具 有用于如下各项的多种功能的多媒体播放器：获取图片或运动图像、播放音乐、运动图像文 件和游戏以及接收广播节目。
[0003] 终端能够被分类为移动终端和固定终端。根据用户是否能够人工地携带这些终 端，移动终端能够进一步由手持终端和车载终端组成。包括移动终端的常规终端提供越来 越多的复杂和各种功能。为了支持和改善终端中的越来越多的功能，期望改进终端的结构 部分和/或软件部分。
[0004] 随着包括移动终端的各种终端提供各种复杂功能，菜单结构也变得复杂。而且，添 加了通过终端显示包括网页的数字文档的功能。


【发明内容】

[0005] 本发明的目的是，提供一种能够将虚拟控制对象投射在平面上以控制在其上运行 的操作的电子设备及其控制方法。应当理解的是，由本发明实现的技术目的不限于上述技 术目的，并且根据以下描述，本文未提及的其它技术目的对于本发明所属领域的普通技术 人员而言将是显而易见的。
[0006] 为了实现上述目的，本发明的实施方式提供了一种包括投射模块的电子设备，所 述电子设备包括：显示模块；照相机，所述照相机被构造为获取用户手势（gesture);所述 投射模块，所述投射模块被构造为将虚拟控制对象投射在距所述电子设备预定距离之内的 平面上；以及控制器，所述控制器被构造为在所述显示模块上显示与在所述电子设备上运 行的操作关联的画面，并且在通过所述照相机接收到预定用户手势时，通过所述投射模块 在所述平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行 的所述操作中的至少一个。
[0007] 在所述电子设备上运行的操作可以是在所述电子设备上运行的预定应用。
[0008] 在所述电子设备上运行的操作可以是在所述电子设备上发生的事件。
[0009] 所述事件可以包括呼叫接收、消息接收或告警中的至少一个。
[0010] 所述控制器可以从在距所述电子设备所述预定距离之内的所述平面接收所述预 定用户手势。
[0011] 所述控制器可以在所述平面的与所述手势接收范围对应的区域中投射所述虚拟 控制对象。
[0012] 所述虚拟控制对象可以包括图标、滚动条、触摸输入接收区域或键区中的至少一 个，以控制在所述电子设备上运行的所述操作。
[0013] 所述控制器可以通过所述虚拟控制对象上的触摸输入，接收用于控制所述运行的 操作的输入。
[0014] 在接收到用于选择所述虚拟控制对象的区域的触摸输入时，所述控制器可以将所 选区域投射在所述平面上，以将所选区域与其它区域区分开。
[0015] 所述控制器可以还在所述显示模块上显示包括与在所述平面上投射的所述虚拟 控制对象相同的图像的对象。
[0016] 在接收到用于选择所述虚拟控制对象的区域的触摸输入时，所述控制器可以在所 述显示模块上显示指示符，以指示已经接收到所述触摸输入。
[0017] 所述虚拟控制对象可以包括与在所述显示模块上显示的所述画面相同的图像。
[0018] 为了实现上述目的，本发明的另一个实施方式提供一种包括投射模块的电子设备 的控制方法，所述控制方法包括以下步骤：在显示模块上显示与在所述电子设备上运行的 操作关联的画面；通过照相机接收预定用户手势；以及通过所述投射模块在距所述电子设 备预定距离之内的平面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子 设备上运行的所述操作中的至少一个。
[0019] 在接收用户手势时，可以从在距所述电子设备所述预定距离之内的所述平面接收 所述预定用户手势。
[0020] 在将虚拟控制对象投射在平面上时，可以在所述平面的与所述手势接收范围对应 的区域中投射所述虚拟控制对象。
[0021] 所述电子设备的控制方法可以还包括：通过所述虚拟控制对象上的触摸输入，接 收用于控制所述运行的操作的输入。
[0022] 所述电子设备的控制方法可以还包括：在接收到用于选择所述虚拟控制对象的区 域的触摸输入时，将所选区域投射在所述平面上，以将所选区域与其它区域区分开。
[0023] 所述电子设备的控制方法可以还包括：在所述显示模块上显示包括与在所述平面 上投射的所述虚拟控制对象相同的图像的对象。
[0024] 所述电子设备的控制方法可以还包括：在接收到用于选择所述虚拟控制对象的区 域的触摸输入时，在所述显示模块上显示指示符，以指示已经接收到所述触摸输入。
[0025] 根据本发明的电子设备及其控制方法具有以下优点。
[0026] 根据本发明，与当前运行的操作关联的控制对象（即，适用于每个情况的虚拟控 制对象）能够被投射在平面上。
[0027] 而且，在用户不操纵电子设备的情况下，当前运行的操作能够通过触摸在平面上 所投射的虚拟控制对象来控制。

【专利附图】

【附图说明】
[0028] 附图被包括以提供对本发明的进一步理解，并且被合并进本申请中且构成本申请 的一部分，附图例示本发明的实施方式，并且与说明书一起用于说明本发明的原理。
[0029] 图1是根据本发明的实施方式的电子设备的框图。
[0030] 图2是用于说明根据本发明的各种实施方式的电子设备的操作原理的概念图。
[0031] 图3是根据本发明的各种实施方式的电子设备的视图。
[0032] 图4是根据本发明的实施方式的电子设备的控制方法的流程图。
[0033] 图5至图7是用于说明本发明的实施方式的视图。
[0034] 图8至图11例示根据本发明的实施方式的显示与运行的应用关联的虚拟控制对 象的示例。
[0035] 图12至图15是用于说明根据本发明的实施方式的输入信号的反馈的示例的时序 图和视图。
[0036] 图16至图20例示根据本发明的实施方式的虚拟控制对象与事件的发生关联的示 例。
[0037] 图21是根据本发明的另一个实施方式的电子设备的控制方法的流程图。
[0038] 图22是用于说明本发明的另一个实施方式的视图。

【具体实施方式】
[0039] 根据结合附图的以下详细描述，本公开的上述和其它方面、特征和优点将更加显 而易见。因为本发明允许各种变化和多种实施方式，所以【具体实施方式】将在附图中例示并 且在书面描述中详细描述。在整个说明书中，相同的附图标记表示相同的元件。在描述本 公开时，将省略公知功能或构造的详细描述，为了不必要使本公开的主题模糊。本发明的描 述中所使用的数字（例如，第一、第二等）仅用于将一个元件与另一个元件区分开。
[0040] 下面可以参照附图来描述根据本发明的电子设备。在以下描述中，对电子设 备的部件给出后缀"模块"和"单元"，仅仅出于便于描述的考虑，而不具有彼此区别 (discriminated)的含义或者功能。
[0041] 电子设备可以包括：蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字 助理（PDA)、便携式多媒体播放器（PMP)、导航系统等。对于本领域普通技术人员显而易见 的是，除了仅专门用于移动终端而公开的应用之外，根据本说明书中所公开的实施方式的 构造应当可用于固定或静止终端（诸如数字TV或桌上型计算机）。
[0042] 图1是根据本发明的实施方式的电子设备的框图。
[0043] 电子设备100可以包括：无线通信单元110 (或者无线电通信单元）、音频/视频 (A/ν)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口 170、 控制器180以及电源190。图1所示的部件不是实质部分（essential part)，并且能够改 变在电子设备100中所包括的部件的数量。现在对电子设备100的部件进行描述。
[0044] 无线通信单元110可以包括至少一个模块，所述至少一个模块使得能够在电子设 备100和无线电通信系统之间或者在电子设备100和电子设备100所处的网络之间进行无 线电通信。例如，无线通信单元110可以包括：广播接收模块111、移动通信模块112、无线 互联网模块113、短距离通信模块114 (或者局域通信模块）以及位置信息模块115 (或者定 位信息模块）。
[0045] 广播接收模块111可以通过广播信道从外部广播管理服务器接收广播信号和/或 与广播相关的信息。
[0046] 广播信道可以包括卫星信道和地面信道，并且广播管理服务器可以是产生并且发 送广播信号和/或与广播相关的信息的服务器，或者是接收先前创建的广播信号和/或与 广播相关的信息并且向终端发送广播信号和/或与广播相关的信息的服务器。广播信号可 以不仅包括TV广播信号、无线电广播信号和数据广播信号，而且还包括呈TV广播信号和无 线电广播信号的组合的形式的信号。
[0047] 与广播相关的信息可以是关于广播信道、广播节目或者广播服务提供商的信息， 并且可以甚至通过移动通信网络来提供。在后一种情况下，与广播相关的信息可以被移动 通信模块112接收。
[0048] 与广播相关的信息可以以多种形式存在。例如，与广播相关的信息可以以数字多 媒体广播（DMB)系统的电子节目指南（EPG)的形式或者以手持数字视频广播（DVB-Η)系统 的电子服务指南（ESG)的形式存在。
[0049] 广播接收模块111可以使用各种广播系统来接收广播信号。更具体地，广播接收 模块111可以使用诸如地面数字多媒体广播（DMB-T)系统的数字广播系统、卫星数字多媒 体广播（DMB-S)系统、媒体单一前向链路（MediaFLO)系统、DVB-Η以及地面综合业务数字 广播（ISDB-T)系统来接收数字广播信号。广播接收模块111可以从除了上述数字广播系 统以外的提供广播信号的广播系统接收信号。
[0050] 通过广播接收模块111接收的广播信号和/或与广播相关的信息可以被存储在存 储器160中。
[0051] 移动通信模块112可以向移动通信网络上的基站、外部终端和服务器中的至少一 个发送无线电信号或者从移动通信网络上的基站、外部终端和服务器中的至少一个接收无 线电信号。根据文本/多媒体消息的发送和接收，无线电信号可以包括语音呼叫信号、视频 电话呼叫信号或者呈各种形式的数据。
[0052] 无线互联网模块113可以对应于用于无线互联网接入的模块，并且可以被包括在 电子设备100中或者可以外置地附接到电子设备100。无线LAN (WLAN或者Wi-Fi)、无线宽 带（Wibro)、全球微波互联接入（Wimax)、高速下行链路分组接入（HSDPA)等可以用作无线 互联网技术。
[0053] 短距离通信模块114可以对应于用于短距离通信的模块。此外，Bluetooth:?、射频 识别（RFID)、红外数据协会（IrDA)、超宽带（UWB)和/或ZigBcc?可以用作短距离通信技 术。
[0054] 位置信息模块115是用于识别或者以其它方式获得电子设备的位置的模块。全球 定位系统（GPS)模块是位置信息模块115的代表示例。根据当前技术，GPS模块115可以 计算关于一个点或者对象与至少三个卫星之间的距离的信息以及关于测量距离信息时的 时间的信息，并且对所获得的距离信息应用三角测量法，以根据在预定时间的纬度、经度和 海拔来获得关于所述点或者对象的三维位置信息。还可以使用利用三个卫星来计算位置和 时间信息并且使用另一个卫星来校正所计算的位置和时间信息的方法。另外，GPS模块115 可以实时地连续地计算当前位置，并且使用位置或者定位信息计算速度信息。
[0055] 参照图1，A/V输入单元120可以输入（或者接收）音频信号和/或视频信号。A/ V输入单元120可以包括照相机121和麦克风122。照相机121可以处理由图像传感器在 视频电话模式或者拍照模式中获得的静止图像或运动图像的图像帧。可以在显示器151上 显示经过处理的图像帧。
[0056] 由照相机121处理的图像帧可以被存储在存储器160中，或者可以通过无线通信 单元110发送到外部设备。电子设备100还可以包括至少两个照相机121。
[0057] 麦克风122可以在呼叫模式、录音模式和/或语音识别模式中接收外部音频信号， 并且麦克风122可以将所接收的音频信号处理为电音频数据。然后，可以将音频数据转换 为如下形式：能够通过移动通信模块122向移动通信基站发送并且在呼叫模式中输出的形 式。麦克风122可以采用各种噪声去除算法（或者噪声消除算法），以便去除或者减少当接 收外部音频信号时产生的噪声。
[0058] 用户输入单元130可以从用户接收用于控制电子设备100的操作的输入数据。用 户输入单元130可以包括：键区、圆顶（dome)开关、触摸板（恒定电压/电容）、操作轮、操 作开关等。
[0059] 感测单元140可以感测电子设备100的当前状态，诸如电子设备100的打开/闭 合状态、电子设备100的位置、用户是否触摸电子设备100、电子设备100的方向以及电子设 备100的加速度/减速度，并且感测单元140可以产生用于控制电子设备100的操作的感 测信号。例如，在电子设备1〇〇是滑盖电话的情况下，感测单元140可以感测滑盖电话打开 还是闭合。此外，感测单元140可以感测电源190是否供电和/或接口 170是否连接到外 部设备。同时，感测单元140可以包括姿态传感器141和/或接近传感器。
[0060] 输出单元150可以产生视觉、听觉和/或触觉输出，并且输出单元150可以包括： 显示器151、音频输出模块152、告警器153和触觉模块154。显示器151可以显示由电子设 备100处理的信息。当电子设备100处于呼叫模式时，显示器151可以显示与电话呼叫有 关的用户界面（UI)和/或图形用户界面（GUI)。当电子设备100处于视频电话模式或者拍 照模式时，显示器151还可以显示所获取的和/或所接收的图像、Π 或者GUI。
[0061] 显示器151可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示 器、柔性显示器和/或三维（3D)显示器中的至少一种。上述显示器中的一些显示器可以被 构造为透明或者透光型显示器，通过所述透明或者透光型显示器可以看到外部。这可以被 称作"透明显示器"。
[0062] 透明显示器的示例包括透明IXD。显示器151的后部结构还可以是透光型的。因 此，通过电子设备100的机体的由显示器151占据的透明区域，用户可以看见位于（电子设 备100的）机体后面的对象。
[0063] 电子设备100还可以包括至少两个显示器151。例如，电子设备100可以包括以预 定距离布置在单个面上的多个显示器151或者集成显示器。所述多个显示器151还可以布 置在不同的侧上。
[0064] 当显示器151和感测触摸的传感器（在下文称为触摸传感器）形成分层结构（在 下文称作触摸屏）时，显示器151除了用作输出设备以外还可以用作输入设备。例如，触摸 传感器可以呈触摸膜、触摸片和/或触摸板的形式。
[0065] 触摸传感器可以将被施加到显示器151的特定部分的压力的变化或者在显示器 151的特定部分处产生的电容的变化转换为电输入信号。触摸传感器可以感测触摸的压力 以及触摸的位置和面积。
[0066] 当用户将触摸输入施加到触摸传感器时，对应于该触摸输入的信号（多个信号） 可以被发送给触摸控制器。然后，触摸控制器可以处理该信号并且向控制器180发送对应 于该经过处理的信号的数据。因此，控制器180可以检测显示器151的被触摸的部分。
[0067] 参照图1，接近传感器可以位于电子设备100的内部区域中，被触摸屏包围，和/ 或靠近触摸屏。接近传感器可以使用电磁力或者红外线而没有机械接触地感测靠近预定感 测面的对象或者位于接近传感器附近的对象。接近传感器可以具有比接触传感器更长的寿 命，因而在电子设备100中可以具有广泛的应用。
[0068] 接近传感器可以包括：透射型光电传感器、直接反射型光电传感器、镜面反射型 光电传感器、高频振荡接近传感器、电容式接近传感器、磁接近传感器和/或红外接近传感 器。电容式触摸屏可以被构建为通过根据指针的接近的电场的变化来检测指针的接近。触 摸屏（触摸传感器）可以被分类为接近传感器。
[0069] 为了便于说明，指针的靠近触摸屏而不实际接触触摸屏的动作可以称为接近触 摸，并且使指针与触摸屏接触的动作可以称为接触触摸。指针在触摸屏上的接近触摸点可 以对应于触摸屏上的、指针与触摸屏垂直的点。
[0070] 接近传感器可以感测接近触摸和接近触摸模式（例如，接近触摸距离、接近触摸 方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸运动状态等）。然后，可以在触 摸屏上显示对应于所感测的接近触摸动作和接近触摸模式的信息。
[0071] 音频输出模块152可以输出在呼叫信号接收模式、电话呼叫模式或者录音模式、 语音识别模式和广播接收模式中从无线通信模块110接收到的或者存储在存储器160中的 音频数据。音频输出模块152可以输出与在电子设备100中执行的功能（诸如呼叫信号进 入铃声和消息进入铃声）有关的音频信号。音频输出模块152可以包括听筒、扬声器、蜂鸣 器等。
[0072] 告警器153可以输出用于指示产生电子设备100的事件的信号。例如，当接收呼 叫信号、接收消息、输入按键信号和/或输入触摸时可以产生告警。告警器153还可以输出 呈不同于视频信号或者音频信号的形式的信号，例如，用于通过振动指示产生事件的信号。 视频信号和/或音频信号还可以通过显示器151或者音频输出模块152输出。
[0073] 触觉模块154可以产生用户能够感觉的各种触觉效果。触觉效果的一个示例是振 动。还可以控制由触觉模块154产生的振动的强度和/或模式。例如，不同的振动可以组 合并且输出，或者可以顺序地输出。
[0074] 触觉模块154除了振动之外还可以产生多种触觉效果，包括根据相对于接触皮肤 表面坚直移动的针的布置的刺激效果、根据空气通过喷射孔或者抽吸孔的喷射力或者抽吸 力的刺激效果、摩擦皮肤的刺激效果、根据电极的接触的刺激效果、使用静电力的刺激效 果、和根据使用能够吸收或者辐射热的元件的冷和暖的再现的刺激效果。
[0075] 触觉模块154可以不仅通过直接接触发送触觉效果，而且还可以允许用户通过用 户的手指或者手臂的运动知觉来感觉触觉效果。电子设备100可以包括多个触觉模块154。
[0076] 存储器160可以存储用于控制器180的操作的程序和/或临时存储输入/输出数 据，诸如电话本、消息、静止图像和/或运动图像。存储器160还可以存储关于当触摸输入 被应用于触摸屏时输出的各种模式的振动和声音的数据。
[0077] 存储器160可以包括至少闪存存储器、硬盘型存储器、多媒体卡微型存储器、卡型 存储器（诸如SD或者XD存储器）、随机存取存储器（RAM)、静态RAM (SRAM)、只读存储器 (ROM)、电可擦除可编程ROM (EEPR0M)、可编程ROM (PR0M)磁存储器、磁盘和/或光盘。电子 设备100还可以与网络存储器相关联地操作，该网络存储器在互联网上执行存储器160的 存储功能。
[0078] 接口 170可以用作到连接于电子设备100的外部设备的路径。接口 170可以从外 部设备接收数据或者电力，并且将数据或者电力发送到电子设备100的内部部件，或者将 电子设备100的数据发送到外部设备。例如，接口 170可以包括：有线/无线头戴式耳机端 口、外部充电器端口、有线/无线数据端口、存储器卡端口、用于连接具有用户标识模块的 设备的端口、音频I/O端口、视频I/O端口和/或耳机端口。
[0079] 用户标识模块是存储用于认证使用电子设备100的权限的信息的芯片。例如， 用户标识模块可以是用户身份模块（UIM)、订户身份模块（SIM)和/或通用订户身份模块 (USIM)。还可以以智能卡的形式制造标识设备（包括该用户标识模块）。因此，标识设备可 以通过端口连接到电子设备100。
[0080] 接口 170还可以是这样的路径，即当电子设备100连接到外部托架（cradle)时通 过该路径从外部托架向电子设备100提供电力；或者接口 170可以是这样的路径，即通过该 路径向电子设备100发送由用户通过托架输入的各种命令信号。从托架输入的各种命令信 号或者电力可以用作用于确认电子设备100是否被正确设置在托架中的信号。
[0081] 控制器180可以控制电子设备100的整体操作。例如，控制器180可以进行针对 语音通信、数据通信和/或视频电话的控制和处理。控制器180还可以包括用于播放多媒 体的多媒体模块181。多媒体模块181可以被包括在控制器180中，或者可以与控制器180 分开。
[0082] 控制器180可以执行模式识别处理，该模式识别处理能够将被施加到触摸屏的手 写输入或者图片描绘输入识别为字符或者图像。在控制器180的控制下，电源190可以接 收外部电力和内部电力，并且提供电子设备100的部件操作所要求的电力。在可以由计算 机或其类似设备读取的存储介质中，本文描述的各种实施方式可以被实现为软件、硬件或 其组合。
[0083] 根据硬件实现方式，可以用以下中的至少一种来实现实施方式：专用集成电路 (ASIC)、数字信号处理器（DSP)、数字信号处理器件（DSPD)、可编程逻辑设备（PLD)、现场可 编程门阵列（FPGA)、处理器、控制器、微控制器、微处理器和/或用于执行功能的电单元。实 施方式可以由控制器180实现。
[0084] 根据软件实现方式，可以用执行至少一个功能或者操作的单独的软件模块来实现 诸如过程或者功能的实施方式。可以根据用适当的软件语言编写的软件应用来实现软件代 码。软件代码可以被存储在存储器160中，并且由控制器180执行。下文中，将对本发明的 实施方式进行详细描述。在本发明中，为了描述方便，显示单元151被定义为触摸屏151。 如上所述，触摸屏151可以执行显示信息的功能和输入信息的功能这两者。然而，应当明显 强调的是本发明不限于此。后面提及的术语"触摸"被解释为意指接触触摸和接近触摸这 两者。
[0085] 图2是用于说明根据本发明的各种实施方式的电子设备的操作原理的概念图。
[0086] 如图2所示，根据本发明的实施方式的电子设备100可以包括：投射模块201、传 感器模块202和照明模块203。即，投射模块201、传感器模块202和照明模块203可以被 嵌入在电子设备100中。
[0087] 当投射模块201、传感器模块202和照明模块203被嵌入在其中能够安装电子设备 100并且电子设备100能够安装在其上的设备（例如，基站等）中时，可以实现本发明的实 施方式。
[0088] 投射模块201可以将预定图像10投射在静止平面20 (例如，桌子）上。投射模块 201中所包括的红激光二极管可以在平面上形成诸如键盘图像的图像。被投射到平面上的 光可以是可见光。
[0089] 照明模块203可以以辐射状（radial)发光模式12投射光，以使光更靠近平面20。 当用户用手指等触摸被投射在平面20上的图像10时，光可以被散射或反射。即，当用户的 手指等接近触摸被投射在平面20上的图像10时，光可以从被手指等触摸的点散射或反射。
[0090] 传感器模块202可以接收从用户的手指F1散射或反射的光。传感器模块202可 以映射由接收到的光所感测的用户的手指F1的位置和图像10上的位置15。传感器模块 202可以向电子设备100的控制器180发送关于所选图像10的位置信息。控制器180可以 基于从被投射到平面上的图像10接收到的控制信号来控制电子设备100的操作。
[0091] 图3是根据本发明的各种实施方式的电子设备的视图。
[0092] 根据本发明的实施方式的电子设备100可以包括：移动电话、智能电话（图3的 (a))、平板计算机（图3的（b))和智能TV(图3的（c))等。其可以还包括：膝上型计算 机、数字广播终端、PDA (个人数字助手）、PMP(便携式多媒体播放器）、导航系统、数字TV、 桌上型计算机等。
[0093] 图4是根据本发明的实施方式的电子设备的控制方法的流程图。
[0094] 控制器180可以在显示模块151上显示与在电子设备100上运行的操作关联的画 面（S101)。
[0095] 控制器180可以在显示模块151上显示运行应用的执行画面。例如，如果运行视 频播放应用，则控制器180可以在显示模块151上显示视频回放画面。
[0096] 控制器180可以显示与已经发生的事件关联的画面。事件可以包括呼叫接收、消 息接收和告警。例如，控制器180可以在显示模块151上显示指示来电的画面。
[0097] 控制器180可以通过照相机121接收预定用户手势（S103)。
[0098] 当接收到预定用户手势时，预定用户手势可以被匹配以执行特定功能，并且被存 储在存储器160中。预定用户手势可以被预设在电子设备10中，或者由用户设置或重置。 [0099] 控制器180可以通过投射模块将虚拟控制对象投射在平面上，以在接收到用户手 势时控制在电子设备100上运行的操作中的至少一个（S105)。
[0100] 例如，当视频播放应用在电子设备1〇〇上运行时，控制器180可以将虚拟控制对象 投射在平面上，以在接收到预定用户手势时控制视频回放。虚拟控制对象可以包括图标、滚 动条、触摸输入接收区域等，以便控制视频回放。
[0101] 控制器180可以通过投射模块将虚拟控制对象投射在距电子设备100预定距离之 内的平面上。所述预定距离指的是电子设备100能够从虚拟控制对象接收控制信号的范 围。
[0102] 控制器180可以通过虚拟控制对象，接收用于控制运行的操作的输入（S107)。
[0103] 即，在用户不操纵电子设备100的情况下，在显示模块151上显示的预定执行画面 能够通过触摸在平面上所投射的虚拟控制对象来控制。
[0104] 根据本发明的实施方式的电子设备100能够基于用户手势在平面上投射与当前 运行的操作关联（即，适用于每个情况）的虚拟控制对象。
[0105] 图5至图7是用于说明本发明的实施方式的视图。
[0106] 图5例示当接收到用户手势时虚拟控制对象被投射在平面上的示例。
[0107] 电子设备100可以包括用于获取用户手势的照相机121。电子设备100可以通过 照相机121从在距电子设备100预定距离之内的平面20接收预定用户手势。
[0108] 在预定距离之内的平面可以指：在能够通过照相机121获取用户手势的范围内的 平面。预定用户手势可以是在电子设备100中预设的手势输入。而且，预定用户手势可以 通过用户输入设置或重置。
[0109] 如图5的（a)所示，电子设备100可以在距电子设备100预定距离之内的平面20 上接收将手H1向右移动的手势。
[0110] 如图5的（b)所示，在接收到预定用户手势时，电子设备100可以将虚拟控制对象 10投射在距电子设备100预定距离之内的平面20上。虚拟控制对象10可以是如下对象：即 用于在接收到用户手势对象时，控制在电子设备上运行的操作中的至少一个操作的对象。
[0111] 图6例示当接收到用户手势时虚拟控制对象消失的示例。
[0112] 如图6的（a)所示，当在平面20上投射虚拟控制对象10时，控制器180可以在虚 拟控制对象10上接收将用户的手H2向左移动的手势。
[0113] 如图6的（b)所示，在接收到将用户的手H2向左移动的手势时，控制器180可以 不将虚拟控制对象投射在平面20上。即，在平面20上投射的虚拟控制对象10可以消失。
[0114] 图7例示虚拟控制对象被投射在与手势接收范围对应的平面的区域中的示例。
[0115] 控制器180可以从在距电子设备100预定距离之内的平面接收预定用户手势。控 制器180可以在与手势接收范围对应的平面的区域中投射虚拟控制对象。
[0116] 如图7的（a)和（b)所示，虚拟控制对象10可以被投射在与用户手势接收范围 (即，用户的手H3的轨迹）对应的区域A1中。
[0117] 图7的（c)和（d)例示在比图7的（a)和（b)窄的区域中接收用户手势的示例。 如图所示，控制器180可以将虚拟控制对象10投射在与用户手势接收范围（即，用户的手 H4的轨迹）对应的区域A2中。
[0118] 用户可以向左移动手，以便与他们想要在平面上显示虚拟控制对象10的范围对 应。即，如果手的移动范围宽，则虚拟控制对象10可以被显示在宽的区域中，或者如果手的 移动范围窄，则虚拟控制对象10可以被显示在窄的区域中。
[0119] 虽然针对其中基于将手向右移动的手势显示虚拟对象并且基于将手向左移动的 手势虚拟对象消失的示例描述了图5至图7,但是本发明的实施方式不限于该示例。例如， 在将手上下移动时，本发明的实施方式可以应用。即，本发明的实施方式可应用于能够通过 电子设备100的照相机121获取的用户手势。
[0120] 图8至11例示根据本发明的实施方式的显示与运行的应用关联的虚拟控制对象 的示例。
[0121] 图8的（a)例示与在电子设备100上运行的视频播放应用关联的画面被显示在显 示模块151上的示例。图8的（b)和（c)例示被投射在平面上的虚拟控制对象10的示例。
[0122] 当接收到预定用户手势时，控制器180可以通过投射模块将虚拟控制对象投射在 平面上，以在接收到用户手势时控制在电子设备100上运行的操作中的至少一个。
[0123] S卩，如果在接收到预定用户手势时正在运行视频播放应用，则控制器180可以通 过投射模块将虚拟控制对象10投射在平面上，以控制视频回放。
[0124] 如图8的（b)和（c)所示，用于控制视频播放应用的虚拟控制对象10可以包括：用 于指示整个文件中的回放位置的滚动条S1、用于音量控制的图标13以及用于停止、暂停、 筛选（screen)、缩小画面、获取画面、字幕设置、缩小、放大等的图标。
[0125] 在接收到用于选择在虚拟控制对象10中所包括的用于音量控制的图标13的输入 F3时，控制器180可以进一步将用于音量控制的滚动条S3投射在图标13附近。
[0126] 控制器180可以基于通过虚拟控制对象10接收到的输入信号来控制运行的应用 的操作。
[0127] 图9的（a)例示显示与在电子设备100上运行的电子书关联的画面的示例。图9 的（b)例示被投射在平面上的虚拟控制对象10的示例。图9的（c)例示显示模块151的 执行画面的变化的示例。
[0128] 当在电子书显示在显示模块151上时接收到预定用户手势时，控制器180可以将 与电子书关联的虚拟控制对象投射在平面上。例如，如图9的（b)所示，控制器180可以在 平面上投射虚拟控制对象10,包括：用于指示在显示模块151上显示的页面中的当前位置 的滚动条S5、用于翻页的图标15和16、用于调用列表的图标、用于搜索的图标、用于页面抓 取（scrapping)的图标和用于预定设置的图标。
[0129] 在接收到用于选择用于翻到下一页的图标16的输入F4时，控制器180可以在显 示模块151上显示当前显示页的下一页（图9的（c))。
[0130] 图10例示被投射在平面上的虚拟控制对象10的示例。即，图10例示如下示例： 当在显示模块151上显示电子书时接收到预定用户手势时，在平面上投射与电子书关联的 虚拟控制对象。
[0131] 如图10所示，虚拟控制对象10可以包括：用于指示在显示模块151上显示的页面 中的当前位置的滚动条S6、用于翻页的触摸区域t2等。
[0132] 例如，在接收到用于向右拖拽用于翻页的触摸区域t2的输入F5时，控制器180可 以在显示模块151上显示下一页。而且，在接收到用于向左拖拽用于翻页的触摸区域t2的 输入时，控制器180可以在显示模块151上显示上一页。
[0133] 图11例示在运行与演奏乐器关联的应用的同时，投射与运行的应用关联的虚拟 控制对象的示例。
[0134] 如图11的（a)所示，当在显示模块151上显示乐谱时，控制器180可以基于预定 用户手势在平面上投射包括钢琴键盘图像的虚拟控制对象10。
[0135] 电子设备100可以基于在平面上投射的钢琴键盘上的手指触摸输入，输出与接收 到输入信号的钢琴按键对应的预定声音。
[0136] S卩，通过在阅读在显示模块151上显示的乐谱的同时按压在平面上投射的虚拟钢 琴键盘，用户感觉自己好像在弹钢琴。
[0137] 图12至图15是用于说明根据本发明的实施方式的输入信号的反馈的示例的时序 图和视图。图12和图14是用于说明用于输入信号的反馈的示例的时序图。图13和图15 是用于说明用于输入信号的反馈的示例的视图。
[0138] 如图12所示，在通过虚拟控制对象接收到输入信号时（图4的S107)，控制器180 可以以将输入信号接收区域与其它区域区分开的方式投射虚拟控制对象（S202)。
[0139] 如图13所示，控制器可以在显示模块151上显示视频回放画面，并且在接收到预 定用户手势时，通过投射模块在平面上投射虚拟控制对象10,以控制视频回放。
[0140] 当在虚拟控制对象10中所包括的图标17上接收到输入信号F6时，控制器180可 以投射用于指示已经接收到图标17上的输入信号的预定反馈指示符。预定反馈指示符可 以是在所选图标17附近所投射的虚线Π 。而且，预定反馈指示符可以用于识别，以通过渐 变（shading)、放大或缩小所选图标而将所选图标上的输入信号的接收区域与其它区域区 分开。
[0141] 如图14的（a)和图15的（a)所示，在通过虚拟控制对象接收到输入信号时（图 4的S107)，控制器180可以输出预定声音vl，以指示已经接收到输入信号。
[0142] 如图14的（b)所示，在通过虚拟控制对象接收到输入信号时（图4的S107)，控 制器180在显示模块151上显示预定反馈，以指示已经接收到输入信号。如图15的（b)所 示，控制器180可以在显示模块151上显示对象30,对象30包括与在平面上投射的虚拟控 制对象10相同的图像。
[0143] 在通过在平面上投射的虚拟控制对象10接收到图标17上的输入信号时（图13 的（b))，控制器180可以在显示模块151上显示的图标18附近显示预定指示符f2,以指示 已经接收到输入信号。预定指示符f2可以是在所选图标附近的虚线。而且，预定反馈指示 符可以涉及渐变、放大和缩小所选图标。
[0144] 图16至图20例示根据本发明的实施方式的虚拟控制对象与事件的发生关联的示 例。
[0145] 图16例示当在电子设备100上进行视频回放期间有来电时，用于控制来电的虚拟 控制对象基于预定用户手势被投射在平面上的示例。
[0146] 如图16的（a)所示，当在视频回放期间有来电时，控制器180可以在显示模块151 上显示用于指示来电的窗口 el。
[0147] 在来电的同时接收到预定用户手势时，控制器180可以在平面上投射虚拟控制对 象10,以控制来电。虚拟控制对象10可以包括：含有呼叫者的电话号码、姓名等的信息、用 于呼叫连接的图标19、用于显示键区的图标、用于终止呼叫连接的图标等。
[0148] 在接收到用于选择在虚拟控制对象10中所包括的用于呼叫连接的图标19的输入 F8时，控制器180可以接受呼叫。即，控制器180可以通过虚拟控制对象10接收输入信号， 并且执行与接收到的输入信号对应的操作。
[0149] 如图16的（c)所示，虚拟控制对象10可以包括与呼叫连接关联的触摸区域t3。 控制器180可以基于用于向右拖拽触摸区域t3的输入F9,接受呼叫。而且，控制器180可 以基于用于向左拖拽触摸区域t3的输入，结束呼叫。
[0150] 图17和图18例示用于控制来电的虚拟控制对象10的示例。
[0151] 如图17的（a)和图18的（a)所示，在来电的同时接收到预定用户手势时，控制器 180可以在平面上投射虚拟控制对象10,以控制来电。虚拟控制对象10可以包括：用于发 送预设回复消息的图标111和用于写消息的图标112。
[0152] 如图17的（a)和（b)所示，在接收到用于选择图标111的输入F11时，控制器180 可以在平面上投射预设消息的列表。控制器180可以接收用于在消息列表中选择任意一个 消息ml的输入F12。
[0153] 如图18的（a)和（b)所示，在接收到用于选择图标112的输入F13时，控制器180 可以在平面上投射含有如下项的虚拟控制对象10 :用于写消息的键盘43、用于显示所写消 息的窗口 41以及用于发送和取消的图标45和46。控制器180可以接收键盘43上的输入 信号F14,以写消息。
[0154] 图19和图20例示当在电子设备100中的显示模块151上显示电子书时的消息接 收的示例。
[0155] 如图19的（a)所示，控制器180可以在显示模块151上显示用于指示传入消息的 窗口 e2。用于指示接收到的消息的窗口 e2可以含有呼叫者信息。
[0156] 如图19的（b)所示，如果有新的未读消息，则控制器180可以基于预定用户手势， 在平面上投射用于接收到的消息的虚拟控制对象10。
[0157] 虚拟控制对象10可以含有：用于指示接收到的消息的图标113和用于发送回复消 息的图标。控制器180可以接收用于选择用于指示接收到的消息的图标113的输入F15。
[0158] 如图20的（a)所示，控制器180可以通过音频输出模块152输出（v2)接收到的 消息（例如，"你在哪？ "）。而且，如图20的（b)所示，控制器180可以在平面上投射含有 接收到的消息48的虚拟控制对象10。
[0159] 图21是根据本发明的另一个实施方式的电子设备的控制方法的流程图。
[0160] 控制器180可以在显示模块151上显示与在电子设备100上运行的操作关联的画 面（S301)。控制器180可以通过照相机接收预定用户手势（S303)。将参照图4的详细描 述来描述步骤S301和S303。
[0161] 控制器180可以在接收到用户手势时，在平面上投射包括与在显示模块151上显 示的画面相同的图像的虚拟控制对象（S305)。即，在显示模块151上显示的画面和平面上 投射的虚拟控制对象10可以包括相同的图像。
[0162] 控制器180可以通过虚拟控制对象，接收用于控制显示模块151的画面的输入 (S307)。即，用户能够不通过显示模块151而通过虚拟控制对象10来输入预定信号。
[0163] 控制器180可以基于接收到的输入来改变显示模块151的画面（S309)。即，控制 器180可以基于在虚拟控制对象10上所选择的输入信号，来改变显示模块151的画面。
[0164] 即使改变了显示模块151的画面，也可以不改变虚拟控制对象10中的图像。艮P， 虚拟控制对象10可以用于控制电子设备100的在显示模块151上显示的操作。
[0165] 图22是用于说明本发明的另一个实施方式的视图。
[0166] 图22的（a)例示在显示模块151上显示网页的示例。网页可以含有用于通向其 它网页的超链接11和12。
[0167] 如图22的（b)所示，虚拟控制对象10可以包括与在显示模块151上显示的网页 相同的图像。
[0168] 如图22的（b)和的（c)所示，在接收到用于选择在虚拟控制对象10中所含有的 超链接151的输入信号时，控制器180可以将显示模块151的显示画面改变为与所选的超 链接151对应的网页。可以不改变投射在平面上的虚拟控制对象10。即，虚拟控制对象10 可以用于控制显示模块151的显示画面。
[0169] 上述控制电子设备的方法可以被写为计算机程序，并且可以在使用计算机可读记 录介质来执行这些程序的数字微处理器中实现。控制电子设备的方法可以通过软件执行。 该软件可以包括执行所要求的任务的代码段。程序或者代码段还可以被存储在处理器可读 介质中，或者可以根据计算机数据信号与载体组合地通过传输介质或者通信网络发送。
[0170] 计算机可读记录介质可以是任意数据存储设备，该数据存储设备能够存储之后能 够被计算机系统读取的数据。计算机可读记录介质的示例可以包括：只读存储器（ROM)、随 机存取存储器（RAM)、CD-ROM、DVD土ROM、DVD-RAM、磁带、软盘、光学数据存储设备。计算机 可读记录介质还可以在联接到网络的计算机系统上分布，使得计算机可读代码被以分布式 方式存储和执行。
[0171] 电子设备可以包括：被构造为显示第一对象的第一触摸屏；被构造为显示第二对 象的第二触摸屏；以及控制器，该控制器被构造为接收被施加到第一对象的第一触摸输入， 并且当在维持第一触摸输入的同时当接收到被施加到第二对象的第二触摸输入时将第一 对象链接到与第二对象对应的功能。
[0172] 可以提供控制电子设备的方法，该方法包括：在第一触摸屏上显示第一对象；在 第二触摸屏上显示第二对象；接收被施加到第一对象的第一触摸输入；以及当在维持第一 触摸输入的同时在接收到被施加到第二对象的第二触摸输入时将第一对象链接到与第二 对象对应的功能。
[0173] 在本说明书中对"一个实施方式"、"实施方式"、"示例实施方式"等的任何引用，意 味着结合该实施方式描述的具体特征、结构或者特性被包括在本发明的至少一个实施方式 中。在说明书中各个位置中出现的这些词语不必全部指代相同的实施方式。此外，当结合 任意实施方式描述具体特征、结构或者特性时，应当承认的是，本领域普通技术人员能够想 到结合其它实施方式来实现这些特征、结构或者特性。
[0174] 尽管已经参考本发明的多个例示性实施方式对本发明的实施方式进行了描述，但 是应当理解的是，本领域普通技术人员能够想出落入本公开的精神和原理范围内的多个其 它变型和实施方式。更具体地说，能够在本公开、附图及所附权利要求的范围内，对本主题 组合装置的组成部件和/装置做出各种变体和变型。除了对组成部件和/或装置的变体和 变型之外，替代性使用对本领域普通技术人员也是明显的。
[0175] 相关申请的交叉引用
[0176] 本申请要求于2013年5月31日提交的韩国专利申请No. 10-2013-0062432的较 早提交日期的权益和优先权。
【权利要求】
1. 一种电子设备，所述电子设备包括： 显示模块； 照相机，所述照相机被构造为获取用户手势； 投射模块，所述投射模块被构造为将虚拟控制对象投射在距所述电子设备预定距离之 内的平面上；以及 控制器，所述控制器被构造为在所述显示模块上显示与在所述电子设备上运行的操作 关联的画面，并且在通过所述照相机接收到预定用户手势时，通过所述投射模块在所述平 面上投射虚拟控制对象，以在接收到所述用户手势时控制在所述电子设备上运行的所述操 作中的至少一个。
2. 根据权利要求1所述的电子设备，其中，在所述电子设备上运行的操作是在所述电 子设备上运行的预定应用。
3. 根据权利要求1所述的电子设备，其中，在所述电子设备上运行的操作是在所述电 子设备上发生的事件。
4. 根据权利要求3所述的电子设备，其中，所述事件包括呼叫接收、消息接收或告警中 的至少一个。
5. 根据权利要求1所述的电子设备，其中，所述控制器从在距所述电子设备所述预定 距离之内的所述平面接收所述预定用户手势。
6. 根据权利要求5所述的电子设备，其中，所述控制器在所述平面的与所述手势接收 范围对应的区域中投射所述虚拟控制对象。
7. 根据权利要求1所述的电子设备，其中，所述虚拟控制对象包括图标、滚动条、触摸 输入接收区域或键区中的至少一个，以控制在所述电子设备上运行的所述操作。
8. 根据权利要求1所述的电子设备，其中，所述控制器通过所述虚拟控制对象上的触 摸输入，接收用于控制所述运行的操作的输入。
9. 根据权利要求8所述的电子设备，其中，在接收到用于选择所述虚拟控制对象的区 域的触摸输入时，所述控制器将所选区域投射在所述平面上，以将所选区域与其它区域区 分开。
10. 根据权利要求1所述的电子设备，其中，所述控制器还在所述显示模块上显示包括 与在所述平面上投射的所述虚拟控制对象相同的图像的对象。
11. 根据权利要求10所述的电子设备，其中，在接收到用于选择所述虚拟控制对象的 区域的触摸输入时，所述控制器在所述显示模块上显示指示符，以指示已经接收到所述触 摸输入。
12. 根据权利要求1所述的电子设备，其中，所述虚拟控制对象包括与在所述显示模块 上显示的所述画面相同的图像。
13. -种电子设备的控制方法，所述控制方法包括以下步骤： 在显示模块上显示与在所述电子设备上运行的操作关联的画面； 通过照相机接收预定用户手势；以及 通过投射模块在距所述电子设备预定距离之内的平面上投射虚拟控制对象，以在接收 到所述用户手势时控制在所述电子设备上运行的所述操作中的至少一个。
14. 根据权利要求13所述的控制方法，其中，在接收用户手势时，从在距所述电子设备 所述预定距离之内的所述平面接收所述预定用户手势。
15. 根据权利要求14所述的控制方法，其中，在将虚拟控制对象投射在平面上时，在所 述平面的与所述手势接收范围对应的区域中投射所述虚拟控制对象。
16. 根据权利要求13所述的控制方法，该控制方法还包括通过所述虚拟控制对象上的 触摸输入，接收用于控制所述运行的操作的输入。
17. 根据权利要求16所述的控制方法，该控制方法还包括在接收到用于选择所述虚拟 控制对象的区域的触摸输入时，将所选区域投射在所述平面上，以将所选区域与其它区域 区分开。
18. 根据权利要求13所述的控制方法，该控制方法还包括在所述显示模块上显示包括 与在所述平面上投射的所述虚拟控制对象相同的图像的对象。
19. 根据权利要求18所述的控制方法，该控制方法还包括在接收到用于选择所述虚拟 控制对象的区域的触摸输入时，在所述显示模块上显示指示符，以指示已经接收到所述触 摸输入。
【文档编号】G06F3/0488GK104216653SQ201410230670
【公开日】2014年12月17日 申请日期:2014年5月28日 优先权日:2013年5月31日
【发明者】金世镐 申请人:Lg电子株式会社