提供非接触交互的便携式设备和方法
【专利摘要】本发明提供了一种用于在具有投影模块的便携式设备中通过无触摸用户输入控制便携式设备的操作的方法。为此，一旦驱动投影模块，通过投影模块投影应用执行屏幕；以及如果检测到接近事件，则激活摄像机模块以便获得从中识别用户手势的图像。与用户手势相应地控制投影图像上的指针。用户手势用于分派应用和控制指针。根据这种方式，用户可以在直观地操控便携式设备而不触摸触摸屏的同时，观看从便携式设备的投影模块投影的图像而没有抖动，如此用户便利性得到了最大化。
【专利说明】提供非接触交互的便携式设备和方法
【技术领域】
[0001] 本公开涉及一种便携式设备和一种用于控制该便携式设备的方法。更具体地，本 公开涉及一种便携式设备，其中在该便携式设备的屏幕上显示、或在便携式设备的外部投 影并显示所呈现的屏幕。
【背景技术】
[0002] 最近，便携式设备如智能电话或平板个人计算机（PC)在数量上获得了巨大的增 长。随着这些设备数量的增长，对使用便携式设备的应用也进行了积极地研发。这样的便 携式设备包括触摸屏，用户可以通过触摸屏来操控便携式设备。
[0003] 然而，在便携式设备中，由于强调便携性，所以便携式设备中包括的触摸屏的尺寸 就不可避免地受到了限制。尤其是，当用户使用便携式设备来观看运动图片或静态图片时， 由于触摸屏的受限尺寸，所以用户可能在观看运动或静态图片时感到不便。
[0004] 结果，当便携式设备在外部设备（例如，大尺寸TV)上显示应用时，通常通过经便 携式设备的触摸屏的触摸输入来控制该应用。
[0005] 便携式设备也可以使用投影模块来投影和显示图像。用户可以通过用外部大尺寸 的屏幕代替有限尺寸的触摸屏，以逼真的形式观看图像。
[0006] 然而，当在通过投影模块在外部设备上投影图像期间输入特定命令时，用户通过 直接触摸触摸屏或按压便携式设备的按键，来输入命令。当用户触摸触摸屏时，位于聚焦的 特定位置处的便携式设备可能发生位移，在这种情况下，在便携式设备的外面投影的图像 可能抖动。
[0007] 因此，需要一种用户可以在轻松操控便携式设备的同时观看从投影模块投影出的 图像而没有抖动的技术。
[0008] 此外，便携式设备通常包括触摸屏，以便提供用户界面。在通过触摸屏提供用户界 面的方案中，可能需要多个连续触摸输入，例如在触摸后拖动，这对用户导致不便。此外，在 显示屏幕尺寸不是很大的设备例如便携式设备中，同时使用触摸输入单元和显示屏幕，使 得屏幕经常被手指覆盖。因此，需要一种方法，允许用户输入用于执行所需功能的命令，而 不需要注视触摸屏。
[0009] 以上信息作为背景信息提供，仅为了帮助理解本公开。对于上述任何内容是否可 作为关于本公开的现有技术没有任何判定也没有任何断言。
【发明内容】
[0010] 本公开的方案在于解决至少上述问题和/或缺点并提供至少下述优点。因此，本 公开的方案在于提供一种便携式设备和方法，用于即使在便携式设备的操控期间，显示在 便携式设备外部投影的图像而没有抖动。
[0011] 此外，本公开的方案也提供了一种便携式设备和方法，用于提供一种无触摸界面， 而没有硬件结构改变。
[0012] 本公开的方案也提供了一种装置和方法，用于通过用户手势来操控具有投影模块 的便携式设备。
[0013] 本公开的方案在于提供了一种便携式设备和方法，用于使用户能够以无接触方式 来执行多种操控。
[0014] 本公开中提供的其它目的可以通过以下所述的多种实施例来理解。
[0015] 根据本公开的一个方面，提供了一种用于在便携式设备中提供无触摸界面的方 法。该方法包括：在便携式设备的触摸屏上显示应用的执行屏幕；在便携式设备外部投影 并显示与应用的执行屏幕相对应的投影图像；激活摄像机模块以便拍摄用户输入工具；在 投影图像上显示指针；以及与由摄像机模块拍摄的用户输入工具相对应，移动并显示指针。
[0016] 根据本公开的另一方面，提供了一种用于提供无触摸界面的便携式设备。该便携 式设备包括：显示器，配置为显示应用的执行屏幕；投影模块，配置为在便携式设备外部投 影并显示与应用的执行屏幕相对应的投影图像；至少一个摄像机模块，配置为连续捕获包 括用户输入工具的多个图像帧；以及控制器，配置为在投影图像上显示指针，并与由摄像机 模块拍摄的用户输入工具相对应，移动并显示指针。
[0017] 根据以下结合附图公开了本公开多个实施例的详细描述，本领域技术人员将更清 楚本公开的其他方面、优点和突出的特征。
【专利附图】
【附图说明】
[0018] 结合附图，根据以下详细描述，本公开的一些实施例的上述和其他方面、特征以及 优点将更清楚，附图中：
[0019] 图1是示出了根据本公开实施例的便携式设备的示意性框图；
[0020] 图2是根据本公开实施例的便携式设备的前透视图；
[0021] 图3是根据本公开实施例的便携式设备的后透视图；
[0022] 图4是示出了根据本公开实施例的包括投影模块的便携式设备的操作的流程图；
[0023] 图5A和5B是示出了根据本公开实施例，基于接近条件确定是否激活摄像机模块 的操作的流程图；
[0024] 图6是示出了根据本公开实施例的手指登记屏幕的图；
[0025] 图7是示出了根据本公开实施例用于投影与手指相对应的指针的图像的图；
[0026] 图84、88、8(：、80、9八、98及9(：是示出了根据本公开实施例，在手指图像中识别用于 控制指针的手指的示例的图；
[0027] 图10是示出了根据本公开实施例，用于在便携式设备中条件性地分派触摸屏事 件的方法的流程图；
[0028] 图11是示出了根据本公开另一实施例的包括投影模块的便携式设备的操作的流 程图；
[0029] 图12是示出了根据本公开实施例的便携式设备的示意框图；
[0030] 图13是示出了根据本公开实施例的便携式设备的操作的流程图；
[0031] 图14是用于描述根据本公开实施例的手部掩模（hand mask)计算操作的图；
[0032] 图15是用于描述根据本公开实施例的内切圆计算操作的图；
[0033] 图16是示出了根据本公开实施例用于确定图像中的内切圆的方法的图；
[0034] 图17是用于描述根据本公开实施例的手势识别操作的图；
[0035] 图18A、18B、18C及18D是示出了根据本公开实施例的不同手势的图；
[0036] 图19是用于描述根据本公开实施例的计算变焦比例的方法的图；
[0037] 图20A、20B及20C是根据本公开实施例，与敲击手势相对应的手势序列的图；以及
[0038] 图21A、21B、21C、21D及21E是示出了根据本公开实施例，与变焦手势相对应的手 势序列的图。
[0039] 贯穿附图，相同的附图标记将用于表示相同的部件、组件和结构。
【具体实施方式】
[0040] 以下参照附图的描述用来帮助全面理解权利要求及其等同物限定的本公开的多 个实施例。以下描述包括多种具体细节来帮助理解，但是这些具体细节应该视为仅仅是示 例性的。因此，本领域技术人员应认识到，在不背离本公开的范围和精神的前提下，可以对 本文所述多个实施例进行多种改变和修改。此外，为了清楚和简要目的，可以省略对公知功 能和结构的描述。
[0041] 以下描述和权利要求中使用的术语和词语不限于字面含义，而是仅由发明人用来 达到对本公开的清楚和一致理解。因此，本领域技术人员应理解，本公开的多个实施例的以 下描述仅用于说明目的，而不是要限制由所附权利要求及其等同物限定的本公开。
[0042] 应该理解，除非文中另外明确指出，否则单数形式的"一"、"一种"和"该"包括复 数形式。因此，例如，对于"一组件表面"的引述包括对于一个或多个这种表面的引述。
[0043] 尽管将使用序数（例如，"第一"和"第二"等）来描述多个组件，但是这些组件不 受这些术语、或这些术语的顺序的限制。这些术语仅用来将一个组件与另一组件相区分。例 如，在不违背本发明构思的教义的前提下，可以将第一组件称为第二组件，类似地，也可以 将第二组件称为第一组件。这里所用术语"和/或"包括一个或多个相关所列项目的任何 组合和所有组合。
[0044] 这里所用术语仅用于描述多个实施例的目的，而不是为了限制多个实施例。除非 文中另外明确指出，否则这里所用的单数形式也旨在包括复数形式。将进一步理解，当在本 说明书中使用术语"包括"和/或"具有"时，表示所述特征、数量、步骤、操作、组件、元件或 其组合的存在，但是不排除一个或多个其它特征、数量、步骤、操作、组件、元件或其组合的 存在或附加。
[0045] 除非另外指出，否则这里所用的所有术语（包括技术和科学术语）具有与多个实 施例所属领域的普通技术人员通常所理解的相同意义。将进一步理解，术语如常用字典中 定义的术语应解释为在说明书中具有在公开时本领域技术人员所理解的相关领域背景中 的意义相一致的意义，而不应以理想化或过于刻板的含义来进行解释，除非文中另外明确 指出。
[0046] 在本公开中，便携式设备可以是包括触摸屏的设备，便携式设备可以是指便携式 终端、移动终端、通信终端、便携式通信终端或便携式移动终端。
[0047] 例如，便携式设备可以是智能电话、蜂窝电话、游戏机、电视（TV)、显示器、车用头 戴单元（vehicle head unit)、笔记本计算机、膝上型计算机、平板计算机、个人媒体播放器 (PMP)、个人数字助手（PDA)等。便携式设备可以实现为具有无线通信功能的口袋尺寸便携 式通信终端。便携式设备也可以具有柔性设备或柔性显示器。
[0048] 便携式设备的代表结构与蜂窝电话有关，从便携式设备的代表结构中可以省略或 改变一些组件。
[0049] 本公开在具有投影模块的便携式设备中提供一种用于通过无触摸用户输入来控 制便携式设备的操作的方法。为此，在本公开中，如果驱动投影模块，则通过投影模块投影 应用执行屏幕；并且如果感测到接近事件，则激活摄像机模块以便获得图像，并从获得的图 像中识别用户手势，此后与用户手势相对应地控制投影图像上的指针。本公开也使用用户 手势来分派应用和控制指针。由此，用户可以直观地操控便携式设备而不触摸输入屏幕，可 以观看从投影模块投影的图像，而没有图像抖动，由此最大化用户的便利性。
[0050] 本公开可以应用到包括外部屏幕的便携式设备和包括投影模块的便携式设备。例 如，便携式设备可以配置为在外部TV上显示应用。
[0051] 图1是示出了根据本公开实施例的便携式设备100的示意性框图。
[0052] 参考图1，便携式设备100可以通过使用通信模块120、连接器165和耳机连接插 孔167中的至少一个，与外部电子设备（未示出）连接。外部电子设备可以包括从便携式 设备100可移除并且以有线形式与便携式设备100可连接的多种设备之一，例如，耳机、夕卜 部扬声器、通用串行总线（USB)存储器、充电设备、支架/坞（dock)、数字多媒体广播（DMB) 天线、移动支付相关设备、健康管理设备（血压监控器等）、游戏机、车辆导航设备等。电子 设备可以包括无线可连接的蓝牙通信设备，近场通信（NFC)设备、WiFi直接通信设备及无 线接入点（AP)。便携式设备100可以以有线或无线的方式与其它便携式设备或电子设备 (例如，蜂窝电话、智能电话、平板个人计算机（PC)、桌面PC和服务器之一）连接。
[0053] 便携式设备100包括触摸屏190和触摸屏控制器195。在本公开中，作为显示器和 显示器控制器的示例，将描述触摸屏190和触摸屏控制器195。便携式设备100也包括控制 器110、通信模块120、多媒体模块140、摄像机模块150、输入/输出模块160、传感器模块 170、存储单元175、投影模块177及电源单元180。
[0054] 控制器110可以包括中央处理单元（CPU) 111 ;只读存储器（ROM) 112,其中存储用 于控制便携式设备1〇〇的控制程序；以及随机存取存储器（RAM) 113,存储从便携式设备100 输入的信号或数据，或用作针对便携式设备100中执行的任务的存储区。CPU111可以包括 单核、双核、三核或四核处理器。CPU111、R0M112及RAM113可以通过内部总线相互连接。
[0055] 控制器110控制通信模块120、多媒体模块140、摄像机模块150、输入/输出模块 160、传感器模块170、存储单元175、投影模块177、电源单元180、触摸屏190及触摸屏控制 器 195。
[0056] 控制器110检测当可触摸的用户输入工具（用户的手指等）触摸触摸屏190上显 示的多个图形对象或图形项目之一、接近该对象、或位于该对象附近时产生的用户输入。控 制器110也识别与触摸屏190上感测到用户输入的位置相对应的对象。通过触摸屏190产 生的用户输入包括直接触摸输入和悬置（hovering)输入之一，直接触摸输入用于直接触 摸对象，悬置输入是在预设识别距离内接近对象但不直接触摸对象的间接触摸输入。例如， 当用户输入工具接近触摸屏190时，可以选择位于用户输入工具正下方的对象。在本公开 中，用户输入可以包括通过摄像机模块150产生的手势输入、通过至少一个按钮161或键盘 166产生的开关/按钮输入、及通过麦克风162产生的语音输入和通过触摸屏190产生的用 户输入。在本公开中，将描述通过摄像机模块150的手势输入作为示例。
[0057] 对象或项目（或功能项目）显示或可以显示在便携式设备100的触摸屏190上， 并包括以下内容中的至少一个：例如，应用、菜单、文档、窗口小部件（widget)、图片、运动 图像、电子邮件、SMS消息及丽S消息。可以使用用户输入工具来选择、执行、删除、取消、存 储及改变对象或项目。项目可以用作如下概念，该概念包括按钮、图标（或快捷图标）、缩略 图图像及包括便携式设备100中至少一个对象的文件夹。项目可以以图标、文本等的形式 呈现。
[0058] 快捷图标是显示在便携式设备100的触摸屏190上的图像，用于快速执行在便携 式设备100中提供的应用、呼叫、联系人号码、菜单等。一旦输入用于执行快捷图标的命令 或选择，就执行相应应用。
[0059] 当用户输入工具（例如，手指）接近触摸屏190或位于触摸屏190附件时，控制器 110检测用户输入事件，例如，悬置事件。
[0060] 一旦针对预设项目或以预设方式产生用户输入事件，则控制器110执行与所产生 的用户输入事件相对应的预设程序操作。
[0061] 通信模块120可以包括移动通信模块121、辅助通信模块130及广播通信模块 141。
[0062] 便携式设备100可以包括移动通信模块121、无线局域网络（WLAN)模块131及短 程通信模块132中的至少一个。
[0063] 移动通信模块121可以在控制器110的控制下，使用一个或多个天线（未示出） 通过移动通信，促进便携式设备100和外部设备之间的连接。移动通信模块121发送/接 收无线信号，以便与具有向便携式设备100输入的电话号码的蜂窝电话（未示出）、智能电 话（未示出）、平板PC或其它电子设备（未示出）进行语音呼叫、视频呼叫、文本消息（短 消息服务（SMS))和/或多媒体消息（多媒体服务（MMS))。
[0064] 辅助通信模块130可以包括WLAN模块131和短程通信模块132中的至少一个。例 如，辅助通信模块130可以包括WLAN模块131或短程通信模块132之一或两者。
[0065] WLAN模块131可以在控制器110的控制下，在安装有无线接入点（AP)(未示出） 的地方，连接到因特网。WLAN模块131支持电气与电子工程师协会（IEEE)的无线LAN标准 IEEE802. 1 lx。短程通信模块132可以在控制器110的控制下，在便携式设备100和外部电 子设备之间无线地执行短程通信。短程通信可以包括蓝牙、红外数据协会（IrDA)、WiFi直 接通信、NFC通信等。
[0066] 广播通信模块141可以在控制器110的控制下，通过广播通信天线（未示出）接 收从广播站（未示出）发送的广播信号（例如，TV广播信号、无线电广播信号、或数据广播 信号）和广播附加信息（例如，电子节目指南（EPG)或电子服务指南（ESG))。
[0067] 多媒体模块140可以包括音频回放模块142或视频回放模块143。音频回放模块 142可以在控制器110的控制下，播放存储在存储单元175中的或接收到的数字音频文件 (例如，具有例如"1^3"、"￥!11&"、"(^"或"￥&￥"文件扩展名的文件）。视频回放模块143可 以在控制器110的控制下，播放存储的或接收到的数字视频文件（例如，具有例如"mpeg"、 "mpg"、"mp4"、"avi"、"m 〇V" 或"mkv" 文件扩展名的文件）。
[0068] 多媒体模块140可以集成在控制器110中。
[0069] 摄像机模块150可以包括第一摄像机151和第二摄像机152,它们在控制器110的 控制下，捕获静态图像或视频。摄像机模块150可以包括以下部件中的至少一个：箭头筒单 元（barrel unit) 155,用于执行针对拍摄的拉近/拉远操作；电机154,用于控制箭头筒单 元155的运动；以及闪光灯153,用于提供拍摄所需的辅助光源。第一摄像机151可以位于 便携式设备1〇〇的前表面，第二摄像机152可以位于便携式设备100的后表面。
[0070] 根据本公开，摄像机模块150可以应用于其他类型的摄像机和视觉摄像机。例如， 可以使用热摄像机代替视觉摄像机。根据本公开，摄像机模块150可以是传感器，配置为将 特定区域映射为二维（2D)图像。
[0071] 第一摄像机151和第二摄像机152各自均包括镜头系统、图像传感器等。第一摄 像机151和第二摄像机152将通过镜头系统输入的光信号转换为电图像信号，并向控制器 110输出该电图像信号。用户可以通过第一摄像机151和第二摄像机152来捕获运动图像 或静态图像。
[0072] 输入/输出模块160可以包括至少一个按钮161、至少一个麦克风162、至少一个 扬声器163、至少一个震动元件164、连接器165、键盘166及耳机连接插孔167中的至少一 个。然而，应注意，输入/输出模块160不限于这些示例，可以提供光标控制（例如鼠标、跟 踪球、操控杆或光标方向键）来在触摸屏190上控制光标的运动。
[0073] 按钮161可以形成于便携式设备100的壳体（或外壳）的前表面、侧表面和后表 面中的至少一个上，并可以包括电源/锁定按钮、音量按钮、菜单按钮、主页按钮、返回按钮 及搜索按钮中的至少一个。
[0074] 麦克风162在控制器110的控制下，接收语音或声音，并产生相应的电信号。
[0075] 扬声器163在控制器110的控制下，输出与多种信号或数据（例如，无线数据、广 播数据、数字音频数据、数字视频数据等）相对应的声音。扬声器163可以输出与由便携式 设备1〇〇执行的功能相对应的声音（例如，与电话呼叫相对应的按钮操控声音、铃音、或对 方用户的语音）。一个或多个扬声器163可以形成于便携式设备100的壳体的一个或多个 合适位置处。
[0076] 震动元件164在控制器110的控制下，将电信号转换为机械震动。例如，在便携式 设备100中，在震动模式下，当从其他设备（未示出）接收到语音呼叫或视频呼叫时，震动 元件164进行操作。一个或多个震动元件164可以设于便携式设备100的壳体中。震动元 件164可以响应于通过触摸屏190产生的用户输入来进行操作。
[0077] 连接器165可以用作用于连接便携式设备100和外部设备（未示出）或电源（未 示出）的接口。在控制器110的控制下，可以通过连接到连接器165的有线线缆将存储在 便携式设备1〇〇的存储单元175中的数据发送给外部电子设备，或可以从外部电子设备接 收数据。便携式设备1〇〇通过连接到连接器165的有线线缆从电源接收电力，或可以通过 使用电源对电池（未示出）充电。
[0078] 键盘166从用户接收按键输入，用于控制便携式设备100。键盘166包括形成在 便携式设备1〇〇中的物理键盘（未示出），或在触摸屏190上显示的虚拟键盘（未示出）。 根据便携式设备1〇〇的性能或结构，可以不包括形成在移动便携式设备1〇〇中的物理键盘 (未示出）。
[0079] 耳机（未示出）可以插入耳机连接插孔167中，以便连接到便携式设备100。
[0080] 传感器模块170可以包括至少一个传感器，用于检测便携式设备100的状态。例 如，传感器模块170可以包括以下传感器中的至少一个：接近传感器，用于检测相对于便携 式设备100的用户接近；照明传感器（未示出），用于检测便携式设备100周围的光量；运 动传感器（未示出），用于检测便携式设备100的操作（例如，便携式设备100的旋转、或向 便携式设备1〇〇施加的加速度或震动）；地磁传感器（未示出），用于通过使用地磁场来检 测罗盘指向；重力传感器，用于检测重力的作用方向；高度计，用于测量大气压，以便检测 海拔；以及全球定位系统（GPS)模块157。传感器170也可以包括摄像机传感器，用于感测 用户的手势。根据本公开的实施例，传感器模块170还包括方位传感器，配置为处理便携式 设备100的当前方位。
[0081] GPS模块157从地球轨道上的多个GPS卫星（未示出）接收电波，通过使用从GPS 卫星（未示出）到便携式设备100的到达时间，计算便携式设备100的位置。
[0082] 存储单元175在控制器110的控制下，存储与通信模块120、多媒体模块140、摄像 机模块150、输入/输出模块160、传感器模块170、或触摸屏190的操作对应输入/输出的 信号或数据。存储单元175也可以存储控制程序和应用，用于控制便携式设备100或控制 器 110。
[0083] 术语"存储单元"包括存储单元175、控制器110中的R0M112和RAM113,或安装在 便携式设备110中的存储卡（未示出）（例如，安全数字（SD)卡、记忆棒）。存储单元175 可以包括非易失性存储器、易失性存储器、硬盘驱动器（HDD)或固态驱动器（SSD)。
[0084] 存储单元175也可以存储多种功能的应用（例如导航、视频通信、游戏、基于时间 的闹钟应用）、用于提供关于应用的图形用户界面（GUI)的图像、用户信息、文档、关于用于 处理触摸输入的方法的数据库或数据、背景图像（例如，菜单屏幕、待机屏幕等）、驱动便携 式设备100所需的操作程序、以及由摄像机模块150捕获的图像。
[0085] 存储单元175是一种机器，例如，非暂时计算机可读介质。术语"机器可读介质" 包括用于将数据提供给机器以便允许机器执行特定功能的介质。存储单元175可以包括非 易失性介质或易失性介质。这样的介质需要是有形的类型，以便可以通过用机器读取命令 的物理工具检测到向该介质发送的命令。机器可读介质可以包括但不限于软盘、柔性盘、硬 盘、磁带、压缩盘只读存储器（⑶-ROM)、光盘、穿孔卡片（punch card)、纸带、随机存取存储 器（RAM)、可编程只读存储器（PR0M)、可擦除PROM (EPROM)和闪存EPROM中至少之一。
[0086] 投影模块177通过投影镜头放大从控制器110提供的各种呈现图像，将图像投影 到外部屏幕上。投影模块177可以包括：光源，用于发出投影所用的光；光调制器，用于根据 图像信号调制从光源入射的光；以及镜头单元，用于将从光调制器入射的光投射到屏幕上。 例如，投影模块177可以投影与触摸屏190上显示的应用执行屏幕相同的屏幕，或由用户选 择的应用的输出屏幕。投影模块177配置为水平或垂直翻动（flip)应用输出。
[0087] 电源单元180在控制器110的控制下，向设于便携式设备100的壳体中的一个或 多个电池供电。该一个或多个电池向便携式设备100供电。电源单元180也可以通过与连 接器165连接的有线线缆向便携式设备100供给从外部电源输入的电力。电源单元180也 可以向便携式设备1〇〇供给使用无线充电技术从外部电源无线输入的电力。
[0088] 便携式设备100包括触摸屏190,向用户提供与多种服务（例如，呼叫、数据传输、 广播、拍摄图片）相对应的用户图形界面。
[0089] 触摸屏190向触摸屏控制器195输出与对用户图形界面的至少一个输入相对应的 模拟信号。触摸屏190接收通过用户身体（例如，包括食指在内的手指）的至少一个用户 输入。触摸屏190也接收一个触摸的连续运动。触摸屏190向触摸屏控制器195输出与接 收到的触摸的连续运动相对应的模拟信号。
[0090] 根据本公开的一个方面，触摸屏190增亮由摄像机模块150捕获的图像。可以在 手指登记阶段激活触摸屏190。便携式设备100可以包括功率管理器（未示出），最大化触 摸屏190的增亮强度，以便照亮运动对象，例如用户输入工具。如果将便携式设备100设置 为将便携式设备1〇〇的前表面朝向用户，则可以最大化触摸屏190的增亮强度，以便照亮用 户输入工具，例如手指或触控笔。
[0091] 在本公开的实施例中，在没有硬件改变的前提下实现了无触摸界面，从而应当保 证了表示用户输入工具的图像的质量。为此，在捕获图像时，可以最大化触摸屏190的增亮 强度，或可以激活闪光灯153。这样，通过使用触摸屏190或闪光灯153,照亮了用户输入工 具，由此获得清楚拍摄用户输入工具的图像，因而可以容易地从所捕获的图像中区分用户 输入工具。
[0092] 在本公开中，触摸也可以包括非接触的触摸（例如，当用户输入工具位于例如1cm 的距离内时），其中可以在不与触摸屏190直接接触的前提下检测到用户输入工具。触摸也 可以包括触摸屏190和用户输入工具（例如，手指）之间的直接接触。可以根据便携式设 备100的性能或结构，改变距触摸屏190的可以检测到用户输入工具的距离或间隔。为了 分别检测基于与用户输入工具的接触的直接触摸事件及间接触摸事件（即，悬置事件），触 摸屏190可以配置为针对直接触摸事件和悬置事件中检测到的值而输出不同值。该值可以 是例如模拟电压值或电流值。
[0093] 触摸屏190可以实现为例如电阻型、电容型、红外型、声波型或它们的组合。
[0094] 触摸屏控制器195将从触摸屏190接收的模拟信号转换为数字信号，向控制器110 发送该数字信号。控制器110通过使用从触摸屏控制器195接收的数字信号，来控制触摸 屏190上显示的用户界面（UI)。例如，控制器110可以响应于直接触摸事件或悬置事件，控 制选择或执行触摸屏190上显示的快捷图标（未示出）。触摸屏控制器195可以包括在控 制器110中。
[0095] 通过检测由触摸屏190输出的值（例如，电流值），触摸屏控制器195识别悬置间 隔或距离和用户输入位置，并将所识别的距离转换为数字信号（例如，Z坐标），其中触摸屏 控制器195将该数字信号发送给控制器110。控制器110可以检测通过摄像机模块150、输 入/输出模块160、传感器模块170及触摸屏190接收的各种用户输入。用户输入可以包括 多种形式的信息，例如，用户手势、语音、瞳孔运动及生物信号和触摸。控制器110可以控制 在便携式设备1〇〇中执行与检测到的用户输入相对应的预定操作和功能。
[0096] 图2是根据本公开实施例的便携式设备100的前透视图，图3是根据本公开实施 例的便携式设备1〇〇的后透视图。
[0097] 参考图2和3,触摸屏190设于便携式设备100的前表面101的中部。触摸屏190 可以足够大以便占据便携式设备100的大部分前表面101。图2示出了在触摸屏190上显 示主主页屏幕的示例。主主页屏幕是当开启便携式设备100时在触摸屏190上显示的初始 屏幕。当便携式设备1〇〇具有若干页的不同主页屏幕时，主主页屏幕可以是这若干页的主 页屏幕中的第一主页屏幕。可以在主页屏幕上显示用于执行常用应用的快捷图标191-1、 191-2及191-3、主菜单改变按键191-4、时间、天气等。如果用户选择了主菜单改变按键 191-4,则在触摸屏190上显示菜单屏幕。可以在触摸屏190的上部形成指示便携式设备 100的状态如电池充电状态、接收信号强度及当前时间的状态条192。
[0098] 主页按钮161a、菜单按钮161b、和返回按钮161c可以设于触摸屏190的下部。主 页按钮161a是为了在触摸屏190上显示主主页屏幕。例如，当在触摸屏190上显示不同于 主主页屏幕的主页屏幕或菜单屏幕时，一旦选择了主页按钮161a，就可以在触摸屏190上 显示主主页屏幕。如果在执行应用期间在触摸屏190上选择了主页按钮161a，则图2所示 的主主页屏幕可以显示在触摸屏190上。主页按钮161a可以用于在触摸屏190上显示最 近使用的应用或任务管理器。
[0099] 菜单按钮161b提供可以显示在触摸屏190上的连接菜单。连接菜单可以包括例 如窗口小部件添加菜单、背景改变菜单、搜索菜单、编辑菜单和环境设置菜单。
[0100] 返回按钮161c可以用于显示紧接在当前执行屏幕的之前显示的屏幕，或结束最 近使用的应用。
[0101] 第一摄像机151、照明传感器170a和接近传感器170b可以设于便携式设备100的 前表面101的边缘。第二摄像机152、闪光灯153及扬声器163可以设于便携式设备100的 后表面103。闪光灯153照亮由第二摄像机152捕获的图像中的运动对象，例如，用户输入 工具。当便携式设备1〇〇的后表面向前时，可以激活闪光灯153。当将便携式设备100设置 为将便携式设备1〇〇的后表面朝向用户时，可以激活闪光灯153以便照亮用户输入工具。
[0102] 电源/锁定按钮161d、包括音量上升按钮161f和音量下降按钮161g的音量按钮 161e、用于广播接收的地面DMB天线141a、一个或多个麦克风162和投影模块177可以设于 便携式设备1〇〇的侧面102上。DMB天线141a可以固定在便携式设备100上或可从便携式 设备100移除。
[0103] 图4是示出了根据本公开实施例的包括投影模块的便携式设备的操作的流程图。
[0104] 参考图4,在操作400处，控制器110执行由用户选择的应用，并在触摸屏190上 显示应用执行屏幕。例如，如果选择了触摸屏190上显示的用于执行应用的快捷图标，则可 以显示与所选图标相对应的应用执行屏幕。如果用户选择了投影应用，则在操作405处执 行投影显示模式。在操作410处，控制器110通过投影模块177在便携式设备100外部投 影并显示应用执行屏幕。控制器110可以控制投影模块177投影与触摸屏190上显示的应 用执行屏幕相同的图像。控制器110也可以控制呈现并投影与投影应用的执行相对应的图 像，该图像不同于触摸屏190上的图像。
[0105] 在投影显示模式的执行中，便携式设备100的焦点位于特定位置，以便投影聚焦 图像。在该状态下，为了操控便携式设备100,例如，为了控制投影功能，用户将手靠近触摸 屏190。如果当在触摸屏190上显示应用执行屏幕时用户输入工具接近触摸屏190,则在操 作415处控制器110通过传感器模块170确定是否发生接近事件。当便携式设备100的前 表面朝上时，可以激活在便携式设备100的前表面上的第一摄像机151。因此，如果在操作 415处控制器110通过传感器模块170检测到接近事件的发生，则在操作420处控制器110 激活第一摄像机151以便获得图像，用于控制指针。在第一摄像机151的激活同时，可以最 大化触摸屏190的增亮强度，以便照亮用户输入工具。
[0106] 根据本公开的实施例，可以在激活投影模块177期间自动地激活、或由接近传感 器170b检测到的接近信号来激活第一摄像机151。也可以由用户输入（例如，按键按压） 来激活第一摄像机151。
[0107] 下文参考图5A和5B描述用于确定是否激活第一摄像机151的接近条件。
[0108] 图5A是示出了根据本公开的实施例，在接近感测模式下当距离用作用于确定是 否激活第一摄像机的条件时的操作的流程图。
[0109] 参考图5A，在操作500处控制器110进入接近感测模式，并在操作505处确定是否 发生接近事件。例如，当用户将手指靠近接近传感器170b所设于的触摸屏190以便操控便 携式设备100时，通过接近传感器170b检测到接近事件的发生。如果发生了接近事件，则 在操作510处控制器110测量到手的距离。通常，如果对象在预定识别距离内，则接近传感 器170b感测到接近事件的发生，其中当手非常接近触摸屏190时，到对象的距离相对较短， 但当手从触摸屏190离开时，距离增加。因此，在本公开中，设置用于有条件地激活第一摄 像机151的阈值距离。当阈值距离减小时，可以改善从捕获图像的识别率。
[0110] 在操作515处，控制器110确定测量距离是否小于阈值距离。测量距离可以是接 近事件信息中包括的距离信息，或可以是由超声传感器测量的距离。如果测量距离小于阈 值距离，则在步骤520处激活第一摄像机151。然而，如果测量距离大于阈值距离，则维持第 一摄像机151的非激活状态。
[0111] 图5B是示出了根据本公开实施例，在接近感测模式下当距离和接近事件发生持 续时间用作用于确定是否激活第一摄像机的条件时的操作的流程图。
[0112] 参考图5B，操作525到540与图5A的操作500到515相同，因此将不再赘述。例 如，不论是否是有意的用户输入，对象均可能移动经过触摸屏190。由于在该情况下也发生 接近事件，所以为了移除这样的无意用户输入，将接近事件的发生持续时间用作用于确定 是否激活第一摄像机151的条件。
[0113] 当对象在阈值距离内时，在操作545处测量接近事件的发生持续时间，以便确定 该对象是否是用于操控便携式设备100的有意接近。接近事件的发生持续时间可以包括在 来自接近传感器170b的接近事件信息中。控制器110可以对从接近传感器170b接收接近 事件的持续时间进行计时。如果在操作550处所测量的持续时间超过阈值持续时间（即， 对象的运动确定为用于操控便携式设备100的有意接近），则在操作555处控制器110激活 摄像机151。
[0114] 尽管以上已经描述了在执行投影显示模式时，驱动传感器模块170以便通过使用 传感器模块170的感测数据来确定接近，然后驱动第一摄像机151，但是可以在执行投影显 不模式时，一同驱动传感器模块170和第一摄像机151。
[0115] 返回参考图4,如果控制器110确定发生了满足参考图5A或5B所述条件的接近事 件，则在图4的操作420处，激活第一摄像机151。另一方面，如果控制器110确定没有发生 满足所述条件的接近事件，则控制器110返回操作410来检测接近事件的发生。当在步骤 420处激活第一摄像机151时，第一摄像机151捕获正面图像。用户必须登记用户手指，以 便使用手指来控制指针。为了执行手指登记处理，应在屏幕上或用语音引导登记方法。
[0116] 下文将参考图6来描述手指登记处理。
[0117] 图6示出了根据本公开实施例，当将手靠近便携式设备的前表面时的手指登记屏 唇。
[0118] 参考图6,尽管在本公开的实施例中将手指用作用于控制指针的用户输入工具的 示例，但是提供这样的示例是为了促进对本公开的理解，且用户输入工具的类型不限于该 示例。换言之，本公开可以不仅应用于对手指的登记和位置跟踪，而且也应用于对其他用户 输入工具（例如铅笔或对象）的登记和位置跟踪。本公开也可以应用于对一个手指或对象 的跟踪，以及对一个或多个手指或对象的同时跟踪。对左手和右手用户而言，指针的图形表 示可以不同。
[0119] 如图6中所示，当便携式设备100的前表面朝上时，便携式设备100的前表面上的 第一摄像机151捕获正面图像。在本公开中，由第一摄像机151捕获的图像将称为正面图 像，由第二摄像机152捕获的图像将称为背面图像。后向方向是从便携式设备100的后表 面朝向便携式设备1〇〇的外部，前向方向是从便携式设备1〇〇的前表面朝向便携式设备1〇〇 的外部。前向方向是一特定方向，后向方向是与特定方向相反的方向。如果在用户平躺的 同时用户需要观看通过将便携式设备100直立而在天花板上投影的图像，有可能使用第一 摄像机151或第二摄像机152来进行捕获。
[0120] 在该状态中，如果用户将手600靠近便携式设备100的触摸屏190,则第一摄像 机151以静态图像或运动图像的形式拍摄便携式设备100的前表面上的手600。捕获图像 610可以显示在触摸屏190上，或可以通过在触摸屏190上显示预定标记（例如，手指形状 620)，引导用户在手指形状620中执行捕获。在该状态下，通过在触摸屏190上显示登记有 效时间630,鼓励用户登记手指，用于指针控制。
[0121] 通过使用手指的解剖模型、模板匹配方法或背景分割方法、皮肤检测方法、Hough 变换方法、轮廓检测方法、级联分类器方法或所述方法的任何组合，可以自动执行对手指的 登记。在这种情况下，可以省略显示登记方法。对于左手和右手用户而言，在登记方法中提 供的标记的图形表示可以不同。
[0122] 返回参考图4,如果在操作425处根据手指登记引导完成了手指登记，则在操作 430处，控制器110显示与手指710相对应的重叠在投影图像700上的指针720,如图7中 所示。在本公开的实施例中，当拍摄手时，特定手指用于指针控制，并且为了手指登记，应首 先检测手指中要用作指针的手指。下文将描述这样的手指检测。
[0123] 为了控制投影图像上显示的指针的位置，在操作435处控制器110跟踪手指的位 置，并在操作440处根据所跟踪的手指位置来移动并显示指针的位置。在本公开的实施例 中，为了跟踪手指的位置，从由第一摄像机151或第二摄像机152捕获的视频中获得两个连 续图像，例如，如果从视频中获得两个或多个连续图像用于差错校正或背景分割，则可以改 善位置跟踪。
[0124] 图7是示出了根据本公开实施例的用于投影与手指相对应的指针的图像的图示。
[0125] 参考图7,当用户在不触摸触摸屏190的前提下移动展开的手指时，投影图像700 上的指针720也沿着手指的位置移动。根据用户手势的移动距离和方向来确定指针720的 移动距离和方向，并根据所确定的距离和方向来移动和显示指针720。当在触摸屏190上显 示与投影图像700相同的图像时，可以在触摸屏190上显示与在投影图像上显示的指针720 相同的指针。术语"指针"可以是指显示在投影图像上与用户输入工具相对应的任何投影 图形，而不限于特定图形（例如，箭头）。例如，图形可以是箭头、十字标记、或手轮廓图形。 此外，术语"指针"包括指针的图形表示，例如，用于模拟多触摸行为。
[0126] 返回参考图4,在操作445处控制器110确定是否发生了触摸屏事件。如果发生了 触摸屏事件，则在操作450处，控制器110分派与发生触摸屏事件的坐标相对应的位置处的 触摸屏事件。下文将参考图10来描述操作445和450。如果响应于指针执行命令来执行应 用，则用户暂停对便携式设备100的操控，在这种情况下，不必显示指针的运动，从而在操 作455处去激活第一摄像机151。分派触摸屏事件，接着去激活第一摄像机151，但是如果 在特征点提取阶段中从图像中提取的特征点的数量小于预定数量，则可以去激活第一摄像 机 151。
[0127] 在操作460处，控制器110确定是否结束投影显示模式。如果不结束投影显示模 式，则控制器110返回操作410以便重复上述处理。因此，如果在操作415处接近传感器 170b感测到用户将手接近触摸屏190以便再次控制指针，则在操作420处再次激活第一摄 像机151。当维持投影显示模式时，可以跳过步骤425处为了手指登记而进行的引导手指登 记方法的处理。可以在所捕获的手部图像中直接识别用于指针控制的手指。
[0128] 上述本公开可以应用于包括外部屏幕的便携式设备，以及包括投影模块的便携式 设备100。例如，便携式设备100可以配置为在外部TV上显示应用。
[0129] 图8A到8D和9A到9C是示出了根据本公开实施例的在所捕获的手部图像中识别 用户以便用于指针控制的示例的图。
[0130] 参考图8A，如果在便携式设备100的前表面朝上时控制器110通过第一摄像机 151拍摄距触摸屏190预定距离的手，则所捕获的手部图像如图8A所示。在这种情况下， 可以通过第一摄像机151捕获在预定捕获范围内的视频，可以向控制器110提供图像数据。 第一摄像机151可以每秒捕获预订数量的连续图像，并且在将连续产生的图像称为帧时， 帧可以具有根据它们产生顺序的序列号。
[0131] 一旦通过第一摄像机151连续输入包括背景和对象（例如，手指）的图像帧，控制 器110可以执行以下操作。控制器110从第一图像帧检测手指区域，并在从每个顺序输入 的图像帧检测到的手指区域中确定对象（例如，手指）的位置和/或位移。
[0132] 作为一种手指区域检测方法，可以获得与预定图形、标记（例如，只展开一根手指 的手势）相匹配的手部区域，接着可以从该手部区域中指定手指区域。在手指登记中，通 过使用表示手指的模板图像，可以在捕获图像和模板图像之间执行模板匹配以便提取特征 点。一旦检测到手指区域，从手指区域中提取用于跟踪手指的特征点，跟踪所提取的特征 点，用于指针控制。
[0133] 图8B示出了从捕获图像中获得皮肤区域以便检测手指区域的情况。
[0134] 参考图8B，可以通过基于皮肤颜色等，在捕获图像中区分非皮肤颜色区域和皮肤 颜色区域，来检测皮肤区域。
[0135] 参考图8C，在皮肤区域中，可以在皮肤区域中指定例如与握拳手势相对应的手部 区域800,在该手部区域800中可以指定手指区域805。将指定的区域800和805设置为相 关区域810。
[0136] 图8D示出了从手指区域中提取特征点的情况。
[0137] 参考图8D，从手的静态图像中提取的特征点由圆点表示。可以通过在手指区域中 随机选择一些点、在手指区域中选择一些预定点、在手指区域中根据Shi-Tomasi拐点检测 方法计算拐点检测、及在手指区域中根据Harris和Stephens拐点检测方法计算拐点检测 中的至少一个，提取并跟踪这些特征点。
[0138] 特征点表示在每帧中进行比较的代表像素或像素集，以便进行高效的比较。特征 点通常可以是在线型、对比度或颜色方面具有较大改变的边界点，易于在图像帧中进行检 测。在本公开的实施例中，为了从图像帧中提取特征点，向图像的一部分（即，手指区域的 边界部分）分派初始特征点，搜索下一图像中的运动特征点。以这种方式提取的特征点用 于跟踪手指的运动。每个所提取特征点具有水平和垂直坐标（x，y)。因此，通过跟踪特征 点的集合，可以跟踪手指的位置。
[0139] 图9A到9C示出了与特定点提取和手指运动相对应的位移。图9A到9C示出了根 据本公开实施例的特征点及其位移跟踪结果。
[0140] 参考图9A到9C，当手指在连续图像帧之间发生移动并且指定了手指的运动方向 和幅度时，基于点的运动轨迹跟踪特征点。可以比较从每个连续图像帧中提取的特征点，并 且可以使用光流跟踪（optical flow tracking)来执行该比较处理。
[0141] 如下所述执行跟踪手指位置的处理。该处理包括如下操作：通过摄像机模块150 获得包括手指的运动图像、从运动图像中获得第一图像帧、从第一图像帧中获得要跟踪的 特征点、计算第一图像帧和下一第二图像帧之间要跟踪的特征点的光流、更新要跟踪的特 征点、计算deltaXY(dx，dy)的操作、和计算deltaZ (dz)。
[0142] 本公开提供了一种用于计算deltaXY的方法和一种用于计算deltaZ的方法。这 些方法可以进行改善并组合。这样的改善可以包括针对摄像机模块150的透视校正、关节 处手指运动的特征及在肘关节中的手旋转。
[0143] 在本公开中所用的光流基于光流元，所述光流元包括第一坐标（xl，yl)、第二坐标 (x2, y2)和流向量（vx，vy)。例如，令第一图像的第一特征点的第一坐标为（xl，yl)，所述 第一图像表示运动手指的用户手势，令在下一图像中与第一图像的特征点相同的特征点的 坐标为第二坐标（x2, y2)。流向量满足关系"vx=x2-xl"且"vy=y2-yl"。xl和x2与水平 位置例如水平方向相对应，而yl和y2与垂直位置例如垂直方向相对应，每个值可以基于像 素确定。为了满足性能要求，可以应用光流的不同表示。
[0144] 计算光流的操作包括：获得要跟踪的特征点；获得第一图像帧和第二图像帧；根 据Lucas-Kanade算法的金字塔实现（pyramidal implementation)来计算光流；以及应用 正确性滤波器，其中如果没有找到特征点的任何流，则正确性滤波器消除该光流的元素。
[0145] 更新要跟踪的特征点的操作包括获得光流和对光流向量进行平均。
[0146] 计算deltaZ(dz)的操作包括：获得光流；从光流中获得第一坐标的集合；从光 流中获得第二坐标的集合；计算第一坐标集合的第一重心；计算第二坐标集合的第二重 心；计算第一重心和第一坐标集合之间的第一平均距离（dl);计算第二重心和第二坐 标集合之间的第二平均距离（d2);以及计算表示第二平均距离和第一平均距离之差的 deltaZ(deltaZ=d2-dl)。由于手指区域包括多个特征点，所以为了在第一图像帧中的特征 点集合和下一第二图像帧中的特征点集合之间进行比较以便用一个坐标表示用户手势的 开始点，使用每个特征点集合的重心。通过使用重心，可以在各图像中获得位移（即，手指 的位移），允许对手指位置的跟踪。
[0147] 一旦通过上述步骤跟踪到手指的位置，则与跟踪的手指位置相对应地控制指针位 置。如此，便携式设备100感测通过摄像机模块150输入的用户手势的位移和方向，基于用 户手势的位移和方向确定外部屏幕的指针位置，并将指针移动并显示在特定位置上。
[0148] 可以如下所述来控制指针位置。
[0149] 例如，基于表示用户手势的第一图像的第一特征点的第一坐标（xl，yl)和下一图 像的该特征点的第二坐标（x2, y2)，可以计算deltaXY(dX，dY)(即，水平距离dX和垂直距 离dY)。例如，基于公式1，控制器110可以计算水平距离dX和垂直距离dY。
[0150] dX=xl-x2, dY=yl-y2
[0151] ...............................公式（1)
[0152] 控制器110可以基于比例因子来缩放距离。例如，水平比例因子可以称为sX，垂直 比例因子可以称为SY。此外，SX可以是通过将投影外部屏幕的宽度除以触摸屏的宽度而计 算出的值，SY可以是通过将投影外部屏幕的高度除以触摸屏的高度而计算出的值。
[0153] 例如，控制器110可以基于公式2来缩放指针的移动距离，因此计算指针的新位置 (npX, npY) 〇
[0154] npX=pX+sX*dX，npY=pY+sY*dY
[0155] ...............公式（2)
[0156] 在公式⑵中，pX表示当前水平位置，pY表示当前垂直位置。（pX，pY)表示指针 的当前位置。ηρΧ表示从当前位置缩放的指针的水平移动距离，ηρΥ表示从当前位置缩放的 指针的垂直移动距离。指针的新位置（ηρΧ,ηρΥ)是从当前位置移动后的指针位置。
[0157] 控制器110可以将计算后的指针新位置（ηρΧ，ηρΥ)处理为不超出边界。例如，投 影图像的水平坐标可以设置为bxl和bx2,投影图像的垂直坐标可以设置为byl和by2。可 以获得投影图像的边界条件（bxl、bx2、byl、by2)。例如，控制器110可以通过使用公式3 将计算后的指针新位置（ηρΧ,ηρΥ)处理为不超出边界。
[0158] 如果 npX〈bx 1，则 npX=bx 1,
[0159] 如果 npX>bx2，则 npX=bx2,
[0160] 如果 npY〈byl,则 npY=byl, .................公式（3)
[0161] 如口果 npY>by2,则 npY=by2
[0162] 控制器110根据公式3中设置的条件来校正指针的新位置。如果确定指针在移动 后的位置超出投影图像的边界，则控制器110可以将指针在移动后的位置处理为在投影图 像的边界中。控制器110用与（pX=npX，pY=npY)相对应的校正后位置代替指针的位置。
[0163] 控制器110可以根据上述处理来确定指针的位置（ηρΧ，ηρΥ)，并可以控制投影模 块在投影图像上的相应位置中显示所确定的指针。
[0164] 图10是示出了根据本公开实施例的用于在便携式设备中条件性地分派触摸屏事 件的方法的流程图。
[0165] 参考图10,本公开实施例中的触摸屏事件不必是由用户输入工具在触摸屏190上 的直接触摸产生的事件；触摸屏事件也包括通过位于距触摸屏190预定距离的用户输入工 具向触摸屏190进行的用户手势的概念，例如，向下、移动、或向上。
[0166] 触摸屏事件包括例如触摸屏事件的发生时间、坐标和事件类型等信息。触摸屏事 件的坐标是二维（2D)坐标（tx，ty)，与触摸屏190以像素计的分辨率相对应。tx坐标与触 摸屏事件的水平位置相对应。ty坐标与触摸屏事件的垂直位置相对应。触摸屏事件的事 件类型是"向下"、"移动"和"向上"之一。"向下"类型的触摸屏事件表示按压手势开始，坐 标包括最初开始位置。"向上"类型的触摸屏事件表示按压手势结束，坐标包括最终释放位 置。"移动"类型的触摸屏事件表示在按压手势期间（在"向下"类型和"向上"类型之间） 发生了改变，坐标包括最近的位置。
[0167] 参考图10,在操作1000处，在触摸屏事件模式下，在操作1005处，控制器110从通 过摄像机模块150连续输入的图像帧中获得deltaZ(dz)，以便计算深度值。在本公开中，为 了确定用户是否进行了按压手势，获取表示到用户输入工具（例如，手指）的距离的深度坐 标。可以使用坐标的计算来获取深度信息。也可以使用摄像机模块150的深度传感器来获 取深度信息。
[0168] 为了计算深度值，可以使用连续图像帧中的特征点来获取深度的当前值，然后将 表示深度方向上移动距离的deltaZ(dZ)与深度的当前值相加，由此计算移动后的深度值 (z=z+dZ)〇
[0169] 接下来，在操作1010处，控制器110通过使用计算出的深度值，确定事件类型是 "向上"类型还是"向下"类型。使用垂直位置中的移动来执行该确定，其中在垂直位置触摸 屏190和手指相互垂直。例如，假定向着触摸屏190的深度方向是（+)方向，如果移动后的 深度值超过（+)方向上的深度阈值，则满足向下条件；如果移动后的深度值超过（_)方向上 的深度阈值，则满足向上条件。
[0170] 在操作1015处，控制器110通过使用表示水平位置中移动的deltaXY来确定事件 类型是否是"移动"类型。控制器110确定水平位置中是否发生移动，其中在水平位置中手 指在水平方向上移动。
[0171] 在操作1020处，控制器110确定是否发生触摸屏事件。如果控制器110确定发生 了与"向下"事件、"移动"事件及"向上"事件之一相对应的触摸屏事件，则在操作1025处， 控制器110设置触摸屏事件的事件类型和坐标。
[0172] 设置触摸屏事件的坐标（tx，ty)的操作包括：获取指针的位置（px，py)，获取当前 执行的应用的应用比例因子（sax，day)，以及使用公式4来计算触摸屏事件的缩放坐标。
[0173] tx=sax*px, ty=say*py
[0174] ...........................公式（4)
[0175] 例如，如果将触摸屏事件设置为"移动"事件，则控制器110认为用户作出进行按 压手势和拖动手势的移动手势，并相应地移动并显示指针。如果在输入向下手势之后的预 设时间内没有输入移动手势，则控制器110将触摸屏事件设置为"向下"事件。因此，控制 器110将该向下手势分派给当前执行的应用。
[0176] 在操作1030处，控制器110分派与所设坐标相对应的位置中的触摸屏事件。如果 控制器110确定触摸屏事件形成例如"移动"、"向下"或"向上"的手势，则控制器110将手 势分派给当前执行的应用。另一方面，如果在操作1020处不发生触摸屏事件，例如，触摸屏 事件不对应于向下事件、移动事件及向上事件中任何一个，则控制器110执行相应功能，例 如，跟踪手指位置，以便确定是否发生下一触摸屏事件。如此，根据本公开，如果感测到指 针执行命令例如触摸屏事件的发生及指针的移动，则将指针执行命令分派给当前执行的应 用，向与指针相对应的位置输入该执行命令。因此，可以与用户手势相对应地控制指针，因 此使用用户手势来执行便携式设备的每个应用。
[0177] 图11是示出了根据本公开另一实施例的包括投影模块的便携式设备的操作的流 程图。在图4中，当放置便携式设备100使得只示出便携式设备100的前表面时，使用前表 面上的第一摄像机151。然而，在图11中，根据便携式设备100的放置状态，使用第一摄像 机151或第二摄像机152。
[0178] 参考图11，在操作1100处投影显示模式的执行与图4的操作400和410中的操 作相同，因此将不再赘述。当执行投影显示模式时，在操作1105处控制器110获取便携设 备100的方向信息。在操作1110处，控制器110通过使用所获取的方向信息，确定便携式 设备100的放置状态。在操作1120处，控制器110确定状态是前向状态还是后向状态，在 前向状态中便携式设备100的前表面朝上，而在后向状态中便携设备100的后表面朝上。
[0179] 根据本公开的另一实施例，当控制器110确定便携式设备100的放置状态时，控制 器110可以使用来自接近传感器171b的接近信号和来自方位传感器的方向信息。例如，由 于接近传感器171b设于便携式设备100的前表面上，所以如果用户输入工具接近触摸屏 190,则通过接近传感器171b感测到接近事件的发生。如此，接近事件的发生可以表示便携 式设备100的前表面向上。因此，当发生接近事件时，控制器110确定便携式设备100按照 便携式设备100的前表面朝上的方式放置。
[0180] 如果便携式设备100的放置状态是前向状态，则在操作1125处，控制器最大化触 摸屏190的增亮强度，以便照亮向触摸屏190移动的对象，例如，用户输入工具。为了拍摄 在距触摸屏190预定距离内移动的用户输入工具，在操作1130处，控制器110激活安装在 便携式设备1〇〇的前表面上的第一摄像机151。
[0181] 在另一方面，对后向状态而言，在操作1135处，控制器110激活后闪光灯153以便 照亮用户输入工具，然后激活安装在便携式设备100的后表面上的第二摄像机152以便拍 摄用户输入工具。如果便携式设备1〇〇按照后向状态放置，则投影模块177投影的图像可 以相对于前向状态反转。
[0182] 因此，在操作1145处，控制器110获取由第一摄像机151或第二摄像机152捕获 的图像，在操作1150和1155处从所获取的图像跟踪手指位置以便根据手指位置移动指针。 操作1150到1175与图4的操作425到460相同，因此将不再赘述。
[0183] 在本公开的上述多个实施例中，放置便携式设备100使得便携式设备100的前表 面或后表面朝上；然而，当便携式设备100直立放置时，也可以使用手指对指针进行控制。 根据本公开的另一实施例，为了确定便携式设备100是否直立放置，可以使用便携式设备 100的方向信息。
[0184] 例如，如果便携式设备100在坚直状态（即，当便携式设备100直立放置时），如 果控制器110无法知道便携式设备100的前表面和后表面中的哪一面朝向用户，则控制器 110对第一摄像机151和第二摄像机152都进行激活。在这种情况下，通过最大化触摸屏 190的增亮强度，可以通过第一摄像机151获取图像，其中清楚地拍摄了由触摸屏190的光 照亮的对象，并通过开启后闪光灯153,也可以通过第二摄像机152获取清楚拍摄了对象的 图像。然后控制器110对通过第一摄像机151和第二摄像机152获取的图像执行手指检 测。因此，将捕获到其中检测到手的图像的摄像机保持为激活状态，而对捕获到其中没有检 测到手的图像的另一摄像机去激活。
[0185] 因此，可以执行对来自连续捕获的图像中的用户输入工具（例如，手指）的跟踪和 指针的相应移动，这与上述内容相同，因此将不再赘述。
[0186] 尽管已经描述了用于通过跟踪用户输入工具的运动来控制指针的无触摸类型用 户界面，但是下文描述根据本公开另一实施例的用于扩展与用户输入工具的运动相对应的 用户手势的数量以用于分派应用的方法。
[0187] 图12是示出了根据本公开再一实施例的便携式设备的示意框图。在当前实施例 中提出的方法应用于实时图像或实时帧。
[0188] 参考图12,摄像机模块150以与图1中所示的摄像机模块150相同的方式进行操 作。除了图像传感器之外，摄像机模块150还可以包括光发射器。光发射器可以发射红外 光，以便增亮由图像传感器捕获的图像。因此，红外光反射到位于摄像机模块150附近的对 象上（例如，用户的手），以便捕获图像，使得即使在黑暗的环境下也可以对用户输入工具 进行拍摄。红外光对人眼而言是不可见的，所以不干扰图像的投影。
[0189] 实时输入由摄像机模块150捕获的图像，这样的一系列图像可以输出作为单色或 灰度图像。由从〇到255的数字来表示每个图像，其中0是最低亮度，255是最大亮度。由 于便携式设备1〇〇消耗的大部分电力源于图像处理，为了最小化在用于拍摄用户输入工具 的摄像机模块150的连续开启状态下的功耗，控制器110可以控制摄像机模块150输出单 色或灰度图像。将这样的低分辨率图像用于识别手势。如此，在本公开的实施例中，图像的 灰度像素表示作为一个示例，也可以使用像素的其它表示。
[0190] 无触摸计算单元115接收由摄像机模块150捕获的图像，从该图像中识别手部姿 势手势（hand posture gesture),分派针对手部姿势手势的触摸屏事件，因此激活无触摸 菜单或控制指针的位置。在图12中，分立地实现无触摸计算单元115,但是也可以在控制器 110中集成地实现无触摸计算单元115,在这种情况下，控制器110执行以上操作。
[0191] 无触摸计算单元115接收由摄像机模块150捕获的实时图像，将与从图像中获取 的用户输入工具相对应的指针处理为适应于通过投影模块170投影的屏幕显示的特征，并 输出处理过的指针。无触摸计算单元115识别与用户输入工具的运动相对应的用户手势， 例如，敲击手势、拖动手势、拉近手势或拉远手势，并执行针对所识别的用户手势预设的功 能。用户手势可以应用于控制与所执行程序相对应的任意屏幕或图形用户界面的方法，并 可以是应用执行命令。因为用户手势是指以无触摸方式在触摸屏190上输入的特定命令， 所以用户手势也可以称为触摸屏手势，或由于通过摄像机模块150拍摄用户输入工具（例 如，手），所以用户手势也可以称为手部姿势手势。
[0192] 便携式设备100根据手部姿势手势控制投影到外部的图像上的指针，或执行与触 摸屏事件的发生相对应的操作。将手部姿势手势的状态改变认为是触摸屏事件，以便执行 与触摸屏事件的发生相对应的操作。
[0193] 如此，根据本公开的另一实施例，手部位置信息用于控制指针的位置，手部状态或 手势信息用于执行特定功能的控制操作，由此允许由手部运动控制便携式设备100而不需 要直接接触，不同于按钮或触摸屏。
[0194] 图13是示出了根据本公开再一实施例的便携式设备的操作的流程图。尽管无触 摸计算单元115执行图13中的操作，但是如果无触摸计算单元115集成在控制器110中， 则控制器110可以执行这些操作。
[0195] 参考图13,在操作1300处从摄像机模块150接收到实时图像时，在操作1310处， 无触摸计算单元115针对每个接收到的图像计算手部掩模。手部掩模是包括假定在图像中 存在用户手部的掩模（mask)的数据对象。在操作1320处，无触摸计算单元115计算手部 掩模中的内切圆。无触摸计算单元115找到手部掩模中的内切圆。在操作1330处，无触摸 计算单元115基于内切圆的原点和半径来识别手部掩模中的手势。例如，无触摸计算单元 115确定从手部掩模中内切圆的原点向图像的顶部延伸超出半径的突出部分的存在。如果 没有突出部分，则无触摸计算单元115将手势识别作为握拳手势。如果具有一个突出部分， 则无触摸计算单元115将手势识别作为单指展开手势。如果具有两个突出部分，则无触摸 计算单元115将手势识别作为双指展开手势。如果具有五个突出部分，则无触摸计算单元 115将手势识别作为张开手掌手势。
[0196] 在操作1340处，组合所识别的手势，以便获取手势序列。所识别的手势是确定为 手势类型之一的数据对象，例如，握拳手势、单指展开手势、V型双指展开手势及张开手掌手 势。所确定的手势类型的数据对象包括识别的时间戳。时间戳可以用于确定具有所识别手 势的一系列手势运动的顺序。
[0197] 用于将所识别的手势组合为手势序列的方法可以包括以下操作。该方法可以包括 以下操作：获取所识别的手势；检查所识别手势的顺序；从第一位置顺序地布置所识别手 势；并且如果顺序布置所识别手势的序列大小为预定大小，则移除最后布置的手势。
[0198] 在操作1350处，无触摸计算单元115分派针对所获取手势序列的触摸屏事件。可 以执行与该手势序列相对应的应用操作，或可以控制指针的位置。手势序列表示一系列的 所识别手势。手势的状态改变与触摸屏上事件的发生相对应。如同真实触摸，可以执行与 手势的状态改变相对应的操作，而不需要在触摸屏190上进行直接触摸。为此，应将事件类 型映射到该系列手势的多种改型（即，触摸屏手势类型），使得可以自动执行映射到一系列 手势的状态改变（也就是说，触摸屏手势的改变）的操作。
[0199] 在针对手势序列分派触摸屏事件或控制指针的方法中，假定以大约固定的时间间 隔产生手势序列的顺序手势。该时间间隔对应于每序列7-15个手势，且一般每秒可以改变 大约4个手势帧。也可以根据摄像机模块150每秒可捕获的帧的数量（摄像机FPS参数） 和便携式设备1〇〇的处理能力来改变时间间隔。
[0200] 尽管在本公开的实施例中将敲击手势、拖动手势、拉近手势和拉远手势描述作为 触摸屏手势的代表示例，但是触摸屏手势的类型不限于这些示例。对于便携式设备100的 用户而言，触摸屏手势是已知的，敲击手势主要用于选择图形用户界面（GUI)的元素或激 活与该元素相关的动作。拖动手势用于拖动上的元素，用于重新设置图标的位置、改变 当前屏幕或翻转图片。拉近和拉远手势用于缩放应用（例如，地图或图库）中显示的对象。
[0201] 图14是根据用于描述本公开实施例的手部掩模计算操作的图。
[0202] 参考图14,在操作1410处，无触摸计算单元115向图像应用阈值。向实时接收的 每个图像应用阈值。在这种情况下，掩模是指将各像素表示为二进制值的图像，因此掩模的 各像素具有〇或1的值。为了在图像中确定任意像素的亮度是〇还是1，可以设置针对整个 图像的阈值，使得如果像素的亮度小于阈值，则将该像素的亮度设为〇 ;否则，如果像素的 亮度大于阈值，则将该像素的亮度设为1。在这种情况下，转换结果可以根据所设阈值而改 变。可以采用设置阈值的多种方法，其中的代表示例是Otsu二值化法。作为另一示例，可 以使用特定常数来代替通过所述方法设置的阈值。
[0203] -旦将通过上述方法设置的阈值应用到图像中，图像就具有为0(黑）或1(白） 的像素值，使得产生了黑白的二值化图像。在操作1420处，针对由应用了阈值而产生的二 值化图像，无触摸计算单元115通过使用预定算法来计算掩模的一组轮廓。为了在二值化 图像中计算掩模的一组轮廓，可以使用Suzuki-Kasami算法。此外，也可以使用连接分量标 记（connected component labeling)方法。
[0204] 通过计算掩模中的轮廓，可以找到至少一个掩模的轮廓。在这种情况下，由背景产 生的不期望掩模和期待为手部的掩模可能同时存在。如此，由于可能同时存在多个掩模的 轮廓，所以需要对这种情况进行考虑。
[0205] 为此，在操作1430处，无触摸计算单元115通过使用图像矩（image moment)选择 具有最大面积的轮廓。如果对掩模而言存在多个轮廓，则对这些轮廓的面积的图像矩进行 计算，以便计算每个轮廓的面积，然后选择具有最大面积的轮廓。在操作1440处，无触摸计 算单元115确定具有最大面积的轮廓的面积是否大于阈值面积。如果轮廓的面积不大于阈 值面积，则在操作1460处，无触摸计算单元115产生空白的手部掩模。另一方面，如果轮廓 的面积大于阈值面积，则在操作1450处，无触摸计算单元115填充具有最大面积的所选轮 廓，以便产生手部掩模。将具有最大面积的轮廓确定作为手部掩模。
[0206] -旦通过上述处理确定了期望为手部的手部掩模，可以实际设置与该手部掩模相 对应的手势。为了设置手势，需要设置手部掩模的中心。因此，在识别手势之前，应执行计 算内切圆的操作。
[0207] 图15是用于描述根据本公开实施例的内切圆计算操作的图，图16是示出了根据 本公开实施例的用于确定图像中内切圆的方法的图。内切圆是指表示圆形的数据对象，包 括原点和半径。
[0208] 参考图15和16,在操作1510处，无触摸计算单元115计算距离变换，并在操作 1520处找到距离变换的极大点和值。在这种情况下，针对图14的1450处确定的手部掩 模的所有像素，计算距离变换，每个像素的距离变换表示到手部掩模外最近像素的距离。 距离变换计算方法可以是由Gunilla Borgefors在论文"Distance transformations in digital images，' 中所述的方法（Computer Vision, Graphics, and Image Processing, 34(3) :344-371,1986.)〇
[0209] 在操作1530处，无触摸计算单元115接着确定内切圆的原点1500和半径，如图16 所示，并在操作1540处基于原点1500和半径确定内切圆1510。更具体地，将内切圆的原点 1500设为距离变换的极大点，将内切圆的半径设置为距离变换的极大值。
[0210] 一旦通过上述步骤确定了内切圆，就可以基于内切圆来识别手势。图17描述了操 作1330的手势识别处理。
[0211] 图17是用于描述根据本公开实施例的手势识别操作的图，图18A、18B、18C及18D 是示出了根据本公开实施例的不同手势的图。
[0212] 参考图17和18A-18D，在操作1710处，无触摸计算单元115确定图15的操作1540 处确定的内切圆是否包括在所识别手势的预定边界内。如果内切圆不包括在边界内，则无 触摸计算单元115进行到操作1715,认为没有检测到手势，并结束手势识别处理。如果相对 于整个图像大小的内切圆大小小于第一阈值且大于第二阈值，则无触摸计算单元115确定 没有检测到手势。对于与整个图像大小比较时相对较小或较大的手势而言，无触摸计算单 元115确定没有检测到该手势。在这种情况下，结束对于在其中没有检测到手势的图像的 处理，相反地,重复处理下一图像帧的操作。例如，如果在图13的操作1330处没有检测到手 势，则无触摸计算单元115返回操作1300以便接收下一图像，然后执行操作1310和1320。
[0213] 另一方面，如果在操作1710处内切圆包括在预定边界内，则无触摸计算单元115 根据手部掩模向包括所识别手势的图像顶部突出的部分的数量，来对手势进行分类。如果 朝向图像顶部的部分的大小除以手部掩模中最大内切圆的半径得到的值大于阈值，则将该 部分认为是突出部分。最大内切圆的半径是在图15的操作1530处确定的内切圆的半径。
[0214] 如果在操作1710处内切圆包括在预定边界内，则无触摸计算单元115以上述方式 对手势进行分类，因此在操作1720处确定是否存在手指。在操作1720中确定突出部分的 存在。
[0215] 如果无触摸计算单元115确定不存在手指（S卩，不存在突出部分），则在操作1725 处无触摸计算单元115确定手部坐标，并在操作1730处将手势确定为如图18A中所示的手 指向下手势。在图18A中，示出了握拳手势类型的手部掩模。
[0216] 如果在操作1720处无触摸计算单元115确定存在手指，则在操作1735处无触摸 计算单元115还确定是否存在一根手指。如果在操作1735处无触摸计算单元115确定存 在一根手指，则在操作1740处无触摸计算单元115确定手部坐标，然后在操作1745处将手 势确定为如图18B中所示的手指向上手势。在图18B中，示出了食指手势类型的手部掩模。
[0217] 根据本公开的实施例，一种用于确定手部坐标的方法如下。如上所述，所识别手 势是确定为例如握拳手势、单指展开手势、V型双指展开手势及张开手掌手势之一的数据对 象。所确定手势类型的数据对象包括识别的时间戳。所识别手势还可以包括其他数据，包 括手部坐标和变焦比例中的至少一个。手部坐标是实数对的坐标（x，y)，其中0 < X < 1且 0<y<l。将变焦比例表示为实数z。因此，握拳手势和单指展开手势包括手部坐标，V型 双指展开手势包括变焦比例。
[0218] 对于握拳手势（S卩，手指向下）和单指展开手势（S卩，手指向上）而言，按照以下 方法指定手部坐标。尽管用户在单指展开手势和握拳手势之间改变手势，但是只要用户不 改变手势的位置，手部坐标应是稳定的。这个特征帮助用户在精确的指针位置处产生单击 事件。
[0219] 如果手部掩模中的最大内切圆的原点是（χα?5, yc；,k)，则按照以下方法确定手部坐 标（XH, k，Yh, k)。
[0220] 如果当前图像帧是第一帧，或对先前帧识别的手势既不是握拳手势（即，手指向 下）也不是单指展开手势（即，手指向上），则将原点（x e,k，ye,k)指派给手部坐标（xH, k，yH, k)。也就是说，手部坐标（xH,k，yH, k) = (Xc；,k，yc,k)。
[0221] 另一方面，如果当前图像帧不是第一帧，且对先前帧识别的手势分类为握拳手势 (即，手指向下）和单指展开手势（即，手指向上）之一，则无触摸计算单元115从先前图 像中贞（k-Ι)获得绕坐标的方框。无触摸计算单元115还从当前图像巾贞（k)中 从（x c,k，kk)的周围获得不相似度最小的块。可以通过对相应像素的亮度的绝对差求和， 来执行两个块之间的不相似度的测量。通过（Λ xk，Λ yk)来表示这些块之间的位置差。在 这种情况下，手部坐标（XH, k，yH, k) = (X。, Η，y。, H) + ( Λ xk，Λ yk)。
[0222] -旦以这种方式确定了手部坐标，基于缩放的手部坐标是（Xp, k, yP, k) = (Sx*xH, k+Tx， Sy*yH, k+Ty)。Sx和Sy是比例因子，而T x和Ty是平移因子。
[0223] 如果在操作1735处无触摸计算单元115确定不存在一根手指，则在操作1750处 无触摸计算单元115确定是否存在两根手指。如果在操作1750处无触摸计算单元115确 定存在两根手指，则在操作1755处无触摸计算单元115计算变焦比例，并在操作1760处将 手势确定为如图18C中所示的V型双指展开手势。在图18C中，示出了 V型双指展开手势 的手部掩模。
[0224] 以下描述一种用于计算针对V型双指展开手势的变焦比例的方法。
[0225] 图19是用于描述根据本公开实施例的计算变焦比例的方法的图。
[0226] 参考图19,令当前图像帧（k)的变焦比例为zoom_factork。为了确定变焦比例，使 用双指夹缝度量。根据本公开的实施例，如图19中所示，将双指夹缝度量设为两个最突出 手指之间从最突出手部掩模边界点（最突出手指的顶点）到最低手部掩模边界点的水平距 离（d)。对每巾贞而言（编号为k)，通过raw_zoom_factor k来指定和表示原始变焦比例。为 了指定当前巾贞k的最终变焦比例（由zoom_factork表示），向raw_zoom_factor的值应用 具有表示为Η的平滑度量的特定平滑算法。Η的值设为任意正的常数。在本公开的实施例 中，Η=0· 03。
[0227] 根据本公开的实施例，一种用于指定图像巾贞k的变焦比例（zoom_factork)的方法 如下。
[0228] 如果没有针对先前帧所识别的手势（即，如果没有V型双指展开（双指）手势）， 则将当前双指夹缝度量指定为initial_slot，向raw_zoom_factork指派1，同时将1指派 给 zoom_factork〇
[0229] 另一方面，如果具有针对先前帧所识别的手势（即，如果具有V型双指展开（双 指）手势），则指派raw_zoom_factor k=initial_slot / (当前双指夹缝度量），根据以下 三个条件确定zoom_factork。
[0230] 第--，如果 ι^^?-ζοοηι-?^ο?οι^-ζοοηι-?^ο?οινΑΗ，则指派 zoom_facto;rk=;raw_zoom_ factork_H〇
[0231] 第二，如果 raw-zoom-factork_zoom-factork-^H，则宇旨派 zoom-factork=:raw-zoom- factork+H〇
[0232] 第三，如果上述两个条件都不满足，则指派zoon^factorkZzoon^factoiVi。
[0233] zoonufactor^是先前帧中的变焦比例。
[0234] 如果在操作1750处无触摸计算单元115确定不存在两根手指，则在操作1765处 无触摸计算单元115将手势确定为如图18D所示的张开手掌手势。在图18D中，示出了张 开手掌手势类型的手部掩模。
[0235] 如果以这种方式来识别手势，则组合所识别手势以获得手势序列，分派针对每个 手势序列的触摸屏事件。也就是说，针对每个手势序列，将触摸屏手势分派给应用，或控制 指针的位置。触摸屏手势表示为一系列触摸屏事件。
[0236] 触摸屏事件包括产生时间、坐标、类型和指针数量等信息。触摸屏事件的坐标是二 维的（tx，ty)，对应于以像素计的触摸屏像素分辨率。tx坐标对应于触摸事件的水平位置。 ty坐标对应于触摸事件的垂直位置。触摸屏事件的类型是向下、移动和向上之一。
[0237] 向下类型的触摸屏事件表示开始手势，坐标包含最初开始位置。向上类型的触摸 屏事件表示手势结束，坐标包含最终释放位置。移动类型的触摸屏事件表示在手势期间 (在向下类型和向上类型之间）发生了指针位置改变，坐标包含最近的位置。指针数量是用 于多触摸目的。
[0238] 例如，敲击手势可以包括触摸屏事件序列，该序列包括事件类型向下和事件类型 向上。拖动手势可以包括触摸屏事件序列，该序列包括事件类型向下、事件类型移动和事件 类型向上。拉近或拉远手势可以包括触摸屏事件序列，该序列包括指针1的事件类型向下、 指针2的事件类型向下、指针1的事件类型移动、指针2的事件类型移动、指针1的事件类 型向上和指针2的事件类型向上。
[0239] 例如，敲击手势对应于在最初开始位置处开始手势并在没有指针位置改变的前提 下结束该手势的情况。由于使用两个手指，所以拉近或拉远手势对应于以下情况，其中在与 指针1和指针2对应的各最初开始位置处开始手势，在指针1和指针2之间发生位置改变， 接着结束该手势。
[0240] 触摸屏手势和触摸屏事件之间的关系如表1中所示。
[0241] 表 1 触投屏卩势__触拟屏市件_ 敲出+T-势 事件类型N下 __事件类型_ 拖动丁·势 Φ件类型卩 系列的Φ件类型移动
[0242] 事件类型l(ll h 拉近/拉远手势 指针〗的車件类型向下 2.指针2的車件类型向下 系列的事件类型移动（指针1或2) 事件类型向1:(指针2或1) 事件类型向1:(指针1或2)
[0243] 表 2 手势汴列 | 触摸屏手势 指针位置
[0244] :手指_ : h 移动?旨针 手指_上_I__ ...................................... i：................................................................Γ^敲 li;手势.................................................................................................................................................................... -τ·指肉下 τ·指向i:___ +τ-指ι--: 拖动丁·势 +T-指 1~下〇25 y2)
[0245] 手指_'卜>3, y3)， -11:屮 x3!=x2 或 y3!=y2 T-指 Ι·?:__ U H:i(zi > 拉近成拉远Τ·势 双指（ζ2)，貫屮 z2 !=zl
[0246] 表2示出了手势与触摸屏手势或指针位置之间的关系。在表2中，将如下手势序 列认为是用于控制指针位置的输入，所述手势序列组合了图像帧中表示握拳手势的手指向 下手势。
[0247] 图20A到20C示出了根据本公开实施例的与敲击手势相对应的手势序列。
[0248] 参考表2和图20A到20C，获取手势序列，所述手势序列是图20A中单指展开手势 的手指向上、图20B中握拳手势的手指向下和图20C中手指向上手势的组合。在这种情况 下，将该手势序列认为是敲击手势。一旦用户连续展开一根手指、握拳和再次展开手指，而 没有通过直接触摸触摸屏190进行敲击手势，便携式设备100识别该手势，因此执行与敲击 手势相对应的操作。
[0249] 拖动手势是用户展开一根手指、握拳并接着再次展开手指的手势序列。如表2中 所示，如果手指向下的位置（x2, y2)和下一手指向下的位置（x3, y3)改变，则确定用户握 拳。
[0250] 拉近或拉远手势对应于如下手势序列，其中识别双指手势并接着再次识别具有不 同变焦比例的双指手势。在这种情况下，当用户进行双指展开手势时，如果改变双指之间的 间隔，则也改变了变焦比例，如此执行拉近或拉远操作。
[0251] 表1和表2可以组合在表3中。
[0252] 表 3
[0253]
【权利要求】
1. 一种在便携式设备中提供无触摸界面的方法，所述方法包括： 在便携式设备的触摸屏上显示应用的执行屏幕； 在便携式设备外部投影并显示与应用的执行屏幕相对应的投影图像； 激活摄像机模块以拍摄用户输入工具； 在投影图像上显示指针；以及 与由摄像机模块拍摄的用户输入工具相对应地移动并显示指针。
2. 根据权利要求1所述的方法，还包括： 在触摸屏上显示应用的执行屏幕同时，检测用户输入工具接近时的接近事件；以及 如果感测到接近事件，则激活摄像机模块。
3. 根据权利要求1或2所述的方法，还包括： 获得便携式设备的方向信息；以及 基于方向信息、，确定便携式设备的放置状态；以及 如果状态是便携式设备的前表面朝上的状态，则激活设置在便携式设备的前表面上的 摄像机。
4. 根据权利要求1到3之一所述的方法，还包括： 如果状态是便携式设备的后表面朝上的状态，则激活设置在便携式设备的后表面上的 摄像机。
5. 根据权利要求1到4之一所述的方法，还包括： 如果检测到接近事件，则确定是否满足以下条件中的至少一个：到用户输入工具的距 离小于阈值距离的条件以及接近事件的发生持续时间超过阈值时间的条件；以及 根据是否满足所述至少一个条件来确定是否激活摄像机模块。
6. 根据权利要求1到5之一所述的方法，还包括： 如果摄像机模块连续捕获多个图像帧，则基于包括用户输入工具的多个图像帧，将每 个顺序连续图像帧与先前图像帧进行比较； 从每个连续图像帧中提取用户输入工具的特征点； 基于所提取的特征点跟踪用户输入工具的位置；以及 与用户输入工具的跟踪位置相对应，移动并显示指针。
7. 根据权利要求1到6之一所述的方法，还包括： 如果摄像机模块连续捕获包括用户输入工具的多个图像帧，则识别投影图像中的手 势； 通过组合所识别的手势获得手势序列；以及 分派与所述手势序列相对应的触摸屏手势。
8. 根据权利要求1到7之一所述的方法，其中如果所识别的手势是握拳手势，则所述手 势用于模仿触摸屏拖动手势； 其中如果所识别手的势是单指展开手势，则所述手势用于控制指针的位置； 其中如果所识别的手势是张开手掌手势，则所述手势用于激活无触摸菜单；以及 其中如果所识别的手势是双指展开手势，则所述手势用于模仿变焦手势。
9. 根据权利要求1到8之一所述的方法，还包括： 基于所提取的特征点获得深度信息； 基于深度信息确定是否发生表示用户输入工具的按压手势的触摸屏事件； 当发生了表示按压手势的触摸屏事件时，设置触摸屏事件发生处的坐标；以及 分派与所述坐标相对应的位置中的触摸屏事件。
10. -种提供无触摸界面的便携式设备，所述便携式设备包括： 显示器，配置为显示应用的执行屏幕； 投影模块，配置为在便携式设备外部投影并显示与应用的执行屏幕相对应的投影图 像； 至少一个摄像机模块，配置为连续捕获包括用户输入工具的多个图像帧；以及 控制器，配置为在投影图像上显示指针，以及与由摄像机模块拍摄的用户输入工具相 对应地移动并显示指针。
11. 根据权利要求10所述的便携式设备，还包括： 传感器模块，配置为在触摸屏上显示应用的执行屏幕同时，检测用户输入工具接近时 的接近事件，并配置为处理便携式设备的当前朝向。
12. 根据权利要求10或11所述的便携式设备，其中如果便携式设备的放置状态是便携 式设备的前表面朝上的状态，则所述控制器激活所述至少一个摄像机模块中设置在便携式 设备的前表面上的摄像机，以及 其中如果便携式设备的放置状态是将便携式设备的后表面朝上的状态，则所述控制器 激活所述至少一个摄像机模块中设置在便携式设备的后表面上的摄像机。
13. 根据权利要求10到12之一所述的便携式设备，其中所述控制器基于所述多个图像 帧，将每个顺序连续图像帧与先前图像帧进行比较；从每个连续图像帧中提取用户输入工 具的特征点；基于所提取的特征点跟踪用户输入工具的位置；以及与用户输入工具的跟踪 位置相对应地移动并显示指针。
14. 根据权利要求10到13之一所述的便携式设备，其中如果摄像机模块连续捕获包括 用户输入工具的多个图像帧，则所述控制器识别图像中的手势；通过组合所识别的手势获 得手势序列；以及分派与所述手势序列相对应的触摸屏手势。
15. 根据权利要求10到14之一所述的便携式设备，其中如果所识别的手势是握拳手 势，则所述手势用于模仿触摸屏拖动手势； 其中如果所识别的手势是单指展开手势，则所述手势用于控制指针的位置； 其中如果所识别的手势是张开手掌手势，则所述手势用于激活无触摸菜单；以及 其中如果所识别的手势是双指展开手势，则所述手势用于模仿变焦手势。
【文档编号】G06F3/0482GK104102336SQ201310470322
【公开日】2014年10月15日 申请日期:2013年10月10日 优先权日:2013年4月9日
【发明者】安东尼·雅库比亚克, 亚当·施特鲁普切维斯基, 格热戈日·格热西亚克, 亚采克·别尼乌西维茨, 康拉德·诺维茨基, 玛格达·塔拉莱克, 帕维乌·西明斯基, 托马什·托克齐斯基 申请人:三星电子株式会社