移动终端、基于移动终端的输入方法

专利名称：移动终端、基于移动终端的输入方法
技术领域：
本发明涉及人机交互技术领域，尤其涉及一种移动终端、基于移动终端的输入方法。
背景技术：
人机交互技术(Human-Computer Interaction Techniques)是指通过计算设备的 输入/输出装置，以有效的方式实现人与计算设备对话，是计算机用户界面设计中的重要 内容之一，它与认知学、人机工程学、心理学等学科领域有密切的联系，主要包括机器通过 输出或显示设备向人提供大量信息及提示请示、用户通过输入设备向机器输入信息及提示 请示，以及人通过输入设备向机器输入有关信息回答问题等方面的内容。人机交互包括这样两种形式其一，通过点击触摸屏上的菜单或者图标，文字等， 实现用户与计算机的之间信息的交互；其二，通过人做出各种手势实现信息交互。因为手势 是一种自然而直接的信息交流模式，因此，基于手势识别是人机交互所不可缺少的一项关 键的技术。目前，人机交互的驱动力主要来自消费电子产业，尤其是移动电话、便携游戏 机、PDA (Personal Digital Assistant，个人数字助理)、便携导航设备 PNG(Pictorial Navigation Display导航图象显示器)，对电视、DVD(Digital Video Disc，数字视频光盘) 等电子设备实现远程控制的遥控器等。举个例子来说，用户在手机摄像头前动动手指、做做手势，手机就能够依据手势的 不同，来辨别用户的意图并执行不同的指令。之所以能够实现基于手势的控制，最重要的原 因是，在上述的逻辑处理单元中，装载了具有图像处理功能的芯片，通过一系列复杂计算， 进行图像识别，进而完成了基于手势控制的人机交互。但是，上述技术方案存在如下问题由于人手做出的手势形状不固定，在进行手势捕捉和手势识别时，需要进行处理 的数据量大，算法复杂。因此，基于移动终端的手势识别，软件开发相对复杂，硬件的开销 大，对硬件的处理能力要求较高，现有的普通移动终端的硬件平台很难支持手势输入的功 能。

发明内容
本发明所要解决的技术问题是提供一种移动终端，基于该移动终端，可以有效降 低手势输入过程中，移动终端软件开发的难度和移动终端硬件开销。为了解决上述问题，本发明公开了一种移动终端，该移动终端包括手持输入设备， 所述移动终端还包括照相机、运动轨迹识别模块和关联信息获取模块。照相机用于捕捉通 过所述手持输入设备在所述照相机前运动形成的运动轨迹；运动轨迹识别模块用于依据预 置规则，识别所述运动轨迹，获取识别结果；关联信息获取模块用于依据所述识别结果，获 取与所述运动轨迹相对应的关联信息，所述关联信息用于指示所述移动终端或所述移动终 端控制的外部设备进行相应的操作。
优选地，在所述移动终端内还存储有多个图片，所述多个图片分别与所述关联信 息一一对应；并且，所述关联信息获取模块进一步用于依据所述识别结果，将所述运动轨迹 与所述多个图片分别进行匹配，以确定所述运动轨迹的关联图片，进而依据所述关联图片， 获取与所述运动轨迹相对应的关联信息。优选地，所述手持输入设备为发光设备；所述移动终端还包括预置模块，所述预置 模块用于预先设定所述手持输入设备所发射光的颜色。优选地，所述发光设备为发光笔。优选地，所述关联信息包括笔迹输入信息和/或命令执行信息。优选地，所述移动终端为遥控设备，所述遥控设备还包括发射器，所述发射器用于 将所述关联信息发送至所述外部设备；所述外部设备包括电视机、VCD播放器、DVD播放器 或游戏机。本发明还提供了一种基于移动终端的输入方法，所述移动终端包括照相机和手持 输入设备，所述方法包括如下步骤捕捉通过所述手持输入设备在所述照相机前运动形成 的运动轨迹；依据预置规则，识别所述运动轨迹，获取识别结果；依据所述识别结果，获取 与所述运动轨迹相对应的关联信息，所述关联信息用于指示所述移动终端或所述移动终端 控制的外部设备进行相应的操作。优选地，所述依据所述识别结果，获取与所述运动轨迹相对应的关联信息的步骤 进一步为依据所述识别结果，将所述运动轨迹与预先存储于所述移动终端中的多个图片 分别进行匹配，以确定所述运动轨迹的关联图片，进而依据所述关联图片，获取与所述运动 轨迹相对应的关联信息。优选地，所述手持输入设备为发光设备，在捕捉通过所述手持输入设备在所述照 相机前运动形成的运动轨迹步骤前，所述方法还包括如下步骤预先设定所述手持输入设 备所发射的光的颜色。优选地，所述关联信息包括笔迹输入信息和/或命令执行信息。在本发明中，通过手持输入设备在照相机前形成的运动轨迹作为输入信号，由于 手持设备相对于人手的手势而言，具有形状固定，目标明确等优势，因此，使照相机在捕捉 手持设备的运动轨迹时，捕捉对象数据量小，冗余数据少，进而在进行运动轨迹图像的识 别、匹配过程中，算法简单，运算量小。因此，降低了软件开发的复杂度，硬件开销小。在不 增加移动终端的硬件成本的情况下，使普通手机的硬件平台能够容易的支持手势输入的功 能，丰富了移动终端的操作模式，使用户操作更加便利，增强用户的体验。


图IA是根据本发明实施例的移动终端的结构框图；图IB是根据本发明实施例的移动终端的结构框图；图2A是根据本发明移动终端一个实施例的主视图；图2B是根据本发明移动终端一个实施例的后视图；图3是根据本发明图2A和图2B所示的本实施例的移动终端的结构框图；图4是具有图3所示结构的移动终端实施例的详细结构示意图；图5示出了图4所示的移动终端中存储设备的结构示意图6示出了根据本发明基于移动终端的输入方法的步骤流程图；图7示出了根据本发明基于移动终端的输入方法另一实施例的步骤流程图；图8示出了根据本发明基于移动终端的输入方法另一实施例的步骤流程图；图8A是进行目标颜色设定的用户界面示意图；图8B是将具有设定颜色的运动轨迹与手机的按键或者快捷键关联的用户界面示 意图；图9是同时具有笔迹输入信息和命令执行信息的移动终端，在进行输入时操作的 步骤流程图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。参照图1A，图IA是根据本发明实施例的移动终端的结构框图，该移动终端包括存储单元110A，用于存储多个关联信息，所述关联信息用于指示所述移动终端或 所述移动终端控制的外部设备进行相应的操作；照相机120A，用于捕捉通过手持输入设备在所述照相机前运动形成的运动轨迹；运动轨迹识别模块130A，用于依据预置规则，识别所述运动轨迹，获取识别结果；关联信息获取模块140A，用于依据所述识别结果，获取与所述运动轨迹相对应的、 存储于所述存储单元中的一个关联信息。在这里，首先对“移动终端”进行说明，本发明所称的“移动终端”可以为其一，具有与其他移动终端进行通信的电子设备。例如，移动终端200可以为移动电话，PCS (Personal CommunicationsSystem,个人 通信系统)，PDA (Personal Digital Assistant，个人数字助理)，该PDA可以具有移动电 话、传呼机、互联网/内联网通路、网页浏览器、音频/视频播放器、日历和/或GPS(Globe Positioning System，全球定位系统)等功能。其二，能够对外部设备实现远程控制的遥控装置。例如，移动终端200可以为远程控制电视机、音响、⑶(Compact Disc，压缩光盘) 播放器、VCD(Video Compact Disc，视频压缩光盘)播放器、DVD(Digital Video Disk，数字 视频光盘)播放器、游戏机等，也就是一般意义上的“遥控器”，只要该遥控装置能够实现运 动轨迹的识别，并根据运动轨迹产生各种关联信息以驱动外部设备进行相应的操作。其三，能够实现用户通过手持输入设备在所述照相机前形成的运动轨迹，并依 据运动轨迹产生各种关联信息的设备，例如虽然不具有网络通信功能的PC(个人电脑， Personal Computer)、笔记本电脑、PDA 等。在进行手势输入时，移动终端的照相功能开启，但移动终端的显示屏上不显示拍 摄的内容，而是在原来的现实界面上叠加捕获的运动轨迹，并对运动轨迹加以判定，从而完 成手势输入或者手势操控移动终端的功能。该方法中移动终端的含义与上面所描述的相同，在此不再赘述。该方法通过手持 输入设备在照相机前形成的运动轨迹作为手势输入信号，使手势识别对象易于捕捉，有效 的减少了手势捕捉过程的数据量，并且，降低了手势识别、匹配过程中的数据运算量，简化
5算法，降低了软件开发的难度，硬件开销小，在不增加电子设备的硬件成本的情况下，使普 通手机的硬件平台能够容易的支持手势输入的功能，使用户操作更加便利，增强用户的体验。根据图IA所示移动终端实施例，一种更为优选的实施方式为移动终端还包括预 置模块，参照图1B，图IB是根据本发明实施例的移动终端的结构框图，包括预置模块110B，用于预先设定所述手持输入设备所发射的光的颜色。所述颜色为 所述照相机捕捉的所述运动轨迹的目标颜色；存储单元120B，用于存储多个图片、以及每一图片对应的关联信息，所述关联信息 用于指示所述移动终端或所述移动终端控制的外部设备进行相应的操作；照相机130B，用于捕捉通过手持输入设备在所述照相机前运动形成的运动轨迹；运动轨迹识别模块140B，用于依据预置规则，识别所述运动轨迹，获取识别结果；关联信息获取模块150B，所述关联信息获取模块进一步用于依据所述运动轨迹识 别模块获取的所述识别结果，将所述运动轨迹与所述多个图片分别进行匹配，以确定所述 运动轨迹的关联图片，进而依据所述关联图片，获取与所述运动轨迹相对应的、存储于所述 存储单元的一个关联信息。这样，在移动终端进行手势识别时，其所针对的目标即为具有特定颜色的目标捕 捉点，有效的改进了现有技术中，在捕捉手势时所产生的捕捉对象不明确，捕捉结果不清晰 的缺点，同时，也减小了图像匹配过程中的数据量。根据图IB所示移动终端实施例，一种更为优选的实施方式为将所述手持输入设 备设定为笔形设备，这样做的好处是，笔尖作为目标捕捉点，具有目标更加明确，数据采集 量更小，进而，运动轨迹识别所需要的算法相对简单，硬件开销小。还可以对上面所描述的实施例进行进一步地改进所述改进为将笔形设备限定为 荧光笔或激光笔，还可以是其他具有主动发射功能的笔形设备。这样，上面所提到的捕捉目 标明确，数据采集量小，运动轨迹识别所需要的算法相对简单，硬件开销小等优势将得到更 好的体现。根据图IB所示的移动终端的实施例，进一步限定其中的关联信息的内容，关联信 息可以包括命令执行信息、笔迹输入信息、或者该关联信息既可以包括笔迹输入信息和命 令执行信息。例如，在移动终端为遥控设备，并且，该遥控设备用于遥控CD播放器时，命令执行 信息可以包括增加音量，该命令执行信息对应的运动轨迹可以为字母“H”，可以为用户通过激光 笔在照相机前书写字母“H”的运动形成；减小音量，该命令执行信息对应的运动轨迹可以为字母“L”，可以为用户通过激光 笔在照相机前进行书写字母“L”的运动形成；暂停，该命令执行信息对应的运动轨迹为一个圆，可以用户通过激光笔在照相机 进行圆周运动形成；切换至上一首歌曲，该命令执行信息对应的运动轨迹可以为字母“B”，可以为用户 通过激光笔在照相机前进行书写字母“B”的运动形成；切换至下一首歌曲，该命令执行信息对应的运动轨迹可以为字母“F”，可以为用户通过激光笔在照相机前进行书写字母“F”的运动形成。并且，在作为遥控设备的移动终端内部，只要将包含字母H、字母L、圆、字母B、字 母F的图片分别与增大音量、减小音量、暂停、切换至上一歌曲、切换至下一歌曲的按键或 者快捷键相相匹配即可。以上仅仅列举了移动终端为遥控设备，并且，该遥控设备用于遥控⑶播放器时， 可能包含的命令执行信息，但不限于此，这里只是示例性的说明，还可以是其他的命令执行 信息，并且命令执行信息可以是其他任何形式的轨迹，上面所述列举的只是其中的几种情 况，在此，并不用于限制本发明。又例如，在移动设备为手机时，命令执行信息可以包括(但不限于)编辑短信该命令执行信息对应的运动轨迹可以为字母组合“ED”，可以为用户通 过激光笔在照相机前书写字母“E”与“D”的运动形成；打开通信录该命令执行信息对应的运动轨迹可以为字母组合“PHB”，可以为用 户通过激光笔在照相机前书写字母“P”、“H”与“B”的运动形成；接听来电该命令执行信息对应的运动轨迹可以为单词“ANSWER”，可以为用户通 过激光笔在照相机前书写单词“ANSWER”的运动形成。只要在手机内部只要将包含字母组合“ED”、字母组合“ΡΗΒ00Κ”、单词“ANSWER”的 图片分别与编辑短信、打开通信录、接听来电的按键或者快捷键相相匹配即可。例如，当用户在手机的照相机前通过激光笔在照相机前书写字母“E”与“D”后，照 相机对字母组合“ED”的运动轨迹进行捕捉，并将捕捉的轨迹传送至运动轨迹识别模块，将 字母组合“ED”的运动轨迹与存储单元中的多个图片相匹配，匹配的结果是，字母组合“ED” 的运动轨迹与存储单元中包含有字母组合“ED”图片最为接近，即为其关联图片，又由于该 关联图片与编辑短信的快捷键等价，因此，当在手机的照相机前书写字母组合“ED”后，手机 将在手势的指引下进入编辑状态。在这里，有一点需要强调的是，关联图片所对应的关联信息并非一定是手机按键 上能够实现的功能，即便是手机通过按键不能实现的功能，也可以使某一关联图片与预先 设定的功能相对应。通过这种方式，可以实现手机功能的扩展。另外，用户终端还可以包括以用户界面，该用户界面可以允许客户向移动终端增 加图片，以及图片对应的关联信息，通过这种方式，可以容易的增加移动终端可以识别的手 势类型。笔迹输入信息的含义是当移动终端处于编辑状态时，比如，移动终端处于短消息 的编辑状态时，用户首先可以开启用户终端的手势识别功能，通过手持激光笔或者荧光笔 在照相机前进行文字的书写后，照相机所述写文字的运动轨迹进行捕捉，并将捕捉的轨迹 传送至运动轨迹识别模块，将文字的运动轨迹与存储单元中的多个文字图片相匹配，将最 为接近的文字图片确定为关联图片，依据关联图片选择目标文字。关联信息可以为笔迹输入信息的好处在于，在利用手写文字进行输入时，不再需 要触摸屏，也就是说，触摸屏不再是手写输入的必要条件，本发明移动终端的显示屏可以为 触摸屏也可以为一般的液晶显示屏，或者其他能够显示图像的屏幕，本发明不做限定。移动终端可以具有两种模式编辑模式与非编辑模式，在编辑模式下，移动终端可 以处于文字输入状态，因此，在照相机前，用户借助手持输入设备形成的运动轨迹为笔迹输入信息；而在非编辑模式下，用户在照相机前借助手持输入设备形成的运动轨迹为命令信 心。在具体实现时，可以在移动终端上设置一个按键、组合键、快捷键等实现移动终端编辑 模式与非编辑模式的转换。本发明利用移动终端的照相机，加上使用辅助工具如荧光笔或激光笔等具有主动 发射光的手持笔形设备，使得手势操作的识别变的简单，且具有可操作性。当在非编辑模式 下打开手势操作功能时，照相机并没有把拍摄到的图像呈现在屏幕上，而只是在原来的显 示图像上迭加显示颜色轨迹图，当用手遮住荧光笔，使得扑获的颜色消失，持续1秒后，捕 捉过程结束，开始识别。如果捕捉到的运动轨迹与移动终端中预先设置的图片相似时，该图 片即为运动轨迹的关联图片，此时，移动终端将执行关联图片对应的关联信息，该关联信息 可以为移动终端对应的按键操作或快捷功能操作。如果移动终端找不到与预先存储的关联 图片，用户可以选择进入添加新的运动轨迹或者取消此手势操作。当在编辑模式下打开手 势操作功能时，可与手写功能相结合，输入文字或数值。下面结合一个实例来具体说明本发明移动终端。移动终端实例参照图2A，图2A是根据本发明移动终端一个实施例的主视图。移动终端200包 括壳体210、照相机220、和快门230。壳体210用于保护其内部的各种组成部分；照相机 220用于接收移动终端的用户做出的手势，通过按压快门230来拍摄用户通过手持输入设 备在照相机220前形成的运动轨迹。参照图2B，图2B是根据本发明一个实施例的移动终端的后视图。移动终端200包 括显示屏240和用户控制区域250。其中，显示屏240可以是液晶屏，也可以是触摸屏等其 他形式的屏幕，只要该显示屏240能够将照相机220捕捉的运动轨迹的图像显示给移动终 端200的用户即可，本发明在此不做限定。在一些实施例中，照相机220可以和显示屏240 位于移动终端200的同一面。用户控制区域250包括具有控制功能的按键，例如，与接/打电话相关的控制、还 可以包括一个菜单按键，通过该按键，可以给用户显示具有选择功能的界面等等。参照图3，如3是根据本发明图2A和图2B所示的移动终端的实施例结构框图。移 动终端200包括总线310，处理单元320、存储设备330、输入设备340、输出设备350、照相机 360以及通信接口 370。其中，图IA中的运动轨迹识别模块130、关联信息获取模块都是由 是由存储设备330和处理单元320协同工作，共同完成运动轨迹的识别、关联信息的获取的 功能。总线310用于实现上述移动终端200中的各个组件之间通信。需要说明的是，对于 本领域的技术人员来说，移动终端200还可以包括其他组件。举例来说，移动终端200还可 以包括一个或多个电源装置，还可以用于处理数据的调制器、解调器、编码器、解码器(图 中均未示出)等。处理单元320可以包括具有处理功能的处理器、ASIC(ApplicationSpecific Integrated Circuit,) >FPGA (field programmable gate array, JJ , Jg; nj 编程门阵列)等其他类似的芯片。处理单元320主要用于识别用户通过手持输入设备在照 相机360前形成的运动轨迹，生成相应的关联信息，关联信息用于指示移动终端200进行相 应的操作，处理单元通过执行指令、读取数据的方式实现上述目的。
存储设备330包括RAM (Random Access Memory,随机存取存贮器)或其他动态存 储器、R0M(Read Only Memory只读存储器)或其他静态存储器；闪存、或磁盘、光盘。上述 类型的存储器用于存储供处理单元320获取关联信息所需要的信息，主要为数据和指令， 还可以存放处理过程中的临时变量或者中间信息。输入设备340包括允许用户向移动终端200输入信息的任何机构。例如，键盘、手 写笔等。输出设备350包括显示屏、打印机、扬声器等，还可以包括一个振动结构，当有移动 终端100作为手机接到来电时，会产生振动。通信接口 370包括任何形式的无线收发器，通过该收发器，可以使移动终端与其 他移动终端或者该移动终端遥控的外部设备进行通信。例如，通信接口 370可以包括一个 或多个射频发射器、接收器或者收发器；或者通信接口 370包括一个或多个红外发射器、接 收器或者收发器。例如，遥控器就是通过红外发射器、接收器或者收发器控制外设的。参照图4，图4是具有图3所示结构的移动终端实施例的详细结构示意图，该移动 终端包括照相机41、通信电路42、用户接口 43。用户接口 43允许用户与移动终端进行交互并且控制移动终端的工作。主要包括 键盘431、显示屏432、扬声器433以及将麦克风434。通信电路42包括通过无线通信网络(未示出)与其他用户终端进行数据通信所 必须的组件。该通信电路包括分别与处理单元421相连接的存储设备422、收发器424、音 频处理电路423。处理单元421用于识别用户通过手持输入设备在照相机41前形成的运动轨迹，生 成手势的关联信息，关联信息用于指示所述移动终端或所述移动终端控制的外部设备进行 相应的操作。在具体实现上述功能时，处理单元421根据存储在存储设备422中的程序和 数据控制移动终端的工作。参照图5，图5示出了存储设备422的组成，包括用于存储运 动轨迹识别的指令之存储子单元510、用于存储生成运动轨迹关联信息的指令之存储子单 元520以及用于存储图片、图片对应的关联信息之存储子单元530。处理单元421读取上述 三个存储子单元中的数据和指令的内容，进行运算，获取执行结果。处理单元421可以由单个或者多个具有数据处理功能的芯片组成。收发器424是 与天线425相连的蜂窝无线收发器，用于在无限通信网络上接收和发送信号。本领域的技 术人员可以理解，收发器424可以根据任何已知的标准工作，包括GSM(全球移动通讯系统， Global System For MobileCommunication)、通用移动通信系统UMTS(通用移动通信系统， UniversalMobile Telecommunications System)等。照相机41集成在移动终端中，通过照相机接口 415与通信电路42相连接。照相 机41包括镜头411、镜头控制器412、图像传感器413、图像处理器416、闪光灯414、镜头411 可以包括一个或多个透镜(固定的或自动对焦的)，其根据从镜头控制器412接收的控制信 号，通过收集并且聚焦光到图像传感器413来操纵图像。镜头控制器42从处理单元421接 收控制信号控制镜头411的光学属性，例如焦距、变焦和快门速度。在本实施例中，图像传感器413捕获镜头411接收的移动终端的用户做出的 手势，并且，该手势为用户通过手持输入设备在照相机前形成的运动轨迹。处理单元 421识别运动轨迹，生成所述手势的关联信息，该关联信息用于指示移动终端或移动终 端控制的外部设备进行相应的操作。其中，图像传感器413可以包括任意的常规图像传感器，例如CCD(ChargeC0upled Device,电荷耦合器件)、CMOS(互补氧化物半导体 ComplementaryMetal Oxide Semiconductor)图像传感器等。基于手势输入的控制方法实施例下面对基于手势输入的控制方法进行详细的说明。参照图6，图6示出了根据本发 明基于移动终端的输入方法的步骤流程图；该方法包括如下步骤步骤610 预置多个关联信息，所述关联信息用于指示所述移动终端或所述移动 终端控制的外部设备进行相应的操作；步骤620 捕捉通过手持输入设备在所述照相机前运动形成的运动轨迹；步骤630 依据预置规则，对所述运动轨迹进行识别，获取识别结果；步骤640 依据所述识别结果，获取与所述运动轨迹相对应的、存储于所述存储单 元中的一个关联信息。在进行输入时，移动终端的照相功能开启，但移动终端的显示屏上不显示拍摄的 内容，而是在原来的现实界面上叠加捕获的运动轨迹，并对运动轨迹加以判定，从而完成手 势输入或者手势操控移动终端的功能。该方法中移动终端的含义与上面所描述的相同，在此不再赘述。该方法通过手持 输入设备在照相机前形成的运动轨迹作为手势输入信号，使手势识别对象易于捕捉，有效 的减少了手势捕捉过程的数据量，并且，降低了手势识别、匹配过程中的数据运算量，简化 算法，降低了软件开发的难度，硬件开销小，在不增加电子设备的硬件成本的情况下，使普 通手机的硬件平台能够容易的支持手势输入的功能，使用户操作更加便利，增强用户的体 验。针对图6所示的实施例，进一步的改进为存储单元还存储有多个图片的步骤，所 述多个图片分别与所述存储单元中的多个关联信息一一对应；依据所述识别结果，获取与 所述运动轨迹相对应的、存储于所述存储单元中的一个关联信息的步骤进一步为依据获 取的所述识别结果，将所述运动轨迹与所述多个图片分别进行匹配，以确定所述运动轨迹 的关联图片，进而依据所述关联图片，获取与所述运动轨迹相对应的、存储于所述存储单元 的一个关联信息。参照图7，图7示出了根据本发明基于移动终端的输入方法另一实施例的步骤流 程图，该方法具体包括如下步骤步骤710 预置多个图片、以及每一图片对应的关联信息，所述关联信息用于指示 所述移动终端或所述移动终端控制的外部设备进行相应的操作；步骤720 捕捉通过手持输入设备在所述照相机前运动形成的运动轨迹；步骤730 依据预置规则，识别所述运动轨迹，获取识别结果；步骤740 依据获取的所述识别结果，将所述运动轨迹与所述多个图片分别进行 匹配，以确定所述运动轨迹的关联图片，进而依据所述关联图片，获取与所述运动轨迹相对 应的、存储于所述存储单元的一个关联信息。针对图7所示方法的一个改进是在步骤620之前，还包括一个用于预先设定所述 手持输入设备所发射的光的颜色的步骤，所述颜色为所述照相机捕捉的所述运动轨迹的目 标颜色。这样，在移动终端进行手势识别时，其所针对的目标即为具有特定颜色的目标捕捉 点，有效的改进了现有技术中，在捕捉手势时所产生的捕捉对象不明确，捕捉结果不清晰的缺点，同时，也减小了图像匹配过程中的数据量。针对图7所示方法的一个改进是将所述手持输入设备设定为笔形设备，这样做 的好处是，笔尖作为目标捕捉点，具有目标更加明确，数据采集量更小，进而，运动轨迹识别 所需要的算法相对简单，硬件开销小。还可以对上面所描述的实施例进行进一步地改进所述改进为将笔形设备限定为 荧光笔或激光笔，还可以是其他具有主动发射功能的笔形设备。这样，上面所提到的捕捉目 标明确，数据采集量小，运动轨迹识别所需要的算法相对简单，硬件开销小等优势将得到更 好的体现。根据图7所示方法的实施例，进一步限定其中的关联信息的内容，关联信息可以 包括命令执行信息、笔迹输入信息、或者该关联信息既可以包括笔迹输入信息和命令执行 信息。其中的笔迹输入信息和命令执行信息的含义与移动终端实施例中所描述相同，在此 不再赘述。其中的移动终端可以为手机也可以为电子遥控设备，当移动终端为电子遥控设 备时，该遥控设备所控制的外部设备可以是电视机、V⑶播放器、DVD播放器或游戏机，这 里只是示例性的说明，外部设备还可以为其他类型的播放器。本发明在此不作限定。下面结合一个实例，具体说明基于移动终端的手势输入方法。基于移动终端的手势输入方法实例参照图8，图8示出了根据本发明基于移动终端的输入方法另一实施例的步骤流 程图；包括如下步骤步骤810 设定激光笔所发射的光的颜色，所述颜色为照相机捕捉的运动轨迹的 目标颜色。参照图8A，图8A是进行目标颜色设定的用户界面示意图。具体过程为，手持彩色 的荧光笔(也可以是其他手持输入设备，这里以荧光笔为例)，在手机的照相机前拍摄一张 照片，手机屏幕自动弹出捕获到的几种颜色，选择一种颜色作为手势输入的缺省值，图8A 的界面中，选择的是红色作为目标颜色。步骤820 设置多个关联信息，所述关联信息用于指示手机执行相应的操作。其中，关联信息包括命令执行信息和笔迹输入信息，命令执行信息是手机处于非 编辑状态下将要进行的动作，笔迹输入信息是在手机处于编辑状态下将要进行的动作，上 述命令执行信息可以和手机上特定的按键或者快捷键执行的功能相对应，当然，命令执行 信息也可以独立于手机的按键和快捷键。参照图8B，图8B是将具有设定颜色的运动轨迹与 手机的按键或者快捷键关联的用户界面示意图。例如，运动轨迹为一条竖直方向的直线与按键向下移动的功能相对应；运动轨迹 为字母“b”的轨迹图时，其对应“电话本”的快捷键；运动轨迹为数字“2”的轨迹图时，其对 应数字“2”的按键。这里只是示例性的说明，在此不再一一列举。步骤830 捕捉通过激光笔在照相机前运动形成的运动轨迹，该激光笔发射的光 的颜色为上述设定的目标颜色，假设设定该目标颜色为红色，那么只有发出红光的手持输 入设备(这里指激光笔)的运动形成的轨迹才能够被识别。步骤840 依据特定规则，比如特征提取的规则，对运动轨迹进行识别。步骤850 依据识别结果，将运动轨迹与上述关联信息相匹配，如手机处于非编辑 状态，则产生的将是命令执行信息，如手机处于编辑状态，产生的将是笔迹输入信息。
步骤860 依据关联信息，手机进行相应的操作。参照图9，图9是具有同时具有笔迹输入信息和命令执行信息的移动终端，在进行 手势输入时操作的步骤流程图。包括如下步骤步骤910 开启手机的手势输入的功能；步骤911 判断手机处于编辑状态还是非编辑状态，在手机处于编辑状态下，执行 步骤912A，在手机处于非编辑状态下，执行步骤912B ；步骤912A 手持荧光笔在手机的照相机前运动；步骤913A 获取笔迹输入信息的运动轨迹；步骤914A 依据运动轨迹，选择字库中与运动轨迹相匹配的目标文字。步骤912B 手持荧光笔在手机的照相机前运动；步骤913B 判断轨迹输入是否完成，若完成，执行步骤914B，若没完成，执行步骤 912B ；步骤914B 获取命令执行信息的运动轨迹；步骤915B:判断运动轨迹是否与手机的快捷键或者按键的功能相匹配，若是，则 执行步骤918B，若否，则执行步骤916B ；步骤916B:判断是否保存该不能与按键或快捷键匹配的运动轨迹，所是，则执行 步骤917B，若否，执行步骤912B ；步骤917B 不能与按键或快捷键匹配的运动轨迹进行设定，使之能够与按键或者 快捷键的功能相匹配；步骤918B 执行按键或者快捷键对应的操作。本发明利用移动终端的照相机，加上使用辅助工具如荧光笔或激光笔等具有主动 发射光的手持笔形设备，使得手势操作的识别变的简单，且具有可操作性。当在非编辑模式 下打开手势操作功能时，照相机并没有把拍摄到的图像呈现在屏幕上，而只是在原来的显 示图像上迭加显示颜色轨迹图，当用手遮住荧光笔，使得扑获的颜色消失，持续1秒后，捕 捉过程结束，开始识别。如果捕捉到的运动轨迹与移动终端中预先设置的图片相似时，该图 片即为运动轨迹的关联图片，此时，移动终端将执行关联图片对应的关联信息，该关联信息 可以为移动终端对应的按键操作或快捷功能操作。如果移动终端找不到与预先存储的关联 图片，用户可以选择进入添加新的运动轨迹或者取消此手势操作。当在编辑模式下打开手 势操作功能时，可与手写功能相结合，输入文字或数值。本说明书中的各个实施例采用递进的方式描述，每个实施例重点说明的都是与其 他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。以上对本发明所提供的一种移动终端、基于移动终端的手势输入方法进行了详细 介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明 只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本 发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应 理解为对本发明的限制。
1权利要求
一种移动终端，包括手持输入设备，其特征在于，所述移动终端还包括照相机，用于捕捉通过所述手持输入设备在所述照相机前运动形成的运动轨迹；运动轨迹识别模块，用于依据预置规则，识别所述运动轨迹，获取识别结果；关联信息获取模块，用于依据所述识别结果，获取与所述运动轨迹相对应的关联信息，所述关联信息用于指示所述移动终端或所述移动终端控制的外部设备进行相应的操作。
2.根据权利要求1所述的移动终端，其特征在于，在所述移动终端内还存储有多个图 片，所述多个图片分别与所述关联信息一一对应；并且，所述关联信息获取模块进一步用于依据所述识别结果，将所述运动轨迹与所述 多个图片分别进行匹配，以确定所述运动轨迹的关联图片，进而依据所述关联图片，获取与 所述运动轨迹相对应的关联信息。
3.根据权利要求2所述的移动终端，其特征在于，所述手持输入设备为发光设备；所述移动终端还包括预置模块，所述预置模块用于预先设定所述手持输入设备所发射 光的颜色。
4.根据权利要求3所述的移动终端，其特征在于，所述发光设备为发光笔。
5.根据权利要求1所述的移动终端，其特征在于，所述关联信息包括笔迹输入信息和 /或命令执行信息。
6.根据权利要求1所述的移动终端，其特征在于，所述移动终端为遥控设备，所述遥控 设备还包括发射器，所述发射器用于将所述关联信息发送至所述外部设备；所述外部设备 包括电视机、V⑶播放器、DVD播放器或游戏机。
7.一种基于移动终端的输入方法，其特征在于，所述移动终端包括照相机和手持输入 设备，所述方法包括如下步骤捕捉通过所述手持输入设备在所述照相机前运动形成的运动轨迹；依据预置规则，识别所述运动轨迹，获取识别结果；依据所述识别结果，获取与所述运动轨迹相对应的关联信息，所述关联信息用于指示 所述移动终端或所述移动终端控制的外部设备进行相应的操作。
8.根据权利要求7所述的方法，其特征在于，所述依据所述识别结果，获取与所述运动 轨迹相对应的关联信息的步骤进一步为依据所述识别结果，将所述运动轨迹与预先存储于所述移动终端中的多个图片分别进 行匹配，以确定所述运动轨迹的关联图片，进而依据所述关联图片，获取与所述运动轨迹相 对应的关联信息。
9.根据权利要求8所述的方法，其特征在于，所述手持输入设备为发光设备，在捕捉通 过所述手持输入设备在所述照相机前运动形成的运动轨迹步骤前，所述方法还包括如下步 骤预先设定所述手持输入设备所发射的光的颜色。
10.根据权利要求7所述的方法，其特征在于，所述关联信息包括笔迹输入信息和/ 或命令执行信息。
全文摘要
本发明提供了一种移动终端、基于移动终端的输入方法。其中，移动终端包括照相机和手持输入设备，方法包括如下步骤捕捉通过手持输入设备在照相机前运动形成的运动轨迹；依据预置规则，识别运动轨迹，获取识别结果；依据识别结果，获取与运动轨迹相对应的关联信息，关联信息用于指示移动终端或移动终端控制的外部设备进行相应的操作。本发明在不增加移动终端的硬件成本的情况下，使普通手机的硬件平台能够容易的支持手势输入的功能，丰富了移动终端的操作模式，使用户操作更加便利，增强用户的体验。
文档编号G06F3/01GK101930282SQ20091005427
公开日2010年12月29日 申请日期2009年6月27日 优先权日2009年6月27日
发明者王鸣华, 蔡世光, 虞立 申请人:英华达(上海)电子有限公司