专利名称：信息处理设备和用于显示辅助信息的方法
技术领域：
本发明涉及信息处理设备和用于显示辅助信息的方法。
背景技术：
诸如键盘、鼠标、触控垫、触控面板和拨号盘等的输入装置连接在诸
如个人计算机(下文称为PC)和移动电话的电子设备上。因此，用户可
使用这些输入装置向各种电子设备输入信息。近年来，在这些电子设备中
已使用了构建于显示屏中的使用计算机图形图像(下文称为CG)的虚拟 操作系统。这样的虚拟操作系统就是所谓的图形用户界面(下文称为 GUI)。
若安装了 GUI，则用户可使用上述输入装置使CG移动并通过操作 CG来执行预定的处理。例如，用户可使用鼠标来选"^对应于期望的应用 程序的CG，以及通过按压键盘上的预定键来启动该期望的应用程序。CG 包括选择^L、显示菜单和复选框。例如，若使用分层显示菜单，则可根 据类型和属性来对应用程序等进行分层式分类，由此提高用户便利性。然 而，若分层结构变得较为复杂，则用户的操作处理将会增加，反而使得便 利性降低。
因此，可向每个显示菜单分配被称为快捷方式的特殊键操作。当使用 此快捷方式时，用户通过执行特殊键操作可直接选择期望的显示菜单，或 启动对应于该显示菜单的应用程序。已知一种被称为鼠标手势的技术，作 为类似于快捷方式的技术，用以提高用户的操作效率。根据此项技术，若 用户使用鼠标光标绘制出预定形状的轨迹，则可启动与该形状相关联的应 用程序。
作为鼠标手势的一个应用，例如日本专利申请7>开案第2005-339420 号公开了 一种通过使用手指在触控面板上绘制预定形状的轨迹来启动应 用程序的技术。上述文献还描述了其中将手势功能应用于如汽车导航系统 的车载装备的具体实例。当输入装置象车载装备和小型信息装备一样受到 限制时，能够通过手势来输入信息的操作系统可显著改善用户便利性。
发明内容
然而，用户必须记住与用于输入手势的各种操作相关联的预定手势。 因此，若手势的形状复杂，则用户难以正确地记住该手势的形状。此夕卜， 若手势的形状复杂，则手势形状的识别精确度将会降低。因此，若手势的 形状复杂，则对所输入手势的错误辨别的可能性将会增大，由此导致用户 的使用频率降低。因此，经常使用简单的手势形状。然而，若使用简单形 状的手势，则可使用的手势类型的数量将受到限制。
鉴于上述问题做出本发明，期望提供一种新颖且改进的信息处理设 备，其使得即使在用户不能正确地记住形状复杂的手势形状的情况下也能 够输入这些手势。此外，还提供一种用于显示辅助信息的方法。
为解决上述问题,根据本发明的一个实施例，提供一种信息处理i殳备， 其包括方向检测单元，用于在输入手势时，检测在手势输入过程中所绘 制的轨迹的绘制方向；手势搜索单元，用于从多个预定手势中搜索与所述 方向检测单元检测到的轨迹的绘制方向相匹配的手势；以及辅助信息显示 单元，用于在每次所述方向检测单元检测到轨迹的绘制方向时，将所述手 势搜索单元的搜索结果作为辅助信息显示在屏幕上。
由此，在输入手势时，所述信息处理设备通过方向检测单元来险测在 手势输入过程中绘制的轨迹的方向。所述信息处理设备还通过手势搜索单
的手势。进一步，在每次方向检测单元检测到轨迹的方向时，所述信息处 理设备通过辅助信息显示单元将手势搜索单元的搜索结果作为辅助信息 显示在屏幕上。
所述辅助信息显示单元可被配置为将通过所述手势搜索单元的搜索 而^l取的预定手势的完整图片显示为辅助信息。
所述手势搜索单元可被配置为从与屏幕中的显示信息相关的应用程 序所关联的预定手势中搜索与所述轨迹的绘制方向相匹配的手势。
所述信息处理设备可进一步包括应用程序激活单元，用于在由所述 辅助信息显示单元所显示的预定手势的完整图片被选择时激活与所述预 定手势相关联的应用程序。
所述辅助信息显示单元可被配置为仅将通过手势搜索单元的搜索而 提取的预定手势的完整图片中继所述轨迹的尾边沿之后的部分轨迹显示 为辅助信息。所述辅助信息显示单元可被配置为通过与被显示为辅助信息的部分
应用程序有关的信息显示为辅助信息。
为解决上述问题，根据本发明的另一实施例，提供一种用于显示辅助
信息的方法，其包括以下步骤在输入手势时，检测在手势输入过程中所 绘制的轨迹的绘制方向；从多个预定手势中搜索与通过方向检测步取险测 到的所述轨迹的绘制方向相匹配的手势；以及在每次通过方向检测步^r 测到轨迹的绘制方向时，将所述手势搜索步骤的搜索结果作为辅助信息显 示在屏幕上。
为解决上述问题，根据本发明的另一实施例，提供一种使计算机能够 实现所述信息处理设备具有的功能的程序。此外，可提供一种记录有所述 程序的记录介质。
根据本发明的上述实施例，即使用户在不能正确地记住形状复杂的手 势形状的情况下也能够输入这些手势。因此，可期待改i^t输入手势的识 别精确度。
图1为说明性视图，示出了鼠标手势的输入屏幕实例；
图2为说明性视图，示出了手势的设置实例；
图3为说明性视图，示出了根据本发明实施例的辅助信息的显示实
例；
图4为说明性视图，示出了根据本实施例的手势输入实例； 图5为说明性视图，示出了根据本实施例的手势列表实例； 图6为说明性视图，示出了根据本实施例的手势输入实例； 图7为说明性视图，示出了根据本实施例的手势列表实例； 图8为说明性视图，示出了根据本实施例的信息处理设备的功能配
置；
图9为说明性视图，示出了根据本实施例的对辅助信息的显示处理流
程；
图IO为说明性视图，示出了根据本实施例的信息处理设备的操作；以及
图11为i兌明性视图，示出了根据本实施例的信息处理设备的硬件配 置实例。
具体实施例方式
下文将参照附图详细描述本发明的优选实施例。应注意，在本i兌明书
和附图中，将以相同的附图标记;M^示具有大体上相同功能和结构的结构 元件，并且将省略对这些结构元件的重复i兌明。
[描述的流程
这里，将简要提及对下文所描述的本发明实施例进行描述的流程。首 先，将通过引用具体实例，参照图l和图2来描iiit过普通鼠标手势的用 户操作以及使手势与功能相关联的技术。在其描述中，将描述本发明实施 例的意图。其次，将通过引用具体实例，参照图3至图7来描述才艮据本实 施例的用于显示辅助信息的方法。在其描述中，还将具体描述手势的识别 方法。
之后，将参照图8来描述根据本实施例的信息处理设备100的功能配 置。此外，将参照图9来描述通过信息处理设备100实现的所述用于显示 辅助信息的方法的处理流程。之后，将参照图IO来描述，本实施例的 信息处理设备100的具体操作。然后，将简要i4^述本实施例的技术配置， 并且将描述通过该技术配置实现的操作效果。最后，将参照图ll描述根 据本实施例的信息处理设备IOO的硬件配置实例。
[目的
在开始描述本发明的实施例之前，将参照图1和图2来简要地描述与
手势输/M目关的用户操作以及使手势与功能相关联的技术。图1为说明性 视图，示出了根据鼠标手势的具体用户操作。图2为说明性视图，示出了 用于使手势与功能相关联的手势设置屏幕。
首先，将参照图l。在图1中，显示了一些应用程序的执行屏幕，并 显示了通过鼠标手势在执行屏幕中绘制的轨迹。还如图l所示，许多应用 程序具有被提供于执行屏幕中的显示菜单。在图l所示的实例中，"文件 (F)"、"编辑(E)"、"视图(V)"、"书签(B)"和"帮助(H)"是显示 菜单。此外，此应用程序具有用于基于历史而后退到先前显示或前进的按钮，在执行屏幕中提供有用于停止读取显示内容的按钮、用于显示预定显
示内容的^L等。
通过诸如鼠标和键盘等的输入装置来选择这些显示菜单和掩組。例 如，若将鼠标光标置于显示为"文件(F)"的位置并按下鼠标掩組，则在 执行屏幕中显示与"文件(F)"相关联的显示内容。若"文件(F)"是 分层显示菜单，则显示分层体系中较低层的显示菜单。还可通过使用快捷 键从M执行此操作。例如，快捷键(F)与"文件(F)"相关联，由此 通过按下预定的元键和"F"键，可执行与显示菜单相关联的操作。
此外，用户还可使用鼠标手势来执行上述操作。在这种情况下，用户 通过操作鼠标在执行屏幕中绘制预定的形状以实现与该形状相关联的操 作。例如，若鼠标光标向左移动，则实现基于历史使显示内容后退到先前 显示的^Mt。如图2所示，预先设定在通过鼠标光标绘制的轨迹的形状与 操作内R间的对应关系。图2示出了设置内容的一个实例，所述设置内 容示出了手势与操作内容(功能)之间的对应关系。
在图2所示的实例中，"按历史后退"功能与使鼠标光标向左移动的 手势相关联。"按历史前进"功能与使鼠标光标向右移动的手势相关联。 此外，"重读文档"功能与使鼠标光标向上且随后向下移动的手势相关联。 以此方式，通过组合多个移动方向来定义各种手势的形状。例如对于"复 制标签(duplicatetab)"功能，将象"向下-向上-向下"这样的三个方向 的移动方向定义为手势形状。
，通过以此方式组合多个移动方向来定义手势，可定义多种功能.因 此，可以仅通过鼠标手势使用户实现多种操作，由此提高用户4更利性。另
一方面，用户更加难以正确地记住手势，因为要^ia合的移动方向的变化
(方向的数目)增加，并且移动方向的组合的数目(输入步骤的数目)也 增加。此外，随着手势的形状变得越来越复杂，对形状进行识别时的识别 精确度降低。
对于包括象例如图1中所示的轨迹一样的沿倾斜方向移动的手势，可 包含这样的部分，在该部分处难以确定用户是打算沿倾斜方向移动还是沿 竖直方向移动。若手势包含大量操作步骤，则出现对仅仅一个操作步骤的 错误识别即可使用户想要的功能的实现无效。为避免此问题，必须使用户 正确地输入手势的形状。因此，本发明的发明人设计出一种有效地呈现辅 助信息使得用户能够正确地输入手势形状的技术。使用该技术，无论形状的复杂性如何，均可正确地输入手势，使得现 在可使用过去基本上不能使用的复杂手势。因此，通过手势输入可实现大
量的功能。此外，对于其输入装置受到P艮制的电子i殳备，可还预期能够安 装多种功能的效果，而在过去这些功能的使用由于输入操作的困难性而受 到限制。下文描述的实施例主要旨在提供能够享有这些效果的呈现辅助信 息的技术。
<实施例>
下文将描述本发明的实施例。本实施例涉及用于向用户呈现与手势输 A^目关的辅助信息的技术。与通过使用户参考手势列表而帮助输入操作的
技^f目比，；Mt术可在用户执行输入操作的过程中相继显示辅助信息。因 此，用户可免于从列表中搜索期望的手势以及事先记住手势的整个形状的 负担。此外，无需用于显示列表的显示空间，使得;^t术还适用于屏幕尺 寸较小的电子i更备。
[用于显示辅助信息的方法
首先，将描述^m据本实施例的用于显示辅助信息的方法。这里，将通 过举例说明两种体现本实施例的技术思想的显示模式来描述该显示方法。
一种显示模式显示在手势输入过程中成为候选者的手势的整个形状。另一 种显示模式显示在手势输入过程中成为候选者的手势的部分形状(下一操 作步骤)。然而，本实施例的技术范围并非局限于这些实例。
(显示整个形状的配置)
首先，将参照图3来描述将手势输入过程中成为候选者的手势的整个 形状显示为辅助信息的显示配置。图3为说明性图示，示出了才艮据本实施 例的用于显示辅助信息的方法的实例。
在图3所示的实例中，在向其中输入手势的手势输入屏幕中显示地 图。所述手势输入屏幕由触控面板等构成，且被配置为使得通过用户使用 手指等进行描绘而在屏幕上绘制手势的轨迹。然而，用户输入手势的位置 是任意的。应注意，尽管表示为"手势输入屏幕"，但是并非是指用于输 入手势的专用屏幕，而是指输入手势时的显示屏。
如图3所示，当用户输入手势时，在手势输入屏幕中显示由用户的手 指等描绘的轨迹。此时，对手指等的移动方向进行检测，并搜索被显示为 辅助信息的候选手势。从被相继检测到的手指等的位置变化来计算移动方 向。此外，从多个预先设置的移动方向中选择与从位置变化的方向计算出的移动方向最接近的。此时，检测从位置变化计算出的移动方向的角度信 息，并依据该角度信息选择预定的移动方向。
通过以此方式选《^移动方向，在输入一个手势时可检测到多个移动方 向。即，对有关与移动方向的变化次数一样多的移动方向的信息进行累计。 这里，与移动方向有关的信息包括与检测和选择的顺序有关的信息。因此， 可基于与移动方向和顺序的组合有关的信息来搜索候选手势。手势的形状
是通itia合多个预置的方向向量来形成的。因此，通过查询形成手势的方 向向量相对于移动方向的方向来执行上述搜索。
考虑例如图4中所示的以下情形，其中输入包括六个^Ht步骤的手 势，^M目继地险测和选择移动方向。此处，！^作步骤是指移动方向改变之 前的一个移动片断。图4中的实例示出了与第一向上、第二向右上、第三 向右、第四向右下、第五向下以及第六向上移动的轨迹有关的信息。因此， 将与各个操作步骤中的移动方向和顺序有关的信息检测为与移动方向的
变化有关的信息。
对照如图5中所示的预置的手势信息(下文称为库)来查询以此方式 检测到的信息，以便搜索要作为候选者的手势。在图5所示的实例中，示 出了由四个手势组成的库。可清晰看出，例如，顶行示出的手势由对应于 五个^作步骤的方向向量来定义。当轨迹第一向上、第二向右上、第三向 右、第四向右下以及第五向下移动时选择该手势。
类似地，从所述库的顶部起第二行中的手势由对应于10个操作步骤 的方向向量来定义。从顶部起第三行中的手势由对应于八个操作步骤的方 向向量来定义。此外，从顶部起第四行中的手势由对应于11个操作步骤
的方向向量来定义。然而，构成这些手势的方向向量一直到第五^Mt步骤
都是共用的。因此，在直到第五操作步骤的这些移动方向都是如图4所示 的手势输入信息的输入的情况下，提取这四个手势作为候选。
如果，例如如图3所示，在第一操作步骤中向手势输入屏幕中输入"向 上移动"的信息，则在库中搜索与该移动方向的信息相匹配的手势，并提 取四个手势作为候选。通过排列这些提取的手势使得以各个手势的整个形 状被示出的方式来显示这些提取的手势，如图3 (候选者显示屏)所示。 应注意，尽管被表示为"候选者显示屏"，但是并非是指用于显示候选手 势的专用屏，而是指显示候选手势时的显示屏。
在图3所示的实例中，从库中顶部起第一行中的手势被显示为候选B。类似地，从库中顶部起第二行中的手势被显示为候选c，从库中顶部起第
三行中的手势被显示为候选A，而从库中顶部起第四行中的手势被显示为 候选D。当用户输入下一操作步骤时，这些候选A至D^示为参考信 息。当然，可将这些候选A至D显示为可选区域，使得在被用户触碰时， 实现对应于该手势的功能。
图3中的实例示出了输入第一操作步骤时的候选者显示屏的显示配 置，随着操作步骤的继续进行，所显示的候选手势缩减。例如，当按照图 4所示的移动方向的变化到达第六^Mt步骤时，图5所示的从库中顶部起 第一行中的手势被排除在候选之外，因为该手势不具有第六方向向量。当 输入信息"向右上移动"作为第七操作步驟时，候选者被限制为从库中顶 部起第二行中的手势。
每次以此方式缩减手势时，候选者显示屏被进行更新，并且只显示与 输入轨^目适合的手势。在上述缩减搜索中，可考虑在手势输入屏幕中显 示的内容。如果，例如如图3所示，在手势输入屏幕中显示地图信息，则 可从对应于与该地图信息相关的功能的手势中选择对应于输入轨迹的手 势。
在此情况下，如果，例如显示地图信息，则提取与地图的缩放功能、 路线信息的显示功能、交通信息的显示功能、气象信息的显示功能、路线 搜索应用程序的激活功能等相关联的手势。自然地，可提取对应于与显示 内容无关的应用程序或显示信息的手势。类似地，要被搜索的手势库可才艮 据时间信息、位置信息等发生变化。
使用根据用户输入的手势以此方式实时呈现的辅助信息，用户不必正 确地记住手势的形状和输入顺序。此外，候选手势自动缩减，由此用户可 容易地找到期望的手势。此外，若在输入期间显示有期望的手势，则可通 过选择所述手势来减少操作步骤的数目，从而可更快地实现预期的功能。
由此，自然可减轻与手势输A^目关的用户负担，并且可减小由于不可 靠的记忆导致的错误识别的可能性，使得能够定义包括多个方向的形状复 杂的手势。此外，分配给手势的功能的数目增加，并且能够以更易于从中 回忆功能或IMt结果的形状来定义手势。因此，用户可更容易地识别出功 能或操作结果与手势之间的对应关系，由此可改进对与期望的功能对应的 手势的搜索效率。
例如，通过^仿字母"P"来定义图3所示的候选A的手势。因此，
10若使候选A的手势与"显示附近停车区(停车场)"的功能相关联，则用 户将能够从该手势的形状容易地回忆起操作结果。类似地，通过模仿希腊 字符"P"来定义候选D的手势。因此，若使候选D的手势与"激活浏览 器"的功能相关联，则用户将能够从该手势的形状容易地回忆起^Mt结果。
若用户能够以此方式容易地回忆起操作结果，则用户将能够选择期望 的手势，而无需通过字符为各个候选手势显示操作结果，并且所述显示区 域可更有效地用于省略字符显示的一部分。此外，在能够从手势的形状回 忆起操作结果的情况下，即使以按比例缩小的方式显示该手势，也可容易 地识别出与该手势相关联的功能或操作结果。尽管图3示出了其中候选手 势被排列为填满屏幕的配置实例，然而当通过按比例缩小的方式在屏幕的 一部分显示候选手势时，也能够实现上述效果。
上文已描述了其中将在手势的输入过程中作为候选者的手势的整个 形状显示为辅助信息的显示配置。^IL据该显示配置，基于用户输入手势过 程中的移动方向的信息来缩减候选手势，并且将其整个形状作为辅助信息 相继地呈现给用户。通过此配置，用户可免于正确地记住大量形状复杂的 手势的负担。此夕卜，通过选择经缩减的候选，用户可快速调用预期的功能。
(显示部分形状的配置)
其次，将参照图6来描述将在手势输入过程中作为候选者的手势的部 分形状(下一^Mt步骤)显示为辅助信息的显示配置。图6为i兌明性图示， 其举例iJL明了才艮据本实施例的用于显示辅助信息的方法。与图3所示的显 示手势的整个形状的配置相比，本实例在显示输入轨i^之后具有所述下一 操作步骤。
图6示出了输入手势的手势输入屏幕。与图3类似，所述手势输入屏 幕由触控面板等构成，且被配置为使得通过用户使用手指等进行描绘在屏 幕上绘制手势的轨迹。然而，用户输入手势的位置是任意的。应注意，尽 管表示为"手势输入屏"，但是并非是指用于输入手势的专用屏幕，而是 指输入手势时的显示屏。
如图6所示，当用户输入手势时，在手势输入屏幕中显示通过用户手 指等描绘的轨迹。此时，检测手指等的移动方向，并搜索被显示为辅助信 息的候选手势。
所述移动方向的检测方法和搜索^(矣选手势的方法与图3中的实例相 同。然而，对于作为搜索结果而获得的候选手势，不是在手势输入屏幕中显示其整个形状，而是仅显示下一操作步骤的形状。除了下一操作步骤的
形状之外，可通过按比例缩小来显示手势的整个形状，或者可显示^Ht结 果的信息。
图6示出了一个实例，其中在输入信息"向左下方移动"之后，将对 应于"激活音乐^^t器"功能的手势和对应于"显示天气预^L"功能的手 势提取为辅助信息。
此时，将用于示出下一移动方向的箭头显示为一条辅助信息。即，将 通过沿此处显示的箭头方向继续进行输入操作来调用对应于该箭头的功 能。在图6中，显示了右箭头和左箭头。这些箭头显示基于轨迹的移动方 向而缩减的手势的下一^Mt步骤。因此，若呈现包括下一操作步骤"向下 移动"的候选手势，则显示向下箭头。
由此，在其中只显示手势的一部分的显示配置中，用户难以识别手势 与功能或操作结果之间的对应关系。因此，将与功能或操作结果有关的信 息在使得与所述下一操作步骤的对应关系可理解的位置处显示为辅助信 息。这里，例如，将示出功能内容的字符信息显示为与功能或^Mt结果有 关的信息。在图6所示的实例中，将信息[激活音乐播放器l和[显示天气预 净艮显示为字符信息。例如，可通过按比例缩小来显示手势的整个形状作 为与功能或^Mt结果有关的信息。
类似于图3中说明和描述的示出手势的整个形状的显示配置，若以使
得用户能够从手势的形状回忆起^Mt结果等的这一方式进行定义，则从其 整个形状能够容易地识别通过继续进行下一个和随后的操作步骤而实现 的^Mt结果等。在图6所示的实例中，例如，将对应于[激活音乐^Ni器
的手势的整个形状定义为模仿音符的形状。将对应于显示天气预报的手
势的整个形状定义为^^r伞的形状。通过采用这样的显示配置，用户将能
够容易地确定期望的操作步骤。
在图6所示的实例中，针对一个箭头显示对应于一个候选手势的辅助 信息。然而，若出现多个候选手势，则显示对应于各个候选手势的辅助信 息。在这种情况下，针对一个箭头，可显示多个减少后的候选手势的完整
形状，或可显示指示IMt结果、功能等的多条线。在这种情况下，随着操
作步骤的进行和每次辅助信息条数的减小，候选手势被缩减。因此，随着 用户绘制出手势的完整图片，辅助信息将减少，且最终实现对应于期望手 势的功能或操作的调用。假设，例如定义了如图7所示的手势库。在这种情况下，若在第一操 作步骤中输入"向左下方移动"的轨迹，则在手势输入屏幕中显示对应于 第二方向向量的箭头。在图7所示的库的情况下，从顶部起第一行中的手 势的第二方向向量显示向左。另一方面，从顶部起第二行中的手势的第二 方向向量显示向右。因此，如图6所示，将右箭头和左箭头在手势输入屏 幕中显示为辅助信息。
若在第二操作步骤中输入轨迹"向右移动"的轨迹，则候选限制为从 库中顶部起第二行中的手势，因为该输入轨迹与从库中顶部起第一行中的 手势的第二方向向量不匹配。因此，当在第二操作步骤中输入"向右移动"
的轨迹时，则调用用以[显示天气预才艮I的功能，且例如在屏幕上显示天气 预报信息。顺便提及，用户可选择在第一操作步骤中显示的辅助信息，以 便可实现对应于该辅助信息的功能或操作。
上文已描述了其中将在手势输入过程中要作为候选者的手势的部分 形^M目继显示为辅助信息的显示配置。才艮据该显示配置，基于用户输入手 势过程中的移动方向的信息来缩减候选手势，并且将其部分形状作为辅助 信息相继呈现给用户。通过此配置，用户可免于正确地记住大量的形状复 杂的手势的负担。此外，通过选择经缩减的候选手势，用户可快速调用期 望的功能。此外，与图3中的实例相比，使用较小的屏幕区域来显示辅助 信息，从而可减少屏幕显示的复杂性，并且还可更有效地使用整个屏幕。
[信息处理设备100的功能配置
接下来，将参照图8描述能够实现上述各个显示配置的信息处理设备 IOO的功能配置。图8为说明性图示，示出了根据本实施例的信息处理设 备100的功能配置。通过例如移动信息终端、移动电话、移动游戏机、广 播设备、PC、汽车导航系统、信息家用设备等来实现信息处理设备100 的功能。之后将参照图U详细描述信息处理设备100的硬件配置实例。
如图8所示，信息处理设备100主要包括显示输入单元102、方向 检测单元104、手势搜索单元106、存储单元108、辅助信息显示单元110、 显示控制单元112和应用程序激活单元114。
在图ll所示的硬件配置中，方向检测单元104的功能由CPU卯2基 于记录在ROM 904、 RAM卯6、存储单元920或可拆卸记录^h质928中 的程序来实现。手势搜索单元106、辅助信息显示单元110、显示控制单 元112和应用程序激活单元114的功能以类似的方式实现。此外，通过例200910151855.3
如RAM 906、存储单元920或可拆卸记录介质928的功能来实现存储单 元108的功能。另外，例如，通过组合输入单元916和输出单元918的功 能来实现显示输入单元102的功能。
(显示输入单元102 )
显示输入单元102由显示单元132和输入位置检测单元134构成。显 示输入单元102的功能例如通过触控面板来实现。在此情况下，显示单元 132的功能和输入位置检测单元134的功能均通过触控面板来实现。还可 通过组合显示器和触控垫来实现显示输入单元102的功能。在此情况下， 通过显示器来实现显示单元132的功能，而通过触控垫来实现输入位置检 测单元134的功能。然而，本实施例并非局限于这些实例。
在显示单元132中显示各种信息。例如，在显示单元132中显示地图 信息、交通信息、视频和广播节目的节目信息、应用程序的激活屏、游戏 的执行屏以及动态图像和静态图像的显示屏。此外，还在显示单元132
中显示用户输入的手势的轨迹以及与基于所述轨迹搜索的候选手势有关 的信息。将手势的整个形状(图3 )、箭头、缩减的候选手势的整个形状、 功能或IMt结果的字符信息(图6)等显示为与在显示单元132中所显示 的候选手势有关的信息。通过显示控制单元112来控制这些显示内容。
当用户输入手势时，输入位置检测单元134检测输入位置的信息。例 如，若显示输入单元102为触控面板，则输入位置检测单元134检测由用 户手指等在显示单元132的屏幕上经过的位置。另一方面，若显示输入单 元102被构成为显示器和触控垫的组合，则输入位置检测单元134检测由 用户手指等在触控垫上经过的位置。输入位置检测单元134还可被构成为
用于检测通过鼠标绘制的轨迹的位置信息的装置。将输入位置检测单元 134以此方式检测到的关于输入位置的信息输入到方向检测单元104和应 用程序激活单元U4。
(方向检测单元104)
基于从输入位置检测单元134输入的关于输入位置的信息，方向检测 单元104检测用户输入的移动方向。例如，方向检测单元104计算在连接 多个输入位置的线与预定参考方向之间形成的角度。此时，若输入位置移 动预定的距离，则方向检测单元104计算在连接移动前和移动后的输入位 置的线与参考方向之间形成的角度。必要时，根据手势输入屏幕的屏幕尺 寸、在库中注册的手势形状的复杂性等来^L置所述预定的距离。将与以此
14方式计算的角度有关的信息作为示出用户输入的移动方向的方向信息输
入手势搜索单元106。例如，将与图4所示的示出移动方向的变化的角度 有关的信息输入手势搜索单元106。
(手势搜索单元106)
当从方向检测单元104输入示出用户输入的移动方向的方向信息时， 手势搜索单元106搜索与该方向信息相匹配的候选手势。此时，手势搜索 单元106参考记录在存储单元108中的手势信息并提取与该输入方向信息 相匹配的候选手势。存储单元108中记录有如图5或图7所示的库。在所 述库中，形成手势的方向向量的方向和输入顺序相关联以用于注册。
因此，手势搜索单元106相继地参考输入方向信息和在库中注册的各 个手势的方向向量以缩减候选手势。此时，每次针对一系列的手势输入而 输入方向信息时，手势搜索单元106缩减候选手势。即，获得对应于每个 操作步骤而缩减的候选手势作为搜索结果。所述搜索结果被输入辅助信息 显示单元110。
(辅助信息显示单元110 )
辅助信息显示单元110从存储羊元108中获得与从手势搜索单元106 输入的搜索结果对应的辅助信息，并将该辅助信息输入显示控制单元112。 除了所述库之外，存储单元108还具有与注册于其中所存储的库中的各个 手势对应的辅助信息。所述辅助信息包括，例如，示出手势的整个形状的 显示对象或经缩减的显示对象、示出方向向量的方向的箭头对象以及示出 每个手势的功能或^Mt结果的字符信息。
例如，在其中将手势的整个形状显示为辅助信息的显示模式中，如图 3所示，辅助信息显示单元110根据输入的搜索结果将示出手势的整个形 状的显示对象输入到显示控制单元112。另一方面，在其中将手势的部分 形状显示为辅助信息的显示模式中，如图6所示，辅助信息显示单元IIO 根据输入的搜索结果将显示方向向量的箭头对象输入到显示控制单元 112。此时，辅助信息显示单元IIO可被配置为将示出手势的整个形状的 经缩减的显示对象和示出手势的功能或操作结果的字符信息输入显示控 制单元112。
(显示控制单元112)
显示控制单元112为用于执行控制使得在显示单元132中显示任何信 息的装置。例如，显示控制单元112控制显示单元132，使得显示从辅助信息显示单元110输入的辅助信息。显示控制单元112还4吏得显示单元 132显示如图3所示的应用程序的激活屏幕或输入手势的轨迹。此外，显 示控制单元112使显示单元132在显示单元132的屏幕上显示弹出式窗口 或分割该屏幕中的显示区域。
(应用程序激活单元114)
当用户选择显示于显示单元132中的候选手势等时，应用程序激活单 元114激活对应于该手势的应用程序。例如，若选择显示于图3中的候选 者显示屏中的候选A，则应用程序激活单元114从存储单元108中读取"显 示停车区"的应用程序，并激活该应用程序。接着，应用程序激活单元 114将与所述应用程序的激活屏幕有关的信息输入显示控制单元112。
例如，如图10所示，该应用程序包括用于发送和接收电子邮件的邮 件发送器A12以及用于查看主页的网络浏览器A14。此外，存储单元108 可存储情景模式设置应用程序A16以设置情景模式，以及照相机应用程 序A18以提供照相机功能。此外，存储单元108可存储帮助搜索应用程 序A20以搜索帮助信息，以及天气预H显示应用程序A22以显示天气预 报。此外，存储单元108可存储TV广播应用程序A24以接收和显示TV 广播，以及音乐^Mt器A26。
这些应用程序与注册于库中的各个手势相关联,且应用程序激活单元 114激活与用户所选的手势对应的应用程序。此时，应用程序激活单元114 通it^储单元108中读取应用程序的可执行文件和用于激活应用程序 的数据来激活该应用程序。在被显示于显示单元132之前，将被激活的应 用程序的屏幕信息输入到显示控制单元112中。应注意，上述描述中使用 了 "应用程序"的表述，然而本文中的"应用程序"是指用于向用户提 供信息的任何信息模式。
上文已描述了才艮据本实施例的信息处理该:备100的功能配置。如上所
的方向信息，信息处理设备100具有实时地提供与方向信息相适应的辅助 信息的功能。向用户提供的辅助信息包括显示于各个操作步骤中的候选手 势的全部形状或部分形状以及与各个候选手势相关联的功能或操作结果。
因此，在手势输入过程中，用户可相继地参考辅助信息，由此用户不 必正确地记住手势的形状。因此，即使要被注册的手势被定义为复杂的形 状，用户也能够以相对较高的精确度输入该手势，使得可减少对手势的错误辨别。因为可实现这样的效果，所以相反地，可定义形状复杂的手势。 因此，通过手势可定义大量的操作，使得可显著改善其中输入装置受到限 制的电子设备中的用户的可操作性。
[对辅助信息的显示处理的流程I
其次，将参照图9来描述与根据本实施例的用于显示辅助信息的方法 相关的显示处理所涉及的一系列流程。图9为说明性图示，示出了^L据本 实施例的用于显示辅助信息的方法。通过上述信息处理设备100所具有的 功能来实现本文所示的一系列的处理。
如图9所示，首先，从输入手势的轨迹获得关于移动方向的信息 (S102)。其次，对照库中的信息来查询所获得的关于移动方向的信息 (S104)。此处，所述库中的信息为与沿注册于该库中的各个手势的各个 顺序的方向向量有关的信息。其次，确定所获得的关于移动方向的信息是 否与所述库中的信息相匹配(S106)。若确定所获得的信息与所述库中的 信息相匹配，则处理进行到步骤S108。若确定所获得的信息与所述库中 的信息不匹配，则处理进行到步骤SllO。
在步骤S108中，显示与在步骤S106中确定的用以匹配的手势相对 应的辅助信息(S108)。若多个手势与所获得的关于移动方向的信息相匹 配且将它们提取为候选，则将这些候选者的全部或部分显示为辅助信息。 接着，在根据用于显示辅助信息的方法的一系列处理终止之前，更新屏幕 显示(S110 )。
[具体实例
在本文中，将参照图10来示出在通过使用信息处理设备100的功能 来应用用于显示上述辅助信息的方法时实现的具体实例。图10为祁*据本
实施例的信息处理设备ioo的IMt的i兌明性图示。
在图10中，示出了其中可显示任何信息以及各种应用程序A12、A14、 A16、 A18、 A20、 A22、 A24和A26的手势输入屏幕AIO。对于每个应用 程序，示出了相关联的各个手势J12、 J14、 J16、 J18、 J20、 J22、 J24和 J26。图10中的实例示出了其中在某一任意应用程序A10活动的同时用 户激活另一应用程序的情形。所述任意应用程序A10为图IO所示的应用 程序之一或任何其它应用程序。
近年来，电子设备中安装了多种多样的应用程序。我们具有这样的印 象，即邮件发送器A12、网络浏览器A14、照相机A18、 TV播放A24以及音乐播放器A26已成为必要的功能。然而，若在一个应用程序活动的 同时尝试激活另一应用程序，则提示用户在激活另一应用程序之前，终止 该活动的应用程序。例如，若在写邮件的同时想要查询明天的天气，则用 户必须通过M未完成的邮件来终止邮件发送器A12,随后激活天气预报
在具有较大显示屏幕的PC中，通过保持显示于屏幕上的多个窗口 ， 可容易地切换和使用多个应用程序。然而，若屏幕上只能显示一个或很少
的应用程序，则应用程序之间的移动^Nt将成为用户的严重负担。然而， 使用本实施例中的技术，只要通过从任何应用程序的屏幕上输入一个手 势，即可激活期望的应用程序。此外，当应当恢复初始显示时，用户只要 通过输入一个手势即可完成。
如果使用本实施例中的技术，则即使手势的形状较为复杂，也4艮少出 现错误辨别，由此可定义手势的形状使得用户能够容易地回忆起各个应用 程序的功能或操作结果。因此，通过直觉的操作即可切换到期望的应用程 序，这可减少^Mt过程，并因此可实现高速的应用程序切换处理。
例如，如图io所示，形状类似于"@"标记的手势J12与邮件发送 器A12相关联。形状类似于"P"和"www"的手势J14与网络浏览器 A14相关联。类似地，心形标记J16与情景模式设置A16相关联，形状 类似于"a"和"c"的手势J18与照相机A18相关联，而形状类似于"？" 的手势J20与帮助搜索A20相关联。此外，伞形标记J22与天气预报A22 相关联，形状类似于"8"的手势J24与TV广播相关联，而音符标记J26 与音乐播放器A26相关联。
尽管图IO所示的内容只是一个实例，然而由此用户可通过暗示可定 义的应用程序的手势的形状而免于正确地记住手势的负担，从而可方便地 使用手势。通过源于根据本实施例的辅助信息的显示技术而实现对复杂形 状的手势的辨别精确度的改善，可获得此便利性的改进效果。因此，本实 施例减少了用户负担，由此可提供对用户高度便利的操作系统，并且还能 够实现形状复杂的手势在诸多场景中的使用。
[信息处理设备100的硬件配置
使用可实现上述功能的计算^^呈序，例如，通过图11中所示的硬件 配置，可实现信息处理设备100所具有的各个组件的功能。图ll为说明 性图示，示出了能够实现信息处理设备100的各个组件的功能的硬件配置。信息处理设备IOO的形式是任意的，例如，其中包M如个人计算机、
移动电话、PHS (个人手持式电话系统)和PDA (个人数字助理)的移 动信息终端的形式，以及游戏机和各种信息家用设备的形式。
如图11所示，所述信息处理设备主要包括CPU(中央处理器)902、 ROM (只读存储器)904、 RAM (随M取存储器)卯6、主机总线卯8、 桥接器910、外部总线912、接口 914、输入单元916、输出单元918、存 储单元920、驱动器922、连接端口 924和通信单元926。
CPU 902用作算术处理单元或控制单元，并且基于记录在ROM 904、 RAM卯6、存储单元920或可拆卸记录^h质928上的各种程序来控制组成 元件的整个操作或这些组成元件的一些操作。ROM904存储例如加载在 CPU卯2上的程序，或者用于算^算中的数据等。RAM卯6临时或永久 存储例如载入CPU卯2的程序或在程序的执行过程中任意变化的各种参 数等。这些组成元件通过例如可执行高速数据传输的主机总线908彼此连 接。例如，主机总线908连接到外部总线912;在外部总线912中，通过 桥接器910的数据传输速度相对较低。
输入单元916例如为操作单元，例如鼠标、键盘、触控面板、掩纽、 开关或杆。输入单元916可为远程控制单元(所谓的遥控器)，其可通过 使用红外线或其它无线电波来发送控制信号。输入单元916包括输入控制 电路等，用以通过输入信号向CPU卯2发送使用操作单元输入的信息。
输出单元918为能够在视觉或听觉上向用户通知已获得的信息的设 备，例如显示设备(诸如CRT (阴极射线管))、LCD(液晶显示器)、 PDP (等离子体显示板)或ELD (电发光显示器)、音频输出设备(例如 扬声器或耳机)、打印机、移动电话或者传真机。
存储单元920为用于存储各种数据的设备，且包括，例如硬盘驱动器 (HDD)等的磁存储设备、半导体存储设备、光学存储设备或磁光存储 设备等。
驱动器922为可读取记录在如>^盘、光盘、磁光盘或半导体存储器等 的可拆卸记录介质928上的信息并向可拆卸记录介质928中写入信息的i更 备。可拆卸记录介质928是例如DVD介质、蓝光介质、HD-DVD介质、 紧凑式闪存器(CF; CompactFlash)(注册商标)、记忆棒或SD记忆卡(安 全数字记忆卡)等。当然，可拆卸记录介质928可以是，例如，其上安装 有非接触式IC芯片的IC卡(集成电路卡)、电子设备等。
19连接端口 924为诸如USB (通用串行总线)端口 、 IEEE1394端口 、 SCSI (小型计算机系统接口 )、 RS-232C端口的端口，或者连接有外部连 接设备930的光学声频终端。外部连接设备930例如为打印机、移动音乐 播放器、数字照相机、数字摄^^L和IC记录器等。
通信单元926是要连接到网络932的通信设备。例如，可使用用于有 线或无线LAN (局域网)的通信卡、蓝牙(注册商标)或WUSB (无线 USB)、光学通信路由器、ADSL(非对称数字用户线)路由器、各种通信 调制调解器等。连接到通信单元926的网络932包括有线或无线连接的网 络。例如，可使用Internet,家用LAN、红外通信、广播、卫星通信等。
[概述
最后，将简要地概述本实施例中的信息处理该:备所具有的功能配置以 及通过所述功能配置实现的操作效果。本实施例中的信息处理设备所具有 的功能配置可表述如下。
例如，可通过包括方向检测单元、手势搜索单元和辅助信息显示单元 来构成所述信息处理设备。所述方向检测单元用于在输入手势时检测手势 输入过程中绘制的轨迹的绘制方向(或输入位置的移动方向)。所述手势 搜索单元用于从多个预定手势中搜索与所述方向检测单元检测到的轨迹 的绘制方向相匹配的手势。所述辅助信息显示单元用于在每次所述方向检
息显示在屏幕上。
通过上述配置，所述信息处理设备可使用方向检测单M用户输入的 手势的轨迹来险测移动方向，并使用手势搜索单元相继缩减与其移动方向 匹配的候选手势。此外，所述信息处理设备可使用辅助信息显示单元相继 地向用户提供与通过缩减搜索提取的候选手势对应的辅助信息。因此，用 户在参考在手势输入过程中相继显示的辅助信息的同时可正确地输入手势。
由于用户不必正确地记住手势的形状，因此可减轻用户的负担。此外， 可正确地输入手势，从而可提高手势的辨别精确度。于是，可定义形状复 杂的手势。由此，可定义用户从其形状能够容易地回忆起应用程序或显示 信息的手势。通过以上述方式定义手势，用户可容易地记住手势与操作结 果等之间的对应关系，得到平稳的手势输入，并可减少获得操作结果之前 的时间。所述辅助信息显示单元可被配置为将通过所述手势搜索单元的搜索 而^^取的所述预定手势的完整图片显示为辅助信息。如上述，由于能够通 过与应用程序功能、操作结果或显示内斜目关联来定义手势的形状，因此 仅通过将以上述方式定义的手势的完整图片显示为辅助信息，用户即可容 易地输入手势。若显示此辅助信息，则，首先，用户可容易地从手势的整 个形状来确定期望的手势。其次，从手势的整个形状，用户可容易地识别 移动的方向。因此，用户可即刻判断出接下来将^"入的方向。
所述手势搜索单元可被配置为从与相关于屏幕中的显示信息的应用 程序相关联的预定手势中搜索与轨迹的方向相匹配的手势。在大多数情况 下，用户希望激活与屏幕中所显示的内斜目关的应用程序。因此，优先从 与显示信息相关的应用程序所关联的手势中提取与输入轨迹的方向相匹
配的候选手势。通过此配置，用户将能够更快地获得期望的^Mt结果。
所述信息处理设备可进一步包括应用程序激活单元，其在由所述辅 助信息显示单元所显示的预定手势的完整图片被选择时激活与所述预定 手势相关联的应用程序。通过此配置，可从基于用户输入的轨迹方向而缩 减搜索的候选手势中选择期望的手势。如上述，由于能够以使得能够回忆 起^Mt结果等的方式来定义手势的形状，因此，在显示被缩减后显示的候 选手势之后，用户能够容易地找到期望的手势。此时，若所述信息处理i殳 4^被配置成能够通过用户激活应用程序，则用户将能够更快地获得期望的 操作结果。
所述辅助信息显示单元可被配置为仅将在通过所述手势搜索单元的
次和随后的移动方向)显示为辅助信息。例如，必须仅示出与用户接下来 要输入的操作步骤对应的移动方向，作为继所述轨迹的尾边沿之后的部分 轨迹。由于釆用了上述显示，即使用户没有正确地记住手势的形状，通过 跟船目继显示的辅助信息，用户仍然能够正确地输入手势。与显示手势的 整个形状的情况相比，可减少显示区域，使得即使在显示屏较小的情况下， 整个显示区域也可被有效地使用。
所述辅助信息显示单元可被配置为通过与所显示的作为辅助信息的 部分轨i^目关联，将与对应于通过手势搜索单元的搜索所提取的预定手势 的应用程序有关的信息显示为辅助信息。若仅将部分轨迹显示为辅助信 息，则优选地向用户呈现根据辅助信息获得的作为输入结果的操作结果 等。使用此配置，当从多个显示的部分轨迹中选#^对应于期望手势的部分轨迹时，用户可参考所显示的辅助信息。
本领域的技术人员应当理解，可以根据目前的设计和其他因素来进 行各种修改、组合、子组合以及变更，只要它们在所附权利要求及其等同 内容的范围内。
本申请包含与2008年7月1日提交日本专利局的日本优先权专利申 请JP2008-172407中所公开的主题相关的主题，这里通过引用结合其全部 内容。
权利要求
1.一种信息处理设备，包括方向检测单元，其在输入手势时，检测手势输入过程中绘制的轨迹的绘制方向；手势搜索单元，其从多个预定手势中搜索与由所述方向检测单元检测到的轨迹的绘制方向匹配的手势；以及辅助信息显示单元，其在每次所述方向检测单元检测到轨迹的绘制方向时，将所述手势搜索单元的搜索结果作为辅助信息显示在屏幕上。
2. 如权利要求1所述的信息处理设备，其中，所述辅助信息显示单 元将通过所述手势搜索单元的搜索而提取的所述预定手势的完整图片显 示为所述辅助信息。
3. 如权利要求2所述的信息处理设备，其中，所述手势搜索单元从 与屏幕中的显示信息相关的应用程序所关联的预定手势中搜索与所述轨 迹的绘制方向匹配的手势。
4. 如权利要求3所述的信息处理设备，进一步包括应用程序激活 单元，其在所述辅助信息显示单元所显示的预定手势的完整图片被选择 时，激活与所述预定手势相关联的应用程序。
5. 如权利要求1所述的信息处理设备，其中，所述辅助信息显示单 元将与由所述手势搜索单元在搜索处理中提取的预定手势对应的并且继 所述轨迹的尾边沿之后的绘制方向显示为所述辅助信息。
6. 如权利要求5所述的信息处理设备，其中，所述辅助信息显示单 元通过与继所述轨迹的尾边沿之后的所述绘制方向相关联来显示与对应 于由所述手势搜索单元在搜索处理中提取的预定手势的应用程序有关的
7. —种用于显示辅助信息的方法，包括以下步骤在输入手势时，检测手势输入过程中绘制的轨迹的绘制方向；从多个预定手势中搜索与通过方向检测步骤检测到的所述轨迹的绘 制方向相匹配的手势；以及在每次通过方向检测步舉险测到轨迹的绘制方向时，将所述手势搜索 步骤的搜索结果作为辅助信息显示在屏幕上。
全文摘要
提供了一种信息处理设备，包括方向检测单元，其在输入手势时，检测在手势输入过程中所绘制的轨迹的绘制方向；手势搜索单元，其从多个预定手势中搜索与由所述方向检测单元检测到的轨迹的绘制方向相匹配的手势；以及辅助信息显示单元，其在每次所述方向检测单元检测到轨迹的绘制方向时，将所述手势搜索单元的搜索结果作为辅助信息显示在屏幕上。
文档编号G06F3/048GK101620511SQ20091015185
公开日2010年1月6日 申请日期2009年7月1日 优先权日2008年7月1日
发明者宫下健, 松田晃一, 梨子田辰志, 池田哲男 申请人:索尼株式会社