显示控制装置、显示控制方法和计算机程序与流程

本公开内容涉及显示控制装置、显示控制方法和计算机程序。

背景技术：

存在如果用户的操作符合预定义图案(手势)，则根据该图案执行操作的技术。例如，专利文献1公开了用于当用户执行手势时根据使用他/她的手指、笔等绘制矩形或圆形的手势的大小来限定窗口的大小的技术。

引用列表

专利文献

专利文献1：jp2004-272835a

技术实现要素：

技术问题

根据用于识别手势并且执行与手势对应的操作的现有技术，用户使用的方向被限于显示器的正面和垂直向下的方向。因此，未考虑其他方向的使用。

因此，本公开内容提出了能够考虑用户的使用状态和意图来执行与手势对应的操作的新颖且改进的显示控制装置、显示控制方法和计算机程序。

问题的解决方案

根据本公开内容的一方面，提供了一种显示控制装置，该显示控制装置包括：确定单元，其根据针对显示表面已经执行的操作来确定手势的内容；以及效果决定单元，其决定与由确定单元确定的手势对应的具有与在显示表面上显示的对象的显示有关的限定方向的效果和成为该效果的目标的对象。

根据本公开内容的另一方面，提供了一种显示控制方法，该方法包括：通过处理器根据针对显示表面已经执行的操作来确定手势的内容；以及通过处理器决定与所确定的手势对应的具有与在显示表面上显示的对象的显示有关的限定方向的效果和成为该效果的目标的对象。

根据本公开内容的又一方面，提供了一种计算机程序，包括：使计算机根据针对显示表面已经执行的操作来确定手势的内容；以及使计算机决定与所确定的手势对应的具有与在显示表面上显示的对象的显示有关的限定方向的效果和成为该效果的目标的对象。

发明的有益效果

根据本公开内容，可以提供如上所述能够考虑用户的使用状态和意图来执行与手势对应的操作的新颖且改进的显示控制装置、显示控制方法和计算机程序。

注意，上述效果不一定是限制性的。具有或替代上述效果，可以实现本说明书中描述的效果中的任何一种效果或可以从本说明书中理解的其他效果。

附图说明

[图1]图1是示出根据本公开内容的实施方式的信息处理系统的配置示例的说明图。

[图2]图2是示出根据实施方式的信息处理系统的另一配置示例的图。

[图3]图3是示出根据实施方式的信息处理系统的另一配置示例的图。

[图4]图4是示出根据实施方式的信息处理系统的另一配置示例的图。

[图5]图5是示出根据实施方式的信息处理系统100的功能配置示例的说明图。

[图6]图6是示出手势定义累积单元210累积的信息的示例的说明图。

[图7a]图7a是示出使用手势检测单元220进行的手势检测方法的示例的说明图。

[图7b]图7b是示出使用手势检测单元220进行的手势检测方法的示例的说明图。

[图7c]图7c是示出使用手势检测单元220进行的手势检测方法的示例的说明图

[图7d]图7d是示出使用手势检测单元220进行的手势检测方法的示例的说明图

[图8a]图8a是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图8b]图8b是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图8c]图8c是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图8d]图8d是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图8e]图8e是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图8f]图8f是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图8g]图8g是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图8h]图8h是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制单条线的手势的状态的说明图。

[图9a]图9a是示出其中用户已经执行用他/她的手指中的两个手指在显示表面上绘制单条线的手势的状态的说明图。

[图9b]图9b是示出其中用户已经执行用他/她的手指中的两个手指在显示表面上绘制单条线的手势的状态的说明图。

[图10a]图10a是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制“l”形线的手势的状态的说明图。

[图10b]图10b是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制“l”形线的手势的状态的说明图。

[图11a]图11a是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制“l”形线的手势的状态的说明图。

[图11b]图11b是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制“l”形线的手势的状态的说明图。

[图12a]图12a是示出其中使用图案匹配检测手势的示例的说明图。

[图12b]图12b是示出其中使用图案匹配检测手势的示例的说明图。

[图13]图13是示出由目标分配单元240执行的手势分配处理的说明图。

[图14]图14是示出输出单元130输出的用户界面的示例的说明图。

[图15a]图15a是示出其中两个用户a和b二者在相似的时间在显示表面上绘制l形线的示例性情况的说明图。

[图15b]图15b是示出其中两个用户a和b二者在相似的时间在显示表面上绘制l形线的示例性情况的说明图。

[图15c]图15c是示出其中两个用户a和b二者在相似的时间在显示表面上绘制l形线的示例性情况的说明图。

[图16a]图16a是示出其中用户b正在触摸窗口的状态的说明图。

[图16b]图16b是示出其中两个用户a和b二者在相似的时间在显示表面上绘制l形线的示例性情况的说明图。

[图16c]图16c是示出使在执行手势之前触摸窗口的用户b的手势优先的示例的说明图。

[图17a]图17a是示出其中用户已经执行在显示表面上绘制l形线的手势的状态的说明图。

[图17b]图17b是示出其中显示表面上正在显示消息或者显示表面上轨迹正在振动的状态的说明图。

[图18a]图18a是示出其中用户已经执行在显示表面上绘制l形线的手势的状态的说明图。

[图18b]图18b是示出其中显示表面上正在显示消息的示例的说明图。

[图19a]图19a是示出其中当用户b正在对窗口进行操作时用户a已经执行绘制l形线的手势的状态的说明图。

[图19b]图19b是示出其中窗口移动的状态的说明图。

[图19c]图19c是示出其中显示表面上正在显示消息或者显示表面上轨迹正在振动的状态的说明图。

[图20a]图20a是示出其中用户已经在显示表面上绘制l形线的状态的说明图。

[图20b]图20b是示出其中绘制l形线的手势的效果已经被提供至窗口的状态的说明图。

[图21a]图21a是示出其中用户已经在显示表面上绘制l形线的状态的说明图。

[图21b]图21b是示出其中绘制l形线的手势的效果已经被提供至窗口的状态的说明图。

[图22a]图22a是示出其中用户已经在显示表面上绘制l形线的状态的说明图。

[图22b]图22b是示出其中绘制l形线的手势的效果已经被提供至窗口的状态的说明图。

[图23a]图23a是示出其中用户已经在显示表面上绘制l形线的状态的说明图。

[图23b]图23b是示出其中绘制l形线的手势的效果已经被提供至窗口的状态的说明图。

[图24a]图24a是示出其中用户已经在显示表面上绘制l形线的状态的说明图。

[图24b]图24b是示出其中绘制l形线的手势的效果已经被提供至窗口的状态的说明图。

[图25a]图25a是示出其中用户已经在显示表面上绘制l形线的状态的说明图。

[图25b]图25b是示出其中绘制l形线的手势的效果已经被提供至窗口的状态的说明图。

[图26a]图26a是示出根据实施方式的信息处理系统的操作示例的流程图。

[图26b]图26b是示出根据实施方式的信息处理系统的操作示例的流程图。

[图27]图27是示出硬件配置示例的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，使用相同的附图标记表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

注意，将按照以下顺序给出描述。

1.本公开内容的实施方式

1.1系统配置示例

1.2功能配置示例

1.3操作示例

2.硬件配置示例

3.结论

<1.本公开内容的实施方式>

[1.1.系统配置示例]

首先，将描述根据本公开内容的实施方式的信息处理系统的配置示例。

图1是示出根据本公开内容的实施方式的信息处理系统的配置示例的说明图。注意，在本说明书中，系统可以意味着执行预定处理的配置，并且整个系统可以被视为一个装置，或者还可以设想系统包括多个装置。图1所示的根据实施方式的信息处理系统仅需要被配置成能够作为整体执行预定处理，并且可以任意地决定信息处理系统中的哪个组成部分要被视为一个装置。

参照图1，根据本公开内容的实施方式的信息处理系统100a包括输入单元110a和输出单元130a。

输出单元130a通过在桌子140a中显示信息来向用户提供各种信息的视觉通知。例如，使用投影仪作为输出单元130a。如图所示，例如，输出单元130a以输出单元130a从天花板悬吊的状态设置在桌子140a上方远离桌子140a的预定距离处，并且在桌子140a的上表面上投影信息。这种从上方将信息显示在桌子140a的上表面上的方案也被称为“投影型”。

注意，在下面的描述中，通过输出单元130a显示信息的整个区域也被称为显示屏幕。例如，响应于由信息处理系统100a对应用的执行，输出单元130a在显示屏幕上显示要向用户呈现的信息。例如，要显示的信息是针对每个应用的操作画面。在下文中，显示屏幕上的显示针对应用的这种操作画面的每个显示区域也将被称为窗口。此外，例如，输出单元130a在显示屏幕上显示所谓的图形用户界面(gui)部件(小部件)，该图形用户界面(gui)部件(小部件)接收各种用户的操作例如通过按钮、滑块、复选框、文本框和键盘进行的选择和输入。虽然可以将窗口视为gui部件之一，但是窗口将不包括在gui部件中，并且为了方便起见，在本说明书中除了窗口以外的显示元素将被称为gui部件，以将窗口与其他gui部件区分开。

这里，在信息处理系统100a是投影型的情况下，输出单元130a可以包括照明装置。在输出单元130a中包括照明装置的情况下，信息处理系统100a可以基于由输入单元110a输入的信息的内容和/或由输出单元130a显示的信息的内容来控制照明装置的状态例如接通和关断。

此外，输出单元130a可以包括扬声器并且以声音的形式输出各种信息。在输出单元130a被形成为扬声器的情况下，扬声器的数目可以是一个，或者可以提供多个扬声器。在输出单元130a包括多个扬声器的情况下，信息处理系统100a可以限制输出声音的扬声器或者可以调整输出声音的方向。

输入单元110a是输入由使用信息处理系统100a的用户执行的操作的内容的装置。例如，在图1所示的示例中，输入单元110a包括传感器等，并且输入单元110a以输入单元110a从天花板悬吊的状态设置在桌子140a上方。以这种方式，输入单元110a被设置成远离作为在其上显示信息的目标的桌子140a。输入单元110a可以包括能够对桌子140a的上表面即显示屏幕成像的成像装置。例如，作为输入单元110a，可以使用利用一个透镜对桌子140a成像的照相机、能够利用两个透镜对桌子140a成像并且在透视方向上记录信息的立体照相机等。在输入单元110a是立体照相机的情况下，可以使用可见光照相机、红外照相机等。

在使用利用一个透镜对桌子140a成像的照相机作为输入单元110a的情况下，信息处理系统100a可以通过分析由照相机捕获的图像(所捕获的图像)来检测对象例如位于桌子140a上的用户的手的位置。此外，在使用立体照相机作为输入单元110a的情况下，信息处理系统100a可以通过分析由立体照相机捕获的图像来获取除了物体的位置信息以外的位于桌子140a上的物体的深度信息。信息处理系统100a可以基于深度信息来检测在高度方向上用户的手相对于桌子140a的接触或接近以及手与桌子140a的分离。注意，在下面的描述中，用户的使操作构件例如他/她的手与显示屏幕上的信息接触或者使操作构件接近屏幕上的信息的动作也将简单且统一地称为“接触”。

在实施方式中，基于由输入单元110a捕获的图像来检测操作构件例如用户的手在显示屏幕上(即，桌子140a的上表面上)的位置，并且基于所检测的操作构件的位置来输入各种信息。也就是说，用户可以通过在显示屏幕上移动操作构件来输入各种操作。例如，可以通过用户的手与窗口或另一gui部件的接触被检测到来将操作输入至窗口或另一gui部件。注意，在下面的描述中，虽然下面将描述使用用户的手作为操作构件的情况作为示例，但是实施方式不限于这种示例，并且可以使用各种操作构件例如触控笔作为操作构件。

此外，在输入单元110a包括成像装置的情况下，输入单元110a不仅可以对桌子140a的上表面成像，而且可以对桌子140a周围存在的用户成像。例如，信息处理系统100a可以基于所捕获的图像来检测桌子140a周围的用户的位置。此外，信息处理系统100a可以通过提取所捕获的图像中包括的可以用以识别各个用户的身体特征例如用户的脸或身体的大小来针对用户执行个体识别。

在此，实施方式不限于这种示例，并且可以通过另一方法执行用户的操作输入。例如，输入单元110a可以被提供为桌子140a的上表面上的触摸板，并且可以通过用户的手指等与触摸板的接触来检测用户的操作输入。此外，可以使用相对于形成输入单元110a的成像装置执行的手势来检测用户的操作输入。可替选地，输入单元110a可以包括对用户生成的语音或来自周围环境的环境声音进行收集的声音输入装置例如麦克风。作为声音输入装置，可以适当地使用用于在特定方向上收集声音的麦克风阵列。另外，麦克风阵列可以被配置成使得声音收集方向可以被调整至任意方向。在使用声音输入装置作为输入单元110a的情况下，可以通过收集到的声音来输入操作。此外，信息处理系统100a可以通过分析收集到的声音基于声音来识别个体。可替选地，输入单元110a可以包括远程控制装置(所谓的遥控器)。遥控器可以被配置成使得通过操作设置在遥控器上的预定按钮来输入预定命令，或者可以被配置成使得通过用户的通过使用安装在遥控器上的传感器例如加速度传感器或者陀螺仪传感器检测遥控器的运动和姿态移动遥控器的操作来输入预定命令。此外，信息处理系统100a可以包括其他输入装置例如鼠标、键盘、按钮、开关和控制杆(附图中未示出)作为输入单元110a，并且可以通过这种输入装置输入用户的操作。

上面已经参照图1描述了根据实施方式的信息处理系统100a的配置。注意，虽然未在图1中示出，但是可以将其他装置连接至信息处理系统100a。例如，可以将用于对桌子140a进行照明的照明装置连接至信息处理系统100a。信息处理系统100a可以根据显示屏幕的状态来控制照明装置的接通状态。

在此，信息处理系统的配置不限于实施方式中图1中所示的配置。根据实施方式的信息处理系统仅需要包括在显示屏幕上显示各种信息的输出单元和能够至少接收对所显示的信息执行的操作输入的输入单元，并且其具体配置不受限制。参照图2至图4，将描述根据实施方式的信息处理系统的其他配置示例。图2至图4是示出根据实施方式的信息处理系统的其他配置示例的图。

在图2所示的信息处理系统100b中，输出单元130a设置在桌子140b下方。输出单元130a是例如投影仪，并且从下侧朝向桌子140b的顶板投影信息。例如，桌子140b的顶板包括诸如玻璃板或者透明塑料板的透明材料，并且在桌子140b的上表面上显示由输出单元130a投影的信息。这种从输出单元130a向桌子140b下方侧投影信息并将信息显示在桌子140b的上表面上的方案也将被称为“背投型”。

在图2所示的示例中，输入单元110b设置在桌子140b的上表面(前表面)上。输入单元110b包括例如触摸板，并且用户通过触摸板检测到操作构件与桌子140b的上表面上的显示屏幕的接触来输入操作。注意，输入单元110b的配置不限于这种示例，并且与图1所示的信息处理系统100a类似，输入单元110b可以被设置成在桌子140b下方远离桌子140b。在这种情况下，输入单元110b包括例如成像装置，并且可以通过包括透明材料的顶板检测桌子140b的上表面上的操作构件的位置。

在图3所示的信息处理系统100c中，触摸板型显示器以其显示表面向上定向的状态安装在桌子上。在信息处理系统100c中，输入单元110c和输出单元130c可以整体地形成为触摸板型的显示器。也就是说，通过在显示器的显示屏幕上显示各种信息以及通过触摸板检测操作构件与显示器的显示屏幕的接触来使用户输入操作。注意，与图1所示的信息处理系统100a类似，成像装置也可以被提供为信息处理系统100c中的触摸板型显示器上方的输入单元110c。桌子的周围环境中的用户的位置等可以由成像装置检测。

图4所示的信息处理系统100d包括平板型显示器。在信息处理系统100d中，输出单元130d被形成为平板型显示器，并且在显示器的显示屏幕上显示各种信息。输入单元包括输入装置例如鼠标、键盘和触摸板(附图中未示出)，并且用户通过使用这些输入装置在显示屏幕上操作指针来输入操作。注意，信息处理系统100d中的输入单元可以包括设置在平板型显示器上的触摸板，并且与图3所示的信息处理系统100c类似，用户可以通过触摸板来输入操作。此外，输入单元可以包括能够对面向平板型显示器的显示表面的区域成像的成像装置。可以使用成像装置检测观察平板型显示器的用户的位置等。

上面已经参照图2至图4描述了根据实施方式的信息处理系统的其他配置。如上所述，根据实施方式的信息处理系统可以以各种配置实现。在此，下面将通过例示如图1所示的其中输入单元110a和输出单元130a设置在桌子140a上方的信息处理系统100a的配置来描述实施方式。然而，能够实现根据实施方式的信息处理系统的另外配置例如图2至图4所示的上述配置也可以实现与下面描述的那些功能类似的功能。在下面的描述中，为了简化，信息处理系统100a、输入单元110a和输出单元130a将被简单地称为信息处理系统100、输入单元110和输出单元130。

上面已经描述了根据本公开内容的实施方式的信息处理系统100的配置示例。接下来，将描述根据本公开内容的实施方式的信息处理系统100的功能配置示例。

[1.2.功能配置示例]

图5是示出根据本公开内容的实施方式的信息处理系统100的功能配置示例的说明图。在下文中，将参照图5来描述根据本公开内容的实施方式的信息处理系统100的功能配置。

如图5所示，根据本公开内容的实施方式的信息处理系统100包括输入单元1110、图形显示处理单元120、输出单元130和显示控制单元200。

输入单元110是用于向信息处理系统100输入各种信息的输入接口。用户可以经由输入单元110向信息处理系统100输入各种信息。在实施方式中，输入单元110被配置成能够至少接收输入至由输出单元130生成的显示屏幕的用户的操作。例如，输入单元110包括包含图像传感器的成像装置，并且捕获包含显示屏幕上的操作构件例如用户的手的所捕获的图像。经由输入单元110输入的信息(例如关于所捕获的图像的信息等)被提供至显示控制单元200(稍后将描述)，并且由显示控制单元200检测用户的操作输入。注意，实施方式不限于这种示例，并且例如，输入单元110可以包括其他输入装置例如触摸板、鼠标、键盘、麦克风、按钮、开关和控制杆。

图形显示处理单元120基于输入单元110接收到的用户的操作输入来执行要在输出单元130上显示的图形的处理。图形显示处理单元120执行例如在显示应用的窗口等中对各种内容的绘制控制、向每个内容提供诸如用户的操作输入的事件等。在实施方式中，图形显示控制单元120向显示控制单元200提供从输入单元110接收的用户的操作输入的内容。然后，图形显示处理单元120接收由显示控制单元200执行的处理的内容，并且基于该内容执行图形处理。图形显示处理单元120包括例如图像处理电路。

输出单元130是用于向用户提供由信息处理系统100处理的各种信息的通知的输出接口。输出单元130包括显示装置例如显示器或投影仪，并且在显示控制单元200(稍后将描述)的控制下在显示屏幕上显示各种信息。如上所述，输出单元130在显示屏幕上显示窗口和gui部件。显示单元130上显示的窗口、gui部件等也被称为“对象”。注意，实施方式不限于这种示例，并且输出单元130还可以包括声音输出装置例如扬声器，并且可以通过声音输出各种信息。

显示控制单元200基于输入单元110接收到的用户的操作输入来执行处理。在实施方式中，显示控制单元200基于输入单元110接收到的用户的操作输入来检测手势，并且执行将基于手势的效果提供至对象的处理。例如，显示控制单元200包括控制电路例如cpu以及存储有用于操作控制电路的程序的存储器。

显示控制单元200包括手势定义累积单元210、手势检测单元220、操作目标检测单元230、目标分配单元240和效果调用单元250。

手势定义累积单元210以预定格式存储用于将输入单元110接收到的用户的操作输入识别为手势的定义。图6是示出手势定义累积单元210累积的信息的示例的说明图。在图6中，针对三种类型的手势定义了手指的数目、识别图案掩模(稍后将描述)、效果、目标的定义。关于效果，定义了三种类型，即位置、大小和旋转，并且圆圈意味着响应于手势而呈现出用圆圈标记的效果。

上部所示的手势是使用用户的手指中的一个手指绘制接近直线的一条线。如稍后将描述的，该手势由输出单元130显示并且用于将该线的范围内存在的对象沿着该线排列。因此，响应于上部所示的手势，可以在不改变大小的情况下旋转和移动对象。因此，如图6所示，在针对上部所示的手势的“效果”列中仅“位置”和“旋转”被使用圆圈标记。

中部所示的手势是使用用户的手指中的两个手指绘制接近直线的一条线。如稍后将描述的，该手势由输出单元130显示并且用于使所有对象沿着该线排列。因此，响应于中部所示的手势，可以在不改变大小的情况下旋转和移动对象。因此，如图6所示，在针对中部所示的手势的“效果”列中仅“位置”和“旋转”被使用圆圈标记。

下部所示的手势是使用用户的手指中的一个手指在特定方向上绘制线，并且然后进一步沿着相对于该方向垂直的线绘制线。换言之，下部所示的手势是用户绘制字母“l”。例如，如稍后将描述的，这个手势是用于将由输出单元130显示的对象中的最接近用户的操作位置的对象沿着该线布置。通过下部所示的手势可以执行对象的旋转、大小改变和移动。因此，如图6所示，针对下部中的手势，“效果”列中的全部“位置”、“大小”和“旋转”都被使用圆圈标记。

注意，虽然图6示出了三种类型的手势的定义，但是信息处理系统100可以理解的手势不限于这些示例。

手势检测单元220使用输入单元110接收到的用户的操作输入来检测手势是否已经建立。在实施方式中，手势检测单元220通过与手势定义累积单元210中累积的识别图案掩模进行匹配来检测手势是否已经建立。

图7a至图7d是示出使用手势检测单元220进行的手势检测方法的示例的说明图。图7a是示出其中用户在显示屏幕上已经执行与特定手势对应的操作的示例的说明图。图7a示出了其中用户已经在显示屏幕上移动他/她的手指中的一个手指来绘制反转的“l”字母的状态。

图7b至图7d示出了由手势检测单元220执行的使用识别图案掩模的手势检测处理。如图7b所示，手势检测单元220首先使识别图案掩模在显示屏幕上从左上侧到右侧进行扫描，并且如果完成了到右端的扫描，则使识别图案掩模在下一行中从左侧到右侧进行扫描。然后，如图7d所示，如果手势检测单元220最终使识别图案掩模扫描至显示屏幕上的右下侧，则确定是否存在以下位置：在该位置处用户已经执行的操作以预定比例或更大比例符合识别图案掩模。例如，如图7c所示，如果用户已经执行的操作以预定比例或更大比例符合识别图案掩模，则手势检测单元220可以确定用户已经执行与识别图案掩模对应的手势。注意，当用户绘制“l”形线时，形成字母“l”的两条线之间的角度可能并非正好是90度。例如，即使形成字母“l”的两条线之间的角度在预定角度范围内例如85度至95度内，手势检测单元220也可以使用识别图案掩模确定用户已经绘制“l”形线。

注意，虽然在实施方式中手势检测单元220通过与识别图案掩模进行匹配来检测手势是否已经建立，但是本公开内容不限于这种示例。例如，手势检测单元220可以通过连续地追踪用户的手指的运动来检测手势是否已经建立。此外，例如，手势检测单元220可以基于通过机器学习学习的每个用户的手势的习惯等来检测手势是否已经建立。

操作目标检测单元230检测显示屏幕上的对象中的哪个对象接收用户已经执行的手势的效果。在下文中，将参照具体示例来描述操作目标检测单元230的操作。注意，用户已经绘制的线可能绘制或可能不绘制在实际显示表面上。在绘制了用户已经绘制的线的情况下，可以在经过预定时间之后删除该线。在该线被删除时，该线可以被立即删除或者可以逐渐地被删除。在逐渐地删除该线时，可以按照从较早绘制的部分开始的顺序连续地删除该线。为了方便起见，假设在下面的描述中所使用的附图中绘制了用户使用他/她的手指已经绘制的线的轨迹。

(1)用户用他/她的手指中的一个手指绘制一条线

在实施方式中，用户用他/她的手指中的一个手指绘制一条线的手势由输出单元130显示在显示屏幕上，并且该手势用于使该线的范围内存在的对象沿着该线排列。图8a和图8b是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制一条线的手势的状态的说明图。如果用户执行这个手势，则如图8a所示的随机排列的窗口301至窗口303中的窗口302和窗口303如图8b所示沿着用户已经绘制的线排列。注意，窗口的绘制可以由图形显示处理单元120执行。在排列窗口时，相应窗口被排列成使得靠近该线的侧位于下侧。窗口302和窗口303根据需要旋转。如果用户执行这个手势，则操作目标检测单元230将用户已经绘制的线视为直线，并且将重心在该直线的垂直线上的窗口检测为该效果的目标。

注意，在目标窗口以交叠的方式显示的情况下，在根据用户使用用户的手指中的一个手指绘制一条线的手势排列窗口时，窗口可以不以交叠的方式排列。图8c和图8d是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制一条线的手势的状态的说明图。在这个示例中，示出了以下状态：其中如图8d所示通过手势将如图8c所示以交叠方式显示的窗口302和窗口303排列成窗口302和窗口303彼此不交叠。

此外，在根据用户用他/她的手指中的一个手指绘制一条线的手势对窗口进行排列时，只要窗口存在于一条垂直线上，就可以将多个窗口以交叠的方式进行排列。图8e和图8f是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制一条线的手势的状态的说明图。在这个示例中，示出了以下状态：其中响应于该手势而将多个窗口301、302和303如图8f所示以交叠的方式排列在如图8e所示的一条垂直线上。此时，如图8f所示，可以以交叠方式将窗口排列成使得具有较大面积的窗口位于下侧。

用户绘制他/她的手势的位置不限于靠近显示表面的端部的位置。图8g是示出其中用户在接近显示表面的中心处已经执行用他/她的手指中的一个手指绘制一条线的手势的状态的说明图。在用户已经在这样的位置处执行手势的情况下，窗口302和窗口303是作为移动的目标的窗口，并且窗口302和窗口303可以分别移动至这一条线的下侧和上侧。图8h是示出其中窗口302和窗口303沿着用户已经绘制的这一条线排列的状态的说明图。

(2)用户用他/她的手指中的两个手指绘制一条线

在实施方式中，用户用他/她的手指中的两个手指绘制一条线的手势是用于使由输出单元130在显示屏幕上显示的所有对象沿着该线(以及在该线的延伸线上)排列。图9a和图9b是示出其中用户已经执行用他/她的手指中的两个手指在显示表面上绘制一条线的手势的状态的说明图。如果用户执行这个手势，则如图9a所示随机排列的窗口301至窗口303如图9b所示沿着用户已经绘制的线排列。在排列窗口时，相应窗口被排列成使得靠近该线的侧位于下侧。窗口301至窗口303根据需要旋转。如果用户执行这个手势，则操作目标检测单元230将显示表面上显示的所有窗口检测为该效果的目标。

注意，在目标窗口以交叠的方式显示的情况下，与用他/她的手指中的一个手指执行的手势类似，在执行根据用户用他/她的手指中的两个手指绘制一条线的手势进行的排列时，窗口可以被排列成使得窗口彼此不交叠。

(3)用户用他/她的手指中的一个手指绘制“l”形线

在实施方式中，用户用他/她的手指中的一个手指绘制“l”形线的手势是用于使由输出单元130在显示表面上显示的对象中的最靠近该线的位置处的对象移动至沿着该线的位置。也就是说，用户用他/她的手指中的一个手指在显示屏幕上沿特定方向绘制与第一部分对应的线并且然后在保持手指与显示表面接触的情况下沿基本上垂直于该线的方向绘制与第二部分对应的线的操作被视为绘制“l”形线的手势。图10a和图10b是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制“l”形线的手势的状态的说明图。如果用户执行这个手势，则如图10a所示的正在显示的窗口311和窗口312中的位于与该线最接近的位置处的窗口312如图10b所示移动。此时，窗口312移动，使得接近与用户已经绘制的第二部分对应的线的一侧位于下侧。如果执行了绘制“l”形线的手势，则在窗口中的显示内容是具有垂直方向的内容例如照片或视频的情况下，窗口移动，使得绘制第二部分的方向位于内容显示器的上侧。也就是说，如果用户在针对用户他/她自己的正常方向上绘制l形状，则设定以用户他/她自己为基准的垂直方向，并且如果用户在针对对方的正常方向上绘制l形状，则设定以在桌子的相对侧上的对方为基准的垂直方向。作为绘制“l”形线的手势的效果，如上所述，取决于如何绘制“l”形状，可以以显示屏幕的相对侧的对方为基准容易地布置对象。窗口312根据需要旋转、放大或收缩。如果用户执行这个手势，则操作目标检测单元230将位于最接近该线的位置处的窗口检测为该效果的目标。

如果用户执行用他/她的手指中的一个手指绘制“l”形线的手势并且位于最接近该线的位置处的对象的显示位置是固定的，则替代该对象将次接近该线的对象移动至沿着该线的位置。图11a和图11b是示出其中用户已经执行用他/她的手指中的一个手指在显示表面上绘制“l”形线的手势的状态的说明图。在这种情况下，虽然位于最接近该线的位置处的窗口是窗口321，但是窗口321的显示位置是固定的。因此，操作目标检测单元230将作为位于次接近该线的位置处的窗口的窗口322而不是窗口321检测为该效果的目标。

以这种方式，根据本公开内容的实施方式的信息处理系统100可以通过设定用于操作目标的条件或者设定用于忽略每个手势的条件的条件来根据用户的手势实现显示处理。

目标分配单元240对手势检测单元220检测的手势和操作目标检测单元230检测的目标对象执行分配处理。也就是说，目标分配单元240确定哪个手势影响哪个对象作为操作目标。

首先，目标分配单元240确定是否可以根据用户已经在显示屏幕上绘制的线来唯一地决定手势。在用户已经在显示屏幕上绘制的线是一条线还是l形线是模糊的情况下，也就是说，例如在存在与用户已经绘制的线对应的手势的多个候选的情况下，目标分配单元240执行用于解决模糊性的模糊手势解决处理。

图12a和图12b是示出其中使用图案匹配检测手势的示例的说明图。在识别图案掩模包括总共五十个单元即纵向方向上5个单元且横向方向上十个单元(注意，假定单元为一组预定数目的像素)的情况下，手势以98％的比例(五十个单元中的四十九个单元)符合用于一条线的识别图案匹配和用于l形线的识别图案掩模二者。因此，在这种情况下，目标分配单元240无法确定用户已经绘制的是一条线和l形线中的哪一个。虽然与两个识别图案掩模的符合比例完全相同的这种情况是罕见情况(当然通常可以对手势定义给予一定的裕度)，但是也存在符合比例之间的差异仅是某百分比这样的情况，并且即使在这种情况下，目标分配单元240也无法唯一地决定手势。

在基于与识别图案掩模的符合程度无法唯一地决定手势的情况下，目标分配单元240还可以执行不允许所有手势建立的处理。同时，在无法唯一地决定手势的情况下，目标分配单元240可以仅选择在手势定义累积单元210中累积的定义中的共同效果，并且向目标对象提供该效果。参照图6，例如，绘制一条线的手势和绘制l形线的手势的共同效果是“位置”和“旋转”。因此，目标分配单元240可以向目标对象仅提供效果“位置”和“旋转”。图13是示出由目标分配单元240执行的手势分配处理的说明图。在无法唯一地决定手势的情况下，目标分配单元240可以向目标窗口331仅提供绘制l形线的手势的效果中的效果“位置”和“旋转”。

在无法唯一地决定手势的情况下，目标分配单元240可以允许用户选择用户期望使用的效果。图14是示出在无法唯一地决定手势的情况下输出单元130输出的用户界面的示例的说明图。如果用户选择用户期望使用的手势，则图形显示处理单元120根据该手势执行处理。

根据实施方式的信息处理系统100可以由多个用户同时操作。目标分配单元240确定使由多个用户执行的手势中的哪个手势优先。

图15a是示出其中两个用户a和b二者在相似的时间在显示表面上绘制l形线的示例性情况的说明图。在两个用户以这种方式在相似的时间在显示屏幕上绘制l形线的情况下，目标分配单元240例如可以使已经较早地完成绘制该线的用户优先。图15b是其中使由已经较早地完成绘制该线的用户a执行的手势优先的说明图。目标分配单元240使已经较早地完成绘制该线的用户a执行的手势优先。因此，由用户a执行的手势的效果被应用于窗口341。

在两个用户在相似的时间在显示屏幕上绘制l形线、用户完成绘制该线的时间不存在显著差异、并且难以确定谁较早地完成绘制该线的情况下，目标分配单元240可以使已经绘制位于较接近重心的位置处的线的用户优先。图15c是示出其中使由已经绘制位于较接近窗口341的重心的位置处的线的用户a执行的手势优先的示例的说明图。目标分配单元240使由已经绘制位于较接近窗口341的重心的位置处的线的用户a执行的手势优先。因此，由用户a执行的手势的效果被应用于窗口341。

在两个用户已经在相似的时间执行手势的情况下，目标分配单元240可以使用在执行手势之前已经使用(操作)目标对象的用户作为确定的参考。如果检测到用户b已经例如如图16a所示触摸窗口351，则即使用户a和用户b如图16b所示已经执行在相似的时间绘制l形线的手势，并且已经同时完成绘制l形线，目标分配单元240仍可以使在执行手势之前已经触摸窗口351的用户b的手势优先而不是使已经绘制位于较接近窗口351的重心的位置处的线的用户a的手势优先。图16c是示出使在进行手势之前已经触摸窗口351的用户b的手势优先的示例的说明图。

注意，在信息处理系统100中可能不会一直保存关于哪个用户最终触摸窗口的信息。例如，目标分配单元240可以将在某人最终触摸对象之后十秒或更长时间内无人触摸的对象视为无人触摸的对象，并且可以使位于较接近该对象的位置处的手势优先。

在例如其中对象彼此交叠的另一种情况下，目标分配单元240可以使上层中的对象优先，或者可以使指向已经执行手势的用户的对象优先。

在实施方式中，应用绘制l形线的手势的对象是位于最接近该线的位置处的对象。然而，存在无法根据用户已经绘制l形线的位置来确定对对象中的哪一个对象应用效果的情况。图17a是示出其中用户已经执行在显示屏幕上绘制l形线的手势的状态的说明图，其中，在显示屏幕上显示了两个窗口361和窗口362。在这种情况下，在应用绘制l形线的手势的情况下，假设窗口361的重心的移动量是600个像素，以及窗口362的重心的移动量是610个像素。虽然在严格意义上具有较小移动量的窗口361是应用效果的目标，但是也可能存在用户将窗口362视为应用效果的目标而执行手势的可能性。

在对象的移动量之间不存在显著差异并且无法识别用户已经将对象中的哪个对象视为执行手势的操作的目标(也就是说，存在操作目标对象的多个候选)的这种情况下，目标分配单元240执行解决对象的模糊性的模糊操作目标解决处理。例如，目标分配单元240可以将位于最接近位置处的对象决定为操作目标，或者在另一情况下，目标分配单元240可以通过使指示存在多个操作目标的消息显示或者使用户已经在显示表面上绘制的轨迹振动来向用户提供无法唯一地决定操作目标对象的通知。图17b是示出其中显示表面上正在显示消息或者显示表面上轨迹正在振动的状态的说明图。例如，目标分配单元240可以通过使指示存在多个操作目标的消息363显示来鼓励用户再次执行手势。可替选地，目标分配单元240可以通过经由轨迹的振动向用户提供存在多个操作目标的通知来鼓励用户再次执行手势。

在对象的移动量之间不存在显著差异并且无法识别用户已经将对象中的哪个对象视为执行手势的操作的目标的这种情况下，目标分配单元240可以允许用户选择目标窗口。图18a是示出其中用户已经执行在显示屏幕上绘制l形线的手势的状态的说明图，其中，与图17a类似，显示屏幕上显示了两个窗口361和窗口362。在这种情况下，与图17a类似，也假设对象的移动量之间不存在显著差异并且无法识别用户已经将对象中的哪个对象视为执行手势的操作目标。在这种情况下，目标分配单元240可以使允许用户对将应用手势的效果的目标窗口进行选择的消息显示在显示屏幕上。图18b是示出其中显示表面上正在显示允许用户对将应用手势的效果的目标窗口进行选择的消息的示例的说明图。目标分配单元240可以通过使这种消息显示来允许用户选择目标窗口。

即使在当用户执行手势时由另一用户操作原始操作目标的情况下，目标分配单元240也可以灵活地决定操作目标。例如，应用绘制l形线的手势的效果的目标是位于最接近轨迹的位置处的对象。然而，如果当对象正在被另一用户进行操作时使对象移动，则正在操作对象的用户的可用性降低。因此，目标分配单元240可以从应用效果的目标中排除与已经执行手势的用户不同的用户正在操作的对象。

图19a是示出其中当用户b正在操作窗口371时用户a已经执行绘制“l”形线的手势的状态的说明图。根据实施方式中针对手势的规则，窗口371由绘制l形线的用户a移动。然而，用户b正在操作窗口371，并且如果窗口371被移动，则用户b可能会生气。因此，目标分配单元240从应用效果的目标中排除用户b正在操作的窗口371。图19b是示出其中窗口371从应用效果的目标中被排除并且使位于次接近手势的轨迹的位置处的窗口372移动的状态的说明图。

在发生类似现象的情况下，目标分配单元240可以通过使指示操作目标窗口正在由另一用户操作的消息显示或者使用户已经在显示屏幕上绘制的轨迹振动来向用户提供无法移动操作目标对象的通知，而不是移动窗口372。图19c是示出其中显示表面上正在显示消息或者显示表面上轨迹正在振动的状态的说明图。例如，目标分配单元240可以通过使指示操作目标窗口正在由另一用户进行操作的消息373显示来鼓励用户再次执行手势。可替选地，目标分配单元240可以通过经由轨迹的振动向用户提供操作目标窗口正在由另一用户进行操作的通知来鼓励用户再次执行手势。

效果调用单元250基于手势检测单元220检测到的手势和操作目标检测单元230检测到的操作目标来执行将效果应用于显示表面上的对象的处理。例如，效果调用单元250向图形显示处理单元120提供与手势的内容和操作目标有关的信息的通知，并且使图形显示处理单元120执行实际的图像处理。图形显示处理单元120基于来自效果调用单元250的信息来执行诸如窗口的移动、放大或收缩或者旋转的处理。

图20a是示出其中用户在显示表面上已经绘制l形线的状态的说明图。在这种情况下，手势检测单元220检测出已经执行绘制l形线的手势，并且操作目标检测单元230检测出窗口381是手势的操作目标。效果调用单元250向图形显示处理单元120提供通知，使得绘制l形线的手势的效果被应用于窗口381。已经接收到通知的图形显示处理单元120对窗口381执行图形处理(此处，移动、旋转和收缩)。图20b是示出其中绘制l形线的手势的效果已经被提供给窗口381的状态的说明图。

效果调用单元250根据需要对与当应用效果时使用的图像处理相关的参数进行校正，以在向图形显示处理单元120提供与手势的内容和操作目标相关的信息的通知之前理解用户输入的意图是什么。

例如，将考虑物理物体被放置在显示表面上并且用户已经执行沿着物体绘制l形线的手势的情况。图21a是示出其中用户在显示表面上已经绘制l形线的状态的说明图。在这种情况下，手势检测单元220检测出已经执行绘制l形线的手势，并且操作目标检测单元230检测出窗口381是手势的操作目标。然而，长方体物体382被放置在显示表面上，并且如果使窗口381照原样移动，则窗口381的可视性降低。注意，关于显示表面上是否存在物体以及物体的位置和高度的信息由输入单元110获取。

因此，如果移动、旋转和变形之后的窗口381以预定值或更高值的比例与物体382的表面交叠，则效果调用单元250决定使窗口381移动，使得窗口381与物体382的表面交叠。图21b是示出其中绘制l形线的手势的效果已经提供给窗口381使得该效果与对象382的表面交叠的状态的说明图。效果调用单元250可以通过以这种方式使窗口381移动来保持窗口381的可视性。在信息处理系统100将图像投影至黑色桌子上的情况下，当对象被投影在仅白色餐巾纸上时，也可以使用考虑物体的位置的这种效果的应用。

另外，例如，将考虑物体被放置在显示表面上并且用户已经执行在物体之间绘制l形线的手势的情况。图22a是示出其中用户在显示表面上已经绘制l形线的状态的说明图。在这种情况下，手势检测单元220检测出已经执行绘制l形线的手势，并且操作目标检测单元230检测出窗口381是手势的操作目标。然而，长方体物体383和384被放置在显示表面上，并且如果使窗口381照原样移动，则窗口381的可视性降低。注意，关于显示表面上是否存在物体以及物体的位置和高度的信息由输入单元110获取。

因此，如果移动、旋转和变形之后的窗口381以预定值或更高值的比例与物体383和物体384的表面交叠，则效果调用单元250决定使窗口381移动至物体383与物体384之间的间隙。图22b是示出其中绘制l形线的手势的效果已经提供给窗口381以使窗口381移动至物体383与物体384之间的间隙的状态的说明图。效果调用单元250可以通过以这种方式使窗口381移动和收缩来保持窗口381的可视性。

在物体被放置在显示表面上的情况下，效果调用单元250可以根据物体的表面积有多大、物体的数目、物体被放置的位置等来对与应用效果时使用的图形处理相关的参数进行校正。例如，在形状为平面形状并且移动之后的表面和目标对象如图21a和图21b所示的物体382那样以预定比例或更大比例交叠的情况下，效果调用单元250可以对参数进行校正使得对象与物体的表面交叠。同样，例如，在多个物体被放置在显示表面上并且已经在诸如如图21a和图21b所示的物体382的物体之间执行手势的情况下，效果调用单元250可以对参数进行校正使得对象在物体之间移动。

效果调用单元250可以将利用其已经执行手势的用户的手指的方向或手臂根的位置视为用户存在的方向，并且根据用户的方向来对参数进行校正。图23a是示出其中用户在显示表面上已经绘制l形线的状态的说明图。在这种情况下，手势检测单元220检测出已经执行绘制l形线的手势，并且操作目标检测单元230检测出窗口381是手势的操作目标。

然后，效果调用单元250可以使用与由输入单元110识别的手臂根的位置或者利用其已经执行手势的用户的手指的方向相关的信息来对窗口381的旋转角度的参数进行校正。虽然如果用户在显示表面上绘制l形线则目标窗口通常沿着l形线移动，但是效果调用单元250对窗口381的旋转角度进行校正使得在根据与手臂根的位置或者已经执行手势的用户的手指的方向相关的信息预测出用户在显示屏幕的角部附近的情况下，用户可以容易地执行操作。图23b是示出其中绘制l形线的手势的效果已经被提供给窗口381的状态的说明图。例如，效果调用单元250可以通过对窗口381的旋转角度进行校正使得已经执行手势的用户可以容易地执行操作来使窗口381移动使得如图23b所示用户可以容易地执行操作。

效果调用单元250可以使用手势的轨迹与用户的方向之间的角度差来确定是否使对象沿着手势的轨迹移动或者是否根据用户的位置来校正旋转角度。在如图23b所示的角度θ等于或者大于预定值的情况下，效果调用单元250可以根据用户的位置校正旋转角度，以及在角度θ小于预定值的情况下，效果调用单元250可以使对象沿着手势的轨迹移动。

如果已知用户的位置接近显示表面的端部，则效果调用单元250可以对对象的旋转角度的参数进行校正，以使对象移动至沿着显示表面的端部的位置。图24a是示出其中用户在显示表面上已经绘制l形线的状态的说明图。在这种情况下，手势检测单元220检测出已经执行绘制l形线的手势，并且操作目标检测单元230检测出窗口381是手势的操作目标。

然后，效果调用单元250可以使用与由输入单元110识别的手臂根的位置或者利用其已经执行手势的用户的手指的方向相关的信息来对窗口381的旋转角度的参数进行校正。虽然如果用户在显示表面上绘制l形线则目标窗口通常沿着l形线移动，但是窗口381的旋转角度的参数被校正，使得在根据与手臂根的位置或者已经执行手势的用户的手指的方向相关的信息预测出用户在显示屏幕的角部附近的情况下使窗口381移动至沿着显示表面的端部的位置。图24b是示出其中绘制l形线的手势的效果已经被提供给窗口381的状态的说明图。效果调用单元250可以通过对窗口381的旋转角度的参数进行校正使得窗口381移动至沿着显示表面的端部的位置来使窗口381如图24b所示沿着显示表面的端部移动。

在另一情况下，例如，可以使用通过机器学习学到的用户的趋势等来决定如何使对象移动，换言之，效果调用单元250如何在用户执行手势时对参数进行校正。如果发现某个用户在将特定窗口放置在特定位置处的同时频繁地使用该窗口，则效果调用单元250可以对参数进行校正，使得如果该用户执行手势并且该窗口是该手势的目标，则将该特定窗口移动至特定位置。

在输入单元110可以检测在执行手势的用户的手指的高度方向上的角度的情况下，效果调用单元250可以在根据在手指的高度方向上的角度来应用效果时对参数进行校正。在下文中，将描述具有角度的物体被放置在显示表面上并且对象被移动至该物体的情况作为示例。

图25a是示出其中用户已经在显示表面上绘制l形线的状态的说明图。在这种情况下，手势检测单元220检测出已经执行绘制l形线的手势，并且操作目标检测单元230检测出窗口391是手势的操作目标。然而，如果使窗口391照原样移动至l形线的附近，则窗口391与放置在显示表面上的物体392交叠。假设物体392是与显示表面具有预定角度的物体而不是平面形状。

在这种情况下，如果检测出在用户保持手指与显示表面接触的同时改变手指相对于显示表面的角度的操作(例如，用户在保持他/她的手指与显示表面接触的同时抬起他/她的手掌的操作)，效果调用单元250可以对参数进行校正，使得窗口391根据该操作进行变形。变形是通过在其中窗口391的下侧被固定的状态下改变上侧的长度来使窗口391的形状变形为矩形(或方形)形状或者梯形形状。

图25b是示出用户已经在显示表面上绘制l形线并且然后在保持他/她的手指与显示表面接触的同时将他/她的手指在前侧放下的状态的说明图。如果检测出用户在保持他/她的手指与显示表面接触的同时将他/她的手指在前侧放下，则效果调用单元250对参数进行校正，使得在物体392的表面上正在显示的窗口391根据该操作进行变形。效果调用单元250可以通过对参数进行校正使得窗口391以这种方式变形来根据成角度的物体392的表面调整窗口391的形状。

例如，根据本公开内容的确定单元对应于手势检测单元220和目标分配单元240，并且例如，根据本公开内容的效果决定单元对应于操作目标检测单元230、目标分配单元240和效果调用单元250。

上面已经描述了根据本公开内容的实施方式的信息处理系统100的功能配置示例。接下来，将描述根据本公开内容的实施方式的信息处理系统100的操作示例。

[1.3.操作示例]

图26a和图26b是示出根据本公开内容的实施方式的信息处理系统100的操作示例的流程图。在下文中，将参照图26a和图26b来描述根据本公开内容的实施方式的信息处理系统100的操作示例。

如果检测到用户对显示表面的输入(步骤s101)，则信息处理系统100确定用户的输入是否已经被固定(步骤s102)。如果用户的输入尚未被固定(步骤s102；否)，则信息处理系统100返回至步骤s101中的检测用户的输入的处理。如果用户的输入已经被固定(步骤s102；是)，则从手势定义累积单元210获取手势定义信息(步骤s103)。例如，信息处理系统100可以基于在用户触摸显示表面的操作之后手指的分离来确定用户输入已经被固定，并且如果在用户的手指的位置处预定时间内未发生改变，则可以确定用户输入已经被固定。关于用户的输入是否已经被固定的确定不限于这样的示例。此外，信息处理系统100可以根据用户的输入的内容在不等待输入固定的情况下固定手势。例如，如果在手势定义累积单元210中累积的手势定义中仅存在通过使用用户的手指中的两个手指进行的输入的一个手势，并且用户已经用他/她的手指中的两个手指在显示表面上执行操作，则信息处理系统100可以确定已经执行通过使用他/她的手指中的两个手指进行的输入的仅一个手势，并且可以在输入固定之前进行至手势检测处理(稍后将描述)。

如果信息处理系统100从手势定义累积单元210获取手势定义信息，则信息处理系统100开始使用所获取的手势定义信息针对手势的定义进行手势检测处理(步骤s104)。如果尚未针对所有手势定义完成手势检测处理(步骤s104；否)，则信息处理系统100使用手势检测单元220执行手势检测处理(步骤s105)，以及如果针对某个手势定义的手势检测处理完成，则信息处理系统100进行至对下一手势定义的处理(步骤s106)。使用手势检测单元220进行的手势检测处理如上所述，并且此处将省略对其的详细描述。

如果已经完成对所有手势定义的处理(步骤s104；是)，则信息处理系统100开始对所有所显示的对象进行操作目标检测处理(步骤s107)。如果尚未对所有对象完成操作目标检测处理(步骤s107；否)，则信息处理系统100使用操作目标检测单元230执行操作目标检测处理(步骤s108)，以及如果已经完成对某个对象的处理，则信息处理系统100进行至对下一对象的处理(步骤s109)。使用操作目标检测单元230进行的操作目标检测处理如上所述，并且此处将省略详细描述。例如，操作目标检测处理的顺序可以是应用于对象的id的升序，或者操作目标检测处理可以从具有位于显示屏幕的左上侧的重心位置的对象开始连续地执行。

如果已经完成对所有对象的处理(步骤s107；是)，则信息处理系统100执行由目标分配单元240进行的确定手势是否已经被唯一地固定的处理(步骤s110)。如果手势尚未被唯一地固定，则信息处理系统100使用目标分配单元240执行模糊手势解决处理(步骤s111)。使用目标分配单元240进行的模糊手势解决处理如上所述，并且此处将省略对其的详细描述。

接下来，信息处理系统100执行由目标分配单元240进行的确定操作目标是否已经被唯一地固定的处理(步骤s112)。如果操作目标尚未被唯一地固定，则信息处理系统100使用目标分配单元240执行模糊操作目标解决处理(步骤s113)。使用目标分配单元240进行的模糊操作目标解决处理如上所述，并且此处将省略对其的详细描述。

如果手势和操作目标被固定，则信息处理系统100使用目标分配单元240执行手势/操作目标分配处理(步骤s114)。使用目标分配单元240进行的手势/操作目标分配处理如上所述，并且此处将省略对其的详细描述。

如果手势/操作目标分配处理完成，则信息处理系统100使用效果调用单元250在调用手势时执行校正处理(步骤s115)。使用效果调用单元250在调用手势时进行的校正处理如上所述，此处将省略对其的详细描述。

如果由效果调用单元250完成在调用手势时进行的校正处理，则信息处理系统100根据用户的输入来调用手势(步骤s116)。

根据本公开内容的实施方式的信息处理系统100可以通过执行上述一系列操作、在考虑用户的使用情况和意图的情况下执行与手势对应的操作。

<2.硬件配置示例>

接下来，将参照图27描述根据本公开内容的实施方式的信息处理系统100的硬件配置。图27是示出根据本公开内容的实施方式的信息处理系统100的硬件配置示例的框图。

如图27所示，信息处理系统100包括中央处理单元(cpu)901、只读存储器(rom)903以及随机存取存储器(ram)905。另外，信息处理系统100可以包括主机总线907、网桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。此外，根据需要，信息处理系统100可以包括成像装置933和传感器935。代替cpu901或者除了cpu901以外，信息处理装置100可以包括诸如数字信号处理器(dsp)或专用集成电路(asic)的处理电路。

cpu901用作操作处理装置和控制装置，并且根据记录在rom903、ram905、存储装置919或可移除记录介质927中的各种程序来控制信息处理系统100中的全部操作或部分操作。rom903存储由cpu901使用的程序和操作参数。ram905临时存储在cpu901的执行中使用的程序和在执行中适当变化的参数。cpu901、rom903和ram905通过主机总线907彼此连接，主机总线907包括诸如cpu总线的内部总线。另外，主机总线907经由网桥909连接至诸如外围部件互连/接口(pci)总线的外部总线911。

输入装置915是例如由用户用鼠标、键盘、触摸板、按钮、开关和控制杆等进行操纵的装置。输入装置915可以包括检测用户的声音的麦克风。输入装置915可以是例如使用红外光或其他无线电波的遥控单元，或者可以是外部连接装置929例如能够响应于信息处理系统100的操纵而操作的便携式电话。输入装置915包括输入控制电路，该输入控制电路基于由用户输入的信息生成输入信号并将该输入信号输出至cpu901。通过操纵输入装置915，用户可以向信息处理系统100输入各种类型的数据或发出使信息处理系统100执行处理操作的指令。另外，下面将描述的成像装置933可以通过对用户的手的运动等成像来用作输入装置。

输出装置917包括能够在视觉上或听觉上向用户通知所获取的信息的装置。输出装置917可以是例如显示装置(例如液晶显示器(lcd)、等离子显示面板(pdp)、有机电致发光(el)显示器和投影仪)、全息显示装置、音频输出装置(例如扬声器或耳机)以及打印机。输出装置917以视频例如文本或图像的形式和以音频例如语音或声音的形式输出从信息处理系统100的处理获得的结果。另外，输出装置917可以包括用于照亮周围环境的灯等。

存储装置919是用于数据存储的装置，其被配置成作为信息处理系统100的存储单元的示例。存储装置919包括例如磁存储装置(例如硬盘驱动器(hdd))、半导体存储装置、光存储装置或磁光存储装置。存储装置919存储将由cpu901执行的程序、各种数据以及从外部获得的数据。

驱动器921是用于可移除记录介质927例如磁盘、光盘、磁光盘或半导体存储器的读/写器，并且被嵌入在信息处理系统100中或在外部附接至信息处理系统100。驱动器921读取被记录在所附接的可移除记录介质927中的信息，并将该信息输出至ram905。此外，驱动器921将记录写入所附接的可移除记录介质927中。

连接端口923是用于将装置直接连接至信息处理系统100的端口。连接端口923可以是例如通用串行总线(usb)端口、ieee1394端口、小型计算机系统接口(scsi)端口等。另外，连接端口923可以是rs-232c端口、光学音频终端、高清晰度多媒体接口(hdmi)(注册商标)端口等。通过将外部连接装置929连接至连接端口923，可以在信息处理系统100与外部连接装置929之间交换各种数据。

通信装置925是例如通信接口，包括用于与通信网络931连接的通信装置等。通信装置925可以是例如用于有线或无线局域网(lan)、蓝牙(注册商标)、无线usb(wusb)等的通信卡。另外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(adsl)的路由器、用于各种类型的通信的调制解调器等。通信装置925使用诸如tcp/ip的预定协议将信号发送至例如因特网或其他通信装置，以及从例如因特网或其他通信装置接收信号。另外，待连接至通信装置925的通信网络931是以有线或无线的方式连接的网络，并且是例如因特网、家庭lan、红外通信、无线电波通信、卫星通信等。

成像装置933例如是下述装置，该装置通过使用图像传感器例如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)以及各种构件例如用于控制被摄体图像在图像传感器上的形成的一个或更多个透镜来对真实空间进行成像来生成图像。成像装置933可以是捕获静止图像的装置，并且也可以是捕获运动图像的装置。

传感器935例如是诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器或声音传感器的各种传感器中的任何传感器。例如，传感器935获取关于信息处理系统100的状态的信息例如信息处理系统100的姿态情况以及关于信息处理系统100周围的环境的信息例如信息处理系统100周围的亮度或噪音。传感器935还可以包括接收gps信号并且测量装置的纬度、经度和高度的全球定位系统(gps)传感器。

因此，前面示出了信息处理系统100的示例性硬件配置。上述部件中的每一个都可以使用通用构件或者专用于每个部件的功能的硬件来实现。这种配置也可以根据实现时的技术水平进行适当的修改。

<3.结论>

根据本公开内容的实施方式，如上所述提供了信息处理系统100，信息处理系统100能够检测已经在显示表面上执行的至少具有限定的方向的用户的手势，并且根据用户的手势执行处理。根据本公开内容的实施方式的信息处理系统100可以在执行根据用户的手势的处理时考虑用户的意图来执行处理。

由本文所描述的各个设备执行的处理中的各个步骤不一定必须按时序图或流程图中描述的顺序按时间顺序执行。例如，由各个设备执行的处理中的各个步骤可以按照与流程图中描述的顺序不同的顺序执行，或者可以并行执行。

还可以制造用于使硬件例如内置在各个设备中的cpu、rom和ram实现与各个设备的结构元件的功能相同的功能的计算机程序。还可以提供其中存储有计算机程序的存储介质。功能框图中描述的各个功能块配置有硬件，从而允许通过硬件实现一系列处理。

以上已经参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于以上示例。本领域技术人员可以在所附权利要求书的范围内找到各种变化和修改，并且应该理解，这些变化和修改将自然地归入本公开内容的技术范围内。

尽管在上述描述中各种操作是由用户在显示屏幕上用他/她的手指执行操作来执行的，但是本公开内容不限于这种示例。手指是根据本公开内容的操作构件的示例，可以使用笔型装置例如触控笔替代手指作为操作构件。注意，操作构件是指用于在显示表面上执行操作的构件。

此外，本说明书中描述的效果仅仅是说明性的或示例化的效果，并且不是限制性的。也就是说，利用上述效果或替代上述效果，根据本公开内容的技术可以实现根据本说明书的描述本领域技术人员将清楚的其他效果。

另外，本技术还可以配置如下。

(1)一种显示控制装置，包括：

确定单元，其根据针对显示表面已经执行的操作来确定手势的内容；以及

效果决定单元，其决定与由所述确定单元确定的手势对应的、设定在所述显示表面上显示的显示对象的布置方向的效果和成为所述效果的目标的显示对象。

(2)根据(1)所述的显示控制装置，其中，所述效果决定单元基于所决定的效果来决定成为所述效果的目标的显示对象在所述显示表面上的布置。

(3)根据(2)所述的显示控制装置，其中，所述操作由成像装置成像，并且所述显示对象由在预定物体的表面上执行投影的投影装置显示。

(4)根据(1)至(3)中任一项所述的显示控制装置，其中，在所述确定单元根据所述操作确定存在两个或更多个候选作为所述手势的候选的情况下，所述效果决定单元基于多个候选来执行决定所述效果的处理。

(5)根据(4)所述的显示控制装置，其中，在存在两个或更多个候选作为所述手势的候选的情况下，所述效果决定单元选择根据所执行的操作估计的多个手势的共同效果。

(6)根据(1)至(5)中任一项所述的显示控制装置，其中，在存在两个或更多个候选作为与所述确定单元已经确定的手势对应的效果的目标的显示对象的候选的情况下，所述效果决定单元基于多个候选来执行决定成为所述目标的显示对象的处理。

(7)根据(6)所述的显示控制装置，其中，在存在两个或更多个候选作为成为所述效果的目标的显示对象的候选的情况下，所述效果决定单元将与已经执行所述操作的位置最接近的位置处的显示对象视为成为所述目标的显示对象。

(8)根据(1)至(7)中任一项所述的显示控制装置，其中，在同时执行多个操作的情况下，所述确定单元通过使已经较早完成的操作的内容优先来确定手势。

(9)根据(1)至(7)所述的显示控制装置，其中，在同时执行多个操作的情况下，所述确定单元通过使在接近与所述操作的目标接近的显示对象的位置处已经执行的操作的内容优先来确定手势。

(10)根据(1)至(9)中任一项所述的显示控制装置，其中，在同时执行多个操作的情况下，所述确定单元通过使用户中由最后一个触摸呈现效果的目标的显示对象的用户已经执行的操作的内容优先来确定手势。

(11)根据(1)至(10)中任一项所述的显示控制装置，其中，在所述操作是使用操作构件在所述显示表面上绘制线的操作的情况下，所述确定单元确定手势是用于使重心在所述线的垂直线的范围内的显示对象沿着所述线排列。

(12)根据(1)至(11)中任一项所述的显示控制装置，其中，在所述操作是使用操作构件在所述显示表面上绘制线的操作的情况下，所述确定单元确定所述手势是用于使在所述显示表面上显示的所有显示对象沿着所述线排列。

(13)根据(1)至(12)中任一项所述的显示控制装置，其中，在所述操作是使用操作构件在所述显示表面上沿第一方向绘制第一线并且随后沿作为基本上垂直于所述第一方向的方向的第二方向绘制第二线的操作的情况下，所述确定单元确定手势是用于使至少一个显示对象移动至沿着所述第一线的位置并且使所述显示对象在以所述第二方向为基准的布置方向上显示。

(14)根据(13)所述的显示控制装置，其中，所述效果决定单元根据所述第一线和所述第二线的长度来调整要移动的显示对象的显示大小。

(15)根据(1)至(14)中任一项所述的显示控制装置，其中，在所述操作是与在所述显示表面上存在的物理对象处于预定位置关系的操作的情况下，所述效果决定单元基于所述物理对象的布置位置来使所述显示对象显示。

(16)根据(15)所述的显示控制装置，其中，在所述操作是沿着所述物理对象绘制线的操作的情况下，所述效果决定单元使所述显示对象显示在所述物理对象上。

(17)根据(15)所述的显示控制装置，其中，在所述操作是在多个所述物理对象之间绘制线的操作的情况下，所述效果决定单元使所述显示对象显示在多个所述物理对象之间。

(18)根据(1)至(17)中任一项所述的显示控制装置，其中，所述效果决定单元根据执行所述操作的用户的位置或手的角度来对所述显示对象的显示进行校正。

(19)一种显示控制方法，包括通过处理器执行以下操作：

根据针对显示表面已经执行的操作来确定手势的内容；以及

决定与所确定的手势对应的、设定在所述显示表面上显示的显示对象的布置方向的效果和成为所述效果的目标的显示对象。

(20)一种计算机程序，用于使程序执行以下操作：

根据针对显示表面已经执行的操作来确定手势的内容；以及

决定与所确定的手势对应的、设定在所述显示表面上显示的显示对象的布置方向的效果和成为所述效果的目标的显示对象。

附图标记列表

100信息处理系统

200显示控制单元