信息处理设备和信息处理方法

专利名称：信息处理设备和信息处理方法
技术领域：
本发明涉及信息处理设备和信息处理方法，更具体而言，涉及能够直接和自然地操作触摸板上的小对象的信息处理设备和信息处理方法。
背景技术：
近来，在移动终端设备中，根据显示器的屏幕分辨率的改善而安装了高清晰度显 示屏幕。结果，可以在近来开发的移动终端设备中实现与在一般落地型设备中相同的图像显不。例如，在一般落地型设备的显示屏幕上以大约10平方毫米的尺寸显示64X64像 素的缩略图。另一方面，在近来开发的移动终端设备的高清晰度显示屏幕上，以较小的尺寸 (例如以大约4平方毫米的尺寸)显示缩略图。另外，用于在高清晰度显示屏幕上配置缩略图的像素数量不根据一般设备的像素 数量改变而改变。例如，在上述示例中，在高清晰度显示屏幕上显示64X64像素的缩略图。 因此，在近来开发的安装有高清晰度显示屏幕的移动终端设备中，可以通过在屏幕上同时 布置多个缩略图来改善鸟瞰图，而不使得可视性变差。鸟瞰图的改善是具有物理上小的屏 幕面积的移动终端设备特别需要的要求。同时，作为对显示在移动终端设备的触摸板上的对象的操作，可以实现通过使用 手指来执行的直接操作(例如参见JP-A-5-100809)。

发明内容
但是，即使在通过安装高清晰度显示屏幕而可以在不使得可视性变差的范围内减 小对象显示的尺寸的情况下，也难于减小用户手指的面积。因此，难于通过使用手指直接地 操作例如在触摸板上以大约4平方毫米的大小显示的对象。在JP-A-5-100809中，已经公开了一种根据手指的移动而移动对象的技术。但是， 即使在显示比手指的接触面积小得多的多个对象的情况下，仅仅通过应用上述技术，仅仅 可以实现根据手指在一个方向上的移动的操作。通过执行这样的操作，难于以自然的方式 来移动所有的对象。因此，需要以自然的方式在触摸板上直接地操作小对象。根据本发明的一个实施例，提供了一种信息处理设备，包括显示部件，用于显示 包括对象的图像；检测部件，其层叠在所述显示部件上，用于检测与所述显示部件的接触； 以及控制部件，用于根据在所述显示部件中显示的对象的面积所述显示部件中由所述检测 部件检测到所述接触的区域的面积的比率，来切换所述显示部件的操作模式。在上述的信息处理设备中，可以进行配置以使得在使得接触对象与所述显示部 件接触的情况下，在预定方向上将接触对象移动预定距离的操作是绘迹操作；作为操作模 式，存在第一模式，在所述第一模式中，作为对所述绘迹操作的处理，根据所述绘迹操作、沿着手指的轨迹来移动在所述显示部件中显示的对象中与所述手指接触的对象；以及第二 模式，在所述第二模式中，作为对所述绘迹操作的处理，根据所述绘迹操作、沿着所述手指 的轨迹来移动在所述显示部件中显示的对象中的一个或更多个以便收集它们，并且所述控 制部件在所述比率等于或者大于预定值的情况下将所述操作模式切换到所述第一模式，并 在所述比率小于所述预定值的情况下将所述操作模式切换到所述第二模式。另外，所述控制部件也可以控制与所述第一模式和所述第二模式中被切换到的模 式相对应的处理的执行。另外，在执行切换到第二模式的情况下，所述控制部件可以通过使用由物理引擎 计算出的结果来控制所述处理的执行。另外，在所述显示部件上显示的对象中有多个要操作的目标对象的情况下，所述 控制部件可以通过使用所述多个目标对象的面积的平均值或者所述平均值的处理值作为 所述对象的面积来计算所述比率。根据本发明的另一个实施例，提供了一种与根据本发明的上述实施例的信息处理 设备相对应的信息处理方法。根据本发明的实施例的信息处理设备和信息处理方法，显示包括对象的图像，检 测用于所述显示的接触，并且根据所显示的对象的面积与检测到所述接触的区域的面积的 比率来切换操作模式。根据本发明的所述实施例，可以以自然的方式来直接地操作在触摸板上的小对象。


图1A-1C是图示通过使用手指在一般触摸板上的操作的图。图2是示出作为根据本发明的实施例的信息处理设备的移动终端设备的外部配 置示例的透视图。图3是图示由静电触摸板使用的检测技术的图。图4是示出在图2中所示的移动终端设备的内部配置示例的方框图。图5A和5B是图示作为操作模式在图2中示出的移动终端设备的直接移动模式和 收集移动模式的图。图6A和6B是表示在手指的接触面积的随时间变化的图。图7是图示接触时间和恢复系数之间的关系的图。图8是图示在图2中所示的移动终端设备的符合操作模式的交互处理的示例的流 程图。图9A和9B是图示在图2中所示的移动终端设备的操作模式的自动切换的具体示 例的图。图IOA和IOB是图示在图2中所示的移动终端设备的操作模式的自动切换的具体 示例的图。图IlA和IlB是图示在图2中所示的移动终端设备的操作模式的自动切换的具体 示例的图。图12A和12B是图示在图2中所示的移动终端设备的操作模式的自动切换的具体示例的图。
具体实施例方式一般操作首先，在描述本发明的实施例之前，将说明对触摸板上的图像的一般操作的概述，以容易明白本发明的实施例。图1A-1C是图示在JP-A-5-100809中公开的通过使用手指在一般触摸板上的操作 的图。例如，将显示图IA的右侧所示的对象1的状态假定为初始状态。在所述初始状 态中，作为用户的操作，当手指接触由位于对象1右侧的白箭头表示的位置时，根据在触摸 板上的手指的移动速度来确定对象1的移动速度。然后，触摸板的显示状态从初始状态转 变到显示图IA的左侧所示的对象1的状态。换言之，在手指移动的方向上移动对象1的显 示。在这种情况下，对象1的移动变为惯性移动，以手指的移动速度为所述惯性移动的初始 速度。例如，将显示图IB的下部所示的对象1的状态假定为初始状态。在所述初始状态 中，假定在对象1的下侧所示的白色箭头表示的位置被手指接触。由白色箭头表示的位置 是从对象1的预定侧的中心偏斜的位置。在这种情况下，将对象1围绕由手指接触的位置 转动预定角度，并且触摸板的显示状态从初始状态向显示在图IB的上侧所示的对象1的状 态转变。换言之，在手指移动的方向上移动对象1。例如，将显示图IC的左侧所示的对象1的状态假定为初始状态。在所述初始状态 中，假定由对象1上的白色箭头表示的位置被手指接触。在这种情况下，触摸板的显示状态 从初始状态向显示图IC的右侧上所示的对象1的状态转变。换言之，在手指移动的方向上 移动对象1。如上所述，在触摸板上的一般操作中，根据在一个方向上进行的手指的移动来移 动对象。但是，在存在比手指的接触面积小得多的多个对象的情况下，难以仅仅根据在一个 方向上进行的手指的移动来自然地移动所有对象。因此，为了仅仅根据在一个方向上进行 的手指的移动来自然地移动对象，例如，可以考虑一种将对象放大以便将对象显示成可以 被手指处理的大小的方法。但是，这样的方法不合适。原因是在面向操作的显示(放大对 象的显示)和面向鸟瞰图的显示(保持小对象被显示的缩小显示)之间的切换导致操作性 和可视性的变差。因此，本发明的发明人已经开发了一种技术，以允许用户执行对位于触摸板上的 对象进行“收集(collecting)”并根据所述操作来移动对象的直观操作。通过应用这样的 技术，即使在触摸板上存在比手指的接触面积小得多的多个对象的情况下，对于用户而言 也可以直接和自然地移动对象。以下，将说明应用了这样的技术的信息处理设备，S卩，作为根据本发明的实施例的 信息处理设备的移动终端设备。移动终端设备的外部配置示例图2是示出作为根据本发明的实施例的信息处理设备的移动终端设备的外部配 置示例的透视图。
在移动终端设备11的预定表面上，布置了静电触摸板21。通过将用于触摸板的静 电触摸传感器21-S (如图4中所示，将在以下描述)层叠在显示单元21-D (如图4中所示， 将在以下描述)上来配置静电触摸板21。当使得用户的手指与静电触摸板21的显示单元 21-D的屏幕接触时，以触摸板的静电触摸传感器21-S的静电电容改变的形式检测到所述 接触。然后，通过CPU 22(如图4中所示，将在以下描述)来识别由触摸板的静电触摸传感 器21-S检测到的手指f的接触位置的坐标的转变(随时间转变)等。根据所述识别的结 果来检测操作的内容。下面将说明所述操作及其检测技术的具体示例。利用静电触摸传感器的接触检测图3是图示由静电触摸板21使用的检测技术的图。通过组合以矩阵形状(例如10X7)布置在显示单元21-D中的静电传感器的组合 来配置在静电触摸板21中使用的用于触摸板的静电触摸传感器21-S。静电传感器具有根 据静电电容的改变而持续地改变的静电电容值。因此，在接触对象比如手指f接近或者接 触静电传感器时，静电传感器的静电电容值增大。将在以下描述的CPU 22持续地监视静电 传感器的静电电容值。当增大量的改变超过阈值时，CPU 22确定有与静电触摸板21接近 或者接触的手指f等的“接触”。换言之，CPU 22根据检测到“接触”存在的静电传感器的 布置位置来检测手指f等的接触位置的坐标。换言之，CPU 22可以同时监视构成用于触摸 板的静电触摸传感器21-S的所有静电传感器的静电电容值。CPU 22同时监视所有静电传 感器的静电电容值的改变，并执行内插，由此CPU 22可以检测到与静电触摸板21接近或者 接触的手指f等的位置、手指f等的形状、手指f等的接触面积等。例如，在图3中图示的示例中，在静电触摸板21中，黑色显示区域表示手指f未与 其接近或者接触并且其静电电容未改变的区域。另外，白色显示区域表示手指f与其接近 或者接触并且其静电电容增大的区域。在这种情况下，CPU 22可以将白色区域的坐标识别 为手指f的位置，将白色区域的形状检测为手指f的形状，并且将白色区域的面积检测为手 指f的接触面积。在这里的说明中，接触不仅包括静态接触(仅仅与特定区域的接触)，而且包括动 态接触(由在绘制预定轨迹的同时移动的接触对象比如手指f等进行的接触)。例如，手指 f在静电触摸板21上也是接触的一种形式。以下，接触不仅包括完全接触，而且包括接近。另外，CPU 22可以通过在时间系列上检测手指f等的接触位置来识别在静电触摸 板21上的手指等的轨迹。另外，CPU 22可以通过检测对应于这种轨迹的操作来执行对应 于所述操作的预定处理(以下称为交互处理)。到目前为止，已经描述了用于静电触摸板21的检测技术。移动终端设备的配置示例图4是示出在图2中所示的移动终端设备11的内部配置示例的方框图。移动终端设备11被配置为除了上述的静电触摸板21之外，还包括CPU (中央处理 单元)22、非易失性存储器23、RAM (随机存取存储器)24和驱动器25。通过用于触摸板的静电触摸传感器21-S和显示单元21-D来配置如上所述的静电 触摸板21。CPU 22控制移动终端设备11的整体操作。因此，用于触摸板的静电触摸传感器 21-S、显示单元21-D、非易失性存储器23、RAM 24以及驱动器25连接到CPU 22。
6
例如，CPU 22可以执行如下的一系列处理。CPU 22产生线程(以下被称为静电电 容监视线程)，所述线程在处理开始时等监视静电触摸板21的静电电容的改变。然后，CPU 22根据静电电容监视线程的监视结果来确定用户的手指f是否与静电触摸板21接触。然 后，在用户的手指f被确定为与静电触摸板21接触的情况下，CPU 22检测手指f的接触面 积。CPU 22计算在静电触摸板21上显示的对象的面积与手指f的接触面积的比率(面积 比率)，并且根据所述面积比率来改变操作模式。在操作模式改变后，在根据操作模式进行 操作的情况下，CPU 22执行对应于所述操作的交互处理。以下，这样的一系列处理被称为 符合操作模式的交互处理。下面将说明操作模式的具体示例和符合操作模式的交互处理的 详细示例。非易失性存储器23存储各种信息。例如，即使当电源的状态转变为断开(OFF)状 态时，也在非易失性存储器23中存储要存储的信息等。当CPU 22执行各种处理时，RAM 24作为工作区域暂时存储可能需要的程序和数据。驱动器25驱动可拆卸介质26，诸如磁盘、光盘、磁光盘或者半导体存储器。移动终端设备的操作模式具有上述配置的移动终端设备11可以根据对象的面积与手指f的接触面积的比 率(面积比率)自动地例如在如下两个操作模式之间切换。在所述两个操作模式的任何一个中，绘迹操作是用户的基本操作。绘迹操作表示 使得接触对象(手指f等)与预定区域接触、然后以特定区域作为起点，并且保持接触对象 (手指f等)的接触，将接触对象(手指f等)在特定方向上移动(拖动)特定距离的操 作。但是，当在静电触摸板21上执行绘迹操作时，操作的含义(指示内容)根据操作 模式而不同。换言之，在所述两个操作模式之一中，可以将“根据绘迹操作、沿着手指f的轨来 移动与手指f接触的对象”的交互处理分配给绘迹操作。换言之，在这样的操作模式中的绘 迹操作对于用户而言与在一般触摸板上的操作相同，并且对应于通过使用手指f来直接地 移动对象的操作。因此以下，这样的绘迹操作被称为直接移动操作。另外，以下，这样的操 作模式，即绘迹操作被识别为直接移动操作的操作模式，被称为直接移动模式。另一方面，在所述两个操作模式的另一个中，可以向绘迹操作分配“根据绘迹操 作、沿着手指f的轨迹移动一个或更多个对象(与手指f接触的对象以及位于手指周围的 对象)以便收集它们”的交互处理。在这样的操作模式中的绘迹操作对应于通过使用用户 的手指来收集多个对象的操作。因此，以下，这样的绘迹操作被称为收集操作。另外，以下， 这样的操作模式，即绘迹操作被识别为收集操作的操作模式，被称为收集移动模式。通过根据对象的面积与手指f的接触面积的比率(面积比率)而在直接移动模式 和收集移动模式之间适当地切换，可以执行无缝的对象操作。图5A和5B是图示直接移动模式和收集移动模式的图。在图5A和5B中所示的静电触摸板21中，绘制了各种图像的矩形中的每个表示一个对象。例如，在下面的示例中，根据在静电触摸板21上显示的对象的面积的平均值或者其处理值与静电触摸板21上的手指f的接触面积的比率来自动执行从直接移动模式和收 集移动模式中的一个向另一个的切换。在此，“自动执行”表示移动终端设备11根据其确定 结果(例如，根据预定程序的确定结果)来执行处理，而无需用户的明确引导的介入。在对象的大小比手指f的接触面积小得多的情况下，即如图5A中所示，在难于通 过使用手指f来操作一个任意对象的状态中，可以执行向收集移动模式的切换。另一方面，在对象的大小等于或者大于手指f的接触面积的情况下，即如图5B中所示，在容易通过使用手指f来操作一个任意对象的状态中，可以执行向直接移动模式的 切换。如图5A和5B所示，对象的大小可能不是相同的，而是彼此不同的，即使在以同一 缩放比率来显示对象的情况下也是如此。因此，可能需要在确定操作模式之间的切换时确 定要与手指f的接触面积相比较的对象的大小。以下，对象的这种大小被称为模式确定大 小。用于确定模式确定大小的技术不特别受限。例如，在这个实施例中，如上所述，使用一 种根据在静电触摸板21上显示的对象的面积的平均值来确定作为模式化确定大小的所述 大小的技术。因此，基于平均值的所述大小具有广义的概念，不仅包括平均值，而且包括根 据所述平均值处理的大小。更具体而言，例如在这个实施例中，在模式确定大小与在静电触摸板21上的手指 f的接触面积的比率(面积比率)等于或者大于预定值的情况下，可以配置为执行向直接移 动模式的切换。例如，在面积比率(=模式确定尺寸/接触面积)等于或者大于1的情况 下，可以配置为执行向直接移动模式的切换。换言之，在手指f的接触面积小于模式确定大 小(对象的平均大小)的情况下，可以配置为执行向直接移动模式的切换。另一方面，在面积比率小于预定值的情况下，可以配置为执行向收集移动模式的 切换。例如，在面积比率小于1的情况下，可以配置为执行向收集移动模式的切换。换言之， 在手指f的接触面积等于或者大于模式确定大小(对象的平均大小)的情况下，可以配置 为执行向收集移动模式的切换。在此，将说明在图5A中所示的收集移动模式中的CPU 22的交互处理的示例。为了以模拟的方式根据手指f来显示对象的收集，CPU 22使用物理引擎。所述物 理引擎指的是用于计算物理碰撞(physical collision)的软件库。作为代表性的物理引 擎，有Box2D(商标)。例如，在这个实施例中，使用专用于二维空间的物理引擎。在这种情况下，CPU 22监视构成用于触摸板的静电触摸传感器21-S的静电传感 器的静电电容值的改变。通过使用物理引擎，CPU 22针对具有等于或者大于阈值的静电电容改变的静电传 感器而产生物理对象，并将所述物理对象布置在与静电触摸板21上的布置位置对应的物 理世界的位置中。在此，具有等于或者大于阈值的静电电容改变的静电传感器表示从中检 测到接触的静电传感器。因此，通过使用物理引擎，CPU 22可以在与静电触摸板21的与手 指f接触的区域相对应的物理世界的空间(二维区域)中布置用于模拟手指f的物理对象， 以便被识别。以下，模拟手指f的对象被称为手指对象。另外，CPU 22通过使用物理引擎来将用于配置静电触摸板21的显示单元21_D中 显示的每个对象(显示对象)定义为各个形状的物理对象。然后CPU 22通过使用物理引 擎来将模拟各个显示对象的各个物理对象布置在与静电触摸板21上的各个布置位置对应的物理世界的位置中。以下，用于模拟在显示单元21-D中显示的对象(显示对象)的物理对象将被称为显示目标对象。如上所述，通过使用物理引擎，CPU 22可以通过实时地使用每个静电传感器的物 理对象来表示接触状态。当通过在这样的状态中使用手指f来执行收集操作时，手指对象沿着物理世界中 的手指f的移动轨迹来移动。在手指对象在其移动的中途与显示目标对象碰撞的情况下， 在物理世界中出现下面的现象。与手指对象碰撞的显示目标对象基于适用于物理世界的物 理定律(使用如下所述的恢复系数(restitution coefficient)的碰撞定律)而被轻弹 (flip)。另外，在被轻弹的显示目标对象与另一个显示目标对象碰撞的情况下，所述显示目 标对象彼此轻弹。CPU 22通过反映物理世界中的所述现象来移动在显示单元21-D中显示的对象 (显示对象)。
结果，在用户的视点上，可以可视地识别下述状态，在所述状态中，在静电触摸板 21中显示的对象(显示对象)与手指f碰撞，并通过在静电触摸板21上执行收集操作而在 自然方向上被轻弹。接触时间与恢复系数之间的关系在由物理引擎形成的物理世界中，可以应用与自然世界的物理定律不同的任意物 理定律。但是，为了使用户具有自然执行收集操作的实际感觉，优选的是按照以下来确定恢 复系数。换言之，优选的是将在手指f与静电触摸板21接触后直到手指f的接触面积达到 模式确定大小的时间间隔(以下称为接触时间)反映到恢复系数中。以下，将参考图6A、6B 和7来说明接触时间与恢复系数之间的关系。图6A和6B是表示手指f的接触面积的随时间变化的图。以下，将手指f与静电触摸板21接触的速度称为接触速度。图6A表示在接触速度低的情况下手指f的接触面积的随时间变化。另一方面，图 6B表示在接触速度高的情况下手指f的接触面积的随时间变化。在图6A和6B中，水平轴表示时间轴。在此，每个区域C1-C3表示手指f在特定 时间t的接触面积。换言之，区域C1-C3的面积表示手指f的接触面积。假定时间以区域 C1-C3的顺序过去。在图6A和6B中，假定手指f的接触开始的时间是时间t0。另外，假定手指f的接 触面积与模式确定大小重合的时间对于图6A的情况而言是时间tl，并且对于图6B的情况 而言是时间t2。以下，假定在模式确定大小与手指f和静电触摸板21的接触面积的比率(面积比 率=模式确定大小/接触面积)小于1。换言之，在这种情况下，可以在手指f的接触面积 等于或者小于模式确定大小的情况下执行向直接移动模式的切换。另一方面，可以在手指 f的接触面积大于模式确定大小的情况下执行向收集移动模式的切换。换言之，在图6A中，在从时间t0到时间tl的时间间隔mdl中，移动终端设备11 的操作模式是直接移动模式。换言之，时间间隔mdl是接触时间。在开始接触后过去接触 时间mdl的时间tl，手指f的接触面积与模式确定大小重合。因此，移动终端设备11的操 作模式从直接移动模式向收集移动模式改变。其后，移动终端设备11的操作模式变为收集移动模式。 另一方面，在图6B中，在从时间t0到时间t2的时间间隔md2中，移动终端设备11 的操作模式是直接移动模式。换言之，时间间隔md2是接触时间。在开始接触后过去接触 时间md2的时间t2，手指f的接触面积与模式确定大小重合。因此，移动终端设备11的操 作模式从直接移动模式向收集移动模式改变。其后，移动终端设备11的操作模式变为收集 移动模式。通过将图6A和图6B相比较，可以注意到，在低接触速度情况 的图6A中表示的接 触时间mdl比在高接触速度情况的图6B中表示的接触时间md2更长。换言之，可以注意到， 接触时间根据接触速度而改变。在此，在用户的视点上，接触速度高的情况对应于手指f有力地(迅速地)接触静 电触摸板21的情况。在这种情况下，用户感觉下述情况很自然当与手指f碰撞时，显示在 静电触摸板21上的对象(显示对象)有力地向后移动(像这样表示)。换言之，在接触速 度高的情况下，优选地是物理引擎中的恢复系数高。另一方面，对于用户而言，接触速度低的情况对应于手指f与静电触摸板21轻轻 (缓慢地)接触的情况。在这种情况下，用户感觉下述情况很自然当与手指f碰撞时，显 示在静电触摸板21上的对象(显示对象)不向后移动(像这样表示)多少。换言之，在接 触速度低的情况下，优选的是物理引擎中的恢复系数低。因此，作为在物理引擎中应用的物理定律，例如，优选的是应用在图7中表示的定律。图7是图示接触时间与恢复系数之间的关系的图。在图7中，水平轴表示接触时间，垂直轴表示恢复系数。在图7中表示的示例中， 可以注意到，当接触时间缩短时，恢复系数增大。在此，接触时间的缩短表示移动速度的提 高。因此，换言之，可以注意到，随着移动速度变高，恢复系数增大。通过使图7中表示的图形(其数据)存储在图4中表示的RAM 24等中，CPU 22可 以通过测量接触时间来计算对应于接触时间的恢复系数。然后，在收集移动模式中执行交 互处理的中途，CPU 22可以使用计算出的恢复系数来进行通过物理引擎执行的物理计算。 结果，对于用户而言，收集操作可以像在真实世界中收集对象的情况下那样被执行为自然 操作。另外，在还包括振动传感器作为移动终端设备11的构成部件元件的情况下，可以 检测由与静电触摸板21的接触引起的振动。在这种情况下，CPU 22可以另外将由振动传 感器检测到的振动量反映到恢复系数中。例如，CPU 22可以将恢复系数设置为随着振动量 增大而增大。符合操作模式的处理接着，作为移动终端设备11的处理的示例，将详细说明符合操作模式的交互处理。图8是图示符合操作模式的交互处理的示例的流程图。在步骤Sll中，CPU 22获取静电触摸板21的静电电容，并且以任意的分辨率来执 行静电电容的内插。换言之，在符合操作模式的交互处理的开始时间点，CPU 22产生静电电 容监视线程，如上所述。CPU 22通过静电电容监视线程来获取静电触摸板21的静电电容，计算所获取的静电电容与在产生所述线程时的静电电容之间的差，并以任意的分辨率来执 行内插。在步骤S12，CPU 22确定手指f与静电触摸板21的接触面积是否等于或者大于阈 值(例如静电触摸板21的面积的30% )。当接触面积小于阈值时，可以假定没有手指f与静电触摸板21的接触。因此，在 步骤S12中确定“否”，并且处理返回到步骤S11。然后，重复其后的处理。其后，当用户将手指f与静电触摸板21接触时，接触面积在一个时间点等于或者 大于阈值。在所述时间点，在步骤S12中确定“是”，并且处理进行到步骤S13。
在步骤S13中，CPU 22确定是否接触是新检测到的接触。当与静电触摸板21的接触不是新检测到的接触时，即在操作中途的接触时，在步 骤S13中确定“否”，并且处理返回到步骤S11。然后，重复其后的处理。另一方面，当与静电触摸板21的接触是新检测到的接触时，在步骤S13中确定 “是”，并且处理进行到步骤S14。在步骤S14中，CPU 22开始测量接触时间。换言之，在步骤S13的处理中与静电 触摸板21的接触被确定为新检测到的接触时的时间被设置为参考时间。CPU 22从所述参 考时间开始时间测量操作，并且继续时间测量操作直到接触面积达到模式确定大小(直到 执行后述的步骤S21的处理)。在步骤S15中，CPU 22将静电电容离散化，并将具有等于或者大于阈值的静电电 容值的像素转换为屏幕上的物理对象。换言之，CPU 22产生手指对象，并将手指对象布置 在物理引擎中的物理世界的空间(二维区域)中。在步骤S16中，CPU 22计算在静电触摸板21的屏幕(显示单元21_D)上的任意 区域内的对象的面积的平均(平均值或者平均值的处理值)，作为模式确定大小。用于计算模式确定大小的方法不具体受限。例如，可以使用一种用于计算位于静 电触摸板21的整个屏幕区域中或者靠近手指f的区域中的对象的面积的算术平均或者几 何平均的技术。另外，如上所述，可以将对象的面积的平均值用作模式确定大小。或者，可 以将对象的面积的平均值的处理大小用作模式确定大小。更具体而言，例如，可以将与对象 的面积的平均值的任意比率(面积的平均值X α %)对应的大小用作模式确定大小。在步骤S17中，CPU 22确定接触面积是否等于或者大于模式确定大小。在接触面积等于或者大于模式确定大小的情况下，在步骤17中确定“是”，并且处 理进行到步骤S21。换言之，移动终端设备11的操作模式被切换为收集移动模式，并且执行 作为步骤S21及其后的处理的、对应于收集移动操作的交互处理。下面说明步骤S21和其 后的处理。另一方面，在接触面积小于模式确定大小的情况下，在步骤S17中确定“否”，并且 处理进行到步骤S18。换言之，移动终端设备11的操作模式被切换到直接移动模式，并且执 行作为步骤S18和其后的处理的、对应于直接移动操作的交互处理。在步骤S18中，CPU 22确定手指f是否与对象接触。在手指f未与对象接触的情况下，在步骤S18中确定“否”，并且处理返回到步骤 Sii0然后重复其后的处理。另一方面，在手指f与对象接触的情况下，在步骤S18中确定“是”，并且处理进行到步骤S19。在步骤S19中，根据手指f的移动来移动接触的对象。换言之，在用户的视点上， 在这个时段中，执行直接移动操作。因此，CPU 22执行对应于直接移动操作的交互处理。因 此，处理进行到步骤S20。下面说明步骤S20和其后的处理。与用于直接移动模式的上述处理相反，用于收集移动模式的情况的处理如下。在步骤S17中，在接触面积等于或者大于模式确定大小的情况下，处理进行到步马聚S21 ο在步骤S21中，CPU 22完成接触时间的测量。在步骤S22中，CPU 22在恢复系数中反映接触时间。换言之，在恢复系数中反映 在步骤S21中测量的接触时间(参见图7)。在步骤S23中，CPU 22根据物理计算来移动对象(从而执行显示控制)。换言之， 在用户的视点上，在这个时段中，执行收集操作。因此，CPU 22执行对应于收集操作的交互 处理。因此，处理进行到步骤S20。在步骤S20中，CPU 22确定是否已经指向所述处理的完成。在还没有指向所述处理的完成的情况下，在步骤S20中确定“否”，并且处理返回 到步骤S11。然后，重复其后的处理。换言之，重复步骤Sll至S20的循环处理，直到指向了 所述处理的完成。其后，在已经指向所述处理的完成的情况下，在步骤S20中确定“是”，符合操作模 式的交互处理完成。操作模式的自动切换的具体示例在上述示例中，作为操作模式(收集移动模式和直接移动模式)的切换条件(以 下称为模式切换条件)，采用手指f的接触面积与模式确定大小相同的条件。作为满足模式切换条件的情况，可以考虑各种情况。以下，针对根据几种不同情形 来满足模式切换条件的每种情况，将描述由移动终端设备11执行的操作模式的自动切换 的具体示例。图9A、9B、10A、10B、11A、11B、12A和12B是图示由移动终端设备11执行的操作模
式的自动切换的具体示例的图。与图5A和5B类似，在图9A-12B中，绘制了不同图像的每个矩形也表示一个对象。 另外，暗区域(包括在图9A-11B中被手指f遮住的区域)表示手指f的接触区域。图9A和9B是图示在根据显示缩放比的改变而满足模式切换条件的情况下，由移 动终端设备11执行的操作模式的自动切换的具体示例的图。假定显示缩放比对于图9A的情况是30%，并且显示缩放比对于图9B的情况是 100%。在这样的情况下，手指f的接触面积在图9A和9B的任何一个中都不改变。但是， 在图9A和9B中，根据显示缩放比，对象的大小彼此不同。换言之，当在图9B中表示的对象 的大小是100%时，在图9A中所示的静电触摸板21上的对象的大小减小为30%。因此，在图9A中所示的状态中，对象的大小比手指f的接触面积小得多。结果，在 图9A中所示的状态中，手指f的接触面积等于或者大于模式确定大小，因此，移动终端设备 11的操作模式自动地被切换到收集移动模式。另一方面，在图9B中所示的状态中，对象的 大小等于或者大于手指f的接触面积。结果，在图9B中所示的状态中，移动终端设备11的操作模式可以被切换到直接移动模式。如上所述，即使在用户以相同的方式使得手指f与对象接触的情况下，当改变显 示缩放比时，移动终端设备11的操作模式被自动地切换，由此，执行不同的交互处理。图IOA和IOB是图示针对根据接触对象的接触面积的改变而满足模式切换条件的 情况，移动终端设备11的操作模式的自动切换的具体示例的图。在图IOA和IOB这两种情况下，缩 放比是相同的，并且对象的大小不改变。但是， 在图IOA中作为接触对象的示例的手指f与静电触摸板21接触，而在图IOB中作为接触对 象的另一个示例的笔g与静电触摸板21接触。换言之，图IOA的接触面积大于图IOB的接 触面积。因此，在图IOA的状态中，对象的大小比手指f的接触面积小得多。结果，在图IOA 的状态中，手指f的接触面积等于或者大于模式确定大小。因此，移动终端设备11的操作 模式被自动地切换到收集移动模式。另一方面，在图IOB的状态中，对象的大小等同于或者 大于笔g的接触面积。结果，在图IOB的状态中，移动终端设备11的操作模式可以被切换 到直接移动模式。如上所述，即使在对象的大小相同的情况下(例如显示缩放比不变)，当接触对象 的接触面积改变时，移动终端设备11的操作模式被自动切换，并且执行不同的交互处理。 结果，例如，与在图IOA和IOB中所示的示例类似，通过使用手指f来移动要收集的对象以 及使用笔g来直接地移动对象来区分使用。图IlA和IlB是图示针对根据手指f的接触面积的改变而满足模式切换条件的情 况，移动终端设备11的操作模式的自动切换的具体示例的图。在图IlA和IlB这两种情况下，缩放比是相同的，并且对象的尺寸不改变。但是， 在图IlA中手指f的平坦部分与静电触摸板21接触，而在图IlB中手指f的顶端与静电触 摸板21接触。换言之，图IlA的接触面积大于图IlB的接触面积。因此，在图IlA的状态中，对象的大小比手指f的平坦部分的接触面积小得多。结 果，在图IlA的状态中，手指f的接触面积等于或者大于模式确定大小，并且移动终端设备 11的操作模式被自动地切换到收集移动模式。另一方面，在图IlB的状态中，对象的大小等 于或者大于手指f的顶端的接触面积。结果，在图IlB的状态中，移动终端设备11的操作 模式可以被自动切换到直接移动模式。如上所述，即使在对象的大小相同的情况下(例如显示缩放比不变)，当手指f的 接触面积改变时，移动终端设备11的操作模式被自动切换，并且执行不同的交互处理。结 果，例如，与在图IlA和IlB中所示的示例类似，通过使用手指f的平坦部分来移动要收集 的对象(通过有力地按下手指f)以及使用手指f的顶端来直接地移动对象(通过轻轻地 使得手指f与对象接触)来区分使用。图12A和12B表示对象的大小根据用户的偏好等而彼此不同的情况，是图示针对 根据显示缩放比的改变而满足模式切换条件的情况，移动终端设备11的操作模式的自动 切换的具体示例的图。假定对于图12A的情况的显示缩放比是50%，并且图12B的显示缩放比是100%。另外，在这个示例中，假定不是根据位于静电触摸板21的整个屏幕上的对象的面 积的平均值来计算模式确定大小，而是根据位于手指f的接触区域周围的小区域中的对象的面积的平均值来计算模式确定大小。如图12A中所示，在这个示例中，即使当显示缩放比相同(在图12A的示例中为 50%)时，在静电触摸板21上显示的对象的大小根据用户的偏好等而彼此不同。例如，用 户偏好的对象或者频繁被操作的对象对应于具有高偏好度的对象，因此，以大尺寸来显示 所述对象。在这种情况下，当手指f的接触区域(黑色区域)处于图12A的状态中时，根据在 图中的上侧显示的两个大对象来计算模式确定大小。因此，当手指f的接触区域(黑色区 域)处于图12A的状态中时，移动终端设备11的操作模式可以被切换到直接移动模式。因 此，当手指f的接触区域(黑色区域)处于图12A的状态中时，用户可以执行直接移动操作。 换言之，可以通过使用手指f来直接地移动位于接触区域中的对象(位于黑色区域之下的 对象)。但是，例如，在图12A的显示状态中，用户难以对位于图中的框S中的对象执行直接移动操作。原因是位于框S中的对象的大小比手指f的接触面积小得多。换言之，在图 12A中的显示状态中，在手指f的接触区域(在所述图中未示出)位于框S内的情况下，手 指f的接触面积等于或者大于模式确定大小，由此，移动终端设备11的操作模式被自动地 切换到收集移动模式。因此，当期望对位于框S内的期望对象执行直接移动操作时，用户可以通过提高 显示缩放比来以放大的尺寸显示期望的对象。例如，用户可以将显示缩放比从图12A的情 况的50%改变为图12B的情况的100%。因此，位于框S内的对象的大小相对于手指f的接 触面积变得较大。结果，手指f的接触面积小于模式确定大小，由此移动终端设备11的操 作模式被自动地切换到直接移动模式。因此，在图12B的状态中，用户甚至可以对在图12A 的状态中位于框S内的对象执行直接移动操作。换言之，在图12B的状态中，用户甚至可以 通过使用手指f对在图12A的状态中位于框S内的对象(难以对其执行直接移动操作的对 象)执行直接移动操作。如上所述，通过改变显示缩放比，可以改变可以对其执行直接移动操作的对象的 数量。换言之，随着显示缩放比的增大，可以提高可以对其执行直接移动操作的对象的数 量。换言之，在选择(过滤)所有对象中的要对其执行直接移动操作的对象的情况下，可以 通过改变缩放比来改变过滤程度。换言之，由于可以根据缩放比来改变可以对其执行直接 移动操作的对象(可以通过拖动来移动的对象)的数量，因此可以仅仅对于过滤出的对象 选择性地执行直接移动操作(通过拖动的移动)。在图9A到12B中，已经分别描述了由移动终端设备11执行的操作模式的自动切 换的具体示例。但是，可以通过组合上述示例中的任何两个或者更多个来执行操作模式的 自动切换。在上述示例中，作为模式切换条件，采用手指f的接触面积与模式确定大小相同 的条件。但是，模式切换条件不限于此，因此，可以如上所述使用任意条件。可以通过硬件或者软件来执行上述的一系列处理。在通过软件来执行所述一系列 处理的情况下，向计算机安装用于配置所述软件的程序。在此，计算机包括内置在专用硬件 中的计算机和可以通过安装各种程序而执行各种功能的计算机，例如通用计算机等。例如，可以由控制图4中所示的移动终端设备11的计算机来执行所述一系列处理。在图4中，CPU 22通过将例如存储在非易失性存储器23中的程序加载到RAM 24 中并执行所述程序来执行上述一系列处理。
由例如CPU 22执行的程序可以通过被记录在作为封装介质的可拆卸介质26等中 而被提供。另外，可以通过诸如局域网、因特网或者数字卫星广播的有线或者无线传输介质 来提供所述程序。可以通过将可拆卸介质26装载到驱动器25中来将所述程序安装到非易失性存储 ^^ 23 ο另外，由计算机执行的程序可以是以预定顺序的时间系列来执行处理的程序，执 行彼此并行的处理的程序，或者在必要时比如在被安装时执行处理的程序。本申请包含与2009年5月11日在日本专利局中提交的日本在先专利申请JP 2009-114195中公开的主题相关的主题，所述日本在先专利申请的整个内容通过引用合并 在此。本领域中的技术人员应当明白，可以根据设计要求和其他因素来进行各种修改、 组合、子组合和改变，只要这些修改、组合、子组合和改变在所附权利要求或者其等同内容 的范围内。
权利要求
一种信息处理设备，包括显示部件，用于显示包括对象的图像；检测部件，其层叠在所述显示部件上，用于检测与所述显示部件的接触；以及控制部件，用于根据在所述显示部件中显示的对象的面积与所述显示部件中由所述检测部件检测到所述接触的区域的面积的比率，来切换所述显示部件的操作模式。
2.根据权利要求1的信息处理设备，其中，在使得接触对象与所述显示部件接触的情况下，在预定方向上将接触对象移动 预定距离的操作是绘迹操作，其中，作为操作模式，存在第一模式，在所述第一模式中，作为对所述绘迹操作的处 理，根据所述绘迹操作、沿着手指的轨迹来移动在所述显示部件中显示的对象中与所述手 指接触的对象；以及第二模式，在所述第二模式中，作为对所述绘迹操作的处理，根据所述 绘迹操作、沿着所述手指的轨迹来移动在所述显示部件中显示的对象中的一个或更多个以 便收集它们，并且其中，所述控制部件在所述比率等于或者大于预定值的情况下将所述操作模式切换到 所述第一模式，并在所述比率小于所述预定值的情况下将所述操作模式切换到所述第二模式。
3.根据权利要求2的信息处理设备，其中，所述控制部件还控制与所述第一模式和所 述第二模式中被切换到的模式相对应的处理的执行。
4.根据权利要求2的信息处理设备，其中，在执行切换到第二模式的情况下，所述控制 部件通过使用由物理引擎计算出的结果来控制所述处理的执行。
5.根据权利要求1的信息处理设备，其中，在所述显示部件上显示的对象中有多个要 操作的目标对象的情况下，所述控制部件通过使用所述多个目标对象的面积的平均值或者 所述平均值的处理值作为所述对象的面积来计算所述比率。
6.一种信息处理设备的信息处理方法，所述信息处理设备包括显示部件，用于显示 包括对象的图像；以及检测部件，其层叠在所述显示部件上，用于检测与所述显示部件的接 触，所述方法包括以下步骤使所述信息处理设备根据在所述显示部件中显示的对象的面积与所述显示部件中由 所述检测部件检测到接触的区域的面积的比率，来切换所述显示部件的操作模式。
7.一种信息处理设备，包括显示单元，其被配置为显示包括对象的图像，接触单元，其层叠在所述显示单元上，并且被配置为检测与所述显示单元的接触，以及控制单元，其被配置为根据在所述显示单元中显示的所述对象的面积与所述显示部 件中由所述检测部件检测到所述接触的区域的面积的比率，来切换所述显示单元的操作模 式。
全文摘要
本发明公开了一种信息处理设备和信息处理方法。所述信息处理设备包括显示部件，用于显示包括对象的图像；检测部件，其层叠在所述显示部件上，用于检测与所述显示部件的接触；以及控制部件，用于根据在所述显示部件中显示的对象的面积与显示部件中的由检测部件检测到所述接触的区域的面积的比率来切换所述显示部件的操作模式。
文档编号G06F3/048GK101887344SQ20101017024
公开日2010年11月17日 申请日期2010年5月4日 优先权日2009年5月11日
发明者本间文规, 梨子田辰志 申请人:索尼公司