能够在多个模式下进行通过手指触摸的输入的用户界面装置、输入操作判断方法和程序的制作方法
【专利摘要】本发明公开了对用户界面装置进行控制的方法，该用户界面装置使得能够通过在画面上显示图像并且通过用户与所显示的图像相关联地利用手指接触操作面来进行用户输入。在用户利用手指接触操作面并且使手指在操作面中的实质相同位置处保持了预定时间以上的情况下，该方法与之后手指的接触位置是否移动无关地，开始进行使画面上所显示的图像在无需在该画面上移动的情况下固定进行显示的固定显示。在开始了固定显示之后、手指的接触位置与画面上所显示的图像中的目标视觉对象的显示位置相对应的情况下，该方法判断为用户已暂定选择了该对象。
【专利说明】能够在多个模式下进行通过手指触摸的输入的用户界面装置、输入操作判断方法和程序
【技术领域】
[0001]本发明涉及与用户界面装置相关联的技术，其中该用户界面装置用于在显示画面上显示图像，并且使得用户能够通过与所显示的图像相关联地利用用户手指对操作面进行操作来进行用户的输入操作或动作。
【背景技术】
[0002]传统上，用户界面装置的使用广泛普及，并且用户界面装置使得用户能够通过利用该用户的手指、触笔等操作显示画面来进行该用户的输入动作或操作。特别地，近年来，以诸如智能电话、平板型计算机、电子书或PDA(个人数字助理)等为代表的便携型信息装置已积极采用用作接收手指的操作的用户界面装置的触摸面板。
[0003]与是否安装触摸面板无关地，为了提高便携性，要求便携型信息装置小型化。在便携型信息装置采用多个物理输入键或按钮作为用户界面装置的情况下，需要缩小这些键本身的大小，这导致便携型信息装置的可操作性变差的风险。作为对比，在便携型信息装置代替物理按钮而采用使用多个虚拟按钮的触摸面板作为用户界面装置的情况下，可以根据分配至这些虚拟按钮的功能来适当地调整这些按钮的大小，由此得到用于提高便携型信息装置的可操作性的容易设计处理。
[0004]另一方面，使用触摸面板与代替地使用物理键的情况相比更有可能产生误输入操作。更具体地，甚至用户无意地与触摸面板触摸的情况也可能被识别或解释为输入操作，或者可能误识别或误解释了用户有意的正确输入操作，由此无法启动期望的功能，并且要求用户重复相同的输入操作。
[0005]为了应对误输入的问题，例如，专利文献I公开了在检测到用户操作之后改变触摸面板的检测周期的技术。该技术能够可区分地或明显地识别用户的在非常短的时间内在触摸面板上发生的短暂触摸、以及用户的通过使手指放置在触摸面板上进行滑动的滚动操作。
[0006]另外，专利文献2公开了如下技术，其中该技术在触摸面板上显示多个用户可选择的按钮，以使得响应于用户的手指触摸了触摸面板来放大并重排所显示的按钮中的至少一个，由此帮助用户选择这些按钮中的期望按钮。此外，专利文献3公开了使得能够检测针对触摸面板的同时发生的多个触摸的多点触控触摸面板进行振动、由此帮助用户从触觉上感知用户进行了特定输入操作的技术。
[0007]注意，还存在检测配备有两个导电相对元件的触摸面板上发生的用户按压、以及测量该按压的强度的技术(参见专利文献4)。此外，还存在使得用户能够基于从显示在成对的触摸面板上的图像所感知到的用户的深度感来从视觉上感知用户进行输入操作时的按压力的强度的技术(参见专利文献5)。
[0008]现有技术文献_9] 专利文献[0010]专利文献1:日本特开2007-10645
[0011]专利文献2:日本特开2008-77272
[0012]专利文献3:日本特开2010-55282
[0013]专利文献4:日本特开2000-194506
[0014]专利文献5:日本特开2007-148617
【发明内容】
[0015]发明要解决的问题
[0016]通常，多数便携型信息装置各自由用户利用单手保持，并且利用该单手的一个手指来操作便携型信息装置。典型地，所选择的一个手指是不用于保持便携型信息装置的拇指。由于该情况，即使在采用上述对策来避免误输入的情况下，所选择的一个手指所确定的可进行的不同操作的数量(即，仅在用户正确地进行了输入操作的情况下，输入操作被识别为反映用户的准确意图并且输入至便携型信息装置的操作)仍是有限的。
[0017]例如，更具体地，在传统的便携型信息装置的示例中，用户使所显示的图像整体在显示画面上移动所需的操作是拖动操作。拖动操作是指通过利用用户的手指向着触摸面板触摸并且使手指以与触摸面板相接触的状态或者以不使手指从触摸面板移开或释放的状态进行移动所产生的动作或姿势(即，触摸和滑动动作)。
[0018]因而，传统的便携型信息装置规定作为唯一可接受操作(即，用户的常规姿势的其中一个、更具体为一系列的触摸和移动的合成操作)的拖动操作，因此在容许的不同手指操作的数量有限的制约下，迫使用户利用该用户的保持便携型信息装置的一只手的手指来操作传统的便携型信息装置。近来，便携型信息装置已被配置成能够启动各种功能。由于该原因，要求便携型信息装置应当接受更多不同的输入操作，但在上述制约下无法很好地满足该要求。
[0019]另外，通过如专利文献I?5所公开的技术等的原本不涉及随着用户的手指在显示画面上移动而使图像整体在该画面上移动的技术无法确实解决上述问题。
[0020]然后，本发明的目的是提供使得用户能够利用用户的不同手指触摸操作来使用触摸面板进行输入操作的用户界面装置、输入操作判断方法和相关联的程序。
[0021]用于解决问题的技术方案
[0022]本发明提供了以下各模式。以下将陈述这些模式，使得将这些模式分割成各项并且进行编号，各项根据需要被描述为引用其它项的编号的形式，并且被描述为引用其它项的编号的形式的各项根据各项所陈述的各技术特征或性质而可能使各技术特征独立或分开。
[0023](I) 一种用户界面装置，其配备有用以将包括作为用户操作对象的对象的图像显示在画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述用户界面装置包括:接触时间判断单元，用于判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上；模式工作单元，用于在所述接触时间判断单元判断为所述保持时间为所述预定时间以上的情况下，判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、将包括所述对象的图像整体不移动而是固定地显示在所述画面上的状态下，监视手指的接触位置接触位置判断单元，用于在所述触摸聚焦模式期间，判断手指的接触位置与所述对象在所述画面上的显示区域是否重叠；以及操作判断控制器，用于在所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠的情况下进行工作，以判断为用户进行了用于暂定选择所述对象的聚焦操作。
[0024](2)在(I)项所述的用户界面装置中，所述模式工作单元在所述保持时间比所述预定时间短的情况下，使所述拖动模式工作，并且在所述保持时间为所述预定时间以上的情况下，使所述触摸聚焦模式工作。
[0025](3)在⑴项或⑵项中所述的用户界面装置还包括:触觉应答机构部，用于在与所述操作面接触的状态下向手指施加触觉应答；以及触觉应答控制器，用于在所述操作判断控制器判断为用户进行了所述聚焦操作的情况下进行工作，以控制所述触觉应答机构部经由所述操作面向手指施加所述触觉应答。
[0026](4)在(3)项中所述的用户界面装置中，所述触觉应答控制器在手指进行了预定动作的情况下进行工作，以控制所述触觉应答机构部向手指施加作为针对手指动作的应答的振动，其中所述振动实质模拟手指通过代替虚拟按钮按压物理按钮而将会从所述物理按钮感受到的触感。
[0027](5)在⑴?(4)项中任一项所述的用户界面装置还包括:按压力检测部，用于检测手指按压所述操作面的按压力；以及按压力判断单元，用于判断所检测到的按压力是否为预定阈值以上，其中，所述操作判断控制器包括第一点击操作判断单元，所述第一点击操作判断单元用于在所述触摸聚焦模式期间、所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠并且所述按压力判断单元判断为所述按压力为所述预定阈值以上的情况下，进行工作，以判断为用户进行了用于启动分配至用户已暂定选择的对象的功能的点击操作。
[0028](6)在⑴?(5)项中任一项所述的用户界面装置还包括:按压力检测部，用于检测手指按压所述操作面的按压力；以及按压力判断单元，用于判断所检测到的按压力是否为预定阈值以上，其中，所述操作判断控制器包括第二点击操作判断单元，所述第二点击操作判断单元用于在针对所述操作面的手指的接触开始之后，与所述接触时间判断单元是否判断为所述保持时间为所述预定时间以上无关地，在所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠并且所述按压力判断单元判断为所述按压力为所述预定阈值以上的情况下，判断为用户进行了用以启动分配至用户已暂定选择的对象的功能的点击操作。
[0029](7)在(I)?(6)项中任一项所述的用户界面装置中，所述预定时间长于在用户想要进行所述拖动操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间，但短于在用户想要进行用于选择所述对象的操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间。
[0030](8)在⑴?(7)项中任一项所述的用户界面装置中，所述接触时间判断单元与手指的接触位置与所述对象在所述画面的显示区域是否重叠无关地，测量所述保持时间。
[0031](9) 一种用于判断针对用户界面装置所进行的用户输入操作的方法，所述用户界面装置配备有用以将包括作为用户操作对象的对象的图像显示在画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述方法包括以下步骤:第一步骤，用于判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上；第二步骤，用于在所述第一步骤中判断为所述保持时间为所述预定时间以上的情况下，判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、将包括所述对象的图像整体不移动而是固定地显示在所述画面上的状态下，监视手指的接触位置；第三步骤，用于在所述触摸聚焦模式期间，判断手指的接触位置与所述对象在所述画面上的显示区域是否重叠；以及第四步骤，用于在所述第三步骤中判断为手指的接触位置与所述对象在所述画面上的显示区域重叠的情况下进行工作，以判断为用户进行了用于暂定选择所述对象的聚焦操作。
[0032](10)在(9)项所述的方法中，所述第一步骤是与手指的接触位置与所述对象在所述画面上的显示区域是否重叠无关地进行的。
[0033](11) 一种用于对用户界面装置进行控制的方法，所述用户界面装置用于在画面上显示图像，并且使得用户能够与所显示的图像相关联地通过利用手指接触操作面来进行用户的输入，所述方法包括以下步骤:第一步骤，用于在从用户利用手指接触所述操作面起、手指在所述操作面中的实质相同位置处保持了预定时间以上的情况下，不管有无手指的接触位置的随后的移动也开始用以使所述图像不移动而是固定地显示在所述画面上的固定显示；以及第二步骤，用于在所述固定显示开始之后、手指的接触位置与所述画面上所显示的图像中的目标视觉对象的显示位置相对应的情况下，判断为用户暂定选择了所述对象。
[0034](12) (11)项所述的方法还包括第三步骤，所述第三步骤用于在判断为用户暂定选择了所述对象之后、针对所述操作面的手指的接触程度随着时间经过而增加的情况下，判断为用户进行了用于启动预先分配至用户已暂定选择的对象的功能的点击操作。
[0035](13)在(11)项或(12)项中所述的方法还包括第三步骤，所述第三步骤用于在针对所述操作面的手指接触开始之后、与是否经过了所述预定时间无关地使针对所述操作面的手指的接触位置与所述对象的显示位置相对应并且针对所述操作面的手指的接触程度随着时间的经过而增加的情况下，判断为用户进行了用于启动预先分配至用户已暂定选择的对象的功能的点击操作。
[0036](14) 一种程序，其由计算机来执行，以进行根据(9)?(13)项中任一项所述的方法。
[0037]发明的效果
[0038]根据本发明的用户界面装置、输入操作判断方法和程序使得能够在利用手指进行向着触摸面板的输入时，利用手指的触摸在多个模式下进行输入操作。
【专利附图】
【附图说明】
[0039]图1(A)是一起示出配备有根据本发明的例示第一实施例的用户界面装置的便携型信息装置以及在触摸聚焦模式下发生的用户手指动作的正视图，并且图1(B)是放大示出这些手指动作的侧视图。[0040]图2㈧是一起示出图1所示的便携型信息装置以及在点击操作中发生的用户的手指动作的正视图，并且图2(B)是放大示出这些手指动作的侧视图。
[0041]图3(A)是一起示出图1所示的便携型信息装置以及在拖动模式中发生的用户的手指动作的正视图，并且图3(B)是放大示出这些手指动作的侧视图。
[0042]图4是示出图1所示的便携型信息装置的整体结构的立体图以及从概念上示出便携型信息装置中所执行的输入操作判断方法的流程图。
[0043]图5是从概念上示出图4所示的便携型信息装置的功能框图。
[0044]图6(A)是一起示出配备有根据本发明的例示第二实施例的用户界面装置的便携型信息装置以及在点击操作中发生的用户的手指动作的正视图，并且图6(B)是放大示出在点击操作和触摸聚焦模式中发生的用户的手指动作的侧视图。
[0045]图7是示出图6所示的便携型信息装置的整体结构的立体图以及从概念上示出该便携型信息装置的功能框图。
[0046]图8是从概念上示出图7所示的便携型信息装置中所执行的输入操作判断方法的流程图。
[0047]图9(A)是示出配备有根据本发明的另一实施例的用户界面装置的装置的外观的立体图，并且图9(B)是示出配备有根据本发明的又一实施例的用户界面装置的装置的外观的立体图。
【具体实施方式】
[0048]以下将参考附图来说明本发明的例示实施例。
[0049]本发明所涉及的用户界面装置使得用户能够通过该用户的手指动作接触触摸面板来输入信息。由此，大多数的这种用户界面装置各自配备在诸如智能电话或平板型计算机等的用户在操作期间利用手可以保持的便携型信息装置中。在这些情形下，以下将通过采用实现本发明的用户界面装置的示例来说明本发明的例示实施例，其中用户界面装置内置于便携型信息装置内。
[0050]首先，将针对本发明的实施例之间共通的包括以下特征的特征来概述这些实施例:根据本发明的实施例的各便携型信息装置被配置成在接收到用户的输入操作、即手指触摸和以与触摸面板相接触的方式的后续手指滑动的手指合成动作(即，触摸和滑动动作)时，该便携型信息装置没有一律将这种输入操作识别为拖动动作，并且该便携型信息装置根据实际输入动作或操作的类型来自动选择可工作的多个输入模式的其中一个。换句话说，便携型信息装置自动识别实际输入操作的类型，并且根据所识别出的输入操作的类型或类别来选择输入模式。
[0051]更具体地，便携型信息装置被配置为判断用户在触摸面板上的手指接触点(与该手指接触点与任一对象(例如，图标、键、项)在显示面板上的显示区域是否重叠无关地)是否持续在预定时间以上没有改变，即判断手指接触点实质保持在触摸面板上的保持时间是否为预定时间以上(在最初手指接触之后，在经过了预定时间之后，该手指的接触位置变化的情况)。
[0052]在该保持时间为预定时间以上的情况下，判断为当前输入操作不适合作为正常拖动动作，从而启动触摸聚焦模式或使触摸聚焦模式工作。另一方面，在该保持时间没有达到预定时间的情况下(即，在最初手指接触之后到经过了预定时间之前该手指的接触位置未变化的情况)，判断为当前输入操作适合作为正常拖动动作，从而启动拖动模式。
[0053]这些输入模式如下所述:
[0054](I)触摸聚焦模式:用于尽管存在手指滑动动作但仍在图像整体静止地或固定地显示在画面上的状态下监视手指接触点在画面上的位置的模式；
[0055](2)拖动模式:用于使画面上所显示的图像整体滑动以追踪手指的移动的模式。
[0056]因而，本发明的实施例的特征在于:测量使手指保持接触画面的时间的长度，基于该测量来选择多个输入模式的其中一个，并且使该系统以根据所选择的输入模式的方式进行工作。
[0057]在这方面，术语“图像整体”是指全部显示在显示单元的显示画面上的、作为该显示画面的(包括适合作为滚动动作的动作的)滑动动作的对象的完整图像的一部分。无需说明，该部分也可以是全部显示在显示画面上的完整图像。例如，在原始图像的大小大于显示画面的大小的情况下，原始图像包括显示画面所无法覆盖的(假定为)隐藏于显示画面外的部分。在需要将该隐藏部分显示在显示画面上的情况下，用户通过向该隐藏部分施加滑动动作来操作该隐藏部分。
[0058]图1示出根据本发明的例示第一实施例的便携型信息装置I (例如，智能电话、平板型计算机、电子书、PDA (个人数字助理)等)，并且更具体地，图1是对触摸聚焦模式进行说明所用的便携型信息装置I的正视图和示出一系列手指动作的示例的侧视图。
[0059]图1 (A)是便携型信息装置I的正视图。如该正视图所示，在显示器101的显示画面上显示有包含多个图标(各自构成视觉上的图形对象的示例)104的图像。可以通过按如以下所述的预定模式进行的用户动作或操作来选择作为用户的操作对象的各图标104，并且在选择时，各图标104启动预先分配至各图标104的功能。另外，在显示器101的显示画面上配置有触摸面板100，并且触摸面板100被配置为随着时间的经过来连续输出手指接触点在触摸面板100上的位置(参见图4)。
[0060]现在，将利用图1 (A)所示的示例来说明触摸聚焦模式。如图1 (A)所示，在该示例中，用户利用该用户的手指接触触摸面板100，接着使手指在预定时间以上的时间内保持在同一接触点处，然后使手指在触摸面板100上沿着触摸面板100移动(滑动)。然而，与传统的拖动动作不同，在包含图标104的图像整体的固定显示期间，手指滑动动作不会使该图像整体滑动。
[0061]结果，用户可以通过使手指以没有从显示画面释放的状态滑动，来单独地连续触摸固定显示在显示画面上的多个图标104。另外，如以下所述的接触位置判断单元12 (参见图5)被配置为在手指滑动动作期间也进行工作，以判断手指接触点与任一图标104在显示画面上的显示区域是否重叠。触摸聚焦模式使得能够在图像整体不移动的固定显示期间随着时间的经过来监视手指接触点。
[0062]在如下示例情况下启动触摸聚焦模式:在期望图标104位于画面上的所显示图像内时，用户想要在期望图标104的显示区域附近的点处触摸显示画面，接着想要使手指确定地滑动至期望图标104的显示区域。另外，在用户想要触摸显示画面中的期望图标104的显示区域、然后想要立即选择期望图标104的情况下，也启动该触摸聚焦模式。此外，在用户想要通过使手指轻扫触摸面板100(即，所显示图像)来使手指准确地移动至期望图标104的显示区域以判断所显示图像是否包含期望图标104的情况下，仍启动该触摸聚焦模式。
[0063]图1 (B)是示出对为了如上所述启动触摸聚焦模式所要满足的条件进行说明所用的手指操作的示意图。在该示意图所示的示例中，最初，用户利用手指接触触摸面板100。利用h来表示该时间点(t=^)。注意，图1 (B)具有后面在本发明的第二实施例的说明中将参考的数学式Ρε〈ΡΤΗ。接着，用户使手指在没有从画面释放的情况下，从手指保持不动并且与画面相接触的当前状态转变为手指开始向上侧(在图1(B)中为左侧)移动(滑动)的状态。利用ts2来表示该手指滑动动作的开始时刻(t=ts2)。在该情况下，证明为手指接触点持续在时间(ts2 - t0) ( 即,保持时间)内保持不变。
[0064]在时间(ts2 - t0)为预定时间tTH以上的情况下((ts2 - t0)≥tTH)，如以下所述的模式工作单元124(参见图5)启动触摸聚焦模式。之后，尽管存在任何手指滑动动作，但固定地且不动地显示包含多个图标104的图像整体。注意，一旦满足了如上所述的(ts2-t0) ^ tTH所表示的条件，则手指的进一步停留将不会结束触摸聚焦模式。
[0065]同样，如图1(B)所示，用户在使手指轻扫所显示图像的同时移动手指。之后，用户找到期望图标104并且使手指向上移动至期望图标104的显示区域内的位置。以下将触摸聚焦模式期间发生的用户动作中的用户为了使手指接触点与期望图标104的显示区域重叠所进行的动作称为“聚焦操作”。
[0066]注意，如下的用户姿势也适合作为聚焦动作，其中在采用该用户姿势的情况下，手指触摸画面上的期望图标104的显示区域内的点，并且用以保持手指接触点的手指停留，以在预定时间tTH后继续使手指接触点与期望图标104的显示区域重叠。该聚焦操作是用户为了选择期望图标104所进行的，并且用作用以帮助用户正确地进行用于启动分配至期望图标104的功能的后续动作的准备或预备动作。
[0067]另外，一旦手指接触点到达能够与任一图标104的显示区域重叠的位置，则如以下所述的触觉应答机构部102 (参见图4)向用户的手指施加用以使用户假想使用物理按钮的振动(即，实质模拟或模仿手指在代替虚拟按钮而按下物理按钮的情况下将会感受到的触觉应答的振动)。在用户在操作装置时获得更加可靠且确定的操作感的情况下，这样使得用户能够通过触感来确定出成功地接受了用户的聚焦动作。
[0068]在这方面，用以使用户假想使用物理按钮的振动的示例如下。首先，向位于各图标104的显示区域内的各点赋予高度信息以表示各图标104具有虚拟高度(即，与显示画面垂直地测量到的虚拟厚度)。接着，在手指靠近各图标104的显示区域并且进入该区域之后，向该手指施加强度根据各图标104的显示区域的虚拟斜度有多陡峭而改变的振动，其中基于高度信息来计算该虚拟斜度。这样使得用户能够经由手指而得到该用户在追踪物理推式按钮的突出面的情况下滑动手指将会感受到触感相同的触感。
[0069]注意，在优选示例中，在用户使手指从触摸面板100移开的情况下，触摸聚焦模式(聚焦模式)自动结束。
[0070]如上所述，本发明的各实施例判断手指接触点是否持续在预定时间tTH以上的时间内保持不变，并且根据该判断结果来选择输入模式的其中一个。结果，即使手指触摸和滑动动作也不是始终适合作为拖动动作，并且即使手指触摸和滑动动作也可以容易地启动触摸聚焦模式。另外，在启动该触摸聚焦模式的情况下，固定地显示用户可以使手指在其上轻扫触摸面板100的图像整体，结果，用户可以正确地进行用于选择排列在显示画面上的多个图标104其中之一的聚焦操作。
[0071]图2是对点击动作进行说明所用的、便携型信息装置I的正视图和示出一系列手指动作的示例的侧视图。
[0072]图2(A)是便携型信息装置I的正视图。在该正视图所示的示例中，在触摸聚焦模式期间，用户使手指以该手持与触摸面板100相接触的状态轻扫触摸面板100。最终，手指到达期望图标104，由此在手持接触点和期望图标104的显示区域之间产生重叠。此时，如果用户利用手指以较大的力按压触摸面板100，则启动预先分配至期望图标104的功能。以下将为了启动所选择的图标104的功能而按压该图标104(触摸面板100)的用户动作称为“点击操作”。
[0073]图2(B)是用于对为了判断为点击操作所要满足的条件进行说明的手指动作的示意图。在该示意图所示的示例中，在触摸聚焦模式期间，用户使手指轻扫触摸面板100，最后手指接触点与期望图标104的显示区域重叠。这是聚焦动作。此时，利用如以下所述的触觉应答机构部102 (参见图4)，可以向用户的手指施加用以给该用户带来该用户在实际按压物理推式按钮的情况下将会感受到的触感相同的触感的振动Vl。
[0074]随后，在此时用户利用手指以较大的力按压触摸面板100、由此导致按压力pc增加至按压力阈值Pth以上(P。≥Pth)的情况下，将该操作判断为点击动作，并且启动用户已选择的期望图标104的功能。对于适合作为点击动作的动作，必须满足按压力Pc为按压力阈值Pxh以上的条件。注意，利用如以下所述的按压力检测部103(参见图4)来测量按压力pc。
[0075]另外，利用如以下所述的触觉应答机构部102(参见图4)，还可以向用户的手指施加用以给该用户带来该用户在实际按压物理推式按钮的情况下将会感受到的触感相同的触感的振动v2。因而，在用户进行聚焦动作的情况下，用户感受到振动V1以使用户经由振动V1来假想使用物理推式按钮，并且在用户基于先前经由振动V1的触感而确信继续进行点击动作的情况下，用户感受到振动V2。
[0076]由于该结构，因此用户在按下实际采用虚拟推式按钮的形式的期望图标104的情况下感受到仿佛按下了物理推式按钮的感觉。结果，甚至用户对触摸面板100的操作也可以模拟该用户在实际操作物理推式按钮的情况下将会感受到的可靠确定的操作感。
[0077]图3是对拖动模式进行说明所用的、便携型信息装置I的正视图和示出一系列手指动作的示例的侧视图。
[0078]图3㈧是便携型信息装置I的正视图。将参考该正视图来说明拖动模式。在图3(A)所示的示例中，手指接触触摸面板100，然后在没有从触摸面板100移开的情况下立即向上侧移动(滑动)。 [0079]伴随着手指的滑动，包含图标104的图像整体向上侧移动了与手指滑动动作的距离相同的距离，结果多个图标104中的没有出现在显示画面上的一些图标从显示画面的下侧新出现在显示画面上。将用于使图像整体滑动的该手指动作、即用于使得能够进行所谓的拖动动作的模式称为拖动模式。
[0080]例如，在以下情况下启动拖动模式:期望图标104隐藏在显示画面外，因而需要使包括隐藏图标104的图像整体在显示画面上滑动以使该隐藏图标104出现在显示画面上的情况；诸如文本文档等的信息内容没有完全显示在显示画面上并且具有隐藏的剩余部分，因而需要使该信息内容滑动以使剩余部分出现在显示画面上以使得用户能够进一步浏览该剩余部分的情况；等等。
[0081]图3(B)是用于对为了启动如上所述的拖动模式所要满足的条件进行说明的手指动作的示意图。在该示意图所示的示例中，首先，用户利用手指接触触摸面板100。利用h来表示该时间点(t=、)。注意，图3 (B)具有后面在本发明的第二实施例的说明中将参考的数学式Pc<Pth°
[0082]接着，用户在无需使手指从画面释放的情况下，使手指从该手指保持不动并且与画面相接触的当前状态转变为该手指开始向上侧(在图3(B)中为左侧)移动(滑动)的状态。利用tsl来表示该手指滑动动作的开始时刻(t=tsl)。在该情况下，证明是手指接触点持续在时间Us^tci)内保持不变。在时间Us^tci)为预定时间tTH以下的情况下((tsl-、)〈％)，如以下所述的模式工作单元124 (参见图5)启动拖动模式。之后，伴随着手指的滑动，包含期望图标104的图像整体滑动。
[0083]在这方面，图像整体的移动距离可以等于手指的移动距离，或者可以是诸如手指的移动距离与恒定因数的乘积等的手指的移动距离的函数。另外，当然，手指滑动的方向不限于向着上侧的方向。例如，在用户使手指在显示画面的表面上的任一方向上滑动的情况下，图像整体可以在与手指滑动方向相对应的方向、即上侧方向、下侧方向、左侧方向、右侧方向和其它斜向方向中的相应方向上滑动。
[0084]另外，在用户想要进行拖动动作的情况下，将如上所述的预定时间tTH设置为比从显示画面的手指触摸开始起直到显示画面的后续手指滑动动作开始为止所需的平均时间tAvl长的值。为了实现该设置处理，例如，使多个用户各自有意地滑动图像，测量手指固定接触时间的长度作为多个采样值，并且将预定时间tTH设置为比这些采样值的平均值tAvl大得多的值。
[0085]此外，在用户想要进行用于选择显示画面上所显示的特定对象的动作(例如，用户在使手指停留在操作画面上的任何位置处的同时浏览一起显示在显示画面上的多个图标104，用户决定选择图标104的其中一个作为期望图标、使手指保持固定，并且在用户的决定(心理行为)之后，用户使手指向着期望图标104滑动)的情况下，还将如上所述的预定时间tTH设置为比从显示画面的手指触摸开始起直到显示画面的后续手指滑动动作开始为止的平均时间tAV2短的值。
[0086]为了实现该设置处理，例如，使多个用户分别选择特定对象，测量手指固定接触的长度作为多个采样值，并且将预定时间tTH设置为比这些采样值的平均值tAV2小得多的值。
[0087]在这方面，在使用平均值tAvl和tAV2这两者的情况下，证明为将预定时间tTH设置为满足tAvl〈tTH〈tAV2所表示的条件。在更加具体的示例中，将tTH值设置为200毫秒。
[0088]图4是示出便携型信息装置的整体结构的立体图以及从概念上示出便携型信息装置I中所执行的输入操作判断方法的流程图。另外，图5是从概念上示出便携型信息装置I的功能框图。
[0089]如图4所示，便携型信息装置I被构造成包括触摸面板100、显示器101、触觉应答机构部102、按压力检测部103以及处理器和存储器。在这方面，该处理器和存储器执行用于进行输入操作判断方法的程序，由此提供该程序的功能。
[0090]对于处理器和存储器，如众所周知的，处理器和存储器一起构成计算机。这两者中的存储器存储用于进行输入操作判断方法的程序。存储器是存储有该程序的计算机可读的并且非瞬态的存储介质的示例。
[0091]显示器101被配置为显示包含用户要操作的图标(各自构成对象的示例)的图像。显示器101的表面是显示有图像的显示画面。另外，触摸面板100配置在显示器101的显示画面的上方(在本实施例中，触摸面板100和显示器101被配置成以间隔平板状的间隙的方式彼此面对)，并且被配置为随着时间的经过来顺次感测并输出手指接触点的位置。触摸面板100的表面是用户为了使便携型信息装置I工作而利用指尖所触摸的操作面。
[0092]操作面物理地叠加在显示画面上，但为了从触摸面板100将表示手指接触点的位置的信息传送至显示器101由此使得显示器101能够从视觉上示出与手指接触点的位置相对应的位置，并非必须使操作面物理地叠加在显示画面上。
[0093]触摸面板100可以是投影型静电容量式触摸面板、表面型静电容量式触摸面板、电阻膜式触摸面板、超声波表面弹性波式触摸面板、或红外线扫描式触摸面板等。
[0094]在本实施例中，在显示器101和触摸面板100被构造成显示功能和触摸面板功能由单独装置来提供、显示器101的显示画面和触摸面板100的操作面彼此分开并且操作面叠加在显示画面上的所谓的双层型的情况下，以及可选地在显示器101和触摸面板100被构造成显示功能和触摸面板功能由单个装置来提供的所谓的单层型的情况下，显示器101的显示画面还用作触摸面板101的操作面。
[0095]触觉应答机构部102被配置为使触摸面板100振动，由此向与触摸面板100相接触的用户的手指施加作为针对用户特定动作的应答的触觉应答。触觉应答机构部102响应于用户针对触摸面板100的聚焦动作而变得有效，以向手指施加用以给用户带来仿佛手指感受到按下物理推式按钮的感觉的振动V1 (参见图2 (B))。另外，触觉应答机构部102还响应于用户针对触摸面板100的点击动作而变得有效，以向手指施加用以给用户带来仿佛手指感受到按下物理推式按钮的感觉的振动V2 (参见图2(B))。触觉应答机构部102例如可以采用利用诸如PZT(锆钛酸铅 )等 的压电材料所构成的压电致动器的形式。
[0096]在本实施例中，触觉应答机构部102夹持在触摸面板100和显示器101 (例如，液晶层)之间。另外，在本实施例中，在便携型信息装置I中设置有单个振动器或间隔开的振动器的阵列，使得这些振动器不是全部而是局部覆盖通过使便携型信息装置I在与其表面垂直的方向上投影所获得的轮廓，并且单个振动器单独或多个振动器共同构成触觉应答装置。
[0097]使用按压力检测部103来检测用户利用手指按压触摸面板100的按压力pc。在示例中，按压力检测部103配置在触摸面板100的四个角的每一个处，并且通过利用使用按压手指在触摸面板100中产生的略微挠曲分别在四个角处对按压力检测部103进行按压的四个力成分进行求和来测量按压力PC。在使用按压力检测部103所测量到的按压力pc为预定的按压力阈值Pth以上的情况下(Pc≤PTH)，判断为进行了点击动作。在示例中，按压力检测部103可以采用例如诸如PZT等的压电材料所形成的压电传感器的形式。在另一示例中，代替利用压电致动器构成的触觉应答机构部102或除该触觉应答机构部102以外，可以使用按压力检测部103来用作触觉应答机构部。
[0098]在本实施例中，按压力检测部103夹持在触摸面板100和显示器101 (例如，液晶层)之间。另外，在本实施例中，在便携型信息装置I中设置有单个压力传感器或间隔开的压力传感器的阵列，使得这些压力传感器不是全部而是局部覆盖通过使便携型信息装置I在与其表面垂直的方向上投影所获得的轮廓，并且单个压力传感器单独或多个压力传感器共同构成按压力感测装置。
[0099]此外，在本实施例中，多个压力传感器配置在触摸面板100和显示器101之间所形成的板状空间内，使得这些压力传感器沿着该空间的平面以相互间隔开的方式排列，因此在触摸面板100和显示器101之间有意地形成了没有被任何压力传感器填充的空隙。这些空隙帮助触摸面板100响应于用户向触摸面板100局部施加按压力而弹性地挠曲。该挠曲给用户带来该用户可以感受到该用户实际按压触摸面板100的触感的益处。
[0100]上述的处理器和存储器被配置为输入表示从触摸面板100输出的手指接触点的位置的接触位置信号和从按压力检测部103输出的按压力信号，根据所输入的信号来选择并启动输入模式的其中一个，判断用户的实际输入操作的类型，并且执行与所判断出的输入操作相对应的操作。现在将参考图5来说明处理器和存储器的结构。
[0101]如图5所示，处理器和存储器被构造成包括接触时间判断单元121、接触位置判断单元122、按压力判断单元123、模式工作单元124、操作判断控制器125、触觉应答控制器126、显示控制器111和应用程序执行单元112。
[0102]接触时间判断单元121被配置为输入从触摸面板100输出的手指的接触位置信号，判断手指接触点是否自手指接触动作开始起停留了预定时间tTH以上，并且将该判断结果输出至模式工作单元124。接触时间判断单元121被配置为判断手指接触点与任一图标104在画面上的显示区域是否重叠，并且将该判断结果输出至操作判断控制器125。按压力判断单元123被配置为将输入从按压力检测部103输出的按压力信号，判断手指按压触摸面板100所利用的力是否为预定的按压力阈值pTH以上，并且将该判断结果输出至操作判断控制器125。
[0103]模式工作单元124被配置为基于从接触时间判断单元121所获得的判断结果来选择作为触摸聚焦模式和拖动模式的输入模式的其中一个作为有效输入模式并且启动所选择的输入模式。操作判断控制器125被配置为在触摸聚焦模式期间进行工作，以基于从接触位置判断单元122所获得的判断结果来判断当前手指动作是否适合作为聚焦动作，并且在检测到聚焦动作的情况下，操作判断控制器125启动与该聚焦动作相对应的操作。此外，操作判断控制器125被配置为在触摸聚焦模式期间也进行工作，以基于从按压力判断单元123获得的判断结果来判断当前手指动作是否适合作为点击动作，并且在检测到点击动作的情况下，操作判断控制器125启动与该点击动作相对应的操作。触觉应答控制器126被配置为基于从操作判断控制器125获得的判断结果来控制触觉应答机构部102以向用户的手指施加相关联的触觉应答。
[0104]显示控制器111被配置为输入来自应用程序执行单元112的应用程序执行信息，并且命令显示器101将与执行中的应用程序相关联的图像显示在显示画面上。另外，显示控制器111被配置为从模式工作单元124输入表示已选择触摸聚焦模式和拖动模式中的哪一个作为有效输入模式的指不信息，并且命令显不器101将与所指不的输入模式相对应的图像显示在显示画面上。此外，显示控制器111被配置为从操作判断控制器125输入表示正在进行可能的输入动作中的哪一个的指示信息，并且命令显示器101将与所指示的输入动作相对应的图像显示在显示画面上。[0105]接着将参考图4所示的流程图来说明处理器和存储器要执行的输入操作判断方法。
[0106]如图4所示，作为第一步骤，触摸面板100进行工作以检测针对画面的手指接触(步骤S401)。接着，接触时间判断单元121判断画面上的手指接触点是否持续在预定时间tTH以上的时间内保持不变(步骤S402)。在这方面，使用相对于触摸面板100的表面(即，接触面)固定的χ-y坐标系作为一个坐标(x，y)来表示手指接触点在该画面上的位置。注意，可以通过在画面上检测具有特定大小的手指接触面积来检测手指接触动作，并且在这种情况下，可以将手指接触区域的中心或重心的位置的坐标(即，中心坐标)作为手指接触点来处理。
[0107]另外，执行步骤S401和S402，例如使得在假定用户没有使手指移开触摸面板100的操作面的情况下，在先前检测到的手指接触点的值和当前检测到的手指接触点的值之间重复进行比较，并且在该比较表示这两个值彼此大致一致的情况下，判断为手指接触点保持不变。
[0108]由于在用户利用手指接触触摸面板100的情况下发生的正常手指抖动，因此手指接触点随着时间的经过可能经受不期望的略微位置变化。在示例中，为了避免由于不期望的位置变化所引起的误判断，进行校正以消除手指接触点的坐标的变化。另外，在另一示例中，预先预测由于手指按压动作中的手指抖动所引起的手指接触点的可能位置变化的范围，并且在坐标的实际变化落在所预测到的变化范围内的情况下，该实际变化没有被视为手指接触点的位置的有效变化。在任何情况下，可以在不受由于手指抖动所引起的不期望位置变化的影响的情况下进行关于手指接触点是否持续保持不变的判断。换句话说，可以以可靠且确定的方式来识别用户的动作，从而跟随用户的真实意图。
[0109]在接触时间判断单元121判断为手指接触点已持续在预定时间tTH以上的时间内保持不变的情况下，模式工作单元124启动触摸聚焦模式(步骤S404)。更具体地，在固定地显示包含图标104的图像整体的情况下，监视手指接触点(或从触摸面板100输出的表示手指位置的接触位置信号)。
[0110]然而，在接触时间判断单元121判断为在预定时间tTH内手指接触点进行了滑动或移动的情况下，模式工作单元124启动拖动模式(步骤S403)。更具体地，使该装置进入包含图标104的图像整体可以沿着利用用户手指拖动动作所指定的方向进行滑动的状态。
[0111]通过从用户-操作员的观点再次说明上述这些步骤，在针对触摸面板的手指触摸之后立即进行手指的滑动动作的情况下，模式工作单元124启动拖动模式，并且在用户利用手指接触触摸面板并且使手指至少在预定时间tTH内保持在同一接触位置处的情况下，模式工作单元124启动触摸聚焦模式。
[0112]接着，响应于使触摸聚焦模式工作，接触位置判断单元122判断手指接触点与任一图标104的显示区域是否重叠(步骤S405)。在接触位置判断单元122判断为手指接触点与一个图标104的显示区域重叠的情况下，操作判断控制器125判断为进行了聚焦动作，并且启动其相关联的操作(步骤S406)。更具体地，选择显示画面上所显示的图标104中的手指接触点所重叠的一个图标。在该阶段，优选地，触觉应答控制器126经由触觉应答机构部102向用户的手指施加触觉应答(针对用户的触摸的应答)。另外，优选地，操作判断控制器125经由显示控制器111使显示器101进行所选择的图标104的强调显示。[0113]接着，按压力检测部103检测用户利用手指以与触摸面板100相接触的方式按下触摸面板100所利用的按压力Pc (步骤S407)。随后，按压力判断单元112判断按压力Pc是否为预定的按压力阈值Pth以上(步骤S408)。
[0114]接着，仅在接触位置判断单元110判断为手指接触点与任一图标104的显示区域重叠、并且按压力判断单元112判断为按压力Pc为按压力阈值Pth以上的情况下，操作判断控制器114才判断为进行了点击操作，并且启动其相关联的操作(步骤S409)。更具体地，操作判断控制器114启动预先分配至所选择图标104的功能、例如预定应用程序的启动。
[0115]因而，在本实施例中，判断手指接触点是否在预定时间tTH以上的时间内连续地保持不变，并且基于该判断结果来启动触摸聚焦模式和拖动模式的其中一个。因此，在用户进行操作的情况下，通过筛选或区分处理来正确地判断用户所进行的动作适合作为触摸聚焦模式期间发生的动作和和拖动期间发生的拖动动作中的哪一个，另外，在用户在触摸聚焦模式期间进行动作的情况下，通过筛选或区分处理来正确地判断用户所进行的动作适合作为聚焦动作和拖动动作中的哪一个。换句话说，利用采用手指接触动作、手指停留动作和手指滑动动作中的至少包括手指接触动作和手指滑动动作的多个原始或基本动作的组合形式的各动作，用户可以进行不同的输入操作，由此可以精确地区分识别这些动作。
[0116]接着，将说明根据本发明的例示第二实施例的便携型信息装置I。然而，本实施例具有与第一实施例共通的元件；因此将通过参考相同的名称或相同的附图标记来省略针对与第一实施例共通的元件的重复说明，并且将仅针对与第一实施例不同的元件来详细说明本实施例。
[0117]存在用户感到有必要进行以下操作的情况:用户从最初开始使手指接触触摸面板100的操作面中的与期望图标104的显示区域重叠的部分(以下称为“图标显示区域”)，然后立即进行点击动作(“立即点击动作”)。在这种情况下，存在如下可能性:用户一旦使手指触摸图标显示区域，该用户就利用预定阈值以上的力按压触摸面板100。
[0118]在这种情况下，在本发明的第一实施例中，如果自最初检测到手指接触起没有经过预定时间tTH，则不进行关于用户是否进行了点击动作的判断。因此，用户可能具有便携型信息装置I针对用户自身的点击动作的应答性低的印象。原因如下:在第一实施例中，在自最初检测到手指触摸起经过了预定时间tTH之后，判断为触摸聚焦模式；在开始触摸聚焦模式之后，判断为用户的操作适合作为聚焦动作；并且在手指接触的强度增加为预定阈值以上的值之前，没有将用户的操作判断为适合作为点击动作。
[0119]作为对比，在本实施例中，在最初检测到手指触摸的情况下，在无需等待自该检测时间点起经过了预定时间tTH的情况下，如果手指接触点与图标显示区域重叠、并且针对操作面的手指接触的强度为预定阈值以上，则判断为用户的操作适合作为点击动作。
[0120]手指接触的强度由以下至少之一来定义:手指按压触摸面板所利用的按压力；手指接触操作面的面积的大小；响应于针对操作面的手指接触的电气特性的变化量；以及响应于针对操作面的手指接触的温度的变化量。
[0121]结果，在本实施例中，在用户需要启动触摸聚焦模式的情况下，用户必须以例如上述图1和3的数学式所示使得操作面的手指接触的强度没有增加至预定阈值的方式来操作触摸面板100，并且如以下参考图6所述，在最初针对触摸面板100的手指接触时发生的按压力Pc为预定阈值Pth以下(Pc〈Pth)。[0122]图6是本实施例中的对点击动作(“立即点击动作”)进行说明所用的、便携型信息装置I的正视图和示出一系列手指动作的示例的侧视图。
[0123]图6㈧是示出与图1(A)相同的便携型信息装置I的正视图。此外在该图中，在显示器101的显示画面上显示有包含多个图标104的图像。在希望启动所显示的图标104的其中一个作为期望图标104的情况下，用户从最初开始触摸期望图标104，然后立即按压或压抵期望图标104 (触摸面板100)。这样立即启动了预先分配至期望图标104的功能。
[0124]在手指一接触画面的情况下就开始该手指按压动作，并且当前没有经过预定时间tTH，这导致无法进入上述的触摸聚焦模式。另外，用户当前所施加的按压力P。满足P。>pTH。此外，手指接触点与期望图标104的显示区域重叠。结果，当前满足了所需条件，因而判断为进行了点击动作，这使得启动了预先分配至期望图标104的功能。
[0125]在用户进行该点击动作(“立即点击动作”)以启动特定图标的功能的情况下，与用户在触摸聚焦模式期间进行点击动作(参见图2)以启动相同功能的情况不同，无需等待自手指接触动作开始起经过至少预定时间tTH。结果，在用户使手指从正上方接触画面、然后利用手指立即按压期望图标104的情况下，用户可以立即启动预先分配至期望图标104的功能。
[0126]注意，在图标104的显示区域外的位置处用户首先接触然后立即按下画面的情况下，没有判断为该动作适合作为点击动作。在这种情况下，与图1所示的第一实施例相同，判断手指接触点是否已持续在预定时间tTH以上的时间内保持不变(即，是否要启动触摸聚焦模式)。
[0127]图6(B)是用于对为了接受在手指接触之后立即进行手指按压的点击动作(“立即点击动作”)所要满足的条件进行说明的手指动作的示意图。在该示意图所示的示例中，手指首先触摸图标104的其中一个(触摸面板100)。利用h来表示该时间点α=0。接着，手指按压或压抵一个图标104，其中这是作为从最初的手指接触起的连续动作(而无需经过任何其它不同动作)所进行的。
[0128]在这方面，判断手指按压画面所利用的按压力P。是否满足P。Ptho该判断是在关于当前手指接触点是否持续在时间Us2-1ci)内保持不变、即是否满足Us2-1tl)tTH的判断之前进行的。结果，在进行了如以上所述的点击动作那样的动作的情况下，在经过了预定时间tTH之前判断为按压力Pc为预定阈值Pth以上。
[0129]在判断为按压力P。为预定阈值Pth以上的情况下，判断手指接触点与任一图标104的显示区域是否重叠。在判断为手指接触点与任一图标104的显示区域重叠的情况下，判断为进行了点击动作，并且启动预先分配至当前图标104的功能。然而，在判断为手指接触点与任一图标104的显示区域不重叠的情况下，与图1所示的第一实施例相同，判断当前手指接触点是否持续在预定时间tTH以上保持不变(即，是否要使触摸聚焦模式工作)。
[0130]如上所述，在本实施例中，在用户使手指从正上方接触画面、然后利用手指立即按下期望图标104的情况下，用户可以在无需进入触摸聚焦模式的情况下立即启动预先分配至期望图标104的功能。结果，由于较快的应答而提高了装置的可操作性。
[0131]另外，如以下所述的触觉应答机构部102 (参见图5)还可以以振动V2的形式来向如上所述用户进行了点击操作(“立即点击操作”)所利用的手指施加触觉应答。
[0132]图7是示出便携型信息装置I的整体硬件结构的立体图以及从概念上示出便携型信息装置I的整体软件结构的功能框图。
[0133]如图7所示，与第一实施例相同，便携型信息装置I被构造成包括触摸面板100、显示器101、触觉应答机构部102、按压力检测部103以及处理器和存储器。
[0134]此外，如图7所示，处理器和存储器被构造成包括接触时间判断单元121、接触位置判断单元122、按压力判断单元123、模式工作单元124、操作判断控制器125、触觉应答控制器126、显示控制器111和应用程序执行单元112。
[0135]除了操作判断控制器125以外，这些组件与图5所示的第一实施例中的相应组件相同地起作用。与第一实施例相同，操作判断控制器125包括第一点击操作判断单元。该第一点击操作判断单元被配置为:在触摸聚焦模式期间、接触位置判断单元122判断为手指接触点与任一图标104的显示区域重叠并且按压力判断单元123判断为按压力P。为预定阈值Pth以上的情况下，该第一点击操作判断单元进行工作，以判断为用户的动作适合作为用于启动用户已暂定选择的当前图标104的功能的点击动作。
[0136]与第一实施例不同，操作判断控制器125还包括第二点击操作判断单元。该第二点击操作判断单元被配置为在如下情况下进行工作，以判断为用户进行了用于启动该用户已暂定选择的当前图标104的功能的点击动作:在针对操作面的手指接触开始之后，与接触时间判断单元121是否判断为保持时间(tS2 - t0)为预定时间tTH以上无关地，接触位置判断单元122判断为手指接触点与任一图标104的显示区域重叠，并且按压力判断单元123判断为按压力Pc为预定阈值Pth以上。 [0137]添加第二点击操作判断单元使得能够进行感知为图6所示的在手指接触之后立即进行手指按下的点击动作(“立即点击动作”)，并且实现与该立即点击动作相对应的功倉泛。
[0138]接着，将参考图8所示的流程图来说明处理器和存储器要执行的输入操作判断方法。
[0139](S601)首先，测量手指接触的有无。
[0140](S602)判断手指与触摸面板100是否相接触。
[0141](S603)按压力检测部103测量利用手指以与触摸面板100相接触的方式所施加的
按压力pc。
[0142](S604)接着，按压力判断单元123判断按压力检测部103所检测到的按压力pc是否为预定的按压力阈值PTH以上。
[0143](S611)在步骤S604判断为P。≥pTH的情况下，接触位置判断单元122判断手指接触点与任一图标104的显示区域是否重叠。然而，在步骤S604判断为pc〈pTH的情况下，该方法进入步骤S605以判断是否要启动触摸聚焦模式。
[0144](S612)在步骤S611判断为与任一图标104的显示区域重叠的情况下，判断为进行了点击动作(“立即点击动作”)，并且启动相应的操作。更具体地，启动一个图标104的功能，例如启动预定应用程序。
[0145](S605)在步骤S604判断为pc〈pTH(即，没有进行立即点击动作)的情况下，接触时间判断单元121判断画面上的手指接触点是否持续在预定时间pTH以上的时间内保持不变。
[0146](S621)在步骤S605判断为手指接触点持续在预定时间Pth以上的时间内保持不变的情况下，模式工作单元124启动触摸聚焦模式。更具体地，在使包含多个图标104的图像整体固定的状态下，监视手指接触点(即，从触摸面板100输出的手指接触位置信号)。
[0147](S631)然而，在步骤S605判断为在经过了预定时间tTH之前手指接触点已移动的情况下，模式工作单元124启动拖动模式。更具体地，使包含多个图标104的图像整体能够在手指拖动动作所指定的方向上滑动。
[0148](S622)接着，在使触摸聚焦模式工作之后判断是否存在针对触摸面板100的手指接触。在判断为存在手指接触的情况下，该方法进入步骤S623。然而，在判断为不存在手指接触的情况下，判断为手指从触摸面板100释放并且手指动作结束，并且该输入操作判断方法结束。
[0149](S623)接触位置判断单元122判断手指接触点与任一图标104的显示区域是否重叠。
[0150](S624)在步骤S623判断为手指接触点与任一图标104的显示区域重叠的情况下，操作判断控制器125判断为进行了聚焦动作，并且启动相关联的操作。更具体地，选择图标104中的手指接触点所重叠的图标。此时，优选地，触觉应答控制器126经由触觉应答机构部102向手指施加触觉应答。另外，还优选地，操作判断控制器125经由显示控制器111指示显示器101进行所选择的图标104的强调显示。
[0151](S625)接着，按压力检测部103检测通过手指接触触摸面板100所施加的按压力
Pco
[0152](S626)接着，按压力判断单元123判断按压力检测部103所检测到的按压力pc是否为预定按压力阈值Pth以上。
[0153](S627)在接触位置判断单元122判断为手指接触点与任一图标104的显示区域重叠、并且在步骤S626中按压力判断单元112判断为按压力pc为预定按压力阈值pTH以上的情况下，操作判断控制器125进行工作，以判断为进行了点击动作，并且启动其相关联的操作。更具体地，启动当前选择的图标104的功能，例如启动预定应用程序。
[0154]如上所述，在本实施例中，在用户使手指接触任一图标(对象)104、然后利用该手指立即按压该图标104的情况下，进行点击动作(“立即点击动作”)而无需如上所述的任何等待时间。结果，在本实施例中，利用采用手指接触动作、手指停留动作和手指滑动动作中的至少包括手指接触动作和手指滑动动作的多个原始或基本动作的组合形式的各动作，用户可以进行不同的输入操作，由此可以精确地区分识别这些动作。
[0155]图9是示出根据本发明的其它实施例的用户界面装置的外观的立体图。
[0156]图9(A)是配备有根据本发明的另一实施例的用户界面装置的笔记本型个人计算机2的立体图。在该笔记本型个人计算机2中，启动web浏览器以使用户能够浏览网页，并且在显示器201中显示包含多个链接(各链接构成对象的另一示例)204的图像。
[0157]在用户需要浏览正观看的网页中的当前没有显示在显示器201上的部分的情况下，如果用户使手指接触触摸面板200、然后立即滑动手指，则启动拖动模式以使用户能够进行拖动动作。在该情况下，在自最初手指接触起经过了预定时间tTH之前进行手指滑动动作是用户启动拖动模式的关键动作。
[0158]另一方面，在用户需要检查显示器201上所显示的网页的一部分中是否存在期望链接204的情况下，用户使手指接触触摸面板200的暂定位置，并且使手指至少在预定时间tTH内维持在该触摸位置处。这样启动了触摸聚焦模式。接着，用户通过使手指以接触的方式滑动至用户所检测到的显示有期望链接204的区域来进行聚焦动作。接着，用户通过利用手指以预定的按压力阈值Pth以上的力按压触摸面板200来进行点击动作，并且该动作启动了期望链接204的功能，从而使得用户能够观看利用期望链接204表示的网站所提供的文本内容、图形内容等。
[0159]图9(B)是配备有根据本发明的又一实施例的用户界面装置的数字照片打印机3的立体图。数字照片打印机3经由用户已选择的多个不同格式的信号/数据输入适配器305的其中一个来存储已获取到的大量数字照片数据集，并且显示器301显示与所获取到的数字照片数据集相对应的多个缩略图(各自构成对象的又一示例)304。
[0160]在用户需要观看多个缩略图304中的当前没有显示在显示器301上的缩略图的情况下，如果用户使手指接触触摸面板300、然后立即滑动手指，则启动拖动模式并且用户进行拖动动作。在该阶段，在自最初手指接触起经过了预定时间tTH之前进行手指滑动动作是用户启动拖动模式的关键动作。
[0161]另一方面，在用户需要检查期望缩略图304是否正显示在显示器301上的情况下，用户使手指接触触摸面板300上的暂定位置，并且使手指至少在预定时间tTH内维持在接触位置处。这样启动了触摸聚焦模式。接着，用户通过使手指以接触的方式移动至用户所检测到的显示有期望缩略图304的区域来进行聚焦动作。接着，用户通过利用手指以预定的按压力阈值Pth以上的力按压触摸面板300来进行点击动作，由此选择期望缩略图304，用于设置例如打印相应的数字照片数据的指示。
[0162]注意，在图9(A)和9(B)所示的各实施例中，存在如下情况:多个链接204或缩略图304以彼此间隔的紧密而使得用户难以使手指接触画面上的链接204或缩略图304的显示区域以外的位置的方式显示在显示器201或301上。即使在这种情况下，这些实施例也通过判断手指接触点是否持续在预定时间tTH以上保持不变、或者判断手指停留接触时间是否为预定阈值tTH以上，来进行输入模式的确定。结果，无论手指的最初接触位置如何，都可以容易地启动拖动模式并且用户可以确定地进行拖动动作。
[0163]此外，注意，在图9(A)和9(B)所示的各实施例中，存在如下情况:在显示器201或301上的期望链接204或期望缩略图304的显示区域外(包括其余的链接204或缩略图304的显示区域内)不期望地进行了最初手指接触。即使在这种情况下，这些实施例也通过判断手指接触点是否持续在预定时间tTH以上保持不变来进行输入模式的确定。结果，无论手指的最初接触位置如何，都可以容易地启动触摸聚焦模式，并且用户可以确定地进行用以选择期望链接204或缩略图304的聚焦动作。
[0164]如通过以上说明将容易理解，各自均根据上述本发明的实施例的用户界面装置、输入操作判断方法和程序提供了以下效果:在用户通过使手指接触显示画面来进行输入动作时，存在可以通过使手指以与显示画面相接触的方式滑动来正确地接受的多个不同类型的可用手指动作，从而使得用户能够通过使手指接触触摸面板而在多个不同模式下进行输入动作或操作。
[0165]换句话说，尽管附加输入动作与拖动动作共用作为手指接触和手指滑动的两种不同的原始或基本动作的合成动作，但由于附加输入动作具有作为手指停留的附加基本动作，因此用户可以以与拖动动作区分开的方式进行附加输入动作。结果，用户可以在多个不同模式下进行通过使手指接触画面的输入动作或操作。[0166]另外，各自均根据本发明的这些实施例的用户界面装置、输入操作判断方法和程序提供了以下效果:在用户通过使该用户的手指接触显示画面来进行输入动作时，作为用户使手指轻扫显示画面上所显示的图像的动作的结果，用户可以选择期望对象。
[0167]另外，在本发明的这些实施例中，用户接触的操作面通常是平板状的。另一方面，在用户通过使手指(例如，拇指)接触显示画面来进行输入动作的情况下，用户在使其掌根用作基本固定转轴的同时使手指弯曲，结果，指尖具有不是进行直线运动而是进行曲线运动的趋势。因此，在操作面的形状具有轮廓适合指尖的运动特性并且在远离指尖的方向上凸出的二维或三维曲面的情况下，用户可以在无需使手指从操作面移开的情况下利用手指对触摸面板进行操作。
[0168]尽管以上已经参考附图详细说明了本发明的一些实施例，但这些实施例仅是示例，并且本发明可以以替代模式来体现，其中这些替代模式以标题为“
【发明内容】
”的部分中所述的模式开始，或者是通过考虑到本领域技术人员的知识对上述实施例进行各种变形和改进来获得的。
【权利要求】
1.一种用户界面装置，其配备有用以将包括作为用户操作对象的对象的图像显示在画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述用户界面装置包括: 接触时间判断单元，用于判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上； 模式工作单元，用于在所述接触时间判断单元判断为所述保持时间为所述预定时间以上的情况下，判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、将包括所述对象的图像整体不移动而是固定地显示在所述画面上的状态下，监视手指的接触位置； 接触位置判断单元，用于在所述触摸聚焦模式工作期间，判断手指的接触位置与所述对象在所述画面上的显示区域是否重叠；以及 操作判断控制器，用于在所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠的情况下，判断为用户进行了用于暂定选择所述对象的聚焦操作。
2.根据权利要求1所述的用户界面装置，其中，所述模式工作单元在所述保持时间比所述预定时间短的情况下，使所述拖动模式工作，并且在所述保持时间为所述预定时间以上的情况下，使所述触 摸聚焦模式工作。
3.根据权利要求1所述的用户界面装置，其中，还包括: 触觉应答机构部，用于在手指与所述操作面接触的状态下向手指施加触觉应答；以及 触觉应答控制器，用于在所述操作判断控制器判断为用户进行了所述聚焦操作的情况下，控制所述触觉应答机构部经由所述操作面向手指施加所述触觉应答。
4.根据权利要求3所述的用户界面装置，其中，所述触觉应答控制器在手指进行了预定动作的情况下，响应于该预定动作，控制所述触觉应答机构部向手指施加振动，其中所述振动实质模拟手指通过代替虚拟按钮按压物理按钮的情况下将会从所述物理按钮感受到的触感。
5.根据权利要求1所述的用户界面装置，其中，还包括: 按压力检测部，用于检测手指按压所述操作面的按压力；以及 按压力判断单元，用于判断所检测到的按压力是否为预定阈值以上， 其中，所述操作判断控制器包括第一点击操作判断单元，所述第一点击操作判断单元用于在所述触摸聚焦模式工作期间、所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠并且所述按压力判断单元判断为所述按压力为所述预定阈值以上的情况下，判断为用户进行了用于启动分配至用户已暂定选择的对象的功能的点击操作。
6.根据权利要求1所述的用户界面装置，其中，还包括: 按压力检测部，用于检测手指按压所述操作面的按压力；以及 按压力判断单元，用于判断所检测到的按压力是否为预定阈值以上， 其中，所述操作判断控制器包括第二点击操作判断单元，所述第二点击操作判断单元用于在针对所述操作面的手指的接触开始之后，与所述接触时间判断单元是否判断为所述保持时间为所述预定时间以上无关地，在所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠并且所述按压力判断单元判断为所述按压力为所述预定阈值以上的情况下，判断为用户进行了用以启动分配至用户已暂定选择的对象的功能的点击操作。
7.根据权利要求1所述的用户界面装置，其中，所述预定时间长于在用户想要进行所述拖动操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间，但短于在用户想要进行用于选择所述对象的操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间。
8.根据权利要求1所述的用户界面装置，其中，所述接触时间判断单元与手指的接触位置与所述对象在所述画面上的显示区域是否重叠无关地，测量所述保持时间。
9.一种用于判断针对用户界面装置所进行的用户输入操作的方法，所述用户界面装置配备有用以将包括作为用户操作对象的对象的图像显示在画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述方法包括以下步骤: 第一步骤，用于判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上； 第二步骤，用于在所述第一步骤中判断为所述保持时间为所述预定时间以上的情况下，判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、将包括所述对象的图像整体不移动而是固定地显示在所述画面上的状态下，监视手指的接触位置； 第三步骤，用于在所述触摸聚焦模式工作期间，判断手指的接触位置与所述对象在所述画面上的显示区域是否重叠；以及` 第四步骤，用于在所述第三步骤中判断为手指的接触位置与所述对象在所述画面上的显示区域重叠的情况下，判断为用户进行了用于暂定选择所述对象的聚焦操作。
10.根据权利要求9所述的方法，其中，所述第一步骤是与手指的接触位置与所述对象在所述画面上的显示区域是否重叠无关地进行的。
11.一种用于对用户界面装置进行控制的方法，所述用户界面装置用于在画面上显示图像，并且使得用户能够与所显示的图像相关联地通过利用手指接触操作面来进行用户的输入，所述方法包括以下步骤: 第一步骤，用于在从用户利用手指接触所述操作面起、手指在所述操作面中的实质相同位置处保持了预定时间以上的情况下，不管有无手指的接触位置的随后的移动，开始用以使在所述画面上所显示的图像不移动而是固定地显示在所述画面上的固定显示；以及 第二步骤，用于在所述固定显示开始之后、手指的接触位置与所述画面上所显示的图像中的目标视觉对象的显示位置相对应的情况下，判断为用户暂定选择了所述对象。
12.根据权利要求11所述的方法，其中，还包括第三步骤，所述第三步骤用于在判断为用户暂定选择了所述对象之后、针对所述操作面的手指的接触程度增加的情况下，判断为用户进行了用于启动预先分配至用户已暂定选择的对象的功能的点击操作。
13.根据权利要求11所述的方法，其中，还包括第三步骤，所述第三步骤用于在针对所述操作面的手指接触开始之后，与是否经过了所述预定时间无关地，在手指的接触位置与所述对象的显示位置相对应并且针对所述操作面的手指的接触程度增加的情况下，判断为用户进行了用于启动预先分配至用户已暂定选择的对象的功能的点击操作。
14.一种程序，其由计算机来执行，以进行根据权利要求9所述的方法。
【文档编号】H04M1/247GK103620541SQ201280032317
【公开日】2014年3月5日 申请日期:2012年6月29日 优先权日:2011年7月11日
【发明者】松木友明 申请人:Kddi株式会社