电子装置及其控制方法
【专利摘要】本发明公开了一种电子装置及其控制方法。所述电子装置具有检测对象的触摸的输入装置(例如触摸屏板)，并且执行取决于检测到的触摸输入模式的操作。所述电子装置具有生成刺激的触觉反馈生成器，所述刺激能够通过正在触摸输入装置的部分被对象(例如手指)感知。通过控制触觉反馈生成器生成对应于能够被所述电子装置接受的触摸输入模式的刺激，将可接受的操作方法通知给用户。
【专利说明】电子装置及其控制方法
【技术领域】
[0001]本发明涉及一种电子装置及其控制方法，更具体地，涉及一种具有能够提供物理反馈的输入装置等的电子装置及其控制方法。
【背景技术】
[0002]迄今为止，主要利用输入装置(例如键盘和鼠标)来操作图形用户界面(⑶I)。另一方面，通过在屏幕上提供透明的触摸屏板，越来越多的设备能够直接在屏幕上操作GUI (例如按钮图标)，所述设备的典型示例包括智能手机和平板电脑。
[0003]特别是在近些年，除了模拟按压按钮之外，还提供取决于输入坐标轨迹的操作。因此通过使用例如手指、手写笔等对触摸屏板输入特定的符号或手势，能够执行相应的特定操作。
[0004]通过利用能够同时识别多个输入坐标的触摸屏板，越来越多的设备也能够接收更复杂的手势的输入。然而，用户需要记住各种有效的输入方法。此外，因为并非所有输入方法都能够一直使用，所以用户可能不会从操作中获得预期的结果，并感到烦恼。因此，在用户期望能够掌握在当前画面上有效的输入方法的情况下，由于牵涉到在所谓的帮助画面上查找输入方法等的方法削弱了可用性，因此，期望更直观的方法。
[0005]日本特开第2011-39989号公报提出了根据在触摸屏板上检测到的触摸输入的轨迹显示关于在该时点有效的候选手势操作的指导。
[0006]然而，如日本特开第2011-39989号公报所公开的，在正进行触摸输入时实时显示关于有效手势操作的信息的情况下，需要空间来显示关于手势操作的信息，并且对显示布局施加限制。例如，当通过被叠加在其他显示项上来显示指导显示时，这些其他显示项会变得难以看到。此外，为使得其他显示项不被隐藏而提供用于指导显示的空间会导致用于显示其他显示项的空间更少，能被显示的项数减少，并且显示尺寸减小。
[0007]另外，即使在通过被叠加来显示指导显示的情况下或者提供专用空间的情况下，指导显示也可能会被进行触摸输入的手指或者手写笔隐藏。尽管，可以想到使用例如除了显示之外的诸如音频指导的方法，但是存在音频指导可能会让附近的人厌烦以及在嘈杂的地方可能很难听到的担忧。
【发明内容】
[0008]鉴于传统技术中的上述问题而做出本发明，本发明提供了一种电子装置及其控制方法，该电子装置能够通过除了显示或者音频以外的其他方法通知给用户可接受的操作方法。
[0009]根据本发明的一个方面，提供了一种电子装置，该电子装置包括:接受单元，用于接受对输入装置的触摸操作；处理单元，用于执行取决于被所述接受单元接受的触摸操作的处理；生成单元，用于生成刺激，所述刺激能够通过所述输入装置的正被触摸的部分被正在触摸的用户感知；以及控制单元，用于控制所述生成单元生成与能够被所述接受单元接受的触摸操作模式对应的刺激。
[0010]根据本发明的另一方面，提供了一种电子装置的控制方法，所述电子装置具有生成单元，该生成单元被配置为生成能够通过所述输入装置的正被触摸的部分被正在触摸的用户感知的刺激，该控制方法包括以下步骤:接受对输入装置的触摸操作；执行取决于在接受步骤中接受的触摸操作的处理；以及控制所述生成单元生成与在接受步骤中能够接受的触摸操作模式对应的刺激。
[0011]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【专利附图】
【附图说明】
[0012]图1是示出了根据本发明的实施例的电子装置的示例性功能配置的框图。
[0013]图2是示出了在根据本发明的实施例的电子装置中，由触觉反馈生成器根据触摸操作(操作方法)的类型生成的触感的示例性模式的图。
[0014]图3是示出了在根据本发明的实施例的电子装置上显示的示例性设定菜单画面的图。
[0015]图4A是示意性示出了针对移动操作提供触感的示例性方式的图。
[0016]图4B是示出了在图3的状态下执行了向上移动操作之后的示例性画面显示的图。
[0017]图5A是示出了当在图3所示的设定菜单画面上轻击亮度按钮时显示的示例性亮度设定画面的图。
[0018]图5B是示意性示出了针对图5A中的滑块的移动操作提供触感的示例性方式的图。
[0019]图6是用于例示由CPU执行的与根据本发明的第一实施例的电子装置上的触摸操作相关的处理的流程图。
[0020]图7是用于例示图6的S602中的触摸操作接受处理的详情的流程图。
[0021]图8是用于例示图6的S605中的触摸操作接受处理的详情的流程图。
[0022]图9A到图9F是示出了显示在图1的记录介质中保存的图像数据列表的示例性索引画面，以及根据在索引画面上的触摸操作的示例性画面转变的图。
[0023]图10是用于例示由CPU执行的与根据本发明的第二实施例的电子装置上的触摸操作相关的处理的流程图。
[0024]图11是用于例示图10的S1016中的触感控制处理的详情的流程图。
[0025]图12是用于例示由CPU执行的与根据本发明的第三实施例的电子装置上的触摸操作相关的处理的流程图。
[0026]图13是用于例示由CPU执行的与根据本发明的第四实施例的电子装置上的触摸操作相关的处理的流程图。
【具体实施方式】
[0027]下文将参照附图详细描述本发明的示例性实施例。
[0028]第一实施例
[0029]图1是示出了根据本发明的第一实施例的电子装置100的示例性功能配置的框图。本发明可适用的电子装置100可以是任何具有触摸敏感输入装置(例如触摸屏板)的装置，并且更具体地，本发明能够合适地应用于触摸屏板被设置在显示设备上的电子装置，如移动电话、手持游戏机以及平板电脑。此外，本发明不仅可适用于便携式装置，而且还可适用于复印机、打印机、家用电器等。图1示出了被认为是本发明可适用的电子装置应典型地具有的示例性功能配置。
[0030]CPU101、存储器102、非易失性存储器103、图像处理单元104、显示器105、操作单元106、记录介质接口(I/F) 107、外部I/F109、通信I/F110、系统计时器112以及触觉反馈生成器113与内部总线150连接。这些与内部总线150连接的组件能够经由内部总线150相互发送和接收数据。
[0031]存储器102由例如RAM(利用半导体器件的易失性存储器等)组成。CPUlOl通过依照存储在非易失性存储器103中的程序控制电子装置100的组件(例如，使用存储器102作为工作存储器)来实现电子装置100的操作(下文将讨论)。非易失性存储器103存储图像数据、音频数据和其他数据，以及CPUlOl执行的各种程序等。非易失性存储器103能由硬盘驱动器(HDD)、固态驱动器(SSD)、ROM(包括可重写R0M，例如EEPR0M)等构成。
[0032]图像处理单元104在CPUlOl的控制下，对存储在非易失性存储器103或记录介质108中的图像数据、经由外部I/F109获取的视频信号、经由通信I/F110获取的图像数据等执行各种图像处理。由图像处理单元104执行的图像处理包括A/D转换、D/A转换、图像数据的编码、压缩、解码、放大/缩小(调整尺寸)、降噪、颜色转换等。图像处理单元104可以由用于执行特定图像处理的专用电路块构成。此外，至少一些图像处理可以通过CPUlOl执行图像处理程序来实现，而不是通过利用图像处理单元104来实现。
[0033]例如，在CPUlOl的控制下，除了记录在记录介质108上的图像、文本等，显示器105还显示被应用程序和OS使用的⑶I (图形用户界面)图像等。CPUlOl控制电子装置100的各种部件以生成用于根据程序在显示器105上显示的视频信号，并且将视频信号输出到显示器105。显示器105基于输出的视频信号显示图像。应注意，可以采用如下配置，在该配置中，显示器105是外部设备，电子装置100输出用于在显示器105上显示的视频信号。
[0034]操作单元106是用于接受用户操作的输入装置，并且包括文本信息输入装置，例如键盘、指示装置(例如鼠标或触摸屏板106a)、按钮、刻度盘、操纵杆、触摸传感器以及触摸板。此外，能够检测触摸操作的输入装置的表面被称作触摸敏感表面。应注意，在本实施例中，触摸屏板106a是透明或者半透明的，并且被设置在显示器105的显示屏幕上，从而使显示画面可视，但是触摸屏板106a也可以是不透明的，并且被设置在不同于显示器105的位置。另外，利用已知的、由触摸屏板106a输出的坐标信息与显示器105的显示坐标之间的关系，触摸屏板106a输出触摸输入的坐标信息。在针对多个不同位置同时接收到输入的情况下，触摸屏板106a可以是能够针对各个输入而输出坐标信息的类型，或者可以是仅针对一个输入而输出坐标信息的类型。
[0035]任何采用各种已知方法(如电阻法、电容法、表面声波法、红外法、感应法、图像识别法或者光学传感器法)之一的触摸屏板能够用作触摸屏板106a。
[0036]在CPUlOl的控制下，记录介质I/F107对可移除记录介质108 (例如存储卡、⑶或DVD)执行数据的读取和写入。外部I/F109是用于对通过线缆或者无线连接的外部设备执行视频信号和音频信号的输入和输出的接口。通信I/F110是用于与外部设备、互联网111等通信并执行各种数据(例如文件和指令)的发送和接收的接口。
[0037]系统计时器112测量用于在各种控制中使用的时间和内置时钟的时间。
[0038]在本实施例中，CPUlOl能够检测对于触摸屏板106a的以下操作/状态。
[0039]-物体触摸触摸屏板106a(下文称为“触摸开始(touch-down) ” )。
[0040]-物体正在触摸触摸屏板106a的状态(下文称为“持续触摸”)。
[0041]-当物体保持与触摸屏板106a接触的同时移动触摸位置(在持续触摸状态时的触摸位置的移动，下文称为“移动”)。
[0042]-从物体触摸触摸屏板106a的状态到非触摸状态的转变(下文称为“触摸释放”)。
[0043]-触摸屏板106a不被触摸的状态(下文称为“无触摸”)。
[0044]-同时触摸两个点并且缩小正被触摸的两个点之间的距离(下文称为“捏小(pinch-1n)”)。
[0045]-同时触摸两个点并且扩大正被触摸的两个点之间的距离(下文称为“捏大(pinch-out) ”)
[0046]此外，在多个点的触摸开始和触摸释放将在下文分别被称作“多点触摸开始”和“多点触摸释放”。另外，在多个点的操作和在多个点的持续触摸将分别被称作“多点触摸”和“多点持续触摸”。关于触摸屏板106a的状态和操作的信息以及物体(通常是手指或者手写笔)触摸触摸屏板106a的位置的坐标通过内部总线150被通知给CPU101。基于通知的信息，CPUlOl确定在触摸屏板106a上执行何种操作。
[0047]关于移动，基于位置坐标的变化，CPUlOl能够分别对触摸屏板106a的垂直分量和水平分量，确定在保持与触摸屏板106接触的同时移动手指或笔的移动方向(触摸点的移动方向)。
[0048]在本实施例中，将可被触摸屏板106a检测到的一系列状态和特定模式视作触摸操作。例如，将触摸屏板106a从触摸开始到持续触摸、移动、然后触摸释放的状态的连续变化视作触摸操作，该触摸操作被认为是划描画(stroke drawing)。快速划描画操作也被称作轻拂(flick)。轻拂是包括触摸触摸屏板、在保持与触摸屏板接触的同时快速移动一定距离，然后释放触摸的操作，并且能够被描述为以下操作:该操作包括用手指的轻拂一样的手势在触摸屏板上快速描绘。当检测到以预定的速度或更快的速度移动预定的距离或更远的距离，然后紧接触摸释放时，即可以确定进行了轻拂操作。此外，小于预定速度的移动将被确定为正常移动操作。另外，假定在非易失性存储器103中预先登记了其他触摸操作与上文提到的触摸屏板106a状态的模式的对应关系。例如，在触摸开始之后的预定时间段内检测到没有触摸被认为是轻击(tap)操作，而在预定时间段或之后检测到无触摸不被认为是轻击操作。
[0049]触觉反馈生成器113是用于将机械反馈或者电反馈(刺激)从触摸屏板106a(通过触摸敏感表面)提供给正在触摸触摸屏板106a的物体(例如，用户的手指、用户握持的手写笔等)的装置。在物体是诸如手指的活体或者被活体握持的情况下，机械反馈或者电反馈能够被活体的触觉感知为触感(或其改变)。已知的触觉反馈生成方法包括振动触觉反馈生成方法和电触觉反馈生成方法，并且这些方法中至少一种能够用于触觉反馈生成器113 (也可以使用其组合)。
[0050]在使用振动触觉反馈生成方法的情况下，偏心电机或者压电元件(相当于触觉反馈生成器113)被分别设置在显示器105 (触摸屏板106a)的背面的上部、下部、左部、右部以及中部。通过控制各电机的电流或者施加到各压电元件的电压，来振动显示器105(触摸屏板106a)的特定部分(即，生成振动刺激)。通过利用CPUlOl控制电机的电流或者施加到压电元件的电压，能够在不同部分生成各种类型的振动，并且对触摸触摸屏板106a的用户提供各种触感。
[0051]采用电触觉反馈生成方法的触觉反馈生成器113由导电层屏板和绝缘体屏板组成，并且能够使导电层带正电荷。与触摸屏板106a类似，这两个屏板通过叠加在显示器105上而设置，并且通过导电层屏板带有的正电荷能够在用户触摸绝缘屏板时施加电刺激。此夕卜，也能够通过库伦力(Coulomb force)提供皮肤被拉的感觉。
[0052]可以选择性地使导电层屏板的各个位置带有正电荷，通过CPUlOl控制选择，可以向正触摸触摸屏板106a的用户的手指等提供虚拟表面粗糙感、虚拟凹凸感(比虚拟表面粗糙感更粗的触感)等。另外，通过选择性地使导电层屏板的各位置带有正电荷，能够在局部而不是对被触摸的整个区域提供触感，也可以在一个被触摸的表面内改变提供触感的位置，从而使得能够对用户提供多种触感。
[0053]在第一实施例中，电子装置100根据当前可接受的触摸操作的类型生成触感。因此，当用户正在用手指(或者用其正在握持的手写笔)触摸触摸屏板106a时，用户能够例如从手指(直接地或者通过手写笔)的触感找出当前能够使用何种类型的触摸操作。
[0054]图2是示出了在采用振动触觉反馈生成方法的情况下和采用电触觉反馈生成方法的情况下，由触觉反馈生成器113根据触摸操作(操作方法)类型生成的触感的示例性模式的图。这样，表示操作方法和用于通知该操作方法的触感模式之间的对应关系的信息被记录在非易失性存储器103中。应注意，因为存储的信息在实际中被程序所参考，所以该信息可以采取表的形式，在该表中触感模式的类型和操作方法的类型在被编码之后关联。
[0055]图3是示出了在显示器105上显示的电子装置100的示例性设定菜单画面的图。设定菜单画面300包括分别对应于多个设定项的按钮图像，并且当检测到触摸输入时，画面转变到以对应于被触摸的位置的按钮图像所表示的项的设定画面。在以下描述中，可以将检测到触摸屏板106a在对应于可操作的⑶I对象(例如按钮图像)的位置正在被触摸简要表达为“按钮被触摸”。
[0056]此外，在设定菜单画面300在垂直方向上长于显示器105的情况下检测到在垂直方向上的拖拽或者轻拂操作时，CPUlOl以对应于操作方向的方向滚动设定菜单画面的显示。因此，用户能够显示没被显示的按钮图像。应注意，除非另有说明，滚动方向在以下描述中是指显示的内容在窗口中移动的方向，不是窗口相对于显示的内容移动的方向。例如，“向上”滚动引起显示的内容在向上的方向移动，从而新内容从画面的底部出现，并且在画面顶部显示的内容消失。
[0057]换句话说，当显示图3所示的设定菜单画面300时，电子装置100能够至少接受轻击操作、轻拂操作和拖拽操作。当在显示设定菜单画面的状态下存在持续触摸操作时，CPUlOl使触觉反馈生成器113生成对应于关于垂直方向的移动操作的触感。例如，根据图2的对应关系表，如图4A所示，通过用以持续触摸的位置为中心的预定范围内在向上方向上对多个位置提供触感402，来对手指401提供在向上方向上移动的触感。在图4A中，用圆圈示出提供触感的位置，而箭头指示位置随时间的变化。因此，通过短时间触摸触摸屏板106a，用户能够从触感中识别何种类型的触摸操作是当前可行的。应注意，只要用户能够感觉到向上方向移动的触感，通过触觉反馈生成器113提供的触感的大小和位置能够任意设定。例如，通过逐渐增加触感的强度并同时在向上的方向移动提供触感的位置，能够采用各种移动模式来强调方向性等。
[0058]应注意，如上文提到的，触感模式与触摸操作(操作方法)的类型关联。这样，如果可接受的操作方法通用，则不论画面的显示内容或电子装置的操作状态如何，由触觉反馈生成器113提供给用户的触感也将是通用的。此外，例如，如果用户当前处于执行某种操作中，则在当前正在执行的操作结束之后可通过触感来通知可接受的操作方法。
[0059]图5A示出在图3的状态中触摸亮度按钮301的情况下，CPUlOl在显示器105上显示的示例性亮度设定画面。亮度设定画面500包含滑块501，作为可操作⑶I对象。CPUlOl根据滑块501的拖拽操作沿条502改变滑块501的显示位置，并且根据滑块501的位置改变画面亮度。也就是说，在亮度设定画面500上，在滑块501被触摸的状态下的可接受的操作是在水平方向上的移动操作。
[0060]因此，在亮度设定画面500的显示期间，当滑块501被触摸预定时间段或者更久(持续触摸)时，CPUlOl使触摸反馈生成器113生成用于通知水平方向上的移动操作的触感。例如，根据图2的对应关系表，如图5B所示，在以触摸位置为中心的附近区域内在从左到右的多个位置上，顺序地生成触感。因此，当触摸滑块501时，用户能够由触感识别出水平地拖拽滑块501的操作是可行的。
[0061]下文将利用图6所示的流程图描述在图3所示的设置菜单画面300的显示期间触摸亮度按钮301、并且在如上文提到的图5A的亮度设定画面500上执行用于改变亮度的操作的情况下的通过CPUlOl的处理。图6的流程图所示的控制操作通过非易失性存储器103中存储的被展开到存储器102中的、通过CPUlOl执行的程序来实现。通过对操作单元106执行操作以及输入显示设定菜单的指令来开始图6的处理。
[0062]在S601，通过基于储存在非易失性存储器103中的设定菜单画面300的数据生成用于显示的视频信号，并将该视频信号输出到显示器105，CPUlOl将图4A的设定菜单画面300显示在显示器105上。应注意，在显示⑶I对象的情况下，执行读取⑶I对象、基于读取的Gn对象数据生成视频信号、以及将生成的视频信号输出到显示器105的输出控制。然而，为避免将描述复杂化，下文将在一些情况中给出CPUlOl被描述为在显示器105上显示设定菜单画面的简化描述。
[0063]在S602，CPUlOl执行用于接受在所显示的设定菜单画面上的触摸操作的处理。下文将利用图7讨论该处理的详情。
[0064]在S603，CPUlOl辨别在触摸操作接受处理中接受的触摸操作的类型，并且在接受了向上轻拂(移动)操作的情况下将处理推进到S609，而在接受了轻击操作的情况下将处理推进到S604。
[0065]在S609，CPUlOl将设定菜单画面300的显示向上滚动一定量，其中所滚动的量取决于移动距离或者轻拂的速度，然后将处理返回到S602。图4B示出了滚动后的示例性显示状态。
[0066]在S604，CPUlOl显示取决于在显示器上轻击的⑶I按钮的设定画面。如上文提到的，这里为方便描述关于亮度调节操作的处理，假定接受了对亮度按钮301的轻击操作，如图5A所示，在显示器105上显示亮度设定画面500。然而，在实际中，后续处理根据当前被显示的⑶I按钮中的哪一个被轻击而进行分支。
[0067]当在显示器105上显示图5A所示的亮度设定画面500时，CPUlOl执行S605的用于接受亮度设定画面上的触摸操作的处理。下文将利用图8讨论该处理的详情。
[0068]在S606，CPUlOl辨别在亮度设定画面上的触摸操作接受处理中接受的触摸操作，并且如果接受了向左移动操作，则处理推进到S607，而如果接受了向右移动操作，则将处理推进到S608。另外，如果轻击后退按钮，CPUlOl将处理返回到S601，并且再次在显示器105上显示设定菜单画面300 (图3)。
[0069]在S607，在将处理返回到S605之前，CPUlOl根据移动操作的量移动滑块501的显示位置，并且降低显示器105的亮度。
[0070]在S608，在将处理返回到S605之前，CPUlOl根据移动操作的量移动滑块501的显示位置，并且提高显示器105的亮度。
[0071]下面将利用图7的流程图描述图6的S602中用于接受设定菜单画面上的触摸操作的处理的详情。
[0072]在S702，CPUlOl辨别是否检测到触摸开始状态。
[0073]在S703，CPUlOl启动系统计时器112，以便测量触摸开始状态的持续时间。应注意，在系统计时器112 —直操作的情况下，开始对系统计时器112的输出值的计数。
[0074]在S704，CPUlOl辨别从开始时间测量起是否经过了预定时间段(这里是2秒)，并且如果经过了 2秒或者更久，则将处理推进到S707，而如果没有经过2秒，则将处理推进到S705。在检测到触摸开始状态后2秒或更久没有检测到向上移动状态(因为从图3的显示状态向下滚动不可行，所以为方便起见仅考虑向上移动状态)和触摸释放状态的情况下，处理转到S707。
[0075]这样，在本实施例中，在没有接受可接受的触摸操作的情况下，在检测到触摸开始之后，持续触摸状态持续预定时间段时，通过触感来通知在此时点可接受的操作。应注意，并非所有可接受的触摸操作都需要通过触感来通知。例如，无需通知就被用户理解为可接受的操作(例如⑶I按钮接受轻击操作)可以被排除在通过触感进行通知之外。因此，能够避免以下情况:因为通过触感来通知的所有形式的操作而使用户感到不方便，或者用户最后不能掌握何种操作是有效的。此外，可以采用如下配置:通过触感来通知的触摸操作的类型是针对与检测到持续触摸的位置相对应的GUI对象可接受的触摸操作。例如，可以采用如下配置:在多个⑶I对象存在于画面(包括背景)上并且对于每个对象可接受的操作都不同的情况下，只有在检测到持续触摸的位置可接受的触摸操作是利用触感来通知的。
[0076]在S707，如图2的表所描述的，CPUlOl控制触觉反馈生成器113以将对应于向上轻拂操作的触感提供给正在触摸触摸屏板106a的用户的手指。应注意，可以采用如下配置:在向上和向下轻拂操作二者均可接受的情况下，可交替地提供对应于向上轻拂操作的触感和对应于向下轻拂操作的触感。
[0077]在S708，CPUlOl停止系统计时器112或者停止在S703开始的其计数操作，并且重新设定计时器(在重新设定为O之后停止计时器)。
[0078]在S709，CPUlOl辨别是否检测到触摸释放，并且当检测到触摸释放时从S702重复处理。如果没有检测到触摸释放，则CPUlOl等待直到检测到触摸释放。应注意，可以采用如下配置:如果在预定时间段内没有检测到触摸释放，则处理返回到S703。这样，在感觉到触感之后，用户能够通过向上移动正在触摸触摸屏板的手指来指示滚动。
[0079]在S705，CPUlOl辨别是否检测到向上移动状态，并且，如果检测到，则将处理推进到S710，将表示已接受向上轻拂操作的信息设定为接受处理结果，然后将处理推进到S712。在没有检测到向上移动状态的情况下，CPUlOl将处理推进到S706，判别是否检测到触摸释放。
[0080]如果在S706没有检测到触摸释放，则CPUlOl将处理返回到S704。如果检测到触摸释放，则CPUlOl将处理推进到S711，将表示已接受轻击操作的信息设定为接受处理结果，然后将处理推进到S712。
[0081]在S712，与S708类似，CPUlOl重新设定计时器，然后推进到图6的S603。
[0082]下面，将利用图8的流程图来描述图6的S605中用于对亮度设定画面接受触摸操作的处理的详情。
[0083]在S802，CPUlOl辨别是否轻击了后退按钮，并且，如果轻击了，则推进到S816，将表示已轻击了 “后退”的信息设定为处理结果，然后结束触摸操作接受处理(将处理转到S606)。
[0084]在S802，如果没有接受到对后退按钮的轻击操作，则CPUlOl将处理推进到S803。
[0085]在S803，CPU101辨别是否检测到触摸开始状态。应注意，在本实施例中，因为除了后退按钮，在亮度设定画面500上可操作的⑶I对象只有滑块501，因此可以确定在对应于滑块501的区域是否检测到触摸开始状态。
[0086]在S804，CPUlOl启动系统计时器112，以便测量触摸开始状态的持续时间。应注意，在系统计时器112 —直操作的情况下，开始对系统计时器112的输出值的计数。
[0087]在S805，CPUlOl判别从开始时间测量起是否经过了预定时间段(这里是2秒)，并且如果经过了 2秒或者更久，则将处理推进到S809，而如果没有经过2秒，则将处理推进到S806。在检测到触摸开始状态之后2秒或更久没有检测到水平移动状态和触摸释放状态的情况下，处理转到S809。
[0088]这样，在本实施例中，响应于对触摸屏板106a的触摸输入已经满足预定条件，通过触感来通知在该时点可接受的操作。这里，作为一个示例，利用在没有接受可接受的触摸操作的情况下，持续触摸状态从检测到触摸开始起持续预设时间段(2秒)作为条件，但是也可以利用其他条件。此外，可以根据情况改变条件。
[0089]在S809，如图2的表所描述的，CPUlOl控制触觉反馈生成器113，以将对应于向右轻拂操作的触感提供给正在触摸触摸屏板106a的用户的手指。应注意，可以采用如下配置:在向右和向左轻拂操作二者均可接受的情况下，如图5B所示，可交替地提供对应于向右轻拂操作的触感和对应于向左轻拂操作的触感。也可以采用如下配置:在滑块501在右端或者左端，并且只能单向移动的情况下，只提供与在滑块能够移动的方向上的轻拂操作对应的触感。
[0090]在S810，CPUlOl停止系统计时器112或者停止在S804启动的其计数操作，并重新设定计时器(在重新设定为O之后停止计时器)。
[0091]在S811，CPUlOl辨别是否检测到触摸释放，并且当检测到触摸释放时从S803重复处理。如果没有检测到触摸释放，则CPUlOl等待，直到检测到触摸释放。应注意，可以采用如下配置:如果在预定时间段内没有检测到触摸释放，则处理返回到S804。
[0092]在S806，CPUlOl辨别是否检测到向右移动状态，并且，如果检测到，则将处理推进到S812，将表示已接受向右轻拂操作的信息设定为接受处理结果，然后将处理推进到S815。如果没有检测到向右移动状态，则CPUlOl将处理推进到S807，然后判别是否检测到向左移动状态。在检测到向左移动状态的情况下，CPUlOl将处理推进到S813，将表示已接受向左轻拂操作的信息设定为接受处理结果，然后将处理推进到S815。在S815，与S810类似，CPUlOl重新设定计时器，然后推进到图6的S603。
[0093]在S806或者S807没有检测到向右或者向左移动状态的情况下，CPUlOl将处理推进到S808，然后判别是否检测到触摸释放。
[0094]如果在S808没有检测到触摸释放，则CPUlOl将处理返回到S805。在检测到触摸释放的情况下，CPUlOl将处理推进到S814，与S810类似，重新设定计时器，并将处理返回到S802。
[0095]如上文所描述的，根据本实施例，可以采用如下配置:通过触感将可接受的触摸操作传达给用户。这样，就不会出现如在执行指导显示的情况下的、诸如显示被手指或者手写笔隐藏或者其他对象被指导显示隐藏的问题。此外，不需要提供专用的显示区域。另外，也不会出现在使用音频指导的情况下出现的问题。
[0096]此外，可以采用如下配置:在给定时间段内没有检测到可接受的触摸操作的时点执行通过触感的通知，而不是在检测到触摸开始之后立即执行通过触感的通知。这样，因为理解何种触摸操作有效的用户能够执行期望的触摸操作，而不需要通过触感被通知，因此提高了可用性。另一方面，基于在用户不知道何种操作有效的情况下，其能够仅通过持续触摸触摸屏板通过触感获得通知的事实，也提高了可用性。
[0097]第二实施例
[0098]下面将描述本发明的第二实施例。在本实施例中，将描述具体示例，在本示例中，当多个触摸操作可接受时，给出通过触感的通知。注意，为了便于描述和理解，假定根据本实施例的电子装置的功能配置以及触摸操作与触感之间的对应关系与第一实施例类似。
[0099]图9A示出了作为显示保存在记录介质108中的图像数据的列表的示例性画面的索引画面。假定当在显示器105上显示索引画面时，本实施例的电子装置100能够接受多个触摸操作，例如向左或向右轻拂(移动)、轻击、捏小以及捏大。
[0100]图9B到图9F示出了在图9A所示的索引画面上执行各个可接受的触摸操作的情况下的示例性画面改变。图9B对应于向右轻拂，图9C对应于向左轻拂，图9D对应于轻击，图9E对应于捏小，图9F对应于捏大。
[0101]将利用图10所示的流程图来描述这些依据在索引画面上接受的触摸操作的画面转变操作。
[0102]在S1001，CPUlOl通过读取保存在记录介质108中的图像数据，利用图像处理单元104将读取的图像数据转换为缩略图，以及利用保存在非易失性存储器103中的数据展示缩略图,来在显示器105上显示索引画面(图9A)。
[0103]在S1002，CPUlOl等待要检测的触摸开始状态，当检测到触摸开始状态时将处理推进到S1003。
[0104]在S1003，CPU101启动系统计时器112，以便测量触摸开始状态的持续时间。应注意，在系统计时器112 —直操作的情况下，开始对系统计时器112的输出值的计数。
[0105]在S1004，CPUlOl辨别从开始时间测量起是否经过了预定时间段(这里是2秒)，并且如果经过了 2秒或者更久，则将处理推进到S1016，而如果没有经过2秒，则将处理推进到S1005。在检测到触摸开始状态后2秒或更久没有检测到向左或向右轻拂操作、捏小操作、捏大操作以及触摸释放状态的情况下，处理转到S1016。在S1016，CPUlOl执行触感控制处理。下文将讨论触感控制处理的详情。
[0106]在S1005，CPUlOl辨别是否检测到向右轻拂状态，并且，如果检测到，则将处理推进到S1012，并且将索引画面的显示向右滚动。应注意，在本实施例中，利用按时间顺序(例如，根据拍摄日期和时间等)布置的缩略图显示索引画面，并且假定向右滚动显示是时间追溯的方向。因此，通过向右滚动显示，在图9B所示的索引画面上显示具有比图9A中显示的缩略图更早的拍摄日期和时间的图像数据的缩略图。然后，CPUlOl将处理推进到S1017。
[0107]在S1005中没有检测到向右轻拂操作的情况下，CPUlOl将处理推进到S1006，在检测到向左轻拂操作的情况下，将处理推进到S1013。在S1013中，CPUlOl将索引画面的显示向左滚动。通过向左滚动显示，在图9C示出的索引画面上显示具有比在图9A中显示的缩略图更近的拍摄日期和时间的图像数据的缩略图。然后，CPUlOl将处理推进到S1017。
[0108]在S1006中没有检测到向左轻拂操作的情况下，CPUlOl将处理推进到S1007，并且辨别是否检测到捏大操作。如果检测到捏大操作，则CPUlOl将处理推进到S1014，而如果没有检测到捏大操作，则将处理推进到S1008。
[0109]在S1014，CPUlOl以取决于捏大操作的两点之间距离的增大的倍率，在索引画面上放大缩略图，并且以每个画面具有数量减少的缩略图的形式执行显示。图9F示出了在捏大操作时的索引画面的示例性显示。然后，CPUlOl将处理推进到S1017。
[0110]在S1007中没有检测到捏大操作的情况下，CPUlOl将处理推进到S1008，并且辨别是否检测到捏小操作。如果检测到捏小操作，则CPUlOl将处理推进到S1015，而如果没有检测到捏小操作，则将处理推进到S1009。
[0111]在S1015，CPUlOl以取决于捏小操作的两点之间距离的减小的倍率在索引画面上缩小缩略图，并且以每个画面具有增加数量的缩略图的形式执行显示。图9E示出在捏小操作时的索引画面的示例性显示。然后CPUlOl将处理推进到S1017。
[0112]在S1017，CPUlOl等待触摸释放的检测，并且当检测到触摸释放时，将处理推进到S1018。在S1018，CPUlOl停止系统计时器112或者停止在S1003中开始的其计数操作，并且重新设定计时器(在重新设定为O之后停止计时器)。然后，CPUlOl从S1002开始重复处理。
[0113]在S1005到S1008中没有检测到向右或向左轻拂操作、捏大操作以及捏小操作的情况下，CPUlOl辨别在S1009是否检测到触摸释放，并且当检测到触摸释放时将处理推进到S1010。如果没有检测到触摸释放，则CPUlOl将处理返回S1004。
[0114]在S1010，CPU101停止系统计时器112或者停止在S1003中开始的其计数操作，并且重新设定计时器(在重新设定为O之后停止计时器)。在这种情况下，假定检测到轻击操作，CPUlOl将处理推进到S1011，然后执行单独显示，在所述单独显示中只有对应于轻击位置的缩略图被放大并显示在索引画面上。在图9D中示出示例性单独显示。然后，CPUlOl从S1002开始重复处理。
[0115]下面将利用图11所示的流程图描述图10的S1016中的触感控制处理的详情。在S1101, CPUlOl根据从在S1003开始测量时起所经过的时间T(秒)而对处理进行分支。
[0116]在经过的时间T是2秒或更久，并且小于4秒的情况下，CPUlOl将处理推进到S1102，并且控制触觉反馈生成器113以对检测到持续触摸的位置提供对应于向右轻拂操作的触感。然后CPUlOl将处理推进到S1108。
[0117]在经过的时间T是4秒或更久，并且小于6秒的情况下，CPUlOl将处理推进到S1103，然后控制触觉反馈生成器113以对检测到持续触摸的位置提供对应于向左轻拂操作的触感。然后CPUlOl将处理推进到S1108。
[0118]在经过的时间T是6秒或更久，并且小于8秒的情况下，CPUlOl将处理推进到S1104，并且控制触觉反馈生成器113以对检测到持续触摸的位置提供对应于轻击操作的触感。然后，CPUlOl将处理推进到S1108。
[0119]在经过的时间T是8秒或更久，并且小于10秒的情况下，CPUlOl将处理推进到S1105，并且控制触觉反馈生成器113以对检测到持续触摸的位置提供对应于捏小操作的触感。然后，CPUlOl将处理推进到S1108。
[0120]在经过的时间T是10秒或更久，并且小于12秒的情况下，CPUlOl将处理推进到S1106，并且控制触觉反馈生成器113以对检测到持续触摸的位置提供对应于捏大操作的触感。然后，CPUlOl将处理推进到S1108。
[0121]在经过的时间T是12秒或更久的情况下，CPUlOl将处理推进到S1107，设定经过的时间T为2秒，并且将处理推进到S1108。
[0122]在S1108，CPUlOl辨别是否检测到触摸释放，如果没有检测到触摸释放，则再次从SllOl起执行处理。如果检测到触摸释放，则CPUlOl将处理推进到S1109，并且停止系统计时器112或者计数操作，重新设定计时器(在重新设定为O之后停止计时器)，并将处理转变到S1002。
[0123]这样，根据本实施例，依据持续触摸状态的持续时间，CPUlOl控制触觉反馈生成器113以顺序地生成表示在当前显示的画面上可接受的多个触摸操作的触感。这样，在用户不记得或不知道有效的触摸操作的情况下，通过保持用手指触摸触摸屏板(例如，其同一地方)的状态，用户能够找出当前有效的多个触摸操作的全部。此外，因为通过触感的通知被重复直到检测到触摸释放，所以在用户第一次被通知时存在其不能清楚理解的触摸操作的情况下，由于用户只需要持续触摸触摸屏板而不释放触摸，因而提高了可用性。
[0124]第三实施例
[0125]下面将描述本发明的第三实施例。在本实施例中，执行通过触感的通知的定时与第一和第二实施例不同。在第一和第二实施例中，响应于在检测到触摸开始之后而没有检测到触摸释放和可接受的触摸操作的情况下经过的预定时间段，生成对应于可接受的触摸操作的触感。在本实施例中，不是基于从检测到触摸开始经过的时间，而是在预定时间段没有检测到用户输入的操作的情况下，当下次检测到触摸开始状态时执行通过触感的通知。应注意，为了便于描述和理解，假定根据本实施例的电子装置的功能配置以及触摸操作和触感之间的对应关系与第一和第二实施例类似。
[0126]这里，为了便于理解和描述，将通过以在显示第二实施例中描述的索引画面(图9A)之后，本实施例的电子装置100的CPUlOl的操作为例，描述本实施例的用于通知操作的操作。
[0127]图12是用于例示本实施例的电子装置100的用于通知操作的操作的流程图。
[0128]在S1201，CPU101读取保存在记录介质108中的图像数据，利用图像处理单元104将读取的图像数据转换成缩略图，并将缩略图连同保存在非易失性存储器103中的数据一起显示在显示器105上(图9A)。
[0129]在S1202，CPUlOl启动系统计时器112。应注意，在系统计时器112 —直操作的情况下，开始对系统计时器112的输出值的计数。
[0130]在S1203，CPUlOl辨别从启动系统计时器112时起是否经过了预定时间段(这里是5秒)，如果经过了 5秒或者更久，则将处理推进到S1204，而如果还没有经过5秒，则将处理推进到S1206。
[0131]在S1204，CPUlOl辨别是否检测到触摸开始状态。在没有检测到触摸开始状态的情况下，CPUlOl进行等待，直到检测到触摸开始状态。在检测到触摸开始状态的情况下，CPUlOl在S1205执行触感控制处理。该触感控制处理可以与利用图11描述的触感控制处理相同。如果有一个可接受的触摸操作,则在SI 102执行通过触感的通知之后，处理可以直接推进到SI 109。
[0132]在S1206，CPUlOl辨别是否检测到可接受的触摸操作，并且，如果检测到，则在S1207中执行取决于检测到的触摸操作的操作。这里所指的操作是如利用图10所描述的操作。应注意，在轻击操作的情况下执行单独显示。另一方面，在没有检测到可接受的触摸操作的情况下，CPUlOl将处理返回S1203。
[0133]根据本实施例，在从显示GUI画面时起没有检测到可接受的触摸操作的情况下经过给定时间段之后，当检测到对触摸屏板的触摸(触摸开始)时，通过触感通知可接受的触摸操作。另一方面，在经过给定时间段之前，即使检测到对触摸屏板的触摸，也不执行通过触感的通知。因为在显示GUI画面之后相对较短的时间段内执行触摸操作的用户被认为意识到可接受的触摸操作，所以在GUI画面显示之后有经验的用户的操作不会因为不执行通过触感的通知而受到阻碍。另一方面，因为完全可以想到在GUI画面显示之后在预定时间段内没有执行操作的用户并不熟悉可接受的触摸操作，所以当检测到触摸开始时执行关于触摸操作的通知。
[0134]第四实施例
[0135]下面将描述本发明的第四实施例。在本实施例中，向第三实施例添加如下处理，即在CTI画面显示后，在经过给定时间段之前检测到触摸操作，但是该触摸操作并不是可接受的情况下的处理。
[0136]在本实施例中，假定用户不知道可接受的触摸操作或者执行了错误的触摸操作，在这样的情况下，当下次检测到触摸开始状态时，执行通过触感的通知。应注意，为了便于描述和理解，假定根据本实施例的电子装置的功能配置以及触摸操作和触感之间的对应关系与第一和第二实施例类似。
[0137]图13是用于例示用于通知本实施例的电子装置100中的操作的操作的流程图。应注意，描述被限于与图12不同的处理，对于与图12类似的处理给出相同的附图标记，其描述也将被省略。
[0138]在S1303，CPUlOl辨别错误标记是否开启(ON)，并且，如果错误标记开启，则在S1305中在将错误标记设定为关闭(OFF)之后将处理推进到S1204。
[0139]在S1303，如果错误标记关闭，则处理推进到S1203。
[0140]在S1203，CPUlOl辨别在启动系统计时器112之后是否经过了预定时间段(这里是5秒)，并且如果经过5秒或者更久，则将处理推进到S1204，如果还没有经过5秒，则推进到S1308。
[0141]在S1308，CPUlOl辨别是否检测到触摸操作，并且，如果检测到，则在S1309中辨别检测到的触摸操作是否是可接受的触摸操作(触摸操作是否是在显示的GUI画面上功能有效的触摸操作)。如果触摸操作是正确的，但在显示的⑶I画面上无效(例如，在索引画面的显示期间的旋转操作)，则CPUlOl将处理推进到S1310，并且将错误标记设定为开启。另夕卜，CPUlOl在S1311中重新设定计时器，然后将处理返回S1202。
[0142]因此，处理从S1303转到S1305，并且与在S1203中辨别出经过了 5秒或者更久的情况类似，在下次检测到触摸开始状态的情况下，在S1205执行触感控制处理。
[0143]根据本实施例，除了经过了给定时间段而没有检测到可接受的触摸操作的情况以夕卜，在GUI画面显示后经过给定时间段之前检测到的触摸操作是不可接受的情况下，当下次检测到触摸开始状态时，也执行通过触感的通知。这样，除了第三实施例的效果以外，还可以获得如下效果:能够在下次输入时将正确的输入方法通知给执行了错误触摸操作的用户，而无需等待经过预定的时间段。
[0144]其他实施例
[0145]应注意，在上文提到的实施例中被描述为由CPUlOl执行的控制可以由一个CPU执行，或者可以由共享处理的多个CPU实现。
[0146]此外，上文提到的实施例中的各个仅仅例示本发明的一个实施例，而这些实施例可以视情况而组合。
[0147]另外，尽管在上文提到的实施例中将本发明应用于电子装置的情况描述为示例，本发明适用于任何使用触摸屏板的具有用户界面的设备。本发明适用的电子装置的非限定性示例包括如下示例:具有触摸板的个人电脑、掌上电脑(PDA)、移动电话、便携式图像浏览器、具有显示器的打印机设备、数字相框、音乐播放器、游戏机、电子图书阅读器等。
[0148]本发明的实施例还可以通过系统或装置的、用于读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令以完成本发明中一个或多个实施例功能的计算机来实现；本发明的实施例也可以通过方法来实现，该方法由系统或装置的计算机、通过例如从存储介质读出并执行计算机可执行指令以完成上述一个或多个实施例功能来执行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)及其他电路中的一个或多个，也可以包括独立计算机网络或独立计算机处理器网络。计算机可执行指令可以从例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)及分布式计算系统的存储器、光盘(例如压缩磁盘(CD)、数字化通用盘(DVD)或蓝光盘(BD)TM)、闪存装置、存储卡等中的一个或多个。
[0149]虽然已经结合示例性实施例描述了本发明，应当认识到，本发明并不局限于公开的示例性实施例。下列权利要求的范围应当适合最广泛的解释，以便囊括所有改动、等同结构和功能。
【权利要求】
1.一种电子装置，其特征在于，包括: 接受单元，用于接受对输入装置的触摸操作； 处理单元，用于执行取决于所述接受单元接受的所述触摸操作的处理； 生成单元，用于生成刺激，所述刺激能够通过所述输入装置的正被触摸的部分被正在触摸的用户感知；以及 控制单元，用于控制所述生成单元生成与能够被所述接受单元接受的触摸操作模式对应的刺激。
2.根据权利要求1所述的电子装置，其特征在于，所述控制单元控制所述生成单元生成与能够被所述接受单元接受的多个触摸操作模式当中的、取决于所述电子装置的操作状态的有效触摸操作模式对应的刺激。
3.根据权利要求2所述的电子装置，其特征在于， 在存在多个有效触摸操作模式的情况下，所述控制单元控制所述生成单元顺序地生成与有效模式中的各个对应的刺激。
4.根据权利要求2所述的电子装置，其特征在于， 所述控制单元控制所述生成单元针对有效触摸操作模式相同的不同操作状态生成相同的刺激。
5.根据权利要求1所述的电子装置，其特征在于， 所述控制单元控制所述生成单元生成与在当前执行的触摸操作结束之后将能够被所述接受单元接受的触摸操作模式对应的刺激。
6.根据权利要求1所述的电子装置，其特征在于，所述电子装置还包括显示单元， 其中，所述输入装置被配设在所述显示单元中。
7.根据权利要求1所述的电子装置，其特征在于， 在对所述输入装置的触摸操作满足预定条件的情况下，所述控制单元执行对所述生成单元的控制。
8.根据权利要求7所述的电子装置，其特征在于， 在从检测到对所述输入装置的触摸起经过预定时间段之前没有执行能够被所述接受单元接受的触摸操作的情况下，所述控制单元执行对所述生成单元的控制。
9.根据权利要求7所述的电子装置，其特征在于， 在对所述输入装置执行了无效的触摸操作模式的情况下，所述控制单元执行对所述生成单元的控制。
10.根据权利要求1所述的电子装置，其特征在于， 能够被所述接受单元接受的触摸操作模式包括轻击、轻拂、捏小、捏大、双击、旋转以及拖拽中的至少一者。
11.根据权利要求1到10中任一项所述的电子装置，其特征在于， 所述生成单元能够在所述输入装置的触摸敏感表面的部分的位置生成刺激，并且 所述控制单元执行对所述生成单元的控制，以生成位置取决于能够接受的触摸操作模式而以不同移动模式移动的刺激。
12.根据权利要求11所述的电子装置，其特征在于， 所述控制单元控制所述生成单元生成在相对于所述触摸敏感表面的特定方向上移动的局部刺激，作为与作为能够被所述接受单元接受的触摸操作模式的、所述特定方向上的轻拂操作对应的刺激。
13.根据权利要求1所述的电子装置，其特征在于，所述刺激是振动刺激。
14.根据权利要求1所述的电子装置，其特征在于，所述刺激是电刺激。
15.一种电子装置的控制方法，其特征在于，所述电子装置具有生成单元，所述生成单元被配置为生成能够通过输入装置的正被触摸的部分被正在触摸的用户感知的刺激，所述控制方法包括以下步骤: 接受对所述输入装置的触摸操作； 执行取决于在所述接受步骤中接受的所述触摸操作的处理；以及 控制所述生成单元以生成与在所述接受步骤中能够接受的触摸操作模式对应的刺激。
【文档编号】G06F3/0484GK104182138SQ201410218472
【公开日】2014年12月3日 申请日期:2014年5月21日 优先权日:2013年5月23日
【发明者】吉川晃雄 申请人:佳能株式会社