信息处理装置中的触摸操作的再现的制作方法
【技术领域】
[0001]本公开涉及信息处理装置的控制，更确定而言涉及能够受理触摸操作的信息处理装置中的触摸操作的再现。
【背景技术】
[0002]关于针对装置的操作的显示，例如，在日本特开2008-040560号公报中公开了 “在显示对装置进行的操作等的历史信息时，能够不会看丢地显示继续的操作的历史显示装置”。
[0003]另外，在日本特开2000-235549号公报中公开了用于“在之后在其它终端中再生操作者进行的鼠标的动作等的情况下，使得在再生时得到相同的结果”的技术。
【发明内容】
[0004]根据在日本特开2008-040560号公报中公开的技术，在显示对装置进行的操作等的历史信息时，为了不看丢地显示继续的操作，在生成操作历史时，能够在操作部图像上沿着将以时系列邻接的2个操作部之间进行连接的路径，以预定的显示间隔显示表示被操作的操作部的位置的操作位置图像。但是，例如，在应用于手势(gesture)操作的情况下，手势操作是连续的操作，2点接近，所以存在无法显示轨迹这样的问题。
[0005]另外，根据在日本特开2000-235549号公报中公开的技术,能够存储鼠标的输入事件(鼠标点击、鼠标移动等)和结果事件(视窗的生成、指针位置更新等)，并发行所存储的事件。但是，在个人计算机上始终显示鼠标，相对于此，在图像形成装置中不存在鼠标。因此，存在如下问题:仅通过发生输入事件，无法知道在面板上的何处发生了输入事件。
[0006]另外，在其它局面中，作为图像形成装置的操作内容的再生单元，考虑如下方法:存储触摸事件，并再生成/发行所存储的触摸事件，从而再生与存储时相同的操作内容。通过使用该方法，能够完全地再现触摸操作、手势操作等用户操作的内容。但是，在进行触摸事件的自动再生的情况下，在图像形成装置的内部中发生触摸事件，所以用户无法知道何处的键被按压、并且进行了什么样的操作。因此，需要能够容易地掌握被触摸的点的坐标值、操作(例如轻拂(flick)操作等)的内容。
[0007]因此，需要用于解决上述那样的问题的技术。本公开是为了解决上述问题而实施的，其目的在于提供一种容易地知道被触摸的点、操作内容的信息处理装置。另一目的在于提供一种用于控制信息处理装置以容易地知道被触摸的点、操作内容的方法。又一目的在于提供一种用于使计算机执行该方法的程序。
[0008]基于一个实施方式的信息处理装置具备:显示部，构成为显示受理针对该信息处理装置的触摸操作的画面；触摸操作部，构成为受理该触摸操作；触摸事件发行部，构成为发行与针对该触摸操作部的I个以上的触摸操作分别对应的I个以上的触摸事件；以及手势控制部，构成为能够分别执行根据由该触摸事件发行部发行的该I个以上的触摸事件进行对应的处理的模式、和再生预先存储的该触摸事件的再生模式。该手势控制部构成为在该再生模式下，对与该触摸事件关联起来的区域附加表示与存储的该触摸事件对应的触摸操作的操作图像，并显示于该显示部。
[0009]根据另一实施方式，提供用于控制信息处理装置的方法。该方法具备如下步骤:显示受理针对该信息处理装置的触摸操作的画面；受理该触摸操作；发行与该I个以上的触摸操作分别对应的I个以上的触摸事件；以及分别执行根据发行的该I个以上的触摸事件进行对应的处理的模式、和再生预先存储的该触摸事件的再生模式。该执行的步骤包括在该再生模式下对与该触摸事件关联起来的区域附加表示与存储的该触摸事件对应的触摸操作的操作图像并显示的步骤。
[0010]根据又一实施方式，提供保存了用于使计算机执行用于控制信息处理装置的方法的程序的并非临时的计算机可读取的记录介质。该程序使该计算机执行如下步骤:显示受理针对该信息处理装置的触摸操作的画面；受理该触摸操作；发行与该I个以上的触摸操作分别对应的I个以上的触摸事件；以及分别执行根据发行的该I个以上的触摸事件进行对应的处理的模式、和再生预先存储的该触摸事件的再生模式。该执行的步骤包括在该再生模式下对与该触摸事件关联起来的区域附加表示与存储的该触摸事件对应的触摸操作的操作图像并显示的步骤。
[0011]本发明的上述以及其它目的、特征、局面以及优点根据与附图关联地理解的与本发明有关的接下来的详细说明将会更加明确。
【附图说明】
[0012]图1是表示由本发明的实施方式的图像形成装置100实现的功能的框图。
[0013]图2是表示本发明的实施方式的图像形成装置100的硬件结构的一个例子的图。
[0014]图3是表示应用本发明的技术思想的图像形成装置100的概略的图。
[0015]图4是表示本发明的实施方式的图像形成装置100和其它设备连接的状态的图。
[0016]图5是表示本发明的实施方式的图像形成装置100中的各种触摸事件的图。
[0017]图6是表示本发明的实施方式的图像形成装置100具备的触摸面板110中的操作的图。
[0018]图7是表示本发明的实施方式的手势判定部140的结构的图。
[0019]图8是表不用于存储触摸事件的处理的流程图。
[0020]图9是表示本发明的实施方式的图像形成装置100为了存储触摸事件而具备的结构的图。
[0021]图10是表示本发明的实施方式的图像形成装置100执行的处理的一部分的流程图。
[0022]图11是表示触摸事件的再生处理的图。
[0023]图12是表示触摸面板110的画面的推移的图。
[0024]图13是表示本发明的实施方式的图像形成装置100存储轻拂操作的情况下的触摸面板110的画面的推移的图。
[0025]图14是表示本发明的实施方式的图像形成装置100的触摸面板110再生操作事件的情况下的画面的推移的图。
[0026]图15是表示本发明的实施方式的图像形成装置100的触摸面板110中的夹捏操作和手势的图。
[0027]图16是表示本发明的实施方式的图像形成装置100中的触摸事件的导入和导出的图。
[0028]图17是表示对在图像形成装置100具备的触摸面板110中显示的手势附加信息的局面的图。
[0029]图18是表示在图像形成装置100再生轻拂手势的情况下附加轨迹的图。
[0030]图19是表示在触摸面板110中显示了夹捏手势的轨迹以及方向的样式的图。
[0031]图20是表示在对触摸面板110进行了使图像旋转的操作的情况下附加信息的一个样式的图。
[0032]图21是表示登记了触摸事件的图像形成装置100的触摸面板110的大小和再生该触摸事件的信息处理装置的触摸面板的大小不同的情况下的图像的显示样式的图。
[0033]图22是表示图像形成装置100执行的处理的一部分的流程图。
[0034]图23是表示图像形成装置100执行动画的情况下的手势的显示处理的流程图。
【具体实施方式】
[0035]以下，参照附图，说明本发明的实施方式。在以下的说明中，对同一部件附加了同一符号。它们的名称以及功能也相同。因此，不重复进行关于它们的详细的说明。
[0036]首先，说明作为信息处理装置的一个样式的图像形成装置的一个局面。在某个局面中，将图像形成装置连接到处于远处的远程终端，从所连接的远程终端侧向图像形成装置侧发送指示操作方法的信息，从而图像形成装置能够对指示操作方法的信息进行合成而显示。考虑对操作员从远程终端侧发送的指示操作方法的信息(例如〇标记、箭头、手的图像等)进行合成。但是，在该情况下，产生如下问题:在将指示多点触摸操作的操作方法指示信息从远程终端发送到图像形成装置时，由于不知道实际实施了手势操作时的时间、强度、方向，所以对在图像形成装置上再现的操作内容进行观察的用户不知道进行何种程度的操作为好。
[0037]另外，构成为:在从远程终端侧向图像形成装置提供两次放大的命令的情况下，使与第2次的命令对应的放大率比与第I次的命令对应的放大率大预先规定的大小。因此，针对远程终端侧的操作，无法在图像形成装置侧忠实地再现操作内容。
[0038]另外，在其它局面中，在从远处进行操作支援时，考虑对服务台的操作员的面板操作施加校正，将操作员独特的动作变换为适合的动作。这是作为操作支援者的从第I操作位置(操作开始位置)至第2操作位置(操作结束位置)为止的操作支援画面，在从第I操作画面至第2操作画面为止的期间，根据操作时间对操作画面进行插值的、在操作面板中连续地动画显示的动作。作为从远程终端侧向图像形成装置侧发送的信息，仅为触摸开始时的信息(第I坐标值)和触摸结束时的信息(第2坐标值)，无法在图像形成装置侧确定手势操作。这是因为，在手势的确定中，需要开始了触摸操作时的坐标值、触摸操作继续的期间的坐标值、以及触摸操作结束了时的坐标值。因此，在该局面中，成为省略触摸操作继续中的坐标值来校正用户的操作内容的情况，变得与用户实际操作的内容不同。
[0039]以下例示。
[0040](夹捏(pinch)手势的情况的例子)
[0041]在用二点的手指触摸了操作面板的状态下，图像形成装置在一个手指移动的时间点判定为夹捏手势，在检测到手指缓慢移动而该移动停止了预先规定的一定时间的情况或者一个手指离开了面板的情况下，判断为手势操作结束。
[0042]图像形成装置将该结束位置作为第2坐标值，对最初的坐标值与最后的坐标值(第2坐标值)之间进行插值(通过插值图像的合成而使手势操作内容动画显示)。
[0043]如果应用上述内容，则不仅无法忠实地再现操作内容，而且在夹捏手势中图像放大时，若放开手指则在此图像的放大应结束，但在放开了手指时被判断为手势结束位置，会进行从开始位置至结束位置为止的插值。
[0044]S卩，在再生时进行了夹捏手势的情况下，发生在手势结束之后接着插值的版本的夹捏手势操作的内容合成到主体面板上这样的问题,无法忠实地再现操作内容并视觉化。
[0045]因此，图像形成装置、其它信息处理装置在根据来自用户的触摸操作自动再生触摸事件的情况下，需要由用户容易地识别被触摸的点的坐标值、操作的内容(轻拂操作、夹捏操作等)的技术。因此，本发明的实施方式的图像形成装置100具备以下那样的结构。
[0046][图像形成装置100的结构]
[0047]参照图1，说明本发明的实施方式的图像形成装置100。图1是表示由本发明的实施方式的图像形成装置100实现的功能的框图。以下，作为应用本发明的技术思想的信息处理装置的一个例子，使用图像形成装置100。但是，该技术思想的应用对象不限于图像形成装置100。本发明的技术思想能够应用于平板终端、触摸面板型计算机、其它至少具备触摸面板的信息处理装置。
[0048]在某个局面中，图像形成装