触摸面板输入装置、触摸手势判定装置、触摸手势判定方法和触摸手势判定程序与流程

本发明涉及受理触摸手势操作且输出基于触摸手势操作的信号的触摸面板输入装置，以及被输入与触摸手势操作对应的操作信息且用于输出基于被输入的操作信息的信号的触摸手势判定装置、触摸手势判定方法和触摸手势判定程序。

背景技术：

一般而言，使用触摸面板输入装置的用户一边观看触摸面板中显示的gui(graphicaluserinterface)画面一边进行触摸手势操作。但是，在汽车的驾驶中或摄像机的位置调整中等任务执行中，用户无法一边观看触摸面板的画面一边进行触摸手势操作，即，用户无法在使视线朝向触摸面板的画面的状态即“有视线状态”下进行触摸手势操作。

作为其对策，专利文献1提出如下的装置：根据连接接触触摸面板的多个手指的接触点而得到的形状与预先设定的形状的相似度，决定触摸面板中显示的操作部分(以下也称作“显示部件”)。

此外，专利文献2提出如下的装置：在由接触触摸面板的多个手指的位置规定的1个区域的面积为预先设定的阈值以上的情况下，判断为用户是不观看触摸面板的画面的人，即用户是在不使视线朝向触摸面板的画面的状态即“无视线状态”下进行触摸手势操作的人(例如视觉障碍者等)。

现有技术文献

专利文献

专利文献1：国际公开2016/035207号

专利文献2：日本特开2016-020267号公报

技术实现要素：

发明要解决的课题

但是，在上述专利文献1、2记载的装置中，用户需要使意识集中于用于利用多个指尖作成特定形状的触摸手势操作，因此，有时针对与触摸手势操作并行进行的其他任务的注意力降低。

此外，在专利文献1记载的装置中，用户需要不使视线朝向触摸面板的画面而使用触摸面板中显示的显示部件进行触摸手势操作，因此，有时很难对显示部件进行正确的触摸手势操作。

此外，在专利文献2记载的装置中，用户需要在触摸面板的操作有效区域内进行触摸手势操作，因此，有时在不观看触摸面板的画面的状态下无法输入适当的操作信息。

本发明的目的在于，提供通过适当地切换使用触摸面板中显示的显示部件进行触摸手势操作的有视线状态的操作模式的内容、和将触摸面板的画面全体作为触摸手势操作的受理区域进行触摸手势操作的无视线状态的操作模式的内容，能够容易且正确地进行基于触摸手势操作的输入操作的触摸面板输入装置，以及通过适当地切换有视线状态的操作模式的内容或无视线状态的操作模式的内容，能够容易且正确地进行基于触摸手势操作的输入操作的触摸手势判定装置、触摸手势判定方法和触摸手势判定程序。

用于解决课题的手段

本发明的一个方式的触摸面板输入装置具有：触摸面板，其在画面中显示操作用图像，受理用户的触摸手势操作，输出与所述触摸手势操作对应的操作信息；以及触摸手势判定装置，其接受所述操作信息，生成基于所述操作信息的选择值，其中，所述触摸手势判定装置具有：视线有无判定部，其判定所述触摸手势操作是所述用户的视线朝向所述画面的有视线状态下的操作还是所述用户的视线未朝向所述画面的无视线状态下的操作，输出表示所述判定的结果的视线判定信息；操作模式切换部，其输出基于所述视线判定信息的命令信息；操作判定部，其通过依据所述命令信息的判定方法，生成基于所述操作信息的所述选择值；以及显示控制部，其使所述触摸面板显示依据所述命令信息的图像作为所述操作用图像，所述操作判定部具有：显示部件手势决定部，其在所述有视线状态时，根据基于对作为所述操作用图像显示于所述触摸面板的显示部件进行的触摸手势操作的操作信息决定所述选择值；以及画面全体手势决定部，其在所述无视线状态时，根据基于对所述触摸面板的画面全体进行的触摸手势操作的操作信息决定所述选择值。

本发明的另一个方式的触摸手势判定方法从触摸面板接受操作信息，生成基于所述操作信息的选择值，该触摸面板在画面中显示操作用图像，受理用户的触摸手势操作，输出与所述触摸手势操作对应的所述操作信息，其中，所述触摸手势判定方法具有以下步骤：视线有无判定步骤，判定所述触摸手势操作是所述用户的视线朝向所述画面的有视线状态下的操作还是所述用户的视线未朝向所述画面的无视线状态下的操作，输出表示所述判定的结果的视线判定信息；操作判定步骤，通过依据基于所述视线判定信息的命令信息的判定方法，生成基于所述操作信息的所述选择值；以及显示控制步骤，使所述触摸面板显示依据所述命令信息的图像作为所述操作用图像，在所述操作判定步骤中，在所述有视线状态时，根据基于对作为所述操作用图像显示于所述触摸面板的显示部件进行的触摸手势操作的操作信息决定所述选择值，在所述无视线状态时，根据基于对所述触摸面板的画面全体进行的触摸手势操作的操作信息决定所述选择值。

发明效果

根据本发明，通过适当地切换使用触摸面板中显示的显示部件进行触摸手势操作的有视线状态的操作模式的内容、和将触摸面板的画面全体作为触摸手势操作的受理区域来进行触摸手势操作的无视线状态的操作模式的内容，能够容易且正确地进行基于触摸手势操作的输入操作。

附图说明

图1是示出本发明的实施方式1的触摸面板输入装置的概略结构的功能框图。

图2是示出实施方式1的触摸面板输入装置的硬件结构的一例的图。

图3的(a)和(b)是示出实施方式1的触摸面板输入装置中的触摸面板的画面的例子的图。

图4是示出实施方式1的触摸面板输入装置中的触摸手势判定装置的动作(触摸手势判定方法)的流程图。

图5是示出实施方式1的变形例的触摸面板输入装置中的触摸面板的画面的一例的图。

图6是示出本发明的实施方式2的触摸面板输入装置的概略结构的功能框图。

图7是示出实施方式2的触摸面板输入装置中的触摸手势判定装置的动作(触摸手势判定方法)的流程图。

图8是示出实施方式2的触摸面板输入装置中的触摸手势操作的历史信息的取得方法的图。

图9是示出在触摸面板输入装置中不观看触摸面板的画面的状态即无视线状态下进行触摸手势操作而无法按照意图进行输入的例子的图。

图10是示出在实施方式2的触摸面板输入装置中不观看触摸面板的画面的状态即无视线状态下进行的触摸手势操作的例子的图。

图11是示出不观看触摸面板输入装置的触摸面板的画面地调整与实施方式2的触摸面板输入装置进行通信的摄像机影像拍摄装置中的摄像机的朝向、角度、影像的缩放量的例子的图。

图12是示出本发明的实施方式3的触摸面板输入装置的概略结构的功能框图。

图13是示出实施方式3的触摸面板输入装置的硬件结构的一例的图。

图14是示出实施方式3的触摸面板输入装置中的触摸手势判定装置的动作(触摸手势判定方法)的流程图。

图15的(a)和(b)是示出实施方式3的触摸面板输入装置中的有视线状态和无视线状态的判定方法的图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。在以下的说明中，触摸面板输入装置具备具有触摸式的操作用画面(操作画面)的触摸面板和接受触摸面板中的操作信息的触摸手势判定装置。触摸面板输入装置搭载于对象设备，或者以能够通信的方式与对象设备连接，由此，能够应用于作为对象设备的电气设备的操作画面、作为对象设备的摄像机的操作画面、作为对象设备的工厂设备的操作画面、搭载于作为对象设备的汽车、船舶、飞机等上的操作画面、作为对象设备的智能手机和平板终端等便携信息终端的操作画面等。触摸面板输入装置能够将基于从触摸面板的操作画面通过触摸手势操作(也称作“触摸操作”)输入的操作信息的信号(例如选择值)，提供给搭载有触摸面板输入装置的对象设备或能够与触摸面板输入装置进行通信的对象设备。

触摸面板是受理用户进行的触摸手势操作的触摸手势输入单元。此外，触摸手势操作是基于用户的手指(或用户的手掌或手指用户的手指和手掌)等的特定运动的信息输入操作。触摸手势操作能够包含利用手指轻轻叩击触摸面板的操作画面的操作即点击、利用手指弹击触摸面板的操作画面的操作即轻弹、利用手指划动触摸面板的操作画面的操作(滑动手指的操作)即轻扫。此外，触摸手势操作能够包含利用手指拖动触摸面板中的显示部件的操作即拖曳、在触摸面板的操作画面中利用多根手指捏起并使手指间隔变窄的操作即缩小、在触摸面板的操作画面中扩大多根手指的间隔的操作即放大等。另外，触摸手势操作还能够包含使用作为笔型输入辅助器械的触摸笔的操作。

《1》实施方式1

《1-1》结构

图1是示出本发明的实施方式1的触摸面板输入装置1的概略结构的功能框图。如图1所示，实施方式1的触摸面板输入装置1具有触摸手势判定装置10和触摸面板20。触摸手势判定装置10是能够执行实施方式1的触摸手势判定方法和实施方式1的触摸手势判定程序的装置。

如图1所示，触摸面板20具有：操作面板部21，其受理由用户进行的触摸手势操作，输出与触摸手势操作对应的操作信息(也称作“触摸信息”)a0；以及显示面板部22，其与操作面板部21重叠配置，能够显示gui画面等操作用图像。显示面板部22例如是液晶显示器。

如图1所示，触摸手势判定装置10具有操作信息输入部11、作为操作模式判定部的视线有无判定部12、操作模式切换部13、操作判定部14、通知部15以及显示控制部16。操作判定部14具有显示部件手势判定部141和画面全体手势判定部142。

操作信息输入部11接受从操作面板部21输出的操作信息(操作信号)a0。操作信息输入部11将与接受的操作信息a0对应的输入信息a1输出到视线有无判定部12和操作判定部14。输入信息a1是与操作信息a0对应的信息，也可以是与操作信息a0相同的信息。

视线有无判定部12根据从操作信息输入部11接受的输入信息a1，判定触摸手势操作是用户观看触摸面板20的画面进行的操作，即用户的视线朝向触摸面板20的画面的状态即有视线状态下的操作，还是触摸手势操作是用户不观看触摸面板20的画面进行的操作，即用户的视线未朝向触摸面板20的画面的状态即无视线状态下的操作。以有视线状态为前提的操作模式例如是对触摸面板20中显示的显示部件进行触摸手势操作的操作模式。以无视线状态为前提的操作模式例如是将触摸面板20的画面全体作为用于受理触摸手势操作的1个操作有效区域的操作模式。

视线有无判定部12根据基于用户的触摸手势操作的输入信息a1，将表示触摸手势操作是有视线状态下的操作还是无视线状态下的操作的判定结果的视线判定信息a2送到操作模式切换部13。例如，视线有无判定部12具有存储预先决定的触摸手势操作的图案的存储部(例如后述图2中的存储器)，能够根据输入信息a1所示的触摸手势操作与存储部中存储的触摸手势操作的图案的相似度进行该判定。

操作模式切换部13根据从视线有无判定部12接受的视线判定信息a2，输出用于切换(设定)触摸面板20的画面的显示内容、操作判定部14对来自触摸面板20的基于触摸手势操作的输入信息a1的判定方法和通知部15的通知方法的命令信息a3。

操作判定部14从操作模式切换部13接受命令信息a3，依据该命令信息a3切换输入信息a1的判定方法。

画面全体手势判定部142判定针对触摸面板20的画面全体的触摸手势操作，决定基于输入信息a1的输出信号即选择值a7。关于针对触摸面板20的画面全体的触摸手势操作的判定，在有视线状态下的触摸手势操作中，在触摸面板20的有限的较窄区域内(触摸面板20的画面的一部分)使用，在无视线状态下的触摸手势操作中，在触摸面板20的较宽区域内(触摸面板20的画面全体)使用。

显示部件手势判定部141根据由显示面板部22显示的作为操作用图像的显示部件和输入信息a1，判定触摸手势操作，决定基于显示部件和输入信息a1的输出信号即选择值a7。关于针对触摸面板20的显示部件的触摸手势操作的判定，在有视线状态下的触摸手势操作中，在触摸面板20的较宽区域内(触摸面板20的画面全体)使用，在无视线状态下的触摸手势操作中，在有限的较窄区域内(触摸面板20的画面的一部分)使用。

显示控制部16输出触摸面板20的显示面板部22中显示的操作用图像的图像信号a6。显示控制部16根据从操作判定部14接受的操作判定信息a4和从操作模式切换部13接受的命令信息a3，变更显示面板部22的画面的显示内容。

通知部15在有视线状态下的触摸手势操作时和无视线状态下的触摸手势操作时，切换针对用户的信息通知方法。通知部15发出依据命令信息a3的通知内容的通知或输出通知信号。例如，通知部15根据由操作判定部14接受的输入信息a1，例如，通过声音、画面显示、振动器的振动或灯点亮等来通知用户的触摸手势操作的状况。这样，通知部15根据从操作判定部14接受的操作判定信息a4和从操作模式切换部13接受的命令信息a3，变更通知内容。在通知部15的通知是基于声音的通知的情况下，通知部15向作为语音输出部的扬声器输出通知信号。扬声器在后述图2中示出。在通知部15的通知是图像显示的情况下，通知部15将通知信息a5送到显示控制部16，显示控制部16向显示面板部22发送基于通知信息的图像信号。

从操作判定部14输出的选择值a7是操作判定部14根据输入信息a1决定的选择值，搭载有触摸面板输入装置1的装置的应用程序等根据该选择值a7进行设备控制等。

图2是示出实施方式1的触摸面板输入装置1的硬件(h/w)结构的一例的图。如图2所示，实施方式1的触摸面板输入装置1具有触摸面板20、处理器31、存储器32以及扬声器33。图1所示的触摸手势判定装置10能够使用存储作为软件的触摸手势判定程序的作为存储装置的存储器32、以及执行存储器32中存储的触摸手势判定程序的作为信息处理部的处理器31(例如通过计算机)实现。该情况下，图1中的结构要素11～16相当于图2中执行触摸手势判定程序的处理器31。另外，能够通过图2所示的存储器32和执行触摸手势判定程序的处理器31实现图1所示的触摸手势判定装置10的一部分。

扬声器33例如是通过广播等声音通知以无视线状态进行的触摸手势操作状况的情况下使用的声音输出部。触摸面板输入装置1也可以代替扬声器33或作为追加的结构而具有振动器、灯、用于无线发送通知信号的发送装置等追加装置。

图3的(a)和(b)是示出实施方式1的触摸面板输入装置1中的触摸面板20的画面和触摸手势操作的例子的图。

图3的(a)示出有视线状态的操作模式下的触摸面板20的画面的一例。图3的(a)是视线有无判定部12根据表示触摸手势操作的输入信息a1判定为处于有视线状态的操作模式的情况下的画面的一例。用户通过进行利用手指向左方向或右方向轻扫画面的操作，能够切换画面的显示内容。列表231是视线有无判定部12判定为有视线状态的情况下显示的列表。列表231由多个按钮(标注数字的四方区域)构成，通过向上方向或下方向划动(滑动)手指，能够使列表231向相同方向移动。例如，通过利用手指触摸按钮232，视线有无判定部12判定为有视线状态，通过点击按钮(利用手指触摸按钮，不移动手指而在预先决定的时间内离开)，决定(确定)选择值。

图3的(b)示出无视线状态的操作模式下的触摸面板20的画面的一例。图3的(b)是视线有无判定部12根据表示触摸手势操作的输入信息a1判定为处于无视线状态的操作模式的情况下的画面的一例。例如，无视线状态下的取消区域241是包围“>>取消>>”的矩形区域，当在该矩形区域内在预先决定的方向上即从左向右划动(滑动)手指时，无视线状态的操作模式被取消，切换至有视线状态的操作模式。

《1-2》动作

图4是示出实施方式1的触摸面板输入装置1中的触摸手势判定装置10的动作(触摸手势判定方法)的流程图。

在步骤st101中，操作模式切换部13设定有视线状态的操作模式作为初始操作模式。此时，操作模式切换部13输出命令信息a3，使得触摸面板20的画面成为有视线状态的操作模式的画面，触摸面板20的输入方法成为使用有视线状态的操作模式的显示部件的输入方法。另外，还能够设初始操作模式为无视线状态的操作模式。

在接下来的步骤st102中，操作信息输入部11从触摸面板20取得操作信息a0(表示手指的接触点的位置的坐标、手指的接触状态、多个接触点的手指识别编号等)，将其存储在存储部(例如图2所示的存储器32)中。

在接下来的步骤st103中，视线有无判定部12根据存储部中存储的操作信息a0(与手指的接触点有关的信息等)的历史信息，进行触摸手势操作是有视线状态下的操作还是无视线状态下的操作的判定即视线有无判定(操作模式的判定)。

在接下来的步骤st103中，视线有无判定部12例如在满足以下的判定条件(1)～(3)中的任意一方的情况下，判定为无视线状态，将除此以外的情况判定为有视线状态。

·判定条件(1)：手指接触触摸面板20的画面上的1点，接触位置没有移动达到预先决定的阈值以上的时间的情况

·判定条件(2)：多个手指接触触摸面板20的画面上的多个接触点，持续接触达到预先决定的阈值以上的时间的情况

·判定条件(3)：手掌持续接触触摸面板20的画面上(即，预先决定的阈值以上的较宽面积持续接触达到预先决定的阈值以上的时间)的情况

但是，作为判定基准，也可以使用其他判定基准。

在满足步骤st103中的设为无视线状态的判定条件(3)时，检测出的多个接触点的坐标和接触点的数量可能不稳定(即伴随时间而大幅变动)。因此，也可以使用从当前时点起到回溯预先决定的期间的时点为止的期间的操作信息a0(输入信息a1)的历史信息，根据该期间内的接触点的坐标偏移(坐标移动量)的程度(例如在最大的移动量超过预先决定的阈值的情况下)，判定为是手掌的接触。

此外，在步骤st103中的设为无视线状态的判定条件(3)中的使手掌接触画面上的操作时，来自触摸面板20的操作信息a0是表示接触状态异常的信息。因此，也可以使用从当前时点起到回溯预先决定的期间的时点为止的期间的操作信息a0的历史信息，在该期间内存在表示接触状态异常的历史的情况下，判定为是手掌的接触。

此外，在步骤st103中的设为无视线状态的判定条件(3)中的使手掌接触画面上的操作时，可能误判定为手指从触摸面板20的画面离开，其结果是，可能误判定为点击触摸面板20的画面的显示部件即按钮的触摸手势操作。因此，也可以使用从当前时点起到回溯预先决定的期间的时点为止的期间的操作信息a0的历史信息，在该期间内，插入用于检测是否未检测出不稳定的触摸(即，未检测出接触点的数量和位置伴随时间而大幅变动的状况)达到从手指全部离开触摸面板20起预先决定的时间、或是否没有异常接触状态的通知的待机处理，在检测到它们时，判定为是手掌的接触。

此外，在步骤st103中，视线有无判定部12在手指接触画面上的显示并划动的情况下判定为有视线状态。例如，在图3的(b)所示的无视线状态时的画面中，在进行了在无视线状态下的取消区域241的内侧开始触摸，以从左侧的标记“>>”经由字符“取消”通过右侧的标记“>>”的方式滑动手指后使手指离开的操作的情况下，或者，以从左侧的标记“>>”经由字符“取消”通过右侧的标记“>>”的方式滑动手指而超过取消区域241的右侧的边界线的情况下，视线有无判定部12判定为是向有视线状态的切换操作。另外，关于步骤st103的向有视线状态的切换操作的判定，也可以在无视线状态下从取消区域241的外侧连续划动到取消区域241的内侧的情况下、或在无视线状态下划动取消区域241的中途露出到取消区域241的上侧或下侧的情况下、或在无视线状态下向右方向划动取消区域241后使手指向左后方向返回划动的情况下，判定为未判定为有视线状态。

此外，步骤st103中，关于视线有无判定部12判定为是向有视线状态的切换操作的条件，不仅是以从图3的(b)的左侧的标记“>>”经由字符“取消”通过右侧的标记“>>”的方式滑动手指的情况，也可以是在无视线状态下触摸取消区域241而向右方向移动预先决定的距离以上的情况。

在步骤st104中，在视线有无判定存在变更的情况下(是的情况下)，处理进入步骤st105～st108，操作模式切换部13输出用于基于触摸面板20的操作画面的切换的输入方法的切换、通知部15的通知方法的切换的命令信息a3。在步骤st104中，在未产生向视线有无判定的变更的情况下(否的情况下)，处理进入步骤st109。

在步骤st105中，操作判定部14从操作模式切换部13接受命令信息a3，发出切换针对画面全体的有效输入方法的命令，画面全体手势判定部142切换针对画面全体的有效输入方法。

在接下来的步骤st106中，操作判定部14从操作模式切换部13接受命令信息a3，发出切换针对显示部件的有效输入方法的命令，显示部件手势判定部141切换针对显示部件的有效输入方法。步骤st105、st106的处理顺序也可以相反。

在接下来的步骤st107中，显示控制部16从操作模式切换部13接受切换画面的命令信息a3，切换画面。例如，显示控制部16在接受到命令切换画面的命令信息a3时，在有视线状态的情况下，例如显示图3的(a)所示的有视线状态时的画面，在无视线状态的情况下，例如显示图3的(b)所示的无视线状态时的画面。

在接下来的步骤st108中，通知部15接受操作模式切换部13的切换通知内容的命令信息a3，切换通知内容。例如，通知部15在有视线状态的情况下，从扬声器输出“长按画面时，切换成不观看画面进行操作的模式。”这样的语音广播，此外，在切换成无视线状态的情况下，发出“进行了长按操作，因此切换成障碍者用的操作画面。”这样的广播。然后，在成为无视线状态的情况下，使扬声器输出“触摸画面的上侧时选择值增加，触摸下侧时选择值减小。通过双击确定选择值。”这样的语音广播。此外，此时，通知部15也可以每当产生画面的上侧、下侧的点击时，通过语音广播通知当前的选择值。

在步骤st108中，通知部15的通知不仅是语音广播，也可以通过与操作中的触摸面板20不同的显示装置进行通知，通过来自智能手表的语音广播进行通知，或者使触摸面板振动进行通知。

在步骤st109中，操作判定部14根据输入信息决定(确定)选择值。例如，操作判定部14在有视线状态的操作模式下，当点击显示着的按钮时，决定按钮中显示的编号作为选择值。另一方面，操作判定部14在无视线状态的操作模式下，当产生画面上侧的触摸时，增加选择值，当产生画面下侧的触摸时，减小选择值。操作判定部14在产生2点触摸且手指同时离开的情况下，确定选择值。在通过操作判定部14受理了触摸手势操作的情况下，显示控制部16根据触摸手势操作来变更显示内容，通知部15根据触摸手势操作进行操作状况的通知。

此外，在步骤st109中，在点击了无视线状态下的取消区域241的情况下，由于不是划动取消区域241的操作，因此视为画面的下侧操作，减小选择值。

在视线有无判定部12的存储部中例如存储表1这种操作判定表，按照该表的内容进行处理，由此能够实现步骤st103的视线有无判定部12的判定和步骤st109的操作判定部14的判定动作。

【表1】

《1-3》效果

如以上说明的那样，在实施方式1中，能够根据基于用户的触摸手势操作的操作信息a0是有视线状态下的触摸手势操作还是无视线状态下的触摸手势操作，变更操作判定部14中的输入信息a1的判定方法、显示控制部16的显示控制方法、通知部15的通知方法。因此，用户在观看触摸面板20的画面的状态下，利用手指点击画面中显示的作为显示部件的按钮，或者利用手指划动画面中显示的列表，由此能够进行有视线状态的触摸手势操作。此外，用户在不观看画面的状态下，能够通过使用画面全体的触摸手势操作的受理和操作状态的通知进行操作。这样，在实施方式1中，在触摸面板20中，无论是进行有视线状态的触摸手势操作还是进行无视线状态的触摸手势操作，都适当地判定为有视线状态下的触摸手势操作或无视线状态下的触摸手势操作，因此，能够正确地进行基于触摸手势操作的输入操作。

此外，在实施方式1中，在有视线状态下，在进行了未作为有视线状态的触摸手势操作产生的操作的情况下，能够判定为是无视线状态的触摸手势操作，在无视线状态下，在进行了未作为无视线状态的触摸手势操作产生的操作的情况下，能够判定为是有视线状态的触摸手势操作。该情况下，视线有无判定的误判定较少，因此，操作模式的判定精度提高。

《1-4》变形例

作为图4的步骤st103中的视线有无判定的另一例，视线有无判定部12也可以在产生3个以上的触摸点(手指的接触点)的情况下，判定为无视线状态下的操作模式。这种情况下，能够使用触摸面板20中的2点触摸的操作(例如捏合、旋转等操作)作为触摸手势操作。

此外，作为图4的步骤st103中的视线有无判定的另一例，也可以在从手指开始接触触摸面板20的画面起持续触摸面板20的画面的内容没有变更的状态达到预先决定的时间以上的情况下，判定为处于无视线状态。例如，即使使1根手指接触触摸面板20的画面而产生划动操作，在未产生基于手指的左右轻扫的画面滚动或基于画面的上下划动操作的列表滚动的情况下，视线有无判定部12也可以判定为处于无视线状态。

此外，作为图4的步骤st103中的视线有无判定的另一例，视线有无判定部12也可以在手指的接触点的纵向移动、横向移动、斜向移动中的任意检测时，判定为有视线状态。

此外，作为图4的步骤st103中的视线有无判定的另一例，视线有无判定部12也可以在通过手指的接触点的移动来描绘圆形、四方或字符等特定轨迹的情况下，判定为有视线状态。

此外，作为图4的步骤st103中的视线有无判定部12的判定从无视线状态变成有视线状态的条件，也可以设为在不存在来自触摸面板20的输入操作的状态下经过预先决定的时间的情况。例如，也可以构成为在切换成无视线状态后，不存在触摸手势操作的状态持续预先决定的阈值时间以上时，自动返回有视线状态。该情况下，依赖通知部15的语音广播，再次进行长按等判定为无视线状态的触摸手势操作，能够不观看画面而进行触摸手势操作。

此外，作为图4的步骤st109中的无视线状态的另一个操作方法，不仅是通过上下划分画面进行点击而使选择值增减的方法，也可以如图5所示在画面上显示排列有数值输入用的多个按钮的图像，通过通知部15读出与利用手指划动的位置对应的按钮的项目。

此外，作为图4的步骤st109中的无视线状态的另一个操作方法，也可以在画面上进行2点触摸而以转动拨盘的方式旋转，在顺时针的情况下增加选择值，在逆时针的情况下减小选择值。该情况下，在设双击为决定操作的情况下，可能弄错决定和旋转操作，因此，例如，也可以设在预先决定的时间内连续产生2次点击(产生双击)的情况为选择值的决定操作。

《2》实施方式2

《2-1》结构

在上述实施方式1中，无视线状态的操作模式下的触摸手势操作限定于设触摸面板20的画面全体为操作有效区域的简单的触摸手势操作。在实施方式2中，说明在无视线状态的操作模式下，防止不观看画面引起的非意图操作，能够进行更加复杂的触摸手势操作的装置和方法。

图6是示出本发明的实施方式2的触摸面板输入装置2的概略结构的功能框图。在图6中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。触摸面板输入装置2具有触摸面板20和触摸手势判定装置10a。触摸手势判定装置10a是能够执行实施方式2的触摸手势判定方法和实施方式2的触摸手势判定程序的装置。实施方式2中的触摸手势判定装置10a与实施方式1中的触摸手势判定装置10的不同之处在于，具有手势操作存储部17和手势校正部18。除了这点以外，实施方式2与实施方式1相同。因此，下面，以不同之处为中心进行说明。

手势操作存储部17存储操作判定部14识别出的触摸手势操作的历史信息。手势校正部18根据手势操作存储部17中存储的触摸手势操作的数据，校正操作判定部14中判定出的触摸手势操作识别结果，决定选择值a8。

如图2所示，实施方式2的触摸面板输入装置2的h/w结构具有触摸面板20、处理器31、存储器32以及扬声器33。图6所示的触摸手势判定装置10a能够使用存储作为软件的触摸手势判定程序的作为存储装置的存储器32、以及执行存储器32中存储的触摸手势判定程序的作为信息处理部的处理器31(例如通过计算机)实现。该情况下，图6中的结构要素11～18相当于图2中执行触摸手势判定程序的处理器31。另外，也能够通过图2所示的存储器32和执行触摸手势判定程序的处理器31实现图6示的触摸手势判定装置10a一部分。

《2-2》动作

图7是示出实施方式2的触摸面板输入装置2中的触摸手势判定装置10a的动作(触摸手势判定方法)的流程图。在图7中，对与图4所示的处理步骤相同或对应的处理步骤标注与图4所示的步骤编号相同的步骤编号。实施方式2中的触摸手势判定装置10a的动作与实施方式1中的触摸手势判定装置10的动作的不同之处在于，在触摸手势操作的判定步骤st109之后具有存储触摸手势操作的处理步骤(步骤st201)和手势校正处理步骤(步骤st202)。除了这点以外，实施方式2中的触摸手势判定装置10a的动作与实施方式1相同。

在图7的步骤st201中，手势操作存储部17存储操作判定部14识别出的触摸手势操作作为历史信息。表2中示出触摸手势操作的历史信息的例子。

【表2】

图8是示出实施方式2的触摸面板输入装置2中的触摸手势操作的历史信息的取得方法的图。在步骤st201中，例如，通过图8所示的方法计算表2所示的触摸手势操作的历史信息。在图8的例子中，相对于连接上次触摸手势操作中触摸的2个点p1、p2的直线q1，从当前的触摸手势操作中触摸的点p3引垂线q2，设旋转方向的移动量即角度变化量h[pixel]为该垂线q2的长度。设距离变化量d[pixel]为当前的2点间距离(p1与p3之间的距离)l2与上次的2点间距离(p1与p2之间的距离)l1之间的变化量。设移动量m[pixel]为当前的2点间(p1与p3之间的距离)的中心位置i2与上次的2点间(p1与p2之间的距离)的中心位置i1之间的移动量。

在步骤st202中，手势校正部18根据手势操作存储部17存储的历史信息，在不观看画面进行触摸手势操作的情况下，校正意图的操作信息未输入到触摸手势判定装置10a的识别结果。

图9是示出在触摸面板输入装置2中不观看触摸面板20的画面进行触摸手势操作的情况下，意图的操作信息未输入到触摸手势判定装置10a的触摸手势操作的一例的图。如图9所示，举出如下的触摸手势操作：通过在触摸面板20的画面上绕作为第1旋转方向的顺时针方向利用手指反复描绘圆，增加选择值，通过绕作为第1旋转方向的相反方向的第2旋转方向的逆时针方向利用手指反复描绘圆，减小选择值。

当眼睛不朝向触摸面板20而利用手指描绘圆时，即使打算描绘圆，圆的位置也稍微偏移，针对移动量m[pixel]的角度变化量h[pixel]变化，因此，很难进行用于得到预先决定的操作量的调整。因此，手势校正部18使用手势操作存储部17中蓄积的从当前时点起到回溯规定时间的过去的时点为止的期间内的触摸轨迹信息，通过最小二乘法这样的拟合方式估计圆的形状，更新圆的位置。在更新圆的位置后，手势校正部18计算上次手指的接触点、圆的中心位置与当前手指的接触点所成的角度，由此求出角度的变化量。如上所述，如图9所示，能够实现眼睛不朝向触摸面板20的0画面而反复描绘圆的触摸手势操作。

手势校正部18不仅更新圆的位置，在圆的形状为椭圆的情况下，也可以变更椭圆的纵横比例尺而使其成为圆的校正，再次计算坐标轨迹，计算上次手指的接触点、圆的中心位置与当前手指的接触点所成的角度。

在手势校正部18校正圆的位置之前，操作判定部14判定描绘圆的触摸手势操作。此时的圆的初始位置可以为触摸面板20的画面的中心位置，或者，也可以根据规定时间的轨迹通过最小二乘法等求出。

图10是示出实施方式2的触摸面板输入装置2中不观看触摸面板20的画面进行的触摸手势操作的一例的图。作为操作判定部14开始判定描绘圆的触摸手势操作的触发的操作可以为如下情况：作为图10的左侧所示的基于多个指尖的多个接触点的触摸，接触的手指数量少于预先决定的。例如，如图10所示，也可以在3点触摸后接触点成为1点时，操作判定部14以3个重心位置(重心点)为中心，开始判定描绘圆的触摸手势操作，以后，在蓄积预先决定的数据量以上的历史时，通过手势校正部18进行基于圆的位置更新的旋转量的校正。

作为由于不观看画面进行而未按照意图的触摸手势操作的另一例，可举出多点的捏合、旋转、平行移动的触摸手势操作。图11是示出实施方式2的触摸面板输入装置2中不观看手边的触摸面板输入装置2而调整摄像机的朝向、角度、缩放量的场面的图。图11说明不观看手边的触摸面板而调整摄像机的朝向和角度、缩放量的场面。

在图11中，摄像机影像显示设备401显示由摄像机拍摄到的影像。除此之外，在摄像机影像显示设备401中，通知部15重叠显示当前的摄像机操作状况(朝向、放大率、旋转角)。

手边操作画面402向操作信息输入部11转交触摸信息，切换有视线状态和无视线状态的画面显示，根据由操作判定部14判定出的触摸手势操作，变更画面的显示内容。

在有视线状态的操作模式中，画面403是视线有无判定部12判定为有视线状态的情况下的画面，显示手册，能够进行点击超链接来切换画面的触摸手势操作。

在无视线状态的操作模式中，画面404是视线有无判定部12判定为无视线状态的情况下的画面。

视线有无判定部12判定3个以上的触摸操作，当存在手指全部离开的操作而经过预先决定的时间时，判定为有视线状态。操作判定部14判定在3个以上触摸操作后是否存在缩放、移动、旋转的触摸手势操作，根据各自的操作量显示缩放时摄像机影像407、移动时摄像机影像408、旋转时摄像机影像409这样的改变摄像机的朝向和缩放量后的影像。

作为由于不观看画面进行而未按照意图的触摸手势操作的另一例，存在强力按下触摸面板的操作。例如，在进行视线有无判定部通过长按而判定为无视线状态的操作的情况下，当不观看画面进行长按时，表现出强力按压手指的倾向。

当强力按压手指时，存在触摸的位置从指尖朝向指肚的方向稍微移动的倾向。因此，手势校正部18根据表2的触摸手势操作的历史信息，利用由于手指位置的移动量没有变化一定以上或按压压力减弱而使移动量为一定以下这样的性质，判断为长按。

所述手势校正部18的校正处理不仅能够应用于长按的情况，还能够应用于点击和2点操作的情况。

在不观看画面而进行缩放、移动、旋转的触摸手势操作的情况下，即使打算放大，触摸手势操作有时也被误识别为旋转操作。因此，手势校正部18求出手势操作存储部17中蓄积的从当前时点起到回溯规定时间的过去的时点为止的期间内的3个以上的接触点的移动量的合计值、2个接触点之间的距离的变化量的合计值和旋转方向的变化量的合计值，输出这些变化量的合计值中的最大的合计值的操作作为意图的操作。如上所述，即使在不观看画面而进行触摸手势操作时，也能够进行意图的操作。

《2-3》效果

如以上说明的那样，在实施方式2中，取出由操作判定部14识别出的手势的历史进行校正，由此，能够防止不观看画面而进行操作引起的非意图的操作，并且，即使是更加复杂的触摸手势操作，也能够不观看画面进行触摸手势操作。

《3》实施方式3

《3-1》结构

在实施方式1、2中，视线有无判定部12根据基于触摸手势操作的操作信息a0，进行视线有无判定(操作模式判定)。但是，在实施方式1、2的触摸面板输入装置1、2中，无法使用在视线有无判定中使用的操作作为本来用于信息输入的触摸手势操作。因此，在实施方式3中，代替根据基于触摸手势操作的操作信息a0进行视线有无判定(操作模式判定)而具有拍摄用户面部的作为拍摄装置的摄像机，根据用户面部的摄像机图像进行视线有无判定。

图12是示出实施方式3的触摸面板输入装置3的概略结构的功能框图。在图12中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。触摸面板输入装置3具有触摸面板20和触摸手势判定装置10b。触摸手势判定装置10b是能够执行实施方式3的触摸手势判定方法和实施方式3的触摸手势判定程序的装置。实施方式3中的触摸手势判定装置10b与实施方式1中的触摸手势判定装置10的不同之处在于，视线有无判定部12b根据通过摄像机图像输入部19从摄像机34取得的用户面部的摄像机图像进行视线有无判定(操作模式判定)。除了这点以外，实施方式3与实施方式1相同。此外，还能够将实施方式3中的摄像机图像输入部19和视线有无判定部12b应用于实施方式2的触摸面板输入装置2。

摄像机图像输入部19接受摄像机34拍摄用户面部而取得的摄像机图像(图像数据)。作为操作模式判定部的视线有无判定部12b从摄像机图像输入部19接受用户面部的摄像机图像，进行提取面部全体和眼睛的图像数据的图像处理，检测面部的朝向和眼睛的视线的方向。如果眼睛朝向触摸面板20的画面，则判定为有视线状态的操作模式，如果眼睛未朝向触摸面板20的画面，则判定为无视线状态的操作模式。

图13是示出实施方式3的触摸面板输入装置3的h/w结构的一例的图。在图13中，对与图2所示的结构要素相同或对应的结构要素标注与图2所示的标号相同的标号。实施方式3的触摸面板输入装置3的h/w结构与实施方式1的触摸面板输入装置1的h/w结构的不同之处在于，具有摄像机34这点以及存储器32b存储着的触摸手势判定程序这点。除了这些点以外，实施方式3的h/w结构与实施方式1的相同。

摄像机34将通过摄像机拍摄而取得的用户面部的摄像机图像(图像数据)存储在作为存储部的存储器32b中，处理器31在摄像机图像输入部19的处理中，从存储器32b取得摄像机图像，利用视线有无判定部12b进行图像处理。

《3-2》动作

图14是示出实施方式3的触摸面板输入装置3中的触摸手势判定装置10b的动作(触摸手势判定方法)的流程图。在图14中，对与图4所示的处理步骤相同或对应的处理步骤标注与图4所示的步骤编号相同的步骤编号。实施方式3中的触摸手势判定装置10b的动作与实施方式1中的触摸手势判定装置10的动作的不同之处在于，视线有无判定部12b根据通过摄像机图像输入部19取得的用户面部的摄像机图像进行视线有无判定这点(步骤st301、st302)以及在基于摄像机图像的视线有无判定后取得基于触摸手势操作的操作信息a0这点(步骤st303)。除了这些点以外，实施方式3的触摸面板输入装置3的动作与实施方式1的相同。因此，下面，说明与实施方式1的动作不同的动作。

在图14的步骤st301中，摄像机图像输入部19从摄像机34接受用户面部的图像数据，使存储器32b存储该图像数据。

图15的(a)和(b)是示出实施方式3的触摸面板输入装置3中的有视线状态和无视线状态的判定方法的图。在步骤st302中，视线有无判定部12b接受图15的(a)所示的摄像机图像输入部19存储在存储器32b中的用户面部的图像数据，进行提取面部的朝向和视线的图像处理，如图15的(b)的左侧所示，如果视线朝向面向触摸面板20的画面的方向，则判定为有视线状态。此外，如图15的(b)的右侧所示，如果视线未朝向面向触摸面板20的画面的方向，则视线有无判定部12b判定为无视线状态。

例如，能够通过基于haar特征量的cascade识别器检测面部的朝向，例如，提取面部的部分即眼睛的部分，针对眼睛的图像应用边缘滤波器，提取虹膜的外径，对椭圆进行拟合来估计瞳孔的位置，由此能够检测视线。面部的朝向和视线的检测方法不限于这些例子，也可以采用其他方法。

《3-3》效果

如以上说明的那样，在实施方式3的触摸面板输入装置3、触摸手势判定装置10b、触摸手势判定方法和触摸手势判定程序中，使用摄像机34的摄像机图像判定是用户的视线朝向触摸面板20的画面的有视线状态还是有视线状态以外的状态即无视线状态，由此，用户不进行用于切换操作模式的触摸手势操作，也能够容易且正确地进行视线有无判定(操作模式判定)。

此外，根据实施方式3的触摸面板输入装置3、触摸手势判定装置10b、触摸手势判定方法和触摸手势判定程序，根据摄像机图像进行视线有无判定，因此，在本来用于信息输入的触摸手势操作中，能够消除限制使用的操作。

此外，在搭载有实施方式3的触摸面板输入装置3的便携终端装置中，在检修设备的情况下或观看设置在分开较远的位置的大画面的显示装置的情况下，在观看触摸面板20时(有视线状态)，能够进行使用通常的显示部件的基于按钮操作的触摸手势操作，在不观看触摸面板20时(无视线状态)，能够设触摸面板20的画面全体为受理触摸手势操作的操作有效区域。因此，在不观看触摸面板20时，能够使用便携终端装置作为设备的检修或设置在远方的大画面的显示装置的操作设备。

上述实施方式1～3是本发明的例示，能够在本发明的范围内进行各种变更。

标号说明

1、2、3：触摸面板输入装置；10、10a、10b：触摸手势判定装置；11：操作信息输入部；12、12b：视线有无判定部(操作模式判定部)；13：操作模式切换部；14：操作判定部；15：通知部；16：显示控制部；17：手势操作存储部；18：手势校正部；19：摄像机图像输入部；20：触摸面板；21：显示面板部；22：操作面板部；31：处理器；32、32b：存储器；33：扬声器；34：摄像机；141：显示部件手势判定部；142：画面全体手势判定部；a0：操作信息；a1：输入信息；a2：视线判定信息；a3：命令信息；a4：操作判定信息；a5：通知信息；a6：图像信号；a7、a8：选择值(输出信号)；a9：摄像机图像。