用户接口和用于操作系统的方法与流程

背景技术：

随着机械键盘转变为借助于触摸板、触摸屏或多点触摸屏的基于触摸的操作出现如下问题：键盘、其布局和各个按键及其压点不再能够感觉到。由此，使有视觉障碍的人或盲人的输入变得特别困难，因为在平的触摸板或触摸屏上不再存在可学习的触觉定向点。

术语“触摸屏”在下面也被理解为多点触摸屏。

技术实现要素：

通过本发明，将提供一种用户接口和一种用于操作触摸屏的方法，所述用户接口和所述方法对于有视觉障碍的人或盲人来说也允许直观地操作触摸屏。

根据本发明，该任务通过一种用户接口来解决，该用户接口包含触摸屏，所述触摸屏被设立用于视觉输出以及用于检测触摸输入。该用户接口此外包含音频单元和一个处理器或多个处理器，所述处理器被编程用于在触摸屏上呈现虚拟按键的布置，在每个时刻选择所述虚拟按键中的恰好一个虚拟按键；以及用于一旦所述虚拟按键中的每一个被选择，就驱动音频单元以用于以声学方式输出该虚拟按键的标签或功能。

用户接口的特征在于，所述一个处理器或所述多个处理器被编程用于处理触摸屏上的触摸输入，所述触摸输入能够作为在触摸屏的触敏表面上的任意区域中的轻扫手势（wischgeste）被实施，以及用于选择在轻扫手势的方向上布置在之前所选择的虚拟按键旁边的虚拟按键。在此，轻扫手势是水平和垂直轻扫手势，或者水平、垂直和对角线轻扫手势，并且虚拟按键布置在矩形栅格中，使得所选择的虚拟按键的水平、垂直或对角线邻居被明确地确定。

在一种用于操作用于有视觉障碍的人或盲人的触摸屏的方法中，一个传感器或多个传感器在触摸屏上呈现虚拟按键的布置，在每个时刻选择所述虚拟按键中的恰好一个虚拟按键，以及一旦所述虚拟按键中的每一个被选择，就驱动音频单元以用于以声学方式输出该虚拟按键的标签（beschriftung）或功能。

该方法的特征在于，所述一个处理器或所述多个处理器处理触摸屏上的触摸输入，所述触摸输入作为在触摸屏的触敏表面上的任意区域中的轻扫手势被实施，以及选择在轻扫手势的方向上布置在之前所选择的虚拟按键旁边的虚拟按键。在此，轻扫手势是水平和垂直轻扫手势，或者水平、垂直和对角线轻扫手势，并且虚拟按键布置在矩形栅格中，使得所选择的虚拟按键的水平、垂直或对角线邻居被明确地确定。

在计算机可读数据载体上存储有计算机程序，当该计算机程序在一个处理器或多个处理器中被执行时该计算机程序实施该方法。

该计算机程序在一个处理器或多个处理器中被执行并且在此实施该方法。

接入系统、自助服务终端、收银系统、支付终端、自动取款机、转帐终端、自动包裹机、智能电话、平板计算机、膝上型计算机和个人计算机分别具有所述用户接口。

本发明的另外的有利实施方式通过从属权利要求的特征来表征。

下面所提到的优点不一定必须通过独立权利要求的主题来实现。更确切地说，所述优点也可以是仅仅通过在从属权利要求和实施例中所描述的各个实施方式、变型方案或改进方案来实现的优点。

术语“字符”例如被理解为例如在字符集ascii或unicode中所定义的字母、数字或特殊字符。术语“字符”也可以被理解为既不包括拉丁字母也不包括十个阿拉伯数字的其他字符集。此外，字符不仅可以是可呈现的字符，而且可以是不可打印的控制字符。此外，术语“字符”也可以在诸如“ok”或“取消”之类的按钮的功能的意义上来理解。在常见的应用情况下，作为字符输入例如在电话号码和账号中所使用的数字。每个虚拟按键都被分配字符，该字符可以通过该虚拟按键来输入。替代地，也可以给所述虚拟按键分配诸如“打印”之类的功能。

用户接口的功能由一个或多个处理器来提供。在一个变型方案中，唯一的处理器被编程为执行该方法的所有步骤。在另一变型方案中，第一处理器被设置用于处理触摸输入，而第二处理器被编程用于选择虚拟按键。第三处理器可以针对所选择的虚拟按键促使语音合成以及语音输出。在所述实施例中所描述的全部功能因此可以由一个处理器单独地、由多个处理器共同地、或者通过在多个处理器中分担工作来提供。处理器可以作为微处理器例如被安装在计算机、终端或移动终端设备中，但是所述处理器也可以是微控制器的一部分。

该用户接口和该方法适合于通过触敏表面被控制的所有系统。属于此的尤其还有具有多点触摸屏的用户接口。该用户接口和该方法的简单手势控制例如可以被用于输入电话号号码或账号。然而，该简单手势控制也适合于借助于qwerty、qwertz或dvorak布局的虚拟按键的文本输入。该方法尤其是适合于有视觉障碍的人或盲人。

该用户接口和该方法是对触摸屏上的用户引导的常用范式的抛弃，所述范式恰恰将实现手-眼协调看作为触摸屏的优点，实现手-眼协调的方式是，用户的触摸恰好在触摸屏上的如下位置处进行，在该位置处相应按钮被可视化。与此相反，轻扫手势可以在触敏表面上的任意区域中实施。

该用户接口或该系统利用隐喻，用户可以将所述隐喻用作用于控制的心智模型。根据该隐喻，标记位于所选择的虚拟按键上，所述标记可以通过轻扫手势被移位到相邻的虚拟按键上。因此，在每个时刻选择恰好一个虚拟按键，所述虚拟按键例如可以通过在触敏表面上的任意区域中的轻击手势来操纵，由此输入相应字符。

轻扫手势例如在短路段内被实施。该路段可以在一种实施方式中为至少3cm。该轻扫手势可以在水平和垂直方向上、但是也可以在对角线方向上被实施。对角线轻扫手势实现特别快地选择相应虚拟按键。由于多个轻扫手势也可以一个接一个地被实施，因此虚拟按键的选择可以任意频繁地被修改。

根据一种实施方式，虚拟按键的选择与其操纵分离，其方式是，为了操纵所选择的虚拟按键，需要特有的触摸输入、这里为轻击手势。这具有如下优点：用户在其执行实际的字符输入或功能激活之前首先可以探索用户接口。

该方法可以在常规的、已经存在的硬件上实现。该用户接口是根据可靠的和以用户为中心的方针设计的。该用户接口实现通过简单的轻扫手势选择虚拟按键。

附图说明

下面根据图更详细地解释本发明的实施例。在所述图中，只要未另外说明，相同或功能相同的元件就配备有相同附图标记。

图1示出具有触摸屏43的用户接口，所述触摸屏包括触敏表面44，所述触敏表面实现借助于水平和垂直轻扫手势选择在触摸屏43上呈现的虚拟键盘20的虚拟按键21，

图2示出具有虚拟按键21的虚拟键盘20，所述虚拟按键可以借助于水平、垂直和对角线轻扫手势被选择，

图3示出触摸屏的触敏表面44，在该触敏表面上实施垂直轻扫手势23，

图4示出触摸屏的触敏表面44，在该触敏表面上实施垂直轻扫手势23，

图5示出触摸屏的触敏表面44，在该触敏表面上实施轻击手势24，

图6示出虚拟键盘20，其按键以电话键盘的布局被布置，

图7示出虚拟键盘20，其按键以数字键盘的布局被布置，

图8示出虚拟键盘20，其按键以标准键盘（qwerty）布局被布置，

图9示出虚拟按键21，所述虚拟按键在触摸屏上被显示，在所述触摸屏的触敏表面44上实施水平轻扫手势23，

图10示出触摸屏的触敏表面44，在该触敏表面上实施垂直轻扫手势，

图11示出触摸屏的触敏表面44，在该触敏表面上实施水平轻扫手势23，

图12示出触摸屏的触敏表面44，在该触敏表面上实施轻击手势24，以及

图13示出用户接口的系统架构。

具体实施方式

图1示出具有触摸屏43的用户接口，所述触摸屏包括触敏表面44，所述触敏表面实现借助于水平和垂直轻扫手势选择在触摸屏43上呈现的虚拟键盘20的虚拟按键21。虚拟按键21以电话键盘的布局被布置。在中心的具有数字5的虚拟按键是事先所选择的、视觉上被突出的虚拟按键22。借助于下面还要解释的水平和垂直轻扫手势，数字5的选择可以根据图1中所示出的箭头移位到其他虚拟按键21中的每个上。在每个轻扫手势之后，重新选择的虚拟按键22的标签通过语音合成和语音输出以声学方式被输出。虚拟键盘20被显示在触摸屏43、例如多点触摸屏上。

包括轻扫手势和轻击手势的触摸输入在触摸屏43的触敏表面44上被实施。该触敏表面44是有效面，在所述有效面上可以正确地分析触摸输入和手势。触敏表面44可以小于触摸屏43的传感面。在传感面的边缘区域中在触敏表面44之外的触摸输入可能导致声学或触觉错误消息。在以下实施例中，触敏表面44也表示有效面，在所述有效面上可以正确地分析触摸输入和手势，并且所述有效面不一定填满触摸屏43的完整的传感面和/或显示面。

图2对应于图1示出具有虚拟按键21的虚拟键盘20，其中所选择的虚拟按键22的选择除了水平和垂直轻扫手势之外也可以借助于对角线轻扫手势来移位。对角线轻扫手势在全部其他实施例中也是可能的变型方案。

标记（münze）用作对操作的隐喻，所述标记在每次数字输入开始时位于具有数字5的虚拟按键上，并且所述标记可以借助于轻扫手势水平地、垂直地和对角线地移位到其他虚拟按键21上。理论上也将可能的是，在虚拟键盘20上利用任意多的轻扫手势来使标记移位。

利用向右或向左的简单的轻扫手势，标记从数字5出发被移动到数字6或数字4上。相应地，从数字5出发利用向上或向下的轻扫手势到达数字2或数字8。通过相应的对角线轻扫手势到达数字1、9、3和7。因此，利用唯一的轻扫手势到达环绕数字5的所有数字。而为了选择数字5，不需要轻扫手势，因为标记已经在开始时以及在每次成功的输入之后位于那里。仅仅针对数字0必须向下轻扫两次。

如果标记位于所期望的数字上，则数字的输入通过双指轻击、即通过利用两个指尖的简单轻击来确认。此后，标记再次位于数字5上，并且下一数字可以被选择和确认。输入以长时间的双指轻击来结束。

三指轻击从头开始输入，而长时间的三指轻击取消输入。轻扫手势和轻击手势可以在触摸屏43的触敏表面44上的任意位置处进行。声学或触觉信号确认相应手势的成功，或者用信号通知未被识别或有错误的手势。附加地可以通过语音输出向用户通知分别所选择的数字。

例如当标记位于数字6上并且利用向右的轻扫手势尝试将该标记移出虚拟键盘20的边缘外时，用信号通知错误。因此，如果用户实施如下轻扫手势，该轻扫手势由于在该轻扫手势的方向上在虚拟键盘上没有另外的虚拟按键可供用于选择而不能被处理，则可以输出特殊的声学或触觉信号，所述信号为用户显示这一点。

结果，提供在具有触摸屏的系统中基于手势的、例如在自动取款机、自助服务终端、收银系统、支付终端、自动包裹机、转帐终端或电话处的输入。为了反馈，除了声音和语音输出之外也可以产生振动。该方法尤其是适合于盲人和有视觉障碍的人。该系统可以为用户设置训练模式。此外，可以通过语音合成向用户输出提示和指示。

下面参考在图3至5中所示出的具体操作流程。按标准，在每次数字输入开始时作为所选择的虚拟按键22选择在中心的具有数字5的按键。所选择的数字5通过语音输出被报告。在图3中所示出的示例中，用户想要选择具有数字0的虚拟按键21。

与虚拟键盘20在触摸屏43上的呈现无关地，用户可以在触敏表面44上的任意位置处开始垂直地从上向下的轻扫手势23，所述轻扫手势绝对不必与虚拟键盘20的布局相一致。

通过轻扫手势23，选择被移位到具有数字8的虚拟按键21上，该虚拟按键在图4中被绘出为所选择的虚拟按键22并且在触摸屏上在视觉上被突出。附加地播报数字8。

用户现在在触敏表面44上执行从上向下的另一垂直轻扫手势23，由此数字0被选择为所选择的虚拟按键22，如在图5中所示出的。附加地播报数字0。由于用户想要输入数字0，因此该用户现在——重新地在触敏表面44上的任意位置处——执行轻击手势24，由此确认数字0的输入。

在确认数字0的输入之后，选择再次被复位到具有数字5的虚拟按键21上，所述数字5被播报给用户。因此，为了选择数字5原则上不需要轻扫手势。假如下一个将输入该数字，则为了确认对具有数字5的虚拟按键21的选择而执行轻击手势就足够了。

为了选择具有数字3的虚拟按键21，用户可以执行向右的轻扫手势以及向上的轻扫手势。替代地，用户可以执行在对角线上向右上方的轻扫手势。

该用户接口具有开放的功能，所述功能使得屏幕阅读器软件能够以声学方式输出当前所选择的虚拟按键。

另一实施例将虚拟按键21的在图1至5的上下文中所解释的布置用于类似于移动电话输入字母，所述移动电话允许通过数字按键进行字母输入。为此目的，给虚拟按键21分配以下字母序列：

2:a,b,c

3:d,e,f

4:g,h,i

5:j,k,1

6:m,n,o

7:p,q,r,s

8:t,u,v

9:w,x,y,z

在文本输入模式下，给虚拟按键21按标准分别分配来自字母序列的第一字母。为了输入该第一字母，所期望的虚拟按键22如在图1至5的上下文中所解释的那样通过轻扫手势被选择。此后，第一字母的输入通过双指轻击被确认。

为了选择来自该字母序列的后续字母，相应虚拟按键22如在图1至5的上下文中所解释的那样通过轻扫手势被选择。此后，用户通过单指轻击来变换所选择的虚拟按键22的分配，其中当前被分派给所选择的虚拟按键22的字母被来自该字母序列的跟随在该字母之后的字母代替。这可以任意频繁地被重复，其中紧接在该字母序列的最后的字母之后，该字母序列的第一字母再次被分派给所选择的虚拟按键22。分别所分派的字母通过语音输出被通知给用户，使得该用户在浏览按键分配时分别获得具有当前字母的声学反馈。紧接着，从该字母序列中选择的字母的输入通过双指轻击被确认。

在输入每个字母之后，选择如在图1至5的上下文中所解释的那样跳回到虚拟按键21，该虚拟按键在数字输入模式下将输入数字5。

在本实施例中，通过以下触摸输入来输入单词“hallo”是可能的：

h：向左，单指轻击，双指轻击

a：向上，双指轻击

1：单指轻击，单指轻击，双指轻击

1：单指轻击，单指轻击，双指轻击

o：向右，单指轻击，单指轻击，双指轻击。

图6示出虚拟键盘20，该虚拟键盘附加地被扩展了电话键盘的两个特殊字符。这样的虚拟键盘20例如适合于输入电话号码。从按标准所选择的具有数字5的虚拟按键出发，具有特殊字符*和#的虚拟按键例如可以借助于两个垂直轻扫手势和一个水平轻扫手势（向下、下、左；向下、下、右）或者借助于一个垂直轻扫手势和一个对角线轻扫手势来选择。

图7示出虚拟键盘20，其按键根据数字键盘的布局被布置。从按标准所选择的具有数字5的虚拟按键22出发，具有数字0的虚拟按键例如可以借助于两个垂直轻扫手势和一个水平轻扫手势（向下、左、下）或者借助于一个垂直轻扫手势和一个对角线轻扫手势来选择。

图8示出虚拟键盘20，其按键以qwerty布局被布置。根据该实施例，可以选择和输入字母。从按标准所选择的具有字母d的虚拟按键22出发，具有分配q、a、z、t、g和b的虚拟按键例如可以如下通过轻扫手势被选择：

q：向左、左、上

a：向左、左

z：向左、左、下

t：向右、右、上

g：向右、右

b：向右、右、下。

图9示出虚拟按键21和所选择的虚拟按键22，所述虚拟按键和所选择的虚拟按键在在作为触摸屏43的多点触摸屏上以视觉方式被输出。按钮的这样的视觉输出可以与如在图1至5的上下中所描述的数字输入交替地运行。例如，用户可以在他通过合适的轻击手势获得图9中所示出的屏幕视图之前首先可以输入电话号码。具有确认功能的所选择的虚拟按键22事先被选择，并且通过屏幕阅读器功能被朗读给用户。通过轻击手势，用户可以确认该选择，由此例如拨打所输入的电话号码。

虚拟按键21在图9中的布置不能被称为虚拟键盘，因为仅仅涉及单个按钮。与之前所描述的机制相同的机制仍然适用于该实施例，因为这里在虚拟按键21之间也存在清楚的邻居关系。

通过向右的轻扫手势23，用户在所示出的示例中将选择移位到具有取消符号的虚拟按键上，如图10中所示出的。现在所选择的取消功能通过屏幕阅读器功能被朗读给用户。现在，用户执行向下的轻扫手势23，由此将选择移位到具有电话符号的按键上。根据图11，用户紧接着执行向左的轻扫手势23，由此选择位于具有打印机符号的按键上。以这种方式，用户可以以简单的轻扫手势23探索屏幕的内容，其中借助于语音合成分别向该用户朗读按键或按钮的分配或功能。

由于用户在所示出的示例中想要完成打印输出，因此该用户在图12中利用两个指尖在触摸屏43上执行轻击手势24，由此确认对具有打印机符号的所选择的虚拟按键22的选择。

图13示出用户接口的一个实施例的示意图。该结构基本上由三个元件构成。数据处理单元41具有微处理器、存储器以及运行程序200。除此之外，该数据处理单元拥有具有放大器和扬声器的音频单元14、用于产生触觉信号的振动产生器13以及显示器12或用于驱动所述显示器的图形卡。音频单元14优选地具有耳机接线端子140。用户接口优选地在耳机接线端子140处设置用于音量的调整可能性。运行程序200由数据处理单元41实施。数据处理单元41拥有到另外的系统的通信接口130。

用户接口的另一元件是安全模块42，该安全模块一方面包括具有存储器和处理器的第二微控制器10、以及用于分析输入的第一微控制器11，具有触敏表面的触摸屏43通过第一通信接口将所述输入报告给第一微控制器11。安全模块42包含控制程序220，该控制程序被存储在固件上。第一微控制器11通过第二通信接口120与第二微控制器10连接。

通信接口100、110或120可以被构造为串行接口。

第二微控制器10通过外部通信接口100与数据处理单元41连接，使得数据处理单元41上的运行程序200可以与安全模块42上的控制程序220通信。触摸屏43将诸如轻击手势或轻扫手势之类的触摸输入例如作为坐标系中的（多个）坐标或矢量转发给第一微控制器11。触摸屏43也可以与显示器12重合并且被构造为多点触摸屏。

运行程序200促使显示器12或触摸屏43上的屏幕输出、通过音频单元14输出的声学信号、以及通过振动产生器13产生的触觉信号。运行程序200基本上为想要使用相应系统的有视力的人、有视觉障碍的人和盲人控制用户接口。在一个可能的应用中，盲用户输入账号，以便执行财务交易。

安全模块42的固件上的控制程序220通过外部通信接口100为数据处理单元41提供安全模块42的相应地所需的功能。在该实施例的上下文中，属于所述功能的有：分析用户在触摸屏43的触敏表面上实施的触摸输入，将这些触摸输入解释为轻扫手势或轻击手势，处理触摸输入以用于选择虚拟键盘上的数字，以及在每次识别出触摸输入之后通过外部通信接口100发送通知。

假如触摸屏43被构造为多点触摸屏，则该多点触摸屏应当至少能够处理双指手势。优选地，数据处理单元41拥有语音合成模块，该语音合成模块可以引导和支持用户。各个触摸输入可以通过声学或触觉信号来应答。作为触摸输入例如可以考虑轻击手势、双轻击手势、较长时间轻击和触摸、滚动、轻扫手势等等。

一旦耳机被插入到耳机接线端子140中，则针对用户的特殊支持就可以被自动激活。替代地，用户接口例如可以被配置，使得在屏幕的右上角中用手指触摸并保持三秒钟激活针对盲用户或有视觉障碍的用户的支持模式。在此情况下，用户接口的用于处理触摸输入和手势的标准模式被转变为具有针对盲人和有视觉障碍的人的特殊辅助的输入模式，该输入模式支持特定手势并用声学信号来应答，使得盲用户可以舒适地和直观地操作用户接口。为了离开用于支持盲用户的特殊模式，例如可以将耳机从耳机接线端子140中拔出。

在所期望的虚拟按键被选择了之后，触摸屏43的触敏表面例如可以用手指双轻击。该轻击手势激活所选择的虚拟按键，由此输入所分配的数字。另一合适的轻击手势是用两个指尖简单轻击，以便操纵所选择的虚拟按键。

另一手势可以被保留用于在数字输入与如图9至12中的按钮之间来回变换。作为手势，为此例如定义用两个指尖的双轻击。由此，数字输入被暂停或结束，并且焦点被置于例如在图9至12中所示出的按钮上。这样的按钮例如被分配功能“删除所有数字”、“删除最后的数字”、“确认输入”和“返回”。

在转帐终端处，通过触摸屏43示出的屏幕内容例如被划分成不同区域：具有要支付的金额的域，用于收款人的账号的域，以及具有之前所提到的用于确认或删除所输入的数字的四个按钮的区域。

通过合适的声学语音合成输出，可以结合屏幕阅读器功能来引导盲用户。例如以下语音合成输出可以在整个流程中支持用户：

1.请您插入您的卡

2.您的卡不能被识别，请您重新尝试

3.您的卡被识别了，请您在屏幕上双轻击，以便继续

4.支付金额为450,00$，请您用手指双轻击，以便继续

5.请您输入收款人的账号

6.请您向左、右、上、下轻扫，以便选择下一虚拟按键

7.五-四-七

8.请您双轻击，以便确认数字七。

一旦用户变换到图12中所示出的屏幕视图，则向用户朗读所选择的虚拟按键22的分配或功能、例如“请您确认交易”。这意味着，在每次变换到该控制按键之后向用户重新朗读按标准所选择的按键“交易已确认”。示例性地适合作为在类似于图9至12连续地选择不同按钮之后的语音输出的有：

1.请您双轻击，以便继续

2.请您双轻击，以便取消

3.请您双轻击，以便删除最后的数字

4.请您双轻击，以便删除所有数字

5.请您双轻击，以便返回到主菜单

6.请您双轻击，以便打印银行对账单。

根据一个实施例，用户通过将耳机插入到耳机接线端子140中来激活支持模式。于是，用户获得关于所支持的手势的详尽信息。可选地，提供演示和练习模式，利用该演示和练习模式，用户可以熟悉该用户接口。

在用户已正确地插入其卡并且输入要转帐的金额之后，该金额被朗读并且以语音输出“请您输入收款人的账号”。该语音输出被重复，直到用户已用双轻击确认了该用户想要继续该交易。于是，来自图1至5的虚拟键盘20被激活，该虚拟键盘允许用户输入账号。声学语音请求要求用户输入第一个数字。

尽管通过实施例详细地图示和描述了本发明，但是本发明不受所公开的示例限制。本领域技术人员可以从中导出其他变型方案，而不偏离本发明的保护范围。所描述的实施例、变型方案、实施方式和改进方案也可以自由地彼此组合。