专利名称：计算机系统内用于视障者的触觉访问和导航系统及方法
技术领域：
本发明涉及为视障者提供触觉计算机系统。更具体地，本发明涉及适于视障用户使用的触觉访问和导航系统。定义在本申请中，术语“⑶I元素” (GE)用于指在使用计算机的过程中显示的文本和图形元素，包括但不限于窗口、子窗口、窗口元素、图标、指针、滚动控件、拆分控件、滚动条控件、拆分条控件、菜单、菜单元素、菜单命令、菜单选项、对话框元素、命令钮、对话框控件、复选框、选项钮、单选按钮、按钮(push button)、用于下拉菜单的按钮、滑块、数值集合、编辑控件、文本框、列表框、组合框、链接文本、列表框、微调框(spin box)、工具栏和标尺、尺寸处理器(sizing handler)、文本框体、工具框、多媒体控件、消息框、状态栏、进程指示器、量表(gauge)、字幕等。术语“显示数据”此处指的是将如通常显示在视觉显示单元(VDU)上⑶I元素以及与其相关联的功能描述符、文本描述符或音频描述符的方式提供给用户的所有数据。此外， 显示数据可以包括与一组像素或者像素区域的颜色和色度(shade)相关的信息阵列。另选地，显示数据可以包括编码信息，如美国信息交换标准代码(ASCII)或者统一的字符编码标准的(Unicode)字符码。
背景技术：
计算机用户需要在富数据的环境中进行导航，以访问相关信息。现在参照图1，其中示出了现有技术的个人计算机系统(PCS)，该个人计算机系统包括软件系统11、至少一个输出设备12和至少一个输入设备14。软件系统11包括被配置为从信息源10获取数据的信息提取器111。所提取的数据由输出生成器112处理并发送给在框12中示出的输出设备。这些输出设备通常经由视觉显示单元(VDU) 122向用户13提供数据的视觉展示。可以通过诸如扬声器的音频输出设备121提供辅助输出。输入设备14是被配置为使用户13能够向软件系统11提供反馈113 的设备，这些输入设备可以是键盘、计算机鼠标、触控板和操纵杆等设备。有视力的用户通常通过观察由VDU 122提供的视觉信息并提供用于选择适当数据的反馈113而利用PCS系统来进行导航。例如，可以在VDU上指示出光标，可以通过用户操纵键盘、鼠标或者其它输入设备14而调整该光标的位置，然后该位置可以用于选择显示信息的所想要的部分。视障用户无法利用PCS所提供的视觉指示，因此需要采用非视觉手段来方便访问和导航。很显然，仅仅依赖于视觉输出设备122的上述现有技术的PCS(图1)不适于视障
用户使用。现在参照图2，其中示出了表示进一步增强的现有技术的PCS的主要部件的框图， 该增强的现有技术的PCS与图1中的PCS类似，但是还包括针对视障者的访问和导航辅助直ο该增强的PCS包括未包含在图1中示出并在以上结合图1所描述的PCS中的多个元件，具体地，包括点字显示器RBD (Refreshable Braille Display) 123，其主要功能是进行盲文字符的触觉显示。RBD 123还可以包括用于上下移动文本线并且用于沿着该线控制位置的命令控件，并且由此也用作输入设备。在图2中示出的系统中，可以看到软件系统11包括一些另外的元件，包括屏幕读取器114和可访问信息生成器(GAI) 115，这些元件用于使得视觉数据展示变为可以经由扬声器121和/或RBD 123呈现给盲人用户的形式。屏幕读取器114被配置为提取并分析在VDU 122上呈现的所有信息，包括图形和文本信息、以及关于⑶I元素的信息。屏幕读取器114还适于从包括与RBD 123相关联的单元在内的输入单元接收用户反馈116。GAI 115处理来自屏幕读取器114的数据，并且利用VDU 122、扬声器121和RBD 123将数据输出给用户。图3A和;3B分别表示针对图1和图2中的现有技术中的PCS系统的数据反馈。具体地，参照图1和图3A，信息提取器111从信息源获得的数据被传送给输出生成器112，由输出生成器112将其提供给VDU 122以向用户13进行展示。用户13利用诸如键盘或鼠标的输入设备14向信息提取器111提供反馈。响应于用户的反馈，信息提取器111可以从信息源获得进一步的信息。图:3B示出了与图2的PCS系统相关联的对应反馈循环，从而如图所示需要另外的反馈循环。视觉显示器122由屏幕读取器114进行分析，屏幕读取器114除了向VDU 122 提供数据之外，还经由输出生成器112向RBD 123提供数据。用户13可以一从RBD 123接收到信息，就经由输入设备14向信息提取器111或者向屏幕读取器114提供反馈。该增强的PCS通过对视觉(名称，字幕等)描述符和非视觉(功能、定位、从属关系等)描述符都提供访问而使得视障用户能够在⑶I元素(GE)之间进行导航。这样的导航实际上是基于上下文的，意思是用户通过参照经考虑的对象的上下文、而不参照其几何和空间参数(位置、维度、重叠等)进行导航。以下将这样的导航称为上下文导航(CN)。应当理解，上下文导航比有视力的人所采用的通常将上下文导航方法和空间导航方法组合的导航受到更多的限制。术语“空间导航”指的是利用空间指示(诸如目标GUI元素的位置和可由用户对准以选择该目标GUI的鼠标光标的位置)的导航。有视力的用户通常会通过基本上沿直线移动、同时沿着该方向校正与这条线的偏离，而将光标与GUI元素对准。触觉文本输出可以将特别针对阅读大量文本的用户的空间导航的元素与RBD组合。例如，用户可以移动到下一个符号、搜索当前单词的开始、跳到前一行等。然而，现有技术中的系统并不适于需要图形感知、导航动作(诸如跟随线或者曲线、移动到窗口、屏幕或者对话框的左上角、拖放等)的空间导航技术。尽管有视力的人通过鼠标的辅助可以非常有效地采用这些技术，但是这些技术对于盲人完全不可用。视障用户通常利用诸如RBD的触觉输出设备接收上下文信息，并且利用诸如键盘的输入来提供反馈。因为需要学习成百上千的单个键盘命令，并且因为视障用户无法获得视觉导引，即使熟练的用户也需要利用很繁琐和令人沮丧的试错过程才学会成功地导航， 所以这很难使用并且效率低下。在涉及利用了 RBD的系统中这种情况更加严重，这是由于用户的手需要在RBD和键盘之间往复移动，有时候在该处理中交叉。本领域还公知名为"Mouse-Like Input/Output Device with Display Screen andMethod for Its Use”的美国专利US 5，912，660，其内容通过引用的方式合并于此。
发明内容
本发明致力于向视障用户提供能够克服已知技术中的问题的触觉计算机系统及其使用方法，并且使得视障者能够访问几乎专供有视力的用户访问的程序和数据。因此，根据本发明的优选实施方式提供了一种供视障用户在计算机化的数据环境中进行操作的触觉访问和导航系统，该触觉访问和导航系统包括双向输入-输出系统，其具有一个或更多个触觉显示器以及一个或更多个用户可操作的输入控制器；与所述一个或更多个触觉显示器通信的数据转换器，其可操作为从计算机提取显示数据，并将所提取的显示数据转换为适于由所述一个或更多个触觉显示器显示的形式；用于将所述显示数据排列为GUI元素的预定结构的装置，所述结构能够由所述双向输入-输出系统进行导航；以及用于根据预定的操作模式向所述一个或更多个触觉显示器提供显示数据的装置， 所述操作模式包括一种或更多种观看模式，其用于在所述一个或更多个触觉显示器上显示图形和文本数据内容的触觉表示；一种或更多种导航模式，其用于在所述一个或更多个触觉显示器上显示所述结构内的所述GUI元素的取向的触觉表示。另外，根据本发明的优选实施方式，所述输入-输出系统位于具有一个或更多个触觉显示器以及一个或更多个输入控制器的单个触觉鼠标内。进一步根据本发明的优选实施方式，所述导航模式选自包含以下模式的组空间导航模式；上下文导航模式；和空间-上下文导航模式。根据本发明的进一步实施方式，提供了一种采用具有一个或更多个触觉显示器和一个或更多个命令输入控制器的触觉鼠标、以在从计算机提取的显示数据中所表示的GUI 元素当中进行导航的方法，所述方法包括以下步骤(a).从计算机屏幕提取显示数据；(b).从所提取出的显示数据中识别这些GUI元素；(c).将这些⑶I元素组织为逻辑结构；(d).根据与第一 GUI元素相关的触觉显示描述符以触觉的形式进行显示；(e).感测来自所述触觉鼠标的输入，所述输入包括所述触觉鼠标的空间运动以及经由所述一个或更多个输入控制器的命令输入；(f).响应于来自所述触觉鼠标的所述输入，从所述结构中选择第二 GUI元素；以及(g).向所述用户指示所选择的第二⑶I元素。
另外，根据本发明的实施方式，向所述用户指示所选择的第二 GUI元素的步骤(g) 包括在所述第一GUI元素与所述第二GUI元素之间构造触觉引导，表示要由所述触觉鼠标采用的从所述第一⑶I元素到所述第二⑶I元素的直接路线(direct route) 0进一步根据本发明的实施方式，向所述用户指示所选择的第二 GUI元素的步骤 (g)包括根据与所述第二 GUI元素相关的所述触觉显示描述符以触觉的形式进行显示。另外，根据本发明的实施方式，步骤(C)包括将所述GUI元素组织为分层结构的步马聚ο进一步根据本发明的实施方式，至少所述GUI元素的选集被集合到一个或更多个组中，其中选择第二GUI元素的步骤(f)包括构造具有顶行、底行和二者之间的中间行的虚拟表，其中所述中间行包含多个⑶I元素，该多个⑶I元素包括所述第一选择⑶I元素；所述顶行包含所述第一选择⑶I元素的父元素；并且所述底行包含所述第一选择GUI元素的所有子元素；并且，其中来自所述顶行、中间行和底行中的所述GUI元素中的每一个可被选择为所述第二⑶I元素。另外，根据本发明的实施方式，所述⑶I元素组中的每一个包含所述第一选择⑶I 元素的所有同辈元素。根据本发明另外的实施方式，所述GUI元素组中的每一个包含具有与所述第一选择GUI元素相同的上下文、并且在与所述第一选择GUI元素相同的分层级别上的GUI元素。另选地，至少所述⑶I元素的选集被集合到一个或更多个组中，其中选择第二⑶I 元素的步骤(f)包括构造具有顶行、底行和二者之间的中间行的虚拟表，其中，与所述中间行中的所述GUI元素的各自的分层级别无关地，所述中间行包含具有与所述分层结构中的所述第一选择GUI元素相同的上下文的GUI元素；其中所述顶行包含与所述中间行相同数量的GUI元素，并且这些GUI元素中的每一个是所述中间行中的对应GUI元素的父元素，并且所述底行包含所述第一选择GUI元素的所有子元素，并且其中来自所述顶行、中间行和底行的所述GUI元素中的每一个可被选择为所述第二⑶I元素。
为了更好地理解本发明并且示出如何可以实现本发明，现在将仅通过示例的形式参照附图进行说明。现在具体针对详细的附图，应当强调的是所示出的细节是通过示例的形式并且仅用于示例性地讨论本发明的优选实施方式，并且是为了提供被认为是本发明的原理和概念方面最有用并且最容易理解的描述而呈现的。在这一点上，没有打算以比基本理解本发明所需的结构细节更详细地示出本发明的结构细节。结合附图所进行的描述将使本领域普通技术人员明了本发明的几种形式可以在实践中实施。在附图中图1是现有技术的个人计算机系统的框图；图2是与图1的个人计算机系统类似、但是还包括针对视障者的访问和导航辅助设备的现有技术的个人计算机系统的框图；图3A和图:3B是示出了分别与图1和图2中的现有技术的系统相关联的反馈循环的示意图；图4A是示出了根据本发明的一种实施方式的触觉计算机系统(TCS)的主要元件的框图；图4B是表示与图4A的TCS相关联的反馈循环的示意图；图5A是根据本发明的一种示例性实施方式的采用TCS所使用的触觉、集成双向通信设备的示意表示；图5B是示出了根据本发明的优选实施方式的、图5A的触觉显示器的驱动机构的主要元件的框图；图6A至图6D是屏幕的一部分的示意图，该屏幕的一部分示出了例示各种导航模式的、在两个GUI元素之间跟随的可选路径；图7是根据本发明的另一种示例性实施方式的屏幕信息提取器的框图表示；图至8c2示出了与采用本发明的实施方式而使用的触觉显示器的不同配置相对应的提取的屏幕区域的示例性布局；图9是根据本发明的又一种实施方式构造和操作的信息分析器及转换器的框图；图10是典型的计算机屏幕示例的示意图；图11示出了图10的计算机屏幕的数据元素的分层布置；图12A是典型的计算机屏幕的第二个示例的示意图；图12B是对图12A的屏幕内容的分层布置的示意表示；图13A是典型的计算机屏幕的第三个示例的示意图；图13B是对图13A的屏幕内容的分层布置的示意表示；图14示出了数据元素的扩展的分层布置的示例性部分；图15A至图15D示出了根据本发明的又一种实施方式针对图14的分层结构的数据元素构造的虚拟表的选集；图16A至图16C展示出了根据本发明又一种实施方式的与在各个方向上移动触觉鼠标相关联的可能效果集合；图17示出了在一些数据元素被集合到一代(generational)的组中的情况下、如图14中所示的数据元素的扩展的分层布置的一部分；图18A至图18E示出了基于数据元素组针对图17的分层结构的数据元素构造的虚拟表的选集；图19再次示出了在两个集合的数据元素被集合到跨代组中的情况下、如图14和 17所示的数据元素的扩展的分层布置的一部分；图20表示用户可以用于选择导航集合的一组目录；和图21A和图21B表示针对以图19中指示的两组中的每一组为中心的数据元素构造的虚拟表。
具体实施例方式现在参照图4A，其中示出了统称为400的触觉计算机系统(TCS)的框图，TCS400是根据本发明的优选实施方式构造并操作的。本发明实施方式的TCS 400包括在图1至;3B 中示出并且结合图1至3B进行了上面的描述的现有技术的多个元件，在此利用相同的附图标号进行表示，并且除非必要，以下不再进行具体地描述。TCS 400还包括双向触觉输入/输出设备15，在此统称为“触觉鼠标” 15。例如， 可以t艮据名禾尔为"Mouse—Like Input/Output Device with Display Screen and Method for Its Use”的美国专利No. 5，912，660制造触觉鼠标15，该美国专利的内容通过引用合并于此。本领域普通技术人员将会明了，触觉鼠标15虽然是单个设备，但实际上包含了一起形成双向触觉输入/输出系统的输入装置和输出装置，输入/输出系统的功能可以通过分离的输入和输出设备来实现。TCS 400还包括软件元件，其中有模式切换器117、屏幕信息提取器(ESI) 118、信息分析器及转换器119和GAI 115。在本发明的优选实施方式中，多个ESI和多个GAI可以被配置为相组合地操作。所有附加的软件元件(即，先前在图2中没有示出的那些元件) 都由用户经由另一个反馈模块116进行控制。模式切换器117用于在该系统的操作模式(S卩，空间导航的图形模式、利用空间导航的文本模式、上下文导航模式、以及组合的空间和上下文导航模式)之间进行选择。可选地，可以通过触觉鼠标上的切换器来控制模式切换器117。另选地，根据本发明的实施方式， 模式切换器117既可以自动地(在图形模式和文本模式之间)进行模式切换，也可以由用户经由反馈块116进行模式切换。ESI 118是现有技术的屏幕读取器114(图2)的扩展版。依赖于所选择的操作模式，ESI 118提取通常用于在视觉显示单元(VDU) 122上构造视觉显示的显示数据。这样的数据为多种类型的视觉数据，除了包括用于GUI元素的描述符之外，还包括图形和文本等。信息分析器及转换器119分析ESI 118所提取的信息的特征，并且针对可选择的每种操作模式将该信息转变为用户所需要的形式。GAI 115对现有技术的生成器112(图2)所提供的输出类型进行补充，并且尤其适于经由触觉鼠标15提供触觉输出。根据本发明的优选实施方式，触觉鼠标15既用作触觉输出设备，又用作供用户向以下的系统部分输入反馈的触觉输入设备ESI 118(图4A)、信息分析器及转换器119(图 4A)、输出信息生成器112(图4A)和GAI 115(图4A)。现在还参照图4B，其中示出了与TCS 400相关联的数据反馈循环。通过将图4B中示出的数据反馈循环与图3B中示出的反馈循环(与图2B中示出的现有技术的PCS系统相关联)进行比较，将会注意到从该触觉鼠标自身向用户提供了额外的反馈。以下对TCS 400的关键部件的实施方式进行简要的描述。双向触觉输入/输出系统现在参照图5A，触觉鼠标15是除了提供经由可用作命令输入机构的按钮153的输入控制器以及诸如滚动球、光学感测器等用于感测触觉鼠标相对于其先前位置的位置的机构巧4之外，还经由触觉显示器152向用户提供触觉输出的双向通信设备，该按钮153可以被按压、释放、点击或双击，或者另外地用于向计算机提供反馈。将会理解，虽然在单个设备中既包含数据输出、又包含数据输入的触觉鼠标15的使用是最方便的，但是也可以分离地提供触觉鼠标15的功能，例如，通过在分离的设备分别上提供触觉显示器152和输入按钮/切换器153，其累加地组合以提供根据本发明所需的必要输入/输出功能。位置感测器IM被设置为测量至少两个空间坐标的变化。典型地经由连接线缆 155将触觉鼠标15的位置发送给计算机，使得触觉鼠标15在工作面上的移位与触觉鼠标 15的光标在计算机的视觉显示器上的移位相对应。这些特征使得触觉鼠标15能够以与传统计算机的普通鼠标相同的方式向计算机发送输入数据。如上所述，除了输入机构，触觉鼠标15还具有用于从计算机向用户输出数据的一个或更多个触觉输出显示器152。如以下结合图8a至图8c2进行的更具体的描述，每个触觉显示器典型地是具有可以响应于来自计算机的输出信号而上升或者凸出的多个针156 的平坦表面(尽管该表面可以是曲面)。在特定实施方式中，触觉鼠标15具有带有压电致动器的机械针矩形阵列。这些针可以以例如相邻针之间距离1.5mm的密度排列。本领域从业者将会想到其它的针布局或者其他类型的凸出的显示器。利用图5B的框图表示触觉鼠标15的触觉显示器152的驱动机构的一种实施方式。该驱动机构的主要元件为针阵列156、针驱动器157、信号分配器158、通信器159、坐标转换器161、位置感测机构162以及向触觉鼠标的包括触觉显示器152在内的所有电子机构供电的本地电源163。随着触觉鼠标15在表面上移动，感测机构巧4操作为跟踪其移动。坐标转换器 161将鼠标15的移动转换为一组坐标，坐标转换器161经由通信器159将鼠标的当前坐标传送给计算机。通信器159进一步操作为从计算机接收与从触觉鼠标光标周围区域提取出的显示数据相关的输入信号。来自计算机的该输入信号被传送给信号分配器158，信号分配器158向针驱动器157发送驱动信号。每个针驱动器157典型地通过向诸如压电晶体或板等被配置为使针1561上升或下降的致动器1562施加激励信号，而驱动单个针156。触觉鼠标15可以经由诸如串行/并行/USB连接器、蓝牙或无线通信等标准通信通道与计算机连接。触觉鼠标15与计算机系统之间的操作接口具有用于从触觉鼠标15向计算机运送数据的输入通道和用户从计算机触觉鼠标15运送数据的输出通道。关于输入通道，当触觉鼠标15的位置感测器巧4沿着平坦工作表面移动时，该传感器测量沿着至少两个坐标轴的相对位移。这些坐标由内置软件转换为根据交换协议组织的信号，并且被发送给计算机。在接收到这些信号后，操作系统对它们进行解码并且将它们转换为计算机屏幕上的触觉鼠标光标的坐标。这样，触觉鼠标光标在屏幕上的运动与触觉鼠标15在其工作表面上的运动相对应。该交换协议还包括来自触觉鼠标15的表示与每个输入按钮相关联的动作的编码信号，如按压信号、释放信号、双击信号等。关于输出通道，从计算机发送给触觉鼠标15的输出信号取决于触觉鼠标光标的坐标、在屏幕上这些坐标的预定范围内显示的视觉内容以及正在使用的操作模式(参见下面的内容)。因此，触觉鼠标15的触觉显示器可以输出文本符号、图形元素、图片、动画片等。与常规的系统光标类似地，触觉鼠标光标确定其自身的热点。再参照图4A，由于触觉鼠标15使存储在计算机中的信息更容易由视障用户访问， 触觉鼠标15特别适用于视障用户。存在很多个可访问性提高的理由，很明显地■触觉鼠标15可以有效地用于在VDU 122上呈现的大量信息中进行导航。■触觉鼠标15的可移动特性使得能够通过触觉鼠标显示器152向用户显示大量
10的上下文、图形和文本信息。■盲文和其它字符以凸出的形式显示，为文本的展现提供了另外的触觉通道。■文本对象也可以表示为以凸出的形式进行显示；例如，黑色像素可以被显示为升起的针并且白色像素可以显示为下降的针。类似地，灰色像素可以被显示为升起至中间高度的针或者基于特定阈值而转换为黑色或白色。可以对所有其它颜色的像素进行类似的操作。■以与有视力的用户的鼠标相同的方式来使用触觉鼠标15会成为视障用户访问计算机信息的有力心理动力。由此将会理解，TCS 400的一个显著优点在于以触觉形式向视障用户提供了对图形信息的访问。与仅提供了用于触觉读取的单一方法的现有技术RBD 123(图幻不同的是， 用户可以从各种文本读取模式以及它们的变型之间进行选择。此外，可移动触觉鼠标15以与有视力的用户所使用的方式相同的方式，使用于图形、文本和GUI元素环境的空间和上下文导航模式变得容易。模式切换改进的TCS 400(图4A)的特殊特征在于利用集成的触觉鼠标15，用户13能够在多种操作模式之间进行选择。模式切换器117用于选择观看模式或者导航模式。诸如图形模式或者文本模式的观看模式使来自VDU 122的视觉信息变为触觉或音频形式。诸如空间模式或者上下文模式的导航模式向用户提供触觉指示并且进行引导以帮助在GUI元素和链接等之间进行导航。根据本发明的一种实施方式，当处于图形模式时，ESI 118从位于触觉鼠标15的光标附近的预定区域提取显示数据，如位形的色彩分量数据。该数据被发送给信息分析器及转换器119，在此图形转换器1191(图9，下面进一步描述)将该显示数据转变为要发送给如上所述的触觉鼠标15的至少一个触觉显示器152(如上所述)的二进制的或者简化的色彩数据，如位图文件。在另一种实施方式中，文本模式可以用于使文本数据变为经由触觉显示器152进行表示的触觉形式。在文本模式下，ESI 118从触觉鼠标光标周围的预定区域提取文本作为ASCII或者Unicode符号序列。该数据被发送给信息分析器及转换器119，在此该数据被转变为用户13所需要的触觉形式，除了别的以外，该触觉形式还可以为盲文、印刷符号等形式。这些文本表示随后被发送给触觉鼠标15进行触觉显示。在本发明优选的实施方式中，具有图形模式和文本模式的TCS 400例如经由可以是触觉鼠标15的光标的平滑或直接运动的运动、或者通过在桌面或者窗口内或者在不同的GUI元素之间的“跳跃”的光标运动，进一步提供了空间导航能力。例如，触觉鼠标15可以被配置为将光标向下移动单个像素、跳跃到窗口的右上角、跟随路线或者曲线以浏览区域等。现在参照图6A至图6D，其中示出了包含其中具有两个⑶I元素WO1和WO2的窗口的屏幕一部分。图6B至图6D示出了三种导航模式，即，空间导航、上下文导航、和组合的空间及上下文(组合的)导航，分别示出了用户利用上述模式中的每一种沿着各种路径从WO1 到WO2横越屏幕。空间导航模式(SNM)是用户典型采用的试图利用触觉鼠标15找到(经由触觉或者音频显示)屏幕上的⑶I元素的系统操作模式。为了更好地理解S匪的特征，图6B示出了可以由视障用户采用的在空间模式下利用触觉鼠标15从WO1开始浏览屏幕以找到WO2的路径。可以看出，该路径没有特别预定的方向，并且仅仅是对不熟练的用户试图找到WO2时的大致近似，可以看出最后成功了。这种模式本身在很多情况下对于视障用户来说不是特别高效或者方便的模式。与S匪相比，上下文导航模式(CNM)是一种不同的系统操作模式，其中用户基于对目标对象的上下文描述符移动触觉鼠标15，以找到屏幕上的特定GUI元素。在CNM中，触觉鼠标光标的移动并不是与触觉鼠标15的移动直接成比例或者空间相关。而是，计算机通过使触觉鼠标光标响应于用户输入的预定控制或者命令跳到预定的位置，而对触觉鼠标15 的键移动进行响应。在图6C中示出了一种典型的策略，其中虚线示出了触觉鼠标光标从 WO1到WO2的预定跳跃，该预定跳跃在该模式下，例如可以由用户使触觉鼠标15进行预定的水平移位来发起。另一种导航模式空间-上下文导航模式(SCNM)，如同它的名字所暗示的，结合了空间和上下文导航的特征。在SCNM中，在计算机存储器中构造了能够被显示在触觉显示器上的另外的特征，即虚拟引导轨迹，使得用户可以从WO1行进至W02。用户可以选择通过沿着该轨迹移动触觉鼠标15而跟随该引导，不过也可以允许用户从轨迹偏离以定位该屏幕上的其它特征。这样的方法对于向视障用户提供计算机屏幕的几何/空间组织、并且模拟有视力的用户利用计算机鼠标进行导航的体验是非常有用的。应当注意，本发明的TCS 400的基本默认模式是CNM。在这些模式之间的切换可以是手动地，也可以是自动地。例如，用户多半可以通过按压键盘按键、鼠标按钮或者两者的某些组合提供命令，来启动模式切换器117以选择所需的模式。另选地，模式可以被触发以自动地改变，例如，当触觉鼠标光标在图片上时，就自动地选择图形模式，并且当触觉鼠标光标在包含有文本的区域移动时，就自动地选择文本模式。可选地，模式切换可以伴随着诸如音频信号的非视觉指示。另选地，自动模式切换可以是无缝的，也就是说，没有表示已经发生了该切换的任何非视觉指示。屏幕信息提取器现在参照图7，示出了 ESI 118从VDU 122提取视觉信息的示意性表示(图7)。如三个触觉显示器15加、152b和152c (示出了从相同的VDU产生的不同的触觉输出，在图形模式下为曲线15 的一部分，在文本模式下为图形A和9，并且在上下文导航模式下为指向左和下的两个箭头152c)所表示地，可以多种方式使视觉信息变为触觉形式。ESI 118包括图形提取器1181、文本提取器1182和上下文提取器1183。取决于所选择的操作模式，模式切换器117选择激活哪个提取器。当模式切换器117选择了图形模式时，图形提取器1181被激活。典型地，图形提取器1181提取与围绕“热点”位置(也就是，触觉鼠标光标的位置)的像素相关联的显示数据。显示数据进一步被传送给信息分析器及转换器119(图4A，图9)进行处理。该显示数据包括与由该热点位置所确定的目标区域内的各像素的颜色和色度相关的信息阵列。在一些实施方式中，从该目标区域内采集的显示数据被表示为具有预定的像素与针的比率的单个触觉显示器上的针的布局。在具有几个触觉显示器的其它实施方式中，该目标区域可以是在不同的触觉显示器上各自具有对应的布局的多个区域的合并。
在图8a、8b和8c中示出了几种典型的布局。现在参照图8a，其中示出了具有矩形布局(例如具有排列为6行*9列的阵列的M个针)的单个触觉显示器。在图8al和8a2 中分别示出了计算机屏幕的对应区域。在图8al中，可以看到所显示的屏幕区域是6*9像素的阵列，其在触觉显示器上以一比一的分辨率表示，以使得单个针表示单个像素。在图8a2 中，然而，可以看到所显示的屏幕区域是12行*18列的矩形阵列，当由图8al中看所到的 6*9阵列表示时，其对应与4比1的缩小分辨率。在诸如这样的情况下，要由单个针表示的 2*2像素的各组的整合和颜色被如上所述地进行表示。通过使用任何公知的求平均、中间值、或者用于该目的的形态学算法(这些超出了本发明的范围，因此在此不再具体描述)， 来实现这些像素的整合的颜色。图8b示出了针的两个阵列显示，每个阵列具有示例性的4行*4列布局。使用两个这样的阵列对于可通过触觉鼠标15向用户显示的屏幕部分来说，提供了多种可能性。这样的可能性包括屏幕的如图8bl所示的水平分隔开的两个方形部分；或者如图油2所示的垂直地分隔开；或者如图8b3所示的对角地分隔开。在所有这些示例中，分辨率都是100%， 也就是说，屏幕显示器(图8bl至图8b!3)上的每个像素是由单个针表示在触觉显示器上。 然而，在图8b4的示例中，每个屏幕显示区域是8*8的像素，并且可以看到，图8b的触觉显示器是以4 1的分辨率缩小的。现在参照图8c，其中示出了各自具有M针并且被配置为与典型的用户指尖相符合的三个触觉显示器。图8cl和图8c2中的每一个示出了将以一比一的分辨率在这些触觉显示器上显示的三个屏幕区域的合并；在第一种示例中，在图8cl中可以看到，这三个区域并排在屏幕显示器上，而在图8c2的示例中，它们相互错开。仅用作示例的目的而提供上述布局。应当理解，具有屏幕区域之间多种不同的对应关系的所有其它显示布局也属于本申请的范围。再参照图7，图形提取器1181根据用户的请求转换数据、并且优先转换为适于输出的形式，以发送给GAI 115(图4A)。这些转换为所有如上所述的根据像素与针的比率进行的图像压缩、灰度级和像素颜色等等。在图像处理中使用的所有其他转换类型也属于本发明的范围。当模式切换器117用于选择了文本模式时，文本提取器1182被激活。典型地，文本提取器1182提取诸如字符串、单词、句子等的文本信息。文本提取器的输出通常是ASCII 或者Unicode字符码，该ASCII或者Unicode字符码被传送给信息分析器及转换器119 (图 4A，图9)以进行处理。还应当注意，图形提取器1181和文本提取器1182的输出可以传送给数据分析器 1184，数据分析器1184被配置为确定该视觉信息的特性并且可选地向模式切换器117发送自动命令以在模式之间进行切换。另选地，可以由用户手动地控制模式切换。当模式切换器117选择诸如CNM或者SCNM的导航模式时，上下文提取器1183被激活。上下文提取器1183提取与当前显示的⑶I元素(例如，标题、页眉(header)、字幕、 位置、维度等)相关的描述符。该数据被输出给信息分析器及转换器119(图4A，图9)以进行进一步处理。信息分析器及转换器119信息分析器及转换器119被配置为分析由ESI 118所提取的信息的特征，并且根据所选择的操作模式将该信息转换为用户所需要的形式。现在参照图9，其中示出了根据本发明的另选实施方式的信息分析器及转换器 119的示意表示。信息分析器及转换器119从ESI接收所提取的数据并且利用转换器分析该提取的数据，该转换器被配置为使用户需要的信息变为适于非视觉输出的形式，典型地为触觉形式，并且还可选地为音频形式。而且，可以由分层构造器1194组织上下文数据以利用上下文导航器1195或者空间-上下文导航器1193进行导航。图形转换器1191处理来自图形提取器1181的图形数据，图形转换器1191输出表示形状、曲线和其它转换后的视觉指示的数据。该数据随后被传送给可访问信息生成器 115(图4A)以输出给触觉鼠标15的触觉显示器152(图5a)。文本转换器1192接收来自文本提取器1182的文本数据，文本转换器1192被配置为接收诸如ASCII或者Unicode的字符码，并根据用户喜好和其它因素(如需要的语言、改变后的印刷字体、布莱叶码等)使该字符码变为触觉上的和/或听觉上的。来自文本转换器1192的文本数据被传送给可访问信息生成器115(图4A)以输出给触觉鼠标15的触觉显示器152。从上下文提取器118提出的诸如GE描述符的上下文信息被传送给分层构造器 1194，以组织为分层树结构(参见以下描述)。分层树可以用于上下文导航或者与图形转换器1191相结合用于空间-上下文导航。分层构造器1194被配置为接收GE参数并且构造屏幕在根部的分层。由于复杂的显示可能会涉及分层树的成千上万的分支，所以分层构造器1194优选地具有现有技术中公知的预先配置的筛选规则。上下文导航模式为了更好地理解上下文导航模式(CNM)，参照图10进行描述，图10示意性地示出了具有以下GUI元素的典型计算机屏幕或者VDU 122 上面有五个图标ICl_5的桌面1220 ；包含开始按钮12M的程序栏1222 ；具有三个链接Li、L2和L3的快速启动栏12 ；在其上显示有分别表示为任务1、任务2、任务3和任务4的四个任务的任务栏 ■；以及具有两个图标Il和12以及时钟1232的系统托盘1230。图11示出了以屏幕作为根的情况下如何将这些元素组织为分层结构。图12A示出了同样的屏幕，其中打开了包含有由窗口对象WO1和WO2表示的两个另外的GUI元素的应用窗口盘。图12B示出了相应的分层结构，该分层结构除了包含有图11 的所有元素，还包含其元素与窗口盘相关联的新分支。图13A示出了同样的屏幕，窗口盘被最大化而充满桌面的区域，与桌面缺少视觉表示相对应，在图13B中示出的相关联的分层中不再包括桌面。在上下文导航模式(CNM)下，触摸鼠标15用于根据对应的分层结构在屏幕上将其光标从一个GUI元素移动到另一个。触觉鼠标光标最开始以一个GUI元素为中心，并且被配置为通过跳跃到其他GUI元素而对触觉鼠标15的预定移动进行响应。例如，如在以下附图15中将示出的，预定的水平移动使触觉鼠标光标跳跃到下一个同辈元素，而预定的垂直移位在该移位向上时使触觉鼠标光标跳跃到父元素和在该移位向下时使触觉鼠标光标跳跃到子元素。在每一个导航跳跃处，用户接收到关于当前的GUI元素的非视觉形式的描述信息。该非视觉输出典型地包括触觉鼠标15的触觉输出并且可以另选地或者附加地包括音频信号，例如声音描述符。用户可以基于这样的非视觉反馈做出导航决定，例如，是否再次移动该触觉鼠标15、是否点击特定的触觉鼠标按钮153、输入键击(keystroke)等。将会看出，与触觉鼠标15相结合地使用上下文导航模式使得视障用户能够以与有视力的用户相同的方式在屏幕上进行高效的导航。为了更好地理解与上下文导航模式一起使用的一种建议算法，现在参照示出了更复杂的示例性分层的一部分的图14。这样的分层可以由分层构造器1194(图9)构造，并且这样的分层可以包括上级节点Nx，上级节点Nx具有第二代子节点Nxx，第二代子节点Nxx 自身具有第三代子节点Nxxx，并且依次类推向外分支。上下文导航器1195(图9)被配置为构造描述当前选择的节点的周围节点的虚拟表。图15A示出了定位于图14中的“重要(leading)”节点Nffi2的虚拟表；这意味着触觉鼠标光标位于由Nffi2表示的重要⑶I元素(GE)上。该虚拟表包括三行顶行是父节点并且总是只包含一个元素；中间行包括当前选择的节点及其同辈节点，并且底行包括当前选择的节点的子节点。导航动作使用户能够构造以不同的节点为中心的新虚拟表。例如，触觉鼠标15的值为Sy的垂直向上移位会将触觉鼠标光标推到编号为^52的GE的中心，并且重新构造现在以父节点^52为中心的虚拟表，如图15B所示。触觉鼠标在向下的方向上的值为Sy的相反的垂直移位和向右的三个水平移位会构造以默认子节点N6224为中心的虚拟表，如图15C所示，并且将触觉鼠标光标移动到标为N6224的GE的中心。类似地，触觉鼠标15的水平移位会构造分别如图15D和15E所示的将触觉鼠标光标移动到对应的GE的、以相邻的同辈节点 ^521或Nffi3为中心的虚拟表。应当注意，可选地，当触觉鼠标光标指向一组同辈节点的最后一个同辈节点时，水平移位可以有效地构造以第一个同辈节点为中心的虚拟表。另选地，例如如果表的中心移位到了子节点，则不执行动作。当一个节点没有子节点(叶节点)，则向下的移位典型地对表没有影响。有效地，可以提供相应的指示以通知用户该节点没有子节点，例如，在触觉显示器上的专门的动画、音频信号或语音通知等。在优选的实施方式中，触觉鼠标光标移位的像素数量用于指示使下一个虚拟表以哪个节点为中心。如此，例如，通过将触觉鼠标光标水平地移位例如= 20个像素，相邻的同辈节点会变为下一个虚拟表的中心，而移位为= 40个像素时，将跳跃到下一个同辈节点。另选地，通过将触觉鼠标光标垂直向上地移位Sy = 20个像素，会将父节点选择为下一个虚拟表的中心，而移位为Sy = 40个像素时，将跳跃到祖父节点。软件设计者将会想到其他的命令。如上所述，为了成功地使用CNM，触觉鼠标光标必须只能水平地和垂直地移位。然而，计算机鼠标几乎从不沿着完全水平或垂直的方向移动。典型地，在任意给定的时刻鼠标都沿着曲线移位，也就是说，同时在水平和垂直方向上移位。因此，需要定义有效地将近似水平或者垂直的鼠标运动分别解释为光标的严格水平或垂直运动的变换。
图16A中展示出了与移位方向相关联的可能的变换。在此，倾斜角在垂直45度以内的运动被看作是垂直的，类似地，倾斜角在水平45度以内的运动被看作是水平的。这样， 用户利用鼠标跟踪如图16A中所示的曲线路径，会使光标沿着图16C所示的有直角的路径移动。应当理解，当系统运行在文本模式、图形模式或者空间-上下文导航模式时，这样的运动限制并不是必须的(但是会很有用)。
随着触觉鼠标光标的每次跳跃，会向用户呈现诸如音频信号、触觉文本符号、触觉图形表示或触觉动画等输出信息。用户还可以利用诸如按压/释放触觉鼠标按钮15 和/ 或击键的输入装置与当前选择的节点进行交互(interface)。这些输入装置典型地与系统光标选择给定的GUI元素时有视力的用户所使用的装置相同。因此，例如，如果GUI元素是在当前分层中的叶节点，诸如MS Windows Explorer的文件列表中的文件，则双击可以打开该文件，右击可以呈现多个选项，如剪切或者复制该文件等。如果该GUI元素例如是word 处理器的文本区域，则左击可以选择文本输入模式。可以设置其他触觉鼠标按钮153功能，如用于冻结触觉鼠标光标的位置的冻结命令，使得例如能够重新设置该设备。有用地，可以存储触觉鼠标光标的瞬时停止历史，使得用户可以通过点击触觉鼠标按钮153而容易地沿着他们之前的路径往回移动。有用地，当无意问退出了 CNM时，将最后选择的GE存储在存储器中，使得在重新激活CNM时该最后选择的GE为被自动选择的节点。然而如果用户在以另一种操作模式工作后切换到CNM，例如从图形模式切换到CNMU CNM从由触觉鼠标光标当前指示的GE开始。在本发明的各种实施方式中，在空间-上下文导航模式SCNM中，从一个GUI元素到下一个⑶I元素构造引导轨迹。该引导轨迹存储在计算机的存储器中并且显示在触觉显示器152上，可选地，该轨迹可以进一步可视地显示在VDU上。通过在移动鼠标15的同时跟随触觉指示而提供引导轨迹，以在GUI元素之间引导用户。如果用户丢失了该引导线，则可以提供命令以使触觉鼠标光标跳跃到目标对象或这条线上最近的点等。另选地，当选择了 SCNM时，可以以与CNM类似的方式构造虚拟表。应当注意TCS 400的优选默认模式是CNM。沿着上述分层结构行进的方法的一个缺点在于，用户必须根据分层树从一个节点导航到与其最近的节点中的一个父节点、两个相邻的同辈节点中的一个、或者子节点。在数据元素在上下文上彼此接近但是在结构上远离的大树的情况下，这可能不是特别不方便。例如，在位于CNM的不同应用窗中的两个节点N6132和N6311(图14)之间来回移动涉及六次跳跃的路径从N6132到N613到N61到N6到N63到N631到N63110这种方法对于初学者非常有用，但是熟练的用户来说就显得太原始了。可以通过将上下文类似的GE(例如，窗口盘、框、菜单、头、链接或按钮等)集合在一起而缩短许多导航路径的长度。根据本发明的进一步的实施方式，如果上下文类似的GE 位于相同的结构分层级别并且只有当它们位于相同的分层结构级别时，该上下文类似的GE 可以被集合。现在参照图17，图17示出了图14中的分层结构，但是其中几个节点被集合到了
一起，如双环轮廓线所示。N52、N62和^54构成了第一组，N524、N613、N622、N6:31和N642构成了第二组，并且 N6132、N6133、N6221 ^N6224 和 N6311 构成了第三组。现在还参照图18A至图18E，其中提供了与图15A至图15E类似的一组虚拟表，不
16过是针对集合后的数据元素。图18A示出了以节点Nffi2为中心的虚拟表。在图15A中，中间行包括Nffi2的分层同辈节点。与之不同地，在图18A的虚拟表中，中间行包括在与Nffi2相同的组中所有的数据元素。在这种情况下，触觉鼠标15的光标的水平移位会重新构建以该相同组的相邻节点^513或者N631为中心的虚拟表，分别如图18D和18E所示。向上垂直移位Sy将会重建以父节点^52为中心的虚拟表，如图18B所示。如图18C1和图18C2所示，对向下移位和三个向右的水平移位存在两种可选的的响应。图18C1示出了以N62m为中心的第一虚拟表，其中中间行包括Nffi2的所有子元素。另选地，在图18C2中示出了以N62m为中心的第二虚拟表，其中中间行包括与N6224 相同的组的所有成员，而不是其同辈元素。软件开发者会想到用于区分这些移位的各种命令。应当注意，利用图17和图18A至图18E中的集合后的结构，从N6132到N6131的新路径仅涉及四次跳跃的路径从N6132到N613到N622到N631到N63110不论GE是否在相同的分层级别，可以通过仅基于上下文将GE集合在一起的进一步的途径来实现对导航方法的进一步改进，从而减少导航步骤的数量。与以上结合图17和图18A至图18E所描述的之前的方式(其中位于相同的分层级别的上下文类似的GE被集合在一起)不同地，第二种类型去除了这个要求。还是参照图14和图17中示出的示例性分层来描述本途径，在图19中再次进行表示。两组或者两个集合的⑶I元素，例如由图19中双环表示的、在屏幕上呈现的所有按钮的组，和由图19中虚的外环表示的所有WEB链接的组。应当注意，此处的这些组是跨代的。在本发明的优选实施方式中，可以将这些集合的目录提供给用户，以选择用作导航基础的一组元素。在图20中示出了这种目录的一个示例，其中按钮的组与图19中的双环元素的组对应，并且链接的组与图19中的虚线元素的组对应。可以通过触觉鼠标15光标的垂直运动和点击触觉鼠标15的按钮153来实现从该目录中选择所需的组。作为解释，现在还参照图2IA和2IB，在一个实施方式中，假设选择了以元素^522作为主要GE的第一组元素。通过点击鼠标的按钮153，选择CNM，构造图21A中示出的虚拟表。 为了方便，表在该图中为垂直取向。图21A中的表中的第二列或者中间列包含包括有Nffi2的第一组的所有⑶I元素。第一列或者左列含有第二列中的元素的所有父元素，并且第三列或者右列含有主要对象N622 的所有子数据元素。该示例中的所有这三列是可循环的，指的是当用户到达最后的元素之后滚动该列表时，该列表返回到第一个元素。在图21B中呈现了与第二数据组对应的第二虚拟表。应当理解，除了上述结构之外，可以按需要根据其他的逻辑结构另选地布置数据元素。在权利要求中，词语“包括”以及其变型“包含”、“含有”指的是包括所列出的部件， 但是通常不指示排除了其他部件。本领域普通技术人员应当理解本发明并不限于在此具体示出和如上描述的内容。而是，本发明的范围仅由所附的权利要求限制。
权利要求
1. 一种供视障用户在计算机化的数据环境中进行操作的触觉访问和导航系统，该触觉访问和导航系统包括a.双向输入-输出系统，其具有至少一个触觉显示器和至少一个用户可操作的输入控制器；b.与所述至少一个触觉显示器通信的数据转换器，其可操作为从计算机提取显示数据，并将所提取的显示数据转换为适于由所述至少一个触觉显示器进行显示的形式；c.用于将所述显示数据排列为GUI元素的预定结构的装置，所述结构能够由所述双向输入-输出系统进行导航；以及d.用于根据预定的操作模式向所述至少一个触觉显示器提供显示数据的装置，所述操作模式包括1.至少一种观看模式，其用于在所述至少一个触觉显示器上显示图形和文本数据内容的触觉表示； .至少一种导航模式，其用于在所述至少一个触觉显示器上显示所述结构内的所述 GUI元素的取向的触觉表示。
2.根据权利要求1所述的系统，其中，所述输入-输出系统位于具有至少一个触觉显示器和至少一个输入控制器的单个触觉鼠标内。
3.根据权利要求1所述的系统，其中，所述导航模式选自包含以下模式的组a.空间导航模式；b.上下文导航模式；和c.空间-上下文导航模式。
4.一种采用具有至少一个触觉显示器和至少一个命令输入控制器的触觉鼠标、以在从计算机提取的显示数据中所表示的GUI元素当中进行导航的方法，所述方法包括以下步骤a.从计算机屏幕提取显示数据；b.从所提取出的显示数据中识别这些GUI元素；c.将这些⑶I元素组织为逻辑结构；d.根据与第一GUI元素相关的触觉显示描述符以触觉的形式进行显示；e.感测来自所述触觉鼠标的输入，所述输入包括所述触觉鼠标的空间运动以及经由所述至少一个输入控制器的命令输入；f.响应于来自所述触觉鼠标的所述输入，从所述结构中选择第二GUI元素；以及g.向所述用户指示所选择的第二GUI元素。
5.根据权利要求4所述的方法，其中，向所述用户指示所选择的第二GUI元素的所述步骤(g)包括在所述第一GUI元素与所述第二 GUI元素之间构造触觉引导，表示要由所述触觉鼠标采用的从所述第一 GUI元素到所述第二 GUI元素的直接路线。
6.根据权利要求4所述的方法，其中，向所述用户指示所选择的第二GUI元素的所述步骤(g)包括根据与所述第二GUI元素相关的所述触觉显示描述符以触觉的形式进行显示。
7.根据权利要求4所述的方法，其中，所述步骤(c)包括将所述GUI元素组织为分层结构的步骤。
8.根据权利要求7所述的方法，其中，至少所述⑶I元素的选集被集合到至少一个组中，其中选择第二GUI元素的步骤(f)包括构造具有顶行、底行和二者之间的中间行的虚拟表，其中所述中间行包含多个⑶I元素，该多个⑶I元素包括所述第一选择⑶I元素；所述顶行包含所述第一选择GUI元素的父元素；并且所述底行包含所述第一选择GUI元素的所有子元素；并且，其中，来自所述顶行、中间行和底行中的所述GUI元素中的每一个可被选择为所述第二⑶I元素。
9.根据权利要求8所述的方法，其中，所述至少一组⑶I元素包含所述第一选择⑶I元素的所有同辈元素。
10.根据权利要求8所述的方法，其中，所述至少一组⑶I元素包含具有与所述第一选择GUI元素相同的上下文、并且在与所述第一选择GUI元素相同的分层级别上的GUI元素。
11.根据权利要求7所述的方法，其中，至少所述GUI元素的选集被集合到至少一个组中，其中，选择第二 GUI元素的步骤(f)包括构造具有顶行、底行和二者之间的中间行的虚拟表，其中，与所述中间行中的所述GUI元素的各自的分层级别无关地，所述中间行包含具有与所述分层结构中的所述第一选择GUI元素相同的上下文的GUI元素；其中，所述顶行包含与所述中间行相同数量的⑶I元素，并且这些⑶I元素中的每一个是所述中间行中的对应GUI元素的父元素，并且所述底行包含所述第一选择GUI元素的所有子元素，并且其中，来自所述顶行、中间行和底行的所述GUI元素中的每一个可被选择为所述第二 ⑶I元素。
全文摘要
供视障用户在计算机化的数据环境中进行操作的触觉访问和导航系统及方法，包括双向输入-输出系统，其具有一个或更多个触觉显示器以及一个或更多个用户可操作输入控制器；数据转换器，其用于从计算机提取显示数据并将该数据转换为适于由一个或更多个触觉显示器进行显示的形式；用于将显示数据布置为GUI元素的预定结构的装置，以通过双向输入-输出系统进行导航；以及以如下任意一种模式向一个或更多个触觉显示器提供显示数据的装置一种或更多种观看模式，其用于在一个或更多个触觉显示器上显示图形和文本数据内容的触觉表示；和一种或更多种导航模式，用于在一个或更多个触觉显示器上显示结构内的GUI元素的取向的触觉表示。
文档编号G06F3/01GK102239459SQ200980148641
公开日2011年11月9日 申请日期2009年11月8日 优先权日2008年12月3日
发明者I·卡拉辛, Y·沃尔 申请人:触觉世界有限公司