专利名称：用于提供听觉用户接口的系统和方法
技术领域：
本发明涉及通常经由交互式显示器访问的用户交互式计算机系统，并且尤其涉及用户友好的且向计算机用户提供听觉接口的系统和方法，其中所述听觉接口易于使用并且不会妨碍普通的显示接口系统。
背景技术：
上一代通过把数据处理工业与消费者电子设备工业结合来驱使的技术革命而著称。在过去几年里，因特网中所涉及的广泛消费者和企业更进一步加速了此发展。作为这些改变的结果，看样子似乎工业化世界中人类努力的各个方面实际上都需要人机接口。这些改变已经使计算机指导的活动可由工业世界群体的实质部分访问，所述工业世界群体直到几年以前还是计算机文盲，或者至多也是计算机能力不强的。
然而，在向一般群体打开新视野方面，比这些进步更为显著的进步在于，计算机和因特网能够把那些具有甚至非常严重的身体机能障碍(physical impairment)的人们从受限的琐碎生活或无劳动能力中拯救出来。利用计算机，很不灵巧的或者具有非常微弱视力的人通过足够努力就能够与完全灵巧或具有正常视力的人一样从其台式机上正常地完成劳动。
这可能是因为计算机可以被设计成适合于每个个体的特有能力。为此，计算机工业正持续地寻求用于使越来越多的有机能障碍的个人能够加入到具有完全劳动能力的劳动大军中的新的实现方式。
对于老化的群体来说，越来越需要使计算机技术可易于为视觉上有障碍的用户访问。过去，最初必须建立“用于盲人的”特殊计算机操作系统。在这种环境中，有必要为视觉上有障碍的人安排这种建立并且继而订购有限数目的“用于盲人的”特殊应用程序。由于这种特殊应用程序只存在有限的潜在市场，所以软件供应商显然将视觉上有障碍的用户置于主流应用程序之外。
然而，随着面向对象的编程技术的发展，变得更易于在更多的应用程序中包括用于向视觉上有障碍的人提供可选的听觉接口的对象。这种实现方式仍然具有其局限性。例如，正在向其中安装应用程序的计算机系统必须具有与应用程序对象中的例程兼容的听觉引擎。另外，在安装期间，在通过提供一个开始听觉接口来安装应用程序的过程中，视觉上有障碍的用户仍然需要帮助。目前，这可以通过预先记录的听觉逐步演示(auditory step by step presentation)来实现。使用预先记录的听觉演示限制了安装期间的选择的灵活性和演示。
发明内容
本发明解决了以下两个问题1)听觉接口对象和正在利用听觉引擎安装在接收计算机系统中的应用程序中的例程之间的不兼容性；和2)为应用程序的安装并且在安装应用程序期间提供了初始动态的听觉接口而不是预先记录的听觉接口。
据此，本发明旨在提供一种通常经由用户交互式显示器进行接口的计算机控制的系统，并且向在所述计算机控制的系统中正在安装的应用程序提供了听觉用户交互式接口。本发明中的系统包括在该计算机控制的系统中正在安装的应用程序中的例程(优选为对象)，其用于在安装所述应用程序期间、结合文本到语音(Text to Speech，TTS)装置、根据TTS协议来向所述程序提供动态的听觉用户接口，其中所述TTS装置用于向所述计算机控制的系统的用户提供听觉TTS用户接口，并且本发明中的系统还包括用于对选择TTS接口进行安装做出响应而在安装应用程序期间提供听觉用户接口的装置。
在正在安装的应用程序中的功能对象包括用于提供听觉接口的例程，其优选地是用TTS功能实现；以及用于确定接收该应用程序的计算机控制的系统是否包括与所述例程兼容的TTS引擎的装置。在所述应用程序中还具有这样的装置，其用于对所述用于确定所述计算机控制的系统是否包括TTS引擎的装置做出响应，在所述计算机控制的系统不包括所述TTS引擎时，安装与所述例程兼容的TTS引擎。此外，在所述应用程序中还具有这样的装置，其用于对用来确定所述计算机控制的系统是否包括TTS引擎的装置做出响应，把已经安装了的但并不兼容的TTS引擎修改为与所述例程兼容的状态。
应当注意，在安装应用程序时、但是在向用户给出任何交互式提示之前，使用TTS初始地且动态地执行所有上述步骤，以便使听觉用户接口对于由TTS所开发出的初始听觉用户安装提示(例如，“你想要口语安装例程吗？”)而言是可用的且联机的(on-line)。如果用户回答“是”，那么听觉接口系统通常随常规的显示提示一起开始。如果用户回答“否”，那么系统在安装期间继续所述显示接口，并且设法把计算机系统还原为其原始操作状态，如以下将要描述的那样。换句话说，在应用程序中所包含的例程在安装开始时会自动地建立兼容的TTS引擎并且在其上启动听觉例程，以便可以进行初始的听觉提示以选择听觉TTS安装指示。如果选择为“否”，那么任何已安装的听觉引擎或引擎修改会被卸载，以便把计算机系统恢复为原始状态，从而可以通过使用常规的显示接口用于进行安装提示和指示，来安装所述应用。
如上所述，这里所使用的听觉引擎使用常规的TTS技术，其涉及用于提供文本数据的装置和TTS装置，其中所述文本数据表示用于进行安装的普通的可显示用户交互式对话面板序列，所述TTS装置用于把这个对话面板序列中的每一个转换为相应的交互式听觉指示和提示面板序列中的每一个。
通过参考以下附图并结合伴随的说明书，会更好地理解本发明，并且其许多目的和优点对本领域技术人员来说将变得更加明显，其中图1是通用的数据处理系统的框图，该系统包括用于提供一般的计算机控制的交互式显示系统的中央处理单元，以及可以用于实施本发明的听觉安装接口；图2是用于说明与本发明的应用程序所提供的交互式听觉接口相比、在经由普通的显示接口安装这些应用程序的过程中的四个阶段的图示；图3是在应用本发明中的系统来在安装期间向下述应用程序提供听觉用户交互式接口的过程中所涉及的步骤的流程图，其中所述应用程序正被安装在计算机控制的系统中；和图4是在图3的程序中所建立的步骤的说明性运行情况的流程图。
具体实施例方式
参照图1，示出了一个典型的数据处理系统，所述数据处理系统可以用作在实现本发明的系统的过程中所使用的计算机控制的显示终端，所述本发明的系统在安装应用程序期间向正在计算机控制的系统中安装的应用程序提供听觉用户交互式接口。提供了中央处理单元(CPU)10，并且其通过系统总线12互连到各个其它组件，所述中央处理单元(CPU)10诸如为PC微处理器或工作站之一，例如，可从国际商业机器公司(International Business Machines Corporation，IBM)中获得的RISC系统/6000TM系列、或Dell的PC微处理器。操作系统41在CPU 10上运行，提供控制，并且用来协调图1中的各个组件的功能。操作系统41可以是市场上可买到的操作系统之一，诸如IBM的AIX 6000TM操作系统、或Microsoft的WindowsXPTM或Windows2000TM、以及UNIX及其它IBM AIX操作系统。由系统所控制的应用程序40被移入和移出主存储器随机存取存储器(RAM)14。这些程序包括本发明中的、用于在安装应用程序期间向正在计算机控制的系统中安装的应用程序提供听觉TTS用户交互式接口的程序。听觉TTS引擎(以下将更加详细地描述)在已经存在于计算机中时是操作系统41的一部分。然而，当在计算机中没有安装听觉引擎，或者所安装的引擎需要被修改以便与应用程序中的听觉安装例程相兼容时，那么会把听觉引擎本身或者对已经安装的引擎的修改包括在应用程序40中。只读存储器(ROM)16经由总线12连接到CPU 10，并且包括用于控制基本计算机功能的基本输入/输出系统(BasicInput/Output System，BIOS)。RAM 14、I/O适配器18和通信适配器34也被互连到系统总线12。I/O适配器18可以是与盘存储设备20通信的小型计算机系统接口(Small Computer System Interface，SCSI)适配器。通信适配器34把总线12与外面的因特网或Web网络互连。I/O设备也经由用户接口适配器22和显示适配器36连接到系统总线12。常规的键盘24(具有用于视觉上有障碍的人的标准I/O设备)和鼠标26都经由用户接口适配器22互连到总线12。用户可以经由这种输入设备来交互式地与本发明的程序进行相互作用。显示适配器36包括帧缓冲器39，所述帧缓冲器39是用于保持每个像素在显示屏38上的表示的存储设备。图像可以被存储在帧缓冲器39中，以便经由各个组件显示在监视器38上，其中所述各个组件诸如为用于CRT的数模转换器以及用于数字显示器(例如LCD显示器)的类似转换器。用于向用户提供接口的声音或音频系统包括具有相关联的扬声器33的任何常规的计算机声卡31，在所述接口上可以实现所述听觉接口。可以使用的常规的声音系统在1999出版的个人计算机秘密(Personal Computer Secrets)(IDG Books Worldwide公司，FosterCity，CA)的第5章第155-186页中有所描述。
现在参考图2，其图示了本发明中的安装阶段。由于现在讨论TTS实现方式，所以一些背景技术可能是适当的。广泛地说，它是把数字文本转换为语音输出的已知过程。TTS广泛地用于音频天气警报和电话消息及提示。TTS使用语言合成应用，所述语言合成应用用于创建计算机文档的声音版本。TTS还由辅助技术程序用来为视觉上有障碍的人读取计算机显示信息。市场上存在许多TTS产品。
在阶段1中，应用程序55将被安装到计算机50中，所述计算机50通常经由交互式显示接口51进行接口。对象54内置于应用程序55中，被建立用于最初经由听觉例程通过语音向用户提供经由提示和口语命令的附加听觉序列来继续应用程序的整个安装的替换方式。此对象甚至包括将被安装到计算机中的TTS引擎52，其中所述计算机可能不具有用于产生听觉功能的任何引擎。应用程序还可以包括能够修改下述听觉TTS引擎的功能，所述听觉TTS引擎已经被安装在接收计算机50中并且与安装听觉例程不兼容。在此阶段，检查安装要求，并且确定已经在计算机50上的任何听觉TTS引擎是否满足这种要求。这些要求可以包括用于处理几种语言的能力。在一个实施例中，所述要求可以包括与安装时的实际场所的兼容性。因而，应用程序安装对象需要可以用几种语言发布指示的TTS引擎。应用程序可以具有修改计算机中现有的TTS引擎的能力，以便使所述TTS引擎被升级为用必要的语言或对应于安装时的实际场所的语言来发布指示。
然后，在阶段2中，使用TTS引擎来使听觉输出起作用，并且在阶段3存在来自扬声器53的初始通知，其用于警告并在听觉上提示用户经由键盘采取适当的输入动作以便启动听觉指示56，所述听觉指示56由TTS引擎根据提示来直接转换，其中所述提示将会表现为计算机50的屏幕51上的对话面板57。在用户选择具有听觉指示56的情况下，仍然利用相应的显示指示和提示57来继续操作可能是最便利的。然而，在用户没有选择口语输出的情况下，一旦安装了应用程序，则在阶段4中卸载(58)所安装的听觉TTS引擎或TTS引擎修改，以便把接收计算机系统还原为其原始状态。
现在参考图3，将描述由依照本发明的程序所实现的处理过程，所述程序用于在安装应用程序期间提供交互式听觉接口。要被安装的应用程序已经包括了用于可选地提供此听觉接口的安装例程(步骤71)。所述例程用于向用户可听地提供此听觉接口的初始选择(步骤72)。在应用程序中提供了听觉TTS引擎，在安装过程中的计算机系统没有可兼容的语音引擎的情况下，标准的可显示的文本指示在所述听觉TTS引擎上被转换为通告语音(步骤73)。在应用程序中还包括用于修改先前在接收计算机系统中所安装的TTS引擎的功能，以便使所述TTS引擎与正在安装的听觉TTS功能兼容(步骤74)。在步骤75，在应用程序中准备安装步骤73中的语音引擎或者步骤74中的修改，以便可以进行步骤72中的通知。最后，在交互用户拒绝听觉安装的情况下，准备卸载步骤73中的语音引擎或步骤74中的修改(步骤76)。
在一个实施例中，在交互用户谢绝接受在安装应用程序期间所提供的许可协议的情况下，准备卸载步骤73中的语音引擎或步骤74中的修改。
现在已经描述并图示了基本程序，下面将参考图4来描述示出了可以怎样运行所述程序的简单操作。最初，在步骤80，包括可选的TTS引擎和/或TTS引擎修改功能的应用程序被输入以便安装到计算机系统中。在步骤81，确定计算机系统是否已经具有它可用的兼容的听觉TTS引擎。使这种TTS引擎可用有几种方式所述TTS引擎可以已经被安装在正在其上安装所述应用程序的计算机系统上了；兼容的TTS引擎可以在与安装中的计算机系统相关联的另一计算机系统上获得，以便使所述TTS引擎可以被传送(步骤82)；或者所述应用程序可以具有能够修改已经安装的TTS引擎的功能，以便使其是兼容的。如果步骤81和82都为“否”，那么在步骤83，安装在应用程序中可用的TTS引擎。如果步骤82为“是”，那么在步骤83，传送并安装可从相关联的计算机系统中获得的兼容的TTS引擎。然后，或者如果步骤81为“是”，那么计算机系统中的初始TTS功能进行操作，并且向用户通告选择提示以便如果想要的话可以选择听觉安装过程(步骤84)。接下来，如果步骤85为“是”，用户选择听觉指示，那么安装过程会用所添加的听觉指示继续进行(步骤86)。如果为“否”，那么用户不要求听觉指示，并且安装过程可以使用标准的交互式显示指示来继续进行(步骤93)。
随着安装继续进行(步骤87)，在判定步骤88，可以向用户给予取消安装(例如，用户不满意在安装期间所提供的合同条件并且谢绝接受许可协议，或者用户由于任何原因而取消安装，或者用户放弃安装)的机会。如果为“否”，用户选择继续，那么安装过程继续进行，并且在步骤89，定期地确定所述安装是否完成。如果为“是”，那么在步骤90退出所述处理过程；如果为“否”，那么所述处理过程经由分支“A”继续返回到步骤87。现在，如果在步骤88用户判定“是”以便取消安装，或者如果用户借助步骤85中的“否”判定来拒绝TTS指示并且用常规的显示安装继续，那么经由分支“B”，在步骤91最终确定是否已经安装了任何TTS引擎。如果为“是”，那么在退出之前在步骤92卸载TTS引擎。如果为“否”，那么所述处理过程直接退出。
本领域技术人员应当理解，用于控制本发明的处理过程能够采用各种形式的计算机可读介质的形式分布。
尽管已经示出并描述了某些优选实施例，然而，应当理解，在不脱离附加权利要求的范围和意图的情况下可以进行许多改变和修改。
权利要求
1.一种在经由用户交互式显示器进行接口的计算机控制的系统中、用于向在所述计算机控制的系统中正在安装的应用程序提供听觉用户交互式接口的系统，包括在所述计算机控制的系统中正在安装的应用程序中的例程，用于向所述程序提供文本到语音的(TTS)用户接口；TTS装置，用于在安装所述应用程序期间向所述计算机控制的系统的用户提供所述TTS用户接口；和用于对选择所述TTS接口用于进行安装做出响应、而在所述应用程序的所述安装期间提供所述TTS用户接口的装置。
2.根据权利要求1所述的系统，还包括用于确定所述计算机控制的系统是否包括与所述例程兼容的TTS引擎的装置。
3.根据权利要求2所述的系统，还包括与所述应用程序相关联的装置，其对所述用于确定所述计算机控制的系统是否包括TTS引擎的装置做出响应，在所述计算机控制的系统不包括所述TTS引擎时，安装与所述例程兼容的TTS引擎。
4.根据权利要求2所述的系统，还包括与所述应用程序相关联的装置，对所述确定装置确定所述计算机控制的系统不包括兼容的TTS引擎做出响应，从可操作地与所述计算机控制的系统相关联的另一计算机控制的系统中寻求另一兼容的TTS系统；以及用于把所述另一兼容的TTS系统安装到所述计算机控制的系统中的装置。
5.根据权利要求3所述的系统，还包括这样的装置，其对所述用于向所述计算机控制的系统的用户提供所述听觉用户接口的TTS装置做出响应，在安装所述应用程序期间，当所述用户拒绝所述提供的TTS用户接口时，或者当所述TTS用户谢绝接受许可协议时，或者当所述TTS用户取消所述应用程序的所述安装时，卸载所述安装的与所述例程兼容的TTS引擎。
6.根据权利要求4所述的系统，还包括这样的装置，其对所述用于向所述计算机控制的系统的用户提供所述听觉用户接口的TTS装置做出响应，在安装所述应用程序期间，当所述用户拒绝所述提供的TTS用户接口时，或者当所述TTS用户谢绝接受许可协议时，或者当所述TTS用户取消所述应用程序的所述安装时，卸载所述安装的与所述例程兼容的TTS引擎。
7.根据权利要求1所述的系统，其中，所述对选择所述TTS接口用于进行安装做出响应、而在所述应用程序的所述安装期间提供所述TTS用户接口的装置包括用于提供用来表示可显示的用户交互式对话面板的序列的文本数据的装置；和TTS装置，用于把所述对话面板序列中的每一个转换为相应的交互式听觉指示和提示面板的序列中的每一个。
8.一种在经由用户交互式显示器进行接口的计算机控制的系统中、用于向在所述计算机控制的系统中正在安装的应用程序提供听觉用户交互式接口的方法，包括在所述计算机控制的系统中正在安装的应用程序中包括用于向所述程序提供TTS用户接口的方法；TTS在安装所述应用程序期间向所述计算机控制的系统的用户提供所述TTS用户接口；并且对选择所述接口用于进行安装做出响应，而在所述应用程序的所述安装期间提供所述TTS用户接口。
9.根据权利要求8所述的用于提供所述听觉用户接口的方法，还包括用于确定所述计算机控制的系统是否包括与所述方法兼容的TTS引擎的步骤。
10.根据权利要求9所述的用于提供所述听觉用户接口的方法，还包括与所述应用程序相关联的步骤，其对关于所述计算机控制的系统是否包括TTS引擎的所述确定做出响应，在所述计算机控制的系统不包括所述TTS引擎时，安装与所述方法兼容的TTS引擎。
11.根据权利要求9所述的用于提供所述听觉用户接口的方法，还包括下述步骤对确定所述系统不包括TTS引擎做出响应，而从可操作地与所述计算机控制的系统相关联的另一计算机控制的系统中寻求另一兼容的TTS系统；并且把所述另一兼容的TTS系统安装到所述计算机控制的系统中。
12.根据权利要求10所述的用于提供所述听觉用户接口的方法，还包括步骤对向所述计算机控制的系统的用户可听地提供所述TTS用户接口做出响应，在安装所述应用程序期间，当所述用户拒绝所述提供的听觉用户接口时，或者当所述TTS用户谢绝接受许可协议时，或者当所述TTS用户取消所述应用程序的所述安装时，卸载所述安装的与所述例程兼容的TTS引擎。
13.根据权利要求11所述的用于提供所述听觉用户接口的方法，还包括步骤对向所述计算机控制的系统的用户可听地提供所述TTS用户接口做出响应，在安装所述应用程序期间，当所述用户拒绝所述提供的听觉用户接口时，或者当所述TTS用户谢绝接受许可协议时，或者当所述TTS用户取消所述应用程序的所述安装时，卸载所述安装的与所述例程兼容的TTS引擎。
14.根据权利要求8所述的用于提供所述听觉用户接口的方法，其中，对选择所述TTS接口用于进行安装做出响应、而在所述应用程序的所述安装期间提供所述TTS用户接口的步骤，包括步骤提供用来表示可显示的用户交互式对话面板的序列的文本数据；并且把所述对话面板序列中的每一个转换为相应的交互式听觉指示和提示面板的序列中的每一个。
15.一种其代码记录在计算机可读介质上的计算机程序，用于向应用程序提供听觉用户交互式接口，其中所述应用程序正被安装在通常经由用户交互式显示器进行接口的计算机控制的系统中，所述计算机程序包括在所述计算机控制的系统中正在安装的应用程序中的例程，用于向所述程序提供TTS用户接口；用于在安装所述应用程序期间向所述计算机控制的系统的用户提供所述TTS用户接口的TTS装置；和用于对选择所述TTS接口用于进行安装做出响应、而在所述应用程序的所述安装期间提供所述TTS用户接口的装置。
全文摘要
公开了一种用于在计算机控制的系统中正在安装的应用程序的听觉用户交互式接口。在计算机控制的系统中正在安装的应用程序中的对象中的、用于向程序提供听觉用户接口的例程，与听觉装置组合，并且对选择所述听觉接口做出响应，在安装应用程序期间提供听觉用户接口，其中所述听觉装置在安装所述应用程序期间向计算机控制的系统的用户提供听觉用户接口。在正在安装的应用程序中的功能对象包括用于提供听觉接口的例程，其优选为用文本到语音的(TTS)功能实现，并且能够实现确定接收应用程序的计算机控制的系统是否包括与应用程序中的TTS功能兼容的TTS引擎，而且功能对象还包括用于当计算机控制的系统不包括TTS引擎时安装与所述例程兼容的TTS引擎的例程。
文档编号G10L13/00GK101030143SQ20061014298
公开日2007年9月5日 申请日期2006年10月26日 优先权日2005年10月27日
发明者马克·诺赛维兹, 劳伦斯·F.·威斯, 彼得·T.·布鲁奈特, 吕桂英 申请人:国际商业机器公司