专利名称：一种残疾人可使用软件的实现方法
技术领域：
本发明属于计算机软件领域，涉及一种软件实现方法，特别是一种残疾人可以使用的软件实现方法。
背景技术：
现在社会对残疾人提供了各种关怀和考虑，比如盲道、无障碍通道等。一些手机都具有一定的语音播放和语音识别功能，比如语音报手机号、识别语音姓名。但是现有的计算机软件设计仍然相对缺乏对于残疾人操作计算机的考虑，随着信息技术和软件应用的普及，以及社会对残疾人的关怀，软件对于残疾人的可操作性显得日益重要和突出。设计可以让残疾人进行操作的软件，可以为残疾人就业、创业、学习和生活带来很大的便 利，让他们在信息化的社会中能够享受信息技术带来的好处。现在的软件的操作一般需要手对键盘鼠标的操作，以及眼睛从屏幕上获取信息，这对于盲人、上肢残疾的人是不便的。这种方式同样不利于远程的控制，特别是视线远离屏幕的情况下控制电脑。长期对屏幕的关注造成视觉疲劳和头昏脑胀，许多人的身心都受到严重的影响。现在的无线鼠标已经可以远距离地操作电脑，但是由于现在的软件需要看到屏幕才能操作，使得无线鼠标的远程操作功能受到了限制。开发可以利用语音控制，且能够以语音的方式提示用户进行操作的软件，通过语音实施相应的操作和互动，可以避免上述的缺陷，可以有利于残疾人对软件的操作，以及正常人可以通过语音进行远距离的计算机控制，或者在操作计算机的时候，可以一边闭目养神，一边进行语音操作和得到软件的语音提示，减少用眼疲劳，一些研究和实践表明，用户长期面对电脑会造成多方面的伤害，因此，有必要避免长期面对电脑，而上述的软件可以达到语音交互的目的。
发明内容
为了便于残疾人操作和远程操作，本发明主要采用语音提示和语音识别来达到语音输出和语音输入，通过设定的规则确定各种操作和交互的语音编码，这种编码规则应该是易于学习的，简单的，以利于实现基于语音的人机交互，从而，可以无需通过视觉来获取电脑屏幕和软件显示的信息，以及无需通过手动操作键盘和鼠标来控制软件。本发明中的一些语音输入、输出、控制功能是可以设置的，残疾人使用前，先在正常人的帮助下进行设置，或者软件启动的时候，用语音提醒用户做出选择，而用户也可以采用语音控制的方式进行选择和配置，即如果是盲人，他可以用语音将软件配置为相应的模式，电脑通过将语音转换为文本来识别用户的命令。因此，本发明的一些语音功能是可选的，可配置的。针对于盲人，在软件设计的时候采用语音提示，语音提示可以用文本转语音技术实现，通过将预先设置的文本，或者程序中的已有的标题等文本，转换为语音，通过语音输出设备播放，语音提示的内容可以包括以下方面第一，当鼠标移动到某一控件(或者工具、按钮、菜单)上时，采用语音提示控件的名称，以及简要的操作帮助提示。第二，在软件的界面的外围设置一个方框型的边界区域，这样当鼠标移入或者移出软件边界的时候可以给予提示，为了让操作者知道到底是哪一边界，可以约定上下左右边界的名称，比如，上边界之类，或者提示用户让某一方向移动鼠标即进入某某软件的某一界面区域。第三，软件的帮助功能除了可以在显示屏现实外，也可以采用语音提示，除了将针对正常人的帮助文档设计为可以转换为语音播放的形式提示外，另外，还专门设计残疾人软件操作指南，该文档采用树形的组织结构，逐级给出语音提示，让残疾人做出细化的选择，残疾人用语音做出选择，系统将语音选择转换为对应文本，触发系统做出更细致的提示，残疾人通过逐级的选择，最终可以得到所需的帮助，软件通过文本转语音技术播放帮助内容。第四，对软件界面中的按钮、控件、菜单的操作及其确认进行语音提醒，以避免误操作。第五，为了增强交互性，将软件显示的文本内容和软件界面中的各种提示等内容的文本采用text to speech技术转化为语音播放。第六、针对于一些无法记住键盘的盲人，通过设置，使软件操作过程中的按键操作也得到语音提醒，如发现按键错误，可以按某个指定的特定键取消，特定键一般用易于为盲人区分的空格键，或处于特殊位置的ESC键等。第七，软件可增加一些辅助性的语音提醒功能，比如，报时提醒、闹钟提醒、下载天气预报网站的数据后进行天气预报提醒。
针对盲人无法观察鼠标和键盘操作的困难，以及上肢残疾人士的鼠标和键盘操作的困难，本发明采用语音控制功能来完成和辅助输入和控制第一，系统默认采用Tab键控制焦点切换，用回车键来执行焦点对应的当前控件(或按钮)，这些对于残疾人和盲人存在操作上的困难，而且盲人无法看见焦点所在位置，本发明中可以通过设置，采用特定的语音控制命令来控件焦点切换，焦点切换到下一个控件后，用文本转语音(text-to-speech)技术发音提醒切换后焦点对应的当前控件的名称，并可以用语音命令控制焦点所对应的当前控件执行。第二，具有语音输入功能，在语音输入设置下，可以用语音转文本(speech-to-text)技术将语音输入转化为文本,录入输入框。第三，具有语音控制功能，通过发声即可控制一些操作，麦克风获取语音，将语音转换为文本，当这一文本刚好是当前可用的命令集中的某个命令时，触发该命令相应的操作。通过一定的方式来设计语音控制的规则，防止语音控制之间的歧义，语音输入和语音控制可能混淆，所以在语音输入状态输入 完成后，采用某一命令结束语音输入状态。为了减少残疾人的操作，可以增加一定的自动运行的功能，例如软件自动启动、自动登录、在电脑没有操作时电脑自动关机这类功能的设置。为了对残疾人提供帮助，可以增加一些针对于残疾人的辅助功能，比如备忘录定时提醒功能，到了预定的时间提醒残疾人应该做某事。以上的部分功能对于正常人也是有用的，它还可以实现远程的控制，减少用眼，现在许多人不喜欢面对电脑，这种软件可以避免长期面对电脑带来的不适和疲劳等。为了避免语音识别受到语音播放的干扰，可以在语音播放的时段暂停语音识别，另外一种人为解决方法就是采用耳机。
图I是本发明的残疾人支持功能示意图。图2是本发明的实施例界面边界示意图。
具体实施例方式以下为
具体实施例方式 本实施例中，电脑接有耳机和麦克风，通过麦克风输入语音命令或信息，通过耳机收听软件的语音提示。系统中有TTS语音引擎，它可以将文本转换为语音，同时也有语音识别引擎，可以将声音转换为文本，或者进一步再将文本转换为命令。软件是可以设置的，即当这些语音功能成为一种妨碍时，可以关闭各种语音功能。软件的语音功能启用的多少可以进行一定的划分，可以分为适用于仅上肢残疾设置，适用于盲人设置(包括上肢残疾的)，以及适用于其他人的设置，当然一般人也可以选用盲人的设置，以达到闭目养神、远程控制等目的。盲人设置中还有一个选项，就是启动键盘输入提醒功能，这是针对于那些无法记忆键盘的盲人。这个键盘提醒功能也可以用于盲人在使用键盘之初掌握键盘位置。语音提示采用TTS语音引擎实现，这些语音提醒的实现方法为将软件中的文本转换为语音，然后采用音箱或耳机播放，语音提醒功能在软件中体现为以下几个方面，下面分别介绍它们的具体实现第一，当鼠标移动到某一控件(或者按钮)上时，利用相应的鼠标移 动事件，触发事件，发出控件名称的声音，并且如果有必要可以给予一定的提醒“如需某操作，请按下鼠标左键(右键)”，并且对随后的操作给出一定提示。第二，软件的界面不是全屏的时候，盲人可能无法确定该软件界面的范围，从而，造成一定的误操作。本实施例中在软件的各个界面的外围设置一个方框型的边界区域，如图2所示，其界面不是处于最大化状态时，区域2，3，4，5分别为其边界，6为有效界面。这样当鼠标移入或者移出软件边界的时候可以给予提示，为了让操作者知道到底是哪一边界，采用语音提醒，比如当鼠标移动到2区域的时候，触发事件，提示“进入某软件的某界面的上边界”，进入4区域的时候，提示“进入某软件的某界面下边界”，进入5区域的时候，提示“进入某软件的某界面左边界”，进入3区域的时候，提示“进入某软件的某界面右边界”。第三，帮助可以利用语音控制播放，当用特定语音命令时，系统利用文本转语音引擎，将帮助的文本内容自动阅读。另外，更具有针对性的是，还有一个专门的残疾人操作指南，将所有可能的帮助内容，逐步细分分为不同的类型，以选择题一样的提示方式让残疾人逐步进行选择，残疾人可以用语音做选择，系统将语音转换为文本，将文本转换为对应的选择，通过采用这样的逐级细化的选择方式，逐步细化和确定帮助的内容，最终可以得到帮助的内容，由软件用文本转语音技术进行播放。第四，对软件界面中的按钮、控件、菜单的操作及其确认，通过文本转语音进行语音提醒。第五，为了增强交互性，将软件显示文本内容和软件界面中的各种提示、显示、警告等内容的文本采用text to speech技术转化为语音播放。第六、针对于一些无法记住键盘的盲人,通过设置启用键盘提醒功能，使软件操作过程中的按键操作，被钩子截获并且采用文本转语音技术，变成语音播放来提醒当前按键的名称，如发现按键错误，可以按ESC键取消。第七，软件设置了辅助性的报时提醒功能，当时间到特定的点时，通过文本转语音技术，将时间转为语音播放，这样提醒无法看时间的盲人。第七，软件的运行过程中所处的一些特殊状态，特别是出现错误的时候，用文本转语音技术，播放语音进行提醒。针对于盲人无法观察鼠标和键盘操作的困难，以及上肢残疾人士的鼠标和键盘操作的困难，本发明采用语音控制功能来完成和辅助输入和控制第一，通过设置，可以采用特定的语音控制来控件焦点切换，焦点切换到下一个控件后，用text-to-speech技术发音提醒切换后焦点对应的当前控件的名称，并可以用语音控制焦点所对应的当前控件执行。第二，具有语音输入功能，在语音输入启动时，可以用语音转文本(speech-to-text)技术将语音输入转化为文本，录入输入框或文件中。第三，语音控制功能，该功能启动时，监听麦克风接受到的语音，利用语音转文本，将语音转换为文本，当文本刚好是当前状态下对应的某一个控件、按钮、操作等的对应命令时，触发该操作。语音输入的文本可能与语音控制的文本是相同的，且语音输入文本的长度也是可变的。在语音输入文本和语音命令之间，如果不进行区分，可能会将两者混淆。在实现时，应该有一个切换，采用某一个不可能输入文本的语音命令，或者采用一段固定时间沉默，表示文本输入状态结束，切换到可以进行语音命令状态。功能选项的设置上，可以采用两种方式实现1)在最初运行软件时，软件会用语音提醒是否要进行相关的设置，并且可以采用语音控制来进行前述的语音提醒、语音控制功能的设置，正常人可以不选择相关的语音功能；2)在残疾人使用前，软件由正常人进行相关
语音设置。
·
软件的语音功能不仅仅限于支持残疾人使用本软件，还可以设置一些其他的残疾人帮助功能，本实施例中，采用类似的方法通过语音控制进行关机等，实现的方式同前。
权利要求
1.一种残疾人可使用软件的实现方法，其特征在于对于盲人和上肢残疾人可以1)采用语音转文本技术将语音输入转换为文本来代替一般的键盘的文本输入，2)用语音转文本技术将语音转换为文本，再将文本对应某些命令进而实现语音控制，而代替一般的鼠标操作和键盘按键；对于盲人可以采用文本转语音技术将软件中预设的文本转变为语音，播放出来而代替电脑显示屏提示，包括:A)启用语音提醒后，当鼠标在软件界面内拖动时，当移动到软件界面中的按钮、控件、菜单等上时利用文本转语音技术进行语音播放提醒，播放其名称及其操作帮助，B)在对软件界面中的按钮、控件、菜单进行操作时，对相应的操作及其确认进行文本转语音的提醒，并且可播放进一步的操作的简要帮助。
2.如权利要求I所述的软件的实现方法，其特征在于启用语音提醒时，在软件的界面区域的外边界设置方框型的语音提醒区域，当鼠标从软件的窗口界面移出或者移入的时候，以约定的方式告知操作人，当前状态下朝着什么方向是将鼠标移出或者移入软件的某某界面区域。
3.如权利要求I所述的软件的实现方法，其特征在于启用语音提醒时，其软件操作的帮助文件、残疾人软件操作指南可用文本转语音技术转化为语音播放，残疾人操作指南以树形的结构对残疾人进行语音提醒，提示残疾人做出选择，残疾人用语音做出选择，语音输入转换为文本，触发软件做出进一步细致的提示，如此循环直到最后确定残疾人需要的帮助，帮助的文本以语音形式播放。
4.如权利要求3所述的软件的实现方法，其特征在于启用语音提醒时，将软件显示文本内容和软件涉及到的文件的文本内容可用文本转语音技术转化为语音播放。
5.如权利要求4所述的软件的实现方法，其特征在于启用键盘提醒功能时，在软件操作过程中的按键操作，被钩子截获并且用预设的文本名称转变为对应名称的语音进行提醒，如发现按键错误，可以按某个特定键取消。
6.如权利要求5所述的软件的实现方法，其特征在于启用语音控制功能时，可采用语音控制控件焦点的切换，焦点切换到下一个控件后，用文本转语音技术进行发音，提醒切换后焦点对应的当前控件的名称，并且当用户用语音输出(说出)执行当前控件的语音命令时，用语音转文本技术将语音命令转换为文本，将文本匹配命令，来控制处于焦点状态的控件的执行。
7.如权利要求6所述的软件的实现方法，其特征在于具有语音输入功能，在语音输入功能启动时，处于文本输入状态时，语音输入将会用语音转文本(speech-to-text)技术，变成语音对应的文本，录入输入框，残疾人发声如果是某一个指定的语音命令时，结束语音输入状态。
全文摘要
本发明涉及残疾人使用软件的实现方法。为了解决残疾人使用软件的不便，它通过语音提醒代替显示器的显示，通过语音输入和语音控制代替键盘和鼠标操作。为了让盲人知道鼠标所在位置，当鼠标在软件界面内拖动、鼠标移出界面时，软件会发出适当的语音提醒，并且提示用户进行一定的操作。软件有针对残疾人的操作指南，以树形的结构进行语音提醒，提示残疾人做出选择。残疾人可用语音做出选择，直到以语音形式播放帮助具体内容。具有键盘提醒功能，在软件操作过程中的按键操作，可以被转变为对应的语音进行提醒。可以采用语音控制焦点切换，并且可以用语音命令控制处于焦点状态的控件的执行。软件可以将语音输入变成语音对应的文本，录入输入框。
文档编号G06F9/44GK102799433SQ20121022830
公开日2012年11月28日 申请日期2012年7月4日 优先权日2012年7月4日
发明者王勇, 钟艳如, 汪华登, 付莉, 陈智勇 申请人:桂林电子科技大学