一种安全键盘的读屏方法及装置的制造方法
【专利摘要】本发明实施例提供了一种安全键盘的读屏方法及装置，其中方法包括：当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键；获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据；播放所述语音数据。采用本发明，可以提高终端设备在支付应用中的操作便利性，尤其是针对存在一定功能障碍的人群，其操作便利性的提高尤为明显。
【专利说明】
一种安全键盘的读屏方法及装置
技术领域
[0001]本发明涉及电子技术领域，尤其涉及一种安全键盘的读屏方法及装置。
【背景技术】
[0002]随着智能手机、个人电脑等计算机设备的快速普及，各种移动互联网应用也层出不穷，越来越多的用户能够真实感受到移动互联技术带来的生活便利和无线乐趣;但是，社会中还有一部分特殊群体也需要使用智能手机等计算机设备，那就是有一定功能障碍的人群，例如视障人群，尤其是全盲的视障群体，完全是靠耳朵听取声音来操作计算机。
[0003]在使用智能手机、平板电脑、个人电脑等终端设备的辅助操作功能(包括但不限于Voiceover、Talkback等读屏软件和其他类似功能的应用)时，用户界面元素及其功能会被提取出来并通过TTS(Text to Speech，文字转语音技术)把所选择的文字用语音播放出来，以帮助用户了解手机屏幕当前显示的内容;并且，用户可以通过在触摸屏上进行点击、滑动等操作，对终端进行操作，给用户带来了更全面更丰富的使用体验，尤其是使得存在一定功能障碍的人群(例如视觉障碍的残障人员、老年人等特殊群体)能够无障碍的使用智能手机等终端设备。
[0004]但是，现阶段的支付类应用为了防止恶意软件伪装成辅助工具窃听密码，通常都会调用软件本身的安全键盘来获取用户输入的密码，在安全键盘区域屏蔽了一切其他的辅助工具。这样一来，读屏软件等辅助操作工具就无法再提取安全键盘中的元素并转换成语音播放，从而导致存在一定视觉功能障碍的人群很难甚至无法无障碍的使用智能手机等终端设备来进行支付操作，造成支付操作的便利性不足。
【发明内容】
[0005]本发明实施例所要解决的技术问题在于，提供一种安全键盘的读屏方法及装置，以解决传统技术中的智能手机等终端设备在支付应用中的操作方式存在操作便利性不足的技术问题。
[0006]本发明实施例提供了一种安全键盘的读屏方法，包括:
[0007]当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键；
[0008]获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据；
[0009]播放所述语音数据。
[0010]可选的，所述监测用户针对安全键盘区域的选中操作指令之前，还包括:
[0011]确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具。
[0012]可选的，所述确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具之后，还包括:
[0013]输出预存的安全键盘指导信息，所述安全键盘指导信息用于指示用户进行安全键盘选中操作。
[0014]可选的，所述确定所述选中操作指令选中的所述安全键盘区域中的目标按键包括:
[0015]获取当前在所述安全键盘区域中被选中的按键；
[0016]根据所述选中操作指令确定按键切换方向；
[0017]根据所述当前在所述安全键盘区域中选中的按键，以及所述按键切换方向，确定切换后被选中的目标按键。
[0018]可选的，所述监测用户针对安全键盘区域的选中操作指令包括:
[0019]获取所述用户输入的感应操作，获取所述感应操作的特征数据；
[0020]在预设的特征数据库中查找与所述特征数据匹配的目标特征数据；
[0021]获取与所述目标特征数据对应的选中操作指令。
[0022]可选的，所述方法还包括:
[0023]当检测到所述用户输入的确认指令时，在密码显示区中输出所述目标按键对应的字符；
[0024]获取并播放所述确认指令对应的语音提示消息。
[0025]相应的，本发明实施例还提供了一种安全键盘的读屏装置，包括:
[0026]指令监测模块，用于当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键；
[0027]语音转换模块，用于获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据；
[0028]语音播放模块，用于播放所述语音数据。
[0029]可选的，所述装置还包括:
[0030]状态确定模块，用于确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具。
[0031]可选的，所述装置还包括:
[0032]操作指导模块，用于输出预存的安全键盘指导信息，所述安全键盘指导信息用于指示用户进行安全键盘选中操作。
[0033]可选的，所述指令监测模块用于:
[0034]获取当前在所述安全键盘区域中被选中的按键；
[0035]根据所述选中操作指令确定按键切换方向；
[0036]根据所述当前在所述安全键盘区域中选中的按键，以及所述按键切换方向，确定切换后被选中的目标按键。
[0037]可选的，所述指令监测模块用于:
[0038]获取所述用户输入的感应操作，获取所述感应操作的特征数据；
[0039]在预设的特征数据库中查找与所述特征数据匹配的目标特征数据；
[0040]获取与所述目标特征数据对应的选中操作指令。
[0041 ] 可选的，所述装置还包括:
[0042]显示模块，用于当检测到所述用户输入的确认指令时，在密码显示区中输出所述目标按键对应的字符；
[0043]提示模块，用于获取并播放所述确认指令对应的语音提示消息。
[0044]本发明实施例通过当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键，然后获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据，最后播放所述语音数据，也就是说，终端设备中的支付应用在检测到安全键盘开启时，可以自行监测用户输入的针对安全键盘区域的选中操作指令，并且将选中操作指令选中的目标按键通过TTS将文本内容转为语音播放出来，可以提高终端设备在支付应用中的操作便利性，尤其是针对存在一定功能障碍的人群，其操作便利性的提高尤为明显。
【附图说明】
[0045]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]图1是本发明实施例中一种安全键盘的读屏方法的流程示意图；
[0047]图2是本发明实施例中另一种安全键盘的读屏方法的流程示意图；
[0048]图3是本发明实施例中一种安全键盘的读屏装置的结构示意图；
[0049]图4是本发明实施例中另一种安全键盘的读屏装置的结构示意图；
[0050]图5是本发明实施例中一种安全键盘区域的按键选中示意图；
[0051]图6是本发明实施例中一种密码显示区的字符输出示意图。
【具体实施方式】
[0052]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]图1是本发明实施例中一种安全键盘的读屏方法的流程示意图，本方法流程可以由安全键盘的读屏装置实施，所述安全键盘的读屏装置可以为用户终端或运行在用户终端的软件程序，所述用户终端可以包括手机、笔记本电脑、平板电脑、车载电脑、P0S(Point OfSales,销售点)机等。如图所示所述方法至少包括:
[0054]步骤SlOl，当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键。
[0055]具体来说，安全键盘可以是用户发出安全键盘开启指令后开启的，也可以是在进入支付界面后自动弹出的，还可以是在用户对密码输入区域进行输入操作时开启的。例如，用户点击键盘图标可以弹出安全键盘，也可以是在点击“转账” “确认支付”或者“塞钱进红包”等按钮进入支付界面后自动开启的，还可以是用户对密码输入区进行点击操作之后触发安全键盘弹出的。因此，检测安全键盘是否开启也可以是与以上方法对应的检测用户是否输入了安全键盘开启指令、是否进入了支付界面或者是否对密码输入区域进行了操作。
[0056]选中操作指令是用于对安全键盘区域选中的按键进行切换或者说移动的操作指令，该选中操作指令可以是基于上述安全键盘操作指导信息所指示的。例如，根据选中操作指令，安全键盘区域中的选中框可以按照选中操作指令的指示进行上下左右的移动。具体来说，在智能手机等智能移动终端中，选中操作指令可以是手势操作、点击操作或者晃动操作等操作，例如左划、右划、上下滑动、双击、单击、晃动等，在电脑等其他电子终端中，选中操作指令可以是手势操作、鼠标点击操作或者键盘操作等，例如肢体的手势左划操作、鼠标的单击或者双击、键盘的Tab键等等。用户也可以在配置界面中对该选中操作指令进行设定。
[0057]具体的，当终端接收到用户在输入的针对安全键盘区域的选中操作指令后，可以执行不同的选中操作指令对应的在安全键盘区域中的对选中按键的控制操作。根据用户输入的选中操作指令对应的控制操作，确定出用户在安全键盘区域中选中的目标按键。
[0058]在本实施例中，可以预设选中操作指令与控制操作的对应关系，在上述对应关系建立之后，可以根据该对应关系执行选中操作指令对应的控制操作。例如，预设选中操作指令为点击时，对应的控制操作就是将用户点击的按键作为目标按键进行选中。又例如，预设选中操作指令为左划时，对应的控制操作为切换至选中当前被选中按键的前一按键为目标按键，预设选中操作指令为右划时，对应的控制操作为切换至选中当前被选中按键的后一按键为目标按键，如图5所示，设当前被选中的按键为5，“前一按键”和“后一按键”在这里指的是按照习惯性的数字前后排序对应的前一数字对应的按键和后一数字对应的按键，那么，当终端接收到用户的选中操作指令为左划时，则将当前被选中的按键5切换至其前一按键4作为目标按键，当终端接收到用户的选中操作指令为右划时，则将当前被选中的按键5切换至其后一按键6作为目标按键。
[0059]又例如，预设选中操作指令为个人电脑键盘中的Tab键，对应的控制操作为切换至选中当前被选中按键的下一按键，则每检测到选中操作指令时，终端就向下一按键切换一次，若切换至最后一个按键时又检测到选中操作指令，则将预设的第一个按键作为目标按键，依次循环。如图5所示，设当前被选中的按键为5，那么检测到选中操作指令时，则将当前被选中的按键5切换至按键6作为目标按键。
[0060]可选的，步骤SlOl之前，该方法还可以包括:
[0061 ]确定安全键盘朗读开关是否处于开启状态或所述终端系统是否正在运行视觉辅助工具，若是，则执行步骤SlOl。
[0062]在一种可能的实施方式中，安全键盘朗读开关是用于控制是否开启针对安全键盘的朗读功能的控制开关，当安全键盘朗读开关为开启状态时，终端则开启支付应用中的安全键盘朗读功能，当安全键盘朗读开关为关闭状态是，终端则关闭支付应用中的安全键盘朗读功能。一般来说，在默认状况下，安全键盘朗读开关是处于关闭状态的。
[0063]也就是说，在终端开启安全键盘之前，如果用户在终端的支付应用中开启了安全键盘朗读开关，那么就相当于开启了针对安全键盘的朗读功能，则当终端检测到安全键盘开启时，则执行步骤SlOl对安全键盘区域的选中操作执行进行监测。
[0064]在另一种可能的实施方式中，视觉辅助工具可以是终端自带的读屏类软件，或者是例如Voiceover、Talkback等读屏软件和其他类似功能的应用。当检测到终端系统正在运行视觉辅助工具，可以认为该用户需要视觉辅助工具或者是具有视觉障碍的用户，因此终端也默认为当前需要开启针对安全键盘的朗读功能，则当终端检测到安全键盘开启时，则执行步骤SlOl对安全键盘区域的选中操作进行监测。
[0065]可选的，当确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具之后，该方法还可以包括:
[0066]输出预存的安全键盘指导信息，所述安全键盘指导信息用于指示用户进行安全键盘选中操作。
[0067]具体的，用户开启安全键盘时可能有几种情况，一种情况是用户为正常用户，未使用任何读屏软件对非安全键盘区域的数据进行读取，在这种情况下，用户可能不清楚安全键盘朗读开关的作用以及开启该开关后应该如何操作和使用安全键盘;另一种情况是用户为有一定视觉障碍的用户，在开启安全键盘前终端系统正在运行视觉辅助工具，在这种情况下，读屏软件的操作和支付应用中针对安全键盘的操作可能相同也可能不同，用户可能会沿用读屏软件中的操作，但是在支付应用的安全键盘区域可能是无效的或者相同操作指令执行的是不同的操作。这样，用户因为不清楚安全键盘朗读开关的作用或者安全键盘操作的使用方法而误操作，因此可以先预存安全键盘操作指导信息，在检测到安全键盘朗读开关被开启时，向用户输出，以提示用户进行安全键盘选中操作。
[0068]其中，安全键盘操作指导信息是针对支付应用中安全键盘区域的选中操作的使用指导，该安全键盘操作指导信息可以是文字、视频数据或者语音数据等。具体的，若安全键盘操作指导信息为文字，则在检测到安全键盘朗读开关被开启时，以文字形式展示在相关界面中，如果这时用户未开启读屏软件，则可以自己阅读，如果这时用户开启了读屏软件，则读屏软件可以获取该安全键盘操作指导信息的文字内容，然后转换成语音输出，提示视觉障碍人士如何对安全键盘进行选中操作。若安全键盘操作指导信息为语音数据或者视频数据，则在检测到安全键盘朗读开关被开启时，从数据库中获取预存的语音数据或者视频数据后输出即可。
[0069]进一步可选的，当终端接收到针对安全键盘朗读开关的开启指令，将安全键盘朗读开关标记为开启状态。其中，开启指令可以是点击、滑动、晃动等操作，这里不作具体限定。当终端检测到针对安全键盘朗读开关的开启指令时，则将安全键盘朗读开关标记为开启状态，从而可以根据该标记确定安全键盘朗读开关是否处于开启状态。
[0070]步骤S102，获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据。
[0071]在确定了目标按键之后，终端的支付应用获取该目标按键的文本内容，通过调用终端系统中的文字转语音引擎，即TTS(Text To Speech，文本转语音技术)将目标按键的文本内容转换成语音数据。例如，如图5所示，若当前选中的目标按键为“Del”，即删除键，则终端可以获取按键“Del”所对应的文本内容为“删除”，通过TTS将文本内容“删除”转换成语音数据。
[0072]步骤S103，播放所述语音数据。
[0073]播放目标按键的文本内容转换后的语音数据，例如用户选中的目标按键为“Del”时，则可以听到播放出的语音为“删除”。
[0074]进一步的，在播放目标按键的文本内容转换后的语音数据前，可以先检测终端是否接入或者连接耳机，如果检测到有耳机接入或者连接则直接通过耳机播放该语音数据，如果未检测到耳机接入或者连接，则提示用户接入耳机，并在检测到耳机接入或者连接后进行语音数据的播放，从而保护用户隐私。
[0075]可选的，该方法还可以包括:
[0076]当检测到用户输入的确认指令时，在密码显示区中输出所述目标按键对应的字符。
[0077]确认指令是确认将被选中的目标按键作为密码输出的操作指令，具体可以是点击、双击、滑动、晃动等操作的任一种，这里不作具体限定。当终端检测到用户输入的确认指令时，可以在密码显示区中输出当前被选中的目标按键对应的字符。例如，如图6所示，当用户选中按键7作为目标按键后，输入了确认指令，则终端检测到该确认指令时，就可以在密码显示区中输出“7”这个字符。
[0078]获取并播放所述确认指令对应的语音提示消息。
[0079]进一步的，可以预先设定确认指令对应的语音提示消息，例如语音提示消息可以设定为:“确认输出当前选中数字”，则终端在获取到确认指令时，可以获取并播放该语音提示消息，以提示用户当前选中的目标按键对应的数字已经作为密码输出。
[0080]本发明实施例通过当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键，然后获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据，最后播放所述语音数据，也就是说，终端设备中的支付应用在检测到安全键盘开启时，可以自行监测用户输入的针对安全键盘区域的选中操作指令，并且将选中操作指令选中的目标按键通过TTS将文本内容转为语音播放出来，可以提高终端设备在支付应用中的操作便利性，尤其是针对存在一定功能障碍的人群，其操作便利性的提高尤为明显。
[0081]图2是本发明实施例中另一种安全键盘的读屏方法的流程示意图，所述方法包括:
[0082]步骤S201，当检测到安全键盘开启时，获取所述用户输入的感应操作，获取所述感应操作的特征数据。
[0083]感应操作为用户不直接在终端上进行的操作，该操作可以被终端或者与终端相连的其他感应设备获取，例如可以通过传感器或者其他感应设备获取到的用户动作、声音和/或脑波信号等操作。具体的，在本实施例中，上述用户输入的感应操作可以包括通过已连接的可穿戴设备输入的运动操作、通过已连接的摄像头输入的运动操作、通过红外传感器输入的运动操作、通过麦克风输入的声音控制操作、通过脑电波传感器输入的脑电波信号操作和/或通过声呐装置输入的运动操作中的至少一个。
[0084]在获取到用户输入的感应操作之后，需要对获取到的感应操作进行特征提取，SP，获取所述感应操作的特征数据。在本实施例中，不同的感应操作，其对应的特征数据不同。例如，在感应操作为运动操作时，获取的特征数据可以是但不限于该感应操作运动轨迹、运动时长、轨迹长度、敲击频率、和/或动作幅度等;在例如，在感应操作为脑电波信号操作时，获取的特征数据可以是脑电波信号的脑波类型、频率、电位等等特征数据。也就是说，可以根据感应操作的具体类型和用户的需求进行设置，设定在本步骤中需要进行提取的感应操作的特征数据。
[0085]步骤S202，在预设的特征数据库中查找与所述特征数据匹配的目标特征数据。
[0086]感应操作的特点决定了同一感应操作的特征数据也是不相同的，因此与选中操作指令对应的目标特征数据也不是一个固定的数值，而是一个或者几个范围区间或者多个特征数值。例如，特征数据中包括运动时长这个参数，则目标特征数据一般来说会设定为一个时间区间，例如5s?10s。
[0087]终端获取到感应操作的特征数据后，需要在预设的特征数据库中查找与该特征数据匹配的目标特征数据，也就是说，可以将运动轨迹、运动时长、轨迹长度、敲击频率、和/或动作幅度等特征数据与该项特征数据对应的目标特征参数进行对比，确定获取到的特征参数是否是与目标特征参数匹配的，这里的匹配可以是指特征数据属于目标特征参数的范围区间，也可以指特征数据与目标特征参数中的一个相同或者相符等等。
[0088]步骤S203，获取与所述目标特征数据对应的选中操作指令。
[0089]具体实现中，每一组目标特征数据均对应了一个具体的选中操作指令，例如，可以设置“运动时长5s?10s”或/和“运动轨迹长度0.5m?2m”对应的选中操作指令为切换至选中当前被选中按键的右方按键，则当目标特征数据为“运动时长5s?10s”或/和“运动轨迹长度0.5m?2m”时，则可以确定选中操作指令为切换至选中当前被选中按键的右方按键。
[0090]步骤S204，获取当前在所述安全键盘区域中被选中的按键。
[0091]具体的，终端在接收到选中操作指令后，可以先获取当前在安全键盘区域中被选中的按键。
[0092]需要说明的是，这里当前的被选中的按键可以是预设的，也可以是上一次终端根据选中操作指令之后所选中的按键。例如，如果终端是首次获取到用户输入的选中操作指令，之前并无对被选中的按键的操作，则当前被选中的按键可以是预设的，例如可以是图5中的按键I;如果终端在之前已经根据选中操作指令进行了操作，则当前被选中的按键即为上一操作之后确定的被选中按键。
[0093]步骤S205，根据所述选中操作指令确定按键切换方向。
[0094]具体的，按键切换方向是终端在切换被选中的按键时的切换方向，也就是说，按键切换方向决定被选中的按键是向安全键盘区域中的上下左右中的哪一个方向切换。例如，如图5所示，若当前被选中的按键为5，则按键切换方向是决定终端从5向4切换，还是从5向6切换，还是从5向2切换等等。
[0095]在本实施例中，根据选中操作指令就可以确定按键切换方向，例如选中操作指令为切换至选中当前被选中按键的右方按键则可以确定按键切换方向为向右切换。
[0096]步骤S206，根据所述当前在所述安全键盘区域中选中的按键，以及所述按键切换方向，确定切换后被选中的目标按键。
[0097]具体的，根据当前在安全键盘区域中被选中的按键以及按键切换方向，终端就可以将被选中的按键由当前的被选中的按键切换为目标按键。例如，如图6所示，当前被选中的按键为按键7，若按键切换方向确定为向右，则终端可以确定向右切换后的被选中的目标按键为8。
[0098]步骤S207，获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据。
[0099]具体方法可以参考步骤S102。
[0100]步骤S208，播放所述语音数据。
[0101]具体方法可以参考步骤S103。
[0102]本发明实施例通过当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键，然后获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据，最后播放所述语音数据，也就是说，终端设备中的支付应用在检测到安全键盘开启时，可以自行监测用户输入的针对安全键盘区域的选中操作指令，并且将选中操作指令选中的目标按键通过TTS将文本内容转为语音播放出来，可以提高终端设备在支付应用中的操作便利性，尤其是针对存在一定功能障碍的人群，其操作便利性的提高尤为明显。
[0103]图3是本发明实施例中一种安全键盘的读屏装置的结构示意图，所述装置包括:
[0104]指令监测模块310，用于当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键。
[0105]具体来说，安全键盘可以是用户发出安全键盘开启指令后开启的，也可以是在进入支付界面后自动弹出的，还可以是在用户对密码输入区域进行输入操作时开启的。例如，用户点击键盘图标可以弹出安全键盘，也可以是在点击“转账” “确认支付”或者“塞钱进红包”等按钮进入支付界面后自动开启的，还可以是用户对密码输入区进行点击操作之后触发安全键盘弹出的。因此，检测安全键盘是否开启也可以是与以上方法对应的检测用户是否输入了安全键盘开启指令、是否进入了支付界面或者是否对密码输入区域进行了操作。
[0106]选中操作指令是用于对安全键盘区域选中的按键进行切换或者说移动的操作指令，该选中操作指令可以是基于上述安全键盘操作指导信息所指示的。例如，根据选中操作指令，安全键盘区域中的选中框可以按照选中操作指令的指示进行上下左右的移动。具体来说，在智能手机等智能移动终端中，选中操作指令可以是手势操作、点击操作或者晃动操作等操作，例如左划、右划、上下滑动、双击、单击、晃动等，在电脑等其他电子终端中，选中操作指令可以是手势操作、鼠标点击操作或者键盘操作等，例如肢体的手势左划操作、鼠标的单击或者双击、键盘的Tab键等等。用户也可以在配置界面中对该选中操作指令进行设定。
[0107]具体的，当接收到用户在输入的针对安全键盘区域的选中操作指令后，指令监测模块310可以执行不同的选中操作指令对应的在安全键盘区域中的对选中按键的控制操作。指令监测模块310根据用户输入的选中操作指令对应的控制操作，确定出用户在安全键盘区域中选中的目标按键。在本实施例中，可以预设选中操作指令与控制操作的对应关系，在上述对应关系建立之后，可以根据该对应关系执行选中操作指令对应的控制操作。
[0108]可选的，所述指令监测模块310用于:
[0109]当检测到安全键盘开启时，获取所述用户输入的感应操作，获取所述感应操作的特征数据。
[0110]感应操作为用户不直接在终端上进行的操作，该操作可以被终端或者与终端相连的其他感应设备获取，例如可以通过传感器或者其他感应设备获取到的用户动作、声音和/或脑波信号等操作。具体的，在本实施例中，上述用户输入的感应操作可以包括通过已连接的可穿戴设备输入的运动操作、通过已连接的摄像头输入的运动操作、通过红外传感器输入的运动操作、通过麦克风输入的声音控制操作、通过脑电波传感器输入的脑电波信号操作和/或通过声呐装置输入的运动操作中的至少一个。
[0111]在获取到用户输入的感应操作之后，指令监测模块310需要对获取到的感应操作进行特征提取，即，获取所述感应操作的特征数据。在本实施例中，不同的感应操作，其对应的特征数据不同。例如，在感应操作为运动操作时，获取的特征数据可以是但不限于该感应操作运动轨迹、运动时长、轨迹长度、敲击频率、和/或动作幅度等;在例如，在感应操作为脑电波信号操作时，获取的特征数据可以是脑电波信号的脑波类型、频率、电位等等特征数据。也就是说，可以根据感应操作的具体类型和用户的需求进行设置，设定在本步骤中需要进行提取的感应操作的特征数据。
[0112]在预设的特征数据库中查找与所述特征数据匹配的目标特征数据。
[0113]感应操作的特点决定了同一感应操作的特征数据也是不相同的，因此与选中操作指令对应的目标特征数据也不是一个固定的数值，而是一个或者几个范围区间或者多个特征数值。例如，特征数据中包括运动时长这个参数，则目标特征数据一般来说会设定为一个时间区间，例如5s?10s。
[0114]指令监测模块310获取到感应操作的特征数据后，需要在预设的特征数据库中查找与该特征数据匹配的目标特征数据，也就是说，指令监测模块310可以将运动轨迹、运动时长、轨迹长度、敲击频率、和/或动作幅度等特征数据与该项特征数据对应的目标特征参数进行对比，确定获取到的特征参数是否是与目标特征参数匹配的，这里的匹配可以是指特征数据属于目标特征参数的范围区间，也可以指特征数据与目标特征参数中的一个相同或者相符等等。
[0115]获取与所述目标特征数据对应的选中操作指令。
[0116]具体实现中，每一组目标特征数据均对应了一个具体的选中操作指令，例如，可以设置“运动时长5s?10s”或/和“运动轨迹长度0.5m?2m”对应的选中操作指令为切换至选中当前被选中按键的右方按键，则当目标特征数据为“运动时长5s?10s”或/和“运动轨迹长度0.5m?2m”时，则指令监测模块310可以确定选中操作指令为切换至选中当前被选中按键的右方按键。
[0117]可选的，所述指令监测模块310用于:
[0118]获取当前在所述安全键盘区域中被选中的按键。
[0119]具体的，在接收到选中操作指令后，指令监测模块310可以先获取当前在安全键盘区域中被选中的按键。
[0120]需要说明的是，这里当前的被选中的按键可以是预设的，也可以是上一次终端根据选中操作指令之后所选中的按键。例如，如果是首次获取到用户输入的选中操作指令，之前并无对被选中的按键的操作，则当前被选中的按键可以是预设的，例如可以是图5中的按键I;如果在之前已经根据选中操作指令进行了操作，则当前被选中的按键即为上一操作之后确定的被选中按键。
[0121 ]根据所述选中操作指令确定按键切换方向。
[0122]具体的，按键切换方向是指令监测模块310在切换被选中的按键时的切换方向，也就是说，按键切换方向决定被选中的按键是向安全键盘区域中的上下左右中的哪一个方向切换。例如，如图5所示，若当前被选中的按键为5，则按键切换方向是决定指令监测模块310从5向4切换，还是从5向6切换，还是从5向2切换等等。
[0123]在本实施例中，指令监测模块310根据选中操作指令就可以确定按键切换方向，例如选中操作指令为切换至选中当前被选中按键的右方按键则可以确定按键切换方向为向右切换。
[0124]根据所述当前在所述安全键盘区域中选中的按键，以及所述按键切换方向，确定切换后被选中的目标按键。
[0125]具体的，根据当前在安全键盘区域中被选中的按键以及按键切换方向，指令监测模块310就可以将被选中的按键由当前的被选中的按键切换为目标按键。例如，如图6所示，当前被选中的按键为按键7，若按键切换方向确定为向右，则指令监测模块310可以确定向右切换后的被选中的目标按键为8。
[0126]语音转换模块320，用于获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据。
[0127]在确定了目标按键之后，语音转换模块320获取该目标按键的文本内容，通过调用终端系统中的文字转语音引擎，即TTS(Text To Speech，文本转语音技术)将目标按键的文本内容转换成语音数据。例如，如图5所示，若当前选中的目标按键为“Del”，即删除键，则语音转换模块320可以获取按键“Del”所对应的文本内容为“删除”，通过TTS将文本内容“删除”转换成语音数据。
[0128]语音播放模块330，用于播放所述语音数据。
[0129]语音播放模块330播放目标按键的文本内容转换后的语音数据，例如用户选中的目标按键为“Del”时，则可以听到播放出的语音为“删除”。
[0130]进一步的，在播放目标按键的文本内容转换后的语音数据前，语音播放模块330可以先检测终端是否接入或者连接耳机，如果检测到有耳机接入或者连接则直接通过耳机播放该语音数据，如果未检测到耳机接入或者连接，则提示用户接入耳机，并在检测到耳机接入或者连接后进行语音数据的播放，从而保护用户隐私。
[0131]状态确定模块340，用于确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具。
[0132]在一种可能的实施方式中，安全键盘朗读开关是用于控制是否开启针对安全键盘的朗读功能的控制开关，当安全键盘朗读开关为开启状态时，则开启支付应用中的安全键盘朗读功能，当安全键盘朗读开关为关闭状态是，则关闭支付应用中的安全键盘朗读功能。一般来说，在默认状况下，安全键盘朗读开关是处于关闭状态的。
[0133]也就是说，在开启安全键盘之前，如果当状态确定模块340确定用户在终端的支付应用中开启了安全键盘朗读开关，那么就相当于开启了针对安全键盘的朗读功能，则检测到安全键盘开启时，则对安全键盘区域的选中操作进行监测。
[0134]在另一种可能的实施方式中，视觉辅助工具可以是终端自带的读屏类软件，或者是例如Voiceover、Talkback等读屏软件和其他类似功能的应用。当状态确定模块340检测到终端系统正在运行视觉辅助工具，可以认为该用户需要视觉辅助工具或者是具有视觉障碍的用户，因此也默认为当前需要开启针对安全键盘的朗读功能，则当检测到安全键盘开启时，则对安全键盘区域的选中操作进行监测。
[0135]操作指导模块350，用于输出预存的安全键盘指导信息，所述安全键盘指导信息用于指示用户进行安全键盘选中操作。
[0136]具体的，用户开启安全键盘时可能有几种情况，一种情况是用户为正常用户，未使用任何读屏软件对非安全键盘区域的数据进行读取，在这种情况下，用户可能不清楚安全键盘朗读开关的作用以及开启该开关后应该如何操作和使用安全键盘;另一种情况是用户为有一定视觉障碍的用户，在开启安全键盘前终端系统正在运行视觉辅助工具，在这种情况下，读屏软件的操作和支付应用中针对安全键盘的操作可能相同也可能不同，用户可能会沿用读屏软件中的操作，但是在支付应用的安全键盘区域可能是无效的或者相同操作指令执行的是不同的操作。这样，用户因为不清楚安全键盘朗读开关的作用或者安全键盘操作的使用方法而误操作，因此可以先预存安全键盘操作指导信息，在检测到安全键盘朗读开关被开启时，操作指导模块350向用户输出，以提示用户进行安全键盘选中操作。
[0137]其中，安全键盘操作指导信息是针对支付应用中安全键盘区域的选中操作的使用指导，该安全键盘操作指导信息可以是文字、视频数据或者语音数据等。具体的，若安全键盘操作指导信息为文字，则在检测到安全键盘朗读开关被开启时，以文字形式展示在相关界面中，如果这时用户为开启读屏软件，则可以自己阅读，如果这时用户开启了读屏软件，则读屏软件可以获取该安全键盘操作指导信息的文字内容，然后转换成语音输出，提示视觉障碍人士如何对安全键盘进行选中操作。若安全键盘操作指导信息为语音数据或者视频数据，则在检测到安全键盘朗读开关被开启时，从数据库中获取预存的语音数据或者视频数据后输出即可。
[0138]显示模块360，用于当检测到所述用户输入的确认指令时，在密码显示区中输出所述目标按键对应的字符。
[0139]确认指令是确认将被选中的目标按键作为密码输出的读屏指令，具体可以是点击、双击、滑动、晃动等操作的任一种，这里不作具体限定。当检测到用户输入的确认指令时，显示模块360可以在密码显示区中输出当前被选中的目标按键对应的字符。例如，如图6所示，当用户选中按键7作为目标按键后，输入了确认指令，则检测到该确认指令时，显示模块360就可以在密码显示区中输出“7”这个字符。
[0140]提示模块370，用于获取并播放所述确认指令对应的语音提示消息。
[0141]进一步的，可以预先设定确认指令对应的语音提示消息，例如语音提示消息可以设定为:“确认输出当前选中数字”，则在获取到确认指令时，提示模块370可以获取并播放该语音提示消息，以提示用户当前选中的目标按键对应的数字已经作为密码输出。
[0142]本发明实施例通过当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键，然后获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据，最后播放所述语音数据，也就是说，终端设备中的支付应用在检测到安全键盘开启时，可以自行监测用户输入的针对安全键盘区域的选中操作指令，并且将选中操作指令选中的目标按键通过TTS将文本内容转为语音播放出来，可以提高终端设备在支付应用中的操作便利性，尤其是针对存在一定功能障碍的人群，其操作便利性的提高尤为明显。
[0143]图4是本发明实施例中另一种安全键盘的读屏装置的结构示意图。本实施例中所描述的装置包括:至少一个输入设备1000 ；至少一个输出设备2000 ；至少一个处理器3000，例如CPU ；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
[0144]其中，上述输入设备1000具体可为终端的触控面板、物理按键、鼠标、麦克风或者摄像头，用于选中操作指令、确认指令等。
[0145]上述输出设备2000具体可为终端的显示屏、扬声器、有线或无线耳机，用于输出、显示图像数据(包含安全键盘)和音频数据(语音数据)。可选的，输出设备中可以包括标准耳机接口或者无线接口，以使装置的处理器3000可以将语音数据通过标准耳机接口或者无线接口向耳机输出。
[0146]上述存储器4000可以是高速RAM存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作:
[0147]上述处理器3000用于:
[0148]当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键；
[0149]获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据；
[0150]播放所述语音数据。
[0151]可选的，上述处理器3000还用于:
[0152]确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具。
[0153]可选的，上述处理器3000还用于:
[0154]输出预存的安全键盘指导信息，所述安全键盘指导信息用于指示用户进行安全键盘选中操作。
[0155]可选的，确定所述选中操作指令选中的所述安全键盘区域中的目标按键时，上述处理器3000用于:
[0156]获取当前在所述安全键盘区域中被选中的按键；
[0157]根据所述选中操作指令确定按键切换方向；
[0158]根据所述当前在所述安全键盘区域中选中的按键，以及所述按键切换方向，确定切换后被选中的目标按键。
[0159]可选的，上述处理器3000还用于:
[0160]当检测到所述用户输入的确认指令时，在密码显示区中输出所述目标按键对应的字符；
[0161 ]获取并播放所述确认指令对应的语音提示消息。
[0162]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
[0163]以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
【主权项】
1.一种安全键盘的读屏方法，其特征在于，所述方法包括:当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键； 获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据； 播放所述语音数据。2.如权利要求1所述的方法，其特征在于，所述监测用户针对安全键盘区域的选中操作指令之前，还包括: 确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具。3.如权利要求2所述的方法，其特征在于，所述确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具之后，还包括: 输出预存的安全键盘指导信息，所述安全键盘指导信息用于指示用户进行安全键盘选中操作。4.如权利要求1所述的方法，其特征在于，所述确定所述选中操作指令选中的所述安全键盘区域中的目标按键包括: 获取当前在所述安全键盘区域中被选中的按键； 根据所述选中操作指令确定按键切换方向； 根据所述当前在所述安全键盘区域中选中的按键，以及所述按键切换方向，确定切换后被选中的目标按键。5.如权利要求1所述的方法，其特征在于，所述方法还包括: 当检测到所述用户输入的确认指令时，在密码显示区中输出所述目标按键对应的字符； 获取并播放所述确认指令对应的语音提示消息。6.一种安全键盘的读屏装置，其特征在于，所述装置包括: 指令监测模块，用于当检测到安全键盘开启时，监测用户针对安全键盘区域的选中操作指令，确定所述选中操作指令选中的所述安全键盘区域中的目标按键； 语音转换模块，用于获取所述目标按键的文本内容，调用终端系统中的文字转语音引擎将所述目标按键的文本内容转换为语音数据； 语音播放模块，用于播放所述语音数据。7.如权利要求6所述的装置，其特征在于，所述装置还包括: 状态确定模块，用于确定安全键盘朗读开关处于开启状态或所述终端系统正在运行视觉辅助工具。8.如权利要求7所述的装置，其特征在于，所述装置还包括: 操作指导模块，用于输出预存的安全键盘指导信息，所述安全键盘指导信息用于指示用户进行安全键盘选中操作。9.如权利要求6所述的装置，其特征在于，所述指令监测模块用于: 获取当前在所述安全键盘区域中被选中的按键； 根据所述选中操作指令确定按键切换方向； 根据所述当前在所述安全键盘区域中选中的按键，以及所述按键切换方向，确定切换后被选中的目标按键。10.如权利要求6所述的装置，其特征在于，所述装置还包括: 显示模块，用于当检测到所述用户输入的确认指令时，在密码显示区中输出所述目标按键对应的字符； 提示模块，用于获取并播放所述确认指令对应的语音提示消息。
【文档编号】G06F3/0488GK106055260SQ201610389253
【公开日】2016年10月26日
【申请日】2016年6月3日
【发明人】朱广锐, 蔡勇斌, 杨骅, 张昆
【申请人】深圳市联谛信息无障碍有限责任公司