盲人智能终端交互辅助系统的制作方法

本发明涉及智能终端技术领域，特别是涉及盲人智能终端交互辅助系统。

背景技术：

视力残疾俗称“盲"，它涵盖了我们日常生活中所说的盲和低视力两类。据世界卫生组织(who)2010年统计，全球2.85亿人视力受损，其中盲人占3900万，低视力者占2.46亿。中国是世界上盲人最多的国家，约有825万盲人，占世界盲人人口数目的21％。人口增长和老龄化加快，眼科专业医护人员缺少，防盲治盲意识缺乏以及医学技术落后，是我国盲人人数不断上升的主要原因。每年我国约有45万人失明，几乎每分钟就会增加一例新的盲人。按照这种发展趋势，预期中国盲人数量到2020年将增加4倍。因此，越来越庞大的盲人群体，需要社会各界更多的关爱和支持。视力残疾者是指由于各种原因使视觉器官或大脑视中枢的构造或功能发生部分或完全病变，导致双眼不同程度的视力损失或视野缩小，视功能难以像一般人一样在从事工作、学习或进行其它活动时应用自如，甚至丧失，他们主要依靠残余视力、听觉和触觉从外界获取信息。

目前，国内外对于综合性的盲人智能设备交互辅助系统的研究与设计还处于起步阶段。以盲人使用智能手机为例，绝大部分盲人使用语音或是触摸的交互方式，即安装读屏软件或连接盲文显示器来“阅读”智能手机所显示的信息做出相应的操作，从而实现交互。

对于视觉系统受损的盲人，听觉阅读信息量大但时间长容易造成听力下降，易与环境中的声音相互干扰；并且读屏软件对图形界面不友好，对盲人发出的语音指令识别的辨识度要求较高。而市场上的盲文转化与显示设备又存在着价格高、体积大、同步转化速度有限、单位时间内传递信息量小等不足。由于智能设备上的应用软件和网页上信息量大，其中包含着大量广告、图形等冗余信息，不论是读屏软件的语音交互还是盲文显示器的触摸交互方式都只是对智能设备屏幕局部文字或控制信息的完整再现，盲人快速找到并浏览自己感兴趣的内容十分不易。

技术实现要素：

本发明实施例提供了盲人智能终端交互辅助系统，可以解决现有技术中存在的问题。

一种盲人智能终端交互辅助系统，包括移动终端和外部设备，所述移动终端上安装有app应用程序，该app应用程序包括ui分析、汉盲转换和语音助手三个模块；

所述ui分析模块利用accessibilityservice服务接口对所述移动终端上显示的图形界面进行分析并整理，所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上，所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理；

所述外部设备分为电刺激盲文显示和键盘两个模块，所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文，所述键盘模块通过选择显示信息、盲文输入和快捷功能控制所述移动终端的显示和输入。

优选地，所述ui分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的ui布局数据树，所述ui布局数据树即为多个文本组成的树形结构；对于所述ui布局数据树中字数超过一定数量的文本，所述ui分析模块还使用textrank算法对长文本进行自动摘要，得到中文摘要文本。

优选地，得到文本后，所述汉盲转换模块首先根据汉字字库对文本进行自动分词，得到多个汉语分词，然后根据汉语拼音库将汉语分词转换为对应的汉语拼音，接着根据汉语拼音-盲文拼音库将汉语拼音转换为对应的盲文拼音，最终得到盲文文本，将盲文文本通过蓝牙设备传输至电刺激盲文显示模块予以显示。

优选地，在将汉语分词转换为汉语拼音前，所述汉盲转换模块会首先判断分词中的字是否为多音字，如果是多音字，则使用多音字字符库按照多音字识别规则来判断哪个音节最符合该字；如果不是多音字，则直接根据汉语拼音库将每个汉字转换为相应的拼音，把一个分词中每个字的拼音组成拼音组后输出为汉语拼音。

优选地，所述语音助手模块先通过移动终端的麦克风接收盲人的语音输入，然后使用科大讯飞语音处理引擎将语音输入转换为对应的文字，接着对文字进行分析，识别其中的关键词，判断识别得到的关键词是否为预设命令，如果是预设命令，则按照命令表执行，如果不是预设命令，则作为字符串输入。

本发明实施例中的盲人智能终端交互辅助系统，提出了将图形界面分析整理转化成盲文显示的概念，并且能够对较长文字块自动摘要。同时系统将盲文显示技术与语音识别、按键输入相结合，为盲人与智能设备间提供了多样化的交互方式，极大地满足了盲人用户在不同场合对智能设备的使用需求。这样智能且综合的交互辅助系统的应用必将对盲人与智能设备的交互方式产生全新的影响。本发明功能实用，性能稳定，使用灵活，成本为现有盲文点显器价格的1/20，随着智能设备的普及，本设备能够在盲人辅助设备市场产生可观的经济效益。此外本系统基于android这一开放性平台，不仅针对智能手机，还可应用于平板电脑、导航仪等多种智能设备，适用范围广阔。通过功能的拓展，本系统将在实际应用中不断地显现其卓越的性能和巨大的深层开发潜力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为电刺激盲文显示模块的电极阵列示意图；

图2为图1中电极阵列的驱动电路；

图3为开关电路示意图；

图4为隔离电路示意图；

图5为一个盲文的六个点示意图；

图6为键盘模块在输入状态下的对照示意图；

图7为键盘模块在非输入状态下的对照示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了盲人智能终端交互辅助系统，包括移动终端和外部设备，所述移动终端优选使用android终端，其安装有app应用程序，该app应用程序包括ui分析、汉盲转换和语音助手三个模块。

所述ui分析模块利用accessibilityservice服务接口对移动终端上显示的图形界面进行分析并整理，同时使用textrank算法对较长文字块自动摘要。所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上。所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理。

所述外部设备分为电刺激盲文显示和键盘两个模块。所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文。所述键盘模块通过选择显示信息、盲文输入和快捷功能呼出三个功能的组合，帮助盲人更快捷地使用移动终端。

所述ui分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的ui布局数据树，所述ui布局数据树即为多个文本组成的树形结构。

对于所述ui布局数据树中的较长文本，例如文本字数超过一定数量，为简化盲人的操作，方便盲人使用，所述ui分析模块还使用textrank算法对长文本进行自动摘要，得到中文摘要文本。

得到文本后，所述汉盲转换模块首先根据汉字字库对文本进行自动分词，得到多个汉语分词，然后根据汉语拼音库将汉语分词转换为对应的汉语拼音，接着根据汉语拼音-盲文拼音库将汉语拼音转换为对应的盲文拼音，最终得到盲文文本，将盲文文本通过蓝牙设备传输至电刺激盲文显示模块予以显示。

在将汉语分词转换为汉语拼音前，所述汉盲转换模块会首先判断分词中的字是否为多音字，如果是多音字，则使用多音字字符库按照多音字识别规则来判断哪个音节最符合该字；如果不是多音字，则直接根据汉语拼音库将每个汉字转换为相应的拼音，把一个分词中每个字的拼音组成拼音组后输出为汉语拼音。

所述语音助手模块先通过移动终端的麦克风接收盲人的语音输入，然后使用科大讯飞语音处理引擎将语音输入转换为对应的文字，接着对文字进行分析，识别其中的关键词，判断识别得到的关键词是否为预设命令，如果是预设命令，则按照命令表执行，如果不是预设命令，则作为字符串输入。

所述电刺激盲文显示模块为一个电极阵列，如图1所示，每个电极由内外两个刺激环组成，外环接刺激电源，内环接地。行扫描端和列扫描端共同作用控制着电极的通断，其中行扫描端与刺激电压通过开关相连，列扫描端则通过开关与地相连，行扫描端的控制信号为盲文文本经矩阵转换产生的点阵数据，列扫描端信号受刺激控制单元控制，图1中x0-x7为行扫描端，y0-y7为片选信号，即列扫描端，控制每一列的导通。

所述电极阵列的驱动电路如图2所示，cpu为stm32f4单片机，其与所述移动终端通过蓝牙连接，接收所述汉盲转换模块输出的盲文文本，将盲文文本转换为对应的点阵信号后输出给对应电极，同时也定时生产刺激波形信号，控制每一行电极的输出时间和阵列行间转换。所述单片机通过3根控制总线实现8片74hc595的级联，单片机的p1口与8片74hc595的输出使能端相连，并循环定时输出控制信号切换输出端口，每个周期只有一个使能端输出。

每片74hc595输出8个开关信号，8片74hc595输出64个开关信号，该64个开关信号分别控制所述电极阵列中的64个电极，每一个开关信号的通断由点阵信号决定，通断时间由片选信号决定。

为保证8片74hc595的驱动能力相同，增加数据缓冲器74hc245，具体连接方式为：单片机的3根控制总线加上上拉电阻与缓冲器74hc245的3个输入端连接，74hc245的输出端与74hc595的输入端连接。

开关电路如图3所示，74hc595输出的开关信号经过电阻r1输入，电阻r1连接至npn型三极管q1的基极，三极管q1的基极通过电阻r2接地，发射极也接地，集电极通过串联的电阻r3和r5连接至pnp型三极管q2的发射极，三极管q2的发射极同时也连接在刺激电源vcc上，该刺激电源vcc可输出0-200v的电压，三极管q2的基极连接在电阻r3和r5之间，集电极通过电阻r4输出刺激电压至电极上。当输入的开关信号为高电平，q1导通，q1集电极电流经r4和r3流向地，q2基极电压低于发射极，q2导通，电流流向集电极，电极上获得刺激电压。

隔离电路如图4所示，整流滤波电路将220v交流电转换为48v直流电，经过隔离电压模块隔离后输出12v直流电，12v直流电一部分经过升压电路转换为0-200v直流电源，作为刺激电源vcc使用，另一部分通过降压电路转换为5v直流电，供所述单片机使用。

所述键盘模块为矩阵键盘，如图5所示为一个盲文的六个点，图6所示的矩阵键盘将键值为1、4、7、3、6、9的六个键分别作为图5所示盲文的1、2、3、4、5、6六个点，每按下一个键表示该位置的盲文字符点为凸，未按则表示平，在完成字符输入后按确认键完成字符输入。

在盲文输入时，通过将键值表示为2的幂次方来区分不同盲文字符，例如盲文字符点1的键值为2¹，即2，盲文字符点2的键值为2²，即4，以此类推。在解析盲文字符时通过对键值的分解完成盲文字符的存储和解码。

所述键盘模块在非输入状态下，各按键的功能如图7所示，手型键表示确认，r键表示输入法切换，m键表示切换状态(在输入状态与功能状态间切换)，s键表示呼出语音助手。用户通过“上”和“下”在显示器上显示的窗口列表上进行选择，然后点击确定，后台模拟一个对该窗口的点击操作。若该字串较长，通过“左”和“右”完成“上一页”和“下一页”的信息查阅操作。若在摘要信息框中，则点击手型键表示查阅完整文本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。