一种基于注音提示多点触摸手势识别的盲文输入法的制作方法

文档序号:14897241发布日期:2018-07-08 08:38阅读:186来源:国知局

本发明涉及一种盲文输入法,具体地,涉及一种基于注音提示多点触摸手势识别的盲文输入法。



背景技术:

据统计,2010年末我国约有视力残疾1263万人,世界卫生组织估计全世界有盲人4000万到4500万,低视力是盲人的3倍,约1.4亿人。日益增长的残疾人人口和他们对信息迫切的需求是目前信息无障碍建设面临的严峻挑战。使用计算机进行信息处理是现代人的基本能力,但是目前普通计算机中的信息处理的人机交互是针对普通人设计的,较少考虑到视觉障碍人士的应用需求,比如目前智能手机中有“特殊符号键盘”app程序,该程序安装后,在该输入法界面中有一张盲文表,选择一个单元格即可输入盲文,问题是无语音提示,无触觉感知,盲人无法使用该输入法。

科学技术发展,越来越多的科技产品走进我们的生活,近年来,智能手机、平板电脑越来越普及,其中的触摸屏技术越来越成熟,但是盲人使用触摸屏的智能手机存无法输入盲文。

盲文是国际通用的点位由六个凸起的圆点为基本结构组成,是专供盲人摸读、书写的文字符号。如图1盲文示意图,6个圆点构成1方盲文,形成2×3点阵,其中左边分别称为1,2,3点,右边称为4,5,6点。目前,盲人阅读的书籍等都是用盲文刻印机刻出立体的盲文点位,盲人通过手指触觉摸读盲文;而在上网或者阅读电子书籍时,则使用读屏软件,通过文语转换技术将汉字转换为声音,用“听”完成书籍阅读,这也是目前最常用的方法。现在智能手机上也有相应的读屏软件。

盲人使用触摸屏的电子设备时,其人机交互技术包含输入与输出两个方面。盲人使用计算机时,输入阶段可用键盘、麦克风作为语音识别等输入设备将文字或命令输入计算机;输出阶段则是指将文字或其它信息语音方式输出。日趋成熟的语音识别技术与文语转换技术,在智能手机、平板电脑上也广泛使用。这些技术多是基于中文语音系统,目前在触摸屏的电子设备,盲人进行盲文输入存在困难。

盲人在使用普通计算机时,因为有键盘,输入盲文信息尚较为方便,在使用触摸屏的电子设备时,输入信息方式,主要有以下几种方法:

1.拼音输入法:

因为盲文本身就是声母与韵母表示,现有汉字只能输入法,如搜狗输入法都具备联想功能,盲人在带有键盘的普通计算机上能够通过拼音输入法输入汉字。

优点:盲人记住键盘的键位,熟练后,打字速度不慢。没有键盘的智能电子设备上,一般在触摸屏上采用虚拟键盘,手指滑过相应区域,给出语音提示完成信息输入。

缺点:因为虚拟键盘区域无法直接定位,要输入m,就要一次滑过虚拟键盘多个键位,效率较低,目前很少使用。

2.语音识别输入

近年的人工智能的突破,促进了自然语言处理领域的发展,尤其是文语转换与语音识别技术的发展,在智能手机、平板电脑等电子设备上得到充分应用。在触摸屏的电子设备中,盲人主要采用这种方式输入信息,包括语音信息,或者将语音与文字互转。

优点:输入效率高,操作方便。

缺点:①嘈杂环境下输入信息困难;②不利于隐私的保护;③包括盲文在内的非中文的符号信息(数理化符号、音乐符号等)无法输入。

目前在触摸屏中也有一些特有的输入法,如:

3.采用单手指触摸,专利号为2012105023299公开了一种手势识别的盲文输入法和专利号zl2013106616417公开的多点触摸手势识别的输入法,均是利用手指在触摸屏上触摸形成手势库,查找手势库与盲文对照表,完成盲文的对应文字信息输入。

优点:能够利用盲文结构信息在触摸屏设备上输入盲文信息(不出现盲文),并转为汉字信息。

缺点:①图形过多,缺乏盲文点位内在逻辑性,不利于点位图形记忆,使得输入效率低;②仅利用盲文作为转换介质,输入汉字信息,并没有输入真正的盲文;③触摸屏上没有触觉参照物,触摸形成的手势图形不可避免偏离,造成的误差很大,使得输入速度大大降低。

4.专利号2014101331336公开的一种在触摸屏上输出及输入盲文字符的方法及装置,根据所确定的盲文字符的凸起点位与非凸起点位的分布,用双击触摸动作来表示盲文字符中的凸起点位,用无触摸动作表示盲文字符中的非凸起点位,当然,也可以用其它方式来表示凸起点位与非凸起点位,例如可以用长按2秒来表示凸起点位,用无触摸动作表示盲文字符中的非凸起点位。

优点:主要还是触摸屏的输出盲文,确定当前待输出的盲文在触摸屏的不同区域,分别输出与该区域点位类型对应的触摸响应方式。没有语音提示,可以输入盲文。

缺点:效率极低,未考虑触觉参照物的定位。例如:要输入盲文字符就需要在2,3,4,6点的区域双击或者每个区域长按2秒,双击方式,每个点均要重新定位,加上输入确认按键,该盲文要定位5次,反复的定位区域效率低,错误率也极高;长按2秒方式,输入一方盲文长达10秒,效率极低。

5.专利号2015800406982公开的触摸屏实施的虚拟盲文键盘的动态校准,模拟盲文键盘,在屏幕上虚拟盲文键盘进行盲文输入。考虑触摸没有触觉参照物问题,能够触摸屏上实施的虚拟盲文键盘的动态地校准。

优点:无需语音提示,完成盲文输入,模拟盲文键盘,且能够动态校准,触摸定位问题较好解决。

缺点:设备间的差异性大,输入盲文的模拟键盘解决的不好。很多情况下也无法输入该输入法,例如走路时,智能手机不能放置在一个平面上就不能使用。



技术实现要素:

本发明为了解决现有技术中存在的上述缺陷和不足,提供了一种基于注音提示多点触摸手势识别的盲文输入法。

为解决上述技术问题,本发明提供一种基于注音提示多点触摸手势识别的盲文输入法,包括负载在电子设备上的多点触摸区域、并由该多点触摸区域生成多点触摸区域图形信息库模块,多点触摸区域图形信息库识别模块,以及盲文输入模块;

其中,多点触摸区域图形信息库模块:根据盲文上方四点位置特征和多点触摸区域的图形信息建立多点触摸区域基本图形特征,通过对基本图形特征增加一个或两个手指触摸,构建多点触摸区域图形信息库,并生成多点触摸区域的图形信息与盲文点位的一一对照表;

多点触摸区域图形信息识别模块:利用双手触摸,压住或者滑过多点触摸区域形成图形信息,从而采集输入点数、区域、形成图形结构,绘出多点触摸区域图形信息特征,并把该图形信息特征与多点触摸区域图形信息库中的图形比较,并查找盲文对照表,提取出盲文;

盲文输入模块:一个完整的图形信息对应一方盲文,并由语音提示给出盲文注音,供视障人士选择候选盲文点位,实现盲文的输入。

进一步,所述电子设备为平板电脑或智能手机。

进一步,多点触摸区域包括6个区域,分两排排列,第一排置于第二排上方,其中按从左向右的顺序,若电子设备为只能手机,则第一排区域分别为1、4、3区域,第二排区域分别为2、5、6区域;若电子设备为平板电脑,则第一排分别为3、1、4区域,第二排分别为6、2、5区域;在第二排区域的下方还设有两个区域,分别为确认区域和退格区域。

进一步,建立多点触摸区域的图形信息与盲文对照表的具体过程为:依据盲文点位的内在逻辑,首先,建立盲文1、2、4、5点构成的盲文点位,3和6点位为空,并根据上述四点构成的区域信息建立多点触摸区域图形信息库;然后,对盲文信息分组编号,分别为第一组、第二组、第三组和第四组,其中第一组是由1、2、4、5点组成的盲文点位,共计16个,从而建立16个基本盲文图形:1.在多点触摸区域点击1区域,代表盲文点位为1;2.在多点触摸区域点击2区域,代表盲文点位为2;3.在多点触摸区域点击4区域,代表盲文点位为4;4.在多点触摸区域点击5区域,代表盲文点位为5;5.在多点触摸区域点击1区域并滑到2区域上结束,代表盲文点位为12;6.在多点触摸区域点击1区域并滑到4区域结束,代表盲文点位为14;7.在多点触摸区域点击1区域并滑5区域结束,代表盲文点位为15;8.在多点触摸区域点击2区域并滑到4区域结束,代表盲文点位为24;9.在多点触摸区域点击2区域并滑到5区域结束,代表盲文点位为25;10.在多点触摸区域点击4区域并滑到5区域结束,代表盲文点位为45;11.在多点触摸区域点击1区域并依次滑到2区域和4区域结束,代表盲文点位为124;12.在多点触摸区域点击1区域并依次滑到2区域和5区域结束,代表盲文点位为125;13.在多点触摸区域点击1区域并依次滑到4区域和5区域结束,代表盲文点位为145;14.在多点触摸区域点击2区域并依次滑到4区域和5区域结束,代表盲文点位为245;15.在多点触摸区域点击1区域并依次滑到2区域、4区域和5区域结束,代表盲文点位为1245;16.点击确认区域,代表盲文点位为空格。

进一步,手指滑动方向以盲文点位的点位数字由小到大的次序,在移动过程中,若从点位数字大的区域滑向点位数字小的区域,则默认结束,结束后的触摸手势图形为噪音。

进一步,建立第二组盲文图形:依据盲文内在逻辑结构,第二组盲文是在第一组盲文基础上加上3点位;

建立第三组盲文图形:依据盲文内在逻辑结构,第三组盲文是在第一组盲文基础上加上6点位;

建立第四组盲文图形:依据盲文内在逻辑结构,第四组盲文是在第一组盲文基础上加上3和6点位。

进一步,对多点触摸区域图形信息的识别包括以下步骤:

一,触摸屏感应到手指的触摸,触摸屏上得到图形的各点坐标信息,坐标信息包括触摸点数、滑过区域以及滑动形成的图形;

二,各点坐标信息进行预处理,过滤掉孤立点和重复点;其中,孤立点是指独立的、与主点群没有连接关系的点,重复点是指当用户在多点触摸区域进行触摸时如有停顿,则会产生很多的(x,y)坐标值相同的或者相近的点,然后收集坐标信息的触点、滑过区域以及滑动形成的图形;

三,提取多点触摸区域图形信息的特征,找出图形信息的所有特征信息,再把特征信息归类合并,判断特征信息的归类,从而识别出多点触摸区域图形信息的图形;其中,特征信息分为3类,分别为:1.触点数目;2.压住或滑过的区域编号区域;3.滑动时构成的图形;

四,确定了图形信息的特征后,从多点触摸区域图形信息库中查找出对应的图形信息;

五,依据对照表提取出具有该图形信息的图形代表的盲文点位。

本发明所达到的有益技术效果:

1.为盲人用户利用多点触摸屏等新型输入介质提供了便利。

2.实现了在触摸屏的电子设备上完成输入盲文功能。

3.盲文点位中的1,2,4,5点构成图形与盲文点位相似度高,基本图形数量少,扩展图形保留盲文点位分布的内在逻辑性,便于盲人易学易记;

4.盲文点位中的3,6点完全依靠增加手指触摸,与盲文内部逻辑结构高度相似,减少输入时的变换与思考时间,从而提高输入盲文的效率。

5.固定触摸区域,便于视障人士练习,从而记住触摸区域,便于利用设备的边框与边缘作为触摸的参照物,利于多点触摸图形的稳定性。

6.实现输入盲文的基础上,再增加盲文信息表达规则,亦能实现触摸屏上输入数理化符号、音乐符号等(这些符号无键位对应,且不好用语音表达),使得盲人能够更好使用平板电脑、智能手机等,给盲人用户提供体验和利用新介质输入的便利,也为他们提供了学习平台。

附图说明

图1盲文点位示意图;

图2利用多点触摸区域图形信息输入盲文的流程图;

图3智能手机上触摸区域分布示意图;

图4平板电脑上触摸区域分布示意图。

具体实施方式

下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。

下面结合附图和实施例对本发明专利进一步说明。

本发明提供一种基于注音提示多点触摸手势识别的盲文输入法,包括负载在电子设备上的多点触摸区域、并由该多点触摸区域生成多点触摸区域图形信息库模块,多点触摸区域图形信息库识别模块,以及盲文输入模块;

其中,多点触摸区域图形信息库模块:根据盲文上方四点位置特征和多点触摸区域的图形信息建立多点触摸区域基本图形特征,通过对基本图形特征增加一个或两个手指触摸,构建多点触摸区域图形信息库,并生成多点触摸区域的图形信息与盲文点位的一一对照表;

多点触摸区域图形信息识别模块:利用双手触摸,压住或者滑过多点触摸区域形成图形信息,从而采集输入点数、区域、形成图形结构,绘出多点触摸区域图形信息特征,并把该图形信息特征与多点触摸区域图形信息库中的图形比较,并查找盲文对照表,提取出盲文;

盲文输入模块:一个完整的图形信息对应一方盲文,并由语音提示给出盲文注音,如盲文点位为则语音提示发出“二三四六点”语音,供视障人士选择候选盲文点位,实现盲文的输入。

详细过程如下:

首先对多点触摸区域划分,如图3-4所示:多点触摸区域包括6个区域,分两排排列,第一排置于第二排上方,其中按从左向右的顺序,若电子设备为只能手机,则第一排区域分别为1、4、3区域,第二排区域分别为2、5、6区域;若电子设备为平板电脑,则第一排分别为3、1、4区域,第二排分别为6、2、5区域;在第二排区域的下方还设有两个区域,分别为确认区域和退格区域。

一,建立多点触摸区域的图形信息与盲文对照表的具体过程为:依据盲文点位的内在逻辑,首先,建立盲文1、2、4、5点构成的盲文点位,3和6点位为空,建立的时候考虑这四点构成的图形形状,并根据上述四点构成的区域信息建立多点触摸区域图形信息库。●表示手指起点或者手指压住区域,线段表示手指滑动方向,第一组全部是1,2,4,5点组成的盲文,共计16个,设计出16个基本图形,其中空格点位独立建立,对盲文信息分组编号,分别为第一组、第二组、第三组和第四组。

1.第一组是由1、2、4、5点组成的盲文点位,共计16个,从而建立16个基本盲文图形,如表1所示:1.在多点触摸区域点击1区域,代表盲文点位为1;2.在多点触摸区域点击2区域,代表盲文点位为2;3.在多点触摸区域点击4区域,代表盲文点位为4;4.在多点触摸区域点击5区域,代表盲文点位为5;5.在多点触摸区域点击1区域并滑到2区域上结束,代表盲文点位为12;6.在多点触摸区域点击1区域并滑到4区域结束,代表盲文点位为14;7.在多点触摸区域点击1区域并滑5区域结束,代表盲文点位为15;8.在多点触摸区域点击2区域并滑到4区域结束,代表盲文点位为24;9.在多点触摸区域点击2区域并滑到5区域结束,代表盲文点位为25;10.在多点触摸区域点击4区域并滑到5区域结束,代表盲文点位为45;11.在多点触摸区域点击1区域并依次滑到2区域和4区域结束,代表盲文点位为124;12.在多点触摸区域点击1区域并依次滑到2区域和5区域结束,代表盲文点位为125;13.在多点触摸区域点击1区域并依次滑到4区域和5区域结束,代表盲文点位为145;14.在多点触摸区域点击2区域并依次滑到4区域和5区域结束,代表盲文点位为245;15.在多点触摸区域点击1区域并依次滑到2区域、4区域和5区域结束,代表盲文点位为1245;16.点击确认区域,代表盲文点位为空格。

为了减少触摸时形成的噪音图形信息的干扰,提高多点触摸区域图形信息之间的区分度,手指在触摸区域上移动,需满足规定的次序原则:手指移动方向以盲文点位的点位数字由小到大的次序,在移动过程中,若从点位数字大的区域滑向点位数字小的区域,则默认结束,结束后的触摸手势图形为噪音。例如输入盲文116号盲文时,其点位为1245点,则手指触摸必须从1点区域开始,滑到2区域,再转向4区域滑到5区域。除此以外,均为错误或者其他盲文点位,若从2区域开始触摸并滑动到5,再转向4,再滑到1,因为5大于4,则默认结束,后面触摸图形信息为噪音,即有效输入为的盲文点位为25,表示110号盲文。以此类推,若滑动轨迹为2145区域,则有效输入的盲文点位为2,表示103号盲文。

2.建立第二组盲文图形,如表2所示:依据盲文内在逻辑结构,第二组盲文是在第一组盲文基础上加上3点位;第二组盲文是在第一组基础上增加中指按住3点区域。如108号盲文对应到208号盲文为208号盲文的触摸区域图形手势是在108号盲文图形手势基础上增加一个手指触摸区域,其余以此类推。

3.建立第三组盲文图形,如表3所示:依据盲文内在逻辑结构,第三组盲文是在第一组盲文基础上加上6点位;第三组盲文是在第一组基础上增加左手的无名指按住6点区域。例如108号盲文对应到308号盲文为308号盲文的触摸区域图形手势是在108号盲文图形手势基础上增加一个手指触摸区域,其余以此类推。

4.建立第四组盲文图形,如表4所示:依据盲文内在逻辑结构,第四组盲文是在第一组盲文基础上加上3和6点位;第四组盲文是在第一组基础上增加中指按住3点区域,无名指同时按住6点区域。例如108号盲文对应到408号盲文为408号盲文的触摸区域图形手势是在108号盲文图形手势基础上增加两个手指触摸区域,其余以此类推。

表1:第一组多点触摸区域图形信息与盲文点位对照表

表2:第二组多点触摸区域图形信息与盲文点位对照表

表3:第三组多点触摸区域图形信息与盲文点位对照表

表4:第四组多点触摸区域图形信息与盲文点位对照表

二,对多点触摸区域图形信息的识别包括以下步骤,如图2所示:

1.触摸屏感应到手指的触摸,触摸屏上得到图形的各点坐标信息,坐标信息包括触摸点数、滑过区域以及滑动形成的图形;

2.各点坐标信息进行预处理,过滤掉孤立点和重复点;其中,孤立点是指独立的、与主点群没有连接关系的点,重复点是指当用户在多点触摸区域进行触摸时如有停顿,则会产生很多的(x,y)坐标值相同的或者相近的点,然后收集坐标信息的触点、滑过区域以及滑动形成的图形;

3.提取多点触摸区域图形信息的特征,找出图形信息的所有特征信息,再把特征信息归类合并,判断特征信息的归类,从而识别出多点触摸区域图形信息的图形;其中,特征信息分为3类,分别为:1.触点数目;2.压住或滑过的区域编号区域;3.滑动时构成的图形;

4.确定了图形信息的特征后,从多点触摸区域图形信息库中查找出对应的图形信息;

5.依据对照表提取出具有该图形信息的图形代表的盲文点位。

三,信息输入过程:在对照表中找到盲文点位后,以语音形式输出盲文的注音,便于检查录入盲文的正确性。每完成一次多点触摸,就完成一方盲文输入。

实施例

输入数学式a+b<0,其盲文点位表达式为:

查找对照表得到以下多点触摸区域图形信息:

输入过程为:1.压住6区域同时点击5区域;2.单击1区域;3.压住3区域同时点击2区域滑到5区域;4.点击1区域滑到2区域;5.压住6区域同时点击2区域滑到4区域;6.压住3和6区域同时点击4区域滑到5区域;7.点击2区域滑到4区域再滑到5区域。

以上已以较佳实施例公布了本发明,然其并非用以限制本发明,凡采取等同替换或等效变换的方案所获得的技术方案,均落在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1