一种辅助失语失写者常用语表达的方法及系统

1.本发明涉及输入方法技术领域，更具体的说是涉及一种辅助失语失写者常用语表达的方法及系统。


背景技术：

2.在现有技术中，若使用者要对笔记本电脑输入文字通常是由手动敲打键盘输入，但是现实生活中有短期内意识清楚但不能讲话、不能手写者，如突发车祸伤、突发脑梗等，这些人虽然意识清楚，但不能够表达出简单想法或指令。虽然目前有眼动追踪输入技术，但是效率十分低效，此外，如果用户眼睛收到撞击不能移动，则无法实现指令输入。因此，对本领域技术人员来说，如何设计一种输入方法使得失语失写者能够顺利表达指令是亟待解决的问题。


技术实现要素：

3.有鉴于此，本发明提供了一种辅助失语失写者常用语表达的方法及系统，以解决背景技术中提出的问题。
4.为了实现上述目的，本发明采用如下技术方案：一种辅助失语失写者常用语表达的方法，具体步骤包括如下：
5.确定用户的可移动部位；
6.根据所述可移动部位初步建立所述可移动部位与屏幕按键的对应关系；
7.根据不同的所述可移动部位选择不同的建模方式，确定所述可移动部位的移动方向；
8.根据所述移动方向最终确定所述可移动部位与按键的对应关系，完成指令输入。
9.可选的，建立所述可移动部位的模板，根据所述可移动部位的特点进行不同的建模，针对第一部位，建立模板进行模板匹配；针对第二部位，建立背景区域，进行背景差分。
10.可选的，所述建立模板的过程为：
11.确定roi的椭圆区域，利用gen_circle()函数生成一个椭圆，并找到椭圆的中心；
12.从图像中获取所述椭圆区域的图像，通过reduce_domain()得到roi；
13.对roi进行腐蚀、膨胀运算，求出膨胀区域和腐蚀区域的差值；
14.利用edges_sub_pix函数得出区域的拟合轮廓线，并通过select_contours_xld函数选取轮廓线；
15.通过create_shape_model()函数来创建模板，并利用get_shape_model_contours()找到模板的轮廓，完成模板的建立。
16.可选的，采集所述可移动部位的图像；根据所述图像利用模板匹配算法确定所述可移动部位的目标位置；将所述目标位置与预设位置进行比较，通过匹配函数进行匹配程度打分，若分数达到第一阈值则选择模板匹配进行建模。
17.可选的，还包括建立均匀匹配模板，用于所述可移动部位的粗匹配。
18.可选的，利用所述均匀匹配模板的具体过程为：
19.利用所述均匀匹配模板粗匹配到所述可移动部位建立监测区域；
20.对所述监测区域内的可移动部位进行建模，得到第一模板；
21.用户动作所述可移动部位，利用所述第一模板确定所述可移动部位的移动方向，根据所述可移动部位与按键的对应关系完成指令输入。
22.可选的，所述匹配函数的公式为：
[0023][0024]
其中，(i,j)表示遍历目标图像时的移动偏移值；t(m,n)表示模板中坐标为(m,n)处的灰度值；s(i+m,j+n)表示目标图像在(i+m,j+n)的灰度值；t表示模板区域的灰度均值；s表示目标图像子区域的灰度均值。
[0025]
另一方面，提供一种辅助失语失写者常用语表达的系统，包括移动部位确定模块、对应关系确定模块、模型构建模块、指令输入模块、
[0026]
所述移动部位确定模块，用于确定用户的可移动部位；
[0027]
所述对应关系确定模块，用于根据所述可移动部位初步建立所述可移动部位与屏幕按键的对应关系；
[0028]
所述模型构建模块，用于根据不同的所述可移动部位选择不同的建模方式，确定所述可移动部位的移动方向；
[0029]
所述指令输入模块，用于根据所述移动方向最终确定所述可移动部位与按键的对应关系。
[0030]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种辅助失语失写者常用语表达的方法及系统，通过信息学技术与优化常用语表达过程中的输入方法，使失语失写者能够顺利表达出简单想法或指令，提高表达效率以及对失语失写人群的救治效率。
附图说明
[0031]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0032]
图1为本发明的方法流程图；
[0033]
图2为本发明的在线使用流程图；
[0034]
图3为本发明的输入法结构示意图；
[0035]
图4为本发明的系统结构图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
本发明实施例公开了一种辅助失语失写者常用语表达的方法，如图1所示，具体步骤包括如下：
[0038]
s1、确定用户的可移动部位；
[0039]
s2、根据所述可移动部位初步建立所述可移动部位与屏幕按键的对应关系；
[0040]
s3、根据不同的所述可移动部位选择不同的建模方式，确定所述可移动部位的移动方向；
[0041]
s4、根据所述移动方向最终确定所述可移动部位与按键的对应关系，完成指令输入。
[0042]
进一步的，s2的具体过程为：结合使用者能够活动的部位，如眼、嘴、颈部等，设定控制规则：如果某个部位能够有满意的四种活动方式，如眼球活动，能够进行上、下、左、右活动，则选择该部位，将眼球上、下、左、右活动设定成相应的上、下、左、右控制指令；如果两个或两个以上部位能够有满意的四种活动方式，如眼球向上，嘴部张大、颈部左转、伸舌活动等，自定义选择满意的四种活动设定成相应的上、下、左、右控制指令；如果只有某个部位能够活动，如嘴部张大，将嘴部张大一次、两次、三次、四次设定成上、下、左、右控制指令。
[0043]
进一步的，s2的具体过程为：建立可移动部位的模板，根据可移动部位的特点进行不同的建模，针对第一部位，建立模板进行模板匹配；针对第二部位，建立背景区域，进行背景差分。(眼睛或下巴等图像识别特征明显的部位，可以建立模板，进行模板匹配；胳膊、手脚等特征不太明显但是可以较大范围移动的部位可以建立背景区域，进行背景差分)。
[0044]
根据用户动作的执行情况所对应的图像，进行模板匹配或者背景差分，给出病人执行上下左右动作到位时模板匹配的分数，或者背景差分的灰度差值和面积参数。如果模板匹配在所有动作执行中均达到0.7则可以选择该部位使用模板匹配方法，或者背景差分的灰度差值大于20且面积200像素，则该部位可以选择使用背景差分方法，如都满足要求，则可任意二选一。
[0045]
进一步的，建立模板的过程为：
[0046]
确定roi的椭圆区域，利用gen_circle()函数生成一个椭圆，并利用area_center()找到椭圆的中心；
[0047]
从图像中获取椭圆区域的图像，通过reduce_domain()得到roi；
[0048]
分别对该roi进行腐蚀、膨胀运算，求出两个区域的差值；
[0049]
利用edges_sub_pix函数得出区域的拟合轮廓线，并通过select_contours_xld函数选择合适的轮廓线；
[0050]
通过create_shape_model()函数来创建模板，并利用get_shape_model_contours()找到模板的轮廓，完成模板的建立。
[0051]
进一步的，采集可移动部位的图像；根据图像利用模板匹配算法确定可移动部位的目标位置；将目标位置与预设位置进行比较，通过匹配函数进行匹配程度打分，若分数达到第一阈值则选择模板匹配进行建模。
[0052]
匹配函数的表达式为：
[0053]
式中(i,j)表示遍历目标图像时的移动偏移值；t(m,n)表示模板中坐标为(m,n)处的灰度值；s(i+m,j+n)表示目标图像在(i+m,j+n)的灰度值；t表示模板区域的灰度均值；s表示目标图像子区域的灰度均值。
[0054]
更进一步的，还包括建立均匀匹配模板，用于可移动部位的粗匹配。
[0055]
利用均匀匹配模板的具体过程为：
[0056]
利用均匀匹配模板粗匹配到可移动部位建立监测区域；
[0057]
对监测区域内的可移动部位进行建模，得到第一模板；
[0058]
用户动作可移动部位，利用第一模板确定可移动部位的移动方向，根据可移动部位与按键的对应关系完成指令输入。
[0059]
粗匹配模板可以定位绝大多数的情况，但是由于病人每次的状态不一样，原来建立的粗匹配模板可能不是很准确，所以，定位目标部位之后，重新自动建立一个新的匹配模板，作为此次的精定位模板。该模板在这次用完之后就自动清除，不用于下一次。
[0060]
本发明的在线使用流程如图2所示，依据使用者情况，设定系统默认选择时间(1～10秒)，上、下、左、右控制指令发出后，待设定的默认选择时间结束，即自动选择屏幕中指示的内容或下一步指令。
[0061]
在屏幕上显示一种输入方法，对于字库的选择：选择人民教育出版社2016年7月版小学一年级语文课本上下册(书号分别为9787107312403和9787107315206)与人民教育出版社2017年12月版小学二年级语文课本上下册(书号分别为9787107319327和9787107323836)中生字表，合计1861个常用字组成输入法的字库，屏幕上显示的输入法结构如图3所示。
[0062]
将英文26个字母按照上图分类显示在屏幕上(如图3)，可以选择上下左右区域，按照上述的选择方法，再次选择目标区域，目标区域的字母若为1个，即为需要选择的字母；若2个，再次重复上述过程，直至选择出需要的字母。
[0063]
输入方法具有常用提示功能：当输入想要表达字的拼音时，提示框内会按照小学一年级与二年级语文课本生字表出现的顺序提示12个音近字，若欲输入的字包括在这12个字内，则按照上下左右区域选择方法选出此字；若不包括在这12个字内，则继续输入该字拼音的第二个字母。
[0064]
举例说明本发明的指令输入方法：根据使用者能够活动的部位，按照前述方法，设定上、下、左、右控制指令；并依据使用者情况，设定系统默认选择时间，如果使用者需要表达“口渴”，首先在初始屏幕上选择“左”，则位于左侧的六个拼音选中并重新分配在上下左右的选择框中，再选出字母“k”，待先前设定的系统默认选择时间过后，屏幕会显示字库中按出现顺序排出的12个音近字，若在这12个字中，则直接选择，若不存在这12个音近字中，则不做出选择。待先前设定的系统默认选择时间过后，系统再次出现拼音选择界面，根据上述方法进行选择，若经上述过程多次选择后，仍不能显示出想要表达的字，可提醒失语失写者更换相近词义的表达，例如：“口渴”若不能顺利表达出来，可换做“嘴干”、“水”等相近词
义的表达。
[0065]
另一方面，提供一种辅助失语失写者常用语表达的系统，如图4所示，包括移动部位确定模块、对应关系确定模块、模型构建模块、指令输入模块、移动部位确定模块，用于确定用户的可移动部位；
[0066]
对应关系确定模块，用于根据可移动部位初步建立可移动部位与屏幕按键的对应关系；
[0067]
模型构建模块，用于根据不同的可移动部位选择不同的建模方式，确定可移动部位的移动方向；
[0068]
指令输入模块，用于根据移动方向最终确定可移动部位与按键的对应关系。
[0069]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0070]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。