一种可穿戴智能设备及手语学习方法与流程

本发明涉及可穿戴智能设备的应用，更具体的涉及一种可穿戴智能设备及手语学习方法。

背景技术：

听障群体之间，由于听力问题，在日常生活中，往往需要使用手语进行沟通。为了更有效的和听障群体进行沟通交流，需要沟通者掌握一定程度的手语能力。从社会公平公正的角度，也需要社会服务人员，如银行客服人员、电信客服人员、火车站售票人员等，掌握一定程度的手语知识，才能更好服务于听障群体。

现有的手语学习方法，主要包括：（1）特殊学校教学：特殊学校资源的手语教学资源的有限性限制了手语教和学的范围；（2）查手语词典自学：效率低下；（3）看手语视频自学：视频内容的静态性及不可更改性，限制了手语学习的效率。总体而言，现有手语学习方式，效率比较低下，不利于手语的学习和推广。

技术实现要素：

本发明针对上述问题，提出了一种可穿戴智能设备及手语学习的方法。

一种可穿戴智能设备，包括语音获取模块、文字获取模块、手语词汇动画库、自然语言处理模块、动画生成模块以及反馈模块；

所述语音获取模块和文字获取模块分别和自然语言处理模块，所述自然语言处理模块和手语词汇动画库分别和动画生成模块连接，所述动画生成模块和反馈模块连接；

语音获取模块用于获取语音；文字获取模块用于获取文字；手语词汇动画库用于存储手语词汇的3d骨骼动画；自然语言处理模块用于对语音和文字进行自然语言的语义分析，最终得到动画生成模块所需的手语词汇序列；动画生成模块用于手语词汇序列的动画生成，最终得到一个完整的骨骼动画；反馈模块将生成的骨骼动画反馈给使用者。

进一步的，所述反馈模块的反馈结果显示在可穿戴设备的屏幕上，或输出到如智能手表、显示器、电视机或手机的显示设备上。

进一步的，所述可穿戴设备，是智能手机，智能眼镜和其他带有显示设备的设备。

进一步的，语音获取模块启动可穿戴设备的录音功能对使用者的声音进行录音。

进一步的，文字获取模块提供使用者一个文字输入框，让使用者输入文字。

进一步的，手语动词汇画库如下建立：导入建好的手语词汇动画，并录入该词汇对应的手语解释和手语图片，然后将词汇动画和词汇的手语解释和手语图片一起提交到手语词汇动画库中。

进一步的，自然语言处理模块的语音识别的功能，调用了第三方的语音识别接口。

进一步的，自然语言处理模块利用分词树进行自然语言文本的全分词操作，并进行了截枝处理，具体方式是：最先得到的一组分词最后一个词的层级记为l，然后分词继续进行，当全部展开到l层，分词中止。这样，分词算法会得到一组或多组的分词结果。

进一步的，动画生成模块处理自然语言处理得到的多组分词结果，处理过程包括如下步骤：

步骤a：分词结果预处理；模块内置一个冗余词词表，从分词结果中去除该表中包含的冗余词；

步骤b：手语标准词获取；模块内置一个手语同义词词表，其中包含手语词汇标准词和对应的同义词序列，对每个分词进行操作，从获取这些分词对应的手语标准词；

步骤c：核心词汇挑选；模块内置一个自手语专家手工整理的核心词汇表，在不影响意义表达的情况下，尽可能的简化手语动作；

步骤d：分词结果再整理；模块内置一个手语专家手工整理的分词组合表；

步骤e：基于状态机的动画拼接；模块内置一个手语动画生成的状态机，根据不同的上下文，进行手语词汇动画的选择，让生成的手语动画更加流畅和自然，同时设置一个标准的起止动作，如果两个手语动作拼接不起来，则都用这个标准的动作进行结束和开始。

一种手语学习方法，包括以下步骤：

步骤1，获取使用者输入：通过语音或文字的方式，接受使用者的输入，最终获取自然语言的文本；

步骤2，自然语言处理：对自然语言的文本进行自然语言处理，理解出使用者所需手语的含义，并将其翻译成对应的手语词汇序列；

步骤3，手语动画生成：通过手语词汇序列得到手所需的各个候选的手语词汇动画片段，然后进行手语骨骼动画的自动生成；

步骤4，手语动画反馈：将生成的手语动画反馈给使用者。

通过使用根据本发明的可穿戴智能设备及手语学习的方法，使用者能够随时随地进行手语的学习，有利用手语的学习和推广。

附图说明

图1为本发明实施例中的可穿戴智能设备的结构框图。

图2为本发明实施例中的可穿戴智能设备的动画生成模块的生成步骤图。

图3为本发明实施例中的可穿戴智能设备手语学习方法的流程图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

如图1所示，根据本发明实施例的一种可穿戴智能设备包括语音获取模块101、文字获取模块102、手语词汇动画库103、自然语言处理模块104、动画生成模块105以及反馈模块106。

在实际使用中，例如在某些场景下，具体而言比如日常手语学习环境中，使用者需要使用本设备学习一些日常的手语词汇，那么可以启动可穿戴智能设备，利用语音获取模块101，使用语音的方式获取所需掌握的日常词汇或句子，或者利用文字获取模块102，使用文字的方式获取。自然语言处理模块104将日常词汇或句子，如果是语音，则进行语音识别。然后对识别或获取得到的文字，进行语义的理解，将其翻译成对应的手语词汇序列。动画生成模块105根据获取的手语词汇序列，从手语动词汇画库103中获取对应的手语词汇动画，以这些手语词汇动画为基础片段，拼接形成一个完整的手语动画。反馈模块106将手语动画反馈给使用者。反馈模块106可以以动画反馈，也可以是图片序列反馈。具体的，反馈结果可以显示在可穿戴设备的屏幕上。当然，反馈方式不限于此，也可以输出到智能手表、显示器、电视机或手机等其他的显示设备上。

具体的，本发明中，可穿戴设备，可以是智能手机，智能眼镜和其他带有显示设备的设备，甚至这些设备也包括某些不可穿戴设备，那么，反馈模块106会将反馈信息显示在这些设备对应的显示设备上。获取使用者输入的方式，也不限定语音和文字，也可以是利用无线或有线传输等方式导入的现有的语音或文字，甚至是实时获取的语音或文字。

语音获取模块101会启动可穿戴设备的录音功能对使用者的声音进行录音。

文字获取模块102会提供使用者一个文字输入框，让使用者输入文字。

手语动词汇画库103可如下建立：导入建好的手语词汇动画，并录入该词汇对应的手语解释和手语图片，然后将词汇动画和词汇的手语解释和手语图片一起提交到手语词汇动画库中。手语词汇动画的制作可以采用3dmax等3d动画软件，也可以采用专业的动作捕获设备自动产生加上一定的手工调整。

自然语言处理模块104，其中，语音识别的功能，调用了第三方的语音识别接口。本发明中自然语言处理模块的核心功能是分词。

关于分词，现有的分词方法，采用了正向最大匹配、逆向最大匹配和最大概率法分词技术。研究成果表明，存在分词结果，即不是正向最大匹配或逆向最大匹配，也不是最大概率法分词的情况。在本发明中，利用分词树进行自然语言文本的全分词操作，但进行了截枝处理，具体方式是：最先得到的一组分词最后一个词的层级记为l，然后分词继续进行，当全部展开到l层，分词中止。这样，分词算法会得到一组或多组的分词结果。

动画生成模块105，会处理自然语言处理得到的多组分词结果。处理过程如图2所示，包括如下步骤：

步骤a：分词结果预处理。模块内置一个冗余词词表，本步骤会从分词结果中去除该表中包含的冗余词。如：“花开了”的分词结果“花”、“开”、“了”。其中，“了”是冗余词，会被去除。

步骤b：手语标准词获取。模块内置一个手语同义词词表，其中包含手语词汇标准词和对应的同义词序列，本步骤对每个分词进行操作，从获取这些分词对应的手语标准词。如：“没有吃饱”的手语标准词是“饿”。

步骤c：核心词汇挑选。模块内置一个自手语专家手工整理的核心词汇表。主要原因是：手语是一种图像化语言，和汉语有很大的区别，在手语表达的时候，通常会省略一些词汇，而保留句子的核心词汇。目地是在不影响意义表达的情况下，尽可能的简化手语动作。如：“我”、“饿”，处理结果是“饿”。

步骤d：分词结果再整理。模块内置一个手语专家手工整理的分词组合表。如分词结果“花”、“开”，组合结果是“花开”。

步骤e：基于状态机的动画拼接。一个手语词汇，包含一个或多个的手语词汇动画。模块内置一个手语动画生成的状态机。该状态机会根据不同的上下文，进行手语词汇动画的选择，目地是让生成的手语动画更加流畅和自然。手语动画拼接过程中，存在某些动作，怎么拼接都播放不了的情况。为了处理这种情况，本发明内置了一个标准的起止动作。如果两个手语动作实在拼接不起来，则都用这个标准的动作结束和开始。

如图3所示，根据本发明实施例的一种可穿戴智能设备手语学习方法的流程图，包括如下步骤：

步骤1：获取使用者输入。通过语音或文字的方式，接受使用者的输入，最终获取自然语言的文本；

步骤2：自然语言处理。对自然语言的文本进行自然语言处理，理解出使用者所需手语的含义，并将其翻译成对应的手语词汇序列。

步骤3：手语动画生成。通过手语词汇序列得到手所需的各个候选的手语词汇动画片段，然后进行手语骨骼动画的自动生成。

步骤4：手语动画反馈。将生成的手语动画反馈给使用者。

使用根据本发明的可穿戴智能设备及手语学习的方法，能够帮助手语学习者随时随地学习手语，提高手语学习和推广的效率。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。