汉语手语双向翻译系统、方法和装置与流程

本发明涉及一种手语翻译系统和方法，具体地说，涉及一种汉语手语双向翻译系统、方法和装置。

背景技术：

通常聋哑人都是通过手语来进行沟通表达，这需要沟通表达的双方都要懂得手语，而健全人学习手语需要耗费大量的精力与时间。由于健全人通常不会特意去学习，使得聋哑人与健全人的交流渠道不畅通，导致了社会上两者极少打交道。

尽管现有技术中存在一些手语翻译系统，尝试通过获取手语动作并转换为文字信息来显示，但其主要缺陷在于识别精度较差和输出不够逼真易懂。

技术实现要素：

本发明要解决的技术问题在于提供一种汉语手语双向翻译系统、方法和装置，实现聋哑人与健全人的无障碍交流。

为了解决上述问题，本发明提供了一种汉语手语正向翻译系统，包括手语模型库模块、图像识别模块、手语模型匹配模块和正向输出模块，其中，

所述手语模型库模块用于存储标准汉语手语的数学模型，各手语的数学模型分别对应一识别信息；

所述图像识别模块用于识别人体部位和所述人体部位的动作信息，根据所述人体部位及其对应的动作信息形成一手势模型；

所述手语模型匹配模块分别与所述手语模型库模块和图像识别模块连接，用于将获取的手势模型与所述手语模型库模块中的数学模型进行比对，获取匹配度高于一预设值的数学模型对应的识别信息；

所述正向输出模块用于根据所述识别信息输出对应的正向输出信息。

优选地，所述正向输出模块包括文字输出模块，所述识别信息为文字信息，所述正向输出信息为文字信息。

优选地，所述正向输出模块包括语音输出模块，所述识别信息为文字信息，所述语音输出模块用于将所述文字信息转换为语音信息，所述正向输出信息为语音信息；所述图像识别模块包括多个用于识别手部运动和人体其他部位的体感识别设备。

优选地，所述手语模型库模块中存储的数学模型包括若干特征值，所述特征值与所述人体部位及其动作信息对应，并且按照预设顺序排列。

一种汉语手语正向翻译方法，应用于一电子设备上，所述电子设备具有一存储器，所述存储器中存储有标准汉语手语的数学模型，各手语的数学模型分别对应一识别信息，该手语正向翻译方法包括以下步骤：

识别人体部位和所述人体部位的动作信息，根据所述人体部位及其对应的动作信息形成出一手势模型；

根据所述手势模型与所述存储器存储的数学模型进行比对，获取匹配度高于一预设值的数学模型对应的识别信息；

根据所述识别信息输出对应的正向输出信息。

一种汉语手语正向翻译装置，包括：

正向识别模块，用于识别人体部位和所述人体部位的动作信息，根据所述人体部位及其对应的动作信息形成出一手势模型；

正向获取模块，用于根据所述手势模型与所述存储器存储的数学模型进行比对，获取匹配度高于一预设值的数学模型对应的识别信息；

正向输出模块，用于根据所述识别信息输出对应的正向输出信息。

一种汉语手语双向翻译系统，具有上述的手语正向翻译系统和手语反向翻译系统；所述手语反向翻译系统，包括语音识别模块、手语三维动画数据库模块、手语数据库匹配模块和反向输出模块；

所述语音识别模块用于识别输入的语音信息并输出与所述语音信息对应的文字信息；

所述手语三维动画数据库模块用于存储标准汉语手语的三维动画信息，所述三维动画信息与文字信息对应；所述三维动画信息为三维全息动画信息，所述反向输出模块输出三维全息动画信息；

所述手语数据库匹配模块分别连接所述语音识别模块和手语三维动画数据库模块，用于在所述手语三维动画数据库模块中将从所述语音识别模块接收的文字信息检索与所述三维动画信息的文字信息进行比对，获取匹配度高于一预设值的文字信息对应的三维全息动画信息；

所述反向输出模块与所述手语数据库匹配模块连接，用于接收所述三维动画信息并通过三维全息显示。

优选地，还包括一启动模块及一设定模块；所述启动模块分别与所述手语正向翻译系统和所述手语反向翻译系统连接，用于启动所述手语正向翻译系统或所述手语反向翻译系统；所述设定模块与所述启动模块连接，用于设定当前目标的类型，所述启动模块根据所述类型启动所述手语正向翻译系统或所述手语反向翻译系统。

一种汉语手语双向翻译方法，应用于电子设备上，包括：

设定当前目标的类型；

根据当前目标的类型选择如上述的手语正向翻译方法或者如手语反向翻译方法进行翻译；所述手语反向翻译方法，应用于一电子设备上，所述电子设备具有一存储器，所述存储器中存储有标准汉语手语的三维动画信息，所述三维动画信息与文字信息对应，该手语正向翻译方法包括以下步骤：

识别输入的语音信息并输出与所述语音信息对应的文字信息；

在所述存储器中将从所述语音识别模块接收的文字信息检索与所述三维动画信息的文字信息进行比对，获取匹配度高于一预设值的文字信息对应的三维动画信息；所述三维动画信息为三维全息动画信息，

接收所述三维全息动画信息，并输出该三维全息动画信息。

一种汉语手语双向翻译装置，包括：

设定单元，用于设定当前目标的类型；

选择单元，用于根据当前目标的类型选择如上述的手语正向翻译装置或者手语反向翻译装置进行翻译；所述手语反向翻译装置包括：

反向识别模块，用于识别输入的语音信息并输出与所述语音信息对应的文字信息；

反向获取模块，用于在所述存储器中将从所述语音识别模块接收的文字信息检索与所述三维动画信息的文字信息进行比对，获取匹配度高于一预设值的文字信息对应的三维全息动画信息；

反向输出模块，用于接收所述三维动画信息并通过三维全息显示。

本发明的有益效果是：

本发明提供的手语正向和双向翻译系统和方法通过识别人体部位和所述人体部位的动作信息，根据所述人体部位及其对应的动作信息形成一手势模型，利用数据融合技术，提高手势的识别准确度。此外，本发明实施例还通过采用全息显示三维动画来显示语音识别后的手语动画，非常逼真易懂。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1是本发明提供的一种手语正向翻译系统一实施方式的结构示意图；

图2是本发明提供的一种手语正向翻译方法一实施方式的流程图；

图3是本发明提供的一种手语正向翻译装置一实施方式的示意图；

图4是本发明提供的一种手语反向翻译系统一实施方式的结构示意图；

图5是本发明提供的一种手语反向翻译方法一实施方式的流程图；

图6是本发明提供的一种手语反向翻译装置一实施方式的示意图；

图7是本发明提供的一种汉语手语双向翻译系统一实施方式的示意图；

图8是本发明提供的一种汉语手语双向翻译系统一实施方式的流程图；

图9是本发明提供的一种汉语手语双向翻译方法一实施方式的流程图；

图10是本发明提供的一种汉语手语双向翻译装置一实施方式的示意图。

100：手语正向翻译系统 110：手语模型库模块

120：手语模型匹配模块 130：正向输出模块

131：文字输出模块 132：语音输出模块

140：图像识别模块 200：手语反向翻译系统

210：手语三维动画数据库模块 220：手语数据库匹配模块

230：反向输出模块 240：语音识别模块

250：反向识别模块 260：反向获取模块

270：反向获取模块 300：启动模块

400：设定模块 500：设定单元

600：选择单元

具体实施方式

请参阅图1所示，图1是本发明提供的一种手语正向翻译系统一实施方式的结构示意图。在图1示出的实施方式中，该手语正向翻译系统100包括手语模型库模块110、图像识别模块140、手语模型匹配模块120和正向输出模块130。

其中，手语模型库模块110用于存储标准汉语手语的数学模型，各手语的数学模型分别对应一识别信息。在本实施例中，手语模型库模块110中存储的数学模型包括若干特征值，特征值用于表征手语模型库模块110中存储的数学模型，并且与人体部位及其动作信息对应，将存储的特征值按照一预设顺序排列。

图像识别模块140用于识别人体部位和人体部位的动作信息，根据人体部位及其对应的动作信息形成一手势模型。具体而言，针对人体部位和人体部位的动作信息，运用数据融合技术来缩小手势模型的盲区，提高识别的准确度。在本实施例中，图像识别模块140可以包括多个摄像单元和多个动作捕捉模块，摄像单元可以从多个不同的角度捕捉目标的手语表达时所做出的动作手势。动作捕捉模块可以使用多个能精确识别手部运动和人体其他部位的体感识别设备，该识别手部运动的体感识别设备可以是Leap Motion设备，该识别人体其他部位的体感识别设备可以是Kinect设备。多个不同种类的体感识别设备取长补短，能够全方位对手语手势进行识别，利用数据融合技术，最大限度地提高识别准确性和缩小识别盲区，经图像识别模块140处理得到的手势模型发送至手语模型匹配模块120。

手语模型匹配模块120分别与手语模型库模块110和图像识别模块140连接，用于将获取的手势模型与手语模型库模块110中的数学模型进行比对，获取匹配度高于一预设值的数学模型对应的识别信息，并将识别信息发送给正向输出模块130。

正向输出模块130用于根据识别信息输出对应的正向输出信息。正向输出模块130可以是多种，例如可以包括文字输出模块131，利用液晶显示器显示识别信息为文字信息，正向输出信息为文字信息和/或图片信息，显示手语模型匹配模块120发送的文字信息。此外，在一些实施方式中，正向输出模块130还包括语音输出模块132，识别信息为文字信息，语音输出模块132用于将文字信息转换为语音信息，正向输出信息为语音信息，利用扬声器或者耳机等发声设备发出输出相应的语音信息。

在本发明的实施例中，通过多个Leap Motion设备和Kinect设备相结合，增大手势的识别区域，并采用数据融合技术，提高手势的识别准确度。

参见图2，图2是本发明提供的一种手语正向翻译方法一实施方式的流程图。在图2示出的实施方式中，该手语正向翻译方法应用于一电子设备上，电子设备具有一存储器，存储器中存储有标准汉语手语的数学模型，各手语的数学模型分别对应一识别信息。

该手语正向翻译方法包括步骤S201～步骤S203。

在步骤S201中，识别人体部位和人体部位的动作信息，根据人体部位及其对应的动作信息形成出一手势模型；

在步骤S202中，根据手势模型与存储器存储的数学模型进行比对，获取匹配度高于一预设值的数学模型对应的识别信息；

在步骤S203中，根据识别信息输出对应的正向输出信息。

在本实施方式涉及的手语正向翻译方法与图1示出的手语正向翻译系统100对应，图1示出的手语正向翻译系统100实施方式中公开的技术信息也可以应用在本实施例中，因而此处不再进行赘述。

参见图3，图3是本发明提供的一种手语正向翻译装置一实施方式的示意图。在图2示出的实施方式中，该手语正向翻译装置包括正向识别模块150、正向获取模块160和正向输出模块170。

其中，正向识别模块150用于识别人体部位和所述人体部位的动作信息，根据所述人体部位及其对应的动作信息形成出一手势模型。正向获取模块160用于根据所述手势模型与所述存储器存储的数学模型进行比对，获取匹配度高于一预设值的数学模型对应的识别信息。正向输出模块170用于根据所述识别信息输出对应的正向输出信息。

参见图4，图4是本发明提供的一种手语反向翻译系统一实施方式的结构示意图。在图4示出的实施方式中，该手语反向翻译系统200包括语音识别模块240、手语三维动画数据库模块210、手语数据库匹配模块220和反向输出模块230。

其中，语音识别模块240用于识别输入的语音信息并输出与语音信息对应的文字信息。

手语三维动画数据库模块210用于存储标准汉语手语的三维动画信息，三维动画信息与文字信息对应，不同汉语由不同的三维动画组成。

手语数据库匹配模块220分别连接语音识别模块240和手语三维动画数据库模块210，用于在手语三维动画数据库模块210中将从语音识别模块240接收的文字信息检索与三维动画信息的文字信息进行比对，获取匹配度高于一预设值的文字信息对应的三维动画信息，例如可以是找出匹配度最高的三维动画信息，并将其发送到反向输出模块230。

反向输出模块230与手语数据库匹配模块220连接，用于接收三维动画信息并输出。

在本实施例中，该三维动画信息为三维全息动画信息，反向输出模块230可以输出三维全息动画信息。可以看出，在实施例中，采用三维全息动画来显示语音识别后的手语动画，非常逼真易懂。

参见图5，图5是本发明提供的一种汉语手语反向翻译方法一实施方式的流程图。在图5示出的实施方式中，该汉语手语反向翻译方法应用于一电子设备上，电子设备具有一存储器，存储器中存储有标准汉语手语的三维动画信息，三维动画信息与文字信息对应。其中，该手语正向翻译方法包括步骤S501～步骤S503。

在步骤S501中，识别输入的语音信息，结合语音的前后文关系，输出与语音信息对应的文字信息。

在步骤S502中，在存储器中将从语音识别模块240接收的文字信息检索与三维动画信息的文字信息进行比对，获取匹配度高于一预设值的文字信息对应的三维动画信息。

在步骤S503中，接收三维动画信息并输出。

在本实施方式涉及的手语反向翻译方法与图4示出的手语反向翻译系统200对应，图4示出的手语正向翻译系统100实施方式中公开的技术信息也可以应用在本实施例中，因而此处不再进行赘述。

参见图6，图6是本发明提供的一种汉语手语反向翻译装置一实施方式的示意图。在图6示出的实施方式中，该手语反向翻译装置包括反向识别模块250、反向获取模块260和反向输出模块270。

其中，反向识别模块250用于识别输入的语音信息并输出与所述语音信息对应的文字信息。反向获取模块250用于在所述存储器中将从所述语音识别模块接收的文字信息检索与所述三维动画信息的文字信息进行比对，获取匹配度高于一预设值的文字信息对应的三维动画信息。反向输出模块270用于接收所述三维动画信息并输出。

参见图7，图7是本发明提供的一种汉语手语双向翻译系统一实施方式的结构示意图。图7示出的汉语手语双向翻译系统具有上述实施方式涉及的手语正向翻译系统100和手语反向翻译系统200。

在本实施例中，该汉语手语双向翻译系统还包括一启动模块300，分别与手语正向翻译系统100和手语反向翻译系统200连接，用于启动手语正向翻译系统100或手语反向翻译系统200。此外，本实施例中，该汉语手语双向翻译系统还包括一设定模块400，设定模块400与启动模块300可以通过有线或者无线的方式连接，例如可以是通过蓝牙或者USB接口连接。设定模块400用于设定当前目标的类型(即当前是健全人还是聋哑人)，启动模块300根据类型启动手语正向翻译系统100或手语反向翻译系统200。

参见图8，图8是本发明提供的一种汉语手语双向翻译系统一实施方式的流程图。在图7示出的实施方式涉及的汉语手语双向翻译系统在启动和初始化后，包括步骤S601～603。

在步骤S801中，设定模块400首先用于设定当前目标的类型，判断当前目标是聋哑人或者健全人，并将判断结果发送给启动模块300；

在步骤S802中，启动模块300根据设定模块400的判断结果，启动相应的系统：如果判断结果为聋哑人，则启动手语正向翻译系统100；如果判断结果为健全人，则启动手语反向翻译系统200。

在步骤S803中，判断翻译是否结束，如果翻译完成，则结束流程，否则返回继续翻译。

参见图9，图9是本发明提供的一种汉语手语双向翻译方法一实施方式的流程图。在图9示出的实施方式中，该汉语手语双向翻译方法，应用于电子设备上，包括步骤S901和步骤S902。

在步骤S901中，设定当前目标的类型；

在步骤S902中，根据当前目标的类型选择上述的手语正向翻译方法或者如上述的手语反向翻译方法进行翻译。

参见图10，图10是本发明提供的一种汉语手语双向翻译装置一实施方式的示意图。图10示出的汉语手语双向翻译装置包括设定单元500和选择单元600。

其中，设定单元500用于设定当前目标的类型。选择单元600用于根据当前目标的类型选择上述的手语正向翻译装置或者手语反向翻译方法进行翻译。

可见，本实施例提供的汉语手语双向翻译系统能够实现聋哑人与健全人的无障碍双向交流。一方面，可对汉语手语进行高精度识别并转换为文字和语音信息传递给健全人，另一方面，采用语音识别模块240捕获语音信息得到相匹配的手语三维动画和图片传递给聋哑人。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。