一种手语识别转换系统的制作方法
【专利摘要】本发明公开了一种手语识别转换系统，包括用户终端，所述用户终端设有信息存储模块、手语采集模块、文字输入模块、语音输入模块、图像处理模块、翻译模块、语音处理模块、显示模块、语音输出模块、控制模块和无线传输模块。本发明方便将手语信息转换为中文文字信息、外文文字信息、中文语音信息或者外文语音信息输出，同时也可以将中文文字信息、外文文字信息、中文语音信息或者外文语音信息转换为手语信息输出，方便聋哑人士与普通人之间的交流；还可以通过无线传输模块将一个用户终端与另一个用户终端联系起来，方便聋哑人士和普通人进行远程交流。
【专利说明】
一种手语识别转换系统
技术领域
[0001]本发明主要涉及手语识别领域，具体是一种手语识别转换系统。
【背景技术】
[0002]手语是由手形、手臂运动并辅助以表情、唇动以及其他体势表达思想的语言，具有规范的语法、明确的寓意和完备的词汇体系。聋哑人士之间一般都是使用手语进行交流，但是聋哑人士与普通人之间的交流就比较困难，他们之间互相不懂得对方的语言，在进行互动时很不方便。
【发明内容】
[0003]为了解决现有技术中的不足，本发明提供一种手语识别转换系统，方便将手语信息转换为中文文字信息、外文文字信息、中文语音信息或者外文语音信息输出，同时也可以将中文文字信息、外文文字信息、中文语音信息或者外文语音信息转换为手语信息输出，方便聋哑人士与普通人之间的交流。
[0004]本发明为实现上述目的，通过以下技术方案实现:
[0005]—种手语识别转换系统，包括用户终端，所述用户终端设有信息存储模块、手语采集模块、文字输入模块、语音输入模块、图像处理模块、翻译模块、语音处理模块、显示模块、语音输出模块、控制模块和无线传输模块；
[0006]所述信息存储模块:用于存储标准手语的动态模型、与标准手语的动态模型对应的中文文字信息、与中文文字信息对应的中文语音信息、与中文文字信息对应的外文文字信息、与外文文字信息对应的外文语音信息；
[0007]所述手语采集模块:用于采集人体影像，并将采集的人体影像传输入图像处理模块；
[0008]所述文字输入模块:用于输入中文文字信息、外文文字信息，并根据控制模块的指令信息将中文文字信息传输至图像处理模块，将外文文字信息传输至翻译模块；
[0009]所述语音输入模块:用于采集中文语音信息、外文语音信息，并根据控制模块的指令信息将中文语音信息、外文语音信息传输至语音处理模块；
[0010]所述图像处理模块:根据手语采集模块输入的人体影像抽取出用于识别手语信息的人体特征影像，并对人体特征影像进行图像分割，分割出脸部的特征以及手臂和手部的运动轨迹，提取出手语特征，根据提取的手语特征与信息存储模块存储的信息进行识别比较，得到对应的中文文字信息，并根据控制模块的指令信息将此中文文字信息传输至显示模块、语音处理模块或者翻译模块;图像处理模块接收文字输入模块传输的中文文字信息、翻译模块传输的中文文字信息、语音处理模块传输的中文文字信息，并将接收的此中文文字信息与信息存储模块存储的信息进行比较，得到手语动态模型，将手语动态模型传输至显示模块；
[0011 ]所述翻译模块:将传输至翻译模块的中文文字信息翻译成外文文字信息，并根据控制模块的指令信息将此外文文字信息传输至显示模块或者语音处理模块;将传输至翻译模块的外文文字信息翻译成中文文字信息，并根据控制模块的指令信息将中文文字信息传输至显示模块或者语音处理模块或者图像处理模块；
[0012]所述语音处理模块:接收图像处理模块传输的中文文字信息并将接收的中文文字信息转换为中文语音信息，同时将此中文语音信息传输至语音输出模块;接收翻译模块传输的外文文字信息并将接收的外文文字信息转换为外文语音信息，同时将此外文语音信息传输至语音输出模块;接收语音输入模块传输的中文语音信息和外文语音信息，同时将接收的中文语音信息转换为中文文字信息，并将此中文文字信息传输至图像处理模块，将外文语音信息转换为外文文字信息并将转换的外文文字信息传输至翻译模块；
[0013]所述显示模块:包括显示屏，根据图像处理模块传输的手语动态模型输出手语动态影像;根据图像处理模块传输的中文文字信息输出中文文字信息;根据语音处理模块传输的中文文字信息输出中文文字信息;根据翻译模块输出的外文文字信息输出外文文字信息;
[0014]所述语音输出模块:根据语音处理模块传输的中文语音信息输出中文语音信息，根据语音处理模块传输的外文语音信息输出外文语音信息；
[0015]所述控制模块:用于设置指令信息并发出指令信息，指令信息包括手语转换为中文文字指令、手语转换为中文语音指令、手语转换为外文文字指令、手语转换为外文语音指令、中文文字转换为手语的指令、中文语音转换为手语的指令、外文文字转换为手语的指令、外文语音转换为手语的信息指令；
[0016]所述无线传输模块:与显示模块、语音输出模块连接，所述用户终端之间通过无线传输模块进行中文文字信息、外文文字信息、中文语音信息、外文语音信息和手语动态影像的传递。
[0017]所述用户终端为手机终端或者电脑终端。
[0018]对比现有技术，本发明有益效果在于:本发明方便将手语信息转换为中文文字信息、外文文字信息、中文语音信息或者外文语音信息输出，同时也可以将中文文字信息、夕卜文文字信息、中文语音信息或者外文语音信息转换为手语信息输出，方便聋哑人士与普通人之间的交流;还可以通过无线传输模块将一个用户终端与另一个用户终端联系起来，方便聋哑人士和普通人进行远程交流。
【附图说明】
[0019]附图1是本发明的结构示意图。
[0020]附图中所示标号:1、用户终端;2、信息存储模块;3、手语采集模块;4、文字输入模块;5、语音输入模块;6、图像处理模块;7、翻译模块;8、语音处理模块;9、显示模块;1、语音输出模块;11、控制模块12、无线传输模块。
【具体实施方式】
[0021]结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0022]—种手语识别转换系统，包括用户终端I，所述用户终端I设有信息存储模块2、手语采集模块3、文字输入模块4、语音输入模块5、图像处理模块6、翻译模块7、语音处理模块
8、显示模块9、语音输出模块10、控制模块11和无线传输模块12。
[0023]所述信息存储模块2:用于存储标准手语的动态模型、与标准手语的动态模型对应的中文文字信息、与中文文字信息对应的中文语音信息、与中文文字信息对应的外文文字信息、与外文文字信息对应的外文语音信息。
[0024]所述手语采集模块3:用于采集人体影像，并将采集的人体影像传输入图像处理模块6 0
[0025]所述文字输入模块4:用于输入中文文字信息、外文文字信息，并根据控制模块11的指令信息将中文文字信息传输至图像处理模块6，将外文文字信息传输至翻译模块7。
[0026]所述语音输入模块5:用于采集中文语音信息、外文语音信息，并根据控制模块11的指令信息将中文语音信息、外文语音信息传输至语音处理模块8。
[0027]所述图像处理模块6:根据手语采集模块3输入的人体影像抽取出用于识别手语信息的人体特征影像，并对人体特征影像进行图像分割，分割出脸部的特征以及手臂和手部的运动轨迹，提取出手语特征，根据提取的手语特征与信息存储模块2存储的信息进行识别比较，得到对应的中文文字信息，并根据控制模块11的指令信息将此中文文字信息传输至显示模块9、语音处理模块8或者翻译模块7;图像处理模块6接收文字输入模块4传输的中文文字信息、翻译模块7传输的中文文字信息、语音处理模块8传输的中文文字信息，并将接收的此中文文字信息与信息存储模块2存储的信息进行比较，得到手语动态模型，将手语动态模型传输至显示模块9。
[0028]所述翻译模块7:将传输至翻译模块7的中文文字信息翻译成外文文字信息，并根据控制模块11的指令信息将此外文文字信息传输至显示模块9或者语音处理模块8;将传输至翻译模块7的外文文字信息翻译成中文文字信息，并根据控制模块11的指令信息将中文文字信息传输至显示模块9或者语音处理模块8或者图像处理模块6。
[0029]所述语音处理模块8:接收图像处理模块6传输的中文文字信息并将接收的中文文字信息转换为中文语音信息，同时将此中文语音信息传输至语音输出模块10;接收翻译模块7传输的外文文字信息并将接收的外文文字信息转换为外文语音信息，同时将此外文语音信息传输至语音输出模块10;接收语音输入模块5传输的中文语音信息和外文语音信息，同时将接收的中文语音信息转换为中文文字信息，并将此中文文字信息传输至图像处理模块6，将外文语音信息转换为外文文字信息并将转换的外文文字信息传输至翻译模块7。
[0030]所述显示模块9:包括显示屏，根据图像处理模块6传输的手语动态模型输出手语动态影像;根据图像处理模块6传输的中文文字信息输出中文文字信息;根据语音处理模块8传输的中文文字信息输出中文文字信息;根据翻译模块7输出的外文文字信息输出外文文字信息。
[0031]所述语音输出模块10:根据语音处理模块8传输的中文语音信息输出中文语音信息，根据语音处理模块8传输的外文语音信息输出外文语音信息。
[0032]所述控制模块11:用于设置指令信息并发出指令信息，指令信息包括手语转换为中文文字指令、手语转换为中文语音指令、手语转换为外文文字指令、手语转换为外文语音指令、中文文字转换为手语的指令、中文语音转换为手语的指令、外文文字转换为手语的指令、外文语音转换为手语的信息指令。
[0033]具体的，使用者通过控制模块11设置手语转换为中文文字指令，通过手语采集模块3采集人体影像，并将采集的人体影像传输至图像处理模块6，图像处理模块6得到对应的中文文字信息，并将此中文文字信息传输至显示模块9，显示模块9显示出中文文字信息。使用者通过控制模块11设置手语转换为中文语音指令，通过手语采集模块3采集人体影像，并将采集的人体影像传输至图像处理模块6，图像处理模块6得到对应的中文文字信息，并将此中文文字信息传输至语音处理模块8，语音处理模块8将接收的中文文字信息转换为中文语音信息，并将转换的中文语音信息传输至语音输出模块10，语音输出模块10输出中文语音信息。使用者通过控制模块11设置手语转换为外文文字指令，通过手语采集模块3采集人体影像，并将采集的人体影像传输至图像处理模块6，图像处理模块6得到对应的中文文字信息，并将此中文文字信息传输至翻译模块7，翻译模块7将中文文字信息翻译成外文文字信息，并将翻译的外文文字信息传输至显示模块9，显示模块9显示出外文文字信息。使用者通过控制模块11设置手语转换为外文文字指令，通过手语采集模块3采集人体影像，并将采集的人体影像传输至图像处理模块6，图像处理模块6得到对应的中文文字信息，并将此中文文字信息传输至翻译模块7，翻译模块7将中文文字信息翻译成外文文字信息，并将翻译的外文文字信息传输至语音处理模块8，语音处理模块8将接收的此外文文字信息转换为外文语音信息，同时将转换的此外文语音信息传输至语音输出模块10，语音输出模块10输出外文语音信息。使用者通过控制模块11设置中文文字转换为手语的指令，通过文字输入模块4输入中文文字信息，并将中文文字信息传输至图像处理模块6，通过图像处理模块6得到对应的手语动态模型，并将手语动态模型传输至显示模块9，显示模块9输出手语动态影像。使用者通过控制模块11设置中文语音转换为手语的指令，通过语音输入模块5采集中文语音信息，并将此中文语音信息传输至语音处理模块8，语音处理模块8将将接收的中文语音信息转换为中文文字信息，并将此中文文字信息传输至图像处理模块6，通过图像处理模块6得到对应的手语动态模型，并将手语动态模型传输至显示模块9，显示模块9输出手语动态影像。使用者通过控制模块11设置外文文字转换为手语的指令，通过文字输入模块4输入外文文字信息，并将外文文字信息传输至翻译模块7，翻译模块7将外文文字信息翻译成中文文字信息，并将翻译的中文文字信息传输至图像处理模块6，通过图像处理模块6得到对应的手语动态模型，并将手语动态模型传输至显示模块9，显示模块9输出手语动态影像。使用者通过控制模块11设置外文语音转换为手语的信息指令，通过语音输入模块5采集外文语音信息，并将此外文语音信息传输至语音处理模块8，语音处理模块8将将接收的外文语音信息转换为外文文字信息，并将转换的外文文字信息传输至翻译模块7，翻译模块7将外文文字信息翻译成中文文字信息，并将翻译的中文文字信息传输至图像处理模块6，通过图像处理模块6得到对应的手语动态模型，并将手语动态模型传输至显示模块9，显示模块9输出手语动态影像O
[0034]所述无线传输模块12:与显示模块9、语音输出模块10连接，所述用户终端I之间通过无线传输模块12进行中文文字信息、外文文字信息、中文语音信息、外文语音信息和手语动态影像的传递，聋哑人士和普通人可以只是使用一个用户终端进行互相的交流，或者通过无线传输模块12可以将一个用户终端与另一个用户终端联系起来，方便聋哑人士和普通人进行远程聊天。
[0035]所述用户终端I为手机终端或者电脑终端，聋哑人士和普通人可以通过手机或者电脑进行沟通，简单方便。
【主权项】
1.一种手语识别转换系统，其特征是:包括用户终端(I)，所述用户终端(I)设有信息存储模块(2)、手语采集模块(3)、文字输入模块(4)、语音输入模块(5)、图像处理模块(6)、翻译模块(7)、语音处理模块(8)、显示模块(9)、语音输出模块(10)、控制模块(11)和无线传输丰旲块(12); 所述信息存储模块(2):用于存储标准手语的动态模型、与标准手语的动态模型对应的中文文字信息、与中文文字信息对应的中文语音信息、与中文文字信息对应的外文文字信息、与外文文字信息对应的外文语音信息； 所述手语采集模块(3):用于采集人体影像，并将采集的人体影像传输入图像处理模块(6)； 所述文字输入模块(4):用于输入中文文字信息、外文文字信息，并根据控制模块(11)的指令信息将中文文字信息传输至图像处理模块(6)，将外文文字信息传输至翻译模块(7)； 所述语音输入模块(5):用于采集中文语音信息、外文语音信息，并根据控制模块(11)的指令信息将中文语音信息、外文语音信息传输至语音处理模块(8); 所述图像处理模块(6):根据手语采集模块(3)输入的人体影像抽取出用于识别手语信息的人体特征影像，并对人体特征影像进行图像分割，分割出脸部的特征以及手臂和手部的运动轨迹，提取出手语特征，根据提取的手语特征与信息存储模块(2)存储的信息进行识别比较，得到对应的中文文字信息，并根据控制模块(11)的指令信息将此中文文字信息传输至显示模块(9)、语音处理模块(8)或者翻译模块(7);图像处理模块(6)接收文字输入模块(4)传输的中文文字信息、翻译模块(7)传输的中文文字信息、语音处理模块(8)传输的中文文字信息，并将接收的此中文文字信息与信息存储模块(2)存储的信息进行比较，得到手语动态模型，将手语动态模型传输至显示模块(9); 所述翻译模块(7):将传输至翻译模块(7)的中文文字信息翻译成外文文字信息，并根据控制模块(11)的指令信息将此外文文字信息传输至显示模块(9)或者语音处理模块(8);将传输至翻译模块(7)的外文文字信息翻译成中文文字信息，并根据控制模块(11)的指令信息将中文文字信息传输至显示模块(9)或者语音处理模块(8)或者图像处理模块(6); 所述语音处理模块(8):接收图像处理模块(6)传输的中文文字信息并将接收的中文文字信息转换为中文语音信息，同时将此中文语音信息传输至语音输出模块(10);接收翻译模块(7)传输的外文文字信息并将接收的外文文字信息转换为外文语音信息，同时将此外文语音信息传输至语音输出模块(10);接收语音输入模块(5)传输的中文语音信息和外文语音信息，同时将接收的中文语音信息转换为中文文字信息，并将此中文文字信息传输至图像处理模块(6)，将外文语音信息转换为外文文字信息并将转换的外文文字信息传输至翻译t旲块(7); 所述显示模块(9):包括显示屏，根据图像处理模块(6)传输的手语动态模型输出手语动态影像;根据图像处理模块(6)传输的中文文字信息输出中文文字信息;根据语音处理模块(8)传输的中文文字信息输出中文文字信息;根据翻译模块(7)输出的外文文字信息输出外文文字信息； 所述语音输出模块(10):根据语音处理模块(8)传输的中文语音信息输出中文语音信息，根据语音处理模块(8)传输的外文语音信息输出外文语音信息； 所述控制模块(11):用于设置指令信息并发出指令信息，指令信息包括手语转换为中文文字指令、手语转换为中文语音指令、手语转换为外文文字指令、手语转换为外文语音指令、中文文字转换为手语的指令、中文语音转换为手语的指令、外文文字转换为手语的指令、外文语音转换为手语的信息指令； 所述无线传输模块(12):与显示模块(9)、语音输出模块(10)连接，所述用户终端(I)之间通过无线传输模块(12)进行中文文字信息、外文文字信息、中文语音信息、外文语音信息和手语动态影像的传递。2.根据权利要求1所述的一种手语识别转换系统，其特征是:所述用户终端(I)为手机终端或者电脑终端。
【文档编号】G06K9/00GK105913015SQ201610218652
【公开日】2016年8月31日
【申请日】2016年4月7日
【发明人】黄锦阳
【申请人】安徽大学