一种聋哑人与正常人双向交流的设备的制作方法

本发明涉及语音识别设备领域，特别涉及一种聋哑人与正常人双向交流的设备。

背景技术：

中国听力语言残疾人数居视力残疾、肢残、智残等五大残疾之首。中国现有聋哑人2700多万，占中国总人口的1.67%，每年仍有2~3万新增听障儿童。这些聋哑人是社会的弱势群体，他们听不到美丽的声音，说不出动听的话语，只能活在无声的世界里，缺乏对外界的感知。他们无法像正常人一样交流沟通，给他们的生活、学习、工作带来了很大的障碍。研发一种能使他们和正常人进行双向交流的设备对于提高他们的生活质量无疑是很重要的。

现有的聋哑设备比较笨重，不便于携带，而且多数只能实现单方面的翻译，不能实现双方的交流。鉴于此，本发明设计一种方便携带、能使聋哑人与正常人进行双向交流的设备，解决聋哑人与正常人双向交流的障碍。

技术实现要素：

为了解决上述问题，本发明给出了以下技术方案：

一种聋哑人与正常人双向交流的设备，包含聋哑人手套1、显示模块2和控制模块3；聋哑人手套1与控制模块3之间通过电缆连接，显示模块2与控制模块3之间通过电缆连接。

所述的聋哑人手套1由左、右两只手套1-5构成，每只手套1-5至少包含一个安装在手套1-5腕部外侧的拉压力传感器1-1、一个安装在手套1-5背部的三轴陀螺仪1-2、一个安装在手套1-5背部的手背拉力传感器1-3、和安装在手套1-5每个手指关节外侧的手指拉力传感器1-4；拉压力传感器1-1采集手腕动作信号，三轴陀螺仪1-2采集手的位置信息、轨迹信息和加速度信号，手背拉力传感器1-3采集手掌弯曲动作信号，手指拉力传感器1-4采集每根手指的弯曲动作信号。

所述的控制模块包含微控制器3-1、手势信号调理电路3-2、手势信号A/D转换电路3-3、语音输出模块3-4、喇叭3-5、语音传感器3-6、语音信号调理电路3-7、语音信号A/D转换电路3-8和电源3-9。

所述的显示模块2包含显示屏2-1和设置键盘2-2。

所述的显示模块2和控制模块3为一体集成结构或分体结构。

所述的手套1-5为分指手套，主材料为织物或皮质材料，安装传感器的部位作局部浸胶处理，以封装所述的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4。

所述的手势信号调理电路3-2对所述的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4输出的电信号进行信号的放大和滤波处理；

所述的手势信号A/D转换电路3-3将手势信号调理电路3-2输出的模拟电信号转换成数字量送给微控制器处理3-1。

所述的语音输出模块3-4输入量为数字量，输出结果至少包含汉语和英语，两种语言可选择。

所述的喇叭3-5播出的语言至少包含汉语和英语，两种语言可选择。

所述的语音传感器3-6可识别的语音至少包含汉语和英语，语音包括真人语音和电子产品语音。

所述的语音信号调理电路3-7对语音传感器3-6输出的模拟电信号进行放大和滤波处理。

所述的语音信号A/D转换电路3-3将语音信号调理电路3-7输出的模拟电信号转换成数字量，并送给微控制器3-1。

所述的电源3-9为显示模块2、控制模块3以及聋哑人手套1中的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4供电。

所述的设置键盘2-2至少包含2个按键；所述的显示屏为触摸屏；按键和触摸屏实现对设备参数的设置和控制。

所述的聋哑人手套1的尺寸和型号规格参照国标GB/T 12624-2006《劳动防护手套通用技术条件》确定。

所述的拉压力传感器1-1、三轴陀螺仪1-2分别为微型拉压力传感器、微型三轴陀螺仪；所述的手背拉力传感器1-3和手指拉力传感器1-4为微型拉力传感器。

所述的微控制器3-1将语音信号A/D转换电路3-3送来的语音信号处理为语言文字和国标GB/T 24435-2009《中国手语基本手势》规定的标准手语图。

所述的显示屏2-1同屏显示微控制器3-1传来的文字信息和标准手语图。

所述的喇叭3-5播出的语言为电子合成语音。

所述的一种聋哑人与正常人双向交流的设备的工作过程是：在聋哑人佩戴聋哑人手套1的情况下，由聋哑人手套1上的拉压力传感器1-1采集手腕弯曲动作信号，三轴陀螺仪1-2采集手的位置信息、轨迹信息和加速度信号，手背拉力传感器1-3采集手掌弯曲动作信号，手指拉力传感器1-4采集每根手指的弯曲动作信号；将上述采集的信息送给手势信号调理电路3-2对信号进行放大和滤波，将放大和滤波后的信号送给手势信号A/D转换电路3-3将模拟电信号转换成数字量，送给微控制器3-1，微控制器3-1内置手势识别模型，该模型根据聋哑人手套1中的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4信号数据及其响应顺序判定左右手各自的空间位置、运动轨迹、运动速度和加速度，判定手掌的弯曲程度和手指的弯曲程度和顺序，进而识别手部运动及其形状代表的语义，即手势所表达的信息。经分析后的结果送给语音输出模块3-4以设定的语言输出，经喇叭3-5播出，此时对方的正常人即可听到聋哑人所表达的信息；正常人所说的话语由控制模块3上的语音传感器3-6采集，将采集的信息送给语音信号调理电路3-7，对信号进行放大和滤波，后送给语音信息A/D转换电路3-8将模拟信号转换成数字量送给微控制器3-1，微控制器3-1对其进行识别，将该语音转换为语言文字或标准手语图，并将转换结果发送给显示屏2-1；浏览显示屏2-1上的语言文字或标准手语图，聋哑人即可“听到”正常人的语义。同理，所述的一种聋哑人与正常人双向交流的设备能够处理电子产品发出的语音，即聋哑人也可“听到”电子产品发出的语音，实现与正常人的双向语言交互及理解电子语音的语义。

采用以上技术方案的有益效果是：只要在聋哑人佩戴该设备的情况下，就可以将自己表达的手势信息以语音的形式传送给对方的正常人，正常人不需要借助任何设备就可将自己表达的语音信息传送给对方的聋哑人，实现了聋哑人与正常人的无障碍双向交流；聋哑人也可以“听到”电子产品的语音，如电视、广播、手机等电子产品中发出的真人语音或电子合成语音，方便了聋哑人的生活，提高了聋哑人的幸福感。

附图标记

1.聋哑人手套 1-1.拉压力传感器 1-2. 三轴陀螺仪 1-3. 手背拉力传感器 1-4. 手指拉力传感器 1-5.手套

2.显示模块 2-1.显示屏 2-2. 设置键盘

3.控制模块 3-1.微控制器 3-2.手势信号调理电路 3-3. 手势信号A/D转换电路 3-4. 语音输出模块 3-5. 喇叭 3-6. 语音传感器 3-7. 语音信号调理电路 3-8. 语音信号A/D转换电路 3-9. 电源。

附图说明

下面结合附图对本发明的实施方式作进一步详细的描述。

图1是本发明一种聋哑人与正常人双向交流的设备结构框图；

图2是本发明手套的外观图。

具体实施方式

下面结合附图详细说明本发明一种聋哑人与正常人双向交流的设备的优选实施方式。

如图1和图2所示，本发明一种聋哑人与正常人双向交流的设备的具体实施方式：

一种聋哑人与正常人双向交流的设备，由聋哑人手套1、显示模块2和控制模块3组成；聋哑人手套1与控制模块3之间通过电缆连接，显示模块2与控制模块3之间通过电缆连接；

如图1和图2所示，所述的聋哑人手套由左、右两只手套1-5构成，每只手套包含一个安装在手套腕部外侧的拉压力传感器1-1、一个安装在手套背部的三轴陀螺仪1-2和一个手背拉力传感器1-3、和安装在手套每个手指关节外侧的手指拉力传感器1-4；拉压力传感器1-1采集手腕动作信号，三轴陀螺仪1-2采集手的位置信息、轨迹信息和加速度信号，手背拉力传感器1-3采集手掌弯曲动作信号，手指拉力传感器1-4采集每根手指的弯曲动作信号；

所述的控制模块由微控制器3-1、手势信号调理电路3-2、手势信号A/D转换电路3-3、语音输出模块3-4、喇叭3-5、语音传感器3-6、语音信号调理电路3-7、语音信号A/D转换电路3-8和电源3-9组成；

所述的显示模块2由显示屏2-1和设置键盘2-2组成；

所述的显示模块2和控制模块3为一体集成结构或分体结构。本实施例优选一体集成结构。一体集成结构方案中，所述的显示模块2和控制模块3一体集成结构部件可挂在聋哑人胸前，或戴在聋哑人手腕上，或戴在头上。所述的显示模块2和控制模块3如果是分体结构，显示模块2可挂在聋哑人胸前，或戴在聋哑人手腕上，或戴在头上，而控制模块3可装在衣袋或包内。

如图1和图2所示，所述的手套1-5为分指手套，主材料优选柔韧的皮质材料，安装传感器的部位作局部浸胶处理，以封装所述的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4；

所述的手势信号调理电路3-2对所述的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4输出的电信号进行信号的放大和滤波处理；

所述的手势信号A/D转换电路3-3将手势信号调理电路3-2输出的模拟电信号转换成数字量送给微控制器处理3-1；

所述的语音输出模块3-4输入量为数字量，输出结果至少包含汉语和英语，两种语言可选择；

所述的喇叭3-5播出的语言至少包含汉语和英语，两种语言可选择；

所述的语音传感器3-6可识别的语音至少包含汉语和英语，语音包括真人语音和电子产品语音；

所述的语音信号调理电路3-7对语音传感器3-6输出的模拟电信号进行放大和滤波处理；

所述的语音信号A/D转换电路3-3将语音信号调理电路3-7输出的模拟电信号转换成数字量，并送给微控制器3-1；

所述的电源3-9为显示模块2、控制模块3以及聋哑人手套1中的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4供电。

所述的设置键盘2-2至少包含2个按键，包括电源键、音量键；所述的显示屏为触摸屏；按键和触摸屏实现对设备参数的设置和控制。

所述的微控制器优选STM32F103V3T6。该处理器为ARM32的Cortex-M3核，最高工作频率可达72MHz。

所述的电源3-9优选锂电池供电。

所述的聋哑人手套1的尺寸和型号规格参照国标GB/T 12624-2006《劳动防护手套通用技术条件》确定。

所述的拉压力传感器1-1、三轴陀螺仪1-2分别为微型拉压力传感器、微型三轴陀螺仪；所述的手背拉力传感器1-3和手指拉力传感器1-4为微型拉力传感器。

所述的微控制器3-1将语音信号A/D转换电路3-3送来的语音信号处理为语言文字和国标GB/T 24435-2009《中国手语基本手势》规定的标准手语图。

所述的显示屏2-1同屏显示微控制器3-1传来的文字信息和标准手语图。

所述的喇叭3-5播出的语言为电子合成语音

所述的一种聋哑人与正常人双向交流的设备的工作过程是：在聋哑人佩戴聋哑人手套1的情况下，由聋哑人手套1上的拉压力传感器1-1采集手腕弯曲动作信号，三轴陀螺仪1-2采集手的位置信息、轨迹信息和加速度信号，手背拉力传感器1-3采集手掌弯曲动作信号，手指拉力传感器1-4采集每根手指的弯曲动作信号；将上述采集的信息送给手势信号调理电路3-2对信号进行放大和滤波，将放大和滤波后的信号送给手势信号A/D转换电路3-3将模拟电信号转换成数字量，送给微控制器3-1，微控制器3-1内置手势识别模型，该模型根据聋哑人手套1中的拉压力传感器1-1、三轴陀螺仪1-2、手背拉力传感器1-3、手指拉力传感器1-4信号数据及其响应顺序判定左右手各自的空间位置、运动轨迹、运动速度和加速度，判定手掌的弯曲程度和手指的弯曲程度和顺序，进而识别手部运动及其形状代表的语义，即手势所表达的信息。经分析后的结果送给语音输出模块3-4以设定的语言输出，经喇叭3-5播出，此时对方的正常人即可听到聋哑人所表达的信息；正常人所说的话语由控制模块3上的语音传感器3-6采集，将采集的信息送给语音信号调理电路3-7，对信号进行放大和滤波，后送给语音信息A/D转换电路3-8将模拟信号转换成数字量送给微控制器3-1。

微控制器3-1对其进行识别，将该语音转换为语言文字或标准手语图，并将转换结果发送给显示屏2-1；浏览显示屏2-1上的语言文字或标准手语图，聋哑人即可“听到”正常人的语义。同理，聋哑人也可“听到”电子产品发出的语音，实现与正常人的双向语言交互及理解电子语音的语义。

采用以上技术方案的有益效果是：只要在聋哑人佩戴该设备的情况下，就可以将自己表达的手势信息以语音的形式传送给对方的正常人，正常人不需要借助任何设备就可将自己表达的语音信息传送给对方的聋哑人，实现了聋哑人与正常人的无障碍双向交流；聋哑人也可以“听到”电子产品的语音，如电视、广播、手机等电子产品中发出的真人语音或电子合成语音，方便了聋哑人的生活，提高了聋哑人的幸福感。

以上仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。