一种用于聋哑人的语音助听AR眼镜及其通信交流方法与流程

一种用于聋哑人的语音助听ar眼镜及其通信交流方法
技术领域
1.本发明涉及ar眼镜，尤其涉及一种用于聋哑人的语音助听ar眼镜及其通信交流方法。


背景技术：

2.一直以来，某些特殊人群如聋哑人、听力障碍人群等，因为自身身体的局限，跟人通信或者交流的时候，只能通过文字进行，极大的限制了通信和交流的效率和体验。


技术实现要素：

3.为了解决现有技术中的问题，本发明提供了一种用于聋哑人的语音助听ar眼镜及其通信交流方法。
4.本发明提供了一种用于聋哑人的语音助听ar眼镜，包括主处理器、ar眼镜光机、wifi模块、bt模块、ble模块、语音采集单元和文字信息输入单元，所述主处理器分别与所述ar眼镜光机、wifi模块、bt模块、ble模块、语音采集单元、文字信息输入单元连接。
5.作为本发明的进一步改进，语音采集单元优选为麦克风阵列，文字信息输入单元优选为按键或触摸板或触摸屏。
6.本发明还提供了一种用于聋哑人的语音助听ar眼镜的通信交流方法，基于所述的用于聋哑人的语音助听ar眼镜进行面对面交流或者通话交流，其中，在面对面交流时，将所述的用于聋哑人的语音助听ar眼镜作为信息投映设备和语音拾取设备；在通话交流时，将所述的用于聋哑人的语音助听ar眼镜作为智能手机的信息投映设备和蓝牙耳机。
7.作为本发明的进一步改进，在使用所述的用于聋哑人的语音助听ar眼镜前，将所述的用于聋哑人的语音助听ar眼镜的ble模块与智能手机的ble模块配对，构成了ble通道；将所述的用于聋哑人的语音助听ar眼镜的bt模块跟智能手机的bt模块配对上，构成了bt通道；将所述的用于聋哑人的语音助听ar眼镜的wifi模块连接上智能手机上共享的wifi热点，构成了wifi通道。
8.作为本发明的进一步改进，当面对面交流并且交流对象说话时，具体步骤如下：（1）、交流对象说话，语音采集单元拾取语音；（2）、语音采集单元将拾取到的语音数据发给主处理器；（3）、主处理器收到语音数据并打包，然后通过wifi通道传给配合使用的智能手机；（4）、智能手机的手机处理器接收语音数据；（5）、智能手机的手机处理器对语音数据做阵列信号处理，并把处理后的语音数据上传给实时语音、语音识别服务器；
（7）、实时语音、语音识别服务器对语音数据进行识别，得到实时语音、语义识别结果，并回传给智能手机的手机处理器；（8）、智能手机的手机处理器把实时语音、语义识别结果通过ble通道传给主处理器；（9）、主处理器把收到的实时语音、语义识别结果投映到ar眼镜光机上。
9.作为本发明的进一步改进，当面对面交流并且所述的用于聋哑人的语音助听ar眼镜的佩戴者表达时，具体步骤如下：（1）、佩戴者通过文字信息输入单元输入文字信息；（2）、文字信息输入单元通过ble通道把文字信息传给主处理器；（3）、主处理器把文字信息投映到ar眼镜光机上，从而确认文字信息的准确性；（4）、文字信息输入完成后，主处理器通过ble通道把文字信息传送给智能手机；（5）、智能手机的手机处理器收到文字信息后，通过语音合成算法，把文字信息转换成语音；（6）、智能手机的手机处理器把合成的语音通过手机喇叭播放出来。
10.作为本发明的进一步改进，当通话交流并且通话对象说话时，具体步骤如下：通过智能手机将通话对象的实时语音、语义识别结果通过ble通道传送给主处理器，主处理器把收到的实时语音、语义识别结果投映到ar眼镜光机上。
11.作为本发明的进一步改进，当通话交流并且所述的用于聋哑人的语音助听ar眼镜的佩戴者表达时，具体步骤如下：（1）、佩戴者通过文字信息输入单元输入文字信息并传送给主处理器；（2）、主处理器收到文字信息后，通过ble通道把文字信息传给智能手机；（3）、智能手机的手机处理器收到文字信息后，通过语音合成算法合成语音数据；（4）、智能手机的手机处理器把合成的语音数据通过wifi通道传给主处理器；（5）、主处理器通过wifi通道接收语音数据；（6）、主处理器把语音数据传到麦克风上行数据接口；（7）、智能手机的手机处理器通过bt通道接收麦克风上行数据接口的语音数据并传给通话通信模块；（8）、智能手机通过通话通信模块把语音数据传给通话对象。
12.作为本发明的进一步改进，主处理器通过wifi通道接收智能手机传过来的视频或者图像信息，并把视频或者图像信息投映到ar眼镜光机上，从而实现信息投映。
13.本发明的有益效果是：1、 对于远程通信，聋哑人可以无障碍的跟正常人进行语音通信和交流；2、 对于面对面的交流，聋哑人可以通过ar眼镜，看着对方的眼睛和动作进行交流，不用担心丢失信息，也给对方更真诚的感觉；3、 因为跟人沟通交流的顺畅，能极大的提高聋哑人的生活便利性和幸福指数。
附图说明
14.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本
领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的方案。
15.图1是本发明一种用于聋哑人的语音助听ar眼镜的原理框图。
16.图2是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的面对面交流时，交流对象语音信号通路示意图。
17.图3是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的面对面交流时，ar眼镜佩戴者的信息流示意图。
18.图4是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的通话时ar眼镜用户的通话信息通道示意图。
19.图5是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的通话时通话对象过来的信息通道示意图。
20.图6是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的屏幕或者视频信息通道示意图。
具体实施方式
21.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
22.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
23.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
24.下面结合附图说明及具体实施方式对本发明作进一步说明。
25.如图1所示，一种用于聋哑人的语音助听ar眼镜（简称为ar眼镜），包括主处理器101、wifi模块102、bt模块103、ble模块104、存储器105、麦克风阵列106、电池107、电源管理108、按键109、马达110、ar眼镜光机111，wifi模块102、bt模块103、ble模块104、存储器105、麦克风阵列106、电源管理108、按键109、马达110、ar眼镜光机111分别与主处理器101连接，电池107与电源管理108连接。
26.bt模块103为经典蓝牙模块，泛指支持蓝牙协议在4.0以下的模块，一般用于数据量比较大的传输。
27.ble（bluetooth low energy module）模块104为低功耗蓝牙模块，指支持蓝牙协议4.0或更高的模块，最大的特点是功耗的降低。
28.本发明提供的一种用于聋哑人的语音助听ar眼镜，智能穿戴、ble、bt、wifi、ar(增强现实)、麦克风阵列信号处理等方面的领域，是一种由ar眼镜和普通智能手机组成特殊人群（聋哑人等）专用通信交流设备。本产品可以跟普通的智能手机配合使用。
29.本发明提供的一种用于聋哑人的语音助听ar眼镜，通过bt、ble和wifi三种通信协议跟普通智能手机一起，构建一套适用于类似特殊人群群体的通信交流系统。
30.本发明提供的一种用于聋哑人的语音助听ar眼镜，可以跟绝大多数的智能手机配合使用。在配合普通智能手机使用的时候，智能手机需要安装一个控制app,本产品功能主要由以下两种：1、 在面对面交流的场景下，ar眼镜作为信息投映设备和语音拾取设备；2、 在通话的场景下，ar眼镜作为普通智能手机的投屏和蓝牙耳机使用，解决普通智能手机没有往麦克风相关语音通道写数据的接口的问题。
31.一种用于聋哑人的语音助听ar眼镜的通信交流方法，采用上述的用于聋哑人的语音助听ar眼镜进行面对面交流或者通话交流，在使用前，进行以下配对：1、 跟智能手机的ble模块配对，构成ble通道；2、 跟智能手机的bt模块配对上，构成bt通道，从而将ar眼镜作为智能手机的蓝牙耳机；3、 连接上智能手机上共享的wifi热点，构成wifi通道。
32.具体的通信交流方法如下：一、面对面交流时，交流对象语音信号通路如图2所示，具体步骤为：（1）、图2步骤1，交流对象说话，麦克风阵列拾取语音；（2）、图2步骤2，麦克风阵列拾取语音后，把数据发给主处理器；（3）、图2步骤3，主处理器收到语音数据并打包，然后通过wifi传给配合使用的智能手机；（4）、图2步骤4，智能手机的wifi接收数据并发给智能手机的手机处理器；（5）、图2步骤5，智能手机的手机处理器接收语音数据；（6）、图2步骤6，智能手机的手机处理器对语音信号做阵列信号处理，并把处理后语音数据上传给实时语音、语音识别服务器；（7）、图2步骤7，智能手机的手机处理器接收实时语音、语义识别结果；（8）、图2步骤8，智能手机的手机处理器把语音语音识别结果通过ble传给ar眼镜；（9）、图2步骤9，ar眼镜的主处理器接收语音、语音识别结果；（10）、图2步骤10，ar眼镜的主处理器把收到的识别结果投映到ar眼镜上；（11）、ar眼镜用户通过ar眼镜上文字得到交流对象表达的信息。
33.二、面对面交流时，ar眼镜佩戴者的信息流如图3所示，具体步骤为：（1）、图3步骤1，ar眼镜佩戴者通过按键/触摸板或者配合使用的手机，输出想表达的信息；（2）、图3步骤2，按键/触摸板通过ble 把输入的信息传给ar眼镜的主处理器；（3）、图3步骤3，ar眼镜的主处理器把用户输入的信息投映到屏幕上，已确认信息的准确性；（4）、图3步骤4，信息输入完成后，ar眼镜的主处理器通过ble把信息传送给智能手
机；（5）、图3步骤5，智能手机的手机处理器收到信息后，通过语音合成算法，把文字转换成语音；（6）、图3步骤6，智能手机的手机处理器把合成的语音通过手机喇叭播放出来；（7）、交流对象通过语音获取对方的信息。
34.三、通话时，ar眼镜用户的通话信息通道如图4所示，具体实现步骤为：（1）、图4步骤1，ar眼镜用户通过键盘/触摸板输入想要表达的信息；（2）、图4步骤2，ar眼镜的主处理器收到文字信息后，通过ble把信息传给配合使用的智能手机；（3）、图4步骤3，智能手机的手机主处理器到文字信息后，通过语音合成算法合成语音；（4）、图4步骤4，智能手机的手机主处理器把合成的语音通过wifi传给ar眼镜的主处理器；（5）、图4步骤5，ar眼镜的主处理器通过wifi接收语音数据；（6）、图4步骤6，ar眼镜的主处理器把语音数据传到麦克风数据接口；（7）、图4步骤7，智能手机的手机主处理器通过bt通道接收麦克风数据并传给通信模块；（8）、图4步骤8，智能手机通过4g/5g/wifi把语音信号传给对方。
35.四、通话时，通话对象过来的信息通道如图5所示，语音在手机端完成语音、语义识别后，通过ble通道传给ar眼镜，ar眼镜把收到的信息投映到屏幕。
36.五、屏幕或者视频信息通道如图5所示， ar眼镜的主处理器通过wifi接收普通智能手机传过来的视频或者图像信息，并把这些视频或者图像信息投映到屏幕上，此通路可实现视频通话、输入键盘投映等功能。
37.本发明提供的一种用于聋哑人的语音助听ar眼镜及其通信交流方法，主要的改进在于：1、结合普通智能手机，可以让特殊人群（聋哑人、听力障碍）实现无障碍的通话和面对面交流；2、充分利用wifi、ble等低功耗通信方式，可以有效的延长设备续航时间；3、把需要大内存和大计算量的语音预处理、语音识别、语音合成放到配合使用的手机，有效降低设备主处理器的计算压力和存储空间需求，可以解决设备发热问题，降低系统的复杂度和设备成本；4、使用设备的用户，以文字接收信息和文字发送信息，交流对象以语音的方式发送和接收信息；5、在面对面交流时，麦克风阵列作为交流对象的语音拾取入口，解决这种场景下出现距离导致的音量不够、混响、干扰等等问题；6、在ar眼镜上显示交流对象的信息，让沟通更为自然，也避免用户因为低头等原因漏掉交流对象的面部表情、肢体语音等信息，让沟通效率更高，体验更佳。
38.本发明针对类似聋哑人这样的群体，可以提供以下非常良好的效果：1、 对于远程通信，聋哑人可以无障碍的跟正常人进行语音通信和交流；
2、 对于面对面的交流，聋哑人可以通过ar眼镜，看着对方的眼睛和动作进行交流，不用担心丢失信息，也给对方更真诚的感觉；3、 因为跟人沟通交流的顺畅，能极大的提高聋哑人的生活便利性和幸福指数。
39.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。