一种用于聋哑人的语音助听AR眼镜及其通信交流方法与流程

一种用于聋哑人的语音助听ar眼镜及其通信交流方法
技术领域
1.本发明涉及ar眼镜，尤其涉及一种用于聋哑人的语音助听ar眼镜及其通信交流方法。


背景技术：

2.一直以来，某些特殊人群如聋哑人、听力障碍人群等，因为自身身体的局限，跟人通信或者交流的时候，只能通过文字进行，极大的限制了通信和交流的效率和体验。


技术实现要素：

3.为了解决现有技术中的问题，本发明提供了一种用于聋哑人的语音助听ar眼镜及其通信交流方法。
4.本发明提供了一种用于聋哑人的语音助听ar眼镜，包括主处理器、wifi模块、ble模块、存储器、供电单元、文字输入单元和ar眼镜光机，所述wifi模块、ble模块、存储器、供电单元、文字输入单元和ar眼镜光机分别与所述主处理器连接。
5.本发明还提供了一种用于聋哑人的语音助听ar眼镜的通信交流方法，基于所述的用于聋哑人的语音助听ar眼镜进行面对面交流或者通话交流，在交流时，将所述的用于聋哑人的语音助听ar眼镜与对应的专用的通信终端配合使用，将所述的用于聋哑人的语音助听ar眼镜作为对应的专用的通信终端的投屏和交流信息的输入设备使用。
6.作为本发明的进一步改进，在使用前，将所述的用于聋哑人的语音助听ar眼镜的ble模块与专用的通信终端的ble模块配对，构成了ble通道；将所述的用于聋哑人的语音助听ar眼镜的wifi模块连接上专用的通信终端的wifi热点，构成了wifi通道。
7.作为本发明的进一步改进，当面对面交流并且交流对象说话时，进行以下过程：（1）专用的通信终端录音，然后发给云端或本地算法做语音语义识别，得到文字信息，通过ble通道把文字信息发送给主处理器；（2）主处理器接收通过ble通道发过来的文字信息；（3）主处理器把接收到的文字信息投映到ar眼镜光机上。
8.作为本发明的进一步改进，当面对面交流并且语音助听ar眼镜的佩戴者表达时，进行以下过程：（1）、佩戴者通过文字输入单元输入想表达的文字信息；（2）、文字输入单元通过ble 通道把输入的文字信息传给主处理器；（3）、主处理器把文字信息投映到ar眼镜光机上，以确认信息的准确性；（4）、信息输入完成后，主处理器通过ble通道把文字信息传送给专用的通信终端；（5）、专用的通信终端收到信息后，通过语音合成算法，把文字信息转换成语音；（6）、专用的通信终端把合成的语音通过喇叭播放出来。
9.作为本发明的进一步改进，当通话交流并且交流对象说话时，进行以下过程：（1）专用的通信终端把下行的语音旁路到语音、语义识别通道，并通过ble通道把
识别结果即文字信息发送给主处理器；（2）主处理器接收通过ble通道发过来的文字信息；（3）主处理器把接收到的文字信息投映到ar眼镜光机上。
10.作为本发明的进一步改进，当通话交流并且语音助听ar眼镜的佩戴者表达时，进行以下过程：（1）、佩戴者通过文字输入单元输入想表达的文字信息；（2）、文字输入单元通过ble 通道把输入的文字信息传给主处理器；（3）、主处理器把用户输入的文字信息投映到ar眼镜光机上，以确认信息的准确性；（4）、信息输入完成后，主处理器通过ble通道把文字信息传送给专用的通信终端；（5）、专用的通信终端收到信息后，通过语音合成算法，把文字信息转换成语音；（6）、专用的通信终端把合成的语音送到麦克风通道并通过通话时所采用的通信方式送到通话对象。
11.作为本发明的进一步改进，主处理器通过wifi通道接收视频或图像信息，并将接收到的视频或图像信息投映到ar眼镜光机上，从而实现信息的投映功能。
12.本发明的有益效果是：1、 对于远程通信，聋哑人可以无障碍的跟正常人进行语音通信和交流；2、 对于面对面的交流，聋哑人可以通过ar眼镜，看着对方的眼睛和动作进行交流，不用担心丢失信息，也给对方更真诚的感觉；3、 因为跟人沟通交流的顺畅，能极大的提高聋哑人的生活便利性和幸福指数。
附图说明
13.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的方案。
14.图1是本发明一种用于聋哑人的语音助听ar眼镜的原理框图。
15.图2是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的交流对象的语音信息通道示意图。
16.图3是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的ar眼镜佩戴者的信息通道示意图。
17.图4是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的通话时下行语音的通道示意图。
18.图5是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的通话时上行语音的通道示意图。
19.图6是本发明一种用于聋哑人的语音助听ar眼镜的通信交流方法的屏幕或者视频信息通道示意图。
具体实施方式
20.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
21.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
22.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
23.下面结合附图说明及具体实施方式对本发明作进一步说明。
24.如图1所示，一种用于聋哑人的语音助听ar眼镜（简称ar眼镜），包括主处理器101、wifi模块102、ble模块103、存储器104、电池105、电源管理106、按键107、马达108和ar眼镜光机109，wifi模块102、ble模块103、存储器104、电源管理106、按键107、马达108和ar眼镜光机109分别与主处理器101连接，电池105与电源管理106连接。
25.ble（bluetooth low energy module）模块103为低功耗蓝牙模块，指支持蓝牙协议4.0或更高的模块，最大的特点是功耗的降低。
26.本发明提供的一种用于聋哑人的语音助听ar眼镜，涉及智能穿戴、ble、wifi、ar(增强现实)等方面的领域，是一种由ar眼镜和配套的专用通信终端组成的特殊人群（聋哑人、听力障碍等）专用通信交流系统。本发明需要跟对应的专用通信终端配合使用。
27.本发明提供的一种用于聋哑人的语音助听ar眼镜，通过ble和wifi两种通信协议跟专门设计的专用通信终端一起，构建一套适用于类似特殊人群群体的专用系统。
28.本发明提供的一种用于聋哑人的语音助听ar眼镜，需跟对应的专用通信终端配合使用，在配合专用通信终端使用的时候，本产品功能主要有以下两种：1、 ar眼镜作为专用通信终端的投屏使用，通过wifi，把专用通信终端的屏幕内容投映到ar眼镜上，让佩戴者与人交流时更为自然；2、 ar眼镜作为专用通信终端的投屏和交流信息的输入设备使用，投屏的实现如1所描述，作为输入信息设备时，需通过ble外接键盘/触摸板等外设，使交流、尤其是面对面交流更为自然。
29.一种用于聋哑人的语音助听ar眼镜的通信交流方法，基于上述的用于聋哑人的语音助听ar眼镜，进行面对面交流或者通话交流，在使用前，进行以下配对：1、 ar眼镜的ble模块跟专用通信终端的ble模块配对，构成了ble通道；2、 ar眼镜的wifi模块连接上专用通信终端上共享的wifi热点，构成了wifi通道。
30.具体的通信交流方法有以下情况：
一、面对面交流时，交流对象的语音信息通道如图2所示：（1）如图2中步骤1，专用通信终端录音，然后发给云端或本地算法做语音语义识别，并通过ble通道把识别结果送给ar眼镜；（2）如图2中步骤2，ar眼镜的主处理器接收通过ble发过来的文字信息；（3）如图2中步骤3，ar眼镜的主处理器把接收到的文字投映到屏幕上。
31.二、面对面交流时，ar眼镜佩戴者的信息通道如图3所示：（1）、图3中步骤1，ar眼镜佩戴者通过按键/触摸板或者配合使用的专用智能终端，输出想表达的信息；（2）、图3中步骤2，按键/触摸板通过ble 把输入的信息传给ar眼镜的主处理器；（3）、图3中步骤3，ar眼镜的主处理器把用户输入的信息投映到屏幕上，以确认信息的准确性；（4）、图3中步骤4，信息输入完成后，ar眼镜的主处理器通过ble把信息传送给专用智能终端；（5）、图3中步骤5，专用智能终端主处理器收到信息后，通过语音合成算法，把文字转换成语音；（6）、图3中步骤6，专用智能终端主处理器把合成的语音通过手机喇叭播放出来；（7）、交流对象通过语音获取对方的信息。
32.三、通话时，下行语音的通道如图4所示：（1）如图4中步骤1，专用通信终端把下行的语音旁路到语音、语义识别通道，并通过ble通道把识别结果送给ar眼镜；（2）如图4中步骤2，ar眼镜的主处理器接收通过ble发过来的文字信息；（3）如图4中步骤3，ar眼镜的主处理器把接收到的文字投映到屏幕上。
33.四、通话时，上行通道信息通路如图5所示（1）、图5中步骤1，ar眼镜佩戴者通过按键/触摸板或者配合使用的专用智能终端，输出想表达的信息；（2）、图5中步骤2，按键/触摸板通过ble 把输入的信息传给ar眼镜的主处理器；（3）、图5中步骤3，ar眼镜的主处理器按键/触摸板把用户输入的信息投映到屏幕上，以确认信息的准确性；（4）、图5中步骤4，信息输入完成后，ar眼镜的主处理器通过ble把信息传送给专用智能终端；（5）、图5中步骤5，专用智能终端主处理器收到信息后，通过语音合成算法，把文字转换成语音；（6）、图5中步骤6，专用智能终端主处理器把合成的语音通过专用电路把语音送到麦克风通道并通过4g/5g或者wifi送到通话对象；（7）、交流对象通过语音获取对方的信息。
34.五、通话时，屏幕或者视频信息通道如图6所示，ar眼镜的主处理器通过wifi接收普通智能手机传过来的视频或者图像信息，并把这些视频或者图像信息投映到屏幕上。此通路可实现视频通话、输入键盘投映等功能。
35.本发明提供的一种用于聋哑人的语音助听ar眼镜及其通信交流方法，具有以下改
进：1、需跟专用智能终端配合使用，可以让特殊人群（聋哑人、听力障碍）实现无障碍的通话和面对面交流；2、充分利用wifi、ble等低功耗通信方式，可以有效的延长设备续航时间；3、把需要大内存和大计算量的语音采集、语音预处理、语音识别、语音合成放到配合使用专用智能终端，有效降低设备主处理器的计算压力和存储空间需求，可以解决设备发热问题，降低系统的复杂度和设备成本；4、使用设备的用户，以文字的形式接收信息和文字发送信息，交流对象以语音的方式发送和接收信息；5、在ar眼镜上显示交流对象的信息，让沟通更为自然，也避免用户因为低头等原因漏掉交流对象的面部表情、肢体语音等信息，让沟通效率更高，体验更佳。
36.6、键盘/触摸板为可选项。
37.本发明针对类似聋哑人、听力障碍这样的群体，可以提供以下非常良好的效果：1、 对于远程通信，聋哑人可以无障碍的跟正常人进行语音通信和交流；2、 对于面对面的交流，聋哑人可以通过ar眼镜，看着对方的眼睛和动作进行交流，不用担心丢失信息，也给对方更真诚的感觉；3、 因为跟人沟通交流的顺畅，能极大的提高聋哑人的生活便利性和幸福指数。
38.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。