专利名称：声音反馈装置及其工作方法
技术领域：
本发明涉及一种声音反馈装置及该装置的工作方法。
背景技术：
听力障碍人士由于失去听觉的感受能力，因此在日常生活中，将无法如一般人直接藉由听觉来察觉周围环境的状况或者确认人员的交谈内容，而仅能依赖双眼来留意、察觉周围环境的事件。当事件发生在听力障碍人士的视线范围之外时，其将有可能对听力障碍人士带来危险。
发明内容
鉴于以上内容，有必要提供一种声音反馈装置及其工作方法。—种声音反馈装置，包括
若干麦克风，用于感测外界的声音信号；
一声源方位判断单元，用于对各麦克风所接收的声音信号进行计算，以判断声源的方
位；
一音量判断单元，用于判断麦克风所接收的声音的音量大小，并判断其是否超过一设定值；
一语言转文字单元，用于在麦克风所接收的声音的音量大小超过设定值时将声音信号转换为文字信息；
一情境模拟单元，包括一虚拟罗盘模块及一对白处理模块，该虚拟罗盘模块用于虚拟一罗盘，并根据由声源方位判断单元所得到的声源方位以及音量判断单元所得到的音量大小在虚拟罗盘的对应位置进行标识，以提示使用者此时的声源方位及音量大小，该对白处理模块用于根据语言转文字单元所得到的文字信息调用对应的对白框，并在对白框中显示对应的文字；以及
一显示单元，用于显示虚拟罗盘、声源方位、音量大小以及文字信息。一种声音反馈装置的工作方法，包括
通过若干麦克风感测外界的声音信号；
通过一声源方位判断单元对各麦克风所接收的声音信号进行计算，以判断声源的方
位；
通过一音量判断单元判断麦克风所接收的声音的音量大小，并判断其是否超过一设定
值；
当麦克风所接收的声音的音量大小超过设定值时，通过一语言转文字单元将声音信号转换为文字信息；
通过一虚拟罗盘模块虚拟一罗盘，并根据由声源方位判断单元所得到的声源方位以及音量判断单元所得到的音量大小在虚拟罗盘的对应位置进行标识，以提示使用者此时的声源方位及音量大小；通过一对白处理模块根据语言转文字单元所得到的文字信息调用对应的对白框，并在对白框中显示对应的文字；以及
通过一显示单元显示虚拟罗盘、声源方位、音量大小以及文字信息。上述声音反馈装置及其工作方法通过麦克风感测声音信号，并通过声源方位判断单元判断声音的方向，当声音的音量超过设定值时即通过语言转文字单元将声音信号转换为文字信息，并通过显示单元显示给使用者，以起到辅助听力障碍人士的作用。
图1是本发明声音反馈装置的较佳实施方式的方框图。图2是图1中声音反馈装置的第一示意图。图3是若干麦克风的分布不意图。图4是图1中语言转文字单元的方框图。图5是图1中情境模拟单元的方框图。图6是图1中声音反馈装置的第二示意图。图7是图1中声音反馈装置的第三示意图。图8及图9是图1中声音反馈装置的工作示意图。图10是本发明声音反馈装置的工作方法的较佳实施方式的流程图。主要元件符号说明
麦克风10, A-G声源方位判断单元20音量判断单元30语言转文字单元50显示单元60情境模拟单元80眼镜100显示屏61声音解碼模块500文字字形库模块510码字匹配模块520虚拟罗盘模块800对白处理模块810投影单元62摄像头63使用者620车辆600路人甲610虚拟罗盘820
如下具体实施方式
将结合上述附图进一步说明本发明。
具体实施例方式下面结合附图及较佳实施方式对本发明作进一步详细描述
请参考图1，本发明声音反馈装置的较佳实施方式包括若干麦克风10、一声源方位判断单元20、一音量判断单元30、一语言转文字单元50、一显示单元60及一,清境模拟单元80。
请继续参考图2，本发明声音反馈装置可以为一头戴式装置，如一眼镜100。此时该显示单元60为显示屏61。该显示屏61设置于眼镜100的镜框中，该若干麦克风10分布设置于眼镜100的镜架上，该声源方位判断单元20、音量判断单元30、语言转文字单元50及情境模拟单元80为设置于眼镜100的镜架的内部的一内存中的软件系统，其工作原理将在后面进行详细的说明。如图3所示，该若干麦克风10组成一数组型麦克风，其用于感测来自外界的声音信号。该声源方位判断单元20用于对各麦克风10所接收的声音信号进行计算，以判断声源的方位，即声音来自何方。本实施方式中以7个麦克风10组成数组型麦克风为例进行说明，其中，图3中包括A-G共七个麦克风，所有麦克风设置于不同的位置以感测不同位置的声音信号。每一麦克风旁边所显不的柱状图即表不该麦克风所接收的声音信号的强度。该声源方位判断单元20根据柱状图即可判断出麦克风A所接收的声音信号的强度最大，因此即可判断声源方位为麦克风A处。上述例子只是为了简单说明声源方位判断单元20的工作原理，在实际工作中，该声源方位判断单元20会通过更为复杂的计算，比如将得到的各声音信号先通过傅立叶转换，之后再利用定位算法、空间平均法等计算出更为精确的声源方位，此技术已在声源方位估测及追踪的领域得到了较为广泛的应用，在此不再赘述。该音量判断单元30用于判断通过麦克风10所接收的声音的音量大小，并判断其是否超过一设定值，即声音信号的分贝强度是否超过设定值。当接收的声音的分贝强度超过设定值时，该语言转文字单元50则对接收的声音信号进行运算，以将声音信号转换为文字信息。请参考图4，该语言转文字单元50包括声音译码模块500、文字字形库模块510以及码字匹配模块520。该声音译码模块500用于将麦克风10接收到的声音信号进行译码识别，该码字匹配模块520用于将译码后的声音信号根据文字字形库模块510内存储的文字与声音信号进行匹配，以得到声音信号所对应的文字信息。请参考图5，该情境模拟单元80包括一虚拟罗盘模块800及一对白处理模块810。该虚拟罗盘模块800用于虚拟一罗盘，本实施方式中，该虚拟罗盘以使用者的正前方作为O度角基准。该虚拟罗盘模块800还用于根据由声源方位判断单元20所得到的声源方位在虚拟罗盘的对应位置进行标识，以提示使用者此时的声源方位。同时，该虚拟罗盘模块800还用于根据由音量判断单元30所判断得到的音量大小在虚拟罗盘的对应位置显示音量的大小，如通过强度来指示音量的大小。该对白处理模块810用于根据语言转文字单元50所得到的文字信息调用对应的背景以及对白框(如调用漫画风格的背景及对白框等)，并在对白框中显示对应的文字。如果该语言转文字单元50无法将麦克风10所接收的声音信号转换为对应的文字信息(比如当声音信号为车辆的喇叭声或动物的叫声)时，该对白处理模块810则根据音量的大小调用对应的提示符号(如感叹号“ ！”等)。该显示单元60用于显示虚拟罗盘、音量的大小、背景、对白框以及对白。本实施方式中，该显示单元60为眼镜100的镜片，该镜片采用双层材质制作，即使用者通过该镜片可观看到实际的场景，同时，该镜片还可作为显示器使用，用于显示虚拟罗盘、音量的大小等信息。此时，使用者通过眼镜100所观看到的图像即为实际场景与虚拟罗盘、音量的大小等信息的迭加影像。请继续参考图6，基于该显示单元60的功能，其它实施方式中，该显示单元60亦可为一投影单元62，该投影单元62设置于镜框上，用于将虚拟罗盘、音量的大小等信息直接投影至使用者的眼球。该眼镜100的镜片则为普通的镜片，此时使用者仍可观看到实际场景与虚拟罗盘、音量的大小等信息的迭加影像。进一步，请继续参考图7，该显示单元60包括显示屏61及一摄像头63，该摄像头63安装于该眼镜100的镜框上，用于拍摄使用者前方场景的影像。该眼镜100的镜片则为显示屏61，用于显示来自摄像头63所拍摄的影像以及虚拟罗盘、音量的大小等信息，如此，使用者亦可观看到实际场景与虚拟罗盘、音量的大小等信息的迭加影像。下面将以一实例来说明上述声音反馈装置的具体工作原理
请参考图8及图9，使用者620的身后左侧有一车辆600、身后右侧有一路人甲610，且车辆600鸣笛、路人甲610提醒使用者“小心车辆”。该若干麦克风10组成的数组型麦克风即对外界的声音进行感测，该声源方位判断单元20则对感测得到的声音信号进行判断，此时，由麦克风A及G所感测到的声音信号的强度明显高于其它麦克风B-F所感测到的声音信号，因此，该声源方位判断单元20判断得知此时外界的声音来自麦克风A及G的位置。该音量判断单元30判断音量的大小，此时假设音量的大小大于设定的分贝强度。该语言转文字单元50则对接收的声音信号进行运算。本实施方式中，来自麦克风A方向的声音信号记为第一声音信号,来自麦克风G方向的声音信号记为第二声音信号,那么该语言转文字单元50则无法将第一声音信号转换为对应的文字信息，第二声音信号则被转换为“小心来车”的文字信息。该虚拟罗盘模块800生成一虚拟罗盘820，并根据得到的声源方位在虚拟罗盘的对应位置进行标识，以提示使用者此时的声源方位，本实施方式中，该虚拟罗盘820的225度角位置及135度角位置即为声源方位。同时，该虚拟罗盘模块820还根据判断得到的音量大小在虚拟罗盘的对应位置(即225度角位置及135度角位置)通过强度(即图9中斜线区域的大小)指示来显示音量的大小。该对白处理模块810根据语言转文字单元50所得到的文字信息调用对应的背景以及对白框，并在对白框中显示对应的文字，即图9中包括感叹号“！ ”的对白框以及包括“小心来车”的对白框，且该对白框相应出现在虚拟罗盘820的对应位置处，以提示使用者虚拟罗盘820的225度角位置出现不明声音、135度角位置出现“小心来车”的声音。同时，根据上文的描述可知，此时使用者所观看到的影像为实际场景、虚拟罗盘、音量的大小、对白框以及对白等信息的迭加，如图9所示。请参考图10，上述声音反馈装置的工作方法包括以下步骤
步骤S1:该若干麦克风10感测外界的声音信号。步骤S2 :该声源方位判断单元20判断声源的方位，即声音来自何方。步骤S3 :该音量判断单元30判断麦克风10所接收的声音的音量大小，并判断其是否超过一设定值，即声音信号的分贝强度是否超过设定值。若声音信号的分贝强度超过设定值，则执行步骤S4。若声音信号的分贝强度未超过设定值，则返回至步骤SI。步骤S4 :该语言转文字单元50对接收的声音信号进行运算，以将声音信号转换为文字信息。步骤S5 :该虚拟罗盘模块800虚拟一罗盘，并根据由声源方位判断单元20所得到的声源方位在虚拟罗盘的对应位置进行标识，以提示使用者此时的声源方位。同时，该虚拟罗盘模块800还根据由音量判断单元30所判断得到的音量大小在虚拟罗盘的对应位置显示音量的大小，如通过强度来指示音量的大小。步骤S6 :该对白处理模块810根据语言转文字单元50所得到的文字信息调用对应的背景以及对白框(如调用漫画风格的背景及对白框等)，并在对白框中显示对应的文字。如果该语言转文字单元50无法将麦克风10所接收的声音信号转换为对应的文字信息(比如当声音信号为车辆的喇叭声或动物的叫声)时，该对白处理模块810则根据音量的大小调用对应的提示符号(如感叹号“ ！”等)。步骤S7 :该显示单元60显示虚拟罗盘、音量的大小、背景、对白框以及对白。上述声音反馈装置及其工作方法通过麦克风10感测声音信号，并通过声源方位判断单元20判断声音的方向，当声音的音量超过设定值时即通过语言转文字单元50将声音信号转换为文字信息，并通过显示单元60显示给使用者，以起到辅助听力障碍人士的作用。
权利要求
1.一种声音反馈装置，包括若干麦克风，用于感测外界的声音信号；一声源方位判断单元，用于对各麦克风所接收的声音信号进行计算，以判断声源的方位；一音量判断单元，用于判断麦克风所接收的声音的音量大小，并判断其是否超过一设定值；一语言转文字单元，用于在麦克风所接收的声音的音量大小超过设定值时将声音信号转换为文字信息；一情境模拟单元，包括一虚拟罗盘模块及一对白处理模块，该虚拟罗盘模块用于虚拟一罗盘，并根据由声源方位判断单元所得到的声源方位以及音量判断单元所得到的音量大小在虚拟罗盘的对应位置进行标识，以提示使用者此时的声源方位及音量大小，该对白处理模块用于根据语言转文字单元所得到的文字信息调用对应的对白框，并在对白框中显示对应的文字；以及一显示单元，用于显示虚拟罗盘、声源方位、音量大小以及文字信息。
2.如权利要求1所述的声音反馈装置，其特征在于当该语言转文字单元无法将声音信号转换为文字信息时，该对白处理模块则在对白框中显示提示符号。
3.如权利要求1所述的声音反馈装置，其特征在于该显示单元为一投影单元，该投影单元用于接收虚拟罗盘、声源方位、音量大小以及文字信息并将其投影至使用者的眼球上。
4.如权利要求1所述的声音反馈装置，其特征在于该显示单元包括一显示屏及一摄像头，该摄像头用于拍摄使用者前方场景的图像，该显示屏用于显示摄像头所拍摄得到的图像以及虚拟罗盘、声源方位、音量大小、文字信息。
5.一种声音反馈装置的工作方法，包括通过若干麦克风感测外界的声音信号；通过一声源方位判断单元对各麦克风所接收的声音信号进行计算，以判断声源的方位；通过一音量判断单元判断麦克风所接收的声音的音量大小，并判断其是否超过一设定值；当麦克风所接收的声音的音量大小超过设定值时，通过一语言转文字单元将声音信号转换为文字信息；通过一虚拟罗盘模块虚拟一罗盘，并根据由声源方位判断单元所得到的声源方位以及音量判断单元所得到的音量大小在虚拟罗盘的对应位置进行标识，以提示使用者此时的声源方位及音量大小；通过一对白处理模块根据语言转文字单元所得到的文字信息调用对应的对白框，并在对白框中显示对应的文字；以及通过一显示单元显示虚拟罗盘、声源方位、音量大小以及文字信息。
6.如权利要求5所述的工作方法，其特征在于当该语言转文字单元无法将声音信号转换为文字信息时，该对白处理模块则在对白框中显示提示符号。
7.如权利要求5所述的工作方法，其特征在于该显示单元为一投影单元，该投影单元用于接收虚拟罗盘、声源方位、音量大小以及文字信息并将其投影至使用者的眼球上。
8.如权利要求5所述的工作方法，其特征在于该显示单元包括一显示屏及一摄像头，该摄像头用于拍摄使用者前方场景的图像，该显示屏用于显示摄像头所拍摄得到的图像以及虚拟罗盘、声源方位、音量大小、文字信息。
全文摘要
一种声音反馈装置，包括若干麦克风、声源方位判断单元、音量判断单元、语言转文字单元、情境模拟单元。上述声音反馈装置可根据外界的声音信号显示虚拟罗盘、声源方位、音量大小以及文字信息，以起到辅助听力障碍人士的作用。本发明还提供了上述声音反馈装置的工作方法。
文档编号G06F3/01GK103049077SQ201110311649
公开日2013年4月17日 申请日期2011年10月14日 优先权日2011年10月14日
发明者李后贤, 李章荣, 罗治平 申请人:鸿富锦精密工业(深圳)有限公司, 鸿海精密工业股份有限公司