专利名称：一种辅助聋人感知环境声音的装置及方法
技术领域：
本发明涉及嵌入式信号处理技术领域，特别涉及一种辅助聋人感知环境声音的装置及方法。
背景技术：
第二次全国残疾人抽样调查结果显示，我国残疾人口总量在不断增加，残疾人占全国总人口的6. 34%，其中听力残疾约2004万人，占残疾人总数的24. 16%。由于失去了听觉，聋人在身体机能和社会生活等多个方面产生严重的困扰。近年来，随着科技的发展和社会的进步，聋人受到关注程度也不断提高，人们提出一些技术和方法来改善聋人对声音的感知能力，如数字助听器、电子耳蜗恢复正常听力、利用振动传感器感知脚步、听力狗感知大多数声音、闪灯感知提示音等等。它们按照对声音信息的反馈通路可分两类一是修复原有的听觉通路，如电子耳蜗、数字助听器等；二是利用其他正常的感知通路代替听觉通路，如视觉、触觉、痛觉等将声音信号转化为其他形式的信息，通过神经传递给大脑，从而实现声音的感知，如振动感受器、闪灯等。其中数字助听器、电子耳蜗属于侵入式听力补偿方法，虽然为一部分耳聋患者重建听力，但是仍然存在诸多需要改善的地方，如受试者对植入后听到的声音需要有一段适应的过程，需要定期到医院来进行微处理器的调试，有可能会引起一系列的颅内外并发症，佩戴费用昂贵等。而振动感受器、闪灯等利用其他通路感知声音的方法是一种非侵入式的补偿，通过视觉可以分辨颜色、形状、位置以及运动形式，通过触觉可以区分振动形式或者位置，而这些技术往往受到实施环境及声音质量等多方面因素制约。目前，非侵入式听觉补偿出现了很多优良的设计方案，但大多限于语音信号方面，针对非语音声音的较少。
发明内容
针对现有技术的不足，本发明提供一种辅助聋人感知环境声音的装置及方法，聋人使用时随身携带该装置，当其所处周围环境中有某种声音产生时，通过声音采集模块收集环境提示音，通过无线通信的方式传递给嵌入式的环境声音处理及显示模块，对收集的环境声音完成预处理、特征提取、类别判定和定位显示，从而使聋人能够通过无损的视觉补偿方式实时感知周围环境的声音变化。本发明的技术方案一种辅助聋人感知环境声音的装置，包括声音采集模块和声音处理及显示模块，声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器、复位电路、JTAG接口、时钟电路、电源电路和无线发射模块，主要完成环境声音的实时采集和发送，麦克风接至信号调理电路输入端，信号调理电路输出端接入微处理器端口，复位电路、JTAG接口、时钟电路和电源电路均外接于微处理器端口，无线发射模块接至微处理器通信端口；声音处理及显示模块由聋人随身携带，包括处理器、存储器、无线接收模块、JTAG 接口、SD卡接口、时钟电路、复位电路、电源电路和LCD显示屏，主要是对接收到的声音信号进行数据处理、存储和显示，处理器外接有存储器、JTAG接口和SD卡接口，电源电路接至处理器的供电端口，同时电源电路的输出管脚分别连接LCD显示屏、复位电路、存储器，为它们提供电源，无线接收模块接至处理器的通信端口。该模块还可配置键盘、开关和LED指示灯，对装置进行设置和工作状态提示。通过软件编程完成引导程序Bootloader、嵌入式 Linux内核、根文件系统和必要的设备驱动程序，搭建嵌入式系统的基本运行环境；在嵌入式系统运行环境下，完成环境声音处理及图形显示。本发明装置的具体工作过程如下当聋人所处特定环境中某种声音产生，该位置的声音采集模块利用麦克风采集声音，经放大、滤波后，在低功耗的微处理器控制下通过无线通信发送给嵌入式声音处理及显示模块。嵌入式声音处理及显示模块通过无线接收模块收到声音数据，以处理器中ARM核控制存储、显示和通信从设备模块，由处理器中DSP核对声音信号的预处理，声音特征提取、声源位置确定，并将声音与图形建立映射，送入LCD实时显示声音的类别和位置信息。本发明装置的控制方法，具体按如下步骤进行步骤1 针对受试者所处的特定环境，建立环境声音数据库(如电话声、门铃声、电脑启动声音、人交谈声音、人走动时的声音)，建立这些环境声音发生位置的图像文件；步骤2 对环境声音数据库中的声音进行处理和训练，建立这些环境声音与发生位置的对应关系，具体如下步骤2. 1 根据公式1计算每帧中每个采样点的能量E(m，k)，根据公式2计算信号总能量E，根据公式3计算每帧中每个采样点的概率密度P (m，k)；E(m，k) = [x(m) · ω (n-m)]2m = 1，· · ·，N，k = 1，· · ·，M公式 1其中x(n)表示声音信号，m为声音信号采样序数，ω (n)为汉明窗函数，k表示帧序数，N为每帧数据采样点数，M采样帧数；根据公式2计算声音信号总能量E = HE(m,k)公式 权利要求
1.一种辅助聋人感知环境声音的装置，其特征在于包括声音采集模块和声音处理及显示模块；声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器、复位电路、JTAG接口、时钟电路、电源电路和无线发射模块；麦克风接至信号调理电路输入端，信号调理电路输出端接入微处理器端口，复位电路、JTAG接口、时钟电路和电源电路均外接于微处理器端口，无线发射模块接至微处理器通信端口 ；声音处理及显示模块由聋人随身携带，包括处理器、存储器、无线接收模块、JTAG接口、 SD卡接口、时钟电路、复位电路、电源电路和LCD显示屏，处理器外接有存储器、JTAG接口和 SD卡接口，电源电路接至处理器的供电端口，同时电源电路的输出管脚分别连接LCD显示屏、复位电路、存储器，无线接收模块接至处理器的通信端口。
2.采用权利要求1所述的辅助聋人感知环境声音的装置辅助聋人感知环境声音的方法，其特征在于具体按如下步骤执行步骤1 针对聋人所处的特定环境，建立环境声音数据库，建立这些环境声音发生位置的图像文件；步骤2:对环境声音数据库中的声音进行处理和训练，建立这些环境声音与发生位置的对应关系，具体如下步骤2. 1 根据公式1计算每帧中每个采样点的能量E(m，k)，根据公式2计算信号总能量E，根据公式3计算每帧中每个采样点的概率密度P (m，k)；E(m, k) = [x(m) · ω (n-m)]2m = 1，. . .，N，k = 1，. . .，M公式 1其中x(n)表示声音信号，m为声音信号采样序数，ω (η)为汉明窗函数，k表示帧序数， N为每帧数据采样点数，M采样帧数； 根据公式2计算声音信号总能量M N12 k=\ w=lP(m, k) = E(m，k)/E，m = 1，· · ·，N/2, k = 1，· · .，M公式 3步骤2. 2 计算每帧声音信号的谱熵值Hm ； 根据公式4计算每帧谱熵值Hm，Ν/2邓P(m,k)公式 4w=l步骤2. 3 设定门限值，逐帧进行比较；当大于门限值Hl时，认定为进入声音段，否则继续比较判断，声音结束点的判断与此同理；步骤2. 4:当判断出非噪音频段的起始位置时，从起始帧开始，计算当前帧的功率谱值，一共计算15帧；步骤2. 5 对计算出的15帧功率谱值进行二值化；选取基准值Base，大于Base的设为1，小于Base设为0，构成声音识别的神经网络输入特征向量；步骤2. 6 采用神经网络算法进行声音类别识别训练；步骤3 聋人所处特定环境中某种声音产生时，该位置的声音采集模块的麦克风采集到的声音信号，经信号调理电路放大滤波后，通过无线发射模块发送至声音处理及显示模块；步骤4 当有环境声音发送至嵌入式声音处理及显示模块时，提取声音信号特征，送入训练好的神经网络中，判定类别神经元g，确定声音类别。步骤5 根据声音所属类别，调用在聋人周围环境发生位置的图像文件； 步骤6 建立声音数据的图形表达将聋人所在周围环境发生的某种声音以不断闪烁的圆环表示，圆环的中心指示声源在房间内的位置，根据计算声音数据前15帧的能量确定圆环的大小，声音数据持续时间对于圆环显示的时间。
3.根据权利要求2所述的辅助聋人感知环境声音的方法，其特征在于步骤2. 6所述采用神经网络算法进行声音类别识别训练，具体步骤如下 步骤2. 6. 1 初始化；根据公式5初始化前向连接权Wu (0)，根据公式6初始化反馈连接权、(0)，初始化阈值参数为P。
全文摘要
一种辅助聋人感知环境声音的装置及方法，包括声音采集模块和声音处理及显示模块，声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器、复位电路、JTAG接口、时钟电路、电源电路和无线发射模块，声音处理及显示模块由聋人随身携带，包括处理器、存储器、无线接收模块、JTAG接口、SD卡接口、时钟电路、复位电路、电源电路和LCD显示屏。当聋人所处周围环境中有某种声音产生时，声音采集节点收集环境提示音，以无线通信的方式传给声音处理及显示模块，对收集的环境声音完成预处理、特征提取、类别判定和定位显示，使聋人能通过无损的视觉补偿方式实时感知周围环境的声音变化。
文档编号G10L15/06GK102499815SQ20111033655
公开日2012年6月20日 申请日期2011年10月28日 优先权日2011年10月28日
发明者徐彬, 杨丹, 王旭 申请人:东北大学