降噪方法、装置、噪音消除器、麦克风和可读存储介质与流程

本发明涉及车联网领域，尤其涉及一种降噪方法、装置、噪音消除器、麦克风和可读存储介质。

背景技术：

目前的语音识别处理方案中麦克风、喇叭和降噪模块都位于同一机器上面。由麦克风收音，降噪模块做回声消除(acousticechocancellation，aec)，即本地降噪。但是，在一些特殊的使用场景下，这种方案就存在弊端。例如，在大巴汽车上，带有喇叭的语音交互主机往往会被置于车体前端，但是，麦克风可能安装于车体的后端，以便收集最后一排乘客发出的语音控制指令。这时，只能用非常长的线去连接带有降噪模块的麦克风和带有喇叭的语音交互主机，将喇叭发出的声音传至降噪模块，以使降噪模块做回声消除，上述方案导致线材成本增加，布线人工成本增加，同时长距离的传输也会对音频信号有一定的影响。

技术实现要素：

鉴于上述问题，本发明提出一种降噪方法、装置、噪音消除器、麦克风和可读存储介质。

本发明的一个实施例提出一种降噪方法，应用于大巴汽车的语音交互系统，该方法包括：

经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文；

解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号；

利用所述参考音频信号将收音装置当前收录的音频信号中与所述语音交互主机相关的噪音信号消除。

上述的降噪方法，所述经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文，包括：

利用udp通信协议无线接收语音交互主机发送的包括参考信号的各条报文。

上述的降噪方法，所述解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号，包括：

确定所述各条报文对应的报文发送时间戳和参考信号；

根据各个参考信号对应的报文发送时间戳对所述各个参考信号进行拼接，以确定所述参考音频信号。

本发明的另一个实施例提出一种降噪装置，应用于大巴汽车的语音交互系统，该装置包括：

报文接收模块，用于经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文；

信号确定模块，用于解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号；

噪音消除模块，用于利用所述参考音频信号将收音装置当前收录的音频信号中与所述语音交互主机相关的噪音信号消除。

本发明实施例涉及一种噪音消除器，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的降噪方法。

本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的降噪方法。

本发明实施例涉及一种麦克风，包括收音装置和本发明实施例所述的噪音消除器。

本发明的再一个是实施例提出一种应用于大巴汽车的语音交互系统，该系统包括无线通信模块、带有喇叭的语音交互主机和至少一个本发明实施例所述的麦克风，所述语音交互主机和各个麦克风通过所述无线通信模块进行网络连接；

所述语音交互主机用于每隔预定时间将所述喇叭当前播放的外放声音信号转换成参考信号，并将所述参考信号以报文的形式发送给所述麦克风的噪音消除器。

上述的应用于大巴汽车的语音交互系统，该系统还包括云端服务器，云端服务器用于：

经由所述无线通信模块接收所述噪音消除器上传的已经消除所述参考音频信号的音频信号；

对所述已经消除所述参考音频信号的音频信号进行音频识别；

将音频识别结果发送至所述语音交互主机，以使所述语音交互主机根据所述音频识别结果执行对应的操作。

上述的应用于大巴汽车的语音交互系统，每一个噪音消除器上传的已经消除所述参考音频信号的音频信号包括与上传顺序对应的id编码，云端服务器根据所述id编码将所述音频信号依次发送至所述语音交互主机。

本发明公开的应用于大巴汽车的语音交互系统的降噪方法包括：经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文；解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号；利用所述参考音频信号将收音装置当前收录的音频信号中与所述语音交互主机相关的噪音信号消除。本发明的技术方案可以实现语音交互主机与麦克风阵列不必通过线缆连接在一起，可以将语音交互主机和麦克风阵列分开设计，在应用上更加的灵活，不受空间上的限制，可随意放置于需要的位置。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例提出的一种降噪方法的流程示意图；

图2示出了本发明实施例提出的一种降噪装置的结构示意图；

图3示出了本发明实施例提出的一种麦克风的结构示意图；

图4示出了本发明实施例提出的一种应用于大巴汽车的语音交互系统的系统结构示意图。

主要元件符号说明：

1-降噪装置；10-报文接收模块；20-信号确定模块；30-噪音消除模块；200-应用于大巴汽车的语音交互系统；23-麦克风；24-语音交互主机；25-云端服务器；26-无线通信模块；2-收音装置；3-噪音消除器。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

本发明主要应用于大巴汽车的语音识别系统，可以实现大巴汽车后座带有降噪功能的麦克风与大巴汽车前端带有喇叭的主机之间不需要使用线缆进行连接，通过无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文；解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号；利用所述参考音频信号将收音装置当前收录的音频信号中与所述语音交互主机的喇叭相关的噪音信号消除。

本发明的技术方案主要分三大部分，如下：带喇叭的语音交互主机可联网，用于接收云端服务器端传回的识别后的音频信息，并且响应音频信息执行对应的操作，并同步将喇叭播放的音频数据经由无线通信模块实时无线发送至带有降噪功能的麦克风；云端服务器用于收集麦克风收录的音频，并做自动语音识别(automaticspeechrecognition，asr)处理，并将识别结果返回给语音交互主机；麦克风用于音频采集，接收语音交互主机传过来参考音频数据做回声消除(acousticechocancellation，aec)处理后向云端服务器上传音频。本发明的技术方案可以实现语音交互主机与麦克风阵列不必物理连接在一起，同样可达到良好的语音识别的效果。本发明将语音交互主机和麦克风阵列分开设计，在应用上更加的灵活，不受空间上的限制，可随意放置于需要的位置。

实施例1

本实施例，参见图1，示出了一种降噪方法包括以下步骤：

s10：经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文。

无线通信模块可以是路由设备或蓝牙通信模块。带有噪音消除器的麦克风和带有喇叭的语音交互主机通过无线通信模块进行网络连接，麦克风的噪音消除器可以利用无线通信模块实现实时无线接收语音交互主机发送的包括参考信号的各条报文。

报文传输协议包括传输控制协议(transmissioncontrolprotocol，tcp)和用户数据报协议(userdatagramprotocol，udp)。

可以理解，tcp协议是一种面向连接的、可靠的、基于字节流的传输层通信协议，tcp的优点：可靠，稳定。tcp的可靠体现在tcp在传递数据之前，会有三次握手来建立连接，而且在数据传递时，有确认、窗口、重传、拥塞控制机制，在数据传完后，还会断开连接用来节约系统资源。tcp的缺点：慢，效率低，占用系统资源高，易被攻击。tcp在传递数据之前，要先建连接，这会消耗时间，而且在数据传递时，确认机制、重传机制、拥塞控制机制等都会消耗大量的时间，而且要在每台设备上维护所有的传输连接，事实上，每个连接都会占用系统的cpu、内存等硬件资源。而且，因为tcp有确认机制、三次握手机制，这些也导致tcp容易被人利用。

可以理解，udp协议是支持无连接的传输协议，udp为应用程序提供了一种无需建立连接就可以发送封装的ip数据包的方法。udp的优点：快，比tcp稍安全，udp没有tcp的握手、确认、窗口、重传、拥塞控制等机制，udp是一个无状态的传输协议，所以它在传递数据时非常快。没有tcp的这些机制，udp较tcp被攻击者利用的漏洞就要少一些。udp的缺点：不可靠，不稳定。因为udp没有tcp那些可靠的机制，在数据传递时，如果网络质量不好，就会很容易丢包。

基于tcp协议和udp协议的优缺点，包括参考信号的各条报文在语音交互主机和麦克风的噪音消除器之间的传输时，对网络通讯质量要求不高，但是，要求网络通讯速度能尽量的快，优选的，可以利用udp通信协议无线接收语音交互主机发送的包括参考信号的各条报文。

s20：解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号。

确定各条报文对应的报文发送时间戳和参考信号，根据各个参考信号对应的报文发送时间戳对所述各个参考信号进行拼接，以确定所述参考音频信号。以使收音装置通过内置算法对收到的参考音频信号和收录的音频信号做对比处理，消除收录的音频信号中相应的噪声，其中，内置算法包括aec。

可以在各条报文的预定第一字段位置记录报文发送时间戳，在各条报文的预定第二字段位置记录参考信号，还可以在各条报文的预定第三字段位置记录校验位，还可以在各条报文的预定第三字段位置记录报文头头，以及在各条报文的预定第四字段位置记录报文尾等。报文格式可以预先设定，在解析各条报文时，可以按照预定的规则进行解析，根据解析结果中的各条报文对应的报文发送时间戳和参考信号确定所述参考音频信号。

s30：利用所述参考音频信号将收音装置当前收录的音频信号中与所述语音交互主机相关的噪音信号消除。

与所述语音交互主机相关的噪音信号即与语音交互主机连接的喇叭播放的声音，可以理解，语音交互主机的喇叭在播放声音时，麦克风将不可避免的收录喇叭外放的声音，此时，麦克风收录的喇叭的声音对于麦克风来说是噪音。可以理解，当大巴汽车最后一排座位上的乘客通过座位上的麦克风向语音交互主机发送语音指令：“播放电影”时，若与语音交互主机连接的喇叭正在播放歌曲，此时，麦克风收录的音频信息，不仅包括语音指令：“播放电影”，还包括正在播放的歌曲，例如“abcd”，“abcd”对于语音指令：“播放电影”来说就是噪音，需要将其滤除。

进一步的，若麦克风的噪音消除器经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文，可以确定在收录语音指令：“播放电影”时段内的多条报文，解析该时段内的多条报文，可以确定参考音频信号，利用该时段内的多条报文对应的参考音频信号可以将收音装置当前收录的音频信号中的噪音信号消除。

本实施例公开的应用于大巴汽车的语音交互系统的降噪方法包括：经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文；解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号；利用所述参考音频信号将收音装置当前收录的音频信号中与所述语音交互主机相关的噪音信号消除。本实施例的技术方案可以实现语音交互主机与麦克风阵列不必通过线缆连接在一起，可以将语音交互主机和麦克风阵列分开设计，在应用上更加的灵活，不受空间上的限制，可随意放置于需要的位置。

实施例2

本实施例，参见图2，提出一种降噪装置1，应用于大巴汽车的语音交互系统，该装置包括：报文接收模块10、信号确定模块20和噪音消除模块30。

报文接收模块10，用于经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文；信号确定模块20，用于解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号；噪音消除模块30，用于利用所述参考音频信号将收音装置当前收录的音频信号中与所述语音交互主机相关的噪音信号消除。

其中，经由无线通信模块实时无线接收语音交互主机发送的包括参考信号的各条报文，包括：利用udp通信协议无线接收语音交互主机发送的包括参考信号的各条报文。

解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号，包括：

确定所述各条报文对应的报文发送时间戳和参考信号；根据各个参考信号对应的报文发送时间戳对所述各个参考信号进行拼接，以确定所述参考音频信号。

本实施例公开的降噪装置1，应用于大巴汽车的语音交互系统，该装置通过报文接收模块10、信号确定模块20和噪音消除模块30的配合使用，用于执行上述实施例所述的降噪方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

实施例3

进一步的，参见图3，公开一种麦克风23，包括收音装置2和噪音消除器3。

可以理解，噪音消除器3，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的降噪方法。

进一步的，参见图4，公开一种应用于大巴汽车的语音交互系统200，该系统包括无线通信模块26、带有喇叭的语音交互主机24和至少一个的麦克风23，麦克风可以安装在大巴汽车的各个座位上，用于收录座位上的用户发送的语音指令，所述语音交互主机和各个麦克风通过所述无线通信模块进行网络连接；

所述语音交互主机用于每隔预定时间将所述喇叭当前播放的外放声音信号转换成参考信号，并将所述参考信号以报文的形式发送给所述麦克风23的噪音消除器3；

麦克风23的所述噪音消除器3用于：经由无线通信模块26实时无线接收语音交互主机发送的包括参考信号的各条报文；解析所述各条报文以根据所述各条报文对应的参考信号确定参考音频信号；利用所述参考音频信号将收音装置当前收录的音频信号中与所述喇叭外放声音相关的噪音信号消除。

应用于大巴汽车的语音交互系统200还包括云端服务器25，云端服务器25用于：

经由所述无线通信模块26接收所述噪音消除器3上传的已经消除所述参考音频信号的音频信号；对所述已经消除所述参考音频信号的音频信号进行音频识别；将音频识别结果发送至所述语音交互主机24，以使所述语音交互主机24根据所述音频识别结果执行对应的操作。

进一步的，每一个噪音消除器上传的已经消除所述参考音频信号的音频信号包括与上传顺序对应的id编码，云端服务器根据所述id编码将所述音频信号依次发送至所述语音交互主机。可以理解，id编码值越小优先级越大，以在云端服务器收到多个麦克风上传的指令时，优先处理id编码值小的麦克风收录的指令，进而避免控制顺序混乱，使得语音交互主机无从响应。

可以理解，本发明实施例涉及一种噪音消除器，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的降噪方法。

可以理解，本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的降噪方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。