用于车辆传感系统的音频处理的制作方法

本发明涉及用车辆传感系统处理音频信号的系统和方法。

背景技术：

用于半自主或全自主车辆的驾驶员辅助系统和传感系统可以使用多种传感器类型，以有效地允许车辆感测其周围环境。然而，每种传感器类型都有缺点。使用捕获图像的照相机或捕获反射光(激光雷达)的光学传感器的光学系统受到“视线”的限制，相对昂贵，并且需要强大的处理器来处理大量数据。检测反射无线电波的雷达系统数据密集程度较低，但提供的信息要少得多。检测反射超声波的系统仅在短距离内有用，并且限于诸如停车辅助传感器的应用。

据发明人所知，没有使用麦克风或其他音频传感器来提供表示车辆周围环境的附加数据的驾驶员辅助系统或自动车辆系统。为此，要克服的一个挑战是将音频传感器与驾驶员辅助系统或自主车辆系统集成。另一个挑战是由风或空气抖振产生的噪声，这可能使得难以或不可能检测感兴趣的目标声音。尽管可以从声音样本中电子地过滤噪声，但这将使计算时间和成本增加到对于车辆应用中所需的近实时声音检测可能不实用的程度。

技术实现要素：

在一个方面，本发明包括一种用于向车辆操作者提供源自音频的信息的系统，该系统包括：

(a)安装在车辆中或安装到车辆的至少一个麦克风，用于响应于所述车辆外部的声波而生成模拟信号；以及

(b)分析模块，其与所述至少一个麦克风相关联，用于将所述模拟信号转换为数字信号，其中，所述分析模块被配置为将所述数字信号传送到车辆数据总线，用于将所述数字信号传送或传递到所述车辆操作者或车辆控制系统。

在一个实施方式中，所述车辆操作者是人类驾驶员，所述数字信号导致对驾驶员的通知。在另一实施方式中，所述车辆操作者是车辆控制系统，例如在自主或半自主车辆中，并且所述数字信号导致对所述车辆控制系统的电子通知。

在另一方面，本发明可以包括一种用于向车辆操作者提供源自音频的信息的方法，该方法包括以下步骤：

(a)为所述车辆提供至少一个面向外部的麦克风，用于响应于所述车辆外部的声波而生成模拟信号；

(b)将所述模拟信号转换为数字信号，并将所述数字信号传送至车辆数据总线，以将所述数字信号传递至所述车辆操作者。

附图说明

在说明书所示的附图中，相同的元件可以用相同的附图标记表示。附图不必按比例绘制，取而代之的是强调本发明的原理。另外，所描绘的实施方式中的每一个仅为利用本发明的基本概念的若干可能结构中的一个。

图1示出了装备有本发明的系统的实施方式的车辆，以及在道路上行驶时发出警笛声的紧急车辆。

图2示出了本发明的系统的第一实施方式的示意图，该系统包括具有处理元件的单个麦克风和经由数据总线可操作地连接到车辆控制系统的相关联的分析模块。

图3示出了根据本发明的系统的实施方式的包含多个麦克风的车辆的前视图。

图4示出了根据本发明的系统的实施方式的包含多个麦克风的车辆的后视图。

图5示出了根据本发明的系统的实施方式的包含麦克风的车辆前照灯组件。

图6示出了根据本发明的系统的实施方式的包含麦克风的车辆侧镜组件。

图7示出了用于换能器形式的音频传感器的本发明的外壳的实施方式的分解透视图。

图8示出了本发明的系统的实施方式的示意图，该系统包括在多个节点处可操作地连接到数据总线的多个麦克风。

图9示出了本发明的系统的另一实施方式的示意图，该系统包括在单个节点处可操作地连接到数据总线的多个麦克风。

具体实施方式

定义。未在本文中明确定义的任何术语或表达应具有本领域技术人员所理解的其通常接受的定义。如本文所用，以下术语具有以下含义。

“音频传感器”是指检测声波并将其转换成电信号的设备。在一个实施方式中，音频传感器可以是包括换能器的麦克风。

“计算机处理器”是指能够处理输入电子信号以产生输出电子信号的电子设备。在实施方式中，计算机处理器可以包括通常被称为可编程逻辑控制器、印刷电路板、集成电路、微控制器、处理器等的一个或多个设备。“计算设备”包括至少一个计算机处理器，并且还可以包括计算机可读存储器，该计算机可读存储器可以包括可由处理器执行的指令。

“非暂时性计算机可读存储器”是指能够以计算机处理器可读的格式存储数据和/或指令的有形介质。在实施方式中，非暂时性计算机可读存储器可以包括磁介质、光学介质或固态介质。

“目标声音”是指需要检测的特定感兴趣声音。目标声音可以在人类可听频谱内，或者在人类可听频谱外(例如，超过20khz的超声声音)。作为非限制性示例，在移动车辆的情形下，目标声音可以是由紧急车辆警报器、另一车辆的喇叭、用于视觉受损行人的人行横道辅助声音、指示车辆失控的打滑轮胎、与另一车辆或物体碰撞的车辆、动物噪声或人类声音产生的声音。

“车辆”是指用于运送人员和/或货物的机器。作为非限制性示例，车辆可以是任何自供电的轮式车辆，包括汽车、摩托车、卡车或公共汽车。车辆可以是非自主的、半自主的或完全自主的。

“车辆控制系统”是指直接或间接控制车辆动态的任何方面，或提供与控制车辆动态的任何方面相关的信息的系统。车辆控制系统与仅用于娱乐车辆驾驶员或乘客的车辆娱乐系统不同。例如，gnss或gps导航系统可被认为是车辆控制系统的一部分，因为它向驾驶员提供关于车辆的位置和行进方向的有用信息，即使卫星导航系统可被集成到传统上称为“信息娱乐”系统中。车辆控制系统可以具有或不具有人机接口。

一般而言，本发明可以包括车辆听觉传感系统以向车辆操作者或车辆控制系统提供输入，该车辆听觉传感系统包括耦合到分析模块的至少一个麦克风，该分析模块被配置为将麦克风产生的模拟信号转换为数字信号并且将该数字信号传送到车辆数据总线以将该数字信号传送到车辆操作者或车辆控制系统。

包含在数字信号中并从本发明的音频传感器导出的信息可被处理并用于向驾驶员、车辆控制系统或远程实体提供通知，和/或被处理并用于调整车辆内部的视觉或音频条件，和/或用于控制车辆动态而无需人工输入或用于超越人工输入。

系统。图1示出了在道路(12)上的车辆(10)，其中接近的紧急车辆(14)发出如声波(16)所示的警笛声。车辆(10)配备有用于检测作为目标声音的警笛声的本发明的系统(100)的实施方式，其具有由区域(18)表示的检测范围。在该示例中，车辆(10)还配备有具有分别由区域(20)、(22)和(24)表示的检测范围的光学感测系统、雷达感测系统和超声感测系统。系统(100)可在原始制造期间安装在车辆(10)中或作为售后市场系统以与现有车辆数据总线和车辆控制系统相接。

图2示出了使用可操作地连接到分析模块(112)的外部麦克风(102)或其他音频传感器向车辆控制系统提供源自音频的信息的本发明的系统(100)的一个实施方式的示意图，分析模块(112)又可操作地连接到与车辆控制系统(116)连接的车辆数据总线(114)。在实施方式中，系统(100)还可以包括用于外部麦克风的声音过滤或声音吸收设备，如图7所示。下面更详细地描述系统(100)的部件。

音频传感器。至少一个麦克风(102)面向外，意味着其检测车辆(10)的外部环境中的声波，并将它们转换成模拟信号以供系统(100)处理。麦克风可以物理地位于车辆上或车辆中的任何地方，只要其直接暴露于外部，或者提供有外部声音可以到达麦克风的通道。

在实施方式中，麦克风(102)可以以各种方式和位置结合到车辆(10)中。优选地，有四个或更多个麦克风(102)，其提供车辆周围360提的覆盖范围。例如，如图3和图4所示，麦克风(102)可以方便地与围绕车辆(10)周边的灯组件集成，例如前灯、雾灯或驱动灯、尾灯、侧标志灯或信号灯组件、侧镜、保险杠和/或下整流罩。作为另一示例，麦克风(102)可位于附接到车辆(10)的壳体中，诸如单独的分立壳体、如图5所示的前照灯壳体(103)或如图6所示的侧镜壳体(105)中。壳体可包括其他感测设备，例如照相机、雷达、激光雷达和超声波传感器，或车辆(10)外部的其他设备，例如侧镜、天线、头灯、尾灯、保险杠或闪光灯。虽然麦克风(102)可以与同一壳体中的其他传感器物理地集成，但是可以使用相同或不同的车辆数据总线网络从不同的麦克风发送数据。

音频传感器外壳。在系统的一个实施方式中，可提供声音过滤或声音吸收设备以机械地过滤或吸收撞击在外部暴露于环境的麦克风(102)上的声波，以便减少由麦克风(102)的换能器(101)检测到的噪声量。该设备包括填充有声音衰减材料(206)的外壳(202)，该声音衰减材料(206)优选地在吸收低频声音(例如频率小于约500hz的声音)方面相对有效。

在一个实施方式中，如图7所示，设备包括位于换能器(101)后面的后外壳(200)。该设备还包括在麦克风(102)的换能器(101)前面的前外壳(202)，其包含声音衰减材料(206)并且在换能器(101)前面形成声腔(204)。前外壳(202)中的端口开口(208)允许声波传播到声腔(204)中并撞击换能器。端口开口(208)应当被配置成避免由空气在端口开口(208)周围或进入端口开口(208)中的运动引起的共振频率。

在一个实施方式中，如图7所示，前外壳(202)是圆柱形的，但也可以是抛物线形、圆锥形或棱柱形。优选地，由前外壳(202)形成的声腔(204)具有大于其宽度的长度，使得声波在到达换能器之前必须行进通过吸音材料一定距离。外壳(200、202)本身优选地是显示一些吸声特性的声学材料。可选地，前外壳(202)的内表面和外表面之一或两者也可以涂覆有具有吸声特性的合适材料。

通过移动车辆产生的道路和风噪声具有在低于约500hz的范围内的实质分量。在一个实施方式中，声音衰减材料(206)优选地是衰减频率小于约500hz的声波的低密度多孔或纤维材料。通过在声腔(204)中插入低密度纤维或多孔材料来实现低频下的高吸收。低密度声音衰减材料(206)提供足够曲折的路径，使得声波不能从任何端口开口(208)直接到达换能器(101)。

在一个实施方式中，声音衰减材料(206)可以优选地是容易成形的，在大的温度范围内是稳定的，并且不应该是有毒的或污染物。进一步优选的是，声音衰减材料(206)容易回收并且制造和处理成本有效。

在一个实施方式中，声音衰减材料(206)可包括绝缘产品，例如矿物棉、玻璃纤维棉、纤维素或棉。优选材料是防水的，因为它不吸水或具有疏水表面。代表性材料包括岩(玄武岩)棉产品，例如roxulsafe'n'sound^tm(roxul公司；加拿大，安大略省，密尔顿)，其密度约为40kg/m³。下面表1示出了当按照astmc423标准(astm国际；美国，宾夕法尼亚州，西康肖霍肯)进行测试时在不同频率下3英寸厚roxulsafe'n'sound^tm绝缘的吸声系数(sac)。在表1中，降噪系数(nrc)是6个不同频率处的sac的平均值。

下面，表2总结了也可用于声音衰减材料(208)的其他材料的声学性能特性和密度。品牌为roxul^tm的产品可从加拿大安大略省密尔顿roxul公司购得；品牌为atsacoustics^tm的产品可从美国伊利诺伊州派珀市atsacoustics购得；品牌为owenscoming^tm的产品可从加拿大艾伯塔省埃德蒙顿欧文斯康宁加拿大公司(owenscomingcanadainc.)获得；品牌为applegate^tm的产品可从美国密歇根州韦伯维尔applegate绝缘材料公司购得。

在一个实施方式中，可以在麦克风外壳或通道的前面设置外部保护盖(未示出)，以防止水和碎屑到达声音衰减材料和/或麦克风。盖还必须允许足够的声音通过麦克风。在一个实施方式中，盖可由防水或阻水且优选防水和透气的任何膜状材料制成，例如与聚四氟乙烯聚合物(gore-tex^tm)结合的紧密编织织物。膜也可由诸如胶乳、紧密编织的合成纺织品的其他聚合物或弹性体材料或者诸如纺粘烯烃或闪纺聚乙烯纤维(tyvek^tm)的非织造产品制成，并且可涂覆或未涂覆。

分析模块。传统的车辆数据总线(114)不能传输模拟声音信号。因此，本发明的每个麦克风(102)优选地与分析模块(112)捆绑，以将麦克风(102)产生的模拟信号转换为声音的数字表示，并且在一个实施方式中，将数字样本识别为感兴趣的声音。因此，车辆数据总线仅需要传送作为感兴趣声音的肯定识别的信号，而不是任何模拟或数字听觉数据。

声音的多位数字编码可以产生每秒数百千位的数据流，这可以压倒车辆中的传统数据总线。因此，每个麦克风与分析模块相关联，该分析模块包括计算设备(例如，在单个集成电路上提供计算机处理器的微控制器)，该计算设备实施算法以产生表示声音并且具有可管理大小的数字信号，该数字信号携带关于声音的特征信息，或者包括对目标声音的检测或识别的确认，并且该数字信号可以通过车辆数据总线(114)传输或流式传输。在一个实施方式中，微控制器还可以分析模拟输入以确定功率和信号强度，在这种情况下，模拟信号的幅度信息被导出并被传递到车辆数据总线以用于与车辆控制系统通信。

车辆数据总线。“车辆数据总线”是指将车辆内部的部件互连的专用内部通信网络。网络协议必须考虑到车辆控制的特殊要求，例如消息传递的保证、非冲突消息、最小传递时间、低成本和emf噪声弹性以及冗余路由和其他特性。已知的协议和总线包括控制器局域网(can)、本地互连网络(lin)等。can是作为标称规范的一部分的具有电源的中间级控制总线。高速can总线提供从40kbit/s到1mbit/s的波特率，而低速/容错can提供从40kbit/s到125kbit/s的波特率。

lin是一种性能较低的非关键总线，通常用于控制侧镜等附件。诸如lin总线的低速网络可以用作用于车辆控制系统的通信路径，该通信路径仅传送检测到特定目标声音的通知。例如，可以周期性地轮询放置在侧视镜(如图6所示)中的麦克风(102)，或者推送关于目标声音检测的通知。

图8示出了具有多个麦克风(102a至102d)的系统(100)的实施方式的示意图，每个麦克风具有与麦克风(112a至112d)物理集成的相关联的分析模块。优选地，麦克风(102a至102d)将在物理上接近放置麦克风的位置处连接到车辆数据总线(114)。例如，作为前照灯组件的一部分安装的麦克风(102a、102b)连接到车辆数据总线(114)的靠近前照灯组件的位置，而安装在车辆侧镜上的麦克风(102c、102d)连接到车辆数据总线的靠近侧视镜的位置。数据总线可以不必是相同的数据总线。特别地，可以有利地直接连接到现有的车辆数据总线(114)，以避免增加额外的布线。

在音响系统(立体声系统或蜂鸣)或显示系统(仪表板或显示屏)的情况下，其他已知设备或系统可以以常规方式连接到总线(114)，并且可以潜在地用于向车辆操作员递送通知。其他传感器和控制系统(例如，ecu)可以连接到总线，如本领域公知的。

图9示出了具有多个麦克风(102a至102d)的系统(100)的替代实施方式的示意图。在一个实施方式中，系统可包括组合多个麦克风/分析模块的数字信号以产生组合信号并将组合信号呈现给车辆数据总线的单个节点的电路。在一些情况下，为麦克风(102)提供单独的总线可能是有利的。在一个实施方式中，多个麦克风(102a至102c)和相关联的电路由单个模块或盒(118)供电，单个模块或盒(118)向传感器供电，组合它们的输出信号并将其呈现为车辆数据总线(114)的单个节点。

其他处理部件。在一个实施方式中，如图2所示，系统(100)包括第一模拟滤波器(104)、第二模拟滤波器(106)和可以是对数放大器的放大器(108)，以处理由麦克风(102)产生的模拟信号。然后，模拟信号由比较器(110)接收，在比较器(110)中，模拟形式在电压电平检测器中被转换成数字信号，该电压电平检测器有效地用作模/数(a/d)转换器。放大器(108)、第一模拟滤波器(104)和第二模拟滤波器(106)可以被布置成以与图2所示的顺序不同的顺序处理信号。然后，分析模块(112)检查经处理的信号是否包含任何感兴趣的声音，并将它们的识别和存在经由车辆数据总线接口(114)传送到车辆操作者或车辆控制系统(116)。也可以识别和传送其他重要特性(例如定时和信号强度)。

可以对系统(100)进行调整，以检测驾驶员或车辆控制系统感兴趣的特定声音，并将其报告给驾驶员或车辆控制系统。此类声音的非限制性列表可包括紧急车辆警报、其他车辆喇叭、用于视觉受损行人的人行横道辅助声音或与行人相关联的其他声音、可指示车辆失去控制的打滑轮胎、与车辆与其他车辆或障碍物碰撞相关联的声音。示例性系统包括如2018年3月1日提交的共同未决的美国专利申请号15/909,709中所述的警报监测系统，该美国专利申请的全部内容在允许的情况下通过引用包含在本文中。通常，这样的系统包括计算机处理器，其被配置为将模数转换器产生的数字信号与存储的数字目标声音模板进行比较，以确定数字信号和模板之间的相似度，并且如果相似度超过阈值，则生成输出信号。

从多个麦克风接收的传感数据可以与车载计算设备同步，以导出关于车辆周围环境的定向、地理间隔或识别信息作为主要或冗余感知传感器。音频感测设备之间的同步可以通过车载计算设备，可以在车辆网络中自同步，或者可以通过对等同步来同步。在一个实施方式中，中央模块(118)周期性地(例如每隔几秒)向总线上的所有麦克风发出同步脉冲。在接收到该同步脉冲时，麦克风重置它们的计时器以基本上使它们自身与相同的时间基准同步并且避免每个麦克风中的时钟之间的漂移。麦克风向中央模块发送时间戳，指示它们何时检测到信号，并且这些定时的差异是中央模块用来计算方向的。

解释。可以参考根据本发明实施方式的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解，流程图图示和/或框图的每个块以及流程图图示和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。

附图中的流程图和框图示出了根据本发明的各种实施方式的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示包括用于实现指定逻辑功能的一个或多个可执行指令的模块、片段或部分代码。还应注意，在一些替代实施方案中，框中所注意到的功能可不按图中所注意到的次序发生。例如，实际上，连续示出的两个框可以基本上同时执行，或者取决于所涉及的功能，这些框有时可以以相反的顺序执行。还将注意到，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

本说明书所附权利要求中的所有手段或步骤加上功能元件的相应结构、材料、动作和等效物旨在包括用于与具体要求保护的其他要求保护的元件相结合地执行功能的任何结构、材料或动作。

说明书中对“一个实施方式”、“实施方式”等的引用指示所描述的实施方式可包括特定方面、特征、结构或特性，但并非每个实施方式都必须包括该方面、特征、结构或特性。此外，这样的短语可以但不一定指在说明书的其他部分中提到的相同实施方式。此外，当结合实施方式描述特定方面、特征、结构或特性时，无论是否明确描述，用其他实施方式来影响或连接此类模块、方面、特征、结构或特性都在本领域技术人员的知识范围内。换句话说，在不同实施方式中，任何模块、元件或特征可与任何其他元件或特征组合，除非存在明显或固有的不相容性，或其被具体排除。

进一步注意到，权利要求书可以不包括任何可选的内容。因此，该声明旨在用作在叙述权利要求元素或使用“否定”限制时使用诸如“仅”、“仅仅”等专用术语的前提基础。术语“优选地”、“优选的”、“优选”、“可选地”、“可以”和类似的术语用于指示所提及的项目、条件或步骤是本发明的可选的(不需要的)特征。

除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指代。术语“和/或”是指项目中的任何一个、项目的任何组合、或与该术语相关联的所有项目。本领域技术人员容易理解短语“一个或多个”，特别是当在其使用的上下文中阅读时。

术语“大约”可指规定值的±5％、±10％、±20％或±25％的变化。例如，在一些实施方案中，“大约50个”百分比可以具有45％至55％的变化。对于整数范围，术语“大约”可以包括在该范围的每一端大于和/或小于所述整数的一个或两个整数。除非本文另有说明，术语“大约”旨在包括在组合物或实施方式的功能方面相当的接近所述范围的值和范围。

本领域技术人员应当理解，为了任何和所有目的，特别是为了提供书面描述，本文所述的所有范围还包括任何和所有可能的子范围及其子范围的组合，以及构成该范围的各个值，特别是整数值。所述范围包括该范围内的每个特定值、整数、小数或恒等式。可以将任何所列的范围容易地理解为充分描述相同的范围并且使相同的范围能够被分解成至少等同的两份、三份、四份、五份或十份。作为非限制性示例，可以容易地将本文所讨论的每个范围分解成下三分之一、中三分之一和上三分之一等。

本领域技术人员还将理解，诸如“最多”、“至少”、“多于”、“少于”、“大于”、“或更多”等所有语言都包括所列举的数字，并且这些术语指的是随后可细分为上述子范围的范围。以相同的方式，本文所述的所有比率还包括落入较宽比率内的所有子比率。