车辆声音处理系统的制作方法

本申请涉及一种车辆声音处理系统并且涉及一种用于产生三维声场的方法。此外，提供一种包括程序代码的计算机程序和一种载体。

背景技术：

诸如汽车、货车等机动车辆越来越多地使用辅助驾驶员驾驶机动车辆的驾驶员辅助系统。此外，未来将开发应自主驾驶的车辆。为此，车辆使用提供在车辆中的传感器阵列，其从车辆环境中采集信号以确定位于车辆环境中的对象。此外，由于使用噪声消除系统，预计未来车辆客舱将会很安静。因此，车辆内部的乘员或乘客在声学上与外部隔离，并且很少注意实际驾驶过程。因此，基于车辆乘客所提供的输入或通过驾驶情况需要的事实，通知车辆乘客关于车辆外部发生的某些事件将是有帮助的。在这种情况下，提供将车辆乘客的注意力吸引到位于车辆外部的某一对象的可能性将是特别有帮助的。

技术实现要素：

根据第一方面，本申请提供一种车辆声音处理系统，其包括被配置来检测位于车辆外部的对象的信号的传感器阵列。此外，车辆声音处理系统包括被配置来存储控制指令的存储器和连接到传感器阵列并被配置来从存储器读取控制指令的处理单元，其中处理单元被配置来基于控制指令执行基于检测到的信号确定车辆外部对象的位置的步骤。

此外，在车辆内部产生三维声场，并且在三维声场中将表示检测到的对象的声音事件放置在三维声场中的虚拟位置处，使得当具有声音事件的三维声场输出到车辆乘客，车辆乘客将声音事件定位在对象的确定位置处。此外，提供一种缩放功能，用其减小或增大声音事件的虚拟位置相对于车辆乘客的距离。

车辆声音处理系统提供在车辆内部产生三维声场的可能性，使得听众的感知是位于车辆外部的对象的声音来自对象所实际位于的位置。这可有助于通知驾驶员危害情况。在具有缩放功能的情况下，可通过提供好像对象像现实中一样位于更靠近车辆的位置的感觉来将车辆乘客的注意力吸引到车辆外部的这个对象。缩放功能有助于强调可能的危险情况，使得诸如驾驶员的车辆乘客可相应地作出反应。可通过例如按实际距离的预定义百分比减小或增大听众感知对象的距离来自动控制缩放功能。此外，用户有可能用应如何调整对象在声场中的距离的指示来主动控制缩放功能。

此外，提供用于产生三维声场、包括上文所讨论的步骤的对应方法。

另外，提供一种包括由车辆声音处理系统的至少一个处理单元执行的程序代码的计算机程序，其中程序代码的执行致使至少一个处理单元执行上文讨论和下文更详细讨论的方法。另外，提供一种包括计算机程序的载体。

应理解，在不脱离本申请的范围的情况下，上文所提及的特征和下文有待解释的特征不但可以所指示的相应组合使用，而且还可以其他组合或孤立地使用。除非另有明确提及，否则上文所提及的方面的特征可彼此组合。

附图说明

根据结合附图阅读的以下详细描述，本申请的前述和另外的特征和效果将变得显而易见，在附图中，类似的附图标号是指类似的元件。

图1示出包括检测车辆环境的传感器阵列的车辆的示意图。

图2示出被配置成为车辆乘客产生三维声场的车辆声音处理系统的示例性示意图。

图3示出根据由图1的传感器阵列检测到的信号进行以便产生三维声场的处理步骤的示意图。

图4示出由图2所示的车辆声音处理系统进行以将车辆乘客的注意力吸引到车辆外部的某一事件的方法的示例性流程图。

图5示出被配置来将车辆乘客的注意力吸引到车辆外部的某一事件的车辆声音处理系统的另一个示意图。

具体实施方式

下面将参考附图描述本申请。应理解，以下描述不具有任何限制意义。本申请的范围并不意图受限于下文所描述的实例或仅用于说明的附图。

附图应看作是示意图，并且附图所示的元件未必按比例示出。更确切地，各种元件被图示以使得其功能和一般用途对于本领域技术人员而言变得显而易见。附图所示出和下文所描述的功能框、装置、部件或者物理或功能单元之间的任何连接或耦合也可通过间接连接或耦合实现。部件之间的耦合可通过有线或无线连接来建立。功能框可以硬件、软件、固件或其组合实现。

图1示意性地示出车辆10，其包括提供在车辆上以监测车辆外部的环境和空间的传感器20阵列。传感器20阵列可包括外部麦克风阵列和/或被配置来从车辆环境拍摄图像的图像传感器阵列。传感器阵列还可包括雷达元件、激光器、pmd传感器或可确定位于车辆外部的对象位置的任何其他元件。

图2示出位于车辆10中的车辆声音处理系统100的更详细的视图。声音处理系统包括接口110，其被提供用于使用有线或无线传输将数据或控制消息发送到车辆内部或外部的其他实体。举例来说，提供接口110以接收由传感器20阵列获取的传感器信号。此外，提供包括一个或多个处理器并且可进行存储在存储器130上的指令的处理单元120，其中存储器可包括只读存储器、随机存取存储器、大容量存储器、硬盘等。存储器还可包括由处理单元120执行的合适的程序代码，以便实现上文描述或下文更详细描述的声音处理系统的功能性。此外，提供人机接口140，车辆声音处理系统的用户(诸如驾驶员或任何其他车辆乘客)可利用所述人机接口140来控制声音处理系统。

图2还示意性地示出外部麦克风20阵列，其中在所示的实施方案中可提供数量为n个的麦克风。此外，示意性地示出扬声器30阵列，其用于输出由处理单元120产生的声场。扬声器30可实现为环绕声音系统，诸如5.1系统。扬声器和扬声器的数量设计成使得声音可由作为三维声场的扬声器输出。处理单元120被配置来执行声学场景分析和判读以及声音的聚类，如下文将更详细地描述。此外，处理单元能够决定车辆外部发生的哪些声音事件包括在待输出到车辆乘客的三维声场中。

图3示出根据由传感器20阵列检测到的信号进行的处理步骤的更详细的视图。下面假设使用检测音频信号的麦克风阵列。外部麦克风阵列检测到完整的外部噪声和声音。预处理模块310过滤输入信号，使得较高级处理框可根据所述信号工作。举例来说，从信号中检测和提取噪声，例如麦克风在移动环境中检测声音时发生的噪声。提供对象检测框320，提取检测到的声音的信号特征并将其分类成某些声学对象，诸如其他车辆、具有警笛的车辆等。在这种情况下，进行声学场景分析。声学场景分析包括进行空间分析和内容分析的步骤。进行空间分析的不同选择是本领域已知的。举例来说，在第23届eusipco上，keisukeimoto和nobutakaono在“spatial-feature-basedacousticsceneanalysisusingdistributedmicrophonearray”中描述了一种可能的实现方式。2013年10月20-23日，在关于applicationsofsignalprocessingtoaudioandacoustics的2013ieee研讨会上，j.t.geiger等人在“large-sclaeaudiofeatureextractionandsvmforacousticsceneclasification”中描述了内容分析的可能实现方式。此外，在框320中进行位置检测，其中由对象检测识别的不同对象被定位和追踪。对于每个检测到的对象，确定空间中精确且唯一的位置(例如，x、y、z位置)。下一个功能框330是被配置来产生声学场景的框，其中由麦克风阵列检测到的对象可与用户想要放置在待由扬声器30输出的声场中的任何其他虚拟或合成对象组合。用户可使用人机接口140来添加虚拟声音对象。在这种情况下，可能有不同的选择。举例来说，当传感器阵列另外包括图像传感器并且图像传感器在车辆环境中检测到可能对车辆有危害的对象时，可将虚拟声音对象放置在三维声场中，即使车辆外部的对象并未产生声音。举例来说，对象可以是位于车辆前方、打算在车辆前方穿过道路的儿童，或者对象可以是任何其他对象，诸如位于道路上的石头或木材片以及可能对车辆有危害的对象。在这种情况下，对象是由传感器在车辆外部检测到但是并未产生声音或产生的声级并非高得足以使得车辆乘客注意所检测到的对象的虚拟对象。此外，虚拟对象有可能是未被监测车辆环境的传感器中的任何一个检测到的对象，但是可以是诸如目前通过电话与车辆乘客通话的另一个人的对象。声音处理系统可通过输入/输出单元110从车辆网络接收信号来检测，用所述车辆网络通知系统100正在车辆中进行语音呼叫。可使用人机接口140在三维声场中将位于线路另一端处的人放置在预定义位置处或在由车辆乘客输入的位置处，使得车辆乘客感知到声音好像源自用户定义的某一位置。

当图像传感器用于检测车辆外部的信号时，模块310和320可包括图像后处理技术，通过所述技术可检测对象连同其在空间中的位置。根据是否使用图像传感器补充或代替麦克风的事实，提供用于图像后处理的模块来补充模块310和320或代替这些模块。

当待定位在声场中的不同对象的位置已知时，可基于已知技术(诸如高保真度立体声响复制或波场合成)产生3d声场。

总之，在声学场景生成模块330产生三维声场期间，在车辆外部检测到的真实对象和虚拟对象被组合到混合世界。另外，提供可修改真实对象或虚拟对象的位置的缩放功能。举例来说，麦克风阵列可能已经检测到紧急车辆的警笛，并且可基于由不同麦克风20检测到的信号检测这个紧急车辆的位置。然后这个对象被定位在三维声场中的虚拟位置处，使得当三维声场输出到用户时，用户将声音事件定位在确定位置处。现在缩放功能提供增大或减小声音事件的虚拟位置相对于车辆乘客的距离的可能性。举例来说，如果向驾驶员警告车辆外部的某一对象，则可减小距离，使得驾驶员感觉对象位于比其现实中的位置更靠近车辆的位置。缩放功能可由车辆乘客使用人机接口140进行调整。举例来说，用户可确定某一组对象或被认为是对车辆有危害的对象的任何对象应在三维声场中位于比现实中更近的位置，例如比现实中离车辆近10％、20％或任何其他百分比或绝对距离。最终，提供产生三维声场的三维音频呈现模块340。由模块340输出的信号可输出到车辆扬声器30。

存储器还可存储表示待定位在三维声场中的不同对象的某些声音文件。举例来说，可提供输出由玩耍时的儿童产生的声音的声音文件。然后可使用这种声音文件并将其放置在三维声场中的期望位置处，以便警告驾驶员在车辆外部的某一位置处检测到儿童，即使并未从儿童那检测到声音。其他声音文件可存储在存储器中，所述声音文件可由声音处理系统使用，以便将某些对象定位在声场内。

图4总结由上文结合图2和图3讨论的声音处理系统100进行的一些步骤。所述方法在步骤s40中开始，并且在步骤s41中检测车辆外部的信号。检测到的信号可包括由麦克风阵列检测到的音频信号。此外或作为替代，检测到的信号可包含由图像传感器阵列检测到的图像信号。在上文所讨论和图4中未示出的一些预处理之后，在步骤s42处，基于检测到的信号确定至少一个对象的位置。当信号包括音频信号时，诸如波束形成的方法可用于将对象定位在空间中。当信号包括图像信号时，本领域已知的图像后处理算法可用于识别对象和在空间中的对应位置。对于检测到的每个对象，确定在车辆外部的空间中的精确位置。当所有对象都定位在期望位置时，确定哪些对象应包括在声场中，并且可在步骤s43中产生体现待包括在声场中的不同对象的三维声场，并且在步骤s42中确定了所述对象的位置。在这个步骤中，只有预定义声音事件(例如，警笛)才可包括在待输出到车辆乘客的声场中。在另一个选择中，系统可被配置成使得由麦克风检测到的所有对象都包括在声场中，并且都输出到车辆客舱而不去除任何对象或者不从检测到的声音信号中去除任何声音分量(期望噪声)且不削弱检测到的声音信号。因此，车辆乘客感觉自己位于声音信号未被车辆客舱削弱的车辆外部。

产生三维声场，使得用户感觉声音来自对象在真实世界中实际位于的空间中的某点。上文讨论了用于确定3维声场的不同选择。此外，还知道在空间中产生的声音生成传播到车辆乘客的耳朵的声波。到达双耳的信号也经受由与车辆乘客的身体交互作用所致的滤波过程。可使用头部相关传递函数(hrtf)准确地测量声音从空间中的定义位置到耳道的变换。如本领域已知，为了产生三维声场，进行天然听觉的模仿。此外，三维声场的产生将确定位置与距离、运动或环境线索相组合，使得可产生场景的完全模拟。在步骤s44中，将声音事件放置在3d声场中的虚拟位置处，所述3d声场被确定成使得用户感觉从检测到的位置听到声音事件。

另外，将待输出的每个声音事件都放置在期望的虚拟位置处，当被转变成三维声场时，所述虚拟位置对应于用户期望在所定义的位置处听到位于真实世界中的对象的位置。最后，在步骤s45中，确定使用哪个缩放功能来移动对象中的一个，使其离车辆更近或更远。用缩放功能将三维声场中的虚拟位置调整成使得用户感知到声音好像来自比现实中更靠近用户的位置。在另一个实施方案中，虚拟位置的距离也可被增大，使得听众从空间中的某点感知到位于比现实中更远的位置的对象。所述方法在步骤s46中结束。

图5示出另一车辆的声音处理系统的另一个示意图。系统500包括用于检测位于车辆外部的对象的信号的模块510。另外，提供模块520，用其确定由模块510确定的不同对象的位置。提供模块530，其在三维空间中产生声场，并且在三维声场中将声音事件放置在如上文所讨论的位置处。另外，提供模块540，可用其减小或增大声音事件的虚拟位置。如上文所讨论，用这个模块有可能将听众印象中的对象移动到比在真实世界中更靠近车辆的位置。

从上文所述可得出一些一般性结论：

声音处理系统可包括可由车辆乘客操作的接口，并且可用所述接口调整三维声场和声音事件。接口或人机接口140为车辆乘客提供修改由缩放功能提供的距离的可能性。当检测到虚拟位置的位置已经被处理单元或用户修改时，处理单元被配置来确定声音事件的新虚拟位置，并且被配置来在三维声场中将声音事件放置在新虚拟位置处。使用所述接口，车辆乘客可在听觉印象中将在车辆外部检测到的对象移动到与车辆外部对象的真实位置相比更靠近车辆的位置。此外，有可能使用接口在三维声场中将未被传感器阵列检测到的至少一个虚拟声音事件放置在所定义的位置处，其中，当检测到虚拟声音事件被放置在所定义的位置处时，产生三维声场，使得其在所定义的位置处包括至少一个虚拟声音事件。

传感器阵列可包括麦克风阵列、图像检测器阵列或两者或允许确定位于车辆外部的对象的位置的任何其他传感器阵列。

当包括麦克风阵列的传感器阵列在车辆外部检测到多个声音事件时，处理单元可被以只在三维声场中表示预定义声音事件的方式配置成使得多个声音事件被识别和过滤。这意味着一些所识别的信号并未被图3的模块320发送，在所述模块320中不同的声音事件被分类。举例来说，系统或特别地模块320可滤除除紧急车辆所产生的声音(诸如警笛)之外的所有信号。此外，比预定义阈值更大的声音信号也可发送到其他处理模块并包括在三维声场中。另外，用户可通过指示应包括在三维声场中的声音事件来控制未被系统滤除的声音事件。

此外，车辆声音处理系统能够将并未产生声音的对象包括到三维声场中。当例如基于图像数据(诸如道路上的对象或者道路上或道路旁边的儿童)确定车辆外部对象的位置时，可产生表示由图像传感器检测到的对象的虚拟声音事件。此外，基于确定位置在三维声场中确定虚拟声音事件的位置，并且在三维声场中将虚拟声音事件放置在确定位置处。由声音事件产生的声音可存储在预定义声音文件中，或者可由处理单元产生。举例来说，可产生警报信号，使得车辆乘客感知到声音好像源自对象被检测到的位置。

此外，麦克风阵列有可能从包括多个不同对象的完整车辆环境中检测到环境信号，其中多个对象都被放置在3维声场中，而不滤除多个不同对象中的任何一个并且不削弱由多个不同对象发出的声音信号。此时，车辆乘客感觉自己坐在车辆外部并且听到未被车辆客舱削弱的环境声音。

总之，所公开的技术使得能够直观地通知用户位于车辆外部的对象。通过控制对象在三维声场中的距离并且因此控制用户的感知，可以有效的方式通知车辆乘客、特别是驾驶员可能的危害情况和车辆外部所检测到的对象。

上述实例的各方面可体现为系统、方法或计算机程序产品。可使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是电子、磁性、光学、电磁、红外或半导体系统设备或装置或者前述设备或装置的任何合适组合。计算机可读存储介质的更具体的实例可包括具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、光学纤维、cdrom、光学存储装置或可包含或存储用于与指令执行系统一起使用的程序的任何有形介质。

上文所讨论的流程图或框图示出根据本申请的各种实例的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。流程图或框图中的每个框可表示代码的模块、区段或部分，其包括用于实现所指定逻辑功能的一个或多个可执行指令。