一种汽车智能座舱的环境音控制方法与系统与流程

本发明涉及计算机应用技术领域，尤其涉及一种汽车智能座舱的环境音控制方法与系统。

背景技术：

随着自动驾驶、智能汽车等高科技的发展，目前很多高端汽车的智能座舱能够进行k歌和玩游戏，听音乐，玩ar\vr等附加的车内环境价值，但是驾驶员不适合在有大量噪音的环境下开车，因为会导致他无法对周围环境进行快速觉察，例如鸣笛声、刹车声等在车祸发生之前，如果能够快速获取，或许相差0.1秒就能拯救生命。但是另一个矛盾是，如果去除这些附加的娱乐功能，智能汽车会变得无趣。因此如何在后座及副驾驶k歌，听歌，看电影时，司机依然可以很好的保持警觉，继续开车，并且在必要的时候，能够跟后面的家人乘客互动说话，是一个需要解决的问题。

即如何做到可以欣赏音乐，又可以观察环境，前后排可以对话，司机不用回过头来交流。这是一个急需解决的问题。通过环境音自动调节，并通过增强环境音等，都能够达到安全驾驶的目的。

发明专利201610638257.9飞机座舱噪声抑制系统，它包括有传声器，所述传声器安装在飞机座舱内，用于测量所述飞机座舱内的噪声水平和特性；噪声抑制发声器，所述噪声抑制发声器安装在飞机蒙皮或飞机结构上，用于发出与飞机噪声相位相反的声音；控制器，所述控制器连接至所述传声器和所述噪声抑制发声器，用于监视所述传声器测得的噪声水平，当所述噪声水平超过预定噪声水平阈值时，所述控制器启动所述噪声抑制发声器，当所述噪声水平低于预定噪声水平阈值时，所述控制器关闭所述噪声抑制发声器。虽然这个发明也是对噪声进行抑制，但是其应用场景不同，路面和飞机的噪音不同，抑制的内容不同，而且车内会涉及到司机回头和k歌的问题，这些场景和要解决的问题都是飞机上不存在的。

本发明可以消除车内不利的环境音，增强外部环境音，消除k歌带来的影响交流的语音，增强必要的交流语音。解决了当前车内一个未曾解决，但是非常重要的问题。

技术实现要素：

本发明提供了一种汽车智能座舱的环境音控制方法与系统用于对车内环境音进行控制。

本发明提供了一种汽车智能座舱的环境音控制方法与系统，主要包括以下步骤：

通过智能座舱的麦克风阵列，采集车外环境音；所述车外环境音包括刹车声，鸣笛，警报声；当车内播放娱乐节目，通过车内的声音测试仪判断娱乐节目音量是多少分贝，通过模型判断所述娱乐节目音量是否遮蔽了所述外部环境音，若是，自动调小音量；当车内播放的娱乐节目，并不适合调小音量，则增强外部环境音，并通过车内音响进行播放；当车内播放的娱乐节目音量大于预设的阈值，并且检测到人声输入，则通过算法识别所述人声输入是唱歌声还是说话声，对说话声进行增强，对唱歌声进行削弱，并通过车内音响进行播放，使车内在娱乐环境下也不影响对话。

进一步可选地，如上所述的方法中，所述通过智能座舱的麦克风阵列，采集车外环境音，主要包括：

所述麦克风阵列安装于智能座舱中靠近人的左右耳预设距离的位置，用于检测人耳能够听到的车内环境音量和车外环境音量。

进一步可选地，如上所述的方法中，所述当车内播放娱乐节目，通过车内的声音测试仪判断娱乐节目音量是多少分贝，通过模型判断所述娱乐节目音量是否遮蔽了所述外部环境音，主要包括：

获取在不同车速、车窗打开和车窗关闭环境下，通过声音测试仪，检测车内环境音分贝值，并通过测试人员的人耳，判断是否可以在各种车内环境音下，听清楚与本车辆保持安全距离的其他车辆的鸣笛或者刹车声或者警报声；将判断结果作为标注值，存入数据库，用于训练车内环境音判定模型；所述车内环境音判定模型采用支持向量算法进行二元分类；所述二元分类包括，能听清楚和听不清楚两个标注值；通过大量的训练数据，进行模型训练；

当获取了车速、车窗开闭情况和车内环境音分贝数时，通过模型判断所述车内环境音分贝值是否人耳能够听清外部环境音，即确定车内娱乐节目音量是否遮蔽了所述外部环境音。

进一步可选地，如上所述的方法中，所述自动调小音量，主要包括：

每一次车内播放的节目发生变化，都通过车内的声音测试仪判断播放的音量是多少分贝，然后通过模型判断音量是否遮蔽了所述外部环境音；若是，降低所述节目音量，所述节目包括一首歌或一个游戏或一场电影画面配音；当一个节目播放完成后，通过播放器自动调节音量恢复到起始音量；

进一步可选地，如上所述的方法中，所述当车内播放的娱乐节目，并不适合调小音量，则增强外部环境音，并通过车内音响进行播放，主要包括：

当车后排用户正在进行k歌或者玩跟声音相关的游戏，通过麦克风阵列，获取车外环境的鸣笛、警报、刹车声，并将所述声音进行增强；

所述增强方法主要包括，根据声音的音色获取所述鸣笛声、警报声、刹车声作为时域音频信号，对输入的时域音频信号进行预处理，得到频域声音信号；对频域声音信号进行声学特征处理，得到特征声学信号；基于深度神经网络，构建特征声音增强网络模型；对特征声音增强网络模型进行离线训练，得到特征声音增强网络模型；利用特征声音增强网络模型进行在线声音增强；通过声音的增强，使用户增加警觉。

进一步可选地，如上所述的方法中，所述当车内播放的娱乐节目音量大于预设的阈值，并且检测到人声输入，主要包括：

通过声音测试仪判断当前车内播放的娱乐节目环境音的音量大小是多少分贝，当所述分贝值大于预设的音量阈值，通过音频处理软件持续检测车内声音中是否出现人声。

进一步可选地，如上所述的方法中，所述通过算法识别所述人声输入是唱歌声还是说话声，对说话声进行增强，对唱歌声进行削弱，并通过车内音响进行播放，主要包括：

通过不同的麦克风获取人声输入，将人声转化为数字音频信号，进行音频信号提取，判断音频信号的基频变化率，若基频变化率不断变化，判定所述音频信号为说话声，对说话声进行增强；若基频稳定，判定所述音频为唱歌声，对唱歌声进行音量削弱。

本发明提供了一种汽车智能座舱的环境音控制系统，所述系统包括：

环境音判定模块，用于通过机器学习的方法，对是否车内环境音大到遮蔽了车外声音，进行分类判断；

内部环境音调小模块，用于根据每个节目的不同音量，对突然大声的节目进行音量调小；

外部环境音增强模块，用于当车内不适合调小环境音时，增强车外环境音；

说话音增强模块，用于判断唱歌声和说话声，对说话声进行增强。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明通过对车内外的环境音进行算法设计，使行车更加安全，并且能够兼顾娱乐和安全，它加强了前后座之间的沟通安全性和有效性，具有很高的应用价值。

附图说明

图1为本发明的汽车智能座舱的环境音控制方法实施例的流程图。

图2为本发明的汽车智能座舱的环境音控制系统实施例的结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1为本发明的一种汽车智能座舱的环境音控制方法的流程图。如图1所示，本实施例一种汽车智能座舱的环境音控制方法具体可以包括如下步骤：

步骤101，通过智能座舱的内部麦克风阵列，判断司机座位位置是否在k歌和其他娱乐环境下，能够听清外部环境音。所述环境音包括刹车声，鸣笛，警报声。所述麦克风阵列安装于智能座舱中靠近人的左右耳预设距离的位置，用于检测人耳能够听到的车内环境音量和车外环境音量。

该步骤主要包括，获取在不同车速、车窗打开和车窗关闭环境下，通过声音测试仪，检测车内环境音分贝值，所述车内环境音是指，用户在车内播放娱乐节目，包括k歌、听音乐、玩游戏等娱乐节目。接下去通过测试人员的人耳，判断是否可以在各种不同的车内娱乐节目环境音之下，是否能够听清楚与本车辆保持安全距离的其他车辆的鸣笛或者刹车声或者警报声；将判断结果作为标注值，存入数据库，用于训练车内环境音判定模型；所述车内环境音判定模型采用支持向量算法进行二元分类；所述二元分类包括能听清楚和听不清楚两个标注值；通过大量的训练数据，进行模型训练；

当获取了车速、车窗开闭情况和车内环境音分贝数时，通过模型判断所述车内环境音分贝值是否人耳能够听清外部环境音，即确定车内娱乐节目的音量是否遮蔽了所述外部环境音。

例如，在车辆保持安全距离的车距下，进行鸣笛，测试用户标注他是否能够听清鸣笛声。所述安全距离主要包括以下情况，80公里每小时的车速，安全距离为80米，70公里每小时的车速，安全距离为70米，60公里每小时的车速，安全距离为60米，40公里每小时的车速，安全距离为40米，20公里每小时的车速，安全距离为10米。安全距离，是指在这个距离的范围内，进行鸣笛依然有足够的时间让司机进行相关车辆控制操作，保持安全行驶的距离。因此如果司机可以在这个车距范围内，听清鸣笛声，或者刹车声，则是安全的。具体的，例如，在车速50公里，车窗关闭的环境下，车内环境正在听音乐，娱乐节目产生的车内环境音量是77分贝，附近车辆在距离本车50米的安全距离鸣笛，通过工作人员的测试，标注结果为：可以听清；上面就是一个标注样例。

另一个数据样例，例如：当车速30公里每小时，车窗为开启，车内环境音86分贝，车距20米，鸣笛声，无法听清，这是另一个标注样例。通过不断测试获取大量的类似上面一样的标注数据，作为训练数据，并采用智能算法例如支持向量机进行训练，就能在获取了车辆环境时，判断当前环境音下，能不能在安全距离的时候，听清外界的其他车辆的声音，这些声音包括鸣笛、刹车、警车救护车火警等的报警声等等。所述智能算法可以是任何具有机器学习能力的例如支持向量机、贝叶斯分类器、神经网络等算法。

步骤102，每一次车内播放的节目发生变化，都通过车内的声音测试仪判断播放的音量是多少分贝，然后通过模型判断音量是否遮蔽了所述外部环境音；若是，降低所述节目音量，所述节目包括一首歌或一个游戏或一场电影画面配音；当一个节目播放完成后，通过播放器自动调节音量恢复到初始的音量。

由于音量的调节经常是某一首歌突然之间太大声，而不是全部歌曲都太大声。因此当某一首歌被调节音量之后，它还必须恢复回原来的音量，如果固定为调节之后的音量，经常会导致后面大部分音量都变小声了。

具体的，例如，通过获取车速50公里每小时、开关窗情况为关窗，判断在安全距离下，车内环境音分贝数为79分贝。输入模型中，判断这样车速和安全距离下，是否可以听清其他车辆的鸣笛声。当分类结果为无法听清时，自动降低播放节目的音量。例如，将车内的k歌声音从79分贝降为70分贝。并同时提醒用户，当前的车速下，容易发生危险，需要根据能听清环境音的音量，来调节音量。请求车内顾客的谅解。实现智能汽车内部的音量环境自动控制。并且环境音量的调节，针对每一个节目都进行判断，自动控制，假设当前车内用户播放第一首歌的音量为70分贝，通过模型的判别结果为可以听清。但是很可能第二首歌的音量就会突然变为80分贝。因为音乐和用户的k歌行为，都不是音量固定不变的。因此模型需要不断的对车内环境音进行检查。例如模型判别结果为无法听清车外环境音时，自动调节音量到65分贝。当用户播放第三首歌时，这首歌用户在最初设置的音量是72分贝，模型分类结果为可以听清的，因此依然是按照72分贝播放，而不是按自动调节完的65分贝播放。这样的算法可以减少对音乐或者节目的不必要干预和乐感的破坏。并且能够保持原来最初始的音量，适应用户自身的喜好，又只在必要时调节音量，保障安全行驶。

步骤103，当车后排用户正在进行k歌或者玩跟声音相关的游戏，通过麦克风阵列，获取车外环境的鸣笛、警报、刹车声，并将所述声音进行增强；

如果发现在行车过程中，自动调节经常与用户习惯发生冲突，内部音响处于娱乐节目播放状态下，经常需要调下音量，那么可能会不太好。因为调小音量，是一种无奈的选择，当后排用户正在进行k歌或者玩跟声音相关的游戏，降低音量会降低娱乐效果。因此，另一个解决方案是，如果用户不希望调小音量，可以通过车外麦克风阵列，获取外部环境的鸣笛、警报、刹车声等，并将声音进行增强。

所述增强方法主要包括，通过librosa软件获取路上在车辆附近或者安全距离以内的刹车、鸣笛、报警声作为时域音频信号，对输入的时域音频信号进行预处理，得到频域声音信号；对频域声音信号进行声学特征处理，得到特征声学信号，其中包括刹车、鸣笛、报警声的音色信号；基于深度神经网络，构建特征声音增强网络模型；对特征声音增强网络模型进行离线训练，得到特征声音增强网络模型；利用特征声音增强网络模型进行在线声音增强；所述声音是指行驶声或者鸣笛声或者刹车声；通过声音的增强，使用户增加警觉。其中对声音的增强效果，获得关于行驶声与鸣笛声的增强也可以参考，徐勇2015年的论文《基于深层神经网络的语音增强方法研究》进行实现

步骤104，通过声音测试仪判断当前车内环境音的音量大小是多少分贝，当所述分贝值大于预设的音量阈值，通过音频处理软件不断检测车内声音中是否包含人声。通过不同的麦克风获取人声输入，将人声转化为数字音频信号，进行音频信号提取，判断音频信号的基频变化率，若基频变化率不断变化，判定所述音频信号为说话声，对说话声进行增强；基频频率变动幅度若基频稳定，判定所述音频为唱歌声，对唱歌声进行音量削弱。

具体的，当车内正在听音乐或者k歌，但是司机偶尔需要与后座进行沟通时，经常会无法听清，或者需要回头加大声音，才能使声音更好的传达到后座，产生了驾驶风险。因此需要在k歌环境中解决对话问题。具体的，通过车内麦克风阵列获取音频输入，对司机智能座舱中的语音内容进行增强，对乐音内容进行削弱，当k歌和对话同时进行时，能够使司机的语音盖过k歌的声音，实现车内语音增强效果。在车内影视频设备内嵌入一个音频模块的芯片，如wm8731芯片可以实现声音模数转换，即将麦克风获取的声音进行数字模拟，通过这个音频模块将模拟声音采集到，在芯片内转换为数字信号进行处理，之后主要的软件实现方法包括，通过librosa工具包对车内的音频信号进行识别，识别车内语音，对音频信息进行采样，并提取出人声，其中包括k歌人声和语音人声，对不同的人声片段进行mfcc算法处理提取转化为音频特征，对音频特征进行分类。通过获取不同声音频率的基频变化率，来判别语音中哪一个声音属于语音哪一个属于唱歌的人声。主要识别方法为判断基频变化率的频次。在乐音中，唱歌的声音每一个音都是不变的，而说话声是基频在不断变化的。用matlab对音频做分帧处理，再加窗，然后做fft离散傅立叶变换的快速算法，fft点数应与帧长一样，通过matlab内建的findpeaks函数运算就可得到基频频率值，在预设时间段例如1秒钟内，检测基频变化，如果一秒钟内，基频从200hz变化到400hz，又从400hz变化到200hz，一秒钟变化了400次，那么这种音频可以确定为说话声的输入，如果一秒钟内，基频在300hz左右变化，相差不到10hz，那么可以判断它属于唱歌声的音频输入，这样就可以很快的识别出哪一段是语音的输入，并对语音输入进行增强。对k歌的乐音人声输入，进行音量的衰减控制，可以通过librosa工具包的函数对获取的音频信息，进行音量削弱。最终实现在车内当有人说话时，说话声可以清楚的覆盖唱歌的声音，而使声音能够更好的被传达到后座或者从后座传达到前座中，无需回头用力喊，增加交通事故概率。

本发明通过对车内外的环境音进行算法设计，使行车更加安全，并且能够兼顾娱乐和安全，它加强了前后座之间的沟通安全性和有效性，具有很高的应用价值。

用于实现本发明进行信息控制的程序，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、python、c++，还包括常规的过程式程序设计语言—诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分步骤。

而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-onlymemory，rom）、随机存取存储器（randomaccessmemory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。