智能周围声音监控系统的制作方法
【专利摘要】提供了用于将周围背景声音突然插入一副耳机的系统和方法。该系统监控周围声音环境并且将周围声音环境与预设的一组声音特性（例如，频率特征、振幅和持续时间）进行比较，从而检测重要的或关键的背景声音（例如，警报、喇叭、直接口头传信、啼哭的婴儿、门铃、电话等）。当检测到关键背景声音时，系统将通知信号或周围背景的一部分突然插入到音频流中，从而警告用户在其紧邻处发生的可能重要的声音或者事件。
【专利说明】智能周围声音监控系统
【技术领域】
[0001]本发明一般涉及音频设备，尤其涉及与耳机一起使用的系统。
【背景技术】
[0002]人们每天都要经受不同幅值的各种噪声，这些噪声源以多种方式影响人的生活品质:从简单的烦扰到噪声诱发的疲劳，甚至是听力损失。普通的噪声源包括那些与行驶有关的噪声源(例如，地下铁道列车、摩托车、飞机发动机和风噪声等)以及那些与一个人的职业有关的噪声(例如，工厂装备、链锯、气钻、割草机、修整树篱机等)。
[0003]为了帮助在提供娱乐源的同时减轻背景噪声，许多人通过一副耳机听音乐或其它音频节目。不幸的是，如果用户在每天生活中不能听到通常所依赖的各种听觉提示和警告(例如，警告声明、汽笛、警报、汽车喇叭、吠犬等)，则耳机的使用也会带来问题，甚至是危险的情况。因此，所需要的是一种为其用户提供与耳机相关联的益处而不具有其固有缺陷和限制的系统。本发明提供了这样的系统。
【发明内容】
[0004]提供了一种与一副耳机一起使用的智能周围声音环境监控系统，所述系统监控用户的周围声音环境并且每当在背景中存在关键声音时通知用户，从而确保用户知道他或她的环境，即使耳机是噪声消除式耳机或者与iPod ?、MP3播放器、CD/DVD播放器、手机、计算机或其它音频源耦合。为了确定关键背景声音，系统内的处理器(例如，DSP)将周围声音环境与预设的一组声音特性进行比较，其中关键背景声音是被确定为与预设的一组声音特性匹配的那些声音。一旦识别出关键背景声音，音频通知信号输出到耳机，其中音频通知信号可以是简单的警报信号(例如，嘟嘟响或其它可区分音调)或者可以由实际的背景环境或实际的背景环境的一部分构成。在耳机与音频源耦合的系统中，每当周围声音监控系统输出音频通知信号时，来自音频源的输出可暂时中止或者音频源的音量可暂时减小，从而相对于音频源输出突出关键背景声音。
[0005]在一个方案中，预设的一组声音特性包括至少一个频率特征(signature)。频率特征通常对应于可听频率带，例如，具有1500Hz或更小的带范围的频率带。预设的一组声音特性还可以包括声音振幅，在该情况下，系统可被配置成，如果对应于关键背景声音的声级超过预设的声音振幅，则仅将音频通知信号输出到耳机。预设的一组声音特性还可以包括声音持续时间，在该情况下，系统可被配置成，如果对应于关键背景声音的时间段超过预设的声音持续时间，则仅将音频通知信号输出到耳机。包括在预设的一组声音特性中的各种特性可利用一个或多个用户可达开关(例如，按钮开关、滑动开关、旋转开关和触摸屏软按钮)来输入。
[0006]在本发明的另一方案中，提供了一种将周围背景声音突然插入到一副耳机中的方法，所述方法包括以下步骤:监控用户的周围声音环境；将所述周围声音环境与预设的一组声音特性进行比较；识别周围声音环境与预设的一组声音特性匹配的关键背景声音；以及每当识别出关键背景声音时，将用户周围环境的至少一部分(例如，关键背景声音)突然插入到一副耳机中。在一些实例中，仅当关键背景声音的声级超过预设的声级时，或者当对应于关键背景声音的时间段超过预设的声音持续时间时，才执行将周围环境突然插入到耳机中的步骤。所述方法可另外包括如下步骤:识别用户的周围声音环境内的周围噪声，以及响应于所识别出的周围噪声而产生噪声消除信号。所述方法可另外包括在耳机上传送来自音频源的音频流的步骤，其中，每当系统将周围环境突然插入到耳机中时，音频流的传送可暂时中止或者音频流的音量可暂时减小。
[0007]通过参照说明书的其余部分和附图能够实现对本发明的本质和优点的进一步理解。
【专利附图】
【附图说明】
[0008]图1提供了本发明的周围声音监控系统的概观；
[0009]图2提供了依照本发明的数字式周围声音监控系统的概观；
[0010]图3示出了用于确定监控的周围环境是否包含任何关键声音的一个过程；
[0011]图4示出了基于图3所示的过程的一个过程，其被修改为除了使用频率之外还使用音量作为将关键声音与背景噪声区分开的方式；
[0012]图5示出了基于图3所示的过程的一个过程，其被修改为除了使用频率之外还使用声音持续时间作为将关键声音与背景噪声区分开的方式；
[0013]图6示出了基于频率、持续时间和振幅的声音识别过程；
[0014]图7示出了图6所示的声音识别过程的微小修改；
[0015]图8示出了其中监控系统与耳机分离的本发明的周围声音监控系统的实施例；
[0016]图9示出了与图8所示的实施例相关联的主要部件；
[0017]图10示出了图9所示的实施例的可选配置；以及
[0018]图11示出了图9所示的实施例的可选配置。
【具体实施方式】
[0019]本发明通过提供周围声音监控系统而克服了与各种不同类型的声音隔离耳机中的任一种相关联的问题，所述周围声音监控系统允许用户获知其环境中的选择声音，如果不带耳机就能听到该声音。如本文所使用的，术语“耳机”是指可用于例如复制音乐或其它听觉节目的各种公知的听觉设备中的任一种，这种设备包括但不限于耳塞、入耳式耳机、入耳式监控器、头戴式受话器/耳机、耳戴式受话器/耳机、夹式受话器/耳机和颈后式受话器/耳机。另外，如下文进一步说明的，本发明还可与声音衰减式耳机和耳塞一起使用，无论声音衰减是否是由于被动的、主动的或被动和主动组合的噪声消除引起的。
[0020]图1提供了与本发明相关联的主要部件的示意图。系统100利用麦克风101来监控用户的周围声音环境。尽可能接近用户的耳朵安装麦克风101，从而确保麦克风101所接收到的声音表不用户的周围声音环境。因此，在本发明的一些实施例中，麦克风101安装到耳机中，例如，集成到耳机耳杯(earcup)、耳机或入耳式耳机听筒或者头带中的一个中。在其它实施例中，麦克风101集成到耳机线中。在另外的实施例中，系统100使用集成到便携式或其它设备(诸如iPod? MP3播放器、CD/DVD播放器、手机、平板式/膝上型/笔记本/台式计算机、智能手机等)中的麦克风101。应当理解的是，尽管在图示中示出了单个麦克风，但是本发明还可使用多个麦克风，例如集成到两个耳杯中的一对麦克风。另外，尽管麦克风101显示为有线耳机，但系统还可以使用无线耳机。
[0021]麦克风101所接收到的声音由声音处理器103处理以确定麦克风101所检测到的任意声音是否应基于一组预定标准被分类为关键的。被视为关键的声音通过耳机105进行广播。可替代地，如果检测到关键声音，则系统可被配置成将警告指示(例如一系列嘟嘟响)发送给用户，从而向用户表明他们应当移除其耳机以使他们可以听到关键声音。
[0022]图2示出了本发明的优选实施例。如图所示，在系统200中，最初使用模拟-数字(A/D)转换器201将麦克风101所拾取的声音数字化。表不检测到的声音的数字信号随后被传递到数字信号处理器(DSP)203。尽管DSP是优选的，但本发明优选地使用的DSP算法还可利用诸如在平板式计算机、智能手机或膝上型计算机中所通常使用的那些多用途处理器或微处理器来执行。如下文详细说明的，DSP 203使用DSP算法以基于预定标准来确定是否将检测到的任意声音分类为关键的。然后，被分类为关键的声音传递通过数字-模拟(D/A)转换器107并且通过耳机105广播。可替代地，并且如之前所提到的，一旦关键声音被检测到，系统还可被配置成将警告指示发送给用户，从而警告用户已经识别出关键声音。
[0023]图3示出了与应用于麦克风101所检测到的声音上的优选为DSP算法的算法相关联的主要步骤。在来自用户周围环境的声音被麦克风101检测到并且优选地经过数字化(步骤301)之后，将声音与和被视为关键的声音相关联的一个或多个预设声音特征进行比较(步骤303)。注意的是，如本文所使用的关键声音仅指代用户希望听到或者被通知的任何声音，并且因此不限于从安全角度而言重要的声音。例如，尽管预设的声音特征可对应于警报或汽笛声，但是预设的声音特征还可对应于人的语音、电话铃声、啼哭的婴儿、犬吠声、喇叭声或任何其它声音。注意的是，预设的声音特征可由系统制造商、第三方提供商或用户来预先设定。预设的声音特征也可以被学习，从而允许系统在类似但是不同的声音特征之间进行区分。例如，通过使用学习函数来分析声音并且随后使用经分析的声音进行预设，系统能够在不同的语音(例如，配偶和其他人)、不同的铃声音调(例如，用户的电话和其它电话)、不同的犬(例如，用户的犬和其它犬)等等之间进行区分。
[0024]本发明可以使用不同复杂度的各种声音识别算法中的任一种。由于声音识别算法是本领域技术人员所公知的，所以本文不提供详细的说明。在本发明的最简单配置中，一旦DSP 203检测到监控的声音和预设的声音特征之间的匹配(步骤305)，系统就执行预设的响应，诸如经由耳机105将检测到的声音或通知音调传递给用户(步骤307)。只要用户正在使用耳机105，检测和监控过程就继续(步骤309和311);可替代地，直至用户结束监控过程。
[0025]检测算法可以使用各种特性来识别来自周围环境的预设声音特征。例如，系统可以使用频谱和对应的声级(也称为声音振幅)两者来将从普通背景声音中区分出关键声音。这与人经常使用声级来确定与特定声音相关联的紧急情况的方式极为相似。例如，警报音量能够用于确定警报或汽笛声的接近度以及因此确定紧急程度。类似地，语音的音量能够用于从可针对听者的语音中区分出普通背景语音(即，背景颤动声)。图4示出了图3所示的过程的修改，其中除了频率特征之外，还使用声级。如图所示，DSP 203将监控声音与预设的频率特征进行比较(步骤401)并且一旦已检测到匹配(步骤403)，则DSP将检测到的声音的振幅与预设的声级进行比较(步骤405)。预设的声级可以为简单的基准水平，超过该基准水平的声音被假设为关键的。可替代地，预设的声级可以基于麦克风101所检测到的平均水平或背景声级。应用该算法，一旦监控声音被确定为与预设的频率特征匹配(步骤403)并且具有大于预设水平的振幅(步骤407)，则系统执行预设的响应(步骤307)。
[0026]声音持续时间是系统可用于确定检测到的声音是否应当被视为关键的另一主要度量。声音持续时间帮助DSP在可匹配预设的声音特征(例如，打鼾声)的短持续时间声音之间与相似的、更重要的声音(例如，空中服务人员询问用户问题或提供指示、警报等)进行区分。图3和图4的算法的该改变示于图5中。如图所示，一旦DSP 203检测到监控声音和预设的频率特征之间的匹配(步骤403)，则DSP将检测到的声音的持续时间与预设的时间(例如0.5秒、I秒、5秒，等等)进行比较(步骤501)。应用该算法，一旦监控声音被确定为与预设的频率特征匹配(步骤403)并且具有大于预设时间段的持续时间(步骤503)，则系统执行预设的响应(步骤307)。
[0027]将理解的是，频率特征、振幅和持续时间可以以不同于图3-5中所示的其它组合以及其它次序应用。例如，图6示出了其中将频谱、振幅和持续时间全部用来确定是否将声音分类为关键的过程。图7使用了相同的标准，但是按不同的次序。
[0028]如上所述，一般地，当系统100/200确定出背景包括听者应当获知的关键声音时，系统能够将通知/警报信号发送给用户，或者经由耳机105将背景声音传递到用户。在前者的情况下，通知(即，警报)信号可以为区分性的音调，例如嘟嘟响、一系列嘟嘟响、或者被设计为引起用户注意的一些其它的声音效果。通知/警报的意图是通知用户环视四周并且获知其周围环境，可能如果认为必要的话甚至移除其耳机。在背景声音被传递到用户的可选情况下，可以多种方式配置系统。例如，一旦背景声音被确定为关键的，麦克风101所检测到的任何声音可经由耳机105传递到用户。可选地，系统100/200可使用滤波器仅将窄带频率传递给用户，该带包含关键声音。例如，如果关键声音位于2500Hz和3500Hz之间，则该范围外的频率可被过滤出。在耳机105不仅仅为声音衰减式耳机而是耦合至音频源的实施例中，在优选的实施例中，系统被配置成:当关键声音被传递给用户时，自动地降低音量或者完全地抑制来自音频源的信号，从而使关键声音突出于用户的音频源。优选地，系统将背景声音传递到用户的时间长度也是可配置的。典型地，在背景声音不再被视为关键的之后，系统被配置成终止将背景声音传递给用户。可选地，在初始关键事件被检测到之后，或者在关键事件停止之后，系统可被配置成在预设时间段内将背景声音传递给用户(例如，30秒、I分钟、3分钟等)。
[0029]如上所述，本发明的各个方案和特征可被配置成对于特性用户或用户段来优化性能。系统配置可通过制造商来执行，从而允许制造商提供具有不同能力和功能的不同模型。可选地，系统的一些或全部的方面可由用户配置。例如，如果系统被集成到一套耳戴式耳机中，则可经由嵌置在一个或两个耳机耳杯中的各种开关类型中的任一种(例如、按钮、滑动开关、旋转开关等)来调节用户可配置参数。可选地，用于调节用户可配置参数的开关可嵌置到通过挂绳附接至耳机的小壳体中或集成到耳机的音频电缆中。如果耳机由可能不具有容纳提供用户可调节性所必需的开关的足够空间的入耳式耳机或耳塞构成，则该后一种配置尤其有用。可选地，用于调节用户可配置参数的开关可经由软件/计算机接口而可达，不管处理不是本地的(例如，在与耳机相关联的硬件内)或远程地(例如，基于云的系统)，该配置都是有用的。
[0030]将理解的是，如果本发明的周围声音监控系统是用户可配置的或者至少部分地是用户可配置的，则优选地控制被简化以提升用户体验。例如，尽管可向用户提供用于系统监控的各种频带(例如，1000至2000Hz、2000至3500Hz等)，但在至少一个实施例中，将给予用户对于用户而言比不同的频率更易于关联的描述项。示例性的描述项包括“啼哭的婴儿”、“语音”、“警报”、“喇叭”和“吠犬”。应当理解的是，这些仅为可用于描述对于特定用户和/或用户段而言感兴趣的不同频带或声音特征的可能的项的示例。类似地，关键声音振幅可在从“柔和”到“高声”的范围内呈现给用户，并且持续时间可在从“短”到“长”的范围内呈现给用户。
[0031]除了将本发明的周围声音监控系统直接地或在安装到挂绳或音频电缆的壳体中集成到一副耳机中之外，系统还可被配置为单独式设备。将系统配置为具有其自身壳体的单独式设备提供了更大的灵活性，例如，允许用户在多个耳机之间切换设备或者替换一副耳机而不必替换周围声音监控系统。该实施例图示在图8中，其中耳机801被插入到周围声音监控系统803的插孔中。然后，将周围声音监控系统803插入或以其它方式耦合至音频源805。在优选的实施例中，声音监控系统803包括一个或多个开关807，其允许用户配置系统的操作，如上所述。
[0032]诸如图8所示的独立式声音监控系统可以多种方式进行配置。例如如图9所示，在一种配置中，来自源805的输出未受影响地且未经处理地传递通过声音监控系统900。当DSP901检测到关键声音时，根据预设的系统规则，通知/警报信号或背景声音被添加到来自源805的输出的顶部。因此，例如，如果用户正在听特定歌曲，则通知/警报信号或背景声音将被添加到该歌曲(即，在用户选择项的顶部播放)。图10示出了源805的输出传递通过DSP 1001的可选配置。典型地，为了使来自源805的信号传递通过DSP 1001，必须首先将信号数字化，但是显然这取决于来自源805的输出。图10假设来自源805的输出为模拟信号，因此来自源805的信号路径显示为首先传递通过A/D转换器201，然后DSP 1001，然后D/A转换器205。在该实施例中，只要系统1000没检测到关键声音，DSP 1001就不改变来自源805的信号。然而，当检测到关键声音时，DSP 1001减小来自源805的信号的振幅，同时将通知/警报信号或关键背景声音添加到音频流而到达用户。该方法通过确保来自源805的输出不压过关键声音，来确保检测到的关键声音不会未被用户听到或不被用户注意。图11示出了实现该相同目标的另一配置。在该实施例中，除了用于检测所监控的背景中的关键声音之外，DSP 1101 (或其它处理器)还控制开关1103。只要未检测到关键声音，DSP1101就控制开关1103以允许来自源805的信号未经处理地传递到耳机801。当检测到关键声音时，DSP 1101控制开关1103以将通知/警报信号(或背景声音，这取决于配置)传递到耳机801。开关1103可被设计为传递一个信号或另一个信号(即，音频源信号或来自周围声音监控系统的信号)。可选地，开关1103可被设计为使得当来自周围声音监控系统的信号路径被选择时，来自源805的衰减信号也被传递到耳机801，优选地通过将固定的或用户可调节的电阻插入来自源805的信号线来提供信号衰减。
[0033]在图8-11所示的系统中，示出周围声音监控系统与音频源分离。然而，在本发明的至少一个优选实施例中，这两个部件组合到单个设备中。该实施例利用嵌入到常用于听音乐的许多部件中的处理能力和麦克风两者，这些部件包括专用音乐播放器以及诸如手机/智能手机、个人数据助理(PDA)、游戏系统和计算机(例如，平板式、膝上型、笔记本、超级本和台式计算机)的多功能设备。对于这些设备中的大多数设备，简单的应用程序能够被下载到设备中以使其能够执行本发明的功能。在不包括内置麦克风的那些设备中，例如，一些台式计算机，可将麦克风耦合至设备。
[0034]如之前所提到的，本发明的周围声音监控系统能够同等地应用于简单的声音隔离耳机以及那些想要耦合至音频源(例如，MP3/⑶/DVD播放器，等)的耳机。在前者的情况下，本发明可与被动式或主动式声音隔离耳机一起使用。如果声音隔离耳机是主动式的，优选地本发明的系统使用与主动式噪声消除系统所需的那些部件相同的部件，其被简单地修改从而也执行如上文详细说明的本发明的功能。然而，如果声音隔离耳机是被动式的，则将理解的是耳机必须被修改以不仅包括麦克风(例如，麦克风101)，而且包括必要的处理器和相关硬件(例如，A/D转换器、DSP和D/A转换器)以及驱动器。尽管可以使用膜片式驱动器或电枢式驱动器，但是典型的是，选择基于由隔离系统的类型对系统所施加的尺寸和重量约束。例如，在典型的耳戴式耳机样式中，存在大量可用于集成本发明的整个周围声音监控系统的空间，其中所述周围声音监控系统包括一个或多个驱动器(即，典型地每个耳机套件有一个驱动器或者每个耳朵有一个驱动器)。在存在非常限的空间的耳塞设计中，周围声音监控系统通常包含于经由挂绳和/或音频电缆附接至耳塞的壳体内，在耳塞中优选地使用微型电枢式驱动器。
[0035]应当注意的是，多个图上使用的相同的元件标记指代相同的部件或相同功能的部件。另外，附图仅意在图示而非限制本发明的范围并且不应被视为按比例进行绘制。
[0036]已经通过一般术语描述了系统和方法作为理解本发明细节的辅助手段。在一些实例中，没有具体地示出或详细地描述公知的结构、材料和/或操作以避免使本发明的方案变得不清晰。在其它实例中，为了提供对本发明的全面理解，给出了具体的细节。相关领域的技术人员将认识到，本发明可以其它具体形式具体实施，例如，适用于特定的系统或装置或情形或材料或部件，而不偏离其精神或实质特性。因此，本文的公开和描述意在示例而非限制本发明的范围。
【权利要求】
1.一种周围声音监控系统，包括: 麦克风，所述麦克风监控周围声音环境； 一副耳机；以及 处理器，所述处理器接收来自所述麦克风的麦克风输出，其中所述处理器将所述麦克风输出与预设的一组声音特性进行比较并且识别出在所述周围声音环境内的关键背景声音，所述关键背景声音对应于所述麦克风输出和所述预设的一组声音特性之间的匹配，其中仅当识别出所述关键背景声音时所述处理器将音频通知输出到所述一副耳机，其中所述预设的一组声音特性包括至少一个频率特征，并且其中，所述音频通知选自由警报信号和所述周围声音环境的至少一部分构成的组。
2.如权利要求1所述的周围声音监控系统，还包括至少一个用户可达开关，其中所述至少一个频率特征是用户能够经由所述至少一个用户可达开关选择的，并且其中所述至少一个用户可达开关选自由按钮开关、滑动开关、旋转开关和触摸屏软按钮构成的组。
3.如权利要求1-2所述的周围声音监控系统，还包括介于所述麦克风和所述处理器之间的模拟-数字(A/D)转换器，以及介于所述处理器和所述一副耳机之间的数字-模拟(D/A)转换器。
4.如权利要求1-3所述的周围声音监控系统，其中所述至少一个频率特征对应于具有小于1500Hz的频带范围的可听频率带。
5.如权利要求1-4所述的周围声音监控系统，其中所述预设的一组声音特性还包括声音振幅，并且其中，当对应于所述关键背景声音的周围声级超过所述声音振幅时，所述处理器将所述音频通知输出到所述一副耳机。
6.如权利要求1、3和4所述的周围声音监控系统，还包括至少一个用户可达开关，其中所述预设的一组声音特性还包括用户能够经由所述至少一个用户可达开关选择的声音振幅，并且其中，所述至少一个用户可达开关选自由按钮开关、滑动开关、旋转开关和触摸屏软按钮构成的组。
7.如权利要求1-6所述的周围声音监控系统，其中所述预设的一组声音特性还包括声音持续时间，并且其中，当对应于所述关键背景声音的时间段超过所述声音持续时间时，所述处理器将所述音频通知输出到所述一副耳机。
8.如权利要求1以及3-5所述的周围声音监控系统，还包括至少一个用户可达开关，其中所述预设的一组声音特性还包括用户能够经由所述至少一个用户可达开关选择的声音持续时间，并且其中，所述至少一个用户可达开关选自由按钮开关、滑动开关、旋转开关和触摸屏软按钮构成的组。
9.如权利要求1-8所述的周围声音监控系统，还包括主动噪声消除系统。
10.如权利要求1-9所述的周围声音监控系统，其中所述一副耳机能够耦合至音频源，其中所述一副耳机被配置成基于来自所述音频源的输出来输出音频流，并且其中，当所述处理器将所述音频通知输出到所述一副耳机时，所述音频源暂时中止。
11.如权利要求1-9所述的周围声音监控系统，其中所述一副耳机能够耦合至音频源，其中所述一副耳机被配置成基于来自所述音频源的输出来输出音频流，并且其中，当所述处理器将所述音频通知输出到所述一副耳机时，对应于所述音频源的音量减小。
12.—种将周围背景声音突然插入到一副耳机中的方法，所述方法包括以下步骤:监控周围声音环境； 将所述周围声音环境与预设的一组声音特性进行比较，其中所述预设的一组声音特性包括至少一个频率特征； 识别关键背景声音，其中所述关键背景声音对应于所述周围声音环境和所述预设的一组声音特性之间的匹配；以及 当识别出所述关键背景声音时，将所述周围声音环境的至少一部分突然插入到所述一副耳机中。
13.如权利要求12所述的方法，其中当对应于所述关键背景声音的周围声级超过预设的声音振幅时，或者当对应于所述关键背景声音的时间段超过预设的声音持续时间时，执行所述突然插入步骤。
14.如权利要求12-13所述的方法，还包括以下步骤:识别所述周围声音环境内的周围噪声，以及响应于所述周围噪声而产生噪声消除信号，其中所述噪声消除信号在所述一副耳机上传送。
15.如权利要求12-14所述的方法，还包括以下步骤:在所述一副耳机上传送来自音频源的音频流，以及每当执行所述突然插入步骤时暂时中止所述传送步骤或降低对应于所述音频流的音频音量。。
【文档编号】H04R3/04GK103581803SQ201310341747
【公开日】2014年2月12日 申请日期:2013年8月7日 优先权日:2012年8月9日
【发明者】J·S·安德森 申请人:罗技欧洲公司