用于声音可视化及声源定位的设备与方法
【专利说明】用于声音可视化及声源定位的设备与方法
[0001] 相关专利申请的交叉引用
[0002] 本申请要求享有于2013年1月25日提交的美国临时专利申请号61/756535,标题 为"3D彩色实时定位声源的可视化"的优先权，其全部内容在此引作参考。
【背景技术】
[0003] 本申请一般涉及助听设备和增强现实技术设备。
[0004] 加拿大有80, 000人，美国有超过1，000, 000人，全世界有超过20, 000, 000的人是 完全失聪的。对这些人来说，常规的助听设备并没有帮助。人工电子耳蜗对一些人是有效 的，但它们是插入体内的，且操作成本非常高。
[0005] 百分之五的世界人口遭受着听力缺损的困扰。现有的助听设备在喧闹环境中能提 供的性能较差，尤其是当用户希望听到相对于近距离声源而言的远距离声源时性能较差。
【发明内容】
[0006] 本申请提出了一种用于处理声音信号、定位对应于一个或多个声源的声音信号、 以及在可穿戴显示设备上呈现对应于定位后声源的声学可视化的方法和设备。可穿戴可视 化设备可包括两个或两个以上用于检测来自一个或多个声源的声音的麦克风，和可选为以 立体方式显示声学可视化的显示设备。通过处理由麦克风记录的声音信号以定位对应于给 定声源的声音信号，并处理该定位声音信号以识别声源位置，可以定位声源。声学可视化可 以是频域可视化，也可以包括频率到颜色的映射。
[0007] 因此，一方面，本申请提出了一种在声学可视化设备上呈现声学可视化的方法，其 中声学可视化设备包括可穿戴显示设备和两个或两个以上的麦克风，该方法包括：
[0008] 通过麦克风记录来自一个或多个声源的声音信号；
[0009] 处理声音信号，以提取出与至少一个声源相关的定位声音信号；
[0010] 在声学可视化设备上呈现定位声音信号的可视化表示的声学图像。
[0011] 另一方面，本申请提出了一种声学可视化设备，包括：
[0012] 用于显示对其穿戴者的至少一只眼睛可见的图像的可穿戴显示设备；
[0013] 两个或两个以上的与可穿戴显示设备关联的麦克风；和
[0014] 连接至显示设备和麦克风的计算硬件，其中该计算硬件配置为：
[0015] 通过麦克风记录来自一个或多个声源的声音信号；
[0016] 处理声音信号，以提取出与至少一个声源相关的定位声音信号；
[0017] 在声学可视化设备上呈现定位声音信号的可视化表示的声学图像。参考以下详细 描述和附图可以对本申请的功能和有利的方面得到进一步的了解。
【附图说明】
[0018] 接下来的实施例将仅以示例的方式参照附图进行描述，其中：
[0019] 图1示出了包括半透光3D立体投影眼镜的示例性声学可视化设备。
[0020] 图2是集成了听筒和麦克风的耳机的示例。
[0021] 图3示出了用于处理音频和视频信号的处理单元的示例图。
[0022] 图4示出了示例性处理单元的框图。
[0023] 图5示出了示例性软件系统的四大模块，以及它们相互之间的关系和与用户之间 的关系。
[0024] 图6是声源定位模块的示例性执行的流程图。
[0025] 图7A示出了具有三个用于声源定位的麦克风的示例性声学可视化设备。
[0026] 图7B示出了三个麦克风和声学声源之间的空间关系。
[0027] 图7C是用于声首定位的不例性方法的流程图。
[0028] 图8是声学聚焦/过滤模块的示例性执行的流程图。
[0029] 图9示出了声学聚焦/过滤模块的示例图解和算法，包括通过声源位置决定的频 率分组，和基于用户选择出的声源的聚焦/过滤。
[0030] 图10是声学可视化模块的示例性执行的流程图。
[0031] 图11示出了声学可视化模块的示例性输出的图示。
[0032] 图12是说明3D立体显示及用户界面模块的示例性执行的流程图。
[0033] 图13示出了通过3D立体显示及用户界面模块所执行的立体呈现的示例性实现方 式。
【具体实施方式】
[0034] 本申请的各种实施例和各个方面将参考以下讨论的细节来描述。以下描述和附图 对本申请作说明作用，不应解释为对本申请的限制。下面描述多种具体细节以提出对本申 请的各种实施例的透彻理解。然而，在某些情况下，为了简化本申请的实施例的讨论，对于 公知的和常见的细节并没有描述。
[0035] 本申请所用的术语"包括"被解释为包含在内的和可扩充的，且不排外的。特别地， 当使用在说明书和权利要求中时，术语"包括"以及它们的变形意味着包括特定的特征、步 骤或部件。这些术语不能被解释为排除其他特征、步骤或部件的存在。
[0036] 本申请所使用的术语"示例性"意思为"用作例子、示例或例证"，不应理解为相对 于本申请公开的其他配置是优选或有利的。
[0037] 本申请所使用的术语"约"和"近似"用来覆盖在数值范围的上限值和下限值之间 存在的变量，例如性能变量、参数变量和容积变量。在一个非限制性实施例中，术语"约"和 "近似"表示增减10 %或更少。
[0038] 本申请所使用的术语"基本"指的是动作、特征、性能、状态、结构、条目或结果的完 全或几乎完全的范围或程度。例如，"基本"封闭的对象指的是该对象是完全封闭的或几乎 完全封闭的。在一些情况下，偏离绝对完整性的确切的容差程度取决于特定环境。然而，一 般而言，完成的接近度是为了得到与绝对的和全部的完成时获得的结果相同的整体结果。 "基本"的使用在表示动作、特征、性能、状态、结构、条目或结果的完全或几乎完全缺乏的否 定意义时同样适用。
[0039] 本申请的实施例提出了可穿戴显示设备，配置为检测和处理音频信号，并随后呈 现和显示音频信号的可视化。在一些实施例中，处理音频信号以识别一个或多个音源的位 置，该音源的位置在显示器上被展示给设备穿戴者。显示设备可以是用于以3D形式显示可 视化和定位音频表示（声学可视化）的虚拟现实（或增强现实）可穿戴立体显示设备。通 过检测到的音频信号的可视化，本申请的实施例提出了能有效模拟人类耳蜗功能的用于将 声学模拟信号传送至大脑的方法和设备。
[0040] 本申请中公开的方法和设备可以应用以训练人的大脑将可视化声学信号理解为 声音本身，由此恢复或有助于恢复失聪或听力受损人士的至少一部分听力。正如下文进一 步的描述，本申请的方面也可以基于可视化声音有助于训练那些失聪或听力受损的人的说 话能力，例如用于说话准确性的提高。通过与声音刺激听觉系统的方式类似的刺激人类视 觉系统的方式显示声学信号，人脑可以更容易地像接受听觉刺激一样接受视觉刺激。
[0041] 现在参照图1，示出了示例性的声学可视化设备10。示例性设备10包括框架110、 部分透明的显示元件120、微型HDMI端口 130、集成麦克风140和142的耳机150,以及附加 麦克风145。显示元件120可以是折射透镜，或基本上无折射（平面）的光学元件。
[0042] 在图1所示的示例性实施例中，设备10配置为光学透视显示设备，用于将图像投 影在用户眼睛上，同时允许用户透过显示元件120观看（例如显示设备是至少部分透明 的）。例如，该图像可以通过光学引擎（载于框架中或框架上）形成，该光学引擎将显示光 耦合至形成在显示元件120中的波导中，其中，波导将被引导的显示光指向佩戴者的眼睛， 在佩戴者的眼睛上形成了图像。在图13所示的示例性实施例中，左右显示元件120-起提 供了声源的3D立体可视化（可视化表示）。
[0043] 如下文详述，音频信号的处理可以包括一个或多个音频信号的定位，该音频信号 被设在耳机150上或耳机150中的麦克风140、142以及可选的附加麦克风145 (下文中会 进一步详述）检测到，这些麦克风通过线170连接至框架110。
[0044] 从麦克风收集的音频信号可以通过线（如音频电缆）或通过无线通信设备或协议 (如蓝牙）传输至处理单元（下文进一步描述）。
[0045] 供电电源可以被集成至框架110中以向显示单元10供电。可以使用可充电电池 来供电。
[0046] 现在参照图2,耳机150可以配置为包括外置麦克风140和耳塞160的入耳式设 备。通过将耳机放置在人耳中，麦克风140可以设置成以和常规倾听相同的方式收集声音。 在一些实施例中，可以设置多个麦克风，例如采用人体的反射（如耳廓、面颊）以区分从上 方和/或从下方传来的声音。应当理解的是图2被用来示出使用人耳作为自然声学收集方 式的示例性设备，并且可以采用将麦克风置于耳道中或接近耳道的位置以达到相同或相似 结果的替代变形。
[0047] 继续参照图1，尽管示出的示例设备10为一副适于提供3D(立体）显示的眼镜，但 应当理解的是，本申请的范围并不用以被限定在该示例性实施例